ไดรเวอร์โอเพ่นซอร์ส NPU ของ Rockchip RK3588 สามารถทำการตรวจจับวัตถุที่ 30 FPS

Tomeu Vizoso ได้ทำการพัฒนาเกี่ยวกับไดรเวอร์โอเพ่นซอร์สสำหรับ NPU (Neural Processing Unit) ที่พบใน SoC Rockchip RK3588 ในช่วงสองสามเดือนที่ผ่านมา และโครงการก้าวหน้าไปอย่างมากสาารถตรวจจับวัตถุที่ความเร็ว 30 fps (เฟรมต่อนาที) โดยใช้โมเดล SSDLite MobileDet และเพียงหนึ่งในสามคอร์ของ AI accelerator

ปัจจุบันมีโปรเซสเซร์หลายรุ่นที่รวม AI accelerators ที่ทำงานร่วมกับไดรเวอร์แบบ closed-source แต่เราได้เห็นการใช้หลักการ reverse-engineering บน NPU ของ Allwinner V831 และเมื่อต้นปีนี้ Tomeu Vizoso เปิดตัวไดรเวอร์โอเพ่นซอร์ส Etvaniv ที่ทำงานบน Vivante NPU ของ Amlogic A311D และตอนนี้ Tomeu ได้เริ่มต้นทำการย้ายไดรเวอร์ Teflon TensorFlow Lite ไปยัง Rockchip RK3588 NPU ซึ่งมีการอ้างอิงกับ NVDLA open-source IP ของ NVIDIA

Tomeu เริ่มทำงานในเดือนมีนาคมใช้หลักการ reverse-engineering ของ Pierre-Hugues Husson และ Jasbir Matharu ที่เคยทำไว้แล้วและสามารถทำให้ดำเนินการ Conv2D และ DepthwiseConv2D ของ TensorFLow Lite ได้อย่างรวดเร็ว เพียงสองสัปดาห์ต่อมาโมเดล MobileNetv1 สามารถทำงานบน Pine64 QuartzPro64 SBC ได้ด้วยระดับประสิทธิภาพเท่าเดิมกับ blob (closed-source binary)

ทำงานง่ายกว่า Verisilicon Vivante NPU เนื่องจากมีใช้หลักการ reverse-engineering และ NVDLA ก็เป็นโอเพ่นซอร์ส ดังนั้นมีเอกสารประกอบอยู่บ้าง การตรวจจับวัตถุที่แสดงด้านล่างใช้เวลาเพียงสี่สัปดาห์ (ไม่ใช่เวลาทำงานเต็ม) ทำงานบน NPU ของ Rockchip RK3588 ที่ความเร็ว 30 FPS

สามารถพบซอร์สโค้ดสำหรับโปรเจ็กต์ Teflon บนเว็บไซต์ Freedesktop และยังสามารถดูสถานะของโปรเจ็กต์ได้ในบล็อกของ Tomeu, ต่อไป Tomeu วางแผนที่จะเขียน kernel driver สำหรับ Linux mainline ในส่วนของระบบย่อย (subsystem) ของ drivers/accel, ยังมีสิ่งที่ต้องอีกมากมายและไม่ชัดเจนว่าจะต้องใช้เวลานานแค่ไหน โดยเฉพาะอย่างยิ่งเมื่อทำงานกับ NPU ที่แตกต่างกัน และจะแบ่งเวลาระหว่างการปรับใช้แต่ละรุ่น นอกจากจะมีผู้สนับสนุนเพิ่มเติมเข้าร่วมโปรเจ็กต์

แปลจากบทความภาษาอังกฤษ : Rockchip RK3588’s NPU open-source driver performs object detection at 30 FPS