กล้องอัจฉริยะที่ใช้เซนเซอร์ Sony IMX500 ทำงานร่วมกับซอฟต์แวร์ AITRIOS

Raspberry Pi ได้รับการลงทุนกลยุทธ์จาก Sony (Semiconductor Solutions Corporation) เพื่อพัฒนาอุปกรณ์ Edge AI โดยใช้แพลตฟอร์ม AITRIOS ของ Sony

ยังไม่มีข้อมูลรายละเอียดเกี่ยวกับอุปกรณ์ของ Raspberry Pi/Sony ที่จะเปิดเผยสู่สาธารณะ ดังนั้นฉันค้นหาแพลตฟอร์ม AITRIOS แทน และในปัจจุบันมีแพลตฟอร์มฮาร์ดแวร์เดียว คือ LUCID Vision Labs SENSAiZ SZP123S-001 กล้องอัจฉริยะหรือกล้อง AI ที่ใช้เซนเซอร์ Sony IMX500 intelligent vision sensor ที่ออกแบบมาเพื่อใช้งานร่วมกับซอฟต์แวร์ AITRIOS ของ Sony

LUCID SENSAiZ Smart camera

สเปค SENSAiZ SZP123S-001 :

เซนเซอร์ภาพ – Sony IMX500 progressive scan CMOS sensor ความละเอียด 12.33MP พร้อม Rolling Shutter, built-in DSP และ SRAM บนชิป สามารถประมวลผล Edge AI ด้วยความเร็วสูงได้
ระยะโฟกัส – 4.35 มม
รูปแบบเซนเซอร์กล้อง – 1/2.3″
พิกเซล (สูง x ลึก) – 4,056 x 3,040
ขนาดพิกเซล สูง x สูง – 1.55 x 1.55 μm (ไมโครเมตร)
ระบบเครือข่าย – พอร์ต 10/100M RJ45
แหล่งจ่ายไฟ – PoE+ ผ่านพอร์ต RJ45
ขนาด – 55 x 40 x 35 มม.
น้ำหนัก 48 กรัม
ช่วงอุณหภูมิ – การทำงาน: -10 ถึง +55°C; ไม่ได้ทำงาน : -30 ถึง +60°C
ระบบปฏิบัติการ – RTOS ที่ไม่มีชื่อ

ตามข่าวประชาสัมพันธ์ในภาษาญี่ปุ่น แพลตฟอร์มการพัฒนา AITRIOS ของ Raspberry Pi จะเป็นโมดูลกล้องที่ใช้เซนเซอร์ Sony “IMX500/IMX501” intelligent vision sensor ดังนั้นโมดูลกล้อง Raspberry Pi Camera Module 4 หรือ Raspberry Pi AI Camera 1 อาจจะเป็นตัวเลือกที่เหมาะกับการรองรับสำหรับซอฟต์แวร์ AI edge ของ Sony

กล้อง LUCID Vision Labs SENSAiZ SZP123S-001 smart camera วางจำหน่ายแล้วราคา $335 (~11,500฿) โดยใช้งานร่วมกับแพลตฟอร์มซอฟต์แวร์ AITRIOS การประมวลผลภาพและการวิเคราะห์ภาพด้วย AI จะทำงานโดยตรงไปยังกล้องโดยไม่ต้องใช้การประมวลผลหรือหน่วยความจำภายนอก โดยใช้ DSP และ SRAM บนเซนเซอร์ IMX500 นอกจากนี้ยังมีการวางแผนกล้อง WiFi และกล้องกลางแจ้ง ทั้งสองใช้เซนเซอร์ IMX500 เดียวกัน แต่ยังไม่มีจำหน่ายในปัจจุบัน

ซอฟต์แวร์ Sony AITRIOS

แอปพลิเคชัน AITRIOS สามารถพัฒนาได้โดยใช้ Console web application ที่สามารถซื้อได้ใน “Portal” เป็น SaaS และ SDK บน GitHub เว็บไซต์นักพัฒนาของ Sony สำหรับแพลตฟอร์ม AITRIOS อธิบายส่วนประกอบหลักดังนี้:

Portal – แอปพลิเคชัน (Web App) ที่เข้าถึงข้อมูลหรือบริการของ AITRIOS
Console – แอปพลิเคชัน (Web App) ที่มีฟังก์ชันต่างๆ สำหรับอุปกรณ์ Edge AI, ใช้ web UI หรือควบคุม Console โดยใช้ REST API หรือ SDK ประกอบด้วยฟังก์ชัน Deploy AI models และแอปพลิเคชันการมองเห็น (Vision) ไปยังอุปกรณ์ Edge AI, AI model retraining, การดึงข้อมูล metadata และภาพถ่ายที่ถูกจับไว้ (captured images), การตรวจสอบสถานะและการจัดการอุปกรณ์ Edge AI
อุปกรณ์ Edge AI – อุปกรณ์ที่ติดตั้งเซนเซอร์การมองเห็นอัจฉริยะจาก Sony Semiconductor Solutions Corporation เช่น SENSAiZ SZP123S-001 ที่อธิบายไว้ข้างต้น หรือแพลตฟอร์มการพัฒนา Raspberry Pi ที่กำลังจะเปิดตัวในอนาคต
Cloud SDK – SDK สำหรับการพัฒนาแอปพลิเคชันบนคลาวด์ที่ให้บริการด้าน Vision Service ที่มีฟังก์ชั่นเชื่อมต่อ API เพื่อใช้งานความสามารถของอุปกรณ์ Edge AI ใน Console Cloud SDK เผยแพร่บน GitHub (หมายเหตุ:เป็น private repository สามารถเข้าได้หลังจากที่ลงทะเบียนแล้ว) Sony แนะนำให้ใช้ GitHub Codespaces แต่การพัฒนาซอฟต์แวร์สามารถทำได้ด้วย Visual Studio Code และ Docker บนเครื่อง PC ของคุณ
Vision และ Sensing Application SDK – SDK สำหรับการพัฒนาโมเดล AI และแอปพลิเคชัน Post-vision ที่ใช้งานบนบนอุปกรณ์ Edge AI, บริษัท Sony มีฟังก์ชันต่างๆ เช่น retrain, deploy, และ evaluate AI models ,และสำหรับแอปพลิเคชัน Post-vision, ฟังก์ชันสำหรับการดีบักก่อนการใช้งานและอื่น ๆ ที่จำเป็นสำหรับการพัฒนา SDK นี้ถูกเผยแพร่บนเว็บไซต์ GitHub เป็นเวอร์ชัน private repository สามารถเข้าได้หลังจากที่ลงทะเบียนเข้าใช้งานแล้ว
Base AI Model – โมเดล AI ที่ผ่านการ pre-trained พร้อมจำหน่ายใน Portal เช่น การตรวจจับร่างกายมนุษย์
Camera FW – Firmware ของอุปกรณ์ Edge AI นั้นมาจาก Sony
ใบรับรองอุปกรณ์ – ไฟล์การรับรองความถูกต้องสำหรับการใช้อุปกรณ์ Edge AI จะได้รับทางอีเมลหลังจากซื้ออุปกรณ์หรือสามารถขอได้จาก Sony ด้วยการติดต่อสอบถาม

การดาวน์โหลด, การรองรับ และบทแนะนำต่าง ๆ ต้องลงทะเบียนในเว็บไซต์ของนักพัฒนา ฉันได้ลองลงทะเบียน แต่หลังจากลงทะเบียนสำเร็จแล้ว ต้องขอเข้า private GitHub repositories และซื้อ License สำหรับซอฟต์แวร์ AITRIOS ด้วย:

ค่าธรรมเนียมพื้นฐาน $50 (~1,700฿) – ค่าธรรมเนียมรายเดือนแบบคงที่จะเก็บเป็นค่าบริการการใช้ Console
ค่าธรรมเนียมการเชื่อมต่อรายเดือน $13 (~440฿) ต่ออุปกรณ์
โปรแกรมแปลงแบบจำลอง Model converter– $2 (~68฿) ต่อครั้ง
โปรแกรมฝึกอบรมแบบจำลอง Model retrainer – 0.17 (~6฿) ต่อนาที

ไม่มีข้อเสนอในการทดลองใช้ ดังนั้นจึงเป็นเรื่องยากที่จะประเมินคุณภาพในขณะนี้ เนื่องจากต้องผ่านขั้นตอนมากมาย หวังว่าสถานการณ์จะเปลี่ยนแปลงเมื่อแพลตฟอร์ม Raspberry Pi เปิดตัว

แต่แพลตฟอร์มนี้แสดงให้เห็นว่าน่าสนใจ, โดย Edge Impulse ได้อัปโหลดวิดีโอจากการประชุม TinyML 2023 แสดงให้เห็นถึงการใช้งานของเซนเซอร์ Sony IMX500 ที่ใช้ซอฟต์แวร์ AITRIOS เปรียบเทียบกับ ESP-Eye หรือ Raspberry Pi ที่มีโมดูลกล้องและประสิทธิภาพในแง่ของจำนวนเฟรมต่อวินาที โดยเซ็นเซอร์ IMX500 ในแพลตฟอร์มการพัฒนา AITRIOS ได้ผลลัพธ์ในเรื่องของประสิทธิภาพที่ดีกว่า โดยใช้งานได้ 4.5 เฟรมต่อวินาที เมื่อเทียบกับ ESP-Eye ที่ได้ 0.3 เฟรมต่อวินาที และต่ำกว่า Raspberry Pi ที่ได้ 3.1 เฟรมต่อวินาที แต่การใช้พลังงานต่ำกว่ามากที่ประมาณ 26mW ต่อการอินเฟอร์เรนซ์ โดยเปรียบเทียบกับประมาณ 95 mW ต่อต่อการอินเฟอร์เรนซ์บน Raspberry Pi

แปลจากบทความภาษาอังกฤษ : Sony IMX500-based smart camera works with AITRIOS software