โมดูลกล้อง Edge AI ที่ใช้ CVITEK CV1842H-P รองรับ Night Vision สีเต็มรูปแบบและ AI-ISP

AIMORELOGY Ovis เป็นโมดูลกล้อง AI Vision แบบโอเพนซอร์สที่พัฒนาบนชิป CVITEK CV1842H-P SoC รองรับภาพกลางคืนแบบสีเต็มรูปแบบที่ความละเอียด 1080p และการประมวลผล AI บนอุปกรณ์ที่ระดับ 1.5 TOPS โดยออกแบบเป็นโมดูลขนาดกะทัดรัดและถอดประกอบเป็นชั้น ๆ ได้ เหมาะสำหรับโดรน หุ่นยนต์ ระบบรักษาความปลอดภัย กล้องอัจฉริยะ และผลิตภัณฑ์ Embedded Vision ที่พัฒนาเอง

ตัวกล้องมีโครงสร้างแบบ Stack ขนาดกะทัดรัด โดย Core Board มีขนาดเพียง 20 × 20 มม. ภายในประกอบด้วยชิป CVITEK CV1842H-P, NAND Flash ขนาด 2 Gbit รวมถึง USB และจุดทดสอบ UART สำหรับ Debug, ด้านบนเชื่อมต่อกับ Sensor Board ซึ่งใช้เซนเซอร์ภาพ SC235HAI และมีอินเทอร์เฟซ Ethernet กับ UART เพิ่มเข้ามา ส่วน CVBS Board เป็นบอร์ดเสริมที่สามารถติดตั้งคั่นระหว่าง Sensor Board และ Ovis Core Board ได้

โมดูลกล้อง Edge AI AIMORELOGY Ovis บนชิป CVITEK CV1842H-P
AIMORELOGY Ovis – โมดูลกล้อง Edge AI บนชิป CV1842H P (ภาพปรับแต่งด้วย Grok)

สเปคของ Ovis มีดังนี้

  • บอร์ด Ovis Core
    • SoC – CVITEK CV1842H-P
      • CPU – Arm Cortex-A53 จำนวน 1 คอร์ ความเร็ว 1.1 GHz และ RISC-V C906 จำนวน 1 คอร์ ความเร็ว 800 MHz
      • NPU – 1.5 TOPS @ INT8 พร้อมรองรับ BF16
      • ISP – AI-ISP รองรับการประมวลผลภาพ 1080p @ 30 fps แบบสีเต็มรูปแบบในเวลากลางคืน พร้อม AI-BNR
      • VPU – เข้ารหัส H.265, H.264 และ MJPEG สูงสุด 8 MP @ 25 fps
      • หน่วยความจำ – DDR3 แบบ System-in-Package (SiP) ขนาด 2 Gb (256 MB)
    • ที่เก็บข้อมูล – SPI NAND Flash ขนาด 2 Gbit (256 MB)
    • USB – 1x USB 2.0 ผ่านคอนเนกเตอร์ SH0.8 แบบ 4 พิน (รองรับวิดีโอ UVC และ USB NCM Virtual Ethernet)
    • การดีบัก – จุดทดสอบ UART สำหรับ Debug โดยเฉพาะ
    • Daughterboard Interface – 2x คอนเนกเตอร์ board-to-board 50 พิน
    • ขนาด – 20 x 20 x 5.7 มม.
  • บอร์ด Sensor
    • เซนเซอร์ภาพ – เซนเซอร์ CMOS SmartSens SC235HAI พร้อมเมาท์เลนส์ในตัว
    • การเชื่อมต่อเครือข่าย – Ethernet 10/100 Mbps ผ่านคอนเนกเตอร์ SH1.0 แบบ 4 พิน
    • Serial  – 1x คอนเนกเตอร์ อนเทอร์เฟซ UART
    • การเชื่อมต่อภายใน – 2x คอนเนกเตอร์ board-to-board 50 พิน
    • ขนาด – 28 x 28 x 31.7 มม. (ขนาดบอร์ด Core + Sensor เมื่อติดเลนส์แล้ว)
  • CVBS Output Board (อุปกรณ์เสริม)
    • ตัวแปลงวิดีโอ – ชิปเข้ารหัสวิดีโอ MacroSilicon MS7024
    • เอาต์พุตวิดีโอ – Analog Composite Video (CVBS)
    • Serial – 1x คอนเนกเตอร์ อินเทอร์เฟซ UART
    • การเชื่อมต่อภายใน – 2x  คอนเนกเตอร์ board-to-board 50 พิน  (ด้านบนและด้านล่างรองรับการต่อผ่าน เพื่อให้สามารถ Stack หลายบอร์ดได้)
    • ขนาด – 20 x 20 x TBD มม. (ยังไม่ระบุความหนาของบอร์ด)

บอร์ด OVIS Core
บอร์ด OVIS Core

บอร์ด OVIS Sensor
บอร์ด OVIS Sensor

บอร์ดเอาต์พุต OVIS CVBS
บอร์ดเอาต์พุต OVIS CVBS

การซ้อนโมดูล OVIS พร้อมบอร์ด Sensor ส่วนขยาย CVBS และบอร์ด Core
โมดูล OVIS แบบ Stack ที่ประกอบ Sensor Board, บอร์ดขยาย CVBS และ Core Board เข้าด้วยกัน (ภาพปรับแต่งด้วย Grok)

ในด้านซอฟต์แวร์ Ovis ใช้สถาปัตยกรรม Dual-OS โดยรัน Linux 5.10 บน Cortex-A53 และ RT-Thread บน RISC-V C906 บูตจาก SPI NAND Flash ความจุ 256 MB การส่งสัญญาณวิดีโอมีข้อจำกัดว่า สามารถเลือกใช้ได้เพียงหนึ่งโหมดในเวลาเดียวกัน ได้แก่ โหมด UVC ซึ่งทำงานเหมือนเว็บแคม USB หรือ RTSP Streaming ผ่าน USB NCM ส่งสตรีมวิดีโอผ่านเครือข่ายเสมือน USB แต่ไม่สามารถใช้งานทั้งสองโหมดพร้อมกันได้ บริษัทยังมีซอฟต์แวร์ OVIS Web บบโอเพนซอร์ส ซึ่งเป็นอินเทอร์เฟซบนเบราว์เซอร์สำหรับเชื่อมต่อกับ REST API ผ่านเบราว์เซอร์ที่ใช้ Chromium และรองรับ WebUSB เพื่อให้ผู้ใช้ปรับแต่ง Pipeline ของ AI-ISP, รวมถึง AI-BNR,  ตั้งค่าองค์ประกอบ OSD และเปิด/ปิด Pipeline สำหรับ AI Inference, สลับระหว่างโหมด AI-ISP Night Vision กับ Edge AI Inference, ปรับการตั้งค่าเอาต์พุตวิดีโอ และกำหนด Workflow สำหรับการตรวจจับและรู้จำวัตถุ กล่าวง่าย ๆ คือ ผู้ใช้สามารถปรับแต่งระบบกล้องและ AI ได้ผ่านเว็บอินเทอร์เฟซ โดย ไม่จำเป็นต้องเขียนโค้ดแม้แต่บรรทัดเดียว

อินเทอร์เฟซ OVIS Web แสดงการตั้งค่าสตรีมวิดีโอ การเลือกเอาต์พุต UVC/RTSP และการตั้งค่าตรวจจับบุคคลบนอุปกรณ์
อินเทอร์เฟซ OVIS Web แสดงการตั้งค่าสตรีมวิดีโอ การเลือกเอาต์พุต UVC/RTSP และการตั้งค่าตรวจจับบุคคลบนอุปกรณ์

Ovis รองรับฟังก์ชัน AI ในตัว เช่น การตรวจจับคนและยานพาหนะ การตรวจจับใบหน้า การรู้จำท่าทาง และการติดตามวัตถุเดี่ยว (SOT) นอกจากนี้ยังรองรับโมเดล AI ที่พัฒนาขึ้นเองซึ่งคอมไพล์เป็นไฟล์ BModel ของ SOPHGO/CVITEK โดยปัจจุบันมีเอกสารประกอบสำหรับ YOLOv8n สำหรับการพัฒนาซอฟต์แวร์ ผู้ผลิตมี aimorelogy-ovis-sdk ที่อิงกับ CVITEK ให้ดาวน์โหลดบน GitHub ซึ่งประกอบด้วย U-Boot 2021.10, cvi_mpi, Hardware Image Operators (IVE), libsophon TPU Runtime และ Docker Build Environment (aimorelogy/ovis-build-docker) สามารถดูข้อมูลด้านซอฟต์แวร์เพิ่มเติมได้ที่เว็บไซต์เอกสารของ AIMORELOGY

แผนผังบล็อก CVITEK CV184x
บล็อกไดอะแกรมของ SOPHGO CVITEK CV184x (สถาปัตยกรรมเดียวกับ CV1842H-P ที่ใช้ใน Ovis)

จุดที่น่าสนใจที่สุดอย่างหนึ่งของ AIMORELOGY Ovis คือชิป SoC SOPHGO/CVITEK CV1842H-P ซึ่งมีน Arm Cortex-A53 ที่ความเร็วสูงสุด 1.1 GHz สำหรับรัน Linuxและงาน Application และ T-Head C906 RISC-V ความเร็วสูงสุด 800 MHz สำหรับงานควบคุมที่มีน้ำหนักเบา พร้อม DDR3 ขนาด 2 Gbit (256 MB) รวมอยู่ในแพ็กเกจแบบ SiP ทำให้โมดูลไม่จำเป็นต้องใช้ DRAM ภายนอก

ชิปดังกล่าวยังมี TPU แบบ INT8 ที่ 1.5 TOPS พร้อมรองรับ BF16 และ ISP V4.0 ที่รองรับการประมวลผลภาพสูงสุดถึง 4K รวมถึงการลดสัญญาณรบกวนแบบ 3D, การควบคุมช่วงไดนามิก, การลบขอบม่วง (purple fringe), การลดหมอก และการแก้ความผิดเพี้ยนของเลนส์ ส่วนเอนจินวิดีโอรองรับการเข้ารหัส H.265, H.264 และ MJPEG สูงสุด 8 MP @ 25fps พร้อมสตรีม 720p อีก 2 ช่อง อินเทอร์เฟซประกอบด้วย MIPI CSI สูงสุด 4 เลน, MIPI DSI, Ethernet 10/100, USB 2.0, SD 3.0, I2C, SPI, UART และ GPIO

CV1842H-P ใช้ BGA Pinout ขนาด 10 × 10 มม. แบบเดียวกับชิปตระกูล CV1812H ดังนั้น หากผู้ผลิตมีการออกแบบ Custom Camera Board สำหรับชิปตระกูลดังกล่าวอยู่แล้ว ก็สามารถเปลี่ยนมาใช้ CV1842H-P ได้โดยไม่จำเป็นต้องออกแบบ Footprint ของชิปใหม่ และยังสามารถใช้ SOPHGO/CVITEK SDK ชุดเดิมได้ แต่ไม่สามารถนำไปใช้กับ Milk-V Duo หรือ Duo 256M เพราะบอร์ดเหล่านี้ใช้ชิปและแพ็กเกจที่ต่างกัน (CV1800B และ SG2002) จึงไม่สามารถนำ CV1842H-P ไปวางแทนบน PCB ของ Duo ได้โดยตรง แต่สามารถนำ ซอฟต์แวร์/SDK ของ Duo ไปใช้ต่อได้ ส่วน Layout ของ PCB ไม่สามารถนำมาใช้แทนกันได้

AIMORELOGY Ovis เปิดระดมทุนบน Kickstarter แล้ว โดยชุด Standard Kit ซึ่งประกอบด้วย Ovis Core บอร์ด Sensor และสาย USB แบบ 4 พิน ใช้ยอดสนับสนุน HK$460 (~2,000฿) ส่วนผู้ที่ต้องการเอาต์พุตวิดีโออนาล็อก ชุด CVBS Kit จะเพิ่มบอร์ดเอาต์พุตที่ใช้ชิป MS7024 ในราคาประมาณ $69 (~2,300฿) คาดว่าจะเริ่มจัดส่งภายในเดือนธันวาคม 2026 ข้อมูลเพิ่มเติมเกี่ยวกับโมดูลกล้อง AIMORELOGY Ovis ดูได้ที่หน้าสินค้า

แปลจากบทความ : CVITEK CV1842H-P-based edge AI camera module offers night vision and AI-ISP support (Crowdfunding)

Subscribe
Notify of
guest
0 Comments
Oldest
Newest Most Voted
โฆษณา