Geniatech AIM M2 : โมดูลแบบ M.2 มาพร้อม AI accelerator Kinara Ara-2 40 TOPS

มีโมดูล M.2 พร้อม AI accelerators มากมายในตลาด เช่น Hailo-8, MemryX MX3 หรือ Axelera AI แต่โมดูล Geniatech AIM M2 ใช้ AI accelerator Kinara Ara-2 ที่ให้ประสิทธิภาพ 40 TOPS ซึ่งเรายังไม่ได้กล่าวถึงใน CNX Software

โมดูล Key-M นี้ได้รับการออกแบบมาเพื่อรองรับ Generative AI และโมเดลแบบ Transformer เช่น Stable Diffusion ในราคาที่ต่ำกว่าคู่แข่ง และใช้พลังงานต่ำกว่า 2 วัตต์โดยทั่วไปเมื่อประมวลผลงานด้าน Computer Vision แอปพลิเคชันเป้าหมายได้แก่ AI assistants/Copilot, เกมมิ่ง, ค้าปลีกอัจฉริยะ, ระบบรักษาความปลอดภัยทางกายภาพ และระบบอัตโนมัติในโรงงาน

Kinara Ara 2 M.2 Module — Geniatech AIM M2

สเปคของ Geniatech AIM M2:

AI Accelerator
- NPU Kinara Ara-2 พร้อมพลังประมวลผล AI 40 TOPS
- แพ็กเกจ – FCBBA ขนาด 17×17 มม.
หน่วยความจำ – RAM 16GB (ตัวเลือก 4GB/8GB)
อินเทอร์เฟซโฮสต์ – PCIe Gen4 x4
ความปลอดภัย – รองรับ Secure Boot และการเข้ารหัสการเข้าถึงหน่วยความจำ
อื่นๆ – ระบบระบายความร้อนด้วยฮีทซิงค์
แรงดันไฟฟ้า – 3.3V
การใช้พลังงาน – ต่ำกว่า 2 วัตต์ (ทั่วไป)
TDP – 12 วัตต์
ขนาด – 22 x 80 มม. (โมดูล M.2 M-Key 2280)
ช่วงอุณหภูมิ – ขณะใช้งาน: 0 ถึง 50°C; ไม่ได้ใช้งาน: -40 ถึง 85°C
ความชื้น – ขณะใช้งาน: 5%-90% RH; ไม่ได้ใช้งาน: 5%-95% RH

Kinana ara-2 AI accelerator — AI accelerator : Kinara Ara-2

Geniatech ระบุว่าโมดูล AIM M2 และ AI accelerator Kinara Ara-2 รองรับเฟรมเวิร์ก AI ยอดนิยม เช่น TensorFlow, Torchscript, PyTorch, ONNX, Caffe และ Mxnet โดยสามารถใช้กับโมเดลต่าง ๆ เช่น Llama2.0 และ Yolov8

มีไดรเวอร์รองรับทั้ง Linux และ Windows และได้รับการทดสอบแล้วกับแพลตฟอร์มจาก NXP, Nvidia, Qualcomm และ AMD Xilinx สามารถดูรายละเอียดเพิ่มเติมได้ที่เว็บไซต์ Kinara ซึ่งมีข้อมูลด้านประสิทธิภาพของโมเดลยอดนิยมดังนี้:

Stable Diffusion 1.4 – 7 วินาทีต่อภาพ
Llama-7b – 12 โทเค็นต่อวินาที
MobileNetV1 SSD – 974 IPS (ค่าหน่วงเวลา 1.02 มิลลิวินาที)
ResNet50 – ค่าหน่วงเวลา 2 มิลลิวินาที

Kinara มีโมดูล/ดีไซน์ต้นแบบของตัวเอง ได้แก่ KM-2 แบบ M.2 และ KU-2 แบบ USB 3.0 โดยแนะนำให้ใช้ RAM 2GB สำหรับ AI ทั่วไป และ RAM 8GB สำหรับ Generative AI

Kinara Ara-2 M.2 USB modules — Kinara Ara-2 : โมดูล M.2 (ด้านบน) และ USB (ด้านล่าง)

แม้ว่า Kinara Ara-2 จะถูกกล่าวว่าให้ “ความคุ้มค่าที่เหนือชั้น” แต่ฉันไม่พบข้อมูลราคาของโมดูลใด ๆ ข้างต้น สามารถดูรายละเอียดเพิ่มเติมเกี่ยวกับ Geniatech AIM-M2 ได้ในหน้าผลิตภัณฑ์ นอกจากนี้บริษัทยังมี โมดูล AIM-B2 ซึ่งใช้ขั้วต่อแบบ board-to-board (B2B) และใช้ชิป Ara-2 ที่ให้ประสิทธิภาพ 40 TOPS เช่นเดียวกัน ทางบริษัทได้ส่งภาพของชุดพัฒนา i.MX 8M Plus มีทั้งช่องเสียบ M.2 และ B2B และยังแจ้งว่าจะให้เอกสารการออกแบบฮาร์ดแวร์ เพื่อให้ลูกค้าสามารถพัฒนา carrier board สำหรับโมดูล AI ได้เอง