M5Stack AI-8850 LLM Accelerator M.2 Kit เป็นอีกทางเลือกแทน Raspberry Pi AI HAT+ 2

M5Stack เปิดตัว “AI-88502 LLM Accelerator M.2 Kit 8GB Version” ซึ่งใช้การ์ด M.2 รุ่น LLM-8850 ที่มาพร้อม SoC Axera AX8850 ประสิทธิภาพ 24 TOPS โดยวางตำแหน่งเป็นทางเลือกแทน Raspberry Pi AI HAT+ 2, และรองรับทั้งงาน LLM และ AI Vision

ชุดคิทประกอบด้วยการ์ด M.2 และบอร์ด Raspberry Pi-HAT 8850 ซึ่งมีอินพุตไฟ USB PD สำหรับจ่ายไฟให้ทั้งการ์ดและ Raspberry Pi 5, คอนเนกเตอร์ PCIe 16-pin, GPIO header 40-พิน สำหรับเชื่อมต่อกับ SBC รวมถึงอุปกรณ์เสริมต่าง ๆ

สเปคของ M5Stack AI-8850 LLM accelerator M.2 kit :

M5Stack LLM‑8850 M.2 card
- SoC – Axera AX8850
  - CPU – Octa-core Cortex‑A55 processor @ 1.7 GHz
  - NPU – 24 TOPS @ INT8
  - VPU
    - Video Encoder – 8K @ 30 fps H.264/H.265 encoding, รองรับ scaling / cropping
    - Video Decoder – 8K @ 60 fps H.264/H.265 decoding, รองรับ ถอดรหัส 1080p ได้พร้อมกันสูงสุด 16 ช่อง, รองรับ scaling / cropping
- หน่วยความจำ (มี 2 ตัวเลือก)
  - 8GB LPDDR4x 64-bit @ 4266 Mbps
  - 4GB LPDDR4x 64-bit @ 4266 Mbps (ยังไม่วางจำหน่าย)
- สตอเรจ – QSPI NOR Flash 32 Mbit (ใช้สำหรับ Bootloader เท่านั้น)
- Host Interface – PCIe 2.0 x2 ผ่านขอบต่อ M.2 Key-M
- ระบบระบายความร้อน – พัดลม micro blower + ฮีตซิงก์อะลูมิเนียม CNC ในตัว
- แหล่งจ่ายไฟ – 3.3V ผ่าน edge connector
- การใช้พลังงาน – สูงสุด 7 วัตต์
- ขนาด – 42.6 × 24.0 × 9.7 มม. (ฟอร์มแฟกเตอร์ M.2 M-Key 2242)
- น้ำหนัก – 14.7 กรัม
บอร์ดอะแดปเตอร์ Pi HAT 8850
- อินเทอร์เฟซ Raspberry Pi
  - คอนเนกเตอร์ FFC 16-pin PCIe Gen2/3 x1
  - GPIO header 40-pin (เพื่อขยายขา)
- อื่น ๆ
  - LED แสดงสถานะ PCIe power, Raspberry Pi power และ ACT
- พลังงาน
  - อินพุต DC 9V / 12V / 20V ผ่านพอร์ต USB Type-C PD 3.0 (รองรับโปรโตคอล 100W)
  - ความสามารถในการจ่ายโหลด, ออกไปยัง Raspberry Pi 5: 5V @ 4A, ออกไปยังการ์ด M.2 accelerator: 3.3V @ 6A
  - ระบบป้องกันแรงดันเกิน DC 24V
  - ความต้องการพลังงาน – 9V @ 3A (27 วัตต์) สำหรับ Raspberry Pi 5 + การ์ด LLM-8850
ขนาด – 65.0 × 58.0 × 12.7 มม.
น้ำหนัก – 31.9 กรัม
ช่วงอุณหภูมิ
- อุณหภูมิใช้งาน – 0 ถึง 60 °C
- อุณหภูมิเมื่อ Full load (อุณหภูมิห้อง) – 70 °C

ภายในชุดคิทประกอบด้วย การ์ด LLM-8850 (8GB), บอร์ด LLM-8850 Pi HAT, Header 40-pin แบบตัวเมีย, ชุดสกรูและสแตนด์ออฟ ทางบริษัทเน้นจุดเด่นเรื่อง AXCL native support ที่ช่วยให้รันโมเดลแบบ full-stack ได้แบบคลิกเดียว ครอบคลุมทั้ง CNN, Transformer, CLIP, Whisper, Llama3.2, Qwen3, InternVL3 และ นอกจากนี้ยังรองรับการ encode/decode H.264/H.265 พร้อมกัน สำหรับงาน transcoding

หลังติดตั้งไดรเวอร์ AXCL บน Raspberry Pi 5 แล้ว ผู้ใช้สามารถดาวน์โหลดเดโมต่าง ๆ จาก wiki เพื่อเริ่มต้นใช้งานได้ทันที โดยมีรายชื่อโมเดลรองรับจำนวนมาก เช่น:

Vision – YOLO11, Yolo-World-V2, Yolov7-face, Depth-Anything-V2, MixFormer-V2, Real-ESRGAN, SuperResolution, RIFE
Large Language – Qwen3-0.6B, Qwen3-1.7B, Qwen2.5-0.5B-Instruct, Qwen2.5-1.5B-Instruct, DeepSeek-R1-Distill-Qwen-1.5B, MiniCPM4-0.5B
Multimodal – InternVL3-1B, Qwen2.5-VL-3B-Instruct, SmolVLM2-500M-Video-Instruct, LibCLIP
Audio – Whisper, MeloTTS, SenseVoice, CosyVoice2, 3D-Speaker-MT
Generative – lcm-lora-sdv1-5, SD1.5-LLM8850, LivePortrait

Pi HAT 8850 installed on Raspberry Pi 5 — AI-8850 LLM accelerator M.2 kit ติดตั้งบน Raspberry Pi 5

เมื่อรีวิว Raspberry Pi AI HAT+ 2, พบว่าประสิทธิภาพด้าน AI Vision ทำได้ดี แต่ LLM กลับทำได้ไม่โดดเด่นนัก บางกรณีช้ากว่าการรันบน CPU ของ Raspberry Pi 5 เอง, สาเหตุหลักคือ LLM ถูกจำกัดด้วย bandwidth ของหน่วยความจำ และ Hailo-10H บน AI HAT+ 2 ใช้หน่วยความจำ 8GB LPDDR4X-4267 ใกล้เคียงกับของ Raspberry Pi 5 ในกรณีของ Axera AX8850 ก็ใช้ 8GB LPDDR4x 64-bit @ 4266 Mbps เช่นกัน จึงคาดว่าประสิทธิภาพจะใกล้เคียงกัน ตัวอย่างผลทดสอบ:HAT+ 2: 6.74 tokens/s, CM5 devkit: 11.73 tokens/s, Axera AX8850 (ตาม wiki): 15.03 tokens/s กับโมเดล Qwen2.5-1.5B-Instruct อาจมีความได้เปรียบด้านการปรับแต่งโมเดล แต่โดยรวมการ์ดลักษณะนี้เป็น “ตัวช่วย offload LLM” มากกว่า “ตัวเร่ง LLM” หากต้องการประสิทธิภาพที่สูงกว่านี้ อาจต้องรอ accelerator รุ่นใหม่อย่าง Rockchip RK1820/RK1828 accelerators ที่เคลม bandwidth สูงถึง 1 TB/s

ข้อดีหลักของ LLM-8850 Kit (8GB) คือมี VPU ในตัว สำหรับ decode/encode วิดีโอแบบฮาร์ดแวร์ เหมาะกับงานอย่างเช่น Frigate NVR, ข้อเสียคือ โมดูล Axera ใช้พลังงานมากกว่า (7W เทียบกับ 3W) และจำเป็นต้องใช้ระบบระบายความร้อนแบบ Active cooling (พัดลม) ในขณะที่ Hailo-10H สามารถระบายความร้อนได้แบบ Passive cooling ด้วยฮีตซิงก์เพียงอย่างเดียว

Frigate NVR M5Stack AI 8850 LLM accelerator M.2 kit — เดโม Frigate NVR ที่เร่งความเร็วโมเดล Yolov5s โดยใช้การ์ด M5Stack LLM-8850

ในขณะที่ Raspberry Pi AI HAT+ มีราคาประมาณ $130 (~4,100฿), แต่ AI-8850 LLM Accelerator M.2 Kit วางขายที่ราคา $215 (~6,800฿) บน AliExpress หรือ M5Stack store, ที่น่าสนใจคือ การ์ด LLM-8850 M.2 อย่างเดียวมีราคา $139 (~4,400฿) เพิ่มจาก $99 (~3,100฿) เมื่อเดือนตุลาคม เนื่องจากราคาหน่วยความจำสูงขึ้น, จึงเกิดคำถามว่าส่วนต่างอีก $76 (2,400~฿) สำหรับ HAT และอุปกรณ์เสริมนั้นคุ้มค่าหรือไม่ นอกจากว่าวงจร USB PD 100W จะเป็นต้นทุนหลักที่ทำให้ราคาสูงขึ้น