Firefly EC-R3576PC FD : คอมพิวเตอร์แบบฝังตัวสำหรับ LLM ที่ใช้โปรเซสเซอร์ Rockchip RK3576

Firefly EC-R3576PC FD ได้รับการอธิบายว่าเป็น “Embedded Large-Model Computer” ที่ใช้โปรเซสเซอร์ Rockchip RK3576 octa-core Cortex-A72/A53 พร้อมด้วย NPU 6 TOPS และรองรับ Large Language Models (LLM) เช่น Gemma-2B, LlaMa2-7B, ChatGLM3-6B หรือ Qwen1.5-1.8B

เราเคยพูดถึงบอร์ด SBC ที่ใช้ ROC-RK3576-PC และยังออกแบบมาเพื่อรองรับโมเดล LLM ด้วย แต่ EC-R3576PC FD เป็นโซลูชันแบบครบวงจรที่สามารถใช้งานได้ทันที และคาดว่าจะมีประสิทธิภาพที่ดีเพราะมีการปล่อย RKLLM toolkit พร้อม NPU acceleration แต่มีข้อจำกัดบางประการในการใช้ RK3576 แทน RK3588 ซึ่งเราจะกล่าวถึงด้านล่าง

สเปคของ Firefly EC-R3576PC FD:

• SoC – Rockchip RK3576
  • CPU
    • 4x Cortex-A72 cores @ 2.2GHz, 4x Cortex-A53 cores @ 1.8GHz
    • Arm Cortex-M0 MCU ที่ 400MHz
  • GPU – ARM Mali-G52 MC3 GPU ที่มีความเร็วสัญญาณนาฬิกา 1GHz พร้อมรองรับ OpenGL ES 1.1, 2.0 และ 3.2, OpenCL สูงถึง 2.0 และ Vulkan 1.1 embedded 2D acceleration
  • NPU – AI accelerator 6 TOPS (INT8) ที่รองรับการทำงานแบบผสม INT4/INT8/INT16/BF16/TF32
  • VPU:
    • Video Decoder : H.264, H.265, VP9, ​​AV1 และ AVS2 สูงสุด 8K ที่ 30fps หรือ 4K ที่ 120fps
    • Video Encoder: H.264 และ H.265 สูงสุด 4K ที่ 60fps, encoder/decoder (M)JPEG สูงสุด 4K ที่ 60fps
• หน่วยความจำ – LPDDR4/LPDDR4x 32-bit  4GB หรือ 8GB
• สตอเรจ
  • eMMC flash eMMC ขนาด 16GB ถึง 256GB
  • หน่วยความจำ UFS 2.0 (ตัวเลือก)
  • ช่องเสียบ MicroSD czrd
  • ซ็อกเก็ต M.2 PCIe NVMe/SATA สำหรับ M.2 2242 SSD
• เอาท์พุตวิดีโอ
  • พอร์ต HDMI 2.0 สูงสุด 4Kp120
  • DisplayPort 1.4 ผ่าน USB-C สูงสุด 4Kp120
• เสียง
  • แจ็คเสียงขนาด 3.5 มม. (รองรับหูฟังและไมโครโฟน)
  • เอาต์พุตเสียงดิจิทัลผ่าน HDMI และ USB-C/DisplayPort
• อินเตอร์เฟสกล้อง– 1x MIPI CSI DPHY (30ขา ระยะห่าง 0.5 มม., 1×4 lanes/2×2 lanes)
• ระบบเครือข่าย
  • พอร์ต Gigabit Ethernet RJ45 แบบ Low-profile พร้อม Motorcomm YT8531
  • Dual-band WiFi 5 และ Bluetooth 5.0 ผ่าน AMPAK AP6256; คอนเนกเตอร์สายอากาศ SMA
• USB – 1x พอร์ต USB 3.0, 1x พอร์ต USB 2.0, 1x พอร์ต USB 3.0 Type-C พร้อมโหมด DisplayPort Alt
• การขยายตัว
  • 40-pin GPIO header
  • M.2 สำหรับซ็อกเก็ต PCIe
• อื่นๆ – External watchdog
• แหล่งจ่ายไฟ – 12V DC ผ่านแจ็ค DC ขนาด 5.5/2.1 มม. รองรับอินพุตแรงดันไฟฟ้ากว้าง 12V ถึง 24V DC
• การใช้พลังงาน – ปกติ: 1.2W (12V/100mA); สูงสุด: 6W (12V/500mA); ต่ำสุด: 0.096W (12V/8mA)
• ขนาด – 116 x 105.2 x 31.5 มม.
• น้ำหนัก – 430 กรัม
• ช่วงอุณหภูมิ – -20°C ถึง 60°C
• ความชื้น – 10% ถึง 90% RH (ไม่ควบแน่น)

คอมพิวเตอร์แบบฝังตัว Firefly EC-R3576PC FD รองรับ Android 14, Ubuntu และ Linux+Qt ที่สร้างด้วย Buildroot เนื่องจากระบบนี้มุ่งเน้นที่คอมพิวเตอร์ Edge AI, บริษัทจึงเน้นการรองรับโมเดล LLM ภายใต้สถาปัตยกรรม Transformer เช่น Gemma-2B, LlaMa2-7B, ChatGLM3-6B, Qwen1.5-1.8B และอื่นๆ แต่ยังรองรับสถาปัตยกรรม neural network แบบเดิม เช่น CNN, RNN และ LSTM ที่เข้ากันได้กับ Deep Learning frameworks ที่รวมถึง TensorFlow, PyTorch, MXNet, PaddlePaddle, ONNX และ Darknet ขณะนี้ที่หน้าเว็บ wiki สำหรับคอมพิวเตอร์แบบฝังตัวยังว่างเปล่าอยู่ แต่ wiki ของ ROC-RK3576-PC SBC มีอิมเมจ Android 14 และ Ubuntu 22.04 และเครื่องมือต่างๆ

เมื่อทดสอบไลบรารี RKLLM บนบอร์ด SBC ที่ใช้ Rockchip RK3588(S) ของ Radxa ได้ผลลัพธ์ดังนี้:

• TinyLlama 1.1B – 15.03 โทเคน/วินาที
• Qwen 1.8B – 14.18 โทเคน/วินาที
• Phi3 3.8B – 6.46 โทเคน/วินาที
• ChatGLM3 – 3.67 โทเคน/วินาที

หลายคนอาจคิดว่า RK3588 และ RK3576 น่าจะมีประสิทธิภาพใกล้เคียงกัน เนื่องจากทั้งสองรุ่นมี NPU ที่รองรับ 6 TOPS เท่ากัน แต่ได้มีการแสดงให้เห็นว่าในขณะที่ RK3588 รองรับหน่วยความจำแบบ 64 บิต RK3576 ถูกจำกัดไว้ที่หน่วยความจำแบบ 32 บิต และโมเดล LLM นั้นพึ่งพาการส่งข้อมูลผ่านหน่วยความจำเป็นอย่างมาก ดังนั้นประสิทธิภาพอาจลดลงครึ่งหนึ่งบน RK3576 แม้ว่าโมเดล LLM ที่เล็กลงซึ่งมีพารามิเตอร์ 1 ถึง 2 พันล้านยังคงใช้งานได้ แต่โมเดล LLM ที่ใหญ่กว่าน่าจะทำงานได้ช้าลงอย่างมาก

การใช้งานที่เป็นไปได้คือการใช้กับหุ่นยนต์, ลำโพงอัจฉริยะ หรือตู้ kiosk แบบอินเทอร์แอคทีฟที่มีการจดจำเสียงและการแปลงข้อความเป็นเสียง ซึ่งใช้ LLM ในการโต้ตอบกับผู้ใช้, Firefly EC-R3576PC FD อาจจะไม่ทรงพลังเท่ากับกล่อง AI embedded อื่นๆ เช่น Radxa Fogwise Airbox แต่ก็มีราคาถูกกว่า โดยราคาอยู่ที่ $185.00(~6,400฿) สำหรับ 4GB/32GB และ $215 (~7,400฿) สำหรับ 8GB/64GB สามารถดูรายละเอียดเพิ่มเติมได้บนหน้าเว็บผลิตภัณฑ์ รุ่น RK3588 มีจำหน่ายบน AliExpress แต่ราคาเริ่มต้นที่ $300(~10,400฿) จึงไม่สามารถแข่งขันกับ Radxa Fogwise Airbox สำหรับการประมวลผล LLM ได้

แปลจากบทความภาษาอังกฤษ : Firefly EC-R3576PC FD is an Embedded Large-Model Computer based on Rockchip RK3576 processor