Firefly EC-R3576PC FD : คอมพิวเตอร์แบบฝังตัวสำหรับ LLM ที่ใช้โปรเซสเซอร์ Rockchip RK3576

Firefly EC-R3576PC FD ได้รับการอธิบายว่าเป็น “Embedded Large-Model Computer” ที่ใช้โปรเซสเซอร์ Rockchip RK3576 octa-core Cortex-A72/A53 พร้อมด้วย NPU 6 TOPS และรองรับ Large Language Models (LLM) เช่น Gemma-2B, LlaMa2-7B, ChatGLM3-6B หรือ Qwen1.5-1.8B

เราเคยพูดถึงบอร์ด SBC ที่ใช้ ROC-RK3576-PC และยังออกแบบมาเพื่อรองรับโมเดล LLM ด้วย แต่ EC-R3576PC FD เป็นโซลูชันแบบครบวงจรที่สามารถใช้งานได้ทันที และคาดว่าจะมีประสิทธิภาพที่ดีเพราะมีการปล่อย RKLLM toolkit พร้อม NPU acceleration แต่มีข้อจำกัดบางประการในการใช้ RK3576 แทน RK3588 ซึ่งเราจะกล่าวถึงด้านล่าง

Firefly RK3576 Embedded Large Model Computer

สเปคของ Firefly EC-R3576PC FD:

  • SoC – Rockchip RK3576
    • CPU
      • 4x Cortex-A72 cores @ 2.2GHz, 4x Cortex-A53 cores @ 1.8GHz
      • Arm Cortex-M0 MCU ที่ 400MHz
    • GPU – ARM Mali-G52 MC3 GPU ที่มีความเร็วสัญญาณนาฬิกา 1GHz พร้อมรองรับ OpenGL ES 1.1, 2.0 และ 3.2, OpenCL สูงถึง 2.0 และ Vulkan 1.1 embedded 2D acceleration
    • NPU – AI accelerator 6 TOPS (INT8) ที่รองรับการทำงานแบบผสม INT4/INT8/INT16/BF16/TF32
    • VPU:
      • Video Decoder : H.264, H.265, VP9, ​​AV1 และ AVS2 สูงสุด 8K ที่ 30fps หรือ 4K ที่ 120fps
      • Video Encoder: H.264 และ H.265 สูงสุด 4K ที่ 60fps, encoder/decoder (M)JPEG สูงสุด 4K ที่ 60fps
  • หน่วยความจำ – LPDDR4/LPDDR4x 32-bit  4GB หรือ 8GB
  • สตอเรจ
    • eMMC flash eMMC ขนาด 16GB ถึง 256GB
    • หน่วยความจำ UFS 2.0 (ตัวเลือก)
    • ช่องเสียบ MicroSD czrd
    • ซ็อกเก็ต M.2 PCIe NVMe/SATA สำหรับ M.2 2242 SSD
  • เอาท์พุตวิดีโอ
    • พอร์ต HDMI 2.0 สูงสุด 4Kp120
    • DisplayPort 1.4 ผ่าน USB-C สูงสุด 4Kp120
  • เสียง
    • แจ็คเสียงขนาด 3.5 มม. (รองรับหูฟังและไมโครโฟน)
    • เอาต์พุตเสียงดิจิทัลผ่าน HDMI และ USB-C/DisplayPort
  • อินเตอร์เฟสกล้อง– 1x MIPI CSI DPHY (30ขา ระยะห่าง 0.5 มม., 1×4 lanes/2×2 lanes)
  • ระบบเครือข่าย
    • พอร์ต Gigabit Ethernet RJ45 แบบ Low-profile พร้อม Motorcomm YT8531
    • Dual-band WiFi 5 และ Bluetooth 5.0 ผ่าน AMPAK AP6256; คอนเนกเตอร์สายอากาศ SMA
  • USB – 1x พอร์ต USB 3.0, 1x พอร์ต USB 2.0, 1x พอร์ต USB 3.0 Type-C พร้อมโหมด DisplayPort Alt
  • การขยายตัว
    • 40-pin GPIO header
    • M.2 สำหรับซ็อกเก็ต PCIe
  • อื่นๆ – External watchdog
  • แหล่งจ่ายไฟ – 12V DC ผ่านแจ็ค DC ขนาด 5.5/2.1 มม. รองรับอินพุตแรงดันไฟฟ้ากว้าง 12V ถึง 24V DC
  • การใช้พลังงาน – ปกติ: 1.2W (12V/100mA); สูงสุด: 6W (12V/500mA); ต่ำสุด: 0.096W (12V/8mA)
  • ขนาด – 116 x 105.2 x 31.5 มม.
  • น้ำหนัก – 430 กรัม
  • ช่วงอุณหภูมิ – -20°C ถึง 60°C
  • ความชื้น – 10% ถึง 90% RH (ไม่ควบแน่น)

Firefly EC R3576PC FD rear panel

Firefly EC R3576PC FD front panel

คอมพิวเตอร์แบบฝังตัว Firefly EC-R3576PC FD รองรับ Android 14, Ubuntu และ Linux+Qt ที่สร้างด้วย Buildroot เนื่องจากระบบนี้มุ่งเน้นที่คอมพิวเตอร์ Edge AI, บริษัทจึงเน้นการรองรับโมเดล LLM ภายใต้สถาปัตยกรรม Transformer เช่น Gemma-2B, LlaMa2-7B, ChatGLM3-6B, Qwen1.5-1.8B และอื่นๆ แต่ยังรองรับสถาปัตยกรรม neural network แบบเดิม เช่น CNN, RNN และ LSTM ที่เข้ากันได้กับ Deep Learning frameworks ที่รวมถึง TensorFlow, PyTorch, MXNet, PaddlePaddle, ONNX และ Darknet ขณะนี้ที่หน้าเว็บ wiki สำหรับคอมพิวเตอร์แบบฝังตัวยังว่างเปล่าอยู่ แต่ wiki ของ ROC-RK3576-PC SBC มีอิมเมจ Android 14 และ Ubuntu 22.04 และเครื่องมือต่างๆ

เมื่อทดสอบไลบรารี RKLLM บนบอร์ด SBC ที่ใช้ Rockchip RK3588(S) ของ Radxa ได้ผลลัพธ์ดังนี้:

  • TinyLlama 1.1B – 15.03 โทเคน/วินาที
  • Qwen 1.8B – 14.18 โทเคน/วินาที
  • Phi3 3.8B – 6.46 โทเคน/วินาที
  • ChatGLM3 – 3.67 โทเคน/วินาที

หลายคนอาจคิดว่า RK3588 และ RK3576 น่าจะมีประสิทธิภาพใกล้เคียงกัน เนื่องจากทั้งสองรุ่นมี NPU ที่รองรับ 6 TOPS เท่ากัน แต่ได้มีการแสดงให้เห็นว่าในขณะที่ RK3588 รองรับหน่วยความจำแบบ 64 บิต RK3576 ถูกจำกัดไว้ที่หน่วยความจำแบบ 32 บิต และโมเดล LLM นั้นพึ่งพาการส่งข้อมูลผ่านหน่วยความจำเป็นอย่างมาก ดังนั้นประสิทธิภาพอาจลดลงครึ่งหนึ่งบน RK3576 แม้ว่าโมเดล LLM ที่เล็กลงซึ่งมีพารามิเตอร์ 1 ถึง 2 พันล้านยังคงใช้งานได้ แต่โมเดล LLM ที่ใหญ่กว่าน่าจะทำงานได้ช้าลงอย่างมาก

การใช้งานที่เป็นไปได้คือการใช้กับหุ่นยนต์, ลำโพงอัจฉริยะ หรือตู้ kiosk แบบอินเทอร์แอคทีฟที่มีการจดจำเสียงและการแปลงข้อความเป็นเสียง ซึ่งใช้ LLM ในการโต้ตอบกับผู้ใช้, Firefly EC-R3576PC FD อาจจะไม่ทรงพลังเท่ากับกล่อง AI embedded อื่นๆ เช่น Radxa Fogwise Airbox แต่ก็มีราคาถูกกว่า โดยราคาอยู่ที่ $185.00(~6,400฿) สำหรับ 4GB/32GB และ $215 (~7,400฿) สำหรับ 8GB/64GB สามารถดูรายละเอียดเพิ่มเติมได้บนหน้าเว็บผลิตภัณฑ์ รุ่น RK3588 มีจำหน่ายบน AliExpress แต่ราคาเริ่มต้นที่ $300(~10,400฿) จึงไม่สามารถแข่งขันกับ Radxa Fogwise Airbox สำหรับการประมวลผล LLM ได้

แปลจากบทความภาษาอังกฤษ : Firefly EC-R3576PC FD is an Embedded Large-Model Computer based on Rockchip RK3576 processor

Subscribe
Notify of
guest
0 Comments
Oldest
Newest Most Voted
Inline Feedbacks
View all comments
โฆษณา