Fogwise AIRbox Q900 : AI Box ที่ใช้ Qualcomm IQ-9075 มีกำลังประมวลผล AI สูงสุด 200 TOPS

Fogwise AIRBox Q900 AI box เป็นรุ่นอัปเกรดของ Fogwise Airbox ที่ใช้ Qualcomm IQ-9075 SoC ซึ่งมีกำลังประมวลผล AI ได้สูงสุด 200 TOPS (sparse) มาพร้อม RAM 36GB และที่เก็บข้อมูลแบบ UFS 128GB

Radxa ระบุว่าไมโครเซิร์ฟเวอร์ AI รุ่นใหม่นี้สามารถแข่งขันโดยตรงกับ NVIDIA Jetson Orin NX 16GB, โดยมีต้นทุนระบบโดยรวมที่ถูกกว่า ประสิทธิภาพใกล้เคียงกัน และมีความคุ้มค่าด้านพลังงานมากกว่า นอกจากนี้ยังมีจุดเด่นอื่น ๆ เช่น คอร์ประมวลผลแบบเรียลไทม์ Cortex-R52, การเชื่อมต่อเครือข่าย 2.5GbE และการแยกหน่วยประมวลผล GPU, NPU และ DSP ออกจากกัน

สเปคของ Fogwise AIRBox Q900 :

• SoC – Qualcomm DragonWing IQ-9075
  • CPU
    • คอร์ประมวลผลแอปพลิเคชัน Octa-core Kryo Gen 6 (พื้นฐาน Cortex-A78C) ทำงานได้สูงสุด 2.36 GHz
    • คอร์เรียลไทม์ Quad-core Cortex-R52 ทำงานได้สูงสุด 1.85 GHz
  • GPU – Adreno 663 GPU รองรับการประมวลผลได้สูงสุด 1.2 TFLOPS FP32 พร้อมระบบ GPU compute แบบปลอดภัย; รองรับ Vulkan 1.2, OpenGL ES 3.2, OpenCL 2.0 FP, Adreno NN Direct
  • VPU – Adreno VPU 765
    • การถอดรหัสวิดีโอ (Video Decode)
      • รองรับ AV1 / HEVC / H.265 / H.264 / VP9 / MPEG-2
      • รองรับการแสดงผล: 1x 8Kp60 / 2x 8Kp30 / 4x 4Kp60 / 8x 4Kp30 / 16x 1080p60 / 32x 1080p30
    • การเข้ารหัสวิดีโอ (Video Encode)
      • รองรับ H.264 / H.265 / HEIF / HEIC
      • 2x 4Kp60 / 4x 4Kp30 / 8x 1080p60 / 16x 1080p30
    • รองรับการเข้ารหัสและถอดรหัสพร้อมกัน 2x 4Kp60
    • NPU
      • ประสิทธิภาพสูงสุด 200 TOPS @ INT8 (Sparse Computing Power)
      • Hexagon Tensor Processor (HTP) พร้อม quad HVX และ dual HMX
      • รองรับเฟรมเวิร์ก Deep Learning: TensorFlow, PyTorch, ONNX, Paddle, Caffe, DarkNet เป็นต้น
• หน่วยความจำระบบ – 36GB 96-bit LPDDR5 @ 6400MT/s (รองรับ ECC)
• ที่เก็บข้อมูล
  • SPI Flash 32MB
  • คอนเนกเตอร์ UFS และ eMMC
  • UFS 3.1 (Gear4 x2) ความจุ 128GB
  • สล็อต M.2 M Key (PCIe Gen4 x4)
• เอาต์พุตวิดีโอ – พอร์ต HDMI 2.0 รองรับสูงสุด 4Kp60
• การเชื่อมต่อเครือข่าย
  • 2 x 2.5GbE RJ45 พร้อม TSN
  • Wi-Fi 6 / Bluetooth 5.4 ผ่าน mini PCIe socket
  • รองรับ 4G / 5G ผ่าน mini PCIe socket + ช่องใส่ Nano SIM
  • รองรับสายอากาศภายนอกสูงสุด 3 อัน
• USB
  • พอร์ต USB 3.1 Gen2 Type-A
  • พอร์ต USB 3.1 Gen2 OTG Type-A
  • พอร์ต USB Type-C สำหรับ serial console
• อื่น ๆ
  • ปุ่ม Power และ EDL
  • คอนเนกเตอร์พัดลม PWM (มีพัดลม PWM ในตัว)
  • คอนเนกเตอร์แบตเตอรี่ RTC
• แหล่งจ่ายไฟ – DC 12V / 5.4A ผ่านแจ็คขนาด 5.5 x 2.5 มม.
• ขนาด – 104 x 84 x 45 มม. (ตัวเครื่องอะลูมิเนียมอัลลอย)
• ช่วงอุณหภูมิ – 0°C ~ 60°C

Radxa ระบุว่ารองรับ Ubuntu และ Yocto Linux รวมถึงเฟรมเวิร์ก AI อย่าง TensorFlow, PyTorch, ONNX และอื่น ๆ สามารถรันโมเดล AI เช่น GPT, LLaMa และ Stable Diffusion locally ได้ ยังคงใช้ CasaOS เพื่อให้ง่ายต่อการติดตั้งและใช้งาน เช่นเดียวกับ Fogwise Airbox รุ่นดั้งเดิม ด้านประสิทธิภาพ การทำ inference ของ LLaMA-7B ใช้เวลา 0.6 วินาที สำหรับ token แรก จากนั้นจะเร็วขึ้นเป็นประมาณ 12 token ต่อวินาที สามารถดูรายละเอียดเพิ่มเติมได้จากประกาศของ Radxa, เพราะเว็บไซต์เอกสารยังไม่เปิดใช้งานในขณะที่เขียนโพสต์นี้

บริษัทยังได้ให้ การเปรียบเทียบอย่างรวดเร็วระหว่าง AIRbox Q900 micro-server และโมดูล NVIDIA Orin NX 16GB ดังนี้:

• ราคา – อยู่ในช่วงใกล้เคียงกัน แต่ Q900 ถูกกว่า — Q900 เป็นระบบสมบูรณ์ ราคา $600(~19,400฿) , ขณะที่ Orin NX 16GB เป็นเพียงโมดูล ราคา $600 (~19,400฿)
• หน่วยความจำ – Q900 มี 36 GB ส่วน Orin NX มี 16 GB อย่างไรก็ตามโมดูลของ NVIDIA มี แบนด์วิดท์หน่วยความจำสูงกว่า: Q900 78 GB/s เทียบกับ Orin NX 100 GB/s
• พื้นที่เก็บข้อมูล – Q900 มีอุปกรณ์ UFS 128 GB สำหรับระบบปฏิบัติการ ในขณะที่ Orin NX ต้องใช้ SSD ภายนอก
• AI Performance – Q900 200 TOPS (sparse) เทียบกับ Orin NX 157 TOPS (เมื่อเปิด Super mode)
• คอร์เรียลไทม์ – SoC IQ-9075 มี 4 คอร์ Arm Cortex-R52 สำหรับงานเรียลไทม์
• DSPs – IQ-9075 มี DSP สำหรับเสียงโดยเฉพาะและ DSP แบบทั่วไป รองรับการทำงานแบบขนาน
• เครือข่าย – Q900 รองรับ 2.5G TSN โดยตรง ขณะที่ Orin NX ต้องใช้การขยายเพิ่มเติม
• Video Codec –Q900 ให้ประสิทธิภาพ encoding/decoding สูงกว่าอย่างมาก — อย่างน้อยสองเท่าของ Orin NX 16 GB
• การใช้พลังงาน – Q900 ใช้พลังงานต่ำกว่า 20 W ในการทำงานปกติ ขณะที่ Orin NX 16GB ต้องใช้ 45 W เพื่อให้ได้ประสิทธิภาพ 157 TOPS เมื่อปรับ Power Mode เป็น 25 W จะได้ประมาณ 100 TOPS

สิ่งที่ไม่ได้ระบุในรายการข้างต้นคือ โมดูลของ NVIDIA อาจเหมาะกับงานด้านหุ่นยนต์มากกว่า เพราะรองรับ GPIO และอินเทอร์เฟซ MIPI CSI ซึ่งไม่มีในอุปกรณ์ Qualcomm IQ9

สามารถซื้อ Fogwise AIRBox Q900 AI micro-server ได้แล้วในราคา $599 (~19,400฿) บน Arace และสามารถดูรายละเอียดเพิ่มเติมได้ที่หน้าเพจผลิตภัณฑ์

แปลจากบทความภาษาอังกฤษ : Fogwise AIRbox Q900 – $599 Qualcomm IQ-9075 AI Box delivers up to 200 TOPS of AI performance

Suthinee Kerdkaew

บรรณาธิการข่าวและบทความภาษาไทย CNX Software ได้มีความสนใจในด้านเทคโนโลยี โดยเฉพาะ Smart Home และ IoT