ASUS UGen300 เป็นอุปกรณ์ AI accelerator แบบ USB ที่มาพร้อมชิป Hailo-10H AI ให้สมรรถนะการประมวลผล AI สูงสุด 40 TOPS และหน่วยความจำ LPDDR4 ขนาด 8GB รองรับการทำงานของ LLM (Large Language Model), VLM (Vision Language Model) และงานด้าน AI Vision โดยใช้พลังงานต่ำกว่า 2.5 วัตต์
ด้านฮาร์ดแวร์มีความคล้ายกับ Raspberry Pi AI HAT+ 2 แต่มาในรูปแบบดองเกิลขนาดกะทัดรัด (105 × 50 × 18 มม.) และใช้พอร์ต USB 3.2 Gen 1 Type-C ความเร็ว 10 Gbps แทนการเชื่อมต่อผ่านอินเทอร์เฟซ PCIe ที่มีความเร็ว 5 หรือ 8 GT/s.
สเปคของ ASUS UGen300 USB AI accelerator (UGen300-USB-8G) :
- AI accelerator – Hailo Hailo-10H ให้ประสิทธิภาพการประมวลผลสูงสุด 40 TOPS (INT4) หรือ 20 TOPS (INT8) สำหรับ Inferencing
- หน่วยความจำ – LPDDR4 ขนาด 8GB ความเร็ว 4266 MT/s
- อินเทอร์เฟซเชื่อมต่อกับโฮสต์ – พอร์ต USB 3.1 Gen2 Type-C ความเร็ว 10 Gbps
- แหล่งจ่ายไฟ – 5V ผ่านพอร์ต USB-C
- การใช้พลังงาน – โดยทั่วไป 2.5 วัตต์
- ขนาด – 105 × 50 × 18 มม.
- น้ำหนัก – 145 กรัม
ASUS ระบุว่า UGen300 USB AI Accelerator รองรับ Windows, Linux และ Android บนแพลตฟอร์ม x86 และ Arm รองรับทั้งงาน AI Vision และ Generative AI พร้อมโมเดลที่ผ่านการฝึกมาแล้วกว่า 150 โมเดล และใช้งานร่วมกับเฟรมเวิร์กยอดนิยม เช่น Keras, TensorFlow, TensorFlow Lite, PyTorch และ ONNX นอกจากนี้ เอกสารของ ASUS ยังอธิบายวิธีติดตั้ง HailoRT SDK บน Ubuntu พร้อมตัวอย่างการใช้งานภาษา Python สำหรับ LLM, VLM และการแปลงเสียงเป็นข้อความ (Speech-to-Text)
ตามที่เราได้กล่าวไว้ในรีวิว Raspberry Pi AI HAT+ 2 ชิป Hailo-10H ไม่ได้ช่วยเร่งความเร็วการประมวลผลของ LLM โดยตรงเสมอไป แต่จะช่วยถ่ายโอนภาระการประมวลผล (Offload) บางส่วนไปยังอะแดปเตอร์ USB ทำให้เครื่องโฮสต์มีหน่วยความจำ และทรัพยากรของ CPU/GPU เหลือสำหรับงานอื่นมากขึ้น อีกทั้งยังช่วยลดการใช้พลังงาน ดังนั้น ในมุมนี้Hailo-10H จึงเหมาะที่จะเรียกว่าเป็นอุปกรณ์ Offload สำหรับ LLM มากกว่าจะเป็น Accelerator สำหรับ LLM โดยตรง ในทางกลับกันชิปดังกล่าวสามารถเร่งประสิทธิภาพงานด้าน AI Vision ได้อย่างมีประสิทธิภาพ และยังอาจช่วยเพิ่มประสิทธิภาพของ Vision Language Models (VLMs) ได้ในระดับหนึ่งด้วย
ASUS เปิดตัว UGen300 USB AI Accelerator ตั้งแต่เมื่อหลายเดือนก่อน แต่เพิ่งเริ่มวางจำหน่ายอย่างเป็นทางการเมื่อไม่นานมานี้ โดยบริษัทจำหน่ายอะแดปเตอร์ AI ผ่าน USB รุ่นนี้ในราคา $299.99 (~10,000฿) ผ่านร้านค้าออนไลน์ของ ASUS และ Newegg นอกจากนี้ Newegg ยังมีการวางจำหน่ายโมดูล ASUS UGen300 M.2 ที่ใช้ชิป Hailo-10H พร้อมหน่วยความจำ 8GB ในราคา $259.99 (~8,700฿) อีกด้วย ส่วนรุ่นที่มาพร้อมหน่วยความจำ 2GB อยู่ระหว่างการพัฒนา แต่ยังไม่มีการเปิดวางจำหน่ายในขณะนี้
แปลจากบทความ : $299.99 ASUS UGen300 USB AI accelerator combines 40 TOPS Hailo-10H chip with 8GB LPDDR4
บรรณาธิการข่าวและบทความภาษาไทย CNX Software ได้มีความสนใจในด้านเทคโนโลยี โดยเฉพาะ Smart Home และ IoT