ชุดพัฒนา Rockchip RK1820/RK1828 AI Accelerator สำหรับ LLM/VLM พร้อมการทดสอบ Benchmarks

Rockchip เปิดตัวชิป RK182X LLM/VLM accelerators จำนวน 2 รุ่นในงานประชุมนักพัฒนาเมื่อเดือนกรกฎาคมปีที่แล้ว ได้แก่ RK1820 ที่มาพร้อม RAM 2.5GB รองรับโมเดลขนาด 3B พารามิเตอร์ และ RK1828 ที่มี RAM 5GB รองรับโมเดลขนาด 7B พารามิเตอร์

ตอนนี้มีรายละเอียดเพิ่มเติมออกมาโดยมีชุดพัฒนา (Development Kit) ที่ใช้โมดูล Rockchip RK1820/RK1828 แบบ SO-DIMM วางจำหน่ายแล้ว มีเอกสารเบื้องต้นเผยแพร่ออกมาและมีการทดสอบประสิทธิภาพ Benchmark ของ RK1828 เปรียบเทียบกับ NPU บน Rockchip RK3588 นอกจากนี้ยังมีข้อมูลว่ากำลังจะมีโมดูลแบบ M.2 ออกมาในเร็ว ๆ นี้

Firefly RK182X 3D RAM Stacking Development Kit

ชุดพัฒนา “RK182X 3D RAM Stacking Development Kit” ที่ใช้ AIO-GS1N2 carrier board ซึ่งก่อนหน้านี้มีให้ใช้งานร่วมกับ Rockchip RK3576, RK3588(s) รวมถึงโมดูล AI ของ NVIDIA Jetson Orin Nano หรือ NX

สเปค:

โมดูลหลัก (ปัจจุบันในชุด RK182x มีจำหน่ายเฉพาะรุ่น RK3588)
- Core-3588JD4 – Rockchip RK3588 พร้อม NPU 6 TOPS, RAM LPDDR4/LPDDR4x ขนาด 4GB ถึง 32GB, eMMC 32GB ถึง 256GB, ถอดรหัสวิดีโอ 8Kp60, เข้ารหัสวิดีโอ 8Kp30
- Core-3588SJD4 AI – Rockchip RK3588S พร้อม NPU 6 TOPS, RAM LPDDR5 ขนาด 4GB ถึง 32GB, eMMC 32GB ถึง 128GB, ถอดรหัสวิดีโอ 8Kp60, เข้ารหัสวิดีโอ 8Kp30
- Core-3576JD4 – Rockchip RK3576 พร้อม NPU 6 TOPS, RAM LPDDR4/LPDDR4x ขนาด 2GB ถึง 16GB, eMMC 16GB ถึง 256GB, ถอดรหัสวิดีโอ 8Kp30, เข้ารหัสวิดีโอ 4Kp60
โมดูลรอง
- Rockchip RK1820 SO-DIMM (เข้ากันได้กับ Jetson Nano/NX) มี DRAM บนชิป 2.5GB, พลังประมวลผล 20 TOPS (INT8), รองรับ LLM สูงสุด 3B พารามิเตอร์
- Rockchip RK1828 SO-DIMM (เข้ากันได้กับ Jetson Nano/NX) มี DRAM บนชิป 5GB, พลังประมวลผล 20 TOPS (INT8), รองรับ LLM สูงสุด 7B พารามิเตอร์
สตอเรจ
ช่อง
- MicroSD card slot
- 2x พอร์ต SATA 3.0 (ใช้ได้ครบเฉพาะเมื่อใช้ Core-3588JD4; บนบอร์ดมีหัวต่อ SATA 3 จุด แต่ไม่สามารถใช้ได้ทั้งหมดกับโมดูล Rockchip)
- NVMe SSD ผ่านสล็อต M.2 Key-M ขนาด 2280
วิดีโอเอาต์พุต
- HDMI 2.0 ความละเอียดเริ่มต้น 1080p
- VGA สูงสุด 1080p
เสียง – อินพุต/เอาต์พุตเสียงผ่านคอนเนกเตอร์ RCA
เครือข่าย
- 9x พอร์ต Gigabit Ethernet RJ45 พร้อมฟังก์ชัน PSE (ใช้ไฟ 48V จาก ATX PSU)
- 1x พอร์ต RJ45 สำหรับจัดการระบบ (ไม่มีใน Core-3588SJD4 AI)
- รองรับ WiFi ดูอัลแบนด์ 2.4/5GHz (ออปชัน) ผ่าน M.2 Key-E (ใช้ร่วมกับ SATA0 และไม่ได้ติดตั้งมาให้เป็นค่าเริ่มต้น)
USB
- 2x USB 3.0 จำนวน 2 พอร์ต
- 1xUSB 3.0 ผ่านหัวต่อแบบ wafer 20 พิน
การขยาย
- รองรับ M.2 Key-M ได้สูงสุด 4 สล็อต (บัดกรีมา 2 สล็อต และใช้งานได้จริงเพียง 1 สล็อตกับโมดูล Rockchip)
- ตำแหน่งสำหรับ M.2 Key-E
- 2x คอนเนกเตอร์ 10 พิน สำหรับ RS485, UART และ GPIO
ดีบัก – คอนเนกเตอร์ Debug 3 พิน สำหรับ serial console
อื่น ๆ
- ปุ่ม Power, MaskROM และ Reset
- DIP switch สำหรับตั้งค่าเปิดเครื่องอัตโนมัติ
- สวิตช์เลือกโหมด USB (Host/Device)
- คอนเนกเตอร์พัดลม 4 พิน และพัดลมระบบ 4 พิน
แหล่งจ่ายไฟ
- DC 24V / 5A ผ่านแจ็ค 5.5 × 2.1 มม.
- คอนเนกเตอร์ ATX 12V แบบ 6 พิน
- คอนเนกเตอร์ ATX 48V แบบ 4 พิน สำหรับจ่ายไฟ PoE (PSE) ให้กับอุปกรณ์ปลายทาง
ขนาด – 231.27 × 164.13 × 33.57 มม.
น้ำหนัก – 350 กรัม
อุณหภูมิใช้งาน – -20°C ถึง 60°C
อุณหภูมิเก็บรักษา – -20°C ถึง 70°C
ความชื้น (ขณะเก็บ) – 10%–90%RH (ไม่ควบแน่น)

บริษัทมีอิมเมจ Debian 12 พร้อม Linux 6.1 สำหรับชุดพัฒนาเมื่อใช้ Core-3588JD4
ชิป RK1820 และ RK1828 รองรับโดย RKNN3 Toolkit ซึ่งแตกต่างจาก RKNN และ RKNN2 รุ่นก่อน โดยมี C API และรองรับการแปลงโมเดล, การทำ inference และการประเมินประสิทธิภาพ, เอกสารบน wiki ให้ข้อมูลพื้นฐาน แต่ยังไม่อธิบายวิธีดาวน์โหลด RKNN3 Toolkit ซึ่งคาดว่าจะถูกปล่อยบน GitHub ของ AIRockchip ในอนาคต มีความเป็นไปได้ว่าเครื่องมือเหล่านี้ถูกติดตั้งมาแล้วในอิมเมจ Debian 12 นอกจาก RK182X 3D RAM Stacking Development Kit แล้ว Firefly ยังระบุว่าโมดูล RK182X จะรองรับการใช้งานบน GS1-N2 AI Network Video Recorder Server ด้วย

ผลทดสอบ Benchmarks ของ LLM, VLM และ AI Vision ของ Rockchip RK1820/RK1828

บริษัทได้เผยแพร่ผลทดสอบ LLM ของทั้ง RK1820 และ RK1828

สามารถทำงานกับโมเดล LLM และ VLM ขนาด 3B และ 7B ได้ดี โดยให้ความเร็วประมาณ 59 ถึง 180 โทเคน/วินาที เมื่อใช้โมเดล Qwen2.5, Qwen3, fastbvlm และ internalVL3

ทาง Radxa ยังได้เผยผลทดสอบ benchmarks เปรียบเทียบระหว่างระบบที่ใช้ Rockchip RK3588 เพียงอย่างเดียว กับระบบที่เพิ่มโมดูล accelerator RK1828 Rockchip RK1828 LLM/VLM

บริษัทได้ทดสอบด้วยโมเดลแบบ CNN เช่น YOLOv5s และ ResNet50 และพบว่า การใช้ RK1828 ไม่ได้ให้ประสิทธิภาพที่ดีกว่า เมื่อเทียบกับ NPU 6 TOPS ที่มีอยู่ในชิป Rockchip RK3588 ดังนั้นชิปตระกูล RK182X จึงไม่เหมาะสำหรับงาน AI Vision นอกจากนี้ยังได้ทดสอบโมเดล Qwen2.5 ขนาด 0.5B, 3B และ 7B พารามิเตอร์ เช่นเดียวกับที่ Firefly ทดสอบ ซึ่งได้ผลลัพธ์ใกล้เคียงกัน แม้จะไม่ได้เปรียบเทียบกับ RK3588 โดยตรง แต่จากบทความก่อนหน้าที่กล่าวถึงการเปิดตัว Rockchip RKLLM Toolkit สำหรับเร่งโมเดลภาษาขนาดใหญ่ด้วย NPU บนชิป RK3588, RK3588S และ RK3576 พบว่า RK3588 ทำได้เพียงประมาณ 14 โทเคนต่อวินาที กับโมเดล Qwen2 ขนาด 1.8B (W8A8) แม้ว่าการตั้งค่า quantization จะต่างกัน (W4A16 เทียบกับ W8A8) ทำให้เปรียบเทียบผลได้ไม่ตรงทั้งหมด แต่โดยรวมแล้ว RK1828 ยังควรให้ประสิทธิภาพที่สูงกว่าอย่างชัดเจนสำหรับงาน LLM และ VLM

Tom Cubie ยังได้ให้ข้อมูลเพิ่มเติมไว้ในส่วนความคิดเห็นว่า Rockchip ไม่ได้จำหน่ายชิปโดยตรง แต่จะจำหน่ายในรูปแบบโมดูล RK182X แบบ SO-DIMM ให้กับลูกค้าภาคธุรกิจแทน นอกจากนี้ บริษัทยังกำลังพัฒนา โมดูล RK182X แบบ M.2 ซึ่งต้องใช้ขั้วต่อไฟ 12V เพิ่มเติม และทั้งโมดูลแบบ SO-DIMM และ M.2 จำเป็นต้องติดตั้งฮีตซิงก์เพื่อระบายความร้อน สุดท้ายชิป LLM/VLM รุ่นถัดไป คือ Rockchip RK1860 คาดว่าจะเปิดตัวในช่วง ไตรมาส 2–3 ปี 2026

ชุดพัฒนา RK182X 3D RAM Stacking Development Kit วางจำหน่ายในราคา $889 (~28,000฿) สำหรับรุ่นที่ใช้โมดูล RK1820 และ $1,029 (~32,000฿) สำหรับรุ่นที่ใช้โมดูล RK1828 โดยทั้งสองรุ่นมาพร้อม SoM Rockchip RK3588, RAM 8GB และ Flash 64GB ยังไม่พบการจำหน่ายโมดูล RK1820/RK1828 แบบ SO-DIMM แยกเดี่ยว โดยหากอ้างอิงจากส่วนต่างราคาระหว่างชุด RK1820 และ RK1828 ที่อยู่ที่ $140 (~4,400฿) คาดว่า ตัวโมดูลเองน่าจะมีราคาหลักไม่กี่ร้อยดอลลาร์ เว้นแต่ Firefly จะตั้งราคาบวกกำไรค่อนข้างสูง เนื่องจากเป็นบริษัทแรกที่นำโมดูลเหล่านี้ออกมาจำหน่าย

แปลจากบทความภาษาอังกฤษ : Rockchip RK1820/RK1828 SO-DIMM and M.2 LLM/VLM AI accelerator modules, devkits, and benchmarks