AI in a box : โซลูชัน LLM แบบออฟไลน์ใช้ NPU ของ Rockchip RK3588S

“AI in a box” ของ Useful Sensors เป็น LLM (Large Language Model หรือ โมเดลด้านภาษาขนาดใหญ่) ทำงานแบบออฟไลน์โดยมีความเป็นส่วนตัว และใช้ประโยชน์จาก NPU ใน Rockchip RK3588S สำหรับการสนทนาผ่าน AI ที่คล้ายกับ ChatGPT แต่ไม่ต้องการการเชื่อมต่ออินเทอร์เน็ตหรือการลงทะเบียน

ตอนนี้ต้นแบบของ AI box ใช้ฮาร์ดแวร์ที่ซื้อได้จากท้องตลาด โดยเฉพาะ Radxa ROCK 5A SBC ที่มี RAM 8GB และอยู่ในเคสพลาสติก และโค้ดใช้โมเดลโอเพ่นซอร์ส เช่น Whisper สำหรับการแปลงเสียงเป็นข้อความ และโมเดลภาษา Llama2

นอกจากการสนทนาผ่าน AI ที่คุณสามารถโต้ตอบกับกล่องได้เหมือนกับการพูดคุยกับคนจริง กล่อง AI in a Box ยังมีประโยชน์ในการใช้งานอื่น ๆ ดังนี้:

คำบรรยายสด – กล่องสามารถแสดงคำบรรยายย่อย/คำบรรยายปิดสำหรับเหตุการณ์สดหรือช่วยเหลือในสถานการณ์ที่บุคคลมีปัญหาในการได้ยินการสนทนาโดยใช้ข้อมูลเสียง
การแปลสด – นกล่องยังสามารถแปลภาษาต่าง ๆ ในเวลาที่ใกล้เคียงกับเวลาจริง แค่เลือกภาษาต้นทางและภาษาเป้าหมาย แล้วคุณจะเห็นคำบรรยายสองภาษาที่แสดงข้อมูลต้นฉบับและผลลัพธ์การแปลจากเครื่อง
ความเป็นส่วนตัวเต็มรูปแบบ – Radxa ROCK 5A ไม่มี WiFi และ Bluetooth เป็นค่าเริ่มต้น และถึงแม้ว่าจะมีพอร์ต Ethernet บนบอร์ด ก็ไม่จำเป็นต้องเชื่อมต่อเนื่องจากไม่จำเป็นต้องมีการเชื่อมต่ออินเทอร์เน็ต ซอฟต์แวร์ที่ให้มาจัดการข้อมูลทั้งหมดในเครื่องเพื่อความเป็นส่วนตัวสำหรับการสนทนาหรือเนื้อหาที่ละเอียดอ่อน
โหมดคีย์บอร์ด – กล่องสามารถใช้เป็นคีย์บอร์ด USB เมื่อเชื่อมต่อกับโฮสต์อื่น เช่น Raspberry Pi ดังนั้นมันสามารถใช้แปลงไฟล์เสียงหรือวิดีโอเป็นรูปแบบข้อความได้

บริษัทได้พัฒนาไลบรารี Useful Transformers โดยมุ่งเน้นไปที่ประมวลผลที่มีต้นทุนต่ำ และใช้พลังงานต่ำเพื่อดำเนินการในส่วนของ edge และการดำเนินการแรกเป็นการปรับใช้กับโมเดล Whisper สำหรับการแปลงเสียงเป็นข้อความของ OpenAI สำหรับโปรเซสเซอร์ RK3588(s) สามารถหาได้บน GitHub

แผนภูมิด้านบนแสดงประสิทธิภาพของไลบรารี Useful Transformers โดยใช้โมเดล Tiny.en Whisper ซึ่งแปลงเสียงพูดเป็นข้อความในความเร็ว 30 เท่าของเวลาจริง และเร็วขึ้นสองเท่าเมื่อเทียบกับการดำเนินการที่รู้จักกันดีที่สุด (faster-whisper) แผนภูมิแสดงให้เห็นว่าการประมวลผลส่วนใหญ่เกิดขึ้นภายใน 500 มิลลิวินาทีถึง 2 วินาที

ฮาร์ดแวร์ที่ใช้งานได้ในปัจจุบันเป็นชุดต้นแบบที่มี Rasxa ROCK 5A อยู่ในกล่องพลาสติก อยู่ในเคสพลาสติก เชื่อมต่อกับจอแสดงผล HDMI, ลำโพง USB และไมโครโฟน USB

แต่ผลิตภัณฑ์สุดท้ายที่เป็นเวอร์ชันสมบูรณ์จะเป็นโซลูชันที่เครื่องปิดทึบพร้อมกับ Rockchip RK3588S SoC, RAM 8GB, จอแสดงผลในตัว, ลำโพง และไมโครโฟน และเคสแบบกำหนดเอง ใช้ระบบปฏิบัติการ Ubuntu 22.04

Useful Sensors ได้เริ่มต้นการเปิดตัว AI in a Box บน Crowd Supply มีเป้าหมายการระดมทุน $30,000 (ประมาณ 1 ล้านบาท) แพ็คเกจเริ่มต้นราคา $299(~10,000฿) สำหรับผลิตภัณฑ์สุดท้ายที่ใช้ Rockchip RK3588S SoC จะเริ่มจัดส่งภายในวันที่ 31 มกราคม 2024 และชุด AI in a Box ต้นแบบที่ใช้ ROCK 5A, เคส, จอแสดงผล และอุปกรณ์เสริมอื่นๆ ราคา $475 (~17,000฿) จะเริ่มจัดส่งภายในวันที่ 1 ธันวาคม 2023