การนำ Generative AI มาใช้กับ NVIDIA Jetson Orin, Jetpack 6 SDK พร้อมรองรับหลายระบบปฏิบัติการ

NVIDIA ได้ประกาศเกี่ยวข้องกับหุ่นยนต์และระบบสมองกลฝังตัว (Embedded Systems) ในงาน ROSCon 2023 ได้เน้นเรื่องการนำ Generative AI มาใช้กับโมดูล NVIDIA Jetson Orin และ Jetpack 6 SDK ที่จะถูกเปิดตัวในเดือนหน้า (พฤศจิกายน 2023) พร้อมรองรับ Ubuntu รวมถึงระบบปฏิบัติการและแพลตฟอร์มอื่น ๆ เช่น Debian, Yocto, Wind River, Redhawk RTOS และ Balena

Generative AI บน NVIDIA Jetson Orin

ในปีที่ผ่านมา Generative AI กำลังได้รับความสนใจด้วยบริการต่างๆ เช่น ChatGPT, Google Bard หรือ Microsoft Bing Chat แต่บริการเหล่าต้องใช้ closed-source software ที่รันบนเซิร์ฟเวอร์ที่ทรงพลังในระบบคลาวด์ ตามที่เราได้กล่าวไว้ในบทความ “AI in a box” โซลูชัน LLM แบบออฟไลน์ มีโปรเจ็กต์ open-source ที่สามารถรันบนฮาร์ดแวร์แบบฝังตัว เช่น Whisper สำหรับการแปลงเสียงเป็นข้อความ และโมเดลภาษา Llama2 แต่บางแพลตฟอร์ม เช่น Rockchip RK3588S หรือ Raspberry Pi 4 มักขาดประสิทธิภาพในการประมวลผลและความจุหน่วยความจำสำหรับการรันโมเดล AI ในรูปแบบที่มีประโยชน์ แม้ว่าบอร์ด RK3588 บางรุ่นจะมาพร้อมกับ RAM 32GB

แต่ NVIDIA Jetson AGX Orin เป็นคอมพิวเตอร์ AI แบบฝังตัวมีประสิทธิภาพสูงด้วย Cortex-A78AE สูงสุด 12 คอร์ ผสมผสานกับ GPU อันทรงพลังพร้อม AI accelerator ที่สามารถให้ประสิทธิภาพสูงสุด 275 TOPS และ RAM สูงสุด 64GB ทำให้เหมาะสำหรับ Generative AI และมาแทนที่เครือข่าย CNNs (Convolutional Neural Networks) แบบเดิมที่ไม่ยืดหยุ่น

การพัฒนาโมเดลประเภท CNN เป็นกระบวนการที่ใช้เวลามากและต้องใช้ข้อมูลจำนวนมากเพื่อฝึกโมเดล และมีความยืดหยุ่นน้อยด้วยคุณสมบัติที่ถูกกำหนดไว้แล้ว เนื่องจากไม่สามารถเรียนรู้ได้ด้วยตัวเอง, Generative AI ไม่ต้องการการฝึกเพิ่มเติม หรือสิ่งที่ NVIDIA เรียกว่า “zero-short learning” และโมเดลประเภทนี้สามารถเรียนรู้เพื่อรู้จักสิ่งที่ไม่เคยเห็นมาก่อน

นอกจากนี้ยังเปิดใช้งานอินเทอร์เฟสภาษา สามารถแสดงกล่องรอบๆ วัตถุที่ตรวจพบและมีแชทบอตที่สามารถตอบคำถาม เช่น “ในชั่วโมงที่แล้วแกะไปกี่กล่อง” หรือ “พนักงานที่ใส่เสื้อกั๊กสีส้มขนกล่องออกมาเร็วเท่าไหร่ต่อนาที?” ดังนั้น Generative AI จึงเป็นโซลูชันที่มีประสิทธิภาพและมีประโยชน์มากกว่า และมีแนวโน้มว่าจะทำให้โมเดล CNN ล้าสมัยบนแพลตฟอร์มที่มีทรัพยากรเพียงพอที่จะจัดการกับเทคโนโลยีใหม่

NVIDIA ได้ทดสอบ Benchmarks การใช้งาน Generative AI บน Jetson Orin กับเซิร์ฟเวอร์ Intel Xeon Platinum 8480+ (556 cores, 112 threads @ 3.80 GHz, 350W TDP) ทดสอบ LLM (Large Language Model หรือ โมเดลด้านภาษาขนาดใหญ่), Vision language models, Vision transformers และ Stable diffusion บนทั้งสองแพลตฟอร์ม และพบว่า NVIDIA Orin มีประสิทธิภาพสูงกว่า 1.7 เท่าของระบบที่ใช้ Xeon ฉันคิดว่า Orin ได้ตั้งค่าเป็นโหมดพลังงานสูงหรือ 60W

NVIDIA Jetson Generative AI Lab มีเครื่องมือและบทช่วยสอน (Tutorial) สำหรับการปรับใช้ LLM แบบ open-source (เช่น llama2), Diffusion models เเพื่อสร้างภาพที่น่าตื่นตาตื่นใจจากข้อความ, Vision language models (VLMs), และ Vision transformers (ViTs) ที่รวม Vision AI และ Natural language processing (กรประมวลผลภาษาธรรมชาติ) เพื่ออธิบายภาพในที่เกิดขึ้นอย่างมีปฏิสัมพันธ์ผ่านแชทบอท หรืออีกทางหนึ่ง นักพัฒนาสามารถใช้ TAO Toolkit เพื่อสร้างโมเดล AI สำหรับ Edge ด้วยเขียนโค้ดเพียงเล็กน้อย (low-code platform) และปรับโมเดล vision AI รวมถึงโมเดล ViT

Jetpack 6 SDK

การเปิดตัว NVIDIA Jetpack 5.0.2 สำหรับการผลิตได้ถูกเปิดตัวเมื่อเดือนพฤศจิกายนปีที่แล้ว มาพร้อมกับ Ubuntu 20.04 และรองรับ Jetson Orin ใหม่ และ JetPack 6 SDK คาดว่าจะถูกปล่อยเร็ว ๆ นี้พร้อมรองรับระบบปฏิบัติการ Ubuntu ที่ได้รับการปรับปรุงและรับรองของ Canonical (แต่ยังไม่ทราบว่าเป็นเวอร์ชันใด) และเป็นครั้งแรกที่รองรับระบบปฏิบัติการอื่นๆ เช่น Wind River Linux, Concurrent Real’s Redhawk Linux และ Yocto-based distributions หลายรูปแบบ

NVIDIA กล่าวว่านักพัฒนา AI  ไม่จำเป็นต้องทำการอัปเกรด Jetson Linux เต็มรูปแบบเมื่อต้องการสลับไปใช้ JetPack 6 SDK ดังนั้นการอัปเกรดจะง่ายและใช้เวลาน้อยลง ขณะนี้ยังไม่มีข้อมูลรายละเอียดอื่นๆ มากนัก แต่จากแผนภาพด้านบนยังแสดงบริการระบบใหม่ (IoT Edge Stack, Diagnostics, Fleet management) และการรักษาความปลอดภัยที่เพิ่มขึ้น ซึ่งมีการบูตที่ปลอดภัย, การเข้ารหัสหน่วยความจำ

ข้อมูลเพิ่มเติมเกี่ยวกับ Generative AI และ JetPack SDK ใหม่สามารอ่านได้ในบล็อกโพสต์ที่เกี่ยวข้องบนเว็บไซต์ของ NVIDIA และบริษัทยังเปิดตัว NVIDIA Isaac ROS 2.0 และ NVIDIA Isaac Sim 2023.1 สำหรับการใช้งานด้านหุ่นยนต์ด้วย

แปลจากบทความภาษาอังกฤษ : Generative AI on NVIDIA Jetson Orin, Jetpack 6 SDK to support multiple OSes