NVIDIA Jetson Orin Nano Super Developer Kit - ราคาลดลงครึ่งหนึ่ง ประสิทธิภาพ Generative AI เพิ่มขึ้น 1.7 เท่า

NVIDIA Jetson Orin Nano Super Developer Kit เป็นการอัปเกรดจาก Jetson Orin Nano Developer Kit ด้วยประสิทธิภาพด้าน Generative AI ที่เพิ่มขึ้นถึง 1.7 เท่า พร้อมประสิทธิภาพโดยรวมที่เพิ่มขึ้น 70% เป็น 67 INT8 TOPS และราคาลดลงเกือบครึ่งหนึ่ง ทำให้เป็นแพลตฟอร์มการพัฒนาที่ยอดเยี่ยมสำหรับ Generative AI บนอุปกรณ์ปลายทาง (Edge) โดยเฉพาะในงานหุ่นยนต์

ในปีที่ผ่านมา เราได้เห็น AI box และบอร์ด AI หลายตัวที่รองรับการใช้งาน Generative AI แบบออฟไลน์ เช่น เมนบอร์ด Firefly AIO-1684XQ หรือ Radxa Fogwise Airbox ซึ่งเราเคยรีวิวร่วมกับแอปพลิเคชั่นอย่าง Llama3, Stable diffusion และ Imgsearch โดย Fogwise Airbox ให้ประสิทธิภาพสูงสุดที่ 32 TOPS (INT8) และขายในราคาประมาณ $330(~11,000฿) ซึ่งถือว่าแข่งขันได้ดีในเวลานั้น (มิถุนายน 2024) อย่างไรก็ตาม Jetson Orin Nano Super Developer Kit จะเข้ามาเปลี่ยนแปลงตลาด ด้วยประสิทธิภาพที่สูงกว่า 2 เท่า, ราคาที่ต่ำกว่า, และกลุ่มนักพัฒนาที่กว้างขวางกว่า

สเปคของ NVIDIA Jetson Orin Nano Super:

โมดูล NVIDIA Jetson Orin Nano 8GB
- CPU – 6-core Arm Cortex-A78AE v8.2 64-bit @ 1.7 GHz พร้อม L2 1.5MB + L3 4MB
- GPU – สถาปัตยกรรม NVIDIA Ampere @ 1,020 MHz พร้อม CUDA cores 1024 และ Tensor cores 32
- การเข้ารหัสวิดีโอ – รองรับ 1080p30 (ใช้ 1-2 คอร์ของ CPU)
- การถอดรหัสวิดีโอ
  - 1x 4K60 (H.265)
  - 2x 4K30 (H.265)
  - 5x 1080p60 (H.265)
  - 11x 1080p30 (H.265)
- หน่วยความจำ – LPDDR5 แบบ 128 บิต ขนาด 8GB (แบนด์วิดท์ 102GB/s )
- ที่เก็บข้อมูล – รองรับ SD card และ NVMe SSD ผ่าน carrier board
- AI Performance – 67 TOPS (Sparse), 33 TOPS (Dense)
- โหมดพลังงาน – 7W, 15 หรือ 25W
ที่เก็บ้ข้อมูล
- ช่องเสียบ microSD card
- 2x M.2 socket สำหรับ NVMe SSD (ดูการขยาย)
อินเทอร์เฟสการแสดงผล – คอนเนกเตอร์ DisplayPort 1.2 (+MST)
อินเทอร์เฟสกล้อง – 2x คอนเนกเตอร์ MIPI CSI-2 22 พิน
ระบบเครือข่าย
- พอร์ต Gigabit Ethernet RJ45
- ตัวเลือก WiFi และ Bluetooth ผ่าน M.2 Key-E slot
USB
- 4x พอร์ต USB 3.2 Gen2 Type-A
- พอร์ต USB Type-C สำหรับ UFP (Upstream Facing Port)
การขยาย
- ช่องเสียบ M.2 Key M slot พร้อม PCIe Gen3 x4
- ช่องเสียบ M.2 Key M slot พร้อม PCIe Gen3 x2
- ช่องเสียบ M.2 Key E
- GPIO expansion header 40 พินพร้อม UART, SPI, I2S, I2C และอื่นๆ
อื่นๆ
- button header 12 พิน
- fan header 4 พิน
แหล่งจ่ายไฟ – แจ็คไฟ DC
ขนาด – 103 x 90.5 x 34.77 มม. (รวมฐาน, บอร์ด carrier board, โมดูล และระบบระบายความร้อน)

จุดเด่นที่เป็นตัวหนาแสดงให้เห็นว่า Jetson Orin Nano Super Developer Kit มีความคล้ายคลึงกับ Jetson Orin Nano Developer Kit รุ่นเดิมอย่างมาก อย่างไรก็ตาม มีการปรับปรุงบางส่วน ได้แก่ ความถี่ของ CPU เพิ่มขึ้นเป็น 1.7 GHz (จากเดิม 1.5 GHz), GPU ทำงานที่ความเร็ว 1,050 MHz (จากเดิม 635 MHz), แบนด์วิดท์หน่วยความจำ เพิ่มขึ้นอย่างมาก (จาก 68GB/s เป็น 102GB/s) และโหมดพลังงานเพิ่มโหมด 25W ซึ่งทั้งหมดนี้ช่วยอธิบายถึงประสิทธิภาพที่เพิ่มขึ้น, ขนาดของอุปกรณ์ ก็แตกต่างออกไปด้วย แต่เป็นไปได้ว่าอาจเกิดจากวิธีการวัดที่เปลี่ยนไป

สิ่งที่น่าแปลกใจที่สุดคือ NVIDIA ระบุว่าการปรับปรุงประสิทธิภาพทั้งหมดนี้มาจากการอัปเดตซอฟต์แวร์ ซึ่งหมายความว่า Devkit รุ่นดั้งเดิมของ NVIDIA ก็สามารถรับประโยชน์จากการเพิ่มประสิทธิภาพด้าน Generative AI ได้ 1.7 เท่าเช่นกัน สำหรับ LLM (Large Language Model), LVM (Large Vision Model) และ ViTs (Vision Transformers)

ประสิทธิภาพที่เพิ่มขึ้นนี้จะพร้อมใช้งานสำหรับโมดูล NVIDIA Jetson Orin NX และ Nano โดยที่ Nano 4GB จะมีประสิทธิภาพเพิ่มขึ้นเป็น 34 TOPS, Nano 8GB จะเพิ่มขึ้นเป็น 67 TOPS, NX 8GB จะเพิ่มขึ้นเป็น 117 TOPS, NX 16GB จะเพิ่มขึ้นเป็น 157 TOPS หากต้องการอัปเดตซอฟต์แวร์ คุณจำเป็นต้องติดตั้ง JetPack 6.1 ที่รองรับประสิทธิภาพที่เพิ่มขึ้น โดยใช้ SDK Manager (เลือก JetPack 6.1 (rev. 1)) และเปลี่ยนโหมดพลังงานเป็น MAXN ตามขั้นตอนดังนี้:

sudo nvpmodel -m 2

1	sudo nvpmodel -m 2

การรองรับด้านซอฟต์แวร์ยังคงเหมือนเดิม โดยใช้ NVIDIA AI software stack รวมถึง NVIDIA Isaac สำหรับหุ่นยนต์, NVIDIA Metropolis สำหรับ Vision AI และ NVIDIA Holoscan สำหรับการประมวลผลข้อมูลจากเซนเซอร์ นอกจากนี้ NVIDIA ยังกล่าวว่าผู้พัฒนาสามารถประหยัดเวลาได้อย่างมากด้วย NVIDIA Omniverse Replicator สำหรับการสร้างข้อมูลสังเคราะห์ (Synthetic Data Generation – SDG) และ NVIDIA TAO Toolkit สำหรับปรับแต่งโมเดล AI ที่ผ่านการฝึกสอนล่วงหน้าจาก NVIDIA NGC Catalog

Jetson Orin Nano vs Orin Nano Super LLM benchmarks — ประสิทธิภาพการสร้าง LLM ในรูปแบบ tokens per second โดยใช้ INT4 quantization ผ่าน MLC API

ถ้าคุณยังไม่มี NVIDIA Jetson Orin Nano สามารถซื้อรุ่น “Super” ได้ในราคา $249(~8,500฿) ที่ Seeed Studio, Arrow, หรือ Sparkfun NVIDIA ไม่ได้ระบุราคาสำหรับโมดูล เช่น สำหรับการผลิตในปริมาณมาก และเป็นไปได้ว่าราคาของโมดูลไม่ได้ลดลงเหมือนกับชุดพัฒนา (Devkit) ทั้งนี้ NVIDIA Jetson Orin Nano อาจเป็นผลิตภัณฑ์ที่ได้รับการสนับสนุนสำหรับนักพัฒนาโดยเฉพาะ สามารถอ่านรายละเอียดเพิ่มเติมได้ที่หน้าเพจสินค้า