ขณะที่กำลังมองหาผลิตภัณฑ์ใหม่ๆ และน่าสนใจ เราพบ DLAP Supreme series ของ ADLINK ซึ่งเป็นชุดอุปกรณ์ Edge AI ที่ช้ NVIDIA Jetson AGX Orin แต่นั่นยังไม่ใช่ส่วนที่น่าสนใจที่สุด เพราะสิ่งที่ดึงดูดความสนใจคือการรองรับเทคโนโลยีที่เรียกว่า aiDAPTIV+ ซึ่งทำให้อยากรู้มากขึ้น หลังจากหาข้อมูล เราพบว่าโซลูชัน aiDAPTIV+ AI เป็นโซลูชันแบบผสม (ทั้งซอฟต์แวร์และฮาร์ดแวร์) ที่ใช้ NAND flash storage ที่มีราคาประหยัดและหาได้ทั่วไปเพื่อเพิ่มประสิทธิภาพให้กับ GPU ในการปรับปรุงกระบวนการและขยายการฝึก LLM (large-language model training) สำหรับธุรกิจขนาดเล็กและขนาดกลาง การออกแบบนี้ช่วยให้องค์กรสามารถฝึกโมเดลข้อมูลบนฮาร์ดแวร์มาตรฐานที่มีอยู่ทั่วไป โดยแก้ปัญหาข้อจำกัดของโมเดลที่ซับซ้อนมากขึ้น เช่น Llama-2 7B
โซลูชันนี้รองรับโมเดลที่มีพารามิเตอร์สูงสุดถึง 70B พร้อมคุณสมบัติหน่วงเวลาต่ำ (low latency) และอายุการใช้งานของสตอเรจที่ทนทานสูง (100 DWPD) โดยใช้ SLC NAND นอกจากนี้ยังออกแบบมาให้สามารถรวมเข้ากับแอปพลิเคชัน AI ที่มีอยู่ได้อย่างง่ายดายโดยไม่ต้องเปลี่ยนแปลงฮาร์ดแวร์ ทำให้ธุรกิจสามารถเข้าถึงโซลูชันการฝึก LLM ที่ทรงพลังและคุ้มค่าได้ง่ายขึ้น
Phison ระบุว่าบริษัทใช้เทคนิคที่คล้ายกับ “swapping” ในระบบปฏิบัติการ โดยเมื่อ RAM ของคอมพิวเตอร์เต็ม ระบบจะย้ายข้อมูลที่ใช้งานไม่บ่อยไปยังฮาร์ดไดรฟ์เพื่อเพิ่มพื้นที่สำหรับกระบวนการที่กำลังทำงานอยู่ ในลักษณะเดียวกัน aiDAPTIV+ ใช้ความเร็วสูงและความจุขนาดใหญ่ของ SSD (SSD รุ่น AI100E M.2 ของ Phison) เพื่อขยายความสามารถของหน่วยความจำบน GPU โดย SSD เหล่านี้ที่ออกแบบมาเป็นพิเศษหรือเรียกว่า “aiDAPTIVCache” ได้รับการปรับแต่งเพื่อรองรับความต้องการที่สูงของการประมวลผล AI
ในอีกด้านหนึ่ง ซอฟต์แวร์ aiDAPTIV+ middleware จะจัดการการไหลของข้อมูลระหว่างหน่วยความจำ GPU และ SSD โดยวิเคราะห์ความต้องการของโมเดล AI เพื่อระบุส่วนของข้อมูลที่ใช้งานน้อยและย้ายข้อมูลเหล่านั้นไปยัง SSD ซึ่งช่วยสร้างแหล่งหน่วยความจำเสมือนขนาดใหญ่ให้กับ GPU เทคนิคนี้ช่วยให้สามารถฝึกโมเดลที่มีขนาดใหญ่มากขึ้นได้ ซึ่งเป็นไปไม่ได้หากใช้เฉพาะหน่วยความจำบน GPU เพียงอย่างเดียว
แผนภาพแสดงเวลาในการฝึกโมเดลภาษาใหญ่ (Large Language Models – LLM) ที่มีขนาดต่าง ๆ ได้แก่ 7B, 13B และ 70B โดยเปรียบเทียบระหว่างวิธีการแบบดั้งเดิมกับระบบ aiDAPTIV+ แผนภาพแสดงให้เห็นว่าการฝึกโมเดลขนาด 70B ด้วย 4x RTX6000 Ada โดยใช้ GPU เพียงอย่างเดียวจะล้มเหลว ในขณะที่โซลูชัน aiDAPTIV+ สามารถฝึกโมเดลสำเร็จในเวลาเพียง 4.41 ชั่วโมง การปรับปรุงนี้เป็นผลมาจาก middleware ของ Phison ที่ช่วยเพิ่มประสิทธิภาพการใช้หน่วยความจำ GPU โดยการแบ่งส่วนโมเดลออกเป็นส่วนเล็ก ๆ เก็บส่วนที่รอใช้งานไว้ใน aiDAPTIVCache และสลับส่วนเหล่านี้ระหว่างแคชและ GPU อย่างมีประสิทธิภาพ
ตามที่กล่าวไว้ DLAP Supreme series รุ่นใหม่ของ ADLINK ใช้เทคโนโลยี aiDAPTIV+ ของ Phison เพื่อแก้ปัญหาข้อจำกัดด้านหน่วยความจำและประสิทธิภาพในอุปกรณ์ Edge สำหรับการใช้งาน Generative AI โดย DLAP Supreme series สามารถเพิ่มความเร็วการประมวลผลเชิงอนุมาน (inference speeds) ได้ถึง 8 เท่า รองรับความยาวของโทเค็นได้มากขึ้นถึง 4 เท่า และสามารถฝึกโมเดลภาษาใหญ่ (Large Language Model – LLM) แม้ในอุปกรณ์ที่มีหน่วยความจำจำกัด เช่น NVIDIA Jetson AGX Orin 32GB ด้วยโมเดล Gemma 27B ความสามารถนี้ช่วยให้อุปกรณ์ Edge สามารถจัดการงานที่โดยปกติจะต้องใช้ GPU ประสิทธิภาพสูง เช่น H100 หรือ A100 ได้ หลายบริษัท เช่น ADLINK, Advantech , ASRock , ASUS และ GIGABYTE ได้นำเทคโนโลยี aiDAPTIV+ ของ Phison มาใช้แล้ว
บรรณาธิการข่าวและบทความภาษาไทย CNX Software ได้มีความสนใจในด้านเทคโนโลยี โดยเฉพาะ Smart Home และ IoT