ข่าว low-power

Taalas HC1 เป็นชิปตัวเร่งประมวลผล AI ที่ฮาร์ดไวร์ (hardwired) ไว้กับโมเดล Llama 3.1 ขนาด 8B โดยตรง ให้ประสิทธิภาพการประมวลผลสูงถึงเกือบ 17,000 โทเคนต่อวินาที ซึ่งเหนือกว่าตัวเร่งประมวลผลระดับดาต้าเซ็นเตอร์อย่าง NVIDIA B200 และชิปของ Cerebras Systems Taalas HC1 มีความเร็วมากกว่าชิปของ Cerebras ประมาณ 10 เท่า ต้นทุนการผลิตต่ำกว่าประมาณ 20 เท่า และใช้พลังงานน้อยกว่าประมาณ 10 เท่า ข้อจำกัดหลักคือสามารถใช้งานได้เฉพาะกับโมเดลที่ถูกฮาร์ดไวร์ไว้ในฮาร์ดแวร์เท่านั้น ซึ่งปัจจุบันคือ Llama 3.1 ขนาด 8B แต่มีการระบุว่ายังคงรักษาความยืดหยุ่นได้ผ่านการปรับขนาด context window และรองรับการทำ fine-tuning ด้วยเทคนิค Low-Rank Adapters (LoRAs) ตัวเร่งประมวลผลฮาร์ดแวร์โดยทั่วไปมักมีหน่วยความจำอยู่ด้านหนึ่ง และหน่วยประมวลผล (compute) […]