การรัน LLM (Large Language Model) บน SBC หรือมินิพีซีภายในเครื่อง เป็นวิธีที่ดีในการรักษาความเป็นส่วนตัวของข้อมูล แต่โดยทั่วไปจำเป็นต้องใช้ระบบปฏิบัติการแบบดั้งเดิม ซึ่งจะใช้หน่วยความจำของระบบ (RAM) ไปไม่น้อย NightRun เป็นโครงการโอเพนซอร์สเชิงทดลองที่ออกแบบมาเพื่อแก้ปัญหานี้ โดยสามารถบูตเครื่องเข้าสู่การทำงานของ LLM ภายในเครื่องได้โดยตรงจากแฟลชไดรฟ์ USB หรือการ์ด microSD โดยไม่ต้องโหลดระบบปฏิบัติการแบบเดิม
การตัดระบบปฏิบัติการออกไปทำให้ NightRun สามารถจัดสรร RAM และแบนด์วิดท์ของหน่วยความจำให้กับการประมวลผล AI (Inference) ได้มากขึ้น ตัวรันไทม์ถูกพัฒนาด้วยภาษา Rust และระหว่างการบูตจะโหลดโมเดลแบบ Quantized ที่มีขนาดประมาณ 1.3 GB ถึง 2.4 GB เข้าไปยัง RAM โดยตรง พร้อมตรวจสอบความถูกต้องของข้อมูลด้วยค่า CRC-32 Checksum เมื่อโหลดโมเดลเสร็จแล้ว ระบบจะทำการ “Seal” อุปกรณ์จัดเก็บข้อมูล ซึ่งหมายความว่าหากมีความพยายามอ่านข้อมูลจากดิสก์หลังจากนั้น ระบบจะเกิด Hard Fault ทันที
คุณสมบัติเด่น:
- รองรับฮาร์ดแวร์ – รองรับพีซีสถาปัตยกรรม x86_64 แบบ UEFI 64 บิต (ต้องปิด Secure Boot) และ Raspberry Pi 5 โดยบูตจากแฟลชไดรฟ์ USB หรือ microSD card
- รองรับโมเดล – รองรับโมเดล Llama 3.2 1B (RAM 4GB), Llama 3.2 3B และ Granite 4.1 3B (RAM 6GB) รวมถึง Qwen3 4B Instruct 2507 (RAM 8GB) ที่แปลงเป็นรูปแบบไฟล์ .nrm
- การประมวลผลที่ปรับแต่งประสิทธิภาพ – ใช้เคอร์เนลที่รองรับชุดคำสั่ง AVX2/FMA/F16C บนแพลตฟอร์ม x86 และ NEON บน Raspberry Pi
- สถาปัตยกรรม Zero-Copy – รันโมเดลแบบ Quantized ชนิด Q8_0, Q4_K และ Q6_K ได้โดยตรงจาก RAM โดยไม่ต้องแปลงข้อมูล (Dequantization)
- อินเทอร์เฟซในตัว – มาพร้อมหน้าจอแชตแบบ Framebuffer ที่แสดงสถิติการทำงานแบบเรียลไทม์ รองรับการแก้ไข Prompt และบันทึกประวัติการสนทนาในตัว
หลายคนอาจเข้าใจว่า NightRun เป็นเพียงดิสโทร Linux แบบตัดฟีเจอร์ออกเพื่อประหยัดหน่วยความจำ แต่ความจริงแล้วไม่ใช่เช่นนั้น NightRun เป็น UEFI application ที่ทำงานได้โดยไม่ต้องอาศัยระบบปฏิบัติการแบบดั้งเดิม จึงไม่มี คอร์เนล Linux, ตัวจัดตารางการทำงาน (Scheduler) หรือสแต็กเครือข่าย (Network Stack) ทำงานอยู่เบื้องหลัง แต่จะอาศัย UEFI Boot Services ในการจัดการงานพื้นฐานต่าง ๆ เช่น รับอินพุตจากแป้นพิมพ์ ควบคุมการแสดงผลผ่าน Framebuffer เข้าถึงอุปกรณ์จัดเก็บข้อมูล และแม้แต่ควบคุมพัดลมระบายความร้อนของ Raspberry Pi 5
ในด้านประสิทธิภาพ นักพัฒนาระบุว่าความเร็วในการสร้างข้อความ (Decoding) ถูกจำกัดหลัก ๆ ด้วยแบนด์วิดท์ของหน่วยความจำบนเครื่องเสมือน QEMU ที่จำลองระบบ x86 แบบ 8 คอร์ โมเดล Llama 3.2 1B (Q8_0) สามารถสร้างข้อความได้ประมาณ 20 โทเค็นต่อวินาที (Tokens/s) ในช่วงการถอดรหัส (Decoding) ส่วนบน Raspberry Pi 5 รุ่น RAM 8GB โมเดล Granite 4.1 3B (Q4_K_M) สามารถสร้างข้อความได้ประมาณ 3.0 โทเค็นต่อวินาที โดยใช้เคอร์เนล NEON รุ่นแรกที่ยังไม่รองรับคำสั่ง SDOT
ก่อนหน้านี้เราเคยนำเสนอ LLMStick ของ Binh Pham ซึ่งใช้เอนจินประมวลผล LLM ที่พัฒนาด้วยภาษา C/C++ เช่น llama.cpp ทำงานบนลินุกซ์ดิสโทรขนาดเล็กอย่าง Alpine Linux หรือ DietPi เพื่อเพิ่มพื้นที่หน่วยความจำสำหรับการประมวลผล AI เมื่อเปรียบเทียบกันแล้ว NightRun ก้าวไปอีกขั้น เพราะเป็น UEFI Runtime Appliance ที่ทำงานได้อย่างสมบูรณ์โดยไม่ต้องพึ่งระบบปฏิบัติการแบบเดิม พร้อมรองรับการแปลงข้อความเป็นโทเค็น (Tokenization) ที่ผ่านการทดสอบความถูกต้องและได้รับการออกแบบมาโดยเฉพาะสำหรับฮาร์ดแวร์ระดับผู้บริโภค
โค้ดส่วนใหญ่ของโครงการ NightRun ถูกพัฒนาด้วย Claude Code โดยใช้โมเดล Fable 5 และเผยแพร่ภายใต้สัญญาอนุญาต MIT License บน GitHub การติดตั้งทำได้ผ่านสคริปต์เชลล์บน Linux ซึ่งจะดาวน์โหลดโมเดลที่ผ่านการตรวจสอบความถูกต้องแล้ว พร้อมสร้างอิมเมจที่สามารถบูตได้ลงในอุปกรณ์จัดเก็บข้อมูล นอกจากนี้ นักพัฒนายังเพิ่มมาตรการป้องกันความผิดพลาดในตัวติดตั้ง โดยกำหนดให้ผู้ใช้ต้องพิมพ์คำสั่ง FLASH /dev/sdX ด้วยตนเองอย่างชัดเจน เพื่อป้องกันการเขียนทับไดรฟ์ระบบโดยไม่ตั้งใจ สามารถดูรายละเอียดเพิ่มเติมเกี่ยวกับการออกแบบและการทำงานทางเทคนิคของโครงการได้ที่เว็บไซต์ nightrun.io
แปลจากบทความ : NightRun UEFI application boots a local LLM on Raspberry Pi 5 and x86 PCs without an OS
บรรณาธิการข่าวและบทความภาษาไทย CNX Software ได้มีความสนใจในด้านเทคโนโลยี โดยเฉพาะ Smart Home และ IoT