โซลูชัน LLM ที่ใช้พลังงานแสงอาทิตย์ผ่าน Meshtastic สำหรับการสื่อสารฉุกเฉินในพื้นที่ห่างไกล

หลายคนพยายามรัน LLM บนอุปกรณ์ฮาร์ดแวร์ระดับล่างหลากหลายรูปแบบ ซึ่งมักจะมีประโยชน์ที่จำกัด และเมื่อเราได้เห็นเดโม LLM พลังงานแสงอาทิตย์ผ่าน Meshtastic บน X ครั้งแตกถึงกับหัวเราะออกมา เพราะไม่เข้าใจจุดประสงค์และโดยทั่วไปแล้วฮาร์ดแวร์ LoRa มักจะเป็นอุปกรณ์ระดับล่างที่ใช้เฟิร์มแวร์โอเพ่นซอร์ส Meshtastic สำหรับการส่งข้อความแบบออฟไลน์และการแชร์ตำแหน่ง GPS เท่านั้น

แต่พอลองคิดดูอีกที อาจจะมีประโยชน์มากในสถานการณ์ภัยพิบัติ ในสถานที่ที่พลังงานและการเชื่อมต่ออินเทอร์เน็ตอาจไม่สามารถใช้งานได้ การรับข้อมูลผ่านอุปกรณ์พกพาอาจช่วยชีวิตได้ ลองมาดูโซลูชันของ Colonel Panic กันก่อน ซึ่งเป็นโพสต์สั้น ๆ ระบุเพียงว่าเป็น LLM พลังงานแสงอาทิตย์ผ่าน Meshtastic โดยใช้ฮาร์ดแวร์ M5Stack

ทางด้านซ้าย เราจะต้องมีพาวเวอร์แบงค์ที่ชาร์จผ่าน USB (อาจจะเป็นแผงโซลาร์เซลล์แบบ USB?) ซึ่งมีพอร์ต USB สองช่องสำหรับจ่ายไฟให้กับคอนโทรลเลอร์และบอร์ดทางด้านขวา

ตัวควบคุมหลักพร้อมจอแสดงผลขนาดเล็กและเคสเป็นชุดพัฒนา IoT M5Stack Station (M5Station)ที่ใช้ชิป ESP32 โดยเชื่อมต่อกับโมดูล RAKwireless Wisblock IoT ที่ติดตั้งโมดูล RAK3172 LoRaWAN (อยู่ด้านขวาสุด) และชุดประมวลผล M5Stack LLM630 Compute Kit ที่ใช้ Axera AX630C Edge AI SoC เพื่อจัดการการประมวลผล LLM บนอุปกรณ์

ดังนั้น ถ้าคุณติดอยู่บนดาวอังคาร คุณสามารถขอให้ LLM ช่วยคุณผ่านเครือข่าย Meshtastic ได้เลย!!!

Colonel Panic ยังได้แชร์ GitHub repo (LLMeshtastic) ซึ่งมีข้อมูลพื้นฐานและ Arduino sketch ที่ใช้ในโซลูชันนี้

ทางด้านฮาร์ดแวร์ พอร์ต C1 ของ M5Station เชื่อมต่อกับ พอร์ต UART C บน LLM630 Compute Kit ส่วน พอร์ต C2 เชื่อมต่อกับ ขา UART ของอุปกรณ์ Meshtastic ที่ใช้ RAK3172 สำหรับการสื่อสารแบบ serial UART ข้อมูลดีบักของ LLM และพรอมต์/การตอบกลับจะแสดงบนหน้าจอของ M5Station อุปกรณ์ Meshtastic ต้องตั้งค่าความเร็วในการส่งข้อมูลที่ 115200 baud และใช้ text_msg mode

ถ้าเราดูที่ซอร์สโค้ด จะเห็นว่าเดโมนี้ใช้โมเดล “qwen2.5-0.5B-prefill-20e” แต่ในบทความก่อนหน้านี้เกี่ยวกับ M5Stack LLM630 Compute Kit เราได้กล่าวถึงว่าโมเดล Qwen2.5-0.5/1.5B และ Llama3.2-1B ก็ได้รับการรองรับเช่นกัน ประสิทธิภาพของโมเดลขนาด 0.5B น่าจะดีกว่าและใช้พลังงานน้อยกว่า ซึ่งเป็นปัจจัยสำคัญสำหรับระบบที่ใช้พลังงานแสงอาทิตย์ คุณเพียงแค่ต้องมีอุปกรณ์ Meshtastic (LoRa to WiFi) เพื่อเชื่อมต่อสมาร์ทโฟนของคุณเข้ากับ LLMeshtastic gateway และเริ่มแชทกับแชตบอทได้ ตราบใดที่ยังอยู่ในระยะ (ตั้งแต่หลายร้อยเมตรไปจนถึงสิบกว่ากิโลเมตร ขึ้นอยู่กับสภาพแวดล้อม)

แม้ว่าโมเดลขนาด 500 ล้านพารามิเตอร์ (0.5B) อาจให้ข้อมูลที่ไม่แม่นยำเสมอไป แต่ผมมองว่าโปรเจกต์นี้เป็นจุดเริ่มต้นที่ดี เราอาจพัฒนา LLM ขนาด 0.5B ที่เน้นข้อมูลด้านปฐมพยาบาลและการเอาตัวรอด หรือเลือกใช้ AI Box ที่มีประสิทธิภาพ ที่ทรงพลังยิ่งขึ้นในระบบแทน ถ้าหากโซลูชันประเภทนี้ได้รับความนิยมมากขึ้น เราอาจได้เห็นสมาร์ทโฟนที่มาพร้อม LoRa ในตัว ซึ่งจะช่วยให้สามารถส่งข้อความแบบออฟไลน์ได้ในระยะทางไกลกว่าการใช้ Wi-Fi หรือ Bluetooth และสามารถเชื่อมต่อกับกล่องสื่อสารฉุกเฉินที่ใช้ Decentralized AI

แปลจากบทความภาษาอังกฤษ : Solar-powered LLM over Meshtastic solution may provide live-saving instructions during disasters and emergencies