ก่อนหน้านี้เราได้เห็น AI agent ลักษณะคล้าย OpenClaw สำหรับแพลตฟอร์ม ESP32 เช่น Mimiclaw และ PycoClaw มาแล้ว แต่ทาง Espressif Systems ได้เปิดตัวเฟรมเวิร์กของตัวเองในชื่อ ESP-Claw frameworkสำ หรับการสร้าง AI agent แบบประมวลผลภายในเครื่อง (local) ที่สามารถโต้ตอบและทำงานโดยอาศัย LLM บนอุปกรณ์ ESP32 ได้
ESP-Claw ช่วยให้บอร์ด ESP32 สามารถตอบสนองต่อเหตุการณ์, ตัดสินใจโดยใช้ LLM, เก็บรักษาบริบทที่สำคัญ และดำเนินการต่าง ๆ ได้ภายในเครื่องโดยไม่จำเป็นต้องเชื่อมต่อกับคลาวด์ (ยกเว้นในกรณีที่ต้องใช้) โดยเอเจนต์สามารถควบคุมเซ็นเซอร์และสถานะของอุปกรณ์ รวมถึงสั่งงานในโลกจริง เช่น การควบคุมแถบไฟ RGB LED ได้
Highlights ของ ESP-Claw :
- การเขียนโค้ดผ่านแชท (Chat coding) – สามารถกำหนดพฤติกรรมของอุปกรณ์ได้ด้วยการสนทนาแบบภาษาธรรมชาติ โดย LLM จะทำหน้าที่ตัดสินใจแบบไดนามิก ขณะที่สคริปต์ Lua ภายในเครื่องจะทำงานแบบกำหนดแน่นอน (deterministic) ได้แม้ในโหมดออฟไลน์
- การตอบสนองรวดเร็ว (Quick response time) – อุปกรณ์ตอบสนองต่อเหตุการณ์แบบเรียลไทม์ แทนการวนตรวจสอบ (polling) โดยใช้ event bus ภายในเครื่องในการขับเคลื่อนกฎ Lua สำหรับเซ็นเซอร์และทริกเกอร์ ทำให้ตอบสนองได้ในระดับมิลลิวินาที ทั้งในโหมดออนไลน์และออฟไลน์
- ใช้งานได้ทันทีด้วย MCP (Plug and Play with MCP) – ESP-Claw สามารถทำงานได้ทั้งในบทบาท MCP Server และ Client โดยเปิดให้เอเจนต์เข้าถึงฮาร์ดแวร์ และสามารถเรียกใช้บริการภายนอกได้
- หน่วยความจำส่วนตัวบนชิป (On-chip private memory) – มีหน่วยความจำระยะยาวแบบมีโครงสร้างอยู่บนชิป ข้อมูลความชอบและรูปแบบการใช้งานจะถูกสกัดจากการสนทนาโดยอัตโนมัติ และข้อมูลต่าง ๆ จะไม่ถูกส่งออกนอกอุปกรณ์
เว็บไซต์ของโปรเจกต์มีตัวอย่างเดโมหลายรูปแบบ เช่น การควบคุมแถบไฟ RGB LED, การสร้างเกมเป่าลูกโป่งโดยใช้ไมโครโฟน, การทำงานทั้งแบบออนไลน์และออฟไลน์ และอื่น ๆ อีกมากมาย นอกจากนี้ยังมีบทช่วยสอนสำหรับการเริ่มต้นใช้งาน แต่ ESP-Claw ต้องการหน่วยความจำ Flash อย่างน้อย 8MB และ PSRAM 8MB และในปัจจุบันรองรับเฉพาะชิป ESP32-S3 เท่านั้น แต่ ESP32-P4 กำลังจะรองรับในเร็ว ๆ นี้ สิ่งที่คุณต้องมีคือบอร์ดที่รองรับ, เบรดบอร์ด (breadboard), และอุปกรณ์อิเล็กทรอนิกส์พื้นฐานเล็กน้อย จากนั้นทำการแฟลชเฟิร์มแวร์ผ่าน Web Flasher, หรือถ้าต้องการก็สามารถคอมไพล์ (build) จากซอร์สโค้ดได้
ESP-Claw รองรับการใช้งานร่วมกับแอปส่งข้อความ เช่น Telegram, QQ, Feishu และ WeChat ผ่าน ClawBot รวมถึงรองรับ Tavily สำหรับการค้นหาข้อมูลบนเว็บเมื่อจำเป็น นอกจากนี้ยังต้องตั้งค่า LLM โดยตัวเลือกที่มีในปัจจุบัน ได้แก่ OpenAI, Qwen, ChatGPT และโหมด “Custom” สำหรับผู้ใช้ขั้นสูง เมื่อทำการตั้งค่าทั้งหมดเรียบร้อยแล้ว คุณก็จะสามารถควบคุมบอร์ด ESP32-S3 ผ่านแอปส่งข้อความเหล่านี้ได้โดยตรง
วิดีโอเดโมด้านล่างนี้จะแสดงการสร้างโค้ดอัตโนมัติสำหรับเอฟเฟกต์สีรุ้ง (rainbow effect) บนแถบไฟ RGB LED จำนวน 40 ดวง ที่เชื่อมต่อกับขา IO 14
แปลจากบทความ : Espressif Systems ESP-Claw framework builds local AI agents for ESP32 devices
บรรณาธิการข่าวและบทความภาษาไทย CNX Software ได้มีความสนใจในด้านเทคโนโลยี โดยเฉพาะ Smart Home และ IoT