TRACEPaw: ขาหุ่นยนต์ใช้ machine learning พร้อมบอร์ด Arduino Nicla Vision

สุนัขหรือแมวไม่ได้เดินบนถนนยางมะตอยเพียงอย่างเดียวมันต้องเดินบนน้ำแข็งหรือทราย โดยใช้การมองเห็นด้วยตาและสัมผัสพื้นด้วยปลายประสาทแล้วปรับตัวตามสภาพ โปรเจค TRACEPaw open-source ซึ่งย่อมาจาก “Terrain Recognition And Contact force Estimation through Sensorized Legged Robot Paw” มีเป้าหมายเพื่อนำความสามารถแบบเดียวมาใช้กับหุ่นยนต์ที่มีขา

Autonomous Robots Lab (ห้องปฏิบัติการหุ่นยนต์อิสระ) บรรลุเป้าหมายนี้โดยใช้ บอร์ด Arduino Nicla Vision ซึ่งใช้ประโยชน์จากกล้องและไมโครโฟนเพื่อรัน machine learning models บนไมโครคอนโทรลเลอร์ STM32H7 Cortex-M7 เพื่อระบุประเภทของพื้นและประมาณการแรงที่ใช้บนขา”

แต่กล้องไม่ได้ใช้เพื่อดูที่พื้นแต่ใช้เพื่อดูการเปลี่ยนรูปของซิลิโคนรูปกึ่งวงกลม ซึ่งทำจาก “Dragon Skin” ที่ปลายขา เพื่อประมาณการเรื่องแรง (force vectors) ในระบบ 3D, ในขณะที่ไมโครโฟนถูกใช้เพื่อระบุประเภทของพื้นแบบเรียลไทม์ ด้วยสตรีมข้อมูลที่ป้อนไปยังรูปแบบ machine learning models เพื่อประมาณเรื่องแรงและประเภทของพื้น เพื่อให้หุ่นยนต์สามารถปรับกลยุทธ์การเคลื่อนที่ได้ และ Arduino Nicla Vision ยังมาพร้อมกับเซนเซอร์การเคลื่อนไหว 6 แกน แต่แปลกที่โครงการไม่ได้ใช้เซนเซอร์นี้เลย

TRACEPaw เป็นแบบ open-source เต็มรูปแบบด้วยฮาร์ดแวร์, ซอร์สโค้ด และเอกสารประกอบที่มีให้ใช้งานบน GitHub ซึ่งในนั้นอธิบายดังนี้::

การออกแบบทางกลและอิเล็กทรอนิกส์ พร้อมไฟล์ CAD (STEP/STL), BoM, คำแนะนำในการประกอบ และแนวทางในการผลิต
การตั้งค่าซอฟต์แวร์ – คู่มือในการตั้งค่าสภาพแวดล้อมซอฟต์แวร์ (OpenMV firmware + TensorFlow Lite) สำหรับ TRACEPaw ซึ่งรวมถึงคำแนะนำเกี่ยวกับการรวบรวมข้อมูล การฝึกสอนและการแสดงผลของโมเดล, และกระบวนการปรับใช้
ชุดข้อมูลการฝึกและการทดสอบสำหรับการประมาณการแรงของ TRACEPaw โดยใช้ภาพและเสียงในการแยกประเภทของพื้น
โมเดลที่ได้รับการฝึกล่วงหน้าทั้งในรูปแบบ Keras และ TensorFlow Lite

คุณควรจะสามารถทำซ้ำขาทั้งหมดได้ ถ้าสามารถเข้าถึงเครื่อง CNC 4 แกนเพื่อผลิตชิ้นส่วนอลูมิเนียมและปริ้นเตอร์ 3D เพื่อพิมพ์แม่พิมพ์สำหรับพื้นรองเท้าซิลิโคนที่ผลิตโดยใช้ “vacuum casting process” (กระบวนการหล่อแบบสุญญากาศ) ซึ่งอาจหมายถึงว่าต้องมีเครื่องหล่อสุญญากาศด้วย…

แปลจากบทความภาษาอังกฤษ : TRACEPaw sensorized paw helps legged robots “feel the floor” with Arduino Nicla Vision