ข่าว Edge AI

เขียนวันที่ โดย Suthinee Kerdkaew - ไม่มีความเห็น บน ESP32-S3 รัน LLM ขนาด 28.9 ล้านพารามิเตอร์ได้โดยตรง ด้วยความเร็ว 9 โทเค็นต่อวินาที

ESP32-S3 รัน LLM ขนาด 28.9 ล้านพารามิเตอร์ได้โดยตรง ด้วยความเร็ว 9 โทเค็นต่อวินาที

ESP32-S3 local LLM

Slava S. (slvDev) ได้ปรับแต่งโมเดล LLM ที่มีพารามิเตอร์ 28.9 ล้านตัว ให้สามารถทำงานบนบอร์ดพัฒนา ESP32-S3 ได้แบบรันภายในเครื่อง (Local) โดยมีความเร็วในการสร้างข้อความประมาณ 9 โทเคนต่อวินาที (tokens/s) สำหรับการแต่งเรื่องสั้น ก่อนหน้านี้เราเคยนำเสนอการใช้งาน LLM บน ESP32 มาแล้ว แต่โดยทั่วไปบอร์ดเหล่านี้มักทำหน้าที่เป็นเกตเวย์พลังงานต่ำสำหรับเชื่อมต่อกับ LLM ที่รันอยู่บนเซิร์ฟเวอร์ประสิทธิภาพสูงในศูนย์ข้อมูล ตัวอย่างเช่น HiWonderLLM “smart chat module”, ESP-Claw framework หรือ ESP32 Agent Dev Kit แต่โปรเจกต์ esp32-ai ของ Slava มีความแตกต่างอย่างชัดเจน เพราะโมเดล LLM ทั้งหมดทำงานอยู่บนไมโครคอนโทรลเลอร์ ESP32-S3 โดยตรง ไม่ต้องพึ่งพาเซิร์ฟเวอร์ภายนอกหรือการประมวลผลบนคลาวด์เลย โปรเจกต์นี้ไม่สามารถใช้งานได้กับบอร์ด ESP […]

เขียนวันที่ โดย Suthinee Kerdkaew - ไม่มีความเห็น บน ASUS UGen300 : USB AI accelerator ใช้ชิป Hailo-10H 40 TOPS พร้อม LPDDR4 8GB

ASUS UGen300 : USB AI accelerator ใช้ชิป Hailo-10H 40 TOPS พร้อม LPDDR4 8GB

ASUS UGen300 USB AI Accelerator

ASUS UGen300 เป็นอุปกรณ์ AI accelerator แบบ USB ที่มาพร้อมชิป Hailo-10H AI ให้สมรรถนะการประมวลผล AI สูงสุด 40 TOPS และหน่วยความจำ LPDDR4 ขนาด 8GB รองรับการทำงานของ LLM (Large Language Model), VLM (Vision Language Model) และงานด้าน AI Vision โดยใช้พลังงานต่ำกว่า 2.5 วัตต์ ด้านฮาร์ดแวร์มีความคล้ายกับ Raspberry Pi AI HAT+ 2 แต่มาในรูปแบบดองเกิลขนาดกะทัดรัด (105 × 50 × 18 มม.) และใช้พอร์ต USB 3.2 Gen 1 Type-C ความเร็ว 10 Gbps แทนการเชื่อมต่อผ่านอินเทอร์เฟซ PCIe ที่มีความเร็ว 5 หรือ 8 GT/s. สเปคของ ASUS UGen300 USB AI accelerator (UGen300-USB-8G) : AI accelerator – Hailo Hailo-10H ให้ประสิทธิภาพการประมวลผลสูงสุด 40 TOPS (INT4) หรือ 20 TOPS (INT8) สำหรับ Inferencing หน่วยความจำ – LPDDR4 ขนาด 8GB ความเร็ว 4266 MT/s อิ […]

เขียนวันที่ โดย Suthinee Kerdkaew - ไม่มีความเห็น บน NightRun สามารถรัน LLM บน Raspberry Pi 5 และพีซี x86 ได้โดยไม่ต้องมี OS

NightRun สามารถรัน LLM บน Raspberry Pi 5 และพีซี x86 ได้โดยไม่ต้องมี OS

NightRun runs LLMs without OS

การรัน LLM (Large Language Model) บน SBC หรือมินิพีซีภายในเครื่อง เป็นวิธีที่ดีในการรักษาความเป็นส่วนตัวของข้อมูล แต่โดยทั่วไปจำเป็นต้องใช้ระบบปฏิบัติการแบบดั้งเดิม ซึ่งจะใช้หน่วยความจำของระบบ (RAM) ไปไม่น้อย NightRun เป็นโครงการโอเพนซอร์สเชิงทดลองที่ออกแบบมาเพื่อแก้ปัญหานี้ โดยสามารถบูตเครื่องเข้าสู่การทำงานของ LLM ภายในเครื่องได้โดยตรงจากแฟลชไดรฟ์ USB หรือการ์ด microSD โดยไม่ต้องโหลดระบบปฏิบัติการแบบเดิม การตัดระบบปฏิบัติการออกไปทำให้ NightRun สามารถจัดสรร RAM และแบนด์วิดท์ของหน่วยความจำให้กับการประมวลผล AI (Inference) ได้มากขึ้น ตัวรันไทม์ถูกพัฒนาด้วยภาษา Rust และระหว่างการบูตจะโหลดโมเดลแบบ Quantized ที่มีขนาดประมาณ 1.3 GB ถึง 2.4 GB เข้าไปยัง RAM โดยตรง พร้อมตรวจสอบความถูกต้องของข้อมูลด้วยค่า CRC-32 Checksu […]

เขียนวันที่ โดย Suthinee Kerdkaew - ไม่มีความเห็น บน Luxonis เปิดตัว M8 Controller Box เพิ่ม Industrial I/O, CAN Bus และรีเลย์ให้กล้อง AI Vision OAK4

Luxonis เปิดตัว M8 Controller Box เพิ่ม Industrial I/O, CAN Bus และรีเลย์ให้กล้อง AI Vision OAK4

Luxonis M8 Controller Box

Luxonis ได้เปิดตัวต้นแบบ M8 Controller Box ซึ่งเป็นโมดูลขยายอินพุต/เอาต์พุต สำหรับกล้อง AI Vision Edge รุ่น OAK4 ที่ใช้ชิป Qualcomm DragonWing QCS8550 โดยเชื่อมต่อผ่านพอร์ต M8 ของตัวกล้อง เพื่อเพิ่มความสามารถในการเชื่อมต่อ GPIO, รีเลย์, CAN, พอร์ต Serial และ USB ทำให้ระบบที่ใช้ OAK4 สามารถเชื่อมต่อกับเซ็นเซอร์, แอคชูเอเตอร์ (Actuators), PLC, มอเตอร์ และอุปกรณ์อุตสาหกรรมอื่น ๆ ได้โดยตรง เหมาะสำหรับงาน Machine Vision และระบบอัตโนมัติในภาคอุตสาหกรรม ต้นแบบโมดูลดังกล่าวมาพร้อมกับ GPIO จำนวน 16 ช่อง, รีเลย์ขนาด 16A จำนวน 4 ช่อง, CAN 2.0, RS232, พอร์ต USB 2.0 Type-A จำนวน 2 พอร์ต, เอาต์พุตสโตรบแบบแยกวงจร (Isolated Strobe Output), ระบบเสียงในตัว, ปุ่มกด 3 ปุ่ม และไฟแสดงสถานะ (LED) 3 ดวง ตัวโมดูลรับพลังงานโดยตรงผ่านคอน […]

เขียนวันที่ โดย Suthinee Kerdkaew - ไม่มีความเห็น บน บอร์ด SBC ขนาดเท่าบัตรเครดิต สำหรับงาน Edge AI ใช้ชิป TI AM62A (2 TOPS) หรือ AM68A (8 TOPS)

บอร์ด SBC ขนาดเท่าบัตรเครดิต สำหรับงาน Edge AI ใช้ชิป TI AM62A (2 TOPS) หรือ AM68A (8 TOPS)

InHand Mo 62A SBC

InHand Mo 62A และ Mo 68A เป็นคอมพิวเตอร์บอร์ดเดี่ยว (SBC) สำหรับงาน Edge AI ขนาดเท่าบัตรเครดิต ที่ใช้โปรเซสเซอร์ Texas Instruments AM62A และ AM68A โดยให้สมรรถนะด้าน AI สูงสุด 2 TOPS และ 8 TOPS ตามลำดับ บอร์ดทั้งสองได้รับการออกแบบมาสำหรับงาน AI Vision รองรับการเชื่อมต่อกล้องผ่านอินเทอร์เฟซ MIPI CSI รองรับบอร์ดขยาย Raspberry Pi HAT มาพร้อม ISP (Image Signal Processor) รุ่นที่ 7 สำหรับประมวลผลภาพ และรองรับการเข้ารหัส/ถอดรหัสวิดีโอ H.264 และ H.265 อย่างไรก็ตาม ทั้งสองรุ่นมีพอร์ตเชื่อมต่อและอินเทอร์เฟซที่แตกต่างกัน ซึ่งจะแสดงรายละเอียดในตารางสเปกด้านล่าง การใช้งานที่เหมาะสม ได้แก่ ระบบอุปกรณ์อุตสาหกรรม, ระบบควบคุมการเข้าออก (Access Control), หุ่นยนต์, กล้องอัจฉริยะและระบบตรวจสอบคุณภาพด้วยภาพ (Visual Inspection Termi […]

เขียนวันที่ โดย Suthinee Kerdkaew - ไม่มีความเห็น บน DFI X6X-ORN – คอมพิวเตอร์ Edge AI พร้อมมาตรฐาน IP67 ใช้โมดูล NVIDIA Jetson Orin NX/Nano รองรับกล้อง GMSL2

DFI X6X-ORN – คอมพิวเตอร์ Edge AI พร้อมมาตรฐาน IP67 ใช้โมดูล NVIDIA Jetson Orin NX/Nano รองรับกล้อง GMSL2

DFI X6X-ORN Jetson IP67 fanless edge AI computer

DFI X6X-ORN เป็นคอมพิวเตอร์ Edge AI แบบไม่มีพัดลม (Fanless) ที่มาพร้อมมาตรฐานป้องกันน้ำและฝุ่น IP67 ใช้โมดูล NVIDIA Jetson Orin NX/Nano และได้รับการออกแบบสำหรับการใช้งานในสภาพแวดล้อมกลางแจ้งและงานอุตสาหกรรมที่สมบุกสมบัน เช่น งานทางทะเล การเกษตร การก่อสร้าง และระบบขนส่งอัจฉริยะ ตัวเครื่องใช้คอนเนกเตอร์กันน้ำแบบวงกลม M12 และ M20 สำหรับการเชื่อมต่อ I/O ทั้งหมด รวมถึงอินเทอร์เฟซ PoE และกล้อง GMSL2 เพื่อความทนทานและเชื่อถือได้ในสภาพแวดล้อมที่รุนแรง เมื่อใช้ร่วมกับโมดูล Jetson Orin NX 16GB จะให้ประสิทธิภาพด้าน AI สูงสุดถึง 157 TOPS นอกจากนี้ยังผ่านมาตรฐาน MIL-STD-810H ด้านการทนต่อแรงกระแทกและการสั่นสะเทือน และรองรับการทำงานในช่วงอุณหภูมิ -20°C ถึง 60°C สเปคของ DFI X6X-ORN : SoM – โมดูล NVIDIA Jetson Orin NX/Nano Jets […]

เขียนวันที่ โดย Suthinee Kerdkaew - ไม่มีความเห็น บน Jetway SMC-ARK1 – โมดูล SMARC 2.1 ใช้ชิป Rockchip RK3588 สำหรับงาน Embedded Computing และ Edge AI

Jetway SMC-ARK1 – โมดูล SMARC 2.1 ใช้ชิป Rockchip RK3588 สำหรับงาน Embedded Computing และ Edge AI

Rockchip RK3588 SMARC 2.1 system on module

Jetway เปิดตัว SMC-ARK1 เป็นโมดูล SMARC system-on-module รุ่นใหม่ที่ใช้โปรเซสเซอร์ Rockchip RK3588 แบบ 8 คอร์ ออกแบบมาสำหรับงานคอมพิวเตอร์แบบฝังตัว (Embedded Computing) และแอปพลิเคชัน Edge AI โดยรองรับหน่วยความจำ LPDDR4x สูงสุด 16GB และ eMMC flash สูงสุด 128GB พร้อมด้วยพอร์ต Gigabit Ethernet แบบคู่, โมดูลไร้สาย Ampak AP6398SV ที่รองรับ Wi-Fi 5 และ Bluetooth 5.0 รวมถึงอินพุต HDMI แบบเฉพาะผ่านคอนเนกเตอร์ I-PEX FPC ก่อนหน้านี้เราเคยนำเสนอโมดูล Geniatech SOM-3568-SMARC ที่ใช้ชิป Rockchip RK3568 แต่ Jetway SMC-ARK1 ถือเป็นโมดูล SMARC รุ่นแรกที่เราได้พบซึ่งใช้ชิป Rockchip RK3588 โมดูลนี้เป็นไปตามมาตรฐาน SMARC 2.1 ในขนาด Short Form Factor (82 × 50 มม.) และสามารถใช้งานร่วมกับบอร์ด SMARC Carrier Board ได้ สเปคของ Jetway […]

เขียนวันที่ โดย Suthinee Kerdkaew - ไม่มีความเห็น บน Beelink ME Pro : AI NAS แบบ 2-bay ที่ใช้ Intel Wildcat Lake 304 พร้อม 10GbE และ Thunderbolt 4

Beelink ME Pro : AI NAS แบบ 2-bay ที่ใช้ Intel Wildcat Lake 304 พร้อม 10GbE และ Thunderbolt 4

Beelink ME Pro 2 Bay AI NAS Mini PC Intel Wildcat Lake 304

Beelink ME Pro เป็น AI NAS แบบ 2-Bay และมินิพีซี ที่ใช้ Intel Wildcat Lake 304 มาพร้อมช่องใส่ไดรฟ์ SATA จำนวน 2 ช่อง และ สล็อต M.2 PCIe Gen4 จำนวน 1 ช่อง ติดตั้งหน่วยความจำ DDR5-5600 SO-DIMM ขนาด 16GB และที่จัดเก็บข้อมูล UFS 3.1 ความจุ 512GB รุ่นนี้เป็นการอัปเกรดจาก NAS แบบ 2-Bay และมินิพีซี ที่ใช้ Intel N95/N150 ที่เปิดตัวเมื่อเดือนกุมภาพันธ์ที่ผ่านมา นอกจากจะใช้โปรเซสเซอร์ที่เร็วขึ้นแล้ว ยังเปลี่ยนพอร์ตเครือข่ายจาก 5GbE เป็น 10GbE ที่มีความเร็วสูงกว่า และเพิ่มพอร์ต Thunderbolt 4 มาให้ถึง 2 พอร์ต แต่ด้วยข้อจำกัดด้านจำนวนเลน PCIe ของโปรเซสเซอร์ Intel Wildcat Lake ทำให้รุ่นใหม่นี้มี สล็อต M.2 PCIe Gen4 เพียง 1 ช่อง แทนที่จะเป็น สล็อต M.2 PCIe Gen3 จำนวน 3 ช่อง เหมือนรุ่นก่อน แต่ข้อจำกัดดังกล่าวได้รับการชดเชยบางส […]

ภูมิใจนำเสนอโดย WordPress