AI in a box : โซลูชัน LLM แบบออฟไลน์ใช้ NPU ของ Rockchip RK3588S

offline open source LLM Radxa Rock 5A

“AI in a box” ของ Useful Sensors คือ LLM (Large Language Model หรือ โมเดลด้านภาษาขนาดใหญ่) ทำงานแบบออฟไลน์โดยมีความเป็นส่วนตัว และใช้ประโยชน์จาก NPU ใน Rockchip RK3588S สำหรับการสนทนาผ่าน AI ที่คล้ายกับ ChatGPT แต่ไม่ต้องการการเชื่อมต่ออินเทอร์เน็ตหรือการลงทะเบียน ตอนนี้ต้นแบบของ AI box ใช้ฮาร์ดแวร์ที่ซื้อได้จากท้องตลาด โดยเฉพาะ Radxa ROCK 5A SBC ที่มี RAM 8GB และอยู่ในเคสพลาสติก และโค้ดใช้โมเดลโอเพ่นซอร์ส เช่น Whisper สำหรับการแปลงเสียงเป็นข้อความ และโมเดลภาษา Llama2 นอกจากการสนทนาผ่าน AI ที่คุณสามารถโต้ตอบกับกล่องได้เหมือนกับการพูดคุยกับคนจริง กล่อง AI in a Box ยังมีประโยชน์ในการใช้งานอื่น ๆ ดังนี้: คำบรรยายสด – กล่องสามารถแสดงคำบรรยายย่อย/คำบรรยายปิดสำหรับเหตุการณ์สดหรือช่วยเหลือในสถานการณ์ที่บุค […]

รีวีวซิงเกิ้ลบอร์ด YY3568 ทดลองใช้งานบน Ubuntu และ RKNPU สำหรับงาน AI

YY3568 SBC Ubuntu

บอร์ด YY3568 เป็นบอร์ดที่ใช้ชิปประมวลผล RK3568 จากบริษัท Rockchip โดยเป็นสถาปัตยกรรม ARM  Cortex-A55  64บิต จำนวน 4 คอร์ ที่มีสัญญาณนาฬิกาความเร็ว 2.0 GHz พร้อมด้วย NPU ประสิทธิภาพในการประมวลผลอยู่ที่ 1 TOPS  พร้อม GPU แบบดูอัลคอร์ Mali-G52 ที่มาพร้อมกับการเชื่อมต่อที่ค่อนข้างครอบคลุมกับความต้องการในการใช้งานทั่วไป ซึ่งเราได้ทำ การรีวิวการใช้งานบน Android 11 ไปแล้ว ในวันนี้เราจะมารีวิวการใช้งานและการทดสอบประสิทธิภาพบน Linux กัน โดยทาง youyeetoo มีให้เลือก distro ทั้ง Debian และ Ubuntu ซึ่งในรีวิวนี้จะเป็นการรีวิวด้วย Ubuntu 20 การติดตั้ง Image Debian / Ubuntu เราสามารถเลือก image ในการติดตั้งสำหรับ Debian และ Ubuntu ได้ รูปแสดงรายการไฟล์ image สำหรับติดตั้งเลือกติดตั้ง OS Debian 10 รูปแสดงรายการไฟล์ image สำหรั […]

NVIDIA Jetson AGX Orin Industrial พร้อมหน่วยความจำ ECC, รองรับช่วงอุณหภูมิที่สูงขึ้นและมีความแข็งแรงทนทาน

NVIDIA Jetson AGX Orin Industrial

NVIDIA ได้เปิดตัว โมดูล Jetson AGX Orin Industrial พร้อมการรองรับช่วงอุณหภูมิที่สูงขึ้น, มีอายุการใช้งานในระยะยาว, ในสเปคมีการระบุทนต่อแรงกระแทกและการสั่นสะเทือน รวมถึงการรองรับหน่วยความจำ Error Correction Code (ECC) และ AI performance สูงสุด 248 TOPS โดยสามารถปรับกำลังไฟได้ในช่วง 15-75 วัตต์ System-on-Module (SOM) ระดับอุตสาหกรรมใช้โมดูล Jetson AGX Orin 64GB แต่มีความถี่ในการทำงานต่ำกว่าเพื่อให้มีอายุการใช้งานยาวนานขึ้นและความทนทานมากขึ้น เป็นฟอร์มแฟกเตอร์และพินที่เข้ากันได้กับ Jetson AGX Orin และ NVIDIA ได้กล่าวว่ามี AI performance มากกว่าแปดเท่าของ Jetson AGX Xavier Industrial ที่มีค่าเท่ากับ 30 TOPS ที่เปิดตัวในปี 2021 แต่ไม่รวม Cortex-R5F cores สเปค NVIDIA Jetson AGX Orin Industrial: CPU – 12-core Arm Cort […]

กล้องอัจฉริยะที่ใช้เซนเซอร์ Sony IMX500 ทำงานร่วมกับซอฟต์แวร์ AITRIOS

LUCID SENSAiZ SZP123S AITRIOS camera

Raspberry Pi ได้รับการลงทุนกลยุทธ์จาก Sony (Semiconductor Solutions Corporation) เพื่อพัฒนาอุปกรณ์ Edge AI โดยใช้แพลตฟอร์ม AITRIOS ของ Sony ยังไม่มีข้อมูลรายละเอียดเกี่ยวกับอุปกรณ์ของ Raspberry Pi/Sony ที่จะเปิดเผยสู่สาธารณะ ดังนั้นฉันค้นหาแพลตฟอร์ม AITRIOS แทน และในปัจจุบันมีแพลตฟอร์มฮาร์ดแวร์เดียว คือ LUCID Vision Labs SENSAiZ SZP123S-001 กล้องอัจฉริยะหรือกล้อง AI ที่ใช้เซนเซอร์ Sony IMX500 intelligent vision sensor ที่ออกแบบมาเพื่อใช้งานร่วมกับซอฟต์แวร์ AITRIOS ของ Sony LUCID SENSAiZ Smart camera สเปค SENSAiZ SZP123S-001 : เซนเซอร์ภาพ – Sony IMX500 progressive scan CMOS sensor ความละเอียด 12.33MP พร้อม Rolling Shutter, built-in DSP และ SRAM บนชิป สามารถประมวลผล Edge AI ด้วยความเร็วสูงได้ ระยะโฟกัส – 4.35 มม […]

บอร์ด Cool Pi CM5 evaluation board มี System-on-Module ที่ใช้ชิป Rockchip RK3588/RK3588J

Cool Pi CM5 SBC

Cool Pi CM5 คือ System-on-Module ที่ใช้ตัวประมวลผล Rockchip RK3588 (ใช้ในงานทั่วไป) หรือ RK3588J (อุตสาหกรรม) octa-core Arm Cortex-A76/A55 พร้อม RAM สูงสุด 32GB,  eMMC flash 256GB โดยโมดูลนี้มาพร้อมกับบอร์ดพัฒนาที่มีพอร์ตเชื่อมต่อ GbE คู่, มีพอร์ต HDMI 2.1 ความละเอียด 8K จำนวน 2 ช่อง, PCIe 3.0 x2 slot, M.2 NVMe และ SATA storage และอื่นๆ เมื่อปลายปีที่แล้ว เราได้เขียนบทความเกี่ยวกับ Cool Pi 4 ว่าเป็นบอร์ดทางเลือกและเร็วกว่า Raspberry Pi 4 SBC และตอนนี้บริษัทได้เปิดตัว Cool Pi CM5 system-on-module ทางเลือก Raspberry Pi CM4 หรือ Radxa CM5 แต่ใช้ MXM 3.0 edge connector และมาพร้อมกับบอร์ด Evaluation board (EVB) ที่มีคุณสมบัติมากมาย สเปค Cool Pi CM5 EVB: System-on-Module SoC – โปรเซสเซอร์ Rockchip RK3588(J) 8 คอร์ พร […]

Pocket AI – eGPU แบบพกพาที่มี NVIDIA RTX A500 สำหรับนักพัฒนา AI, ใช้งานด้านอุตสาหกรรมและอุปกรณ์ฝังตัว

Pocket AI NVIDIA RTX 500 eGPU

ก่อนหน้านี้มี eGPU ที่เชื่อมต่อกับมินิพีซี ผ่านอะแดปเตอร์ PCIe x16 to M.2 NVMe หรือพอร์ต Thunderbolt 3 แต่ในขณะที่การติดตั้งบนโต๊ะทำงาน เพื่อเล่นเกมหรือพัฒนาแอปพลิเคชัน AI นั้น eGPU มีขนาดใหญ่เกินไที่จะรวมเข้ากับผลิตภัณฑ์ และไม่สะดวกต่อการพกพา (eGPU คือ “External Graphic Processing Unit” หรือ “กราฟิกการ์ดแบบภายนอก” หรือ “การ์ดจอภายนอก”) ADLINK Pocket AI เป็น eGPU แบบพกพาที่มี GPU NVIDIA RTX A500 อยู่ในกล่องขนาด 106 x 72 x 25 มม. ซึ่งมีขนาดเท่ากับ power bank ทั่วไปและเชื่อมต่อกับโฮสต์ผ่านพอร์ต Thunderbolt 3 บริษัทกล่าวว่า eGPU ที่กำลังจะเปิดตัวเหมาะสำหรับนักพัฒนา AI ผู้ใช้กราฟิกมืออาชีพ, ด้านอุตสาหกรรมและอุปกรณ์ฝังตัว และสามารถใช้สำหรับเล่นเกมส์ได้ สเปค Pocket AI: GPU – NVIDIA […]

คอมพิวเตอร์ Edge AI ใช้ SOPHON BM1684/BM1684X ความเร็วประมวผลสูงสุด 32 TOPS

Sophon BM1684 BM1684X Edge AI computer

Firefly EC-A1684JD4 FD และ EC-A1684XJD4 FD เป็น Embedded Computers คอมพิวเตอร์แบบฝังตัวที่สามารถรองรับงานด้าน Edge AI ที่มีความเหมือนกันเกือบทั้งหมด โดยใช้ SOPHON BM1684 และ BM1684X Arm AI SoC ตามลำดับ มีกำลังประมวลผล AI inference สูงสุด 32 TOPS (Trillion operations per second) และสามารถถอดรหัสวิดีโอ Full HD แบบ H.265/H.264 ได้สูงสุดถึง 32 วิดีโอพร้อมกันสำหรับ video analytics BM1684(X) SoCs มีตัวประมวลผล Cortex-A53 8 คอร์ ความเร็ว 2.3 GHz เพื่อรันระบบปฏิบัติการ Linux  และหน่วยความจำ RAM สูงสุด 16GB, หน่วยความจำแฟลช 128GB, พอร์ต Gigabit Ethernet สองพอร์ตสำหรับรับสตรีมวิดีโอ,พอร์ต HDMI สำหรับเชื่อมต่อมอนิเตอร์ที่รองรับความละเอียดสูงสุด 1080p30, RS232 และ RS485 DB9 connectors และพอร์ต USB สเปค Firefly EC-A1684JD4 […]

มินิพีซี ใช้ตัวประมวลผล Rockchip RK3588 รองรับ PoE, 4G LTE, 10GbE, SATA HDD ขนาด 2.5 นิ้ว และอื่นๆ

Mekotronics R58X Pro embedded PC

Mekotronics R58X-Pro และ R58X-HDD เป็นมินิพีซีประเภท Embedded PC ที่ใช้ตัวประมวลผล Rockchip RK3588 เป็นการอัปเดตมินิพีซีรุ่น R58X และ R58X-4G ของบริษัทที่มีคุณสมบัติต่างๆ เช่น โมดูล PoE ในตัว, โมดูล 4G LTE, โมดูลเสริม 10GbE M.2 PCIe 3.0 และ microSD card slot, R58X-HDD ยังเพิ่มช่องใส่ HDD หรือ SSD ขนาด 2.5 นิ้วสำหรับ  และ R58X-Pro มีปุ่มปรับระดับเสียงและจอแสดงผลด้านหน้าเครื่อง มินิพีซีทั้งสองรุ่น R58X-Pro และ R58X-HDD มาพร้อมกับหน่วยความจำ RAM สูงสุด 16GB, eMMC flashC 128GB, รองรับเอาต์พุตวิดีโอ 8K สองพอร์ตมี HDMI และ DisplayPort, มีอินพุตวิดีโอ HDMI 2.0 หนึ่งพอร์ต, พอร์ต GbE สองพอร์ต, อินเทอร์เฟซ RS485 และ RS232,  พอร์ต USB และอื่น ๆ สเปค Mekotronics R58X-Pro/R58X-HDD: SoC – โปรเซสเซอร์ Rockchip RK3588 8 คอร์ พ […]