Address
304 North Cardinal
St. Dorchester Center, MA 02124
Work Hours
Monday to Friday: 7AM - 7PM
Weekend: 10AM - 5PM
Address
304 North Cardinal
St. Dorchester Center, MA 02124
Work Hours
Monday to Friday: 7AM - 7PM
Weekend: 10AM - 5PM
在掌握了基礎的環境設定與影像串流後,本篇文章將帶領各位進入 HUB 8735 Ultra 的核心領域:邊緣 AI 運算與雲端整合
在掌握了基礎的環境設定與影像串流後,本篇文章將帶領各位進入 HUB 8735 Ultra 的核心領域:邊緣 AI 運算與雲端整合。我們將學習如何使用內建的 NPU 進行人臉與物件辨識,並結合 Line Bot 打造互動式應用。
8735 Ultra 提供了基於 RTSP 協定的人臉辨識範例,可直接在開發板上完成註冊與辨識。
AmebaNN > RTSPFaceRecognition。

⚠️ 注意事項:
預設情況下,臉部辨識的註冊資料僅儲存於 RAM (記憶體) 中,重開機後會消失。若需永久保存,需執行備份指令。
1.還沒註冊時,所有臉部都是未知(UNKNOWN)

2.在序列視窗空白處輸入 REG=英文名字 (註冊時僅能有一個臉部)

3.註冊後等約5秒即可出現辨識結果

程式執行後,可透過序列埠輸入以下指令進行操作:
REG=Name:將當前畫面中的人臉註冊為 “Name” (例如 REG=Eric)。DEL=Name:刪除指定名稱的人臉資料。RESET:清除所有已註冊的人臉。BACKUP:將目前的臉部資料庫備份到 Flash 記憶體 (斷電不消失)。RESTORE:從 Flash 載入備份的資料庫。若需徹底清空記憶體,可至 IDE 上方選單:Erase All Flash Memory > Erase only,再進行燒錄。

人臉辨識常用於門禁系統,這需要結合伺服馬達 (Servo) 來控制閘門開關。

範例程式碼下載: Google Doc 連結
結合上述的人臉辨識與 Servo 控制,可實作「刷臉開門」功能。
範例程式碼下載: Google Doc 連結
認識的亮綠燈(IO 23)
不認識的亮紅燈(IO 24)

從MQTT觀察辨識結果:https://docs.google.com/document/d/1HLCk93CJI9CCoqZJOS7-V4B_3XChlzBDzx3cMCGwO60/edit?tab=t.0
在程式碼中,請記下您設定的 MQTT Topic (主題),例如:alice/class205/image。
Node-RED 的處理邏輯非常直觀,我們需要建立一條流程,將接收到的二進位 Buffer 轉為 Base64 字串,最後餵給網頁顯示。
mqtt in 節點到工作區。mqttgo.io)。alice/class205/image)。a Buffer (確保輸出格式為二進位緩衝區)。base64 節點 (通常位於 Parser 分類下)。Encode (將 Buffer 編碼為 Base64 字串)。node-red-dashboard 套件。template 節點 (位於 Dashboard 分類下)。<div style="text-align:center;">
<h3>AI 即時監控畫面</h3>
<img height="50%" width="100%"
src="data:image/jpeg;base64,{{msg.payload}}"
style="max-width: 640px; border: 2px solid #f8c600; border-radius: 5px;" />
</div>
💡 語法解析:src="data:image/jpeg;base64,{{msg.payload}}"
這段語法告訴瀏覽器圖片來源是 Base64 編碼的資料。{{msg.payload}} 是 Node-RED 傳入的轉換後字串。
完成上述連接後,點擊 Node-RED 右上角的 Deploy 按鈕。接著開啟 Dashboard 頁面 (通常為 http://localhost:1880/ui)。
當 8735 Ultra 開始傳輸影像時,您應該就能在儀表板上看到即時更新的監控畫面與 AI 辨識結果框選了。

HUB 8735 Ultra 內建 NPU,支援執行 YOLO (You Only Look Once) 模型,可快速辨識畫面中的物體。
認識的物件是由COCO資料集訓練而得,網址:COCO – Common Objects in Context
COCO生活中常見的物件,一共有80個,交通工具,生活用品,動物…等等
YOLOv3 model: DEFAULT_YOLOV3TINY, CUSTOMIZED_YOLOV3TINY
YOLOv4 model: DEFAULT_YOLOV4TINY, CUSTOMIZED_YOLOV4TINY
YOLOv7 model: DEFAULT_YOLOV7TINY, CUSTOMIZED_YOLOV7TINY
Valid Face Detection model: DEFAULT_SCRFD, CUSTOMIZED_SCRFD
AmebaNN > ObjectDetectionCallback 。

參考解答:
https://docs.google.com/document/d/1YjDd6xrdTn78URe_6CZHiU_jdMwQdv1NYzG8YQFi46k/edit?tab=t.0


利用 YOLO 偵測到的「人 (person)」數量來觸發 IO 動作。例如:
邏輯解析: 透過解析 PostProcess 的回傳資料,計算 class 為 “person” 的數量,再控制 LED 腳位。
參考解答:

範例程式下載:https://twgo.io/ahasy
關閉VLC,偵測到人,一樣會傳MQTT
代表YOLO辨識是在晶片中的邊緣運算
透過 Line Messaging API,讓開發板化身為 Line 機器人,主動發送通知或貼圖。




Line official












為了讓程式能控制機器人,我們需要取得以下三組關鍵資料 :


若要發送貼圖,需查詢 Line 的 Package ID 與 Sticker ID。
446, Sticker ID 1988 (熊大貼圖)。
測試程式下載: Line 通知測試範例 。
除了內建的 COCO 模型,8735 Ultra 也支援載入自己訓練的 YOLO 模型,讓開發板能辨識特定的物件 (例如特定產品瑕疵、標誌等)。
詳細訓練過程與轉檔教學,請參考專屬頁面:twgo.io/robot。