一、產品結構組成

系統包含六自由度機械臂、寬動態*視覺攝像頭、Jetson Nano邊緣處理終端17.3寸邊緣計算顯示單元、機器視覺場景應用資源包、可模擬人工智能典型應用場景，實現人工智能應用技術教學實驗。

教學平臺系統預裝Ubuntu18.04操作系統，所有環境代碼庫文件均已安裝，開機即用。基于多維度學習實踐平臺，由淺入深循序漸進，從基礎單獨的GPIO擴展開始學習過渡到傳感器實驗項目再進入OpenCVPyTorch、ROS系統，機器運動學，*機器視覺，*語音識別聽覺等學習，從而學會*人工智能開發。

所提供的算法源代碼（包括人臉檢測、車牌識別、垃圾分類、目標檢測），兼容Caffe/TensorFlow/MXNet訓練模型和API，可以讓學生對機器視覺的流程、處理方式等有更好的了解，熟悉相關算法，了解實際應用場景，貼近工程化應用。

1、JetsonNano邊緣計算平臺

NVIDIA Jetson Nano是一個小巧卻功能強大的計算機，它可以讓你并行運行多個神經網絡、對象檢測、分割和語音處理等應用程序,Jetson Nano搭載四核cortex-A57處理器，128核MaxwellGPU及4GB LPDDR內存，帶來足夠的*計算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等

2、機器視覺(機器臂)

視覺機械臂以Jetson nano為主控，Open Source CV為圖像處理庫，以主流的Jupyter Lab為開發工具,使用Python3為主要編程語言。攝像頭與機械臂機身一體式設計，“手眼合一”的視覺識別讓機械臂顯得更加靈動，它不僅可以實現顏色識別追蹤與抓取，還能人體特征識別互動，甚至進行垃圾分類模型訓練垃圾分揀;通過RO5機器人操控系統，簡化了6自由度串行總線舵機復雜運動控制。

1080P攝像頭：感光元件尺寸：1/237”最高有效分辨率：1928*1088;數據格式：YUY2/MJPG;像素大小：3.0μm*3.0μm;寬動態范圍：96DB;自動控制：飽和度，對比度，銳度，白平衡，曝光。

機械臂：Cortex-M3內核的處理器控制板，自由度桌面式機械臂，大功率串行總線智能舵機，臂展350mm，負載≥300g，帶夾爪，陽極氧化處理鋁合金機身，主要用于工業機械臂的控制。支持python編程，可靈活和精準調節每一關節角度和位置；支持PC上位機、手機APP、USB游戲手柄控制；

3、語音識別-麥克風陣列

麥克風陣列是基于MSM261S4030H0數字麥克風芯片設計的，模塊聲音識別靈敏度、信噪比都比較高，可應用于聲源定位、語音識別、波束成型等需求場合。

1. :RISC-V Dual Core 64bit,with內核,主頻400MHz,8M Byte,內置語音識別麥克風陣列(8mics),網絡模型:支持YOLOv3 \ Mobilenetv2 \ TinyYOLOv2,支持TensorFlow/Keras/Darknet/Caffe等主流框架

2. 麥克風:6+1個MSM261S4030H0組成陣列（聲壓級:140 dB SPL，靈敏度:-26，信噪比: 57dB，THD<1%，時鐘頻率:1.0-4.0MHz正常模式，150-800kHz低功耗模式）

2.燈光:12個LED通過雙信號線級聯（顏色和亮度可調)

3.支持聲源定位、語音導航、語音交互、離線語音識別。

4、激光雷達

相較于傳統技術，利用紅外激光設備可實現超大屏幕的多點觸摸，其反應更快、精度更高、抗環境光能力更強。激光雷達作為核心傳感器，可快速獲得環境輪廓信息，配合SLAMWARE使用，可以幫助機器人實現自主構建地圖、實時路徑規劃與自動避開障礙物。應用領域智能掃地機、家用機器人。

測量半徑：12米，測量頻率：8000次/秒，掃描頻率：5.5HZ，360度掃描測距

工程應用方向

1. 計算機視覺基礎應用與機械臂的運動控制

   （1）視覺定位：放置任意物體在視野中，在圖像中將其分割（框出來），并輸出中心點坐標；

（2）顏色識別和分選：多種顏色混合放置于視野中，每種顏色各一個，控制手臂挑選出某種顏色，并放置在一側；

（3）顏色識別和堆疊：多種顏色混合放置于視野中，如兩種，每種顏色兩個，控制手臂抓取某種顏色并堆疊，或多顏色分別堆疊；

（4）形狀識別和分選：多種形狀混合放置于視野中，每種形狀各個，控制手臂挑選出某種形狀，并放置在一側；

（5）形狀識別和堆疊：多種形狀混合放置于視野中，如兩種，每種形狀兩個，控制手臂抓取某種形狀并堆疊，或將多種形狀分別堆疊；

（6）單一形狀目標按大小排序：同種形狀，放置三種不同尺寸的物體于視野中，控制手臂按照從大到小的順序依次放置；

（7）多種形狀目標同時按形狀和大小堆疊：三種形狀，每種形狀放置三種不同尺寸的物體于視野中，控制手臂按照不同形狀、從大到小的順序分別進行堆疊（即三個堆垛，均為從大到小）；

（8）垃圾分類：在目標上貼上不同物體的圖案，如白菜、標識為有毒物品的玻璃瓶、紙箱，混合放置于視野中，通過配置，控制機械臂按照廚余垃圾、有害垃圾、可回收垃圾進行分類；

（9）手勢交互：比如伸出1、2、3、4個手指，機械臂分別執行向上、向下、向左、向右運動，伸出5個手指，則畫一個圓；

（10）目標跟蹤：操作者手持一個小球，機械臂識別該小球（形狀或顏色），并--小球的移動而移動；

（11）OCR光學字符識別與排序：目標上貼上字符，亂序擺放（可要求字符必須朝同一個方向，但順序是亂的），機械臂通過視覺識別，將其按照123456的順序擺放到指定位置

2.計算機視覺與人臉識別、車牌識別等應用

（1）人臉識別：事先錄入人臉，對新的人臉進行識別，識別成功彈出人員的信息，識別不到則提示該人員不在系統中；

（2）人臉門禁：識別到人臉后，打開門禁系統，同時綠色指示燈亮起，識別不到，黃色指示燈亮起，提示無該人員信息；

（3）人員入侵預警：同上。同一人臉連續識別超過 3 次，且均顯示不在系統中，紅燈亮起，同時蜂鳴器報警；

（4）車牌識別：事先錄入車牌，對新的車牌進行識別，識別成功彈出車主信息，同時綠色指示燈亮起，識別不到則黃色燈亮起，并提示該車輛不在系統中；

（5）車輛入侵預警：同上。同一車牌連續識別超過 3 次，且均顯示不在系統中，紅燈亮起，同時蜂鳴器報警；

（6）運動目標識別與跟蹤：采用視頻實時識別的方式，對視野中的一個或多個人員進行識別，框出來，標記識別到的人員數量，并--人員的移動進行跟蹤；

3.語音識別與智能家居系統

（1）智能門禁控制：預先對語音進行標記，通過配置語音指令和門禁系統控制算法，實現如發出“開門”的指令，門禁系統自動打開的動作；

（2）智能燈光控制：預先對語音進行標記，通過配置語音指令和燈光控制算法，實現如發出“開燈”的指令，燈光自動打開的動作；

（3）智能風扇控制：預先對語音進行標記，通過配置語音指令和風扇控制算法，實現如發出“打開風扇”的指令，風扇自動開啟的動作；

（4）智能溫濕度檢測：預先對語音進行標記，通過配置語音指令和溫濕度傳感器控制算法，實現如發出“今天的溫度是多少”的指令，傳感器自動開啟并在屏幕上顯示當前環境溫濕度的動作。

西門子plc仿真實訓軟件包括基本指令、應用指令、順序控制指令

一、基本指令：電動機啟停控制、電動機正反轉控制、電動機循環正反轉、可逆運行反接制動、三速電機控制、星角降壓啟動控制、數碼管點亮控制、交通燈控制、恒壓供水系統控制九項。

1、電動機啟停控制包括：實訓要求、實訓器件、器件布局、I/O分配、T型圖、電路連接、通電運行等七項

（1）實訓要求：文字、圖片的形式展示。將主要掌握的知識點予以概括，了解本模塊主要的學習內容包括兩地控制電路的編程方法，學會實際控制設計PLC的外圍電路，學會分局實際控制要求設計簡單的梯形圖等。

（2）實訓器件：列出電動機啟停控制單元所用到的全部器件，包括三相異步電動機、PLC、交流接觸器、三相斷路器、熔斷器、熱繼電器、啟動按鈕、停止按鈕。

（3）器件布局：將器件庫中的仿真器件放到仿真配電柜中的相應位置，用于訓練學生對器件及電路的了解。電路上要有相應的符號，器件拖拽錯誤器件會拖拽不上去并會有相應的聲音顯示。

（4）I/O分配：軟件中有I/O分配地址和電路圖，將鼠標點到分配地址資源后會有相應的事物圖片展示，用來讓學生更好的了解器件模型與電路圖。

（5）T型圖：給出缺失符號的T型圖和相應的符號，學生根據所學知識用鼠標將符號拖拽到T型圖上，如果正確則符號保留在T型圖上，錯誤則消失。

（6）電路連接： 

原理圖中閃爍的線條即為當前應連接的電路，用鼠標點擊連接此線的兩觸點中的一個觸點，然后拖動鼠標，找到另一個觸點并點擊，若正確將出現連接線，不正確此線消失，只有當該連線連接正確后，才能進行下一條線的接線操作。如果接線中出現困難可點擊“答案”按鈕，點擊后將出現已完成的接線圖，可參考該圖完成你所進行的操作，再次點擊“答案”按鈕，答案將消失。

可以自由接線，參照電路圖可以進行自由接線，如果不會可以點擊提示，鼠標點擊任何一個接線熱點另外的一端熱點會閃爍顯示。

（7）通電運行：以仿真實訓方式實現。通電后，可按照操作步驟按下相應開關，即可直觀地觀察到電路的運行情況，同時配合模擬真實場景的聲效，達到仿真的效果。

配套實驗內容 

Python基礎部分實驗

第一章 Python

第二章 開發環境搭建和使用方法

第三章 Python基礎

3.1 Python語法

3.2 Python縮進

3.3 Python注釋

3.4 Python變量

3.5 Python引入外援

3.6 Python基礎數據類型

3.7 Python常用操作符

第四章 Python分支與循環

4.1 Python分支與循環

4.2 Python條件表達式與斷言

4.3 Python循環語句

第五章 Python高級

5.1 Python列表

5.2 Python元組

5.3 Python字符串

5.4 Python序列

5.5 Python字典

5.6 Python集合

第六章 Python函數

6.1 Python函數的創建與調用

6.2 Python函數的參數及返回值

6.3 Python函數的變量

6.4 Python函數式編程

6.5 Python遞歸

第七章 Python存儲

7.1 Python文件

7.2 Python文件系統（OS）

第八章 Python異常處理

8.1 Python try-except語句

8.2 Python try-finally語句

8.3 Python r--se語句

第九章 Python類和對象

9.1 Python對象

9.2 Python繼承

9.3 Python多重繼承

9.4 Python組合

9.5 Python魔法方法-構造與析構

第十章 Python模塊

10.1 Python模塊

10.2 Python包

PyQT部分實驗

第一章 PyQt5

第二章 PyQt5開發環境搭建與使用方法

第三章 第一個PyQt5窗口程序

3.1 PC端PyQt5應用程序開發流程

3.2 PyQt5應用程序運行在邊緣端

第四章 PyQt5窗口設計基礎

4.1 單窗口屬性與設置

4.2 信號與槽

4.3 多窗口設計

第五章 PyQt5常用控件設計

5.1 文本類開發（Label、TextEdit、SpinBox）

5.2 按鈕類開發（PushButton、CheckBox）

5.3 日期時間類（Data/TimeEdit）

5.4 進度條類（ProgressBar）

5.5 對話框類（QMessageBox）

第六章 PyQt5布局管理

6.1 線性布局

6.2 GridLayout網格布局

第七章 PyQt5數據庫

7.1 SQLite數據庫

7.2 MySQL數據庫

第八章 PyQt5文件操作

第九章 PyQt5多線程編程

9.1 QTimer定時器類

9.2 QThread線程類

第十章 PyQt5程序打包

第十一章 PyQt5網絡編程

第十二章 PyQt5物聯網編程

12.2 物聯網傳感器數據獲取并顯示

12.3 物聯網執行器控制

機器視覺部分實驗

第一章 機器視覺說明

1.1 機器視覺介紹

1.1.1 機器視覺簡介

1.1.2 機器視覺發展

1.2 OpenCV介紹

1.2.1 OpenCV簡介

1.2.2 OpenCV結構圖

第二章 開發環境的搭建和使用方法

第三章 OpenCV圖像基礎

3.1 OpenCV讀取圖像

3.2 OpenCV顯示圖像

3.3 OpenCV保存圖像

第四章 OpenCV視頻基礎

4.1 OpenCV捕獲攝像頭

4.2 OpenCV讀取視頻

4.3 OpenCV顯示視頻

4.4 OpenCV保存視頻

第五章 OpenCV繪圖功能

5.1 畫線

5.2 畫矩形

5.3 畫圓

5.4 畫橢圓

5.5 畫多邊形

5.6 圖像上添加文字

第六章 OpenCV圖像操作基礎

6.1 訪問和修改像素值

6.2 訪問圖像屬性

6.3 圖像興趣區域ROI

6.4 拆分和合并圖像通道

第七章 OpenCV圖像算術運算

7.1 圖像加法

7.2 圖像融合

7.3 圖像按位運算

第八章 OpenCV顏色空間

8.1 顏色空間介紹

8.2 BGR顏色空間

8.3 GRAY顏色空間

8.4 HSV顏色空間

第九章 OpenCV圖像變換

9.1 圖像縮放

9.2 圖像翻轉

9.3 圖像平移

9.4 圖像旋轉

9.5 圖像仿射變換

9.6 圖像透視變換

第十章 OpenCV閾值處理

10.1 閾值處理說明

10.2 二階閾值處理

10.3 反二階閾值處理

10.4 截斷閾值處理

10.5 低閾值零處理

10.6 超閾值零處理

10.7 自適應閾值處理

10.8 Otsu處理

第十一章 OpenCV圖像金字塔

11.1 pyrDown金字塔向下采樣

11.2 pyrUp金字塔向上采樣

第十二章 OpenCV圖像平滑處理

12.1 均值濾波

12.2 方框濾波

12.3 高斯濾波

12.4 中值濾波

12.5 雙邊濾波

第十三章 OpenCV形態學操作

13.1 腐蝕

13.2 膨脹

13.3 開運算

13.4 閉運算

13.5 形態學梯度運算

第十四章 OpenCV邊緣檢測

14.1 Canny邊緣檢測基礎

14.2 Canny函數及使用

第十五章 OpenCV圖像輪廓

15.1 查找和繪制輪廓

15.1.1 查找輪廓

15.1.2 繪制輪廓

15.2 矩特征

15.2.1 計算輪廓面積

15.2.2 計算輪廓長度

15.3 輪廓擬合

15.3.1 矩形包圍框

15.3.2 最小矩形包圍框

15.3.3 最小圓形包圍框

15.3.4 擬合橢圓包圍框

15.4 凸包

第十六章 OpenCV直方圖處理

16.1 繪制直方圖

16.1.1 hist函數繪制直方圖

16.1.2 calcHist函數繪制直方圖

16.2 直方圖均衡化

第十七章 OpenCV傅里葉變換

17.1 Numpy實現傅里葉變換

17.2 Numpy實現逆傅里葉變換

17.3 OpenCV實現傅里葉變換

17.4 OpenCV實現逆傅里葉變換

17.5 高通濾波

17.6 低通濾波

第十八章 OpenCV模版匹配

18.1 模版匹配基礎

18.2 模版多匹配

第十九章 OpenCV霍夫變換

19.1 霍夫直線變換

19.2 概率霍夫直線變換

19.3 霍夫圓環變換

第二十章 OpenCV二維碼識別

第二十一章 OpenCV顏色檢測

第二十二章 OpenCV面部、眼睛檢測

第二十三章 OpenCV汽車和行人檢測

第二十四章 OpenCV手寫數字識別

深度學習部分實驗

第一章 深度學習發展簡史

1.1 人工智能簡介

1.2 神經網絡與深度學習

1.3 神經網絡發展簡史

1.4 深度學習特點

1.5 深度學習應用

1.6 深度學習框架

第二章 實驗環境配置

2.1 Anaconda 下載與安裝

2.2 Anaconda 配置tf2 環境

2.3 Tensorflow 安裝

2.4 Jupyter notebook 安裝

2.5 RK3399 環境簡介

第三章 TensorFlow 基礎部分

3.1 張量創建實驗

3.2 張量運算實驗

3.3 張量維度變換實驗

第四章 線性回歸

4.1 一元線性回歸實驗

4.2 多元線性回歸實驗

4.3 波士頓房價預測實驗

第五章 邏輯回歸

5.1 一元邏輯回歸實驗

5.2 多元回歸實驗

5.3 實戰鳶尾花分類實驗

第六章 人工神經網絡

6.1 單層神經網絡實驗

6.2 多層神經網絡實驗

6.3 模型保存或加載實驗

第七章 卷積神經網絡

7.1 卷積操作實驗

7.2 卷積神經網絡實驗

7.3 數據預處理實驗

第八章 神經網絡遷移學習

8.1 經典神經網絡介紹

8.2 遷移學習貓狗分類實驗

第九章 循環神經網絡

9.1 循環神經網絡介紹

9.2 情感分類實驗

9.3 文本生成實驗

第十章 人工智能綜合實驗

10.1 人臉識別實驗

10.2 口罩檢測實驗

10.3 水果識別實驗

麥克風陣列部分實驗

1. 聲源定位實驗

2. 音頻可視化實驗

3. 語音識別實驗

機械臂部分實驗

基礎實驗

1.控制RGB燈

2.控制蜂鳴器

3.控制單個舵機

4.讀取舵機當前的位置

5.一次控制6個舵機

6.機械臂上下左右擺動

7.機械臂跳舞

8.機械臂記憶動作

9.機械臂夾方塊

10.大自然搬運工

11.疊羅漢

人工智能綜合實驗

1.顏色校準

2.顏色識別抓取積木

3.顏色分揀與堆疊

4.垃圾分揀

5.目標追蹤