系統包含六自由度機械臂、寬動態*視覺攝像頭、Jetson Nano邊緣處理終端17.3寸邊緣計算顯示單元、機器視覺場景應用資源包、可模擬人工智能典型應用場景，實現人工智能應用技術教學實驗。

教學平臺系統預裝Ubuntu18.04操作系統，所有環境代碼庫文件均已安裝，開機即用?；诙嗑S度學習實踐平臺，由淺入深循序漸進，從基礎單獨的GPIO擴展開始學習過渡到傳感器實驗項目再進入OpenCVPyTorch、ROS系統，機器運動學，*機器視覺，*語音識別聽覺等學習，從而學會*人工智能開發。

所提供的算法源代碼（包括人臉檢測、車牌識別、垃圾分類、目標檢測），兼容Caffe/TensorFlow/MXNet訓練模型和API，可以讓學生對機器視覺的流程、處理方式等有更好的了解，熟悉相關算法，了解實際應用場景，貼近工程化應用。

1、JetsonNano邊緣計算平臺

NVIDIA Jetson Nano是一個小巧卻功能強大的計算機，它可以讓你并行運行多個神經網絡、對象檢測、分割和語音處理等應用程序,Jetson Nano搭載四核cortex-A57處理器，128核MaxwellGPU及4GB LPDDR內存，帶來足夠的*計算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等

2、機器視覺(機器臂)

視覺機械臂以Jetson nano為主控，Open Source CV為圖像處理庫，以主流的Jupyter Lab為開發工具,使用Python3為主要編程語言。攝像頭與機械臂機身一體式設計，“手眼合一”的視覺識別讓機械臂顯得更加靈動，它不僅可以實現顏色識別追蹤與抓取，還能人體特征識別互動，甚至進行垃圾分類模型訓練垃圾分揀;通過RO5機器人操控系統，簡化了6自由度串行總線舵機復雜運動控制。

1080P攝像頭：感光元件尺寸：1/237”最高有效分辨率：1928*1088;數據格式：YUY2/MJPG;像素大?。?.0μm*3.0μm;寬動態范圍：96DB;自動控制：飽和度，對比度，銳度，白平衡，曝光。

機械臂：Cortex-M3內核的處理器控制板，自由度桌面式機械臂，大功率串行總線智能舵機，臂展350mm，負載≥300g，帶夾爪，陽極氧化處理鋁合金機身，主要用于工業機械臂的控制。支持python編程，可靈活和精準調節每一關節角度和位置；支持PC上位機、手機APP、USB游戲手柄控制；

3、語音識別-麥克風陣列

麥克風陣列是基于MSM261S4030H0數字麥克風芯片設計的，模塊聲音識別靈敏度、信噪比都比較高，可應用于聲源定位、語音識別、波束成型等需求場合。

1. :RISC-V Dual Core 64bit,with內核,主頻400MHz,8M Byte,內置語音識別麥克風陣列(8mics),網絡模型:支持YOLOv3 \ Mobilenetv2 \ TinyYOLOv2,支持TensorFlow/Keras/Darknet/Caffe等主流框架

2. 麥克風:6+1個MSM261S4030H0組成陣列（聲壓級:140 dB SPL，靈敏度:-26，信噪比: 57dB，THD<1%，時鐘頻率:1.0-4.0MHz正常模式，150-800kHz低功耗模式）

2.燈光:12個LED通過雙信號線級聯（顏色和亮度可調)

3.支持聲源定位、語音導航、語音交互、離線語音識別。

4、激光雷達

相較于傳統技術，利用紅外激光設備可實現超大屏幕的多點觸摸，其反應更快、精度更高、抗環境光能力更強。激光雷達作為核心傳感器，可快速獲得環境輪廓信息，配合SLAMWARE使用，可以幫助機器人實現自主構建地圖、實時路徑規劃與自動避開障礙物。應用領域智能掃地機、家用機器人。

測量半徑：12米，測量頻率：8000次/秒，掃描頻率：5.5HZ，360度掃描測距

工程應用方向

1. 計算機視覺基礎應用與機械臂的運動控制

   （1）視覺定位：放置任意物體在視野中，在圖像中將其分割（框出來），并輸出中心點坐標；

（2）顏色識別和分選：多種顏色混合放置于視野中，每種顏色各一個，控制手臂挑選出某種顏色，并放置在一側；

（3）顏色識別和堆疊：多種顏色混合放置于視野中，如兩種，每種顏色兩個，控制手臂抓取某種顏色并堆疊，或多顏色分別堆疊；

（4）形狀識別和分選：多種形狀混合放置于視野中，每種形狀各個，控制手臂挑選出某種形狀，并放置在一側；

（5）形狀識別和堆疊：多種形狀混合放置于視野中，如兩種，每種形狀兩個，控制手臂抓取某種形狀并堆疊，或將多種形狀分別堆疊；

（6）單一形狀目標按大小排序：同種形狀，放置三種不同尺寸的物體于視野中，控制手臂按照從大到小的順序依次放置；

（7）多種形狀目標同時按形狀和大小堆疊：三種形狀，每種形狀放置三種不同尺寸的物體于視野中，控制手臂按照不同形狀、從大到小的順序分別進行堆疊（即三個堆垛，均為從大到小）；

（8）垃圾分類：在目標上貼上不同物體的圖案，如白菜、標識為有毒物品的玻璃瓶、紙箱，混合放置于視野中，通過配置，控制機械臂按照廚余垃圾、有害垃圾、可回收垃圾進行分類；

（9）手勢交互：比如伸出1、2、3、4個手指，機械臂分別執行向上、向下、向左、向右運動，伸出5個手指，則畫一個圓；

（10）目標跟蹤：操作者手持一個小球，機械臂識別該小球（形狀或顏色），并--小球的移動而移動；

（11）OCR光學字符識別與排序：目標上貼上字符，亂序擺放（可要求字符必須朝同一個方向，但順序是亂的），機械臂通過視覺識別，將其按照123456的順序擺放到指定位置

2.計算機視覺與人臉識別、車牌識別等應用

（1）人臉識別：事先錄入人臉，對新的人臉進行識別，識別成功彈出人員的信息，識別不到則提示該人員不在系統中；

（2）人臉門禁：識別到人臉后，打開門禁系統，同時綠色指示燈亮起，識別不到，黃色指示燈亮起，提示無該人員信息；

（3）人員入侵預警：同上。同一人臉連續識別超過 3 次，且均顯示不在系統中，紅燈亮起，同時蜂鳴器報警；

（4）車牌識別：事先錄入車牌，對新的車牌進行識別，識別成功彈出車主信息，同時綠色指示燈亮起，識別不到則黃色燈亮起，并提示該車輛不在系統中；

（5）車輛入侵預警：同上。同一車牌連續識別超過 3 次，且均顯示不在系統中，紅燈亮起，同時蜂鳴器報警；

（6）運動目標識別與跟蹤：采用視頻實時識別的方式，對視野中的一個或多個人員進行識別，框出來，標記識別到的人員數量，并--人員的移動進行跟蹤；

3.語音識別與智能家居系統

（1）智能門禁控制：預先對語音進行標記，通過配置語音指令和門禁系統控制算法，實現如發出“開門”的指令，門禁系統自動打開的動作；

（2）智能燈光控制：預先對語音進行標記，通過配置語音指令和燈光控制算法，實現如發出“開燈”的指令，燈光自動打開的動作；

（3）智能風扇控制：預先對語音進行標記，通過配置語音指令和風扇控制算法，實現如發出“打開風扇”的指令，風扇自動開啟的動作；

（4）智能溫濕度檢測：預先對語音進行標記，通過配置語音指令和溫濕度傳感器控制算法，實現如發出“今天的溫度是多少”的指令，傳感器自動開啟并在屏幕上顯示當前環境溫濕度的動作。

西門子plc仿真實訓軟件包括基本指令、應用指令、順序控制指令

一、基本指令：電動機啟停控制、電動機正反轉控制、電動機循環正反轉、可逆運行反接制動、三速電機控制、星角降壓啟動控制、數碼管點亮控制、交通燈控制、恒壓供水系統控制九項。

1、電動機啟?？刂瓢ǎ簩嵱栆?、實訓器件、器件布局、I/O分配、T型圖、電路連接、通電運行等七項

（1）實訓要求：文字、圖片的形式展示。將主要掌握的知識點予以概括，了解本模塊主要的學習內容包括兩地控制電路的編程方法，學會實際控制設計PLC的外圍電路，學會分局實際控制要求設計簡單的梯形圖等。

（2）實訓器件：列出電動機啟停控制單元所用到的全部器件，包括三相異步電動機、PLC、交流接觸器、三相斷路器、熔斷器、熱繼電器、啟動按鈕、停止按鈕。

（3）器件布局：將器件庫中的仿真器件放到仿真配電柜中的相應位置，用于訓練學生對器件及電路的了解。電路上要有相應的符號，器件拖拽錯誤器件會拖拽不上去并會有相應的聲音顯示。

（4）I/O分配：軟件中有I/O分配地址和電路圖，將鼠標點到分配地址資源后會有相應的事物圖片展示，用來讓學生更好的了解器件模型與電路圖。

（5）T型圖：給出缺失符號的T型圖和相應的符號，學生根據所學知識用鼠標將符號拖拽到T型圖上，如果正確則符號保留在T型圖上，錯誤則消失。

（6）電路連接： 

原理圖中閃爍的線條即為當前應連接的電路，用鼠標點擊連接此線的兩觸點中的一個觸點，然后拖動鼠標，找到另一個觸點并點擊，若正確將出現連接線，不正確此線消失，只有當該連線連接正確后，才能進行下一條線的接線操作。如果接線中出現困難可點擊“答案”按鈕，點擊后將出現已完成的接線圖，可參考該圖完成你所進行的操作，再次點擊“答案”按鈕，答案將消失。

可以自由接線，參照電路圖可以進行自由接線，如果不會可以點擊提示，鼠標點擊任何一個接線熱點另外的一端熱點會閃爍顯示。

（7）通電運行：以仿真實訓方式實現。通電后，可按照操作步驟按下相應開關，即可直觀地觀察到電路的運行情況，同時配合模擬真實場景的聲效，達到仿真的效果。

功能特點
1.電氣控制線路元器件都裝電氣安裝板上，操作方便、更換便捷。
2.操作屏只需三相四線的交流電源，即可投入使用；
3.技能培訓用的控制線路和經特殊設計的小電機，能滿足低壓電工實操技能訓練的要求；
4.繼電接觸控制線路培訓所有的元器件都通過導線引到插拔端子上，學生接線時只需在端子上進行接線，有利于保護元器件；
5.設有電壓型漏電保護器和電流型漏電保護器，確保操作者的安全；各電源輸出均有監示及短路保護等功能，當培訓時發生誤操作或因接線錯誤而造成短路時，裝置能自動保護，避免燒毀保險絲和損壞電器，保障培訓順利進行；

6.裝置上設有三相電源輸出短路保護功能，防止了學員培訓時由于接線錯誤或誤操作而發生短路損壞元器件，同時能保障培訓順利進行并節約了培訓的成本。

7.與市面上的模擬器件培訓設備不同，本設備均采用了真實元器件。

8.維修電工電子電機與職業資格培訓考評仿真軟件

本軟件為apk的格式，可在PC端使用，也可在移動端使用，本軟件即可手動設置故障也能自動設置故障，本軟件通過電路圖中綠色的框選擇手動設置故障點（最多可以設置39個故障點），也可以通過系統自動進行隨機1個故障點設置，隨機兩個故障點設置，隨機三個故障點設置，隨機四個故障點設置，隨機五個故障點設置，本軟件內有工具箱，元件庫，放大鏡，電路圖等功能，可通過工具箱可選擇萬用表進行檢測，通過元件庫選擇合適的元件，通過放大鏡可以清楚的了解各個元器件及電路。本軟件通過電動機星三角啟動控制電路故障的設置，并經過種種排查，讓學生了解電動機星三角啟動控制電路的工作原理及電路結構。
三、技術性能：
1.輸入電壓：三相四線制380V±10% ，工頻50Hz；
2.工作環境：環境溫度范圍-5～＋40℃， 相對濕度＜85%（25℃）， 海拔＜4000m；
3.裝置容量：＜1.5KVA；
四、裝置配置
1.操作屏為鈑金密紋噴塑架。
2.三相四線電源輸入，經漏電保護器，總開關后，通過起、停按鈕控制接觸器通斷，并設有急?？刂瓢粹o；
3.控制臺上有電壓表1個，電流表1個。

五、配置

六、培訓項目
1.電動機單向連續運轉接線（帶點動控制）。

2.三相電動機正反轉運行的接線及安全操作。

3.單相電度表帶照明燈的安裝及接線。

4.帶熔斷器（斷路器）、儀表、電流互感器的電動機運行控制的電路接線。

5.導線的連接