一、產(chǎn)品結(jié)構(gòu)組成

系統(tǒng)包含六自由度機械臂、寬動態(tài)*視覺攝像頭、Jetson Nano邊緣處理終端17.3寸邊緣計算顯示單元、機器視覺場景應(yīng)用資源包、可模擬人工智能典型應(yīng)用場景，實現(xiàn)人工智能應(yīng)用技術(shù)教學(xué)實驗。

教學(xué)平臺系統(tǒng)預(yù)裝Ubuntu18.04操作系統(tǒng)，所有環(huán)境代碼庫文件均已安裝，開機即用。基于多維度學(xué)習(xí)實踐平臺，由淺入深循序漸進，從基礎(chǔ)單獨的GPIO擴展開始學(xué)習(xí)過渡到傳感器實驗項目再進入OpenCVPyTorch、ROS系統(tǒng)，機器運動學(xué)，*機器視覺，*語音識別聽覺等學(xué)習(xí)，從而學(xué)會*人工智能開發(fā)。

所提供的算法源代碼（包括人臉檢測、車牌識別、垃圾分類、目標(biāo)檢測），兼容Caffe/TensorFlow/MXNet訓(xùn)練模型和API，可以讓學(xué)生對機器視覺的流程、處理方式等有更好的了解，熟悉相關(guān)算法，了解實際應(yīng)用場景，貼近工程化應(yīng)用。

1、JetsonNano邊緣計算平臺

NVIDIA Jetson Nano是一個小巧卻功能強大的計算機，它可以讓你并行運行多個神經(jīng)網(wǎng)絡(luò)、對象檢測、分割和語音處理等應(yīng)用程序,Jetson Nano搭載四核cortex-A57處理器，128核MaxwellGPU及4GB LPDDR內(nèi)存，帶來足夠的*計算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等

2、機器視覺(機器臂)

視覺機械臂以Jetson nano為主控，Open Source CV為圖像處理庫，以主流的Jupyter Lab為開發(fā)工具,使用Python3為主要編程語言。攝像頭與機械臂機身一體式設(shè)計，“手眼合一”的視覺識別讓機械臂顯得更加靈動，它不僅可以實現(xiàn)顏色識別追蹤與抓取，還能人體特征識別互動，甚至進行垃圾分類模型訓(xùn)練垃圾分揀;通過RO5機器人操控系統(tǒng)，簡化了6自由度串行總線舵機復(fù)雜運動控制。

1080P攝像頭：感光元件尺寸：1/237”最高有效分辨率：1928*1088;數(shù)據(jù)格式：YUY2/MJPG;像素大小：3.0μm*3.0μm;寬動態(tài)范圍：96DB;自動控制：飽和度，對比度，銳度，白平衡，曝光。

機械臂：Cortex-M3內(nèi)核的處理器控制板，自由度桌面式機械臂，大功率串行總線智能舵機，臂展350mm，負(fù)載≥300g，帶夾爪，陽極氧化處理鋁合金機身，主要用于工業(yè)機械臂的控制。支持python編程，可靈活和精準(zhǔn)調(diào)節(jié)每一關(guān)節(jié)角度和位置；支持PC上位機、手機APP、USB游戲手柄控制；

3、語音識別-麥克風(fēng)陣列

麥克風(fēng)陣列是基于MSM261S4030H0數(shù)字麥克風(fēng)芯片設(shè)計的，模塊聲音識別靈敏度、信噪比都比較高，可應(yīng)用于聲源定位、語音識別、波束成型等需求場合。

1. :RISC-V Dual Core 64bit,with內(nèi)核,主頻400MHz,8M Byte,內(nèi)置語音識別麥克風(fēng)陣列(8mics),網(wǎng)絡(luò)模型:支持YOLOv3 \ Mobilenetv2 \ TinyYOLOv2,支持TensorFlow/Keras/Darknet/Caffe等主流框架

2. 麥克風(fēng):6+1個MSM261S4030H0組成陣列（聲壓級:140 dB SPL，靈敏度:-26，信噪比: 57dB，THD<1%，時鐘頻率:1.0-4.0MHz正常模式，150-800kHz低功耗模式）

2.燈光:12個LED通過雙信號線級聯(lián)（顏色和亮度可調(diào))

3.支持聲源定位、語音導(dǎo)航、語音交互、離線語音識別。

4、激光雷達

相較于傳統(tǒng)技術(shù)，利用紅外激光設(shè)備可實現(xiàn)超大屏幕的多點觸摸，其反應(yīng)更快、精度更高、抗環(huán)境光能力更強。激光雷達作為核心傳感器，可快速獲得環(huán)境輪廓信息，配合SLAMWARE使用，可以幫助機器人實現(xiàn)自主構(gòu)建地圖、實時路徑規(guī)劃與自動避開障礙物。應(yīng)用領(lǐng)域智能掃地機、家用機器人。

測量半徑：12米，測量頻率：8000次/秒，掃描頻率：5.5HZ，360度掃描測距

工程應(yīng)用方向

1. 計算機視覺基礎(chǔ)應(yīng)用與機械臂的運動控制

   （1）視覺定位：放置任意物體在視野中，在圖像中將其分割（框出來），并輸出中心點坐標(biāo)；

（2）顏色識別和分選：多種顏色混合放置于視野中，每種顏色各一個，控制手臂挑選出某種顏色，并放置在一側(cè)；

（3）顏色識別和堆疊：多種顏色混合放置于視野中，如兩種，每種顏色兩個，控制手臂抓取某種顏色并堆疊，或多顏色分別堆疊；

（4）形狀識別和分選：多種形狀混合放置于視野中，每種形狀各個，控制手臂挑選出某種形狀，并放置在一側(cè)；

（5）形狀識別和堆疊：多種形狀混合放置于視野中，如兩種，每種形狀兩個，控制手臂抓取某種形狀并堆疊，或?qū)⒍喾N形狀分別堆疊；

（6）單一形狀目標(biāo)按大小排序：同種形狀，放置三種不同尺寸的物體于視野中，控制手臂按照從大到小的順序依次放置；

（7）多種形狀目標(biāo)同時按形狀和大小堆疊：三種形狀，每種形狀放置三種不同尺寸的物體于視野中，控制手臂按照不同形狀、從大到小的順序分別進行堆疊（即三個堆垛，均為從大到小）；

（8）垃圾分類：在目標(biāo)上貼上不同物體的圖案，如白菜、標(biāo)識為有毒物品的玻璃瓶、紙箱，混合放置于視野中，通過配置，控制機械臂按照廚余垃圾、有害垃圾、可回收垃圾進行分類；

（9）手勢交互：比如伸出1、2、3、4個手指，機械臂分別執(zhí)行向上、向下、向左、向右運動，伸出5個手指，則畫一個圓；

（10）目標(biāo)跟蹤：操作者手持一個小球，機械臂識別該小球（形狀或顏色），并--小球的移動而移動；

（11）OCR光學(xué)字符識別與排序：目標(biāo)上貼上字符，亂序擺放（可要求字符必須朝同一個方向，但順序是亂的），機械臂通過視覺識別，將其按照123456的順序擺放到指定位置

2.計算機視覺與人臉識別、車牌識別等應(yīng)用

（1）人臉識別：事先錄入人臉，對新的人臉進行識別，識別成功彈出人員的信息，識別不到則提示該人員不在系統(tǒng)中；

（2）人臉門禁：識別到人臉后，打開門禁系統(tǒng)，同時綠色指示燈亮起，識別不到，黃色指示燈亮起，提示無該人員信息；

（3）人員入侵預(yù)警：同上。同一人臉連續(xù)識別超過 3 次，且均顯示不在系統(tǒng)中，紅燈亮起，同時蜂鳴器報警；

（4）車牌識別：事先錄入車牌，對新的車牌進行識別，識別成功彈出車主信息，同時綠色指示燈亮起，識別不到則黃色燈亮起，并提示該車輛不在系統(tǒng)中；

（5）車輛入侵預(yù)警：同上。同一車牌連續(xù)識別超過 3 次，且均顯示不在系統(tǒng)中，紅燈亮起，同時蜂鳴器報警；

（6）運動目標(biāo)識別與跟蹤：采用視頻實時識別的方式，對視野中的一個或多個人員進行識別，框出來，標(biāo)記識別到的人員數(shù)量，并--人員的移動進行跟蹤；

3.語音識別與智能家居系統(tǒng)

（1）智能門禁控制：預(yù)先對語音進行標(biāo)記，通過配置語音指令和門禁系統(tǒng)控制算法，實現(xiàn)如發(fā)出“開門”的指令，門禁系統(tǒng)自動打開的動作；

（2）智能燈光控制：預(yù)先對語音進行標(biāo)記，通過配置語音指令和燈光控制算法，實現(xiàn)如發(fā)出“開燈”的指令，燈光自動打開的動作；

（3）智能風(fēng)扇控制：預(yù)先對語音進行標(biāo)記，通過配置語音指令和風(fēng)扇控制算法，實現(xiàn)如發(fā)出“打開風(fēng)扇”的指令，風(fēng)扇自動開啟的動作；

（4）智能溫濕度檢測：預(yù)先對語音進行標(biāo)記，通過配置語音指令和溫濕度傳感器控制算法，實現(xiàn)如發(fā)出“今天的溫度是多少”的指令，傳感器自動開啟并在屏幕上顯示當(dāng)前環(huán)境溫濕度的動作。

西門子plc仿真實訓(xùn)軟件包括基本指令、應(yīng)用指令、順序控制指令

一、基本指令：電動機啟停控制、電動機正反轉(zhuǎn)控制、電動機循環(huán)正反轉(zhuǎn)、可逆運行反接制動、三速電機控制、星角降壓啟動控制、數(shù)碼管點亮控制、交通燈控制、恒壓供水系統(tǒng)控制九項。

1、電動機啟停控制包括：實訓(xùn)要求、實訓(xùn)器件、器件布局、I/O分配、T型圖、電路連接、通電運行等七項

（1）實訓(xùn)要求：文字、圖片的形式展示。將主要掌握的知識點予以概括，了解本模塊主要的學(xué)習(xí)內(nèi)容包括兩地控制電路的編程方法，學(xué)會實際控制設(shè)計PLC的外圍電路，學(xué)會分局實際控制要求設(shè)計簡單的梯形圖等。

（2）實訓(xùn)器件：列出電動機啟停控制單元所用到的全部器件，包括三相異步電動機、PLC、交流接觸器、三相斷路器、熔斷器、熱繼電器、啟動按鈕、停止按鈕。

（3）器件布局：將器件庫中的仿真器件放到仿真配電柜中的相應(yīng)位置，用于訓(xùn)練學(xué)生對器件及電路的了解。電路上要有相應(yīng)的符號，器件拖拽錯誤器件會拖拽不上去并會有相應(yīng)的聲音顯示。

（4）I/O分配：軟件中有I/O分配地址和電路圖，將鼠標(biāo)點到分配地址資源后會有相應(yīng)的事物圖片展示，用來讓學(xué)生更好的了解器件模型與電路圖。

（5）T型圖：給出缺失符號的T型圖和相應(yīng)的符號，學(xué)生根據(jù)所學(xué)知識用鼠標(biāo)將符號拖拽到T型圖上，如果正確則符號保留在T型圖上，錯誤則消失。

（6）電路連接： 

原理圖中閃爍的線條即為當(dāng)前應(yīng)連接的電路，用鼠標(biāo)點擊連接此線的兩觸點中的一個觸點，然后拖動鼠標(biāo)，找到另一個觸點并點擊，若正確將出現(xiàn)連接線，不正確此線消失，只有當(dāng)該連線連接正確后，才能進行下一條線的接線操作。如果接線中出現(xiàn)困難可點擊“答案”按鈕，點擊后將出現(xiàn)已完成的接線圖，可參考該圖完成你所進行的操作，再次點擊“答案”按鈕，答案將消失。

可以自由接線，參照電路圖可以進行自由接線，如果不會可以點擊提示，鼠標(biāo)點擊任何一個接線熱點另外的一端熱點會閃爍顯示。

（7）通電運行：以仿真實訓(xùn)方式實現(xiàn)。通電后，可按照操作步驟按下相應(yīng)開關(guān)，即可直觀地觀察到電路的運行情況，同時配合模擬真實場景的聲效，達到仿真的效果。

部分實訓(xùn)項目資源

實驗1 CC2530 GPIO實驗

實驗2 CC2530 UART串口實驗

實驗3 CC2530定時器實驗

實驗4 CC2530 AD轉(zhuǎn)換實驗

實驗5 CC2530外部中斷實驗

實驗6 CC2530睡眠定時器喚醒實驗

實驗7 TI Z-Stack協(xié)議棧代碼介紹

實驗8 Z-Stack簡單無線收發(fā)實驗

實驗9 Z-Stack點對點通信實驗

實驗10 Z-Stack樹狀網(wǎng)實驗

實驗11 Z-Stack廣播通信實驗

實驗12 Z-Stack MESH網(wǎng)實驗

實驗13 Z-Stack星狀網(wǎng)實驗

實驗14 STM32 GPIO實驗

實驗15 STM32 定時器實驗

實驗17 STM32 RS485通信實驗

實驗17 STM32外部中斷實驗

實驗18 STM32 FLASH存取實驗

實驗19 STM32 UART串口實驗

實驗20 STM32 SDIO實驗

實驗21 STM32 AD轉(zhuǎn)換實驗

實驗22 STM32 液晶屏驅(qū)動實驗

實驗23 STM32 CAN通信實驗

實驗24 ISO14443標(biāo)簽尋卡操作實驗

實驗25 ISO14443標(biāo)簽密碼下載實驗

實驗26 ISO14443標(biāo)簽密碼修改實驗

實驗27 ISO14443標(biāo)簽數(shù)據(jù)讀寫實驗

實驗28 ISO14443 TYPEB讀取身份證卡號實驗

實驗29 漫反射光電開關(guān)傳感器實驗

實驗30 風(fēng)扇控制實驗

實驗31 人體感應(yīng)傳感器實驗

實驗32 12V可調(diào)燈控制實驗

實驗33 報警燈實驗

實驗34 煙霧傳感器實驗

實驗35 火警傳感器實驗

實驗36 4-20mA接口實驗

實驗37 485門禁讀卡器實驗

實驗38 0-10V接口實驗

實驗39 電控鎖實驗

實驗40 繼電器控制實驗

實驗41 指紋識別模塊實驗

實驗42 智能電表實驗

實驗43 光照傳感器實驗

實驗44 智能調(diào)光實驗

實驗45 震動傳感器實驗

實驗46 智能插座實驗

實驗47 溫濕度傳感器實驗

實驗48 雨滴傳感器實驗

實驗49 Android系統(tǒng)編譯環(huán)境搭建實驗

實驗50 搭建Android系統(tǒng)應(yīng)用程序開發(fā)環(huán)境實驗

實驗51 Android系統(tǒng)開發(fā)環(huán)境的搭建實驗

實驗52 編譯ANDROID的啟動引導(dǎo)程序UBOOT實驗

實驗53 ANDROID內(nèi)核程序linux實驗

實驗54 編譯ANDROID實驗

實驗55 SD卡燒寫B(tài)ootloader實驗

實驗56 菜單(MENU)實驗

實驗57 SD卡燒寫Android系統(tǒng)實驗

實驗58 ACTIVITY&INTENT實驗

實驗59 ANDROID HelloWorld應(yīng)用程序?qū)嶒?/span>

實驗60 ADB工具的使用實驗

實驗61 WIDGET基礎(chǔ)控件實驗

實驗62 LCD設(shè)備驅(qū)動實驗

實驗63 對話框(DIALOG)實驗

實驗64 觸摸屏設(shè)備驅(qū)動實驗

實驗65 USB HOST設(shè)備驅(qū)動實驗

實驗66 按鍵設(shè)備驅(qū)動實驗

實驗67 USB OTG設(shè)備驅(qū)動實驗

實驗68 實時時鐘設(shè)備驅(qū)動實驗

實驗69 SDIO WIFI 設(shè)備驅(qū)動實驗

實驗70 音頻設(shè)備驅(qū)動實驗

實驗71 以太網(wǎng)設(shè)備驅(qū)動實驗

實驗72 SD/MMC卡設(shè)備驅(qū)動實驗

實驗73 攝像頭設(shè)備驅(qū)動實驗

實驗74 按鍵設(shè)備驅(qū)動實驗

實驗75 LCD設(shè)備驅(qū)動實驗

實驗76 物聯(lián)網(wǎng)應(yīng)用之傳感器告警設(shè)計實驗

實驗77 物聯(lián)網(wǎng)應(yīng)用之可調(diào)燈光設(shè)計實驗

實驗78 物聯(lián)網(wǎng)智能農(nóng)業(yè)應(yīng)用開發(fā)

實驗79 物聯(lián)網(wǎng)智能家居安防綜合系統(tǒng)實驗

實驗80 物聯(lián)網(wǎng)智能家居環(huán)境監(jiān)控綜合系統(tǒng)實驗

實驗81 物聯(lián)網(wǎng)智能交通應(yīng)用開發(fā)

實驗82 物聯(lián)網(wǎng)RFID貨柜應(yīng)用開發(fā)