中人教儀廠
平臺簡介
嵌入式邊緣物聯網實驗平臺主要由邊緣計算智能網關、*攝像頭、*麥克風陣列、zigbee節點、藍牙節點和Nbiot節點、lorawan節點等多種無線傳感器節點構成。通過多種傳感器的自由選擇搭配，可以完成智慧城市、智能家居，智慧校園，智能安防、物聯網傳感技術、物聯網通信技術、為搭建4G/5G綜合應用場景提供支持。
實驗平臺整體框架如下圖：
1.1. 邊緣計算智能網關
嵌入式邊緣物聯網實驗平臺是一款集成物聯網、人工智能、嵌入式、移動互聯技術于一體的高端教學科研實驗平臺。整個教學平臺包括物聯網、嵌入式Linux和人工智能（*），三個部分互相支撐、互為補充。人工智能部分的硬件基于嵌入式ARM控制器、高清相機模塊、7麥麥克風陣列，具備語音、圖像數據的采集和處理能力及適用于多種場景的控制接口；嵌入式Linux部分的硬件采用CPU+GPU雙處理器架構，配備高清大屏以及豐富的外設接口；物聯網部分的硬件支持RFID、Zigbee、Ble、Lora、NBIoT等無線傳輸技術以及20余種傳感器模塊。
嵌入式邊緣物聯網實驗平臺采用多核高性能 * 處理器，預裝 Ubuntu Linux 操作系統與 OpenCV 計算機視覺庫，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度學習端側推理框架。
嵌入式邊緣物聯網實驗平臺支持圖像處理、語音處理、無線通信、傳感器原理、RFID等技術的主流算法及應用。提供完整的配套教學教材，實訓案例的源碼、開發手冊等，滿足*和IOT教學實訓、應用開發等需求。
嵌入式邊緣物聯網實驗平臺采用CPU+GPU雙處理器架構，不少于10種模塊接口，配備高清大屏、高清相機模塊、麥克風陣列和OZR接口，硬件系統采用DC12V電源適配器安全供電，實現嵌入式linux實驗和課程設計實驗，無線傳感器網絡實驗、人工智能實驗及*OT綜合實驗等。 1.1系統特點
嵌入式邊緣物聯網實驗平臺基于新工科的教育理念，讓教學更輕松，項目開發更容易，售后服務更便捷，更多的考慮實驗的先進性、擴展性、包容性。
1.先進性
超強性能
- *嵌入式邊緣計算處理器RK3399，4G+16G內存配置，11.6寸高清電容屏。
- 選配NPU協處理器模塊，直接運行神經網絡模型，運算能力高達2.8 TOPs@300mW。
- 提供更豐富的擴展接口：雙路USB3.0，四路USB2.0，RS232，RS485，嵌入式拓展接口等各種外設接口。
2.擴展性
按需定制
- 所有硬件單元采用模塊化設計，可根據需求進行彈性定制選型和搭配。
- 提供可選的豐富的項目套件模塊，可以完成各種*應用場景的設計和創新。
- 智能邊緣計算網關平臺提供嵌入式擴展接口，包含常用接口的拓展，包括GPIO、ADC、IIC、UART、PWM、SPI等。
3.包容性
一機多用
- 根據教學用途，實驗平臺可作為人工智能、嵌入式、物聯網、移動互聯網、智能硬件等學科實驗教學，提供不同的教學資源。
- 實驗平臺可完成豐富的課程及實驗，包括：Python程序設計、嵌入式Linux操作系統、機器視覺技術、自然語言處理、神經網絡原理、無線通信、android應用技術、物聯網中間件、*OT應用實訓等
- 完美融合物聯網，邊緣智聯網（e*OT）綜合實驗平臺的對硬件進行了兼容性設計，在硬件上可以同時滿足物聯網、人工智能和嵌入式三個專業的實訓需求。這樣大大提高了實訓設備在學習不同專業的復用率，能夠大大減少學校實訓室場地不足的帶來的問題，同時也能夠為解決學校建設多個實訓室資金不足的問題。
邊緣智聯網（e*OT）綜合實驗平臺可以為學校解決人工智能開課的師資問題、教學資源問題、實訓資源問題、實訓設備問題以及和行業應用對接的問題，真正做到了產、教、學、研、創五位一體。
1.1.1. 嵌入式網關核心板
RK3399核心板是一款266-pin金手指形式高性能ARM計算機模塊，它采用了瑞芯微64位六核（包含雙核Cortex-A72 +四核Cortex-A53）Soc RK3399作為主處理器，標配4GB DDR3內存和16GB閃存，板載2×2 MIMO雙天線Wi Fi模組，尺寸只有69.6×50mm，模塊上帶有獨立的Typec供電接口，以及USB-C顯示接口。RK3399計算模塊具有豐富的外設和擴展接口，可以擴展使用雙MIPI寬動態攝像頭，另外它還帶有eDP顯示接口，MIPI顯示接口，1路USB3.0,2路USB2.0，以及12C,12S,SPI,PWM,GF10和串口等各種資源。RK3399可流暢運行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系統，軟件資源和生態非常豐富，尤其是Android 8.1具有NN SDK神經網絡加速軟件包，Qt-5.10集成了VPU硬件編解碼，GPU圖形加速，可使用QML快速開發流暢的動態式界面，因此RK3399核心板非常適合做高端人臉識別，機器視覺，VR虛擬現實，自動駕駛，深度計算分析等方面的人工智能產品快速原型及產品開發。
硬件參數：
1.1.2. 網關底板其他外設
l 11.6寸高清觸顯一體屏：板載，eDP接口,電容式多點觸摸，分辨率1920*1080
l 按鍵：板載重啟、恢復、電源3個功能按鍵，4個用戶自定義按鍵
l UART：1路RS232，1路RS485
l 以太網：100/1000M
l 音頻：音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚聲器
l 無線網：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l 4G模組：板載，板載EC20模組
l LoRaWAN網關模塊接口：板載mini-pcie接口，可接入SX1301八通道并行LoRaWAN網關模塊。1個項目須至少配備1個LoRaWAN網關模塊，以實現對實驗室所有lora節點的接入管理。
l Zigbee網關模塊：板載，直列雙排20芯插針接口，非usb接口。
l BLE網關模塊：板載，直列雙排20芯插針接口，非usb接口。
l USB 3.0 HOST接口：板載2個
l Debug接口：板載1個
l Download接口：板載1個
l 鍵盤：板載7寸80鍵標準鍵盤
l 高清相機模組：CMOS傳感器OV13850，MIPI信號輸出，400萬像素，最高支持2688x1520像素。
l 麥克風陣列：板載7顆數字高性能硅麥克風。
l 震動馬達傳感器：1個
l LED：板載4顆藍色LED燈珠。
l 天線接口：板載wifi、BLE、lora、LET 共4個天線接口。
l 傳感器擴展接口：板載，與無線傳感器節點的傳感器模塊接口兼容，可完成linux系統下的傳感器驅動開發實驗。
l OBD接口：板載，標準16針OBD-II插座，與配套軟件結合可完成基于CAN總線通信相關實驗。
l 電源：DC 9-12V輸入
l 其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz
1.2. 無線傳感器節點及外設模塊
1.2.1. 4G LTE模塊
l 網絡：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；
l 制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；
l 工作頻帶：HSPA1900/2100，GSM 900/1800；
l 高速USB 2.0接口、PCI-E接口；
l 支持短信、數據、電話本、PCM語音功能；
l 支持IPv4,IPv6協議；
l 支持LTE多頻；
l 支持最大150M/50Mbps的理論上下行數據傳輸速率；
1.2.2. zigbee節點
ZigBee節點其一系列完整的ZigBee產品參考設計，旨在幫助開發人員縮短產品上市時間，并簡化開發基于ZigBee的家庭自動化、互聯照明和智能網關產品。
產品特點
圖形化無線應用開發。
ZigBee3.0/EmberZNet PRO/物聯網網狀例程。
豐富應用開發示例。
最大輸出功率16.5dBm、最大靈敏度-99dBm。
32位40MHz CortexM4、256KB內存、32KB RAM。
采用TI新一代ZIGBEE芯片CC2530。
支持基于IEEE802.15.4的ZIGBEE2007/PRO協議。
采用LP標準的20芯雙排直插模式接入底板。
支持TIZ-STACK協議棧。
雙排通孔封裝（兼容xbee模組）。
1.2.3. 藍牙節點
藍牙MESH節點專門針對藍牙網狀Mesh和BLE5.1研發的， 支持最新藍牙網狀網絡和藍牙5規范的全套軟件和硬件。
產品特點
l 圖形化無線應用開發。
l 采用TI超低功耗藍牙解決方案CC2540芯片。
l 采用WXL標準的20芯雙排直插模式接入網關主板。
l 符合藍牙規范 4.0 版標準支持TI最新Z-STACK協議棧。
l 雙排通孔封裝（兼容xbee模組）。
1.2.4. Lorawan節點
Lorawan 節點模塊：SX1278 節點，配合行 LoRaWAN 網關模塊使用。
產品特點
l 雙排通孔封裝（兼容 xbee 模組）
l 休眠模式下電流低至 1.8uA
l 工作頻段：470~510MHz
l 發射功率 18dBm±1dBm,發射電流 100mA,
l 接收靈敏度-139dBm（SF12 、帶寬 125KHz）
l 通信接口：SPI/USART/IIC
l 擴展接口：ADC；SPI；IIC；GPIO
l 支持 LoRaWAN V1.0.2 Class A/C 協議
l 提供 SDK 開發方式
l 系統資源 FLASH/128K，RAM/16K，EEPROM/4K
l 用戶可用資源：FLASH/64K，RAM/8K，EEPROM/4K
1.2.5. Nbiot節點
Nbiot節點模塊采用的是lierda NB86-G，模塊主控芯片是STM32F103， 基于 HISILICON Hi2115 的 Boudica 芯片，符合 3GPP 標準。
產品特點
l 工作電壓：4.3V
l 最低功耗：≤10uA
l 發射功率：23dBm±2dB（Max），最大鏈路預算較 GPRS 或 LTE 下提升 20dB,最大耦合損耗MCL為-164dBm
l 采用LP標準的20芯雙排直插模式接入底板
l 提供SDK開發方式
l 系統資源FLASH/64K，RAM/20K
l 用戶可用資源：FLASH/30K，RAM/10K
1.2.6. *麥克風陣列
1）7路麥克風陣列，提供聲源定位、語音增強、語音降噪、回聲消除、聲音拾取等功能。2）帶硬件浮點運算的RISC-V 雙核64位處理器，主頻最高800MHz。
3）具備機器聽覺能力和語音識別能力，內置語音處理單元（APU）。
4）具備卷積人工神經網絡硬件加速器KPU,可高性能進行卷積人工神經網絡運算。
5）麥克風陣列模塊集成TFT彩屏屏，能夠直觀顯示音頻頻譜圖。
6)內置ARM STM32 USB音頻驅動芯片，提供USB聲卡驅動，開放源代碼。
7)接口：雙列直插封裝/USB，需能夠接入到e*OT平臺使用。
8)支持語音識別、語義理解、語音合成、人機對話等功能，可與硬件進行語音交互。
5米監測范圍、基于linux系統
1.2.7. *攝像頭
l 1/1.8" SONY Exmor CMOSl 有效像素200萬像素，30幀@1920*1080
l C/CS鏡頭接口，最低照度0.001 Lux，120dB TWDR
l 支持協議：PROFILE S，GB/T28181，FTP/RTSP.UPNP等
l 支持雙碼流、手機監控、心跳機制，具3D降噪、去霧、數字寬動態、鏡頭校正、走廊監控等智能模式
l 提供基于e*OT教學平臺的人臉識別系統案例。
1.2.8. 高讀卡器
高頻讀卡器采用的RC632是NXP公司生產的一款集成了ISO/IEC14443A、ISO/IEC14443B和ISO/IEC15693三種協議標準的調制解調芯片及嵌入式微控制器設計可完成對ISO14443A協議標準的非接觸式IC卡如Mifare_Std S50，ISO15693協議標準的非接觸式IC卡如I.CODE2等卡片的讀寫操作。
1.2.9. 低頻讀卡器
低頻讀卡器采用先進的射頻線路及嵌入式微控制器設計，結合高效解碼算法，可完成對64bitsRead-Only Em4100兼容式125KHz非接觸式ID卡的讀取具有接收靈敏度高，工作電流小，單電源供電的特點。
1.2.10. 超高頻讀卡器
超高頻讀卡器采用高度集成的UHF RFID讀寫芯片（超高頻讀寫芯片）及嵌入式微控制器設計，可完成對ISO18000-6C & EPC global Gen2 協議卡片的讀寫操作。板載有源模塊擴展模塊可以和網關有源擴展模塊配對完成有源通信功能。
1.2.11. 傳感器組件
選配：溫度/光敏/蜂鳴器一體傳感器模塊、高精度溫濕度傳感器模塊、兩路繼電器模塊、可調LED燈光模塊、振動傳感器/蜂鳴器一體模塊、超聲波測距傳感器模塊、4位LED數碼管顯示模塊；1.3. St-link仿真器
ST-LINK/V2是ST意法半導體為評估、開發STM8系列和STM32系列MCU而設計的集在線仿真與下載為一體的開發工具。STM8系列通過SWIM接口與ST-LINK/V2連接。
STM32系列通過JTAG / SWD接口與ST-LINK/V2連接。
ST-LINK/V2通過高速USB2.0與PC端連接。
支持的軟件
ST-LINK Utility v2.0（及以上版本）
STVD Version 4.2.1（及以上版本）
STVP Version 3.2.3（及以上版本）
IAR EWARM Revision v6.20（及以上版本）
IAR EWSTM8 Revision v1.30（及以上版本）
KEIL RVMDK Revision v4.21（及以上版本）
1.4. 物聯網應用基礎云平臺
1、功能簡介1）學生能夠將物聯網感知層設備（傳感器、執行器等）接入物聯網云服務平臺，平臺能夠接收并存儲傳感器和執行器的實時數據，模塊在線狀態，并實時顯示。
2）提供后臺管理系統，能夠設置賬號類型和使用權限。支持多用戶管理及權限控制，分為父用戶和子用戶，父用戶可以創建多個子用戶，并且可以為每個子用戶分配增、刪、改幾種權限，子用戶創建的資源相互隔離。
3）提供物聯網規則編輯器，無需編寫代碼即可編輯復雜的自動化控制策略，實現移動互聯網系統的自動化控制。
4）提供豐富的可視化控件庫，通過拖拽、簡便配置即可完成美觀的UI設計。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。
5）物聯網感知層設備也能夠向執行器發送控制命令，系統能夠實現模塊的在線監測。
6）云平臺支持物聯網硬件多協議接入，通過ZigBee/BLE/wifi/lora/NBIOT無線技術取得傳感器采集的數據，形成一個完整的無線傳感器網絡。
7）數據通過http/MQTT協議傳輸至物聯網應用基礎云平臺軟件，進行數據圖形化展示。
8）實現基于云平臺的智能家居實驗，并包含配套完整的教學資源。
9）支持本地化部署和云端部署兩種方式。
1.5. Lorawan云平臺軟件
（1）私有 NS 及 websocket 接口（2）lorawan第三方公有 NS
TTN（國外 NS）
（3）*Lorawan *SZ（國內 NS）
（4）lorawan公有云 AS
NBiot中國電信管理平臺
在 NB 海量設備高并發場景，電信平臺與電信 NB 網絡進行有機協同，能夠有效緩解擁塞，保障業
務成功，充分發揮 NB 網絡的特性和價值。
2. 部分實驗案例
2.1.1. 手寫字識別
學習設計一個神經網絡模型，然后用已經標注過的MNIST數據來訓練這個模型，然后進行測試驗證。
圖：手寫字識別案例
2.1.2. 人臉識別
通過OpenCV自帶的分類器、OpenCV的深度學習分類器是基于SSD(Single Shot Detector)框架的ResNet網絡，實現在圖片、視頻中對人臉的檢測，并用矩形框框出來。學校可用于身份識別、課堂/上下班考勤、會議簽到、刷臉支付、門禁通行、安防監控相關場景。
圖： 人臉識別案例
2.1.3. 目標檢測
利用深度學習框架caffe，實現對常見物體的檢測。
圖：目標檢測案例
2.1.4. 人體姿態識別
使用邊緣側推理框架Tengine檢測圖像中的所有人體并返回每個人體的矩形框位置，精準定位 21 個核心關鍵點，包含五官、四肢、脖頸等部位，更多關鍵點持續擴展中；支持多人檢測、人體位置重疊、遮擋、背面、側面、中低空俯拍、大動作等復雜場景。
圖：人體姿態識別案例
2.1.5. 手勢識別
利用深度學習框架caffe，實現對簡單手勢的識別。
圖：手勢檢測和識別系統案例
2.1.6. 車牌識別
使用opencv 的 HAAR Cascade 檢測車牌大致位置，使用卷積神經網絡回歸車牌左右，然后使用卷積神經網絡滑動窗切割字符、及識別字符。
圖：交通門禁車牌檢測和識別系統案例
2.1.7. 人臉門禁
采用 mtcnn 進行人臉檢測，采用MobileFaceNet 進行人臉識別，然后用活體檢測算法進行檢測。
圖：人臉門禁檢測和識別系統案例
2.1.8. 聲紋鎖實驗
通過語音增強、語音質量檢測、語音增強、有效語音提取、聲紋特征提取等步驟，完成聲紋注冊及聲紋驗證。
圖：聲紋電子鎖系統案例
2.1.9. *語音控制智能家居
基于百度語音識別 API 完成語音識別，并用無線方式控制電燈，電風扇，以及獲取溫度和濕度。
圖：語音控制智能家居系統案例
2.1.10. 知識圖譜和聊天機器人
知識圖譜融合了兩千五百多萬的實體，擁有億級別的實體屬性關系，機器人采用了基于知識圖譜的語義感知與理解，致力于最強認知大腦。自然語言處理工具包的功能有：中文分詞、詞性標注、命名實體識別、關鍵詞提取、文本摘要、新詞發現、情感分析等。
圖：知識圖譜和文本聊天機器人系統案例
