《基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)》由會(huì)員分享，可在線閱讀，更多相關(guān)《基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)（48頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、本科畢業(yè)論文（設(shè)計(jì)）專用本科畢業(yè)論文（設(shè)計(jì)）論 文 題 目：基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)摘要隨著人工智能領(lǐng)域技術(shù)的不斷發(fā)展，人工智能與制造業(yè)的融合應(yīng)用已具備一定的基礎(chǔ)。 現(xiàn)代工廠中人員基數(shù)較大，人員行為狀況復(fù)雜，發(fā)生突發(fā)意外事件的情況可能性較大，為 了方便企業(yè)對(duì)員工異常行為的判斷，提高工廠安防能力，本設(shè)計(jì)擬設(shè)計(jì)一款現(xiàn)代工廠作業(yè) 人員行為異常檢測(cè)系統(tǒng)。本設(shè)計(jì)利用深度學(xué)習(xí)技術(shù)，對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練與驗(yàn)證，依靠 open pose 框架對(duì)權(quán)重進(jìn)行 設(shè)置，以達(dá)到視覺檢測(cè)的效果，使用 Open Pose 在做動(dòng)作識(shí)別的時(shí)候可以有效的提高動(dòng)作 識(shí)別度，增加視覺識(shí)別的準(zhǔn)確性和數(shù)據(jù)交互能力。同時(shí)，利用

2、 Open Pose 算法對(duì)目標(biāo)進(jìn)行 檢測(cè)與數(shù)據(jù)分析，并對(duì)所檢測(cè)的圖像中的人體骨架的關(guān)鍵信息點(diǎn)進(jìn)行目標(biāo)檢測(cè)和數(shù)據(jù)分析， 將算法檢測(cè)出的圖像中人體骨架進(jìn)行信息關(guān)鍵點(diǎn)標(biāo)注，將骨架關(guān)鍵點(diǎn)連接形成一個(gè)類似火 柴人的骨架，然后計(jì)算每一個(gè)關(guān)鍵點(diǎn)的夾角，以此來(lái)判斷人體動(dòng)作的姿態(tài)顯示。本設(shè)計(jì)系統(tǒng)通過(guò) Visual Studio Code 軟件搭載 python3.75 進(jìn)行程序設(shè)計(jì)實(shí)現(xiàn)對(duì)人體姿態(tài) 識(shí)別，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證，通過(guò)實(shí)驗(yàn)表明：本系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，設(shè)備需求量減小、數(shù)據(jù)集中， 系統(tǒng)穩(wěn)定性好，與傳統(tǒng)人體姿態(tài)識(shí)別方法相比，數(shù)據(jù)交互性強(qiáng)，使用成本較低，數(shù)據(jù)量較 小。關(guān)鍵詞：Open pose；姿態(tài)識(shí)別；人體姿態(tài)；目

3、標(biāo)檢測(cè)AbstractWith the continuous development of artificial intelligence technology, the fusion application of artificial intelligence and manufacturing industry has a certain basis. In modern factories, the personnel base is large, the personnel behavior is complex, and the possibility of accidents is

4、 large. In order to facilitate the enterprise to judge the abnormal behavior of employees and improve the factory security ability, this design intends to design a modern factory personnel behavior abnormal detection system.This design uses deep learning technology to train and verify data, and reli

5、es on open pose framework to set weights, so as to achieve the effect of visual detection. Open Pose can effectively improve the degree of motion recognition, increase the accuracy of visual recognition and the ability of data interaction when doing motion recognition. At the same time, the Open Pos

6、e algorithm was used for target detection and data analysis, and the key information points of human skeleton in the detected images were detected and data analysis. The key information points of human skeleton in the images detected by the algorithm were marked, and the skeleton key points were con

7、nected to form a skeleton similar to that of a match man, and then the included Angle of each key point was calculated. To judge the posture display of human movement.In this design system, the Visual Studio Code software is equipped with python3.75 for program design to realize the recognition of h

8、uman posture, and the experimental verification is carried out. The experiment shows that: The system has the advantages of simple structure, reduced equipment demand, stable data, good system stability and strong data robustness. Compared with traditional human body posture recognition methods, the

9、 data interaction is strong, the use cost is low, and the data volume is small.Key words: Open pose；Gesture recognition；The body posture；Target detection目錄1 引論11.1 研究目的及意義11.2 國(guó)內(nèi)外研究現(xiàn)狀31.3 設(shè)計(jì)的主要內(nèi)容42 行為異常檢測(cè)系統(tǒng)總體方案52.1 系統(tǒng)需求與分析52.2 系統(tǒng)總體方案設(shè)計(jì)53 系統(tǒng)硬件設(shè)計(jì)63.1 硬件方案設(shè)計(jì)63.2 深度相機(jī)選型73.3 視覺板卡選型83.4 聲光報(bào)警裝置選型103.5 光源裝置

10、選型114 行為異常檢測(cè)系統(tǒng)通訊設(shè)計(jì)134.1 通信協(xié)議的選擇134.2 深度相機(jī)與 JETSON NANO 板卡 TCP/IP 通訊134.3 深度相機(jī)與 JETSON NANO 板卡 CSI 通訊145 行為異常檢測(cè)系統(tǒng)軟件設(shè)計(jì)165.1 軟件方案設(shè)計(jì)165.2 數(shù)據(jù)采集185.3 數(shù)據(jù)集收集與圖片標(biāo)注185.4 圖片預(yù)處理195.5 手部特征算法及程序設(shè)計(jì)225.6 身體特征算法及程序設(shè)計(jì)235.7 人體姿態(tài)識(shí)別算法及程序設(shè)計(jì)256 行為異常檢測(cè)276.1 識(shí)別權(quán)重準(zhǔn)備276.2 檢測(cè)系統(tǒng)識(shí)別準(zhǔn)備276.3 行為異常檢測(cè)系統(tǒng)297 結(jié)語(yǔ)33參考文獻(xiàn)34致謝35附錄36附錄一36附錄二42

11、1 引論1.1 研究目的及意義1.1.1 研究目的隨著經(jīng)濟(jì)發(fā)展，社會(huì)體系的逐步完善，社會(huì)治安的能力得到大幅度提升，在 2020 年11 月國(guó)家信息中心提出全觀智慧城市白皮書，首次提出全光智慧城市的發(fā)展理念。 隨著這一政策推出，各地方開始紛紛跟進(jìn)“智慧城市”建設(shè)項(xiàng)目，由各大城市開始向鄉(xiāng)鎮(zhèn) 擴(kuò)散。智慧城市是運(yùn)用物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、空間地理信息集成等新一代信息技術(shù)， 促進(jìn)城市規(guī)劃、建設(shè)、管理和服務(wù)智慧化的新理念和新模式。至 2010 起年我國(guó)安防行業(yè)總收入已達(dá) 2350 億元，并逐年快速增長(zhǎng)態(tài)勢(shì)。2013 年我國(guó)安防行業(yè)總收入達(dá)到 3800 億元。到了 2016 年我國(guó)安防行業(yè)總收入達(dá)到了 54

12、00 億元，截止至 2017 年底，我國(guó)安防企業(yè)數(shù)量大約有 2.1 萬(wàn)家，行業(yè)總收入增長(zhǎng)至突破 6000 億元， 年均增長(zhǎng) 14.4%，全行業(yè)實(shí)現(xiàn)增加值 1960 億元，年均增長(zhǎng) 12.7%。2018 年我國(guó)安防行業(yè) 總收入將達(dá)到 6678 億元左右。2020 年我國(guó)安防行業(yè)總收入將突破 8000 億元，達(dá)到了 8212億元左右，如圖 1.1 所示。圖 1.1 視覺市場(chǎng)分析智能安防市場(chǎng)空間廣闊，視頻監(jiān)控高增速。AI 技術(shù)賦予安防感知和認(rèn)知能力，從人 臉識(shí)別、視頻行為分析到后端有效數(shù)據(jù)的提取及挖掘，協(xié)助解決安防場(chǎng)景中諸多復(fù)雜、動(dòng) 態(tài)問題，推動(dòng)安防行業(yè)智能化發(fā)展。據(jù)預(yù)測(cè)，全球智能視頻監(jiān)控市場(chǎng) 20

13、20-2025 年復(fù)合增1速為 7.1%，2025 年市場(chǎng)規(guī)模將達(dá)到 318 億美元，如圖 1.2 所示。圖 1.2 視覺市場(chǎng)規(guī)模示意圖由于深度學(xué)習(xí)算法在在語(yǔ)音和圖像識(shí)別領(lǐng)域的重大突破，通過(guò)攝像頭識(shí)別人臉開始成 為現(xiàn)實(shí)。伴隨安防監(jiān)控系統(tǒng)的越發(fā)龐大，監(jiān)控?cái)?shù)據(jù)也隨之而來(lái)，針對(duì)視頻監(jiān)控的中出現(xiàn)的 行為異常時(shí)間的檢測(cè)與事故發(fā)生的誘導(dǎo)因素，這需要安防人員時(shí)時(shí)刻刻的觀察各個(gè)監(jiān)控?cái)?shù) 據(jù)，但是人的精力是有限的，無(wú)法時(shí)時(shí)刻刻保持高度集中的注意力進(jìn)行觀察各監(jiān)控?cái)?shù)據(jù)， 因此會(huì)產(chǎn)生各種因素導(dǎo)致漏檢與誤檢等情況，從而導(dǎo)致安防能力下降。如今，工廠人員密 集，人員活動(dòng)范圍變大，在此過(guò)程中突發(fā)的異常行為事件就變得各式各樣，有

14、的行為異常 很難去辨認(rèn)，甚至難以察覺，如此以來(lái)，大大的增加了視頻監(jiān)控技術(shù)的技術(shù)難度。針對(duì)這 種情況本設(shè)計(jì)提出一種基于深度學(xué)習(xí)技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)，用 以輔助監(jiān)控人員的工作，以此減少監(jiān)控工作人員壓力提高安防能力。5G 帶來(lái)了網(wǎng)絡(luò)環(huán)境的全新變革，多項(xiàng)智慧城市的標(biāo)準(zhǔn)體系的落地、加上 AI 技術(shù)條 件的逐漸成熟，智慧城市建設(shè)有望將進(jìn)入快車道。人工智能改變了機(jī)器視覺在物理世界朝 數(shù)字世界轉(zhuǎn)換的方式，這兩大技術(shù)在安防領(lǐng)域的融合應(yīng)用，目前正在構(gòu)成“5G+AI+安防” 的全新的組合，助推視頻監(jiān)控行業(yè)邁向超高清、AI 智能的新階段。1.1.2 研究意義異常事件檢測(cè)技術(shù)（或者稱為行為異常檢測(cè)

15、技術(shù)）的研究能不斷推進(jìn)智能化技術(shù)的發(fā) 展，這對(duì)促進(jìn)社會(huì)和諧意義重大。在社會(huì)治安方面;可以對(duì)視頻監(jiān)控地點(diǎn)進(jìn)行實(shí)時(shí)監(jiān)控， 當(dāng)檢測(cè)點(diǎn)發(fā)生打架，搶劫，斗毆等做出有違社會(huì)治安穩(wěn)定的異常行為時(shí)通過(guò)視覺檢測(cè)進(jìn)行 判斷其異常行為模式并及時(shí)向相關(guān)部門進(jìn)行數(shù)據(jù)交互提醒，以此可以大幅度提升該地區(qū)安 防效率，有效避免惡性事件的發(fā)生；在交通監(jiān)管方面，行人橫穿馬路，發(fā)生車禍，都可以 通過(guò)行為異常檢測(cè)技術(shù)進(jìn)行監(jiān)控識(shí)別；在工廠生產(chǎn)方面，能檢測(cè)出檢測(cè)區(qū)的作業(yè)人員發(fā)生9跌倒，違規(guī)攀爬，碰撞和突發(fā)性的異常行為動(dòng)作進(jìn)行報(bào)警提示，使監(jiān)控人員第一時(shí)間注意 到，并給予解決，在關(guān)鍵時(shí)刻甚至可以挽救工作人員的生命；行為異常檢測(cè)技術(shù)也可以運(yùn) 用

16、于商場(chǎng)，小區(qū)，銀行，景點(diǎn)園區(qū)，博物館等場(chǎng)景，通過(guò)及時(shí)有效的檢測(cè)監(jiān)控中的異常行 為，降低突發(fā)事件造成的危害。將視頻識(shí)別與動(dòng)作檢測(cè)，這種高效的行為異常檢測(cè)技術(shù)運(yùn) 用在安防技術(shù)上，能減少人力物力 ，對(duì)群眾與社會(huì)治安提供一定量的保障。所以，對(duì)針 對(duì)這種行為異常檢測(cè)算法的研究顯得極為急迫和重要。1.2 國(guó)內(nèi)外研究現(xiàn)狀1.2.1 國(guó)外研究現(xiàn)狀 人工智能技術(shù)通過(guò)搭載著大數(shù)據(jù)時(shí)代的帆船得到了飛速的發(fā)展，監(jiān)控安防系統(tǒng)也越來(lái)越智能化普及化，如圖 1.3 所示。研究人員基于這個(gè)實(shí)驗(yàn)，發(fā)現(xiàn)動(dòng)作和骨骼關(guān)鍵點(diǎn)的關(guān)系， 于是開始針對(duì)骨骼關(guān)鍵點(diǎn)進(jìn)行研究。2019 年曾經(jīng)開源 Open Pose 的卡內(nèi)基梅隆大學(xué)（CMU） 公

17、布了 ICCV 2019 論文 Single-Network Whole-Body Pose Estimation，提出一種在單一網(wǎng) 絡(luò)實(shí)現(xiàn)全人體姿態(tài)估計(jì)的算法，相對(duì) Open Pose 大幅提高了速度。在 Open Pose 只能達(dá)到 幀率 1.6 fps 的圖像上，該文提出的算法運(yùn)行幀率可達(dá)到 13.2 fps，且精度還有改進(jìn)。相對(duì) 與原來(lái)的人體姿態(tài)估計(jì)，即對(duì)人體軀干、人臉、手部都進(jìn)行姿態(tài)估計(jì)，這可以通過(guò)先檢測(cè) 人體軀干關(guān)鍵點(diǎn)，然后再針對(duì)人臉和手部進(jìn)行單獨(dú)的關(guān)鍵點(diǎn)定位實(shí)現(xiàn)，這種方法需要多個(gè) 姿態(tài)估計(jì)網(wǎng)絡(luò)，速度并不快。 卡內(nèi)基梅隆大學(xué)在 Open Pose 算法框架下，使用單一網(wǎng)絡(luò) 實(shí)現(xiàn)全人

18、體的姿態(tài)估計(jì)并在論文 Open Pose: reatime multi-person 2D pose estimation using Part Affinity Fields 基礎(chǔ)上進(jìn)行了改進(jìn)，將原本人臉、手部 Part Affinity Fields 直接合并進(jìn) 入人體的 Part Affinity Fields， 進(jìn)行多任務(wù)學(xué)習(xí)，實(shí)現(xiàn)上述功能。圖 1.3 全球視覺市場(chǎng)規(guī)模分布圖1.2.2 國(guó)內(nèi)研究現(xiàn)狀2022 年由國(guó)內(nèi)蘇波，柴自強(qiáng)，王莉7等學(xué)者提出針對(duì)人體姿態(tài)估計(jì)模型 Open Pose 計(jì) 算量大、檢測(cè)速度慢等問題，提出了一種改進(jìn) Open Pose 模型，替換其主干網(wǎng)絡(luò)為八度卷 積與

19、 Mobile Net 融合而成的 Oct - Mobile Net，并優(yōu)化縮減預(yù)測(cè)階段的重復(fù)分支。實(shí)驗(yàn)表 明，改進(jìn)模型的計(jì)算量降低為原來(lái)的 12%且檢測(cè)速度提升 300%。應(yīng)用改進(jìn) Open Pose 模 型提取標(biāo)準(zhǔn)視頻與測(cè)試視頻的姿態(tài)向量時(shí)間序列，其中姿態(tài)向量由關(guān)鍵點(diǎn)坐標(biāo)經(jīng)歸一化處 理后組合得到。采用姿態(tài)向量之間的余弦距離表征單幀動(dòng)作相似度，通過(guò)動(dòng)態(tài)時(shí)間規(guī)整算 法計(jì)算標(biāo)準(zhǔn)序列與測(cè)試序列之間的累積距離作為序列整體相似度。該評(píng)分方法計(jì)算復(fù)雜度 低且適用于視頻 時(shí)長(zhǎng)不一致的情況，在八段錦健身動(dòng)作評(píng)估中取得了較好應(yīng)用效果，具 有一定的推廣應(yīng)用價(jià)值，如圖 1.4 所示。1.3 設(shè)計(jì)的主要內(nèi)容圖 1.

20、4 姿態(tài)估計(jì)本文提出了一種基于深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)，通過(guò)了解深度學(xué)習(xí) 技術(shù)的人員行為異常檢測(cè)系統(tǒng)的組成單元，首先對(duì)深度學(xué)習(xí)技術(shù)的人員行為異常檢測(cè)系統(tǒng) 進(jìn)行功能分析，根據(jù)功能進(jìn)行設(shè)備選型，選擇適當(dāng)?shù)囊曈X板卡和深度相機(jī)等硬件，合理構(gòu) 建空連接布局。通過(guò)運(yùn)用 Open pose 算法對(duì)讀取的圖像進(jìn)行關(guān)鍵點(diǎn)識(shí)別方法，該方法通過(guò)輕量化 Open pose 對(duì)視頻流進(jìn)行骨骼圖像提取，中間通過(guò)對(duì)得到的圖像進(jìn)行姿態(tài)數(shù)據(jù)集標(biāo)注，最 后再通過(guò) COCO 模型對(duì)標(biāo)注圖像進(jìn)行分類訓(xùn)練，將訓(xùn)練出來(lái)的權(quán)重文件進(jìn)行分類。根據(jù) 所需要的識(shí)別狀態(tài)更換合適的權(quán)重文件，然后利用 Python3.75 結(jié)合 Vis

21、ual Studio Code 編 寫深度學(xué)習(xí)系統(tǒng)程序，最后通過(guò)識(shí)別檢測(cè)驗(yàn)證程序調(diào)試，使深度相機(jī)可以實(shí)現(xiàn)實(shí)時(shí)的姿態(tài) 獲取，以檢測(cè)人體姿態(tài)。2 行為異常檢測(cè)系統(tǒng)總體方案2.1 系統(tǒng)需求與分析由于現(xiàn)在人工智能技術(shù)的發(fā)展，企業(yè)與公司對(duì)安防意識(shí)的需求增大，參考海康威視和 百度對(duì)視覺安防的技術(shù)攻堅(jiān)，視覺安防得到了一定量的普及，人工智能視覺識(shí)別作為安防 監(jiān)控的能力得到大幅度提升。針對(duì)這一發(fā)展需求與時(shí)代發(fā)展趨勢(shì)，提出一種基于深度學(xué)習(xí) 技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)來(lái)實(shí)時(shí)監(jiān)測(cè)定位人體，判斷特殊時(shí)段、核 心區(qū)域是否有人員入侵；基于人體關(guān)鍵點(diǎn)信息，進(jìn)行二次開發(fā)，識(shí)別特定的異常行為，及 時(shí)預(yù)警管控。學(xué)習(xí)

22、技術(shù)的人員行為異常檢測(cè)系統(tǒng)，技術(shù)通過(guò)相機(jī)作為視覺采集裝置，在特定的工作 區(qū)域或指定的安裝位置進(jìn)行數(shù)據(jù)采集，根據(jù)分析數(shù)據(jù)自動(dòng)檢測(cè)區(qū)域內(nèi)是否存在異常行為， 來(lái)提高安防效率，可以通過(guò)不同場(chǎng)景的實(shí)際需求更換不同的采集設(shè)備與視覺處理設(shè)備來(lái)實(shí) 現(xiàn)不同類型的異常行為識(shí)別。2.2 系統(tǒng)總體方案設(shè)計(jì)通過(guò)在各工作地點(diǎn)內(nèi)安裝高清視覺攝像頭，實(shí)時(shí)監(jiān)控工作人員的工作狀態(tài)。通過(guò)以太 網(wǎng)通信，將攝像頭的數(shù)據(jù)畫面實(shí)時(shí)傳播給 Jetson Nano 板卡進(jìn)行視覺處理，通過(guò)算法的深度 學(xué)習(xí)將視頻中的人分為若干個(gè)點(diǎn)，在拼合運(yùn)用模型將人體進(jìn)行姿態(tài)估計(jì)，形成一個(gè)由多個(gè) 關(guān)鍵點(diǎn)合成的人體骨架并更具視頻傳輸回來(lái)的畫面進(jìn)行實(shí)時(shí)更新用以檢測(cè)，

23、當(dāng)工作人員出 現(xiàn)異常行為，身體姿態(tài)發(fā)生變化，Jetson Nano 視覺處理檢測(cè)到行為異常的姿態(tài)輸出信號(hào)。 聲光報(bào)警器接收到信號(hào)后報(bào)警觸發(fā)，人體姿態(tài)示意實(shí)時(shí)在 PC 端顯示。方案如圖 2.1 所示圖 2.1 系統(tǒng)方案示意圖3 系統(tǒng)硬件設(shè)計(jì)3.1 硬件方案設(shè)計(jì)本設(shè)計(jì)主要由 4 個(gè)部分組成，分別是采集點(diǎn)，處理點(diǎn)，報(bào)警點(diǎn)，反饋點(diǎn)四個(gè)部分組成。 首先通過(guò)攝像頭進(jìn)行目標(biāo)進(jìn)行圖像檢測(cè)，然后通過(guò)通訊進(jìn)行數(shù)據(jù)交互，將數(shù)據(jù)給于視覺板 卡進(jìn)行視覺處理。視覺板卡將得到的數(shù)據(jù)圖像通過(guò) open pose 算法框架進(jìn)行算法識(shí)別數(shù)據(jù) 通過(guò)對(duì)比已經(jīng)訓(xùn)練好的權(quán)重進(jìn)行數(shù)據(jù)驗(yàn)證，然后通過(guò)顯示設(shè)備將圖像處理處理，圖片中每 一個(gè)都變

24、成了一幅幅由多個(gè)關(guān)鍵目標(biāo)數(shù)據(jù)信息點(diǎn)組成的一副火柴人形狀的人體骨架，然后 通過(guò)骨架去判斷人體姿態(tài)。當(dāng)人體發(fā)生異常的時(shí)候算法會(huì)輸出一個(gè)信號(hào)，該信號(hào)經(jīng)過(guò) Jetson Nano 內(nèi)置 I/O 口輸出信號(hào)，使報(bào)警裝置進(jìn)行報(bào)警等工作提示，硬件方案如圖 3.13.2 所示。通過(guò)本方案的設(shè)計(jì)與需求的分析結(jié)合設(shè)計(jì)需求主要硬件產(chǎn)品表 3.1 所示；表3.1 硬件設(shè)計(jì)產(chǎn)品序列表產(chǎn)品名稱產(chǎn)品型號(hào)產(chǎn)品數(shù)量?？低曤p目行為分析攝像機(jī)DS-2CD8426F/B-I4英偉達(dá)視覺板卡Jetson Nano1聯(lián)想 TF 高速存儲(chǔ)卡專業(yè)版 128G1施耐 Schneider Electric 信號(hào)燈帶蜂鳴器Schneider X

25、VR 多功能 LED 信號(hào)燈1圖 3.1 硬件設(shè)備整體連接示意圖3.2 深度相機(jī)選型圖 3.2 硬件設(shè)備控制連接示意圖傳統(tǒng)相機(jī)，僅支持普通監(jiān)控功能，脫離不了人員值守監(jiān)控范疇，不能減少人員疲勞， 松懈，短時(shí)間離開，無(wú)法支持照顧多點(diǎn)的常規(guī)缺陷。傳統(tǒng)監(jiān)控的圖像不能長(zhǎng)時(shí)間顯示。攝 像機(jī)采集到的海量視頻圖像傳輸?shù)奖O(jiān)控中心后，值班人員很可能沒看到重要的異常情況。 因?yàn)槿狈χ悄芤蛩兀浵駭?shù)據(jù)無(wú)法被有效地分類存儲(chǔ)，數(shù)據(jù)工作非常耗時(shí)，人們很難獲得 全部信息。?？低?DS-2CD8426F/B-I 200 萬(wàn)深眸雙目行為分析攝像機(jī)，內(nèi)置高性能 GPU，內(nèi)嵌 專為視頻監(jiān)控場(chǎng)景設(shè)計(jì)、優(yōu)化的深度學(xué)習(xí)算法和雙目立體視覺

26、算法，具備了比人腦更精準(zhǔn) 的安防大數(shù)據(jù)歸納能力，可以實(shí)現(xiàn)穿越警戒線、徘徊、奔跑檢測(cè)、人數(shù)異常檢測(cè)、間距異 常檢測(cè)、劇烈運(yùn)動(dòng)檢測(cè)、離崗檢測(cè)、倒地檢測(cè)、滯留檢測(cè)等 9 項(xiàng)人工智能視覺檢測(cè)技術(shù)。 只需要將權(quán)重訓(xùn)練好則無(wú)需二次配置，該設(shè)備采用人體仿生雙目式設(shè)計(jì)，可以像人眼由于 立體識(shí)別圖像而不是簡(jiǎn)單的二維平面識(shí)別，如圖 3.3 所示。當(dāng)設(shè)備供電開始工作時(shí)一對(duì)雙目鏡頭實(shí)時(shí)獲取同一目標(biāo)檢測(cè)的場(chǎng)景并各自獨(dú)立生成 的兩幅圖像，通過(guò)自帶的數(shù)據(jù)計(jì)算，目標(biāo)在同一個(gè)空間點(diǎn)時(shí)所生成的兩幅圖像的視覺差距”， 用以來(lái)定位該目標(biāo)場(chǎng)景的深度，通過(guò)數(shù)據(jù)算法對(duì)圖片的目標(biāo)檢測(cè)圖像進(jìn)行生成一種立體結(jié) 構(gòu)的視圖,在雙目攝像頭在工作過(guò)程中

27、識(shí)別到需要檢測(cè)的目標(biāo)后，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間位 置偏差，獲取目標(biāo)的三維信息, 瞬間完成圖像獲取,大大提高了行為分析檢測(cè)的準(zhǔn)確性。支 持手動(dòng)標(biāo)定、自動(dòng)標(biāo)定、智能標(biāo)定三種標(biāo)定方式 可滿足不同場(chǎng)景下的參數(shù)標(biāo)定并且支持 單次報(bào)警或者定時(shí)循環(huán)報(bào)警功能和多種協(xié)議接入，方便和第三方系統(tǒng)集成。攝像機(jī)后端接口簡(jiǎn)潔，包含 DC36V 電源接口、RJ45 10M/100M 自適應(yīng)以太網(wǎng)口以及 1 路報(bào)警輸入/輸出、1 路音頻輸入/輸出，實(shí)測(cè)中功耗最大 27W，無(wú)需復(fù)雜的接線和配置， 安裝簡(jiǎn)單便捷。通過(guò)傳統(tǒng)相機(jī)與深度相機(jī)進(jìn)行對(duì)比，如表 3.2 所示。表3.2 傳統(tǒng)相機(jī)與深度相機(jī)傳統(tǒng)相機(jī)深度相機(jī)功能普通監(jiān)控功能視頻監(jiān)控

28、，多傳感器協(xié)調(diào)應(yīng)用脫離不了人員值守監(jiān)控范疇，不能減少帶有計(jì)算機(jī)人工智能分析功能，無(wú)需人人員疲勞，松懈，短時(shí)間離開員值守，所有值守均由計(jì)算機(jī)執(zhí)行報(bào)警只能監(jiān)控，出現(xiàn)警況只能事后回放，不實(shí)時(shí)預(yù)警，出現(xiàn)警況第一時(shí)間進(jìn)行自動(dòng)能及時(shí)預(yù)警報(bào)警回放回放視頻只能播放全部時(shí)刻錄像，費(fèi)時(shí)可以根據(jù)多種條件線索智能檢索錄像，費(fèi)力快速定位儲(chǔ)存錄像只能無(wú)差別存放，大量無(wú)效數(shù)據(jù)占報(bào)警數(shù)據(jù)和無(wú)效數(shù)據(jù)分類存放，可以根用空間，儲(chǔ)存服務(wù)器投資大據(jù)需要自動(dòng)清理無(wú)效數(shù)據(jù)資料來(lái)源：辰啟智科所以本論文工業(yè)相機(jī)選型選擇海康威視 DS-2CD8426F/B-I 的相機(jī)，其功能強(qiáng)，性價(jià)比 高，能實(shí)現(xiàn)本設(shè)計(jì)需求。3.3 視覺板卡選型圖 3.3 深度

29、相機(jī)樹莓派 3B+是在 2018 年 pi 日（3 月 14 日）發(fā)售的目前為止樹莓派家族當(dāng)中最新，性 能最強(qiáng)，也是功耗最高的一款產(chǎn)品=,Raspberry Pi 3 Model B +作為 Raspberry Pi 3 系列的最 終版本，擁有 1.4GHz 64 位 4 核 ARM Cortex-A53 CPU；1.4GHz 64 位 4 核 ARM Cortex-A53 CPU；千兆以太網(wǎng) over USB 2.0；1G LPDDR2；PoE 支持（Power-over-Ethernet，with PoE HAT）；改進(jìn) PXE 網(wǎng)絡(luò)與 USB 大容量存儲(chǔ)啟動(dòng)，如圖 3.4 所示。圖 3.

30、4 樹莓派 3B+板卡Jetson Nano 是一款功能強(qiáng)大的人工智能(AI)開發(fā)板，可助你快速入門學(xué)習(xí) AI 技術(shù)， 并將其應(yīng)用到各種智能設(shè)備。它搭載四核 Cortex-A57 處理器，128 核 Maxwell GPU 及 4GB LPDDR 內(nèi)存，擁有足夠的 AI 算力，可以并行運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)，適用于需要圖像分類、 目標(biāo)檢測(cè)、分割、語(yǔ)音處理等功能的 AI 應(yīng)用。它支持 NVIDIA Jet Pack，其中包括用于深 度學(xué)習(xí)，計(jì)算機(jī)視覺，GPU 計(jì)算，多媒體處理，CUDA，CUDNN 和 TensorRT 等軟件庫(kù)， 以及其他一系列流行的 AI 框架和算法，比如 TensorFlow，P

31、yTorch，Caffe / Caffe2，Keras， MXNet 等，如圖 3.5 所示。圖 3.5 Jetson Nano 視覺板卡1-SD 卡插槽；2-40 針膨脹針頭；3-MicroUSB 接口；4-以太網(wǎng)口；5-USB3.0 接口；6-HDMI 輸出 端口；7-視頻接口；8-供電口；9-攝像頭連接口；10-Poe 接口首先主板正中上面是一個(gè)很大的散熱片，1 是主存儲(chǔ) SD 卡插槽；2 是 40 引腳的 CPIO；3 是個(gè) 5V2A 的 Micro USB 接口（可以使用電源供電，或者使用 PC 連接）；4 是一個(gè) RJ45 千兆以太網(wǎng)接口；5 是 4 個(gè) USB3.0 接口；6 是

32、 1 個(gè) HDMI 2.0 視頻接口；7 是顯示端口連 接器；8 是 5V 的 DC 供電口；9 是 MIPI CSI 攝像頭連接口；10 是 Poe 接口。一般看視頻 是推薦使用 5V4A 的 DC 供電方式（使用 DC 電源需要短接 J48 跳線帽），因?yàn)殡娫催B接 這里可以開啟 15w 的高功率模式。據(jù)說(shuō) YoloV3 的應(yīng)用，電流需要 2.9A 左右，如果連接右 下角的電源口，會(huì)讓 Nano 板不斷地發(fā)熱和重啟。通過(guò)市場(chǎng)常用的幾款板卡進(jìn)行參數(shù)對(duì)比可知，如表 3.3 所示。表3.3 板卡參數(shù)對(duì)比表型號(hào)樹莓派 3B+Intel NCS2 神經(jīng)計(jì)算棒（僅模塊）Jetson Nano算力（INT

33、B）-4TOPS7TOPS功耗1.4W2W10W算力/功耗-20.7重量42g77.8g249.47價(jià)格8509001500資料來(lái)源：芯板坊本論文設(shè)計(jì)的視覺系統(tǒng)核心在于深度學(xué)習(xí)算法，但是深度學(xué)習(xí)的訓(xùn)練加速離不開算力 的支持，Jetson Nano 開發(fā)板是我目前主打深度學(xué)習(xí)方向的開發(fā)板。所以經(jīng)過(guò)對(duì)比分析我選 擇 Jetson Nano 開發(fā)板。3.4 聲光報(bào)警裝置選型Schneider XVR 多功能 LED 信號(hào)燈（內(nèi)置蜂鳴器），作為市場(chǎng)中暢銷的幾款信號(hào)燈， 他的功能不容置疑，尤其是 Harmony XVR 系列電動(dòng)機(jī)旋轉(zhuǎn)信號(hào)燈及蜂鳴器是可視音頻信 號(hào)裝置，設(shè)計(jì)用于工廠應(yīng)用、建筑車輛和公共區(qū)

34、域。該 蜂鳴器信號(hào)燈提供 4 種不同的顏 色，并隨附可擴(kuò)展照明區(qū)域的有小面的透鏡。 帶蜂鳴器的 XVR 信號(hào)燈獨(dú)特且美觀的設(shè) 計(jì)已獲得 2014 年 Red Dot 工業(yè)設(shè)計(jì)大獎(jiǎng)。 由于靈活的電壓輸入、光模式選擇器和允許 直向和側(cè)面布線的集成橡膠基座，可以輕松安裝這些可視音頻信號(hào)裝置。且依托于電動(dòng)機(jī) LED 技術(shù)，使得使用壽命更長(zhǎng)且免維護(hù)，可實(shí)現(xiàn)旋轉(zhuǎn)、閃光和閃爍 LED 等工作狀態(tài)。10 種照明模式使其易于使用且易于選擇寬電壓輸入，可滿足不同應(yīng)用可以進(jìn)行直向和側(cè)面布 線，如圖 3.6 所示。19圖 3.6 Schneider XVR 多功能 LED 信號(hào)燈簡(jiǎn)單且易于安裝，無(wú)需使用任何工具。1m

35、 時(shí)可調(diào)節(jié) 90 dB 蜂鳴器外部蜂鳴器音量在 70 dB 至 90 dB 范圍內(nèi)可調(diào)，提供綠色、紅色、橙色和藍(lán)色，獨(dú)特的美觀設(shè)計(jì)。有小面的 透鏡可擴(kuò)展照明區(qū)域，集成橡膠基座可提高 IP 等級(jí)，高達(dá) IP65 保護(hù)等級(jí)，取決于蜂鳴 器選項(xiàng)。7.1G 的高抗振性，CE 認(rèn)證，且符合 ROHS 標(biāo)準(zhǔn)，通過(guò) 400 mm 飛線連接，截 面為 0.57 mm2。報(bào)警信號(hào)燈主要參數(shù)如表 3.4 所示。表 3.4 報(bào)警信號(hào)燈參數(shù)屬性數(shù)值電源電壓12 24 V 直流光效閃光，旋轉(zhuǎn)1m 距離外分貝90dB最小分貝70dB最大分貝90dB安裝樣式基座安裝透鏡顏色紅色資料來(lái)源：Schneider官網(wǎng)3.5 光源裝

36、置選型光源從大類上可分為普通自然光和人造光源，由光照強(qiáng)度、色溫及光源的幾何形狀來(lái) 描述。在實(shí)際應(yīng)用中，應(yīng)優(yōu)先選擇明場(chǎng)照明方式，從而可以抑制自然光源及外界環(huán)境的干 擾。常用光源及相關(guān)特性如表 3.5 所示。表 3.5 主要光源類型及其特性類型光效(lm/W)平均壽命/(h)色溫/K特點(diǎn)鹵素?zé)?224100028003000發(fā)熱量大，價(jià)格便宜，形體小熒光燈501201500300030006000價(jià)格便宜，適用于大面積照射LED 燈110250100000全系列功耗低，發(fā)熱小，使用壽命長(zhǎng)，價(jià)格便 宜，使用范圍廣氙燈1503301000550012000光照強(qiáng)度高，可連續(xù)快速點(diǎn)亮激光50000全系列

37、具有良好的方向性、單色性與相干性其中熒光燈光源作為工廠中主要照明光源具有價(jià)格便宜，適用于大面積照射等優(yōu)點(diǎn)， 因此，常使用熒光燈作為照明光源。本課題將熒光燈作為檢測(cè)系統(tǒng)中識(shí)別作業(yè)人員的照明 光源。如圖 3.7 所示熒光燈。圖 3.7 大功率 LED 熒光燈 T5LED 熒光燈 T8LED 熒光燈4 行為異常檢測(cè)系統(tǒng)通訊設(shè)計(jì)4.1 通信協(xié)議的選擇根據(jù)實(shí)際設(shè)計(jì)需求，本設(shè)計(jì)針對(duì)相機(jī)類型自主選擇 TCP/IP 通訊協(xié)議或 MIPI CSI-2CSI (Camera Serial Interface)通訊協(xié)議。（1）CSI (Camera Serial Interface) 是 MIPI 定義的規(guī)范，用于

38、連接攝像頭和 CPU，傳 輸攝像頭的視頻信號(hào)，最新的規(guī)范是 2012 發(fā)布的 CSI-3，使用的物理層為 M-PHY。而這 里要介紹的 CSI-2 規(guī)范在 2005 發(fā)布、使用 D -PHY 作為物理層。DSI(Display Serial Interface) 同樣基于 D- PHY，不同的是，它主要用于 host 將圖像傳輸給顯示設(shè)備。（2）TCP/IP 通訊協(xié)議 TCP/IP 是用于因特網(wǎng) (Internet) 的通信協(xié)議。 TCP/IP 通信協(xié) 議是對(duì)計(jì)算機(jī)必須遵守的規(guī)則的描述，只有遵守這些規(guī)則，計(jì)算機(jī)之間才能進(jìn)行通信。互聯(lián)網(wǎng)進(jìn)行通信時(shí)，需要相應(yīng)的網(wǎng)絡(luò)協(xié)議，TCP/IP 原本就是為使用

39、互聯(lián)網(wǎng)而開發(fā)制定 的協(xié)議族。因此，互聯(lián)網(wǎng)的協(xié)議就是 TCP/IP，TCP/IP 就是互聯(lián)網(wǎng)的協(xié)議。4.2 深度相機(jī)與 JETSON NANO 板卡 TCP/IP 通訊連接 nano 網(wǎng)卡槽進(jìn)行以太網(wǎng)通訊，對(duì)以太網(wǎng)通過(guò) IP 地址 mac 碼進(jìn)行更改后進(jìn)行連接 通信，當(dāng)電腦與 nano 處于同一個(gè)網(wǎng)段時(shí)，即可實(shí)現(xiàn)通信。該通訊模式中，前面字節(jié)為 08，后面的字節(jié)為 00 或 06，表示 IP 包或 ARP 包，通過(guò) 網(wǎng)線進(jìn) IP 連接設(shè)置每個(gè)設(shè)備的 IP 與 mac 和 DNS 進(jìn)行通信設(shè)置，因?yàn)橐蕴W(wǎng)中所有的主機(jī) 共享一個(gè)通信信道，當(dāng)局域網(wǎng)中的攝像頭任意一臺(tái)設(shè)備發(fā)出數(shù)據(jù)后，通過(guò)交換機(jī)該局域網(wǎng) 中

40、的 nano 收到該數(shù)據(jù)。通過(guò)每一個(gè)設(shè)備對(duì)應(yīng)的 IP 和 mac 去對(duì)應(yīng)每一個(gè)相機(jī)傳輸?shù)臄?shù)據(jù)對(duì) nano 進(jìn)行數(shù)據(jù)交互，nano 讀取相機(jī)的內(nèi)容進(jìn)行深度學(xué)習(xí)并通過(guò)網(wǎng)口反饋給顯示端口，如圖 4.1 所示。圖 4.1 TCP/IP 模型圖4.3 深度相機(jī)與 JETSON NANO 板卡 CSI 通訊深度相機(jī)是網(wǎng)絡(luò)設(shè)備，需要有通訊協(xié)議，原有的私有協(xié)議無(wú)法勝任產(chǎn)業(yè)合作模式，因 此行業(yè)標(biāo)準(zhǔn)化的接口由此而生。CSI 為單向傳輸，包括一個(gè) clock lane 和一到四個(gè)的 data lane 組成，傳輸圖像數(shù)據(jù)。采 用 D -PHY 物理層協(xié)議。在物理層之上，即是 CSI 協(xié)議層，由三層構(gòu)成，每一層有著明

41、確 的功能。這一層中，發(fā)送端接收來(lái)自應(yīng)用層的像素?cái)?shù)據(jù)，并打包成字節(jié)格式發(fā)送到下一層； 在接收端，解包來(lái)自 LLP 層的數(shù)據(jù)并傳輸?shù)綉?yīng)用層。該層的主要目的是將不同像素格式(例如 YUYV, RGBA 等)都轉(zhuǎn)換成為 8bit 字節(jié)格式， 消除不同圖像格式差異，減少傳輸?shù)膹?fù)雜度。例如，對(duì)于 RGB888 格式，一個(gè) pixel 為 24 bit， 將轉(zhuǎn)換為三個(gè)字節(jié)；RGB565 格式，一個(gè) pixel 為 16 bit，轉(zhuǎn)換為兩個(gè)字節(jié)。而對(duì)于 RGB444， 大小為 12 bit，需要通過(guò) padding 變成 RGB565 格式，為兩個(gè)字節(jié)，如圖 4.2 所示。圖 4.2 CSI 協(xié)議層示意圖L

42、ow Level Protocol(LLP)層為 CSI 協(xié)議的主要功能層，不僅定義了包格式，還定義了 傳輸中使用的同步機(jī)制。在發(fā)送端，該層負(fù)責(zé)將上層傳輸過(guò)來(lái)的數(shù)據(jù)打包，添加校驗(yàn)字段， 增加同步包，發(fā)送到下一層；在接收端首先校驗(yàn)包的完整性，并解析各個(gè)字段，根據(jù)包類 型執(zhí)行對(duì)應(yīng)操作，將圖像數(shù)據(jù)傳到上一層。LLP 處理的 play load 數(shù)據(jù)為經(jīng)過(guò)轉(zhuǎn)換后的純字 節(jié)數(shù)據(jù)，沒有像素概念。通過(guò)定義不同的的字段和包類型，實(shí)現(xiàn)一幀一幀圖像數(shù)據(jù)的傳輸。Jetson Nano 與?？狄曈X相機(jī)通訊代碼如下；import cv2import multiprocessing as mp num = 0def im

43、age_put(q, name, pwd, ip, channel):#cv2.namedWindow(ip, cv2.WINDOW_NORMAL) global urlurl=rtsp:/%s:%s%s:%s/Streaming/Channels/1 % (name, pwd, ip, channel)cap = cv2.VideoCapture(url)# 獲取視頻幀率fps = cap.get(cv2.CAP_PROP_FPS) print(fps: , fps)#打印 fps 內(nèi)容if cap.isOpened(): print(HIKVISION1)print(camera + ip

44、 + connected.) while cap.isOpened():ret, frame = cap.read()# 抓取圖片不成功再重新抓取if not ret:cap = cv2.VideoCapture(rtsp:/%s:%s%s:%s/Streaming/Channels/1 % (name, pwd, ip, channel) print(HIKVISION2)ret, frame = cap.read()frame = cv2.resize(frame, (800,600) cv2.imshow(ip,frame)# Press esc on keyboard toexit i

45、f cv2.waitKey(1) & 0xFF = 27:breakcap.release()# 解決進(jìn)程問題def run_multi_camera():user_name, user_pwd = admin, a12345678 camera_ip_l = 10.16.14.151,ports = 556 mp.set_start_method(method=spawn)# initqueues = mp.Queue(maxsize=2) for _ in camera_ip_l processes = for queue, camera_ip,port in zip(queues, ca

46、mera_ip_l,ports): processes.append(mp.Process(target=image_put,args=(queue,user_name, user_pwd, camera_ip,port)for process in processes: process.daemon = True process.start()for process in processes: process.join()if name = main : run_multi_camera()5 行為異常檢測(cè)系統(tǒng)軟件設(shè)計(jì)本基于深度學(xué)習(xí)技術(shù)的現(xiàn)代工廠作業(yè)人員行為異常檢測(cè)系統(tǒng)設(shè)計(jì)通過(guò) Visual

47、 Studio Code 軟件搭載 python3.75 進(jìn)行程序設(shè)計(jì)，實(shí)現(xiàn)對(duì)人體姿態(tài)識(shí)別。5.1 軟件方案設(shè)計(jì)本軟件設(shè)計(jì)主要由編譯器，依賴包，庫(kù)環(huán)境，GPU 算力驅(qū)動(dòng)組成。首先在 Github 上 下載 pytorch -open pose 壓縮包進(jìn)行 open pose 學(xué)習(xí)框架搭建，然后安裝 Numpy，Matplotlib， Opencv -python，Scipy，Scikit -image，Tqdm 等依賴包文件對(duì)電腦庫(kù)環(huán)境進(jìn)行配置，最后 搭載 python3.75 編譯器進(jìn)行程序編譯與調(diào)試。通過(guò)在系統(tǒng)中安裝 VS 與 Visual Studio Code 作為程序設(shè)計(jì)軟件，配置軟

48、件 pip 下載源地址使 Visual Studio Code 可以搜尋到所需要文件 因?yàn)槌绦蛑行枰{(diào)用多種工具包和庫(kù)文件，所以需要針對(duì) open pose 去安裝對(duì)應(yīng)的工具包 與庫(kù)文件，使程序能正常運(yùn)轉(zhuǎn)。當(dāng)程序開始運(yùn)前時(shí)需要根據(jù)處理器選擇 CUDA 版本與 CUDNN 版本。由于算力在計(jì)算 的時(shí)候需要很強(qiáng)的算力，所以需要安裝 CUDNN 來(lái)配置 torch 提高計(jì)算機(jī)算力，加快識(shí)別 進(jìn)程。CUDNN 啟動(dòng)后數(shù)據(jù)方式將會(huì)從 CPU 處理轉(zhuǎn)為 GPU 處理，理論上運(yùn)行速度會(huì)提高 5 倍，如圖 5.1 所示。圖 5.1 CUDA 示意圖針對(duì)目前行為異常檢測(cè)這方面，常用的姿態(tài)估計(jì)算法 Alpha p

49、ose 與 open pose。首先 Alpha pose 是自上而下的算法，也就是先檢測(cè)倒人體，再得到關(guān)鍵點(diǎn)和骨架。因此他的準(zhǔn) 確率、A p 值要比 open pose 高。但是缺點(diǎn)就是隨著圖片上的人數(shù)增加，他的計(jì)算量增大， 速度變慢。這一缺點(diǎn)注定他無(wú)法應(yīng)用于多人的實(shí)時(shí)姿態(tài)識(shí)別，更適用于單人的精確識(shí)別， 從而不符合本設(shè)計(jì)需要滿足的工作條件。Open Pose 是基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)并以 caffe 為框架寫成的開源庫(kù)，可以實(shí)現(xiàn) 人的面部表情、軀干和四肢甚至手指的跟蹤，不僅適用于單人也適用于多人，同時(shí)具有較 好的魯棒性。最終結(jié)合兩則優(yōu)缺點(diǎn)選擇更貼合設(shè)計(jì)的 open pose 算法。軟件設(shè)

50、計(jì)流程如圖 5.2 所示。圖 5.2 軟件設(shè)計(jì)流程圖5.2 數(shù)據(jù)采集由攝像頭對(duì)目標(biāo)進(jìn)行采集，將視頻進(jìn)行取幀，圖片的清晰度將直接影響后期圖像識(shí)別 的精確度與識(shí)別速度。圖片的遮擋，目標(biāo)點(diǎn)的缺失，關(guān)鍵信息點(diǎn)的重疊，圖像檢測(cè)的范圍 也將對(duì)后期的識(shí)別造成一定的影響。通過(guò)模擬人體姿態(tài)幾種情況進(jìn)行識(shí)別測(cè)試，通過(guò)對(duì)采集的圖片進(jìn)行判斷來(lái)判斷初期所 采集的圖片是否正常。以此來(lái)保障后期的權(quán)重訓(xùn)練，提高精確度。舉例如圖 5.3 所示。圖 5.3 姿態(tài)動(dòng)作舉例所識(shí)別的圖片的狀態(tài)與畫質(zhì)直接影響識(shí)別效果，圖片關(guān)鍵點(diǎn)缺失和圖片清晰度不夠?qū)?會(huì)導(dǎo)致位置關(guān)建點(diǎn)存在一定缺失，無(wú)法完全體現(xiàn)人體姿態(tài)情況，因此我在圖片采集的時(shí)候 需要避

51、免這些問題。5.3 數(shù)據(jù)集收集與圖片標(biāo)注打開標(biāo)注精靈軟件，修改標(biāo)注類別，如何開始標(biāo)注，并保存在指定文件夾，如圖 5.4所示。由于標(biāo)注完的輸出文件格式，還不是所需要的數(shù)據(jù)集格式，所以運(yùn)行程序?qū)⑵滢D(zhuǎn)換成 所需的數(shù)據(jù)。主要實(shí)現(xiàn)代碼如下：import os,glob#調(diào)用庫(kù)，查找 glob 下的文件 LabelPaths = glob.glob(整合/*.json)#查找路徑文件 for LabelPath in LabelPaths:Print(LabelPath)#打印 LabelPath 的結(jié)果Name = os.path.basename(LabelPath).split(.)0cmd = l

52、abelme_json_to_dataset 0 -o 1.format(LabelPath, Name) os.system(cmd)5.4 圖片預(yù)處理圖 5.4 標(biāo)注精靈標(biāo)注示意圖在相機(jī)進(jìn)行采集處理的時(shí)候，相機(jī)必須穩(wěn)定，識(shí)別區(qū)域需要提前確定，環(huán)境不能相差 過(guò)大。不然識(shí)別效果會(huì)存在一定降低。識(shí)別圖像的特征的過(guò)程中，需要對(duì)采集圖片進(jìn)行預(yù) 處理。由于剛處理的圖片還是一個(gè)空?qǐng)D片，沒有進(jìn)行特征提取，如圖 5.55.6 所示，所以 主要運(yùn)行程序代碼如下；import cv2import numpy as np import mathimport timefrom scipy.ndimage.filte

53、rs import gaussian_filter import matplotlib.pyplot as pltimport matplotlib import torchfrom torchvision import transforms#import utilfrom src import utilfrom src.model import bodypose_model class Body(object):def init (self, model_path): self.model = bodypose_model() if torch.cuda.is_available():sel

54、f.model = self.model.cuda()model_dict = util.transfer(self.model, torch.load(model_path) self.model.load_state_dict(model_dict)self.model.eval()def call (self, oriImg):# scale_search = 0.5, 1.0, 1.5, 2.0scale_search = 0.5boxsize = 368stride = 8padValue = 128thre1 = 0.1thre2 = 0.05multiplier = x * bo

55、xsize / oriImg.shape0 for x in scale_search heatmap_avg = np.zeros(oriImg.shape0, oriImg.shape1, 19) paf_avg = np.zeros(oriImg.shape0, oriImg.shape1, 38)for part in range(18):map_ori = heatmap_avg:, :, partone_heatmap = gaussian_filter(map_ori, sigma=3) map_left = np.zeros(one_heatmap.shape) map_lef

56、t1:, : = one_heatmap:-1, :map_right = np.zeros(one_heatmap.shape) map_right:-1, : = one_heatmap1:, : map_up = np.zeros(one_heatmap.shape) map_up:, 1: = one_heatmap:, :-1 map_down = np.zeros(one_heatmap.shape) map_down:, :-1 = one_heatmap:, 1: peaks_binary = np.logical_and.reduce(one_heatmap = map_le

57、ft, one_heatmap = map_right, one_heatmap = map_up, one_heatmap = map_down, one_heatmap thre1)peaks = list(zip(np.nonzero(peaks_binary)1, np.nonzero(peaks_binary)0)#29note reversepeaks_with_score = x + (map_orix1, x0,) for x in peaks peak_id = range(peak_counter, peak_counter + len(peaks)peaks_with_s

58、core_and_id = peaks_with_scorei + (peak_idi,) for i inrange(len(peak_id)all_peaks.append(peaks_with_score_and_id) peak_counter += len(peaks)# find connection in the specified sequence, center 29 is in the position 15# 按指定順序查找連接，中心 29 位于位置 15limbSeq = 2, 3, 2, 6, 3, 4, 4, 5, 6, 7, 7, 8, 2, 9, 9, 10,

59、10, 11, 2, 12, 12, 13, 13, 14, 2, 1, 1, 15, 15, 17, 1, 16, 16, 18, 3, 17, 6, 18# 中間關(guān)節(jié)熱圖相關(guān)性mapIdx = 31, 32, 39, 40, 33, 34, 35, 36, 41, 42, 43, 44, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 47, 48, 49, 50, 53, 54, 51, 52, 55, 56, 37, 38, 45, 46圖 5.5 手部特征關(guān)鍵點(diǎn)圖 5.6 身體特征關(guān)鍵點(diǎn)5.5 手部特征算法及程序設(shè)計(jì)手部關(guān)鍵點(diǎn)檢測(cè)，旨在

60、找出給定圖片中手指上的關(guān)節(jié)點(diǎn)及指尖關(guān)節(jié)點(diǎn)，一共 21 個(gè)關(guān) 鍵點(diǎn)，如圖 5.7 所示。其類似于面部關(guān)鍵點(diǎn)檢測(cè)(Facial Landmark Detection) 和人體關(guān)鍵點(diǎn) 檢測(cè)(Human Body Pose Estimation)。手部關(guān)鍵點(diǎn)檢測(cè)的應(yīng)用場(chǎng)景包括：手勢(shì)識(shí)別、手語(yǔ)識(shí) 別與理解和手部的行為識(shí)別等。程序主要代碼如下；import cv2 import jsonimport numpy as np import mathimport timefrom scipy.ndimage.filters import gaussian_filter import matplotlib.py

61、plot as pltimport matplotlib import torchfrom skimage.measure import label from src.model import handpose_model from src import utilclass Hand(object):def init (self, model_path): self.model = handpose_model() if torch.cuda.is_available():self.model = self.model.cuda()model_dict = util.transfer(self.model, torch.load(model_path) self.model.load_state_dict(model_dict)self.model.eval()def call (self, oriImg): scale_search = 0.5, 1.0, 1.5, 2.0# scale_search = 0.5 boxsize = 368stride = 8padValue = 128thre = 0.05multiplier = x * box