基于視覺智能工業(yè)品外觀柔性檢測方案
引言/導(dǎo)讀
隨著工業(yè)制造2025計劃的實施，工業(yè)品質(zhì)量檢測效率成為制約整個生產(chǎn)鏈條的重要因素。傳統(tǒng)工業(yè)品產(chǎn)品外觀檢測，依賴“人眼+簡單工具”，實現(xiàn)對產(chǎn)品外觀的識別，剔除外觀有缺陷的產(chǎn)品，效率低下，漏檢率高。隨時AI技術(shù)快速發(fā)展，本測試床探索將視覺智能檢測技術(shù)應(yīng)用于工業(yè)品外觀檢測。
一、關(guān)鍵詞
視覺智能，邊緣計算，薄膜類外觀質(zhì)量檢測
二、發(fā)起公司和主要聯(lián)系人聯(lián)系方式
華為技術(shù)有限公司 IT產(chǎn)品線 ，聯(lián)系人李超洋 13571870047 Email：Andy.lee@huawei.com
富士康科技集團(tuán)，聯(lián)系人 鄭承斌：15989547752 Email：benjamincheng@foxconn.com
三、合作公司
深圳云天勵飛技術(shù)有限公司，聯(lián)系人董卿 13714505207, Email：dong.qing@intellif.com
軟通動力，聯(lián)系人 崔士勇13911161706，Email：sycuic@isoftstone.com
Intel公司，聯(lián)系人 張宇 13501081206， Email：richard.yu.zhang@itel.com
四、測試床項目目標(biāo)和概述
所謂“機器視覺”，就是利用機器代替人眼來做測量和判斷。機器視覺系統(tǒng)相當(dāng)于人類的眼睛，“眼睛”通過把“看”到的影像傳送到控制芯片，然后通過控制程序來進(jìn)行事態(tài)的判斷。一個典型的機器視覺系統(tǒng)包括：光源、鏡頭、相機、圖像處理單元（或圖像捕獲卡）、圖像處理軟件、監(jiān)視器、通訊/輸入輸出單元等.通過機器視覺獲得的圖像，經(jīng)過AI智能算法的自動檢測，識別，最終完成“人的眼睛和大腦”的功能，在實際工業(yè)質(zhì)量檢測中，達(dá)到代替現(xiàn)有人力，提高檢測效率、提升檢測準(zhǔn)確率。
現(xiàn)工業(yè)產(chǎn)品檢測，經(jīng)過很多年發(fā)展，但現(xiàn)有自動檢測的存在如下問題：
? 可檢測產(chǎn)品單一，不通用：設(shè)備高度專業(yè)化，只能在特定場景，對特定產(chǎn)品，特定的外觀問題進(jìn)行檢測。例如，環(huán)境條件固定，只能檢測外觀尺寸，只能檢測玻璃制品等。
? 檢測精度低：檢測精度是固定的，不能實現(xiàn)“經(jīng)驗積累”：隨著檢測產(chǎn)品的增多，不斷提高檢測準(zhǔn)確率。
? 檢測效率低：受檢測設(shè)備算力的影響（一般都基于工控機），在檢測效率較低，滯后日益進(jìn)步的生產(chǎn)效率。
本測試床引入AI技術(shù)，充分利用邊緣計算的業(yè)務(wù)靈活性和業(yè)務(wù)實時性，并在公有云實現(xiàn)AI算法的訓(xùn)練，充分利用公有云資源彈性調(diào)度、價格低廉的優(yōu)勢，以降低該方案的總體投入，以期達(dá)到可以規(guī)模復(fù)制的目標(biāo)。
主要功能模塊說明：
1、 采集端：利用光電技術(shù)，獲取工業(yè)品外觀高質(zhì)量圖片。工業(yè)品，特別是薄膜類產(chǎn)品，具有容易彎曲、對光照敏感等特點，需要采用暗箱、強光等以達(dá)到高質(zhì)量圖像標(biāo)準(zhǔn)；
2、 邊緣計算節(jié)點：邊緣計算是工業(yè)檢測的大腦，通過AI算法對產(chǎn)品外觀圖片進(jìn)行智能分析和識別，并自動對有缺陷產(chǎn)品進(jìn)行標(biāo)記；邊緣計算節(jié)點要求算力強、設(shè)備體積小、可以安裝在工廠質(zhì)檢室或者生產(chǎn)線附近；
3、 云端訓(xùn)練：AI的訓(xùn)練周期長，需要資源多，具有階段性；因此采用租賃公有云方式較為合適；可以根據(jù)訓(xùn)練數(shù)據(jù)的大小、訓(xùn)練算法的復(fù)雜度，靈活租賃對應(yīng)資源，訓(xùn)練完畢，獲取模型后，即可釋放訓(xùn)練資源，以期達(dá)到節(jié)省成本的目標(biāo)。
五、測試床解決方案架構(gòu)
本測試床在傳統(tǒng)產(chǎn)品檢測基礎(chǔ)上，引入現(xiàn)在AI技術(shù)，依靠邊緣云和公有云聯(lián)動，工廠側(cè)線下推理和識別，公有云線上訓(xùn)練，構(gòu)成一個完整的測試方案。
(一) 測試床應(yīng)用場景
本測試床項目，適用于外觀類產(chǎn)品質(zhì)量檢測，例如車輛框架、主承外觀，對部分容易產(chǎn)生變形的產(chǎn)品，如非剛性產(chǎn)品，例如紙張等，需要采用額外的輔助方法，獲得相對穩(wěn)定的圖像質(zhì)量。因此，本測試床推薦應(yīng)用在剛性產(chǎn)品外觀檢測，或者部分形變較小的產(chǎn)品外觀檢測場景。
(二) 測試床重點技術(shù)
本測試床為提高檢測的魯棒性，引入了三項關(guān)鍵新技術(shù)，該技術(shù)在工業(yè)外觀檢測中比較新穎和獨創(chuàng)性。
一、采用邊緣計算新技術(shù)。邊緣計算融合了計算、存儲和網(wǎng)絡(luò)于一體，具有很高的產(chǎn)品環(huán)境適應(yīng)度。本測試床邊緣采用引入深度學(xué)習(xí)AI技術(shù)，在邊緣側(cè)實現(xiàn)AI的推理，實現(xiàn)對產(chǎn)品檢測的自動化和智能化。邊緣智能計算的應(yīng)用在業(yè)內(nèi)屬于首次。
二、引入AI技術(shù)。AI技術(shù)最大的價值是具有自動學(xué)習(xí)和進(jìn)化功能，對檢測產(chǎn)品具有很強的魯棒性；而強的魯棒性，對本測試床的檢測范圍具有很大的價值。這點是傳統(tǒng)影像技術(shù)無法比擬的。
三、是引入公有云訓(xùn)練AI。AI的訓(xùn)練耗資巨大，對專業(yè)性要求很高，普通企業(yè)很難承受。通過引入公有云AI服務(wù)，可以把算法的訓(xùn)練和模型設(shè)計交給專業(yè)的服務(wù)公司實現(xiàn)，通過租賃資源方式，完成云端的訓(xùn)練；以降低AI的成本，獲取便捷的服務(wù)。
(三) 技術(shù)創(chuàng)新性及先進(jìn)性
本測試采用的邊緣智能計算架構(gòu)，為提升識別率引入的AI技術(shù)，都是在前工業(yè)檢測中首次應(yīng)用，并根據(jù)工業(yè)現(xiàn)場進(jìn)行了技術(shù)專門開發(fā)，具有獨特的價值。
(四) 測試床解決方案架構(gòu)
本測試床解決方案整體架構(gòu)如下，主要分為4個層面：
1、 邊緣計算平臺：主要在工廠側(cè)進(jìn)行產(chǎn)品外觀產(chǎn)品的識別和處理；是AI算法的主要承載體；
2、 IaaS層：通過引入虛擬化和Docker技術(shù)，邏輯隔離各類業(yè)務(wù)應(yīng)用，使應(yīng)用具有更大的彈性，也更方便與工業(yè)云平臺對接；
3、 工業(yè)PaaS層：對邊緣前端和各類數(shù)據(jù)進(jìn)行清理和管理的平臺，通過PaaS層，企業(yè)IT人員關(guān)注業(yè)務(wù)，把復(fù)雜的IT基礎(chǔ)設(shè)施的管理交給PaaS層；
4、 視覺業(yè)務(wù)應(yīng)用層：深度學(xué)習(xí)的算法好服務(wù)。業(yè)務(wù)作為一個服務(wù)，提供給企業(yè)內(nèi)部各個業(yè)務(wù)單元使用。
六、預(yù)期成果
本測試床預(yù)期目標(biāo)為：產(chǎn)品檢測率達(dá)到100%；完全代替人工檢測和識別部分，達(dá)到節(jié)省人力的目標(biāo)。并通過技術(shù)創(chuàng)新，可應(yīng)用在更多場景檢測，如各類薄膜，產(chǎn)品外觀等，柔性外觀檢測。
(一) 測試床的預(yù)期測試結(jié)果，針對測試項
本測試床預(yù)期檢測結(jié)果：產(chǎn)品檢測率達(dá)到100%，通過多種檢測技術(shù)的結(jié)合和運用，使產(chǎn)品檢測率達(dá)到100%，超越人工檢測的精度。
(二) 商業(yè)價值
本測試床通過引入邊緣計算和AI技術(shù)，將AI應(yīng)用引入到工廠側(cè)，AI訓(xùn)練算法采用成本低廉的公有云；通過對傳統(tǒng)工業(yè)的智能化改造，開創(chuàng)新的商業(yè)共贏模式，對在其他類似領(lǐng)域有非常好的啟發(fā)作用。
(三) 經(jīng)濟(jì)效益
本測試床根據(jù)富士康CPU貼膜檢測項目，商業(yè)價值估算如下：原人工檢測：20萬+/年，通過本測試床方案一次性設(shè)備投資10萬，云服務(wù)按需付費，節(jié)省50%的檢測投資；提升產(chǎn)品檢測效率和正確率，節(jié)省產(chǎn)品缺陷類引起的負(fù)資產(chǎn)。
(四) 社會價值
減少由于人工檢測引發(fā)的眼睛疲勞職業(yè)病，解放員工“眼睛”，減少和預(yù)防職業(yè)病；
七、測試床技術(shù)可行性
本測試床重點測試一下技術(shù)可行性：
1、工廠產(chǎn)品外觀圖像檢測和采集的可行性：采集端要求對光源、產(chǎn)品略微形變魯棒，采集圖像設(shè)備能排除產(chǎn)線其他因素干擾等；
2、AI算法的精度。AI算法精度直接影響到檢測的精度，需要實際驗證算法的精度和識別速度。
(一) 物理平臺
物理平臺包括前端產(chǎn)品圖像的采集端和邊緣計算平臺兩個部分。
產(chǎn)品圖集采集端：包括高速工業(yè)攝像機、專業(yè)光源、暗盒，運動軌道等輔助設(shè)備；
邊緣平臺：包括邊緣硬件平臺（含存儲、網(wǎng)絡(luò)設(shè)備），部分車間網(wǎng)絡(luò)環(huán)境較差，需要提供4G等WIFI傳輸方式；其他連接線等輔助設(shè)備。
(二) 軟件平臺
本測試床不單獨提供軟件平臺；其中AI算法包括在邊緣平臺中；
八、和AII技術(shù)的關(guān)系
(一) 與AII總體架構(gòu)的關(guān)系
略
(二) AII安全（可選）
略
(三) 詳細(xì)清單（可選）
略
(四) 風(fēng)險模型（可選）
測試床平臺中運算處理器采用嵌入式SoC，運行基于Linux操作系統(tǒng)的專用嵌入式軟件，保證了軟件系統(tǒng)的可靠性和安全性。系統(tǒng)采用分級用戶權(quán)限管理，數(shù)據(jù)和視頻存儲采用嵌入數(shù)據(jù)庫、數(shù)據(jù)加密和數(shù)據(jù)水印技術(shù)保證數(shù)據(jù)安全不可篡改
(五) 安全聯(lián)系人
不涉及
(六) 與已存在AII測試床的關(guān)系
無，首次申請。
九、交付件
實驗測試床一套：包括前端采集設(shè)備，邊緣計算平臺，以及內(nèi)嵌的AI算法軟件。
十、測試床使用者
相關(guān)單位可利用本測試床搭建或者改進(jìn)，鼓勵在各個領(lǐng)域進(jìn)行推廣和使用
十一、 知識產(chǎn)權(quán)說明
本測試床相關(guān)部件的產(chǎn)權(quán)歸屬各個申請企業(yè)，測試床方案和架構(gòu)完全公開，鼓勵企業(yè)據(jù)此架構(gòu)開展各領(lǐng)域應(yīng)用。
十二、 部署，操作和訪問使用
可部署在互聯(lián)網(wǎng)，根據(jù)申請，明確使用權(quán)限。
十三、 資金
企業(yè)自籌資金
| 序號 | 工作內(nèi)容 | 需要資金（萬） |
| 1 | 前端采集設(shè)備（光源、相機等） | 5 |
| 2 | 邊緣智能節(jié)點 | 15 |
| 3 | 公有云平臺 | 5 |
| 4 | 算法聯(lián)調(diào) | 8 |
| 總計 | 33 |
十四、 時間軸
本測試床關(guān)鍵時間點：
2018年8月30日完成方案的工程效果測試；
2018年10月30日項目驗收和推廣
十五、 附加信息
本測試床可以應(yīng)用在以下領(lǐng)域：如工業(yè)PCB板質(zhì)量檢測，如線路漏焊，虛焊，線路斷裂等；汽車鈑金等外觀質(zhì)量檢測，如檢測是否有劃痕，光滑度，完整度等。
聲明
本報告所載的材料和信息，包括但不限于文本、圖片、數(shù)據(jù)、觀點、建議，不構(gòu)成法律建議，也不應(yīng)替代律師意見。本報告所有材料或內(nèi)容的知識產(chǎn)權(quán)歸工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)聯(lián)盟所有（注明是引自其他方的內(nèi)容除外），并受法律保護(hù)。如需轉(zhuǎn)載，需聯(lián)系本聯(lián)盟并獲得授權(quán)許可。未經(jīng)授權(quán)許可，任何人不得將報告的全部或部分內(nèi)容以發(fā)布、轉(zhuǎn)載、匯編、轉(zhuǎn)讓、出售等方式使用，不得將報告的全部或部分內(nèi)容通過網(wǎng)絡(luò)方式傳播，不得在任何公開場合使用報告內(nèi)相關(guān)描述及相關(guān)數(shù)據(jù)圖表。違反上述聲明者，本聯(lián)盟將追究其相關(guān)法律責(zé)任。
AII微信公眾號
AII頭條號