摘要：機器視覺作為代替人工檢測輪轂表面缺陷的重要手段,是目前該領域的主要研究方向,因此針對汽車輪轂表面缺陷檢測技術的研究現狀進行了綜述與分析。首先,從輪轂表面缺陷的類別和人工檢測流程入手,闡述了基于機器視覺的輪轂表面缺陷檢測技術的要求和難點。其次,分析了基于機器視覺的智能檢測算法的發展歷程,包括傳統的機器視覺方法在缺陷圖像預處理、缺陷定位和特征提取、缺陷分類識別中的應用;卷積神經網絡(CNN)等深度學習方法在缺陷檢測、分割以及其他方面的應用。最后,介紹了現有輪轂型號識別裝置、輪轂缺陷X射線圖像采集裝置、輪轂表面缺陷圖像采集裝置,并在分析當前基于機器視覺的智能檢測裝置在實際應用中的局限性及需要解決的若干關鍵技術問題的基礎上,提出了3種智能檢測實驗裝置設計方案,為全自動快速檢測裝置的研制與性能提升提供理論與技術支撐。

 

關鍵詞：機器視覺；汽車輪轂；表面缺陷檢測；深度學習；智能檢測裝置

 

1、 引 言

 

作為汽車節能化、輕量化首選的鋁合金汽車輪轂,已有多年的生產發展歷史[1]。輪轂在其鑄造、打磨、機加工和自動噴漆生產過程中,不可避免會產生料斷、冷夾、坑洼和氣孔等缺陷。為了確保汽車安全運行及整車質量,輪轂缺陷檢測是輪轂生產企業生產物流過程中的重要一環。對于氣孔、縮孔、縮松、裂紋、夾雜等缺陷一般可通過X射線成像單元進行檢測,而對于影響產品外觀的劃傷、擦傷等表面缺陷可通過人工觀察和表面圖像來檢測。人工檢測方法是根據檢測標準的要求以肉眼觀測的方式對缺陷進行鑒別及標注。這種高度枯燥重復的工作以及較高的勞動強度會對人工檢測質量和效率造成一定程度的影響。同時操作者的主觀意識、水平及經驗等存在的不確定因素,會造成誤判和漏判,從而影響輪轂產品出廠質量,進而影響整車組裝及銷售,甚至給人們的出行帶來一定的安全隱患。人工檢測的方式越來越無法滿足當今輪轂生產過程對快速、準確和穩定的更高要求,因此急需開發出自動化與智能化的檢測方法,通過應用機器視覺與人工智能等技術來提高自動化檢測水平及檢測效率[2～4]。

 

針對汽車輪轂表面缺陷,本文介紹了常見的缺陷種類和檢測方法;對基于機器視覺的缺陷檢測算法,從傳統的機器視覺算法和基于深度學習的檢測算法2方面進行闡述;最后在介紹和分析現有基于機器視覺的檢測裝置及局限性的基礎上,提出3種改進智能檢測實驗裝置的設計方案。

 

2、 缺陷類別及檢測方法

 

2.1 輪轂表面缺陷類別

輪轂表面根據其結構分為A、B、C、D 共4個區域。區域A為車輪的樣式平面;區域B為窗口和輪輻側面,柱頭螺栓孔區域20 mm;區域C為輪轂剩下部分,包括輪輞的制動一側;區域D為車輪裝飾物或輪胎(包括輪胎緣保護圈)覆蓋的任何部分和車輪裝飾物的背面。在4個表面區域中輪轂表面缺陷檢測主要針對A、B 這2個區域。以鋁制汽車輪轂為例,在鑄造、搬運、拋光過程中產生的可見缺陷如表1所示。

 

表1 鋁制輪轂表面缺陷分類表

Tab.1 Classification table of aluminum wheel surface defect

 

汽車輪轂從材質上主要分為鋼輪轂和鋁輪轂,從表面加工工藝上分則有拋光輪轂、油漆和機加工輪轂、鍍鉻包鉻輪轂等。根據加工工藝的不同,其表面缺陷可能產生于生產加工和搬運過程中的各個階段。輪轂表面缺陷根據產生的原因又分為鑄造缺陷、機加工缺陷、電鍍缺陷、搬運缺陷、拋光缺陷、油漆缺陷、夾雜缺陷等。由于輪轂表面為曲面,因此輪轂表面缺陷與傳統鋼材表面缺陷相比具有結構和背景復雜、種類繁多、形態各異、受拍攝角度及光源影響大等特點。通過傳統特征提取方法難以完整描述和區分不同種類的缺陷,容易出現人工提取特征與實際特征不匹配的現象。再加上缺陷尺寸相比輪轂非常小,識別難度進一步提高。常見的各類輪轂表面缺陷如圖1所示。

 

圖1 9種輪轂表面缺陷圖

Fig.1 Nine kinds of wheel surface defect picture

 

2.2 輪轂表面缺陷檢測方法

2.2.1 人工檢測流程

 

輪轂表面缺陷檢測是輪轂出廠前的一道重要工序,人工檢測方法是工人在生產線固定工位,通過雙手把輪轂抬起、傾斜、旋轉等方式變換角度,以肉眼觀測來對缺陷進行判斷、定位及手工標注。檢查是根據車輪類型和車輪裝飾的對應異常情況定級,并規定從定義的觀察距離處和在設定的總體檢查時間內探測不到的異常情況與評估無關。人工檢驗現場流程如圖2所示。

 

圖2 人工檢測現場流程

Fig.2 Manual inspection process on site

 

2.2.2 基于機器視覺的檢測方法

 

將機器視覺技術應用于缺陷檢測中可以在無損檢測的同時,很大程度上克服人工檢測存在的缺點,是當下汽車輪轂表面缺陷檢測研究的主要方向。為了應用機器視覺完成汽車輪轂表面缺陷自動化檢測的目標,檢測方法應該滿足自動化、適用性和檢測效率3個方面的要求。另外,根據檢測系統要求和輪轂表面缺陷的特點,不僅要考慮光源問題、最佳拍攝位姿,還要考慮檢測算法精度、實時性和泛用性。

 

3、基于機器視覺的智能檢測算法研究現狀

 

基于機器視覺的智能檢測算法是實現輪轂表面缺陷檢測的核心部分。下面將從傳統的機器視覺檢測算法和基于深度學習的檢測算法2方面展開闡述。

 

3.1 基于傳統機器視覺的輪轂缺陷檢測

 

3.1.1 輪轂缺陷定位與特征提取

 

在對輪轂缺陷檢測技術的研究上,早期主要是輪轂內部缺陷的X光射線檢測,輪轂X射線圖像具有對比度低、噪聲源多、檢測對象形狀不規則等問題。針對這些問題,國內外學者展開了豐富的研究工作。1982年,Strecker H使用扇形X射線對鋁鑄件逐層散射成像,能夠檢測出物體內部氣孔和裂紋等缺陷,但檢測效率低下[5]。1988年Boerner H和Strecker H共同撰文介紹了基于X射線的鋁合金車輪內部缺陷自動檢測系統[6]。論文通過基于DOG算子的閾值分割法提取缺陷特征,識別單個鑄件氣泡的準確率達到92%,但檢測速度低于人工檢測水平。Merry D在2002年提出一種基于單目X射線圖像序列中潛在缺陷跟蹤的輪轂缺陷自動檢測方法[7～9]。該方法借鑒了人工檢測X射線圖像的經驗,利用真實缺陷在輪轂中的幾何位置不變性,在不需要先驗知識的條件下實現了缺陷自動識別,且可以在1 min內處理完成一只輪轂采集的約100張不同角度DR(digital radiography)圖像。2011年Carrasco M和Merry D改進了上述方法,通過設計中間分類器模塊,可在多視圖中利用非線性特征分析,更精確的檢測真實缺陷,減少誤報[10]。

 

國內汽車輪轂缺檢測技術起步較晚。2000年劉明利等人為秦皇島中信戴卡輪轂有限公司研制了汽車輪轂X射線探傷設備,主要改進了機械機構來代替進口產品[11]。2004年張連玉和荊峰等分別使用X射線實時成像設備對輪轂等汽車零部件進行缺陷檢測,指出實時檢測具有直觀、靈敏度高、速度快的特點,提高了檢測效率[12,13]。此后陸斌[14,15]、呂金旗[16]、劉軍[17]闡述了X射線實時成像技術在檢測輪轂缺陷中的應用。

 

黃茜教授團隊從2002年開始研究鑄件內部缺陷,對輪轂X射線圖像的缺陷檢測研究起步較早。其中談紹熙[18]針對輪轂X光圖像難以準確快速分割的問題,提出一種基于灰度信息和幾何特征的快速區域分割方法,有利于圖像分割后的缺陷定位與特征識別。司徒武超[19]為提高缺陷局部信息可靠性、降低封閉區域形狀復雜性,提出封閉區域截斷法,剔除部分偽缺陷,并針對背景復雜的輪轂X射線圖引入基于偏微分方程的各向異性擴散模型進行目標輪廓提取。李小俚等針對氣孔、夾雜、縮孔3種輪轂典型缺陷實驗了多種缺陷檢測方法,結果表明只有二維小波變換分析法可以同時檢出3種缺陷[20]。何再興等人根據輪轂缺陷灰度特征特點,利用灰度值行掃描和列掃描相結合的方法定位缺陷大致區域,再通過種子填充法精確分割缺陷部分,最后利用遞進的模糊識別算法判斷缺陷類型[21,22]。從2009年起也有團隊從事輪轂缺陷自動檢測研究,其中張淑嫻[23]在經過二次分割提取出輪轂X射線圖像缺陷的基礎上,提出一種將SUSAN算子應用于輪轂缺陷邊緣和角點檢測的方法,以滿足工業X射線檢測評片要求,提高檢測效率與質量。張俊生等對汽車輪轂X射線缺陷圖像進行了基于多幀疊加的噪聲去除和基于二次動態閾值分割的圖像分割結果重構。最終得到的重構結果提高了缺陷分割的準確性和穩定性[24,25]。

 

基于輪轂表面圖像的缺陷檢測相對于輪轂X射線圖像,背景更復雜、檢測難度更高[26]。文獻[27]將檢測流程分為:定位待檢測部位、提取缺陷區域、利用特征提取缺陷、利用廠家標準判定缺陷4步,檢測結果如圖3所示。文獻[28]使用一種基于輪廓模板匹配定位的方法,引入誤差閾值進行二次模板匹配,提取輪轂軸承區域,改善了模板匹配耗時長的問題并排除背景干擾。文獻[29]對采集到的輪轂軸承端面圓環圖像進行中值濾波和二值化處理后,將輪廓跟蹤得到的缺陷圓環與最小二乘法圓擬合得到的完整圓環相減,實現了對缺陷特征的提取。由前文可以看出,為了提取汽車輪轂表面缺陷的特征,需要根據汽車輪轂表面結構特點、表面缺陷的特點及采集圖像背景情況設計算法,往往先明確了需要檢測的缺陷類型再針對性的進行設計。大部分算法通過閾值分割方法分割出目標缺陷區域,也有部分算法通過邊緣檢測[30]、模板匹配等方法提取缺陷邊緣或缺陷區域。因此算法在適用范圍內準確性較好,但檢測速度得不到保證,算法設計難度較大且通用性較差。

 

圖3 缺陷檢測示意圖

Fig.3 Defect detection diagram

 

3.1.2 輪轂缺陷分類識別

 

在輪轂缺陷分類識別問題上,研究較多的仍是輪轂的X射線圖像。2003年Merry D在50幅含有隨機噪聲的輪轂X射線圖像上分割出23 000個區域[31],并將提取的特征分為幾何特征和灰度特征2組,使用特征選擇法減少了特征數量,實現了基于神經元網絡的缺陷分類。結果發現輪轂缺陷的區分在灰度特征上比在幾何特征上更明顯。同年在該數據集上,Hernandez S為從405個特征中選取可以完整表示缺陷的部分,提出了一種自組織特征圖方法來分層降維簡化模型構建,并利用自適應模糊神經網絡(adaptive network based fuzzy inference system,ANFIS)完成對缺陷的識別和分類,其ROC曲線下面積達到0.997 6[32]。2005年,Merry D使用閾值、歐氏距離、馬氏距離、多項式、支持向量機和神經網絡等8種分類器,通過與、或、多數投票等7種方法進行比較融合實驗,在50幅實拍圖像上進行缺陷檢測,獲得了較低的誤報率[33]。2011年Osman A等人構建了一個包含382個真缺陷和215個偽缺陷的輪轂X射線圖像數據集,缺陷種類有氧化物、氣孔和縮松。作者提出了一種基于Dempster-Shafer數據融合理論的新方法,實驗結果顯示真缺陷的檢測準確率為99%,偽缺陷的檢測準確率為98.3%,該方法顯著提高了分類性能[34]。

 

國內對輪轂缺陷分類識別的研究起步依然較晚,2013年李高亮[35]根據汽車輪轂X射線圖像的缺陷分割結果提取通用特征,并提出基于增減次優搜索的特征選擇方法和基于共軛梯度的BP神經網絡分類算法,識別缺陷種類。文獻[36]則在提取輪轂X射線圖像缺陷通用特征后,基于一對多和改進DAG-SVM的多分類方法設計了一種應用粒子群算法優化模型參數的多分類模型。文獻[37]采用布谷鳥算法改進大津法分割輪轂X射線圖像缺陷并結合螢火蟲算法改進的BP神經網絡,實現輪轂的氣孔、縮松、縮孔、裂紋和夾雜5種常見缺陷的識別檢測。

 

針對輪轂表面圖像,李飛在提取圖像灰度特征的同時考慮圖像紋理特征,共選取19個特征變量輸入支持向量機(SVM)訓練,可以檢測摩托車輪轂表面氣孔、疏松、發振和表面車不出缺陷[38]。實驗表明,在樣本數為100時,識別精度可達93%。

 

由此可見,輪轂缺陷的識別分類,一般在閾值分割得到缺陷區域的基礎上提取并篩選出足以描述缺陷類別的特征,并通過分類器訓練得到缺陷具體分類;也可以直接提取表面圖像通用特征參與分類器訓練之中。

 

3.1.3 輪轂缺陷圖像預處理

 

在進行特征提取和分類識別之前采集的圖像往往需要經過預處理。文獻[35]提出以改進的幀積分降噪算法解決輪轂X射線圖像噪聲大對比度低的問題。文獻[36]則在多幀疊加降噪的基礎上應用梯度域引導濾波算法,改進輪轂X射線圖像質量。文獻[39]通過實驗分析發現輪轂X射線圖像同質平坦區域上的噪聲近似為與圖像信號相對獨立的加性高斯白噪聲,并以此提出了基于平坦塊檢測的射線圖像噪聲估計算法。算法可以有效去除噪聲干擾,并不會丟失原始圖像細節。文獻[40,41]使用窗位窗寬技術、多幀疊加平均法和HDR技術提升采集輪轂X射線圖像效果,同時提出了基于偽模板的圖像增強與基于雙邊濾波的字符去除技術。在滿足時間限制的前提下,算法提高了輪轂缺陷檢測的準確率。為提高輪轂X射線圖像視覺效果,文獻[42]利用高低頻兩次二維小波分解達到提高對比度和增強圖像邊緣細節的目的;同時采取基于HSI顏色空間的偽色彩增強手段使得圖像更加符合人眼的視覺特性。從本小節內容可知:根據目的,預處理可以分為圖像降噪和圖像增強2方面。

 

綜上,總結出傳統機器視覺方法檢測輪轂缺陷的一般方法:①對采集到的缺陷圖片進行預處理,以減少噪聲干擾并增強圖像信息;②對待檢測缺陷,根據缺陷類型,出現的位置和圖像背景等設計專門的檢測方法,實現缺陷分割;③對于缺陷種類較多的情況,也可以通過提取缺陷通用特征,利用分類器對分割出的缺陷部分進行分類識別。但②中的方法,往往只在特定檢測場景下有效,不具備普適性。且算法受缺陷和背景圖像復雜程度影響,實時性差,難以滿足工業生產的需求。③中的方法則存在選擇提取的特征與實際特征分布不符及分類器選擇的問題,但這一思路為后來深度學習算法在輪轂缺陷檢測上的應用做出了鋪墊。

 

3.2 基于深度學習的輪轂缺陷檢測

2012年隨著AlexNet網絡的誕生,神經網絡飛速發展,開始廣泛應用于語義識別、圖像識別、無人駕駛等諸多領域,深度學習神經網絡應用于工業缺陷檢測的趨勢也逐漸顯現。與傳統圖像處理方法不同的是,深度學習算法需要大量數據樣本使得算法可以擬合實際缺陷情況。然而缺陷輪轂相對于正常輪轂數量較少且輪轂表面結構復雜,因此存在采集和分類數據樣本困難、樣本數量少的問題。為防止算法過擬合,學到噪聲特征,在考慮使用傳統圖像預處理算法的同時,還需要對樣本圖片進行數據擴充,常見方法有:圖像翻轉、隨機角度旋轉、隨機裁剪、圖像平移、缺陷特征位置變換、仿射變換、對比度調節和添加噪聲等。

 

3.2.1 國外基于深度學習的輪轂X射線圖像缺陷檢測研究現狀

 

深度學習方法首先仍是應用于輪轂缺陷X射線圖像檢測領域。2015年,Merry D等公開了一個包括鑄件、焊縫、行李、自然物體和背景共19 407張X射線圖像的數據集GDXray,其中與鑄造件相關圖片2 727張,主要從汽車部件采集[43]。2017年Merry D和Carlos Arteta在GDXray數據集的基礎上提取其中部分鑄件缺陷,統一裁剪到32×32大小后經過數據增強得到包含23 760張有缺陷和23 760張無缺陷圖像的新數據集。之后作者在該數據集上采用簡單的局部二值模式加上線性支持向量機取得了最佳的性能,達到96.5%的準確率和93.8%的召回率[44]。同年Max Ferguson等使用遷移學習方法將多種深度學習目標檢測網絡應用于GDXray數據集的輪轂鑄件缺陷部分,結果表明使用ResNet-101主干網絡的Faster R-CNN模型在測試集上的平均精度均值最高,而使用了VGG-16主干網絡的SSD模型運行時間最短[45]。之后Max Ferguson開發了一個可以同時識別出制造缺陷和缺陷屬于哪一個部件的檢測系統。與之前的方法相比,同時對機器部件和缺陷像素進行語義分割是GDXray數據集上缺陷分類的獨特方法,減少了系統錯誤的發現部件外假陽性缺陷的數量[46]。2020年Merry D為克服數據集較小,易產生過擬合的問題,提出將三維橢球腔體投影并疊加在吸收系數為μ的均勻鑄件X射線圖像上和使用生成對抗網絡這2種模擬缺陷數據的方法,增加訓練樣本中的缺陷數量。作者還設計了一個用于鑄件X射線圖缺陷檢測的Xnet-Ⅱ卷積神經網絡。實驗結果表明,在訓練階段使用橢球投影模擬缺陷得到的模型在測試集上取得了較好的效果,其mPA達到了71.02%,而使用GAN網絡構造的缺陷并沒有很好地解決過擬合問題,其訓練得到的mPA僅為50%[47]。2021年,Merry D在上年數據集的基礎上分別測試了8種最新的深度學習目標檢測方法(基于YOLO、RetinaNet和EfficientDet),以及分別基于CNN和手工特征的2種基線方法Xnet和CLP-SVM[48]。實驗表明基于YOLO的檢測器表現較好,而作為基線方法的Xnet和CLP-SVM效果欠佳。且YOLOv5s只花了2.5 h完成了訓練,平均精度達到0.90,且處理速度達到90張/s X射線圖像。因此該方法可以用于實時檢測,輔助操作員判定。

 

3.2.2 國內基于深度學習的輪轂表面缺陷檢測研究現狀

 

近些年,國內學者應用深度學習算法進行輪轂表面缺陷檢測的研究也在逐步展開。2017年韓凱等[49,50]提出一種基于深度學習的汽車輪轂表面缺陷在線檢測算法。該算法利用工業相機采集輪轂表面缺陷圖像,采用se模塊、ROI-Align、FPN特征融合方法改進了Faster R-CNN (faster region based convolutional neural networks)網絡,實現了對輪轂表面劃痕和點狀2種缺陷的位置標定及分類。趙海文將采集到的有限圖像樣本經過圖像分割、圖像灰度化、圖像銳化、圖像樣本擴充等圖像處理方法,使用CNN對劃痕缺陷、擦傷缺陷和正常3種類別進行檢測與分類,檢測準確率分別達到94%、96%、98.7%[51]。文獻[52]提出了一種基于Faster R-CNN改進ZF網絡的輪轂表面缺陷檢測算法,以輪轂的4種缺陷(劃痕、油污、塊狀和油漆遮蓋不足)為代表,結合向圖片添加噪聲的數據擴充方法建立了輪轂缺陷數據集。實驗結果顯示R-CNN算法、YOLOv3算法和該文獻改進算法的mAP分別為67.7%、70.39%和72.9%,單張圖片檢測時間分別為78、0.033和0.3 s,驗證了改進算法的快速性、準確性。文獻[54]則提出了一種基于改進YOLOv3的輪轂表面缺陷檢測算法。算法增加了自下而上的反向連接路徑,整合了多尺度特征圖與語義信息,并采用變形卷積技術以適應條紋缺陷的細長特征。提高了鋼裂紋、凹痕、夾雜、劃痕這4種缺陷的檢測效果。

 

3.2.3 國內基于深度學習的輪轂缺陷分割研究現狀

 

深度學習的應用使得對輪轂表面缺陷的研究不斷進步,對輪轂缺陷的分割特別是X射線圖像的分割也向更深入更準確的方向發展。2020年郭瑞琦[55]針對輪轂X射線圖像提出了一種基于U-Net網絡的輪轂缺陷分割技術,相比傳統圖像分割算法具有更好的分割精度,時間開銷大大降低。在與CNN及全卷積神經網絡模型(FCN)算法的對比中,同樣驗證了U-Net網絡的優越性。作者改進后的U-Net網絡模型在輪轂缺陷分割任務中能得到更高的結構相似性度量(structural similarity,SSIM)和集合相似性(Dice)系數,單張圖像的分割時間達到了3 ms/張[56]。2021年王陶然提出采用Mask R-CNN模型完成汽車輪轂X射線圖像缺陷自動分割[57]。針對輪轂生產過程中可能出現的縮孔、縮松、氣孔、裂紋缺陷,改進模型根據缺陷大小修改錨點框的大小并舍棄特征金字塔的后2層,實現了更快且較準確地輪轂缺陷實例分割。為提升分割精度,作者又提出基于多級特征金字塔結構M2Det改進的Mask R-CNN模型[58],改進后的特征融合模塊既考慮了特征層的感受野,也考慮到了不同層的語義信息,其mIoU(mean intersection over union)達到91.16%。文獻[59]研究了基于環形特征的卷積神經網絡輪轂識別。文獻[60]分析了U-net圖像分割模型應用于汽車輪轂DR圖像缺陷分割時,網絡深度較淺,導致特征提取能力較弱的問題,提出級聯2個U型特征提取網絡的AW-Net模型,提高了缺陷分割精度但犧牲了檢測速度。為此作者又使用EfficientNet特征提取網絡的DeepLabv3+分割模型,改進后的模型在維持分割精度的同時減少了分割時間,具有較好的綜合能力。

 

Tang C W等也提出了一種基于DeepLabv3+改進的汽車輪轂表面缺陷語義分割網絡[61],改進的解碼器結合了主體、邊緣和多尺度特征。文獻在4個缺陷數據集(車輪、磁瓦、織物和焊縫)上進行測試,其中鋁制汽車輪轂缺陷X射線圖像數據集涵蓋了磨損、孔隙、缺口、斑點4個典型缺陷。實驗結果表明,改進網絡相比SegNet、Unet和Deeplabv3+具有更好的F1分數、平均精度和IoU值,證明了該網絡對不同的缺陷檢測場景是有效的。

 

3.2.4 深度學習在輪轂表面缺陷檢測方面的其他應用

 

與傳統圖像預處理方法相比,深度學習算法為圖像信息的增強和消除干擾方面賦予了更多的可能。文獻[50]采用拉普拉斯算子判別輪轂表面圖像模糊現象,并使用生成式對抗網絡(generative adversarial network,GAN)消除模糊、生成清晰圖片,模糊消除效果如圖4所示。文獻[62]針對輪轂表面高反射特性對圖像質量有嚴重影響,而傳統金屬表面強光去除算法會破壞強光區域特征的問題,提出了一種使用pix2pix生成對抗網絡來去除輪轂表面高光的方法,能較好地恢復高光區域的表面缺陷特征。

 

圖4 模糊圖像消除算法結果圖

Fig.4 The result image of blur image removal algorithm

 

文獻[63]針對輪轂表面缺陷種類多、特征提取難、缺乏數據樣本,而深度學習依賴大量標注樣本的問題,提出了一種基于廣義零樣本學習的輪轂缺陷圖像檢測技術。該技術通過訓練常見缺陷得到缺陷樣本特征空間與語義描述空間的映射,并利用該映射將測試樣本投射到語義空間中離它最近的類別。該算法通過訓練已見過的類別,可以較好地識別出未見過的類別。

 

鋁制輪轂在中高檔汽車中應用比較廣泛,由于生產過程的復雜性,在鋁合金輪轂產品中有近5類20多種缺陷。這些缺陷不僅影響了產品良好的外觀和品牌形象,甚至會影響輪轂的機械性能。從上述的研究成果可以看出,在基于機器視覺的輪轂缺陷檢測方案中,主要以輪轂X射線圖像或工業相機拍攝的表面圖像為檢測樣本。X射線圖像主要是針對輪轂表面高度變化,通過高度差形成不規則變化曲線,然后使用識別算法檢測。X射線可檢測變形、夾雜、氣孔等缺陷,很難將表面油泥、劃傷、砂帶印、研磨印等缺陷檢測出來;工業相機圖像則通過不同角度光線產生的對比圖像進行缺陷判別,更適合輪轂表面缺陷的檢測。然而由于早期各種限制,對輪轂缺陷的研究主要通過X射線圖像,表面缺陷的研究較少。隨著計算機視覺技術發展和深度學習方法的出現,對輪轂表面缺陷的研究進入新的階段。

 

目前基于機器視覺的智能檢測算法,主要采用圖像處理算法、特征提取結合機器學習算法或深度學習神經網絡算法。這些方法通過分析獲取的缺陷圖像樣本,能夠對輪轂圖像中的缺陷進行檢測與標注。然而生產線上缺陷輪轂數量占比較低,人工采集大量有缺陷的表面圖像樣本困難,而深度學習神經網絡依賴于大量的數據,數據量較少的條件下,可能發生過擬合問題,模型性能難以保證。且目前識別的種類也只有4到5種,當增加識別種類時,會增加算法的學習和設計難度,識別準確率會降低,漏報、誤報和框不準的情況會增加,這與實際需要檢測20多種缺陷還是有很大差距的。因此,目前的輪轂表面缺陷智能檢測算法只是停留在理論與實驗研究上,離實際應用還有很多問題需要解決。

 

4、 基于機器視覺的智能檢測實驗裝置

 

采集清晰、高對比度的圖像是機器視覺檢測缺陷的基礎,因此需要自動化的圖像采集裝置。將機器視覺與工業機器人相結合是目前輪轂表面缺陷檢測裝置研究的一個熱點。研究者們根據缺陷檢測工藝流程及檢測要求,利用機械手活動范圍大、精度高、靈敏度高、控制簡單的特點,提出了許多智能檢測實驗裝置設計方案。該設計的出發點是把視覺系統安裝在機器人的末端執行器上,在輪轂生產線上使用X射線或指定光源對輪轂進行掃描。每個輪轂采集多張不同角度數據以達到將檢測區域全覆蓋的目的。

 

4.1 現有的基于機器視覺的智能檢測實驗裝置

目前市場上常見的全自動輪轂射線檢測系統有YXLON公司研制的WI26和意大利Bosello公司研制的WRETHUNDER3。國內輪轂射線檢測系統與國外產品相比精度低、速度慢,沒有被市場認可,因此目前國內輪轂制造商的檢測系統主要依賴進口。而針對輪轂表面缺陷檢測的自動化檢測裝置依然停留在研究階段,未在實際檢測中應用。

 

4.1.1 輪轂型號識別系統

 

輪轂缺陷類別根據輪轂的類型有所不同,因此,檢測輪轂表面缺陷首先需要對輪轂型號進行識別。麻金賀選用LED光源、大恒圖像DH-SV1421GM千兆以太網CCD相機和COMPUATR公司生產的M0814-MP固定焦距鏡頭,設計了輪轂在線識別系統[64]。整個系統具有輪轂輪廓識別和氣門孔自主定位的功能,輪轂中心孔和氣門孔位置檢測如圖5所示。

 

圖5 輪轂中心孔、氣門孔位置識別

Fig.5 Identification of hub center hole and valve hole position

 

文獻[65]提出的輪轂型號識別系統則將流水線上拍攝的完整輪轂圖像經過圖像減法和圖像先開后閉運算去除背景和干擾后,通過邊緣檢測、圓擬合等方法獲取輪轂外直徑數據,再結合輪轂高度采用系統標定法獲得輪轂真實尺寸參數;用所得特征與標準特征庫進行對比,達到對輪轂型號實時分類的目的,為后續的缺陷檢測做準備。

 

4.1.2 輪轂X射線檢測裝置

 

輪轂缺陷檢測中X射線檢測發展較早、相關設備裝置也更成熟。華南理工大學徐道磊將檢測裝置分3個區域[39]。其中進倉傳送區完成輪轂型號識別,X射線探測室負責采集圖像、出倉傳送區負責分揀有缺陷輪轂。裝置通過機械控制系統完成手動和半自動檢測工作、高壓控制系統控制射線電壓電流。之后李高亮、丁杰、焦騰云等逐步完善了X射線輪轂圖像采集裝置[35,36,41]。

 

4.1.3 輪轂表面缺陷檢測識別系統

 

為了解決輪轂這種結構復雜、多規格、多樣式的復雜工件表面缺陷檢測問題,釗、宋輝提出了一種基于工業機器人的摩托車輪轂表面缺陷視覺檢測系統[66,67]。作者在機械手末端安裝圖像采集裝置,利用機器人的精確運動調整姿態,檢測摩托車輪轂不同面上的表面缺陷。該系統通過閾值分割法計算氣閥位置與預設位置偏差,利用路徑模版對機器人位姿進行校正。檢測一圈用時35 s,提升了輪轂表面缺陷采集效率和檢測精度。文獻[26]設計的檢測裝置則將輪轂固定在以軸為中心的旋轉裝置上,對不同成像面選擇不同光源和多相機采集圖像。該裝置使用線陣相機獲取高對比度的缺陷圖像,并經過多次實驗獲得光源顏色、照射角度和距離的參數。文獻[38]改進了上述旋轉式輪轂成像裝置,利用2側旋轉裝置的摩擦力帶動輪轂轉動,光源則照射在輪轂成像面上通過反射送入線陣相機,最終以移動光源和相機的方式對輪轂各個成像面進行成像。

 

為提高檢測裝置通用性,文獻[27]將系統分為機械、成像、檢測模塊。首先標定像素尺寸,然后通過特征計算確定輪轂中心圓和輪輻位置,最后拍攝輪轂中心圓和輪輻正面與2側圖像進行檢測。

 

由于輪轂軸承表面具有高反射性,在環形光、帶狀光和表面光中容易出現照射不均勻的問題,文獻[29]選擇淺藍色同軸光源作為檢測裝置光源,使得軸承表面為灰白色,與純黑背景板形成高對比度;同時使用了背光源采集軸承內圈表面圖像。此外文獻[51]也選擇了同軸光作為拍攝光源。

 

上述表面缺陷檢測裝置中輪轂均放置在固定位置,而實際生產中輪轂在傳送帶上運動,因此文獻[28]設計了基于工廠傳送帶的流水線自動分揀系統。系統通過光電傳感器識別工件是否到達待檢測位置,再經過檢測分揀出有缺陷的部件。文獻[50]則在輪轂進入生產線待檢測位置后,通過下方旋轉裝置勻速轉動一周的方式采集輪轂所有正面圖像,以此建立表面缺陷數據集。

 

通過分析輪轂表面缺陷人工檢測流程可以看出,缺陷檢測不僅要對缺陷進行分類,還要用記號筆對肉眼觀測出的缺陷點手工標注,以便后續處理。然而現有的基于工業機器人的汽車輪轂表面缺陷視覺檢測系統只是將多自由度機器人與圖像處理算法相結合,經系統標定圖像像素和實際物體尺寸后,規劃拍攝路徑進行缺陷識別,并沒有完成輪轂上缺陷標注的方案。另外,輪轂水平放置在固定的支撐平面上,而系統通過機器人帶動相機移動替代人眼獲取多張輪轂表面圖像,因此檢測范圍目前只是A面和B面,且不能進行不同角度的傾斜、旋轉和翻轉。

 

4.2 輪轂表面缺陷智能檢測與標注實驗裝置的方案設計

 

4.2.1 考慮缺陷識別與標注的智能檢測實驗裝置設計

 

前文中的檢測裝置只完成了采集缺陷圖像的檢測任務,并沒有在檢測出缺陷的位置畫上標注。因此本文在文獻[51,65]的基礎上,提出了一種考慮輪轂缺陷標注的智能檢測實驗裝置。本實驗裝置由機器視覺部分和缺陷標注部分共同構成。機器視覺部分為了定位輪轂上缺陷位置,選用Inter RealSense D435深度相機來完成對輪轂表面RGB圖像信息和深度信息的采集。D435深度相機內含了2個紅外相機,1個200萬像素的RGB相機和1個RGB-D相機,使其能夠采用結構光結合雙目視覺的方式獲取目標深度信息,從而達到2 m范圍內深度誤差小于2%的精度,基本能夠滿足實驗所需的缺陷檢測和定位要求。裝置的缺陷標注功能則通過在HC-S6小型協作機器人的機械臂末端固定標注工具完成。HC-S6小型協作機器人具有6個自由度,每個關節的轉動角度由伺服電機精確控制,可以在一定的三維空間范圍內自由地進行位姿變換。深度相機同樣加裝在HC-S6機械臂的末端,整個缺陷檢測系統的硬件構成如圖6所示。

 

圖6 考慮缺陷識別與標注的智能檢測實驗裝置

Fig.6 Intelligent detection experimental device considering defect identification and labeling

 

4.2.2 考慮輪轂傾斜的智能檢測實驗裝置設計

 

現有的輪轂表面缺陷檢測裝置中檢測位置處的輪轂基本是固定在流水線或實驗支架上,缺乏檢測靈活性,而人在檢測輪轂表面缺陷時會通過傾斜、旋轉從多角度觀察輪轂表面信息。因此考慮模擬人檢測輪轂表面缺陷工作,設計了采用6-UCU并聯機構的智能檢測裝置,如圖7所示。

 

圖7 采用6-UCU并聯機構的檢測實驗裝置示意圖

Fig.7 Diagram of the testing experimental device using a 6-UCU parallel mechanism

 

系統由六自由度運動平臺、輪轂夾具、視覺傳感器組成。圖8為采用6-UCU并聯機構的六自由度運動平臺,該并聯機構由定平臺、6條驅動支鏈、動平臺組成。每條驅動支鏈由2個虎克鉸(U副)、1個移動副(P副)和1個轉動副(R副)構成,其中移動副(P副)和轉動副(R副)合并成1個圓柱副(C副)。該機構選擇移動副(P副)作為驅動副,通過控制移動副(P副)進行伸縮運動,從而使動平臺實現沿X、Y、Z軸的移動以及繞X、Y、Z軸的轉動。輪轂夾具采用三爪卡盤固定,通過控制壓縮機供氣和排氣實現夾爪閉合。實驗裝置可模擬人工檢測過程中將輪轂傾斜、旋轉的檢測過程。

 

圖8 6-UCU結構簡圖

Fig.8 6-UCU structure diagram

 

方案中僅顯示一個目鏡,若要進一步提高輪轂缺陷檢測效率可在不同方位布置多個目鏡,同時進行輪轂表面缺陷檢測。采用6-UCU機構的智能檢測實驗裝置硬件組成如圖9所示。機器人采用UR3六自由度靈巧協作機器人,它是一種小型的協作式桌面機器人,重量24.3磅(11 kg),有效載荷可達6.6磅(3 kg),所有手腕關節均可實現360°旋轉,末端關節可無限旋轉。該機器人適合輕型裝配作業和自動化作業臺等應用場合,支持ROS系統,便于各類硬件集成以及對控制算法進行驗證試驗,由機器人攜帶相機即可完成輪轂表面圖像采集作業。

 

圖9 采用6-UCU機構的智能檢測實驗裝置

Fig.9 Intelligent detection experimental device using 6-UCU mechanism

 

4.2.3 一種全自動的輪轂表面缺陷檢測裝置設計

 

當前的智能檢測裝置由于沒有輪轂翻轉機構,因此只能進行輪轂表面A區和B區的缺陷檢測,而對于C區和D區的缺陷檢測尚未實現。為解決上述技術問題,本文設計了一種全自動輪轂表面缺陷檢測裝置,該裝置具有輪轂表面缺陷檢測、標注和殘次品分揀功能,系統組成如圖10所示。

 

圖10 全自動輪轂表面缺陷檢測裝置

Fig.10 A fully automatic wheel hub surface defect detection device

 

1—待檢輪轂輸送單元; 2—輪轂外側缺陷檢測單元;3—輪轂內側缺陷檢測單元; 4—已檢輪轂輸送單元

 

本設計基于輪轂回轉體特征將輪轂劃分為內外兩側,并據此提出一種全自動輪轂表面缺陷檢測裝置。待檢測輪轂經過輸送單元分別移動至輪轂外側和內側缺陷檢測單元,完成輪轂各個面的缺陷檢測和標注任務。最終移動至已檢輪轂輸送單元,完成合格品和缺陷品分揀任務。該裝置通過檢測單元之間的輪轂面翻轉實現了輪轂內、外表面缺陷分區域檢測和標注全自動化,有效提高了缺陷檢測和標注效率,具有良好的實際應用價值。

 

4.3 智能檢測裝置實際應用性能分析

在上述根據檢測工藝要求設計的基于機器視覺的輪轂表面缺陷檢測裝置中,主要設計思路還是基于圖像采集技術和檢測算法。圖像采集方面:檢測裝置一方面采用多自由度機器人帶動工業相機進行多角度拍攝;另一方面可以通過輪轂位姿調整臺,如機械旋轉機構、翻轉機構或6DOF并聯機構近似模擬人工翻轉流程,最終在適宜的光照條件下獲取工業現場多角度的輪轂表面原始圖像。檢測算法方面:在獲取輪轂表面圖像的基礎上,傳統視覺檢測方法通過圖像預處理、缺陷定位、缺陷特征提取和缺陷分類識別4個步驟獲得檢測結果;深度學習方法通過深度學習神經網絡訓練數據集得到權重文件,再利用訓練好的權重文件檢測樣本。最后根據檢測結果進行缺陷定位與標注,標注方法可以采用機械噴涂或劃線方式。

 

相比于人工檢測方法,自動檢測系統更加穩定,可以減輕工人勞動強度,提高生產線自動化水平。但在檢測效果及效率方面還存在許多局限性,有很多關鍵技術問題需要解決。一方面,由于人工檢測方法的靈活性,可以在30～40 s內對單個輪轂完成A、B、C、D 4個區域的全方位檢測,并進行靈活標注;而現有的檢測裝置受制于翻轉機構的復雜性,只能實現對A、B 2個區域的檢測。且為了達到A、B區域表面全覆蓋,每個輪轂需要采集一百多張不同角度數據,這就導致基于機器視覺的自動檢測系統的檢測速度會低于人工檢測速度,影響生產進度。另一方面,人工檢測在缺陷分類識別能力方面遠高于自動檢測系統,這和工人檢測經驗的積累是有直接關系的。而傳統機器視覺算法對特定缺陷類別的少量樣本進行特征提取得到檢測結果,受算法設計影響局限性較大;基于深度學習的缺陷分類識別則使用海量的樣本數據對神經網絡權值進行訓練,受缺陷種類多、形態復雜多變和數據采集困難影響,分類的種類越多,機器視覺識別準確率就越低[68,69]。這些是導致目前汽車輪轂表面缺陷自動檢測系統沒有全面應用的主要原因。綜上所述,全自動檢測系統若要應用于實際生產,還需要解決輪轂全方位靈活翻轉、多種缺陷快速檢測與分類、缺陷部位快速靈活定位與標注等關鍵技術問題。

 

5、 結 論

 

為了確保汽車安全運行及整車質量,輪轂缺陷檢測是輪轂制造企業生產物流過程中的重要一環。本文從缺陷類別及檢測方法、基于機器視覺的智能檢測算法、基于機器視覺的智能檢測裝置3個方面對汽車輪轂表面缺陷檢測技術的研究現狀進行了綜述與分析。在缺陷類別和檢測方法方面,主要介紹了輪轂檢測區域劃分及常見缺陷類別,并在說明人工檢測流程的基礎上提出了機器視覺檢測的要求和難點;在檢測算法方面,目前的研究主要是在采集的輪轂X射線圖像或工業相機拍攝的輪轂表面圖像基礎上,應用傳統機器視覺算法和卷積神經網絡(CNN)、Faster-RCNN、YOLO等深度學習方法檢測輪轂圖像中的缺陷;在智能檢測裝置設計方面,主要是將視覺系統安裝在多自由度工業機器人的末端執行器上完成圖像的采集,然后通過圖像處理與分類識別技術實現智能檢測。然而自動檢測系統的研究還處于開發和完善階段,相對于人工檢測,自動檢測系統在檢測種類數、檢測速度、檢測效果及檢測效率方面距離實際應用還有很大差距,需要解決涉及的相關技術問題。

 

來源：期刊：《計量學報料》 作者：劉福才1,2, 張震宇1, 徐繼龍1,2, 鄭宏偉1, 劉 陽3

 

(1.燕山大學 智能控制系統與智能裝備教育部工程研究中心，河北 秦皇島 066004；2.河北省高端裝備產業技術研究院，河北 秦皇島 066004；3.中信戴卡股份有限公司，河北 秦皇島 066004)