在芯片生產制造過程中，各工藝流程環環相扣，技術復雜，材料、環境、工藝參數等因素的微變常導致芯片產生缺陷，影響產品良率。芯片質量檢測作為芯片生產線中的關鍵環節，可以積極地反饋產品質量信息，以便人們及時掌控各生產環節的健康狀況，促使質量檢測技術在生產線中的作用越來越凸顯。
如今，人工目視檢測方法因其存在效率低、精度低、成本高、勞動強度大和標準不統一等缺點，正逐步被自動檢測技術所取代。
早期的自動檢測技術主要圍繞機器視覺技術展開。機器視覺技術以其高效率、高精度、高可靠性、非接觸性和客觀性強等優點，得到了廣泛研究和應用，經典方法為基于人工設計特征的特征選擇算法與模式識別分類算法的結合。
近年來，以卷積神經網絡為代表的深度學習模型在計算機視覺領域的成功應用，給缺陷檢測提供了新的發展方向。
鑒于目前國內還沒有全面細致論述半導體芯片表面缺陷檢測方法的綜述文獻，本文通過對近年相關文獻進行歸納梳理，旨在幫助研究人員快速和系統地了解該領域的相關方法與技術。本文主要回答了“芯片缺陷是什么”“芯片缺陷檢測做什么”和“芯片缺陷檢測怎么做”3個問題。
芯片生產及缺陷介紹
1、芯片制造流程
芯片生產需要經歷數道工序，其中各工藝流程環環相扣。芯片生產對材料、環境、工藝參數等敏感，每個環節都有可能產生缺陷。因此，了解制造工藝流程，是進行芯片表面缺陷檢測研究的前提。芯片生產線主要包括芯片設計、制造、封裝和檢測4大環節，流程如圖1所示。
芯片檢測主要分為物理性檢測和電性能檢測。物理性檢測主要可分為封裝前的芯片表面缺陷檢測和封裝后的封裝體缺陷檢測。電性能檢測是在不同的電壓、溫度和濕度等條件下進行溫度、電氣和速度測試，目的是檢測芯片的性能是否達標。本研究主要聚焦于半導體芯片的物理性缺陷檢測。
2、芯片常見缺陷
封裝前，上述數道工藝的操作控制、工藝參數、環境等因素都會對芯片質量產生一定的影響，產生的缺陷表現出類別多樣、形態各異、背景復雜等特點。芯片制造過程中產生的表面缺陷示例如圖2所示，大致可劃分為原材料不良、異物、劃傷、Bump元件缺陷（凸起、錯位或缺失）、金屬性污染物和蝕刻液臟污殘留。此外，芯片制造過程中還會產生如蝕刻銹斑、電鍍過多、異色和金屬線損壞等小樣本缺陷。
封裝后的封裝體缺陷包括印刷缺陷和引腳缺陷。封裝體表面印刷符號表明了其名稱、規格、型號和性能等信息，是辨識芯片的重要依據。清晰的符號是高質量芯片的內在需求。實際生產中常存在的印刷缺陷包括錯字、偏移、漏印、多印、模糊、傾斜、位移、斷字、雙層印和無字等。引腳缺陷包括引腳缺失、引腳破損和引腳彎曲等。缺陷示例如圖3所示。
芯片缺陷檢測方法
1、機器視覺缺陷檢測方法
機器視覺方法的基本檢測流程如圖4所示。隨著機器視覺相關技術逐漸受到重視，多種基于人工設計特征的特征選擇算法和模式識別分類算法被應用于表面缺陷檢測領域。
芯片表面缺陷檢測
針對封裝前的芯片表面缺陷檢測，戴敬等通過改進多重中值濾波算法，采用插影法、歸一化互相關的模板匹配等方法實現晶圓表面缺陷檢測。
SU等通過對封裝芯片的表面施加超聲波激發并結合測振儀提取了時域和頻域特征，引入遺傳算法進行特征選擇，最后采用BP神經網絡進行分類識別。
陳凱提取集成電路芯片表面的幾何特征、紋理特征和灰度特征缺陷特征，在特征降維后輸入基于改進的螢火蟲算法的支持向量機實現缺陷識別。
付純鶴等提取芯片表面缺陷的Hu不變矩特征和局部二值模式（LBP）特征，通過反向傳播神經網絡（BPNN）進行學習，最后采用最近鄰算法分類缺陷。
封裝體缺陷檢測
針對封裝后的封裝體存在的印刷缺陷，張靜平提出了一種動態縮小圖像檢測區域的加權模板匹配算法，以判斷QFN芯片表面字符的缺陷。
FABIO等結合卷積神經網絡、k均值聚類算法和k近鄰分類算法，識別食品包裝盒上的符號模糊和符號缺失，對芯片封裝體存在的印刷缺陷檢測具有參考意義。
針對封裝后的封裝體存在的引腳缺陷，巢淵提取缺陷的幾何、灰度、紋理特征，提出基于廣義反向粒子群與引力搜索混合算法和高斯核支持向量機RBFSVM分類缺陷。
劉琛等提出一種基于方位環境特征的點模式匹配定位算法，快速準確定位芯片并識別引腳缺陷。陳文鳳等設計了一套基于ARM-DSP雙核結構的集成芯片引腳缺陷自動檢測系統。
為檢測SOP芯片引腳缺陷，李本紅等采用灰度躍變檢測引腳中點、中點直線擬合和引腳間距統計等方法，實現對SOP芯片引腳缺陷的自動檢測；李繹鈴以連通像素區域標記法為主要算法，提出基于模板匹配的引腳缺陷識別算法；金賀楠通過圖像矩來對SOP芯片的整體位置進行定位，同時結合基于TwoPass的連通域分方法來完善芯片引腳外觀檢測。
以上特征提取結合分類器的方法可以較好地實現缺陷檢測，但同時特征提取存在主觀性、局限性問題和復雜化問題等，需要依賴經驗和專業知識，有針對性地依據產品表面缺陷特性提取和選擇特征。
隨著芯片愈加集成化和光刻工藝愈加復雜，產生的缺陷往往類型繁多、特征復雜、背景多變和位置隨機，傳統的機器視覺技術難以充分且有效地提取到缺陷特征，效率低下，已難堪重任。
2、深度學習缺陷檢測方法
近年來，以卷積神經網絡為代表的深度學習模型在計算機視覺領域成功應用，給表面缺陷檢測帶來了新的啟發。不少學者將目標檢測相關算法應用于各種工業場景的表面缺陷檢測。
對缺陷模式認知的不同，深度學習模型可以劃分為有監督學習、無監督學習和弱監督半監督等。有監督檢測方法體現在利用標記了標簽（包括類別、矩形框或逐像素等）的缺陷圖像輸入到網絡中進行訓練，更關注缺陷特征。無監督檢測方法通常只需要正常無缺陷樣本進行網絡訓練，更關注正常樣本特征。
有監督方法
（1）芯片表面缺陷檢測：針對封裝前的芯片表面缺陷檢測，周小萌將經典的卷積神經網絡Alexnet應用于識別IC芯片外觀缺陷。李明將卷積神經網絡和類激活映射技術相結合，提出Laser Chip Net網絡來實現激光芯片缺陷分類識別和缺陷區域定位。
DING等引入多尺度金字塔網絡改進Faster R-CNN的骨干卷積網絡，用于檢測PCB表面缺陷 。周天宇等提出了一種輕量級卷積神經網絡算法YOLOEfficientnet，應用于載波芯片COC缺陷檢測 。CHEN等將生成對抗網絡GAN與YOLOv3算法結合，應用于芯片晶粒的表面缺陷檢測。
對于LED芯片的缺陷檢測問題，LIN等提出LEDNet，采用了一種類激活映射技術來定位LED芯片缺陷（線瑕疵和劃痕）區域；劉志提出了ATSSD，采用深度殘差網絡ResNet作為主干卷積網絡，并引入注意力機制和多尺度特征融合方法提取特征，提升了檢測精度。
（2）封裝體缺陷檢測：針對封裝后的封裝體存在的印刷缺陷和引腳缺陷，唐銘豆等通過選定連通區域和分割算法定位字符，采用改進的CNN進行字符識別，最終實現芯片印刷標識檢測。郭曉峰等利用最小外接圓原理定位和校正圖像，隨后對ROI區域進行字符分割，最后進行差分識別。肖磊基于AlexNet改進得到一種對壓敏電阻外觀細微缺陷敏感的卷積神經網絡模型（CNN4VDR），用于識別壓敏電阻主體和針腳的外觀缺陷。
無監督方法
有監督學習模型需要大量人工標記數據，但是在工業生產中，部分類型缺陷發生概率低，樣本數量少，小樣本訓練網絡模型會導致過擬合問題。此外，還經常生成不可預知的缺陷，難以及時標記。無監督學習方法只需要正常無缺陷樣本進行網絡訓練，具備強大的正常樣本分布重建和判別能力，在近年逐漸受到關注。
CHANG等提出了一種基于自組織神經網絡（SONN）的晶圓自動檢測系統，利用SONN的無監督自動聚類的能力，識別晶圓上的缺陷區域。GHOSH等提出了一種基于CNN的有監督技術和兩種基于深度圖和引腳紋理的無監督技術，以識別彎曲和腐蝕的芯片引腳缺陷。羅月童等提出了基于卷積去噪自編碼器的芯片表面弱缺陷檢測方法。MEI等提出了一種利用不同高斯金字塔等級的卷積去噪自編碼器網絡重構圖像，使用重構殘差圖進行缺陷檢測。
3、其他方法
弱監督的方法是指采用圖像級別類別標注（弱標簽）來獲取分割/定位級別的檢測效果。半監督學習通常會使用大量的未標記數據和少部分有標簽的數據，用于表面缺陷檢測模型的訓練。相對于全監督和無監督方法，雖然目前弱監督和半監督方法在表面缺陷檢測中的應用相對較少，但仍具有參考價值。
MARINO等采用一種基于PRM弱監督學習方法來對馬鈴薯表面缺陷進行分類、定位和分割。ZHAO等提出一種基于GAN的弱監督學習缺陷檢測方法，通過CycleGAN實現表面缺陷檢測 。YU等提出了一種多重訓練的半監督學習方法應用于鋼表面缺陷分類，利用cDCGAN和ResNet-18的多訓練融合算法用于未標記樣本的類別標簽預測及訓練。
此外還有其他方法，例如萬乃嘉設計了基于領域自適應的芯片字符識別系統；饒永明等提出了面向芯片表面符號的結構缺陷的評估方法；主動紅外熱成像技術被應用于微焊球缺陷檢測和倒裝芯片缺陷檢測；空氣耦合超聲激勵應用于倒裝芯片（FC）缺陷檢測。
芯片表面缺陷特性分析
當前表面缺陷檢測中應用的算法與通用目標檢測算法異曲同工，即視表面缺陷為普通目標，忽視了表面缺陷與普通目標之間的差異。下面將對比表面缺陷與普通目標，分析發現表面缺陷存在如下特性。
1、缺陷與缺陷之間的互斥性
在目標檢測中，同類或是異類目標之間相互交疊的現象非常常見。如何檢測相互交疊的目標是目標檢測的重難點。如圖5所示，目標檢測結果中“car”“person”“bicycle”目標相互交疊。然而，表面缺陷之間相互交疊的情況并不存在，在某一個位置上有且只有一個缺陷。因此，缺陷檢測應該有且只能有一個結果，缺陷檢測結果中標注框即是冗余結果。
2、缺陷與缺陷之間存在重要性差異
在通用目標檢測中，所有目標都是平等的，然而表面缺陷之間存在重要性差異。研究通過電子顯微鏡采集了25種類別共181590張半導體芯片表面缺陷圖像，通過數學統計方法分析發現，其中14個類別缺陷樣本為主要成分，共178953個樣本，占比98.53%，樣本分布如圖6所示。各類缺陷樣本占比各不相同，意味著各類缺陷的發生概率各不相同，即存在著重要性差異，因此表面缺陷檢測應合理考慮其差異性。
芯片表面的缺陷并不是孤立存在的，其產生必然會與周圍環境相互作用，存在關聯性。圖7展示的6種缺陷雖然特征完全不相同，但是存在一個共性，即均與Bump元件相關。圖7a是Bump元件上的局部凸起；圖7b是Bump元件上的劃痕；圖7c是Bump元件殘缺；圖7d是金屬物質異常滴漏在Bump元件之間，橋接引起短路；圖7e是Bump元件局部表面顏色異常；圖7f是Bump元件的漏焊，其具體形態特征可以參考周圍Bump元件。在分類任務中，Bump元件可以幫助限定缺陷類別的范圍；在定位任務中，Bump元件的位置可以輔助定位回歸。
雖然表面缺陷檢測技術已經不斷從學術研究走向成熟的工業應用，但是依然有一些需要解決的問題。基于以上分析可以發現，由于芯片表面缺陷的獨特性質，通用目標檢測算法不適合直接應用于芯片表面缺陷檢測任務，需要提出新的解決方法。
來源：機器視覺沙龍、今日光電
