本篇主要介紹熒光內窺鏡的定義，原理及組成，簡要介紹了熒光內窺鏡中熒光分子探針的結構與性能，重點介紹了內窺鏡光學系統中攝像系統、冷光源、數據處理系統的組成以及參數要求。
傳統白光成像缺乏疾病特異性的光學特征，無法定位和可視化癌前病變，另外某些疾病病變的彌漫性和斑片狀，進一步阻礙了檢測。隨著技術進一步發展，逐漸開始進行提高病變組織識別率的技術探索：窄帶成像方法、激光共聚焦成像方法、自體熒光成像和光學分子成像1。本文以下內容主要介紹光學分子成像。
光學分子成像技術使用熒光標記物與生物體內的小分子、蛋白質或者抗體等結合，借助這些熒光標記物進行診斷。在激發光的激發下，標記的腫瘤細胞等病變組織與正常組織圖像呈現出高對比，醫生可以觀察腫瘤大小、輪廓等信息，從而監測腫瘤的生長、位置轉移等狀態。在腫瘤切除手術過程中，通過對腫瘤組織結構進行熒光標記，實時顯示腫瘤區域熒光圖像，可以幫助外科醫生對腫瘤形狀等特征進行判別，從而實現與正常健康組織區分，達到精準治療的目的。
一、熒光
1.1 熒光分類以及原理
物質產生熒光的原因大概可以分為幾類：
（1）光致熒光：由可見光激發的熒光；
（2）化學熒光：由化學反應引起的熒光；
（3）X 射線熒光：由 X 射線引起的熒光；
（4）激光熒光：由激光引起的熒光；
（5）生物發光：在有生命的生物體中產生的熒光。
熒光內窺鏡的熒光產生主要是激光激發。
可見光的波長范圍為 380-760nm，紅外的波長范圍大約在 0.76-50 μm之間。當熒光物質被外界特定能量（如激光等）激發，會引起熒光物質的電子由低能級（基態）躍遷至高能級（激發態），然后電子又會由高能級釋放能量回歸低能級。在由高能級向低能級躍遷的過程中，電子會釋放能量，能量以一定頻率光波的形式被釋放，產生的光波為熒光。
圖 熒光產生的原理圖
1.2 熒光探針
熒光探針是熒光成像技術最重要的載體。熒光探針主要由目標底物的識別基團和熒光染料兩部分構成，在目標物的作用下，識別基團從探針分子上脫落，從而裸露出熒光團進而發揮成像的作用2。目前，可用于探針設計的有機熒光染料主要包括以下幾種：香豆素、氟硼熒、花菁和羅丹明；而無機熒光材料主要包括量子點和一些納米材料。
近紅外熒光探針因其結構相對簡單、易于合成以及功能較多的特點被廣泛應用。近10年來，熒光成像技術主要集中在近紅外窗口，近紅外一區（NIR-I，700-900nm）熒光成像以其高靈敏度、快速反饋、無危害輻射、低成本等優點，在生物醫學研究中受到廣泛關注3。其常用的熒光母體主要有如下幾類：花菁類、氧雜蒽類、BODIPY 類等。
傳統的花菁類染料具有較大的摩爾消光系數、較高的吸收截面、可控的吸收和發射波長以及較低的生物毒性等優勢，被廣泛應用于離子檢測及腫瘤定位等研究領域中。花菁染料的優點使其成為近紅外熒光探針的重點研究方向之一。
花菁類染料通常是兩個含氮芳香雜環通過奇數個碳原子的聚乙炔鏈相連接形成的大共軛結構，其發射波長在 650-900 nm 之間。其分子內的 1，2-亞乙烯基（=CH-CH=）單元的增加或減少可實現對花菁染料吸收和發射波長的動態調整。據報道，每增加一個 1，2-亞乙烯基單元，就會使得相應的花菁染料的吸收波長紅移100 nm4。
圖 花菁染料的結構一般通式
其中最具代表的分子染料是獲得FDA批準臨床應用的吲哚菁綠ICG，該分子的熒光發射峰在800nm左右。
吲哚箐綠（ICG）又稱靛青綠或福氏綠，是一種三碳箐染料，其特點為5：
最大吸收波長805nm，最大熒光波長835nm，均在近紅外光范圍內；
與血漿蛋白結合率高達98%，主要與血漿中較大分子的高密度和低密度脂蛋白相結合，形成較大體積的ICG-血漿蛋白復合體，故極少從脈絡膜毛細血管漏出；
ICG 分子為三維立體結構，其兩個多環結構具有親脂性（如親磷脂成分），而其硫酸鹽基團具有親水性，因此 ICG 具有親脂和親水的雙重特性；
ICG 的血漿清除有兩個高峰，第1個高峰在染料注入后的3~4min，第2個高峰在1h 后。
圖 熒光顯影示意圖
圖 ICG吸收以及激發光譜
二、熒光電子內窺鏡結構組成
熒光電子內窺鏡主要由攝像系統、數據處理系統、光源和顯示器四部分組成。熒光內窺鏡在技術特點上的難度主要體現在以下兩個方面：
1）設計和制造。為實現在寬光譜范圍內400-900nm矯正像差（即白光圖像和熒光圖像切換時不需另行調節焦距），熒光內窺鏡需45-50片光學透鏡并采用特殊的光學結構設計，普通白光內窺鏡通常僅需30-35片光學透鏡；
2）鍍膜技術。由于熒光內窺鏡的鏡片數量遠超過普通白光內窺鏡，其單面反射率需控制在0.3%以內，從而實現高透過率和高對比度。白光內窺鏡的單面反射率控制范圍則為0.5%以內6。
圖 海泰新光熒光內窺鏡示意圖
圖 熒光內窺鏡原理示意圖7
2.1 攝像系統
攝像系統主要由機械結構、圖像傳感器、光學成像系統、內部導線、導光光纖等組成，功能為將待觀察的表面信息，由光信號轉換成電信號。
2.2 圖像傳感器
圖像傳感器是一種將光學圖像信號轉換為電子信號的器件，分為光導攝像管和固態圖像傳感器兩種。圖像傳感器并不是電子內窺鏡的獨有器件，硬管式內窺鏡和光學纖維內窺鏡也可連接圖像傳感器，電子內窺鏡中的圖像傳感器位置在攝像系統的前端，另外兩種內窺鏡在位于后端手柄處。
固態圖像傳感器分為電荷耦合器件圖像傳感器（CCD）和互補金屬氧化物半導體圖像傳感器（CMOS）。這兩種圖像傳感器的均是將光信號轉換電信號的工作原理。二者主要對比如下圖所示8：
CMOS 圖像傳感器近年來增長迅速，已接近全面替代CCD傳感器。在這樣的背景下，行業主要參與者都在加大CMOS 圖像傳感器的研發投入力度。
在各應用領域的主流產品中，絕大部分采用了三巨頭的CMOS傳感器。市場熱門的手機都是采用索尼、三星與豪威科技(Omnivision，簡稱OV，韋爾股份收購)的產品，這三家把持著大部分消費類電子領域CMOS傳感器的市場份額。而在汽車和安防等行業應用領域，一般都是選用安森美，OV與索尼三家的產品。
行業龍頭索尼在2016年占據了42%的市場份額，產品涵蓋各個消費類電子到各類行業應用(如汽車、安防、工業等)，且主攻高端市場，技術實力最強;其次是三星，主攻消費類電子市場，多是自產自銷，在技術上緊追索尼，已經可以提供與索尼同級別的CMOS傳感器，但三星的產品在行業應用較少;第三位豪威科技，在行業應用上有多年積累，尤其是在車載 CMOS傳感器應用領域，市占率高于索尼9。
2.3 光學成像系統10
光學成像系統承擔的則是將待拍攝的畫面呈現在 CMOS or CCD上，光學成像系統是三大種類內窺鏡共有部分，也是熒光電子內窺鏡必不可少的部分。光學成像系統由一組鏡片組成，其鏡片材料通常為玻璃或者人工樹脂，手機相機的鏡組材料通常是后者，而單反相機的鏡組材料通常為前者。
圖 前端物鏡鏡片組合
2.4 光學系統主要參數11：
視場角，物體圖像的入射光線，最先通過物鏡玻璃，進入物鏡后平行傳導。進入物鏡的入射光線和水平線的夾角，即視角（DOV），Direction Of View. 內窺鏡視角一般有0°，12°，30°，70°，90°。
醫用的電子內窺鏡和光學纖維內窺鏡的前端均可彎曲，但光學纖維內窺鏡因為光纖易斷裂，和金屬做成的電纜相比，韌性遠遠不足，醫用電子內窺鏡的最大彎曲角度為 270°，光學系統的視場角為 90°時，即可保證觀察無盲區。
視野，物鏡可以觀察到的范圍，稱為視野（FOV）, Field Of View. 內窺鏡視野范圍一般分為廣角，標準角。
通光孔徑，光學成像系統的通光孔徑的大小，影響光學成像系統的景深和采光能力，通光孔徑越大，光學成像系統的采光能力則越強，圖像越明亮清晰，所需要的光源照明亮度則越低，但是系統的景深則越小。
光學成像系統分辨率，是指"物"在經過光學系統后的"像"在細節上能被分辨的最小距離。大于這個距離的兩個像點就能被識別為兩個點，而小于這個距離的兩個點經過光系統后就會被識別為一個點。圖像傳感器的光學分辨率是用每毫米上可以分辨的黑白線對數來表示，即每毫米的寬度上，有多對像元。
圖 從"物"到"像"的失真12
這里需要區別的是我們常規了解的圖像分辨率，圖像分辨率的定義是單位距離內的像用多少個像素來顯示。例如：智能手機相機，使用的微型圖像傳感器的像素高達 2000 萬甚至 4000 萬。從像素值而言，遠遠高于現在的單反相機，可是，攝影愛好者依然是經常手持單反拍攝而不是手持手機拍攝，其主要原因就在于，手機相機所匹配的光學成像系統的鏡頭模組，分辨率是達不到對應圖像傳感器的光學分辨率的。所以，決定整個相機拍攝的分辨率的是光學成像系統。
景深，即景物的影像的清晰深度，它是光學系統可以清楚觀察到的從近到遠的一段距離。在這段距離內，場景中的物體不論是移近鏡頭，還是移向遠處，都能夠形成清晰的圖像。
三、光源13
3.1 光源分類及對比
照明光源是電子內窺鏡的核心之一，主要由光源系統和導光光纖組成，主要功能是為腔體照明。照明光源有LED光源、氙氣燈、鹵素燈、白熾燈、汞燈、金鹵燈。但都還不是絕對的冷光，在很多條件下并不能直接用于患者，需要通過一定的方式將這些光源轉化為冷光(降級色溫)。首先，要采用真空鍍膜的非球形反射鏡面，該鏡面通過鍍膜能夠吸收大量的紅外線，使得發光溫度得到有效的降低，為了保證鍍膜的正常工作，還要在光源旁邊加上冷卻風扇。確保其散熱性能。
圖片表 白熾燈、熒光燈、金鹵燈、氙氣燈和 LED 燈的數據
近年來，LED技術正在成為內窺鏡的首選光源，特點壽命長、穩定性高、而且更容易集成在內窺系統中。結合高速發展的微電子學和光學，LED照明為該領域帶來了各種新的發展和應用。
氙氣燈具有寬光譜范圍，提供高亮、穩定的寬帶輸出和均勻照明，不僅是很多生物醫學應用的理想選擇，更是極大地改進了內窺鏡技術和深度腔內手術照明。氙燈比傳統白熾燈的壽命更長，性能比鹵素燈更優越。氙燈也具有更理想的相關色溫（CCT，如下圖所示）和顯色指數（CRI）。
暖色紅-橙光相比冷色藍-白光具有更低的色溫。用于內窺鏡的先進LED系統允許用戶調節每種可見光顏色，得到使人舒適的CCT水平，從而降低眼睛疲勞。
圖 CCT（相關色溫）展示
CRI用于表征光源還原被觀察物體顏色的好壞。CRI越高，越能準確地還原物體顏色（如圖所示）。這一點對于醫學專家很重要，因為他們能夠根據色差識別解剖情況。氙燈是觀察組織真實顏色的理想照明光源，幫助提高診斷和治療的準確度。
圖 顯色指數（CRI）
3.2 照明光源安裝方式
照明光源安裝方式，有前置安裝和后置安裝兩種，前置安裝是采用微型LED燈珠，將燈珠與鏡頭并排安裝，內窺鏡的前端為細孔徑，空間位置很小，照明光源僅能采用微型 LED，沒有額外的空間為光源進行散熱系統的設計，使得其散熱問題難以解決，以致光源的功率較低，使得整體照明亮度有限。
后置照明光源安裝，需借助導光光纖將照明光導入腹腔，光纖導光的效果如下圖所示。后置照明光源安裝，照明光源的空間體積不受限制，有足夠的空間對光源進行散熱系統的設計，光源的功率不因散熱問題受到限制，可以提高 LED 燈光源的功率來增加照明亮度。在維護與更換上難度遠遠低于前置照明安裝，油水環境下，光源電路不受影響，僅有普通的使用損耗。
圖 導光光纖
LED最大的優勢就是裝配簡單，功耗較低，而光纖最大的優勢就是在頭端部不會產生熱量，且占用頭端部的空間較小。因為光纖束只傳導光，本身不會發熱，且光纖束由若干根 直徑25-50μｍ的光纖絲組成，可以根據不同的頭端部設計成各種形狀，以適應各種各樣的成像器件及尺寸要求14。
圖 光纖導光形狀
3.3 熒光光源結合方式
當前腹腔鏡與光學分子成像技術相結合的方式主要分為雙光源雙光路成像和雙光源單光路成像兩種機制。
雙光源雙光路成像系統含有兩個光源：激發光光源和白光光源；兩個相機：熒光相機采集成像部位的熒光信息，彩色相機采集與普通內窺鏡成像效果相同的白光圖像。兩種光源通過光纖或者分光棱鏡耦合后送入內窺鏡中照射成像區域，激發成像區所吸收的熒光試劑使其發射出另一譜段的發射光。內窺鏡采集發射光同時將采集到的分成兩部分，一部分經過可見光濾光片（400-650 nm）送入彩色相機中，另外一部分經過發射光濾光片（根據熒光試劑的發射譜段來定）送入熒光相機中成像15。
圖 內窺式雙光源雙光路熒光分子成像系統原理示意圖
雙光源單光路成像系統，為了減小成像系統的體積，一些系統采用單光路成像。通過一組濾光輪交替進行白光和熒光成像，或者通過在一定時間間隔內同步觸發激發光源和相機、白光光源和相機，用一臺相機來獲取熒光圖像和白光圖像。這種方法系統體積小，操作靈活方便，但是不能同時獲取白光圖像和熒光圖像。
圖 內窺式雙光源單光路熒光分子成像系統原理示意圖
3.4 圖像采集方案16
在正常白色照明光源下肉眼和攝像頭均無法識別熒光波長，若要清晰識別熒光圖像，只有將照明光源關閉。因此，正常照明的明場圖像與無光源照明的熒光圖像無法在同一時間內采集。
為了實現在正常照明模式下將熒光標記腫瘤部位顯示出來，采用分時段采集白光圖像和熒光圖像后再進行處理融合標記。而為了保證最終處理融合標記的圖像的準確性，處理融合標記時使用的兩種圖像的采集時間差應降到最低，可最大限度的讓兩種圖像的實際誤差降到最低，而最低時間差為攝像頭的單幀拍攝時間。
圖 照明光源與激發光源時序生成示意圖
熒光圖像和光、明場圖像間隔拍攝，每次融合時使用最新采集得到的圖像，可保證融合的結果圖像的準確性。
圖 圖像采集方法示意圖
四、數據處理系統
內窺鏡的圖像處理中心，核心功能是將拍攝采集到的圖像進行處理加工然后顯示出來，也可在此進行錄像、數據保存、歸檔、分析等。顯示器則是處理的圖像顯示出來。
通過前面章節敘述，攝像系統采集到的數據圖像為兩種類型不同的圖片，其一為正常白色光源照明下拍攝所得的明場圖像，其二為照明光源關閉模式下的熒光圖像。熒光內窺鏡最終目標是在正常光源照明時，將被熒光標記的待切除部分的凸顯出來，提高手術的指導性和指向性，以達到提升切除手術精準度的目的1。如何高速準確的呈現白光和熒光圖像的融合逐漸成為研究的熱點以及熒光內窺鏡的核心技術。
圖像融合方法一般分為像素級、特征級和決策級三個融合級別。基于像素級融合的方法是圖像融合領域的主流研究趨勢，因為它在融合圖像中造成的偽影是最小的，其像素由一組圖像像素或其他形式的圖像參數在最低物理級確定的17。
圖像融合的評價方式可大體上分為主觀評價和客觀評價。其中主觀評價是基于人眼來評估融合后的圖像，這種方式比較適用于圖像上表示明顯的信息，可以進行快速、直觀的進行評判，但是由于觀察者的不同，會產生的圖像質量評價的不同，所以通常將主觀評價與客觀評價結合起來對一幅圖像的質量進行評價。
客觀評價常見參考指標有如下幾種18：
1)信息熵（IE）：圖像包含平均信息量的度量，熵值與融合的效果成正相關，值越高表示得到的融合圖像中的信息量越大，融合的質量越好；
2)峰值信噪比（PSNR）：峰值功率與噪聲的比值。PSNR值越大，證明融合后的圖像與源圖像越接近、失真越小；
3)互信息（MI）：度量融合圖像含有源圖像信息量多少的指標。MI值越大表示融合圖像繼承的信息越多，融合效果越好；
4)視覺信息保真度（VIF）：衡量的是融合圖像的信息保真度，與人類的視覺系統是保持一致，VIF 計算融合圖像與源圖像之間的失真程度，能準確地發現融合圖像中存在的畸變和改進。VIF 值越大，融合效果越好；
5)平均梯度（AG）：用于衡量圖像的清晰程度，AG的值越大，圖像的清晰度越好，說明融合的質量越好；
6)邊緣保持量：用于度量從源圖像中傳輸的邊緣信息量。并在此基礎上假設融合圖像保留了源圖像中的邊緣信息，值越大則梯度丟失越小，融合圖像保留的梯度信息越多。
參考文獻：
[1] 毛潤. 熒光腹腔內窺鏡成像系統關鍵技術研究[D].天津工業大學,2020.
[2] 田藝濃. 基于部花菁染料近紅外熒光探針的合成及應用[D].大連理工大學,2021.
[3] 黃艷芳,李子婧.近紅外二區熒光探針的設計及應用研究進展[J].廈門大學學報(自然科學版),2022,61(01):1-12.
[4] 孫榮環. 基于花菁的近紅外熒光探針的制備及應用[D].濟南大學,2021.
[5] 徐繼玲,田繼海.熒光腹腔鏡的工作原理及應用[J].世界最新醫學信息文摘,2019,19(33):238.
[6] 資料來源：海泰新光招股書，華經產業研究院
[7] 朱鄲. 多光譜融合內窺鏡成像關鍵技術研究[D].電子科技大學,2022.
[8] 資料來源：知乎
[9] 資料來源：弗諾斯沙利文以及公開資料整理
[10]申洪羽. 醫用硬性內窺鏡光學系統設計及信號處理[D].電子科技大學,2019.
[11] 資料來源：部分資料以及圖片來自于德國雪力公司
[12] 資料來源：濱松中國成像應用工程師-鄭一哲
[13] 資料來源：https://www.tengrant.com/
[14] 陸小建,楊琰,濮悅.內窺鏡照明方式的選擇[J].無損檢測,2013,35(03):60-61+76.
[15] 毛亞敏,遲崇巍,葉津佐,楊鑫,田捷.新型內窺鏡成像系統的研究進展[J].中國醫療器械信息,2015,21(10):10-15.
[16] 卞仕雅. 熒光電子內窺鏡的光學系統設計和圖像采集處理方案[D].合肥工業大學,2019.
[17] Kumar M , Dass S . A Total Variation-Based Algorithm for Pixel-Level Image Fusion[J]. IEEE Transactions on Image Processing, 2009, 18(9):2137-2143.
[18] 朱鄲. 多光譜融合內窺鏡成像關鍵技術研究[D].電子科技學,2022.
