全球人工智能（AI）在醫(yī)學(xué)領(lǐng)域的應(yīng)用已十分廣泛，如疾病監(jiān)測(cè)或健康管理、醫(yī)學(xué)影像輔助診斷、疾病預(yù)測(cè)和治療等。中國人工智能在醫(yī)學(xué)領(lǐng)域的應(yīng)用主要集中于醫(yī)學(xué)影像輔助診斷，主要適應(yīng)證有肺結(jié)節(jié)、青光眼、糖尿病性視網(wǎng)膜病變和白內(nèi)障等眼病的篩查，結(jié)直腸息肉/結(jié)直腸腫瘤、肝癌和乳腺癌等疾病診斷等。

由于我國審批數(shù)據(jù)標(biāo)準(zhǔn)庫不統(tǒng)一和醫(yī)學(xué)人工智能責(zé)任主體難以明確等問題有待解決，醫(yī)學(xué)人工智能產(chǎn)品審批嚴(yán)格，截至目前獲得審批上市資格的人工智能產(chǎn)品并不多。

在臨床試驗(yàn)設(shè)計(jì)過程中，以CT類肺結(jié)節(jié)輔助診斷軟件為例，需要考慮以下幾要素：

（1）試驗(yàn)設(shè)計(jì)

a) 優(yōu)先選擇同品種產(chǎn)品或臨床參考標(biāo)準(zhǔn)（即臨床金標(biāo)準(zhǔn)）進(jìn)行非劣效對(duì)照設(shè)計(jì)，可選擇臨床金標(biāo)準(zhǔn)方法（由3名高年資影像科醫(yī)師一致判定的結(jié)果作為金標(biāo)準(zhǔn)）采用同期自身配對(duì)設(shè)計(jì)。

b) 若無同品種產(chǎn)品，且難以獲取臨床參考標(biāo)準(zhǔn)（如違背倫理）可選擇用戶結(jié)合軟件聯(lián)合決策（醫(yī)生+AI）與用戶單獨(dú)決策（醫(yī)生）進(jìn)行優(yōu)效配對(duì)設(shè)計(jì)。

（2）入排標(biāo)準(zhǔn)

應(yīng)基于目標(biāo)疾病的流行病學(xué)特征，保證陽性樣本和陰性樣本選取的合理性和充分性。在實(shí)際入選患者的時(shí)候，結(jié)合產(chǎn)品的特點(diǎn)可選擇具有特定特征患者的樣本，例如針對(duì)肺結(jié)節(jié)識(shí)別的AI軟件，可選擇需進(jìn)行肺結(jié)節(jié)篩查的高危人群（如年齡40歲以上，年吸煙史＞20包/年，戒煙＜5年等）。另一種比較折中入選病例的方法是有針對(duì)性地入選患者，由研究者根據(jù)患者的體征、癥狀等綜合判斷其是否應(yīng)該接受影像檢查，例如某患者具有發(fā)熱、咳嗽、咳痰等癥狀，當(dāng)研究者懷疑其有肺部疾病時(shí)，可對(duì)將其納入到某AI軟件的臨床試驗(yàn)中。為了避免選擇偏倚，應(yīng)當(dāng)對(duì)每一組疾病程度的病例進(jìn)行統(tǒng)計(jì)學(xué)分配。

（3）評(píng)價(jià)指標(biāo)

建議結(jié)合適用人群、病變等層面選觀察指標(biāo)，一般選擇敏感性、特異性、ROC/AUC作為主要觀察指標(biāo)，亦可以在此基礎(chǔ)上根據(jù)軟件特點(diǎn)選擇敏感性/特異性衍生指標(biāo)、ROC/AUC衍生指標(biāo)、組內(nèi)相關(guān)系數(shù)、Kappa系數(shù)、時(shí)間效率、數(shù)據(jù)有效使用率等指標(biāo)作為觀察指標(biāo)。

例如：對(duì)于針對(duì)病灶定位的CT影像類AI軟件，其靈敏度應(yīng)在病灶水平上進(jìn)行統(tǒng)計(jì)。當(dāng)臨床試驗(yàn)選擇用戶結(jié)合軟件聯(lián)合決策與用戶單獨(dú)決策進(jìn)行優(yōu)效對(duì)照設(shè)計(jì)時(shí)，可選用ROC/AUC作為主要評(píng)價(jià)指標(biāo)。此時(shí)研究者需要在沒有AI軟件輔助的時(shí)候單獨(dú)找出影像上的病灶，并對(duì)這些病灶進(jìn)行5級(jí)把握度評(píng)分（肯定不是病灶、可能不是病灶、無法確定、可能是病灶、肯定是病灶），然后再在有AI軟件輔助的情形下，重新按上述方法進(jìn)行病灶評(píng)價(jià)。需要注意的是，采用此種方法進(jìn)行評(píng)價(jià)時(shí)應(yīng)注意閱片的隨機(jī)順序，以避免研究者的記憶偏倚，如有可能，建議可在兩次閱片之間設(shè)置一定的洗脫期。

又如：用于大樣本量輔助篩查的軟件，以提高輔助診斷時(shí)間的時(shí)間效率為首要目標(biāo)的某些軟件，注重提高診斷的靈敏度，無同品種產(chǎn)品也無臨床參考的金標(biāo)準(zhǔn)，其臨床設(shè)計(jì)可選擇用戶結(jié)合軟件（醫(yī)生+AI）聯(lián)合決策與用戶單獨(dú)決策（醫(yī)生）進(jìn)行交叉對(duì)照設(shè)計(jì)，以敏感性、特異性、時(shí)間效率作為主要觀察指標(biāo)

（4）實(shí)施機(jī)構(gòu)

不同于訓(xùn)練數(shù)據(jù)主要來源機(jī)構(gòu)，地域分布盡可能廣泛（涵蓋全國東西南北中區(qū)域）機(jī)構(gòu)數(shù)量盡可能多，以確認(rèn)算法泛化能力。

（5）統(tǒng)計(jì)方法

依據(jù)《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審評(píng)要點(diǎn)》，可采用多閱片者多病例（MRMC）試驗(yàn)設(shè)計(jì)，MRMC是人工智能輔助診斷中很常用的一種設(shè)計(jì)。

FDA的指南《Clinical Performance Assessment: Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data in - Premarket Notification (510(k)) Submissions》中給出了MRMC的設(shè)計(jì)介紹:

對(duì)于深度學(xué)習(xí)輔助決策醫(yī)療軟件推薦采用多病例多人閱片的模式（MRMC），MRMC設(shè)計(jì)可以完全使所有閱片者進(jìn)行交叉閱讀，然而，沒有用MRMC設(shè)計(jì)也是可以接受的，例如在前瞻性試驗(yàn)場景中無法做到讓所有的醫(yī)師交叉閱讀同一病例片。

借鑒CAD中的MRMC設(shè)計(jì)，人工智能輔助診斷器械也可以用MRMC設(shè)計(jì)。那么在MRMC的設(shè)計(jì)框架下，采用什么樣的統(tǒng)計(jì)方法呢？目前來說最常見的有兩種方法DBT法和OR法，本質(zhì)上都是混合效應(yīng)模型，不同的是Y的定義，DBT法中結(jié)局變量Y是讀片結(jié)果（0，1）的Jacknife變換得分值，OR法中結(jié)局變量Y是ROC曲線下面積。這兩種方法最常用，但是除了這兩種方法外還有幾種其他的方法，比如GEE模型、Bootstrap法、廣義線性混合效應(yīng)模型、Bayesian Hierarchical model等。