摘  要 / Abstract

深度學習輔助醫療產品確證性臨床試驗的主要評價目標是輔助臨床醫療的診斷準確性和安全性， 多閱片者多病例（MRMC）的研究設計是評價或比較不同輔助醫療產品軟件診斷性能的一種方法，可有 效地避免或減少臨床評價過程中因讀片醫生經驗或資歷水平等不同以及使用場景等各種差異而產生的偏 倚，從而更加客觀的評價試驗結果。本文基于 MRMC 設計的特點，探討了深度學習輔助醫療產品的臨 床試驗設計和方法學思考要點，如對選擇對照、目標疾病診斷金標準、臨床試驗類型和評價指標的考慮；對檢驗假設建立、病例和閱片者樣本量、病例和閱片者的代表性、閱片過程隨機化及對閱片者培訓等的 考慮 ；對臨床試驗過程中可能產生的各種偏倚的考慮。同時，提出了目前仍面臨的問題和難點。建議申 辦方多與方法學專家和監管部門溝通，以期為臨床試驗科學、完善、合理的設計和執行提供參考。

The main objective of deep learning-assisted confirmatory clinical trials is to evaluate the accuracy and safety of  clinical diagnostic products. The multi-reader multi-case (MRMC) research design is a method to evaluate or compare the  diagnostic performance of different medical device software, which can effectively avoid or reduce bias in the clinical evaluation  process due to differences in the experience or qualification of film readers and different scenario of application and can deliver  more objective study results. Based on the characteristics of MRMC design, this paper discusses key considerations of clinical  trial design and methodology of deep learning-assisted medical products, including the selection of control, the gold standard  of target disease diagnosis, the type of clinical trial and evaluation index, the establishment of test hypothesis, the sample size  of cases and readers, the representativeness of cases and readers, the randomization of film reading process, the training for  film readers, and consideration of bias in the studies. At the same time, current problems and difficulties are put forward. It is  suggested that sponsors communicate with methodology experts and regulators more frequently to facilitate more scientific  study design and conduct studies more effectively.

關 鍵 詞 / Key words

深度學習 ；人工智能 ；輔助醫療 ；多閱片者多病例 ；確證性臨床試驗

deep learning; artificial intelligence; deep learning-assisted medical device software; multi-reader multi-case;  confirmatory clinical trials

以深度學習（deep learning） 為 核 心 的 人 工 智 能（artificial intelligence，AI）技術的興起給 計算機圖像識別、自然語言處理 和語音識別等領域帶來了巨大的 技術突破，這些技術突破也逐漸 從通用算法研發拓展到了醫療、 遙控、自動駕駛等各領域學科場 景中 [1]。以臨床醫療為例，如通 過引進 AI 深度學習技術在內的各 種自動化工具 ；各領域深度學習 研發輔助決策醫療器械軟件 ；基于大量的醫療數據信息和各種算 法，為醫務人員提供診療活動建 議以輔助進行臨床決策（如臨床 的輔助篩查、輔助診斷、輔助治 療和輔助結局預測）等。 

近年來，AI 在我國輔助治療、 醫學影像處理等醫療器械領域的 應用愈發廣泛，為提高診斷率和 治療有效性做出了重大貢獻，已 成為醫療器械行業的熱點和焦點。目前，使用傳統 AI 技術的醫療器 械已有多款產品注冊上市（如乳腺腫瘤、肺結節、結腸息肉等輔 助識別軟件），而使用深度學習等 新一代 AI 技術的醫療器械仍處于 研發、檢測、臨床試驗階段。從 批準上市前對深度學習輔助醫療 器械軟件確認的臨床試驗角度出 發，考慮到軟件的真實使用場景 和使用對象的差異性，國家藥品 監督管理局醫療器械技術審評中 心建議臨床試驗采用多閱片者多 病例（multi-reader multi-case， MRMC） 研 究 設 計 [2]。MRMC研究設計是 FDA 推薦的，用于比 較 2 種或多種影像診斷軟件診斷 性能的常用方法，可有效避免臨 床評價過程中因讀片醫生、使用 場景等各種差異而產生的讀片偏 倚，從而更加客觀的評價試驗結 果 [3]。但由于 MRMC 研究設計常 需要閱片者分別在不同的閱片模 式下（如單獨閱片和 AI 輔助閱片） 對所有入選病例交叉讀片，閱片 結果可能存在病例與閱片者之間 的多重相關問題，也可能存在試 驗結果和閱片者間潛在的交互作 用。這對于 MRMC 設計的臨床試 驗來說不管是研究設計、實施還 是最終統計分析都比常規設計的 臨床試驗更加專業和復雜，尤其 是樣本量計算及對相關參數的合 理假設。據此本文從臨床研究方 法學角度對 MRMC 研究設計的相 關設計要點進行簡要介紹，以期 為開展深度學習輔助醫療器械軟 件確認臨床試驗提供支持和參考。

01、研究設計方法

AI 輔助醫療器械確證臨床試 驗的目的旨在評價目標設備在預 期使用人群和計劃使用場景中對 目標疾病篩查、診斷或預測等臨 床評估的安全性和有效性。采用 MRMC 研究設計的臨床試驗設計 分類基本分為以下 3 種 [4]。

①配對閱片者配對病例設計 ：全交叉設計全部閱片者對每一種閱 片模式下所有病例的影像數據給出 閱片結果。②非配對閱片者配對病 例設計 ：所有病例均提供所有閱片 模式下的影像數據，部分閱片者只 針對某一種閱片模式下的影像數據 給出閱片結果，其余閱片者對另一 種閱片模式下的影像數據給出閱片 結果。③配對閱片者非配對病例設 計 ：部分病例提供某一種閱片模式 下的影像數據，其余病例提供另一 種閱片模式下的影像數據，全部閱 片者均對所有病例的影像數據給出 閱片結果。其中，應用最多最常見 的是①全交叉配對設計，這種設計 需要的樣本量相比②③非配對設計 少。如果在某個前瞻性研究中，無 法同時獲取多名臨床醫生對同一患 者影像數據的閱片結果或者同一患 者無法同時提供所有不同閱片模式 下的影像數據時，也可以采用非完 全交叉的研究設計方法。

02、評價指標和研究假設

MRMC 與新藥和醫療器械 確證性臨床試驗的設計思路一致， 主要和次要評價指標的選擇取決 于目標產品的預期用途，并且評 價指標應該在研究設計階段方案 中進行明確的定義。 

2.1 評價指標

 MRMC 研究設計常應用于影 像診斷產品的臨床評價，如 AI 輔 助臨床醫生對于肺結節的檢出 [5] 或者對于乳腺癌的篩查診斷 [6]，采 用 MRMC 研究設計的 AI 輔助醫 療器械確證臨床試驗的評價指標 多為診斷試驗研究的相關評價指 標。從診斷產品的性能角度考慮， 受試者工作特征曲線（receiver operating characteristic curve， ROC）曲線下面積（area under curve，AUC）可以綜合所有可 能診斷界值（cut-off value）下 的 靈 敏 度（sensitivity）和 特 異 度（specificity），從整體水平評 價及比較不同診斷產品或不同閱 片模式下的診斷效能，通常是被 優先考慮的一個主要指標。另一 方面，從臨床實踐的角度考慮， 針對有實際臨床意義或影響臨床 操作的診斷界值，也建議給出此 診斷界值的靈敏度和特異度，以 結合臨床實際評價新輔助診斷產 品或者影像診斷模式對疾病或患者診斷的實際獲益或風險，通常 也會將特定診斷界值下的靈敏度 和特異度作為另外一個主要指 標，或者也可以退而求其次將其 定義為次要評價指標。但需要注 意的是，此處的診斷界值應該是 對應有明確臨床意義的界值，而 不是僅通過分析 ROC 曲線的統 計方法得到的界值。目前，AI 輔 助醫療器械除應用在病例水平檢 測外，也有一部分是具體到病變 水平（如結節、冠狀動脈部位） 給出相應的結果，所以除對病 例水平的 ROC 分析外，專門針 對病變水平的無反應 ROC 曲線 下 面 積（free-response ROC area under curve,FROCAUC）及在此基礎上做出改進的 可 替 代 無 反 應 ROC 曲 線 下 面 積（alternative free-response ROC area under curve， AFROC-AUC）也常作為評價 指標 [7-9]。 

2.2 假設檢驗

 臨床試驗評價深度學習輔助 決策醫療器械軟件的設計多樣， 通常情況下建議選擇同期可比的 對照進行比較研究，如可以選擇 同類儀器或軟件或臨床參考標準 進行非劣效比較設計，也可以選 擇替代方法，如 AI 輔助醫生聯 合閱片與醫生單獨閱片比較進行 優效比較設計 [2]。統計學假設檢 驗類型的選擇需要結合目標產品 的臨床預期、試驗的主要目的和 選擇的參考對照綜合考慮，但 總體來說假設檢驗基本類型與 臨床研究的常見研究假設一致， 可以分為非劣效性試驗（noninferiority trial）、 等 效 性 試 驗 （equivalencetrial）和優效性試 驗（superiority trial）[10]。幾種 假設檢驗的具體表述形式見表 1。

申辦者在計劃開展試驗時需 要結合產品實際情況選擇合理的 設計類型。國家藥品監督管理局 醫療器械技術審評中心也建議優 先選擇同品種產品或臨床參考標 準進行非劣效對照設計，若無同 品種產品且難以獲取臨床參考標 準可選擇替代方法，如選擇用戶 結合軟件聯合決策與用戶單獨決 策進行優效對照設計 [2]。但是無 論是哪種設計，非劣效或優效試 驗對界值的確定應當有充分的臨 床依據。

03、目標疾病診斷金標準

對于 MRMC 設計的臨床試 驗來說，必須明確針對研究對象 目標疾病狀態的診斷金標準。所 謂“ 金 標 準 ”（gold standard） 就是目前醫學界公認的、診斷某 一疾病的最佳方法，如病理檢查、 隨訪診斷或其他檢查手段的檢查 結果等。對于深度學習輔助決策 醫療器械軟件或影像診斷等臨床 試驗來說，會存在目標疾病暫時 并未有明確的診斷金標準或標準 診斷方法，針對這種情況基于多 名臨床專家共同讀片的診斷結果 也可以作為最終評價的金標準。 

如果采用多名臨床或影像專 家共同讀片的診斷結果作為金標 準，建議在研究方案中對以下內 容進行明確 ：①專家的數量。② 專家的專業、資質、知識水平、 職稱或資歷。③在讀片過程中為 幫助專家給出相對準確的診斷結 果而提供給專家的關于研究對象的具體信息（如年齡、性別和其 他檢查結果等）。④臨床專家對于 目標疾病定義為陽性或者陰性的 明確的判定方法和標準等。需要 注意的是，參與目標疾病金標準 診斷結果的臨床或影像專家與目 標產品試驗評價過程中的閱片醫 生必須是完全獨立的。

04、病例和閱片者數量

如前所述，在 MRMC 設計 的臨床試驗中，數據變異的來源 除入組病例間的變異外，閱片者 間的變異性也是一個主要的影響 因素。在臨床試驗設計階段尤其 是樣本量估算時，需要綜合考慮 病例間的變異和閱片者間的變異， 分別估計病例和閱片者兩部分的 樣本數量。同時，在相同的檢驗 假設條件下采用多數量的閱片者 也可以在一定程度上減少所需的 病例數量。 

由于 MRMC 設計的臨床研 究樣本量計算推導過程相對比 較復雜且偏數學推導，后續本 研究組將專門針對樣本量的計 算進行闡述，在此不再做詳細 介紹。但需要明確的是，在臨 床試驗設計時需結合臨床研究 的主要目的，即從統計學角度 同時考慮估計納入病例和閱片 醫生兩部分的樣本量。

05、數據收集和報告

MRMC 設計的臨床試驗中統 計評價指標主要是基于 ROC 曲 線計算得到的 AUC，以及相關 的 衍 生 指 標（ 如 FROC-AUC、 AFROC-AUC），也可以是特定 診斷界值下的靈敏度、特異度一 類二分類指標。所以，針對這類 設計的研究，以 AI+ 臨床醫生評 判和臨床醫生獨立評判為例，需 要收集的數據信息除病例和閱片 者的基本信息外，與有效性評價 相關的指標主要為病例水平的 金標準診斷結果（如陽性 / 陰性 或病例 / 非病例格式的二分類數 據）、臨床醫生獨立閱片的診斷結 果和 AI 輔助下臨床醫生獨立閱片 的診斷結果。其中，與 MRMC ROC 分析相對應，臨床醫生獨 立閱片的評判結果和 AI 輔助下臨 床醫生獨立閱片的評判結果常常 是相對細化的置信度評分，如乳 腺影像報告和數據系統（breast imaging reporting and data system，BIRADS） 分 級 形 式， 即 1~7 級的等級計數形式或百分 計數形式，反映了臨床醫生對于 判定陽性結果的把握程度，評分 越高表示診斷為陽性病例的可能 性越大。通常在有些臨床試驗中 除細化的置信度評分外，臨床醫 生也可根據臨床實際給出一個二 分類的結果，用于靈敏度和特異 度等指標的計算。 

FDA 給 出 了《 關 于 診 斷 類 產品評價的統計結果報告指南》 （Statistical Guidance on Reporting Results from Studies Evaluating Diagnos Tests）[11]，可以為 AI 輔助診斷 臨床試驗的統計結果報告提供標 準。針對MRMC設計的臨床試驗， 參考該指南建議匯報總體的診斷 效能情況、每位閱片醫生的診斷 準確性，以及考慮閱片者、病例 等各種變異下的置信區間等結果。

06、MRMC設計在臨床試驗研究中的偏倚及控制

臨床試驗的主要目的是盡量 無偏倚的評價診斷產品的準確度 或 2 種或 2 種以上不同診斷產品 或診斷模式之間的準確度差異 [12]。但臨床試驗實際操作過程中難免 會引入一些偏倚從而影響試驗結 果的準確評價，在采用 MRMC 設計的診斷試驗準確度評價研究 中最常見的幾種偏倚如下。 

（1）選擇偏倚 ：入選樣本受 額外因素的影響無法代表目標總 體而引起的偏倚。對 MRMC 設 計的臨床研究入選樣本應包括入 組病例和入組閱片醫生兩部分。入組病例應包括全面的疾病特征 和信息（如不同分型、不同嚴重 程度等），入組閱片醫生也應當依 據目標產品的預期使用環境和使 用對象選擇與之相匹配的閱片醫 生（如職稱、資歷、閱片經驗等）， 以保證研究人群的代表性。

（2）證實偏倚 ：陽性（或陰 性）試驗結果的患者會有更多的 機會接受金標準的驗證，這樣當 僅以接受金標準驗證的患者進行 診斷能力的評估時就會產生證實 偏倚，尤其是在回顧性收集資料 的研究設計中，更應該注意盡量 減少這類偏倚，且前瞻性設計的 研究也建議盡可能讓全部入組病 例均能接受金標準的驗證。

（3）閱片順序偏倚 ：在比較 2 種或 2 種以上不同診斷產品或 診斷模式之間的診斷能力時，閱 片醫生需要分別在不同模式下進 行閱片，后一種閱片模式下閱片 醫生的判讀可能會受到記憶中前 一閱片模式下的信息干預而影響 結果。閱片過程的隨機化操作可 有效減少這類偏倚，可以隨機分 配閱片醫生的閱片順序，也可以 隨機分配入組受試者接受時的閱 片順序。另外，對于不同診斷產 品或診斷模式間的讀片間隔，建 議設定至少 4 周的洗脫期，因為 洗脫期間隔越長讀片過程中的記 憶偏倚相對越小 [3]。另外，為避 免閱片醫生間由于不同的閱片習 慣和評判標準所帶來的閱片過程 和評判結果的偏倚，研究開始前 需要對閱片者進行統一的培訓， 包括閱片環境、閱片方法和評判 結果的標準化定義等，同時建議 在方案中明確定義整個閱片流程、 閱片操作的規范化和評判結果的 標準化。 

07、結    論

在深度學習輔助醫療器械 軟件確認的臨床試驗中，采用 MRMC 的設計方法可以有效地控 制由于閱片醫生年資、水平和經 驗等不同和器械軟件使用場景和 目的的不同所帶來的結果評價的 偏倚，同時采用多閱片者研究可 以在一定程度上減少需要的入組 病例數，提高試驗的把握度。但 是，由于 MRMC 的設計引入了 閱片者的因素，使得臨床試驗的 研究設計和統計分析變得相對更 加復雜，建議申辦方在開展類似 的臨床試驗時多與方法學專家和 相關監管部門溝通，合理設計試 驗流程和操作、減少試驗中的偏 倚，更加客觀和準確地評價臨床 試驗的效果。

引用本文

尚美霞,閻小妍,姚晨*,李雪迎,朱賽楠.深度學習輔助醫療產品開展確證性臨床試驗的多閱片者設計和方法學考慮[J].中國食品藥品監管,2021(7):100-105.

深度學習輔助醫療產品開展確證性臨床試驗的多閱片者設計和方法學考慮

第一作者簡介

尚美霞，碩士研究生，北京大學第 一醫院醫學統計室，主管技師。專 業方向 ：臨床研究統計設計與分析

通訊作者簡介

姚晨，教授，衛生統計學碩士，臨 床研究方法學博士生導師，北京大 學第一醫院醫學統計室主任，北京 大學臨床研究所副所長。專業方向：臨床研究統計設計與分析