背景

FDA于2023年4月發(fā)布了一份有關(guān)人工智能的指南草稿——內(nèi)嵌人工智能/機器學習軟件功能(DSF)的醫(yī)療器械預變更控制計劃(PCCP)，Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence/Machine Learning (AI/ML)-Enabled Device Software Functions，該指南旨在為制造商提供如何在上市前提交中包含PCCP的內(nèi)容，以及如何通過PCCP支持對ML啟用的設備軟件功能的迭代改進。

 

FDA將PCCP作為器械上市申請的一部分進行審查，以確保器械的持續(xù)安全性和有效性，而無需為實施PCCP中描述的每項修改而提交額外的營銷申請。本指南草案中的建議適用于通過 510（k）、De Novo 和 PMA 途徑進行審查的設備，包括以設備為主導的組合產(chǎn)品。

 

指南整體結(jié)構(gòu)如下：

 

引言——介紹FDA對于醫(yī)療設備軟件和其他數(shù)字健康技術(shù)的創(chuàng)新監(jiān)管方法，以及AI和ML在醫(yī)療設備中的重要性。

 

背景——討論了FDA對于AI/ML驅(qū)動的軟件修改的潛在監(jiān)管方法，包括2019年討論文件和公共研討會。

 

范圍——適用于制造商計劃隨時間修改的ML啟用軟件功能（ML-DSF），包括自動和手動實施的修改。

 

定義——提供了與指南相關(guān)的術(shù)語定義，如軟件功能、數(shù)據(jù)集、預定變更控制計劃（PCCP）等。

 

預定變更控制計劃的政策——詳細描述了PCCP的組成部分，如何建立PCCP，如何在營銷提交中識別PCCP，以及如何利用授權(quán)的PCCP實施設備修改。

 

修改描述——介紹了如何詳細描述計劃對ML-DSF進行的修改，包括修改的目標和內(nèi)容。

 

修改協(xié)議——描述了開發(fā)、實施和驗證PCCP中描述的修改所遵循的方法。

 

影響評估——提供了對實施PCCP的益處和風險進行評估的文檔，以及風險緩解計劃。

 

附錄A和B提供了修改協(xié)議組件的示例元素和使用PCCP的ML-DSF場景。

 

在提交PCCP內(nèi)容的注冊資料時，主要應按照指南修改描述，修改協(xié)議和影響評估這幾部分中的要求準備。

 

范圍

制造商預期長期修改的人工智能/機器學習支持設備軟件功能

 

ML-DSFs that the manufacturer intends to modify over time

 

ML-DSF的變更包括自動的和手動的，這兩個情況都包含在FDA的監(jiān)管中。自動的指軟件自己發(fā)生更新修改，手動的指修改需要人工輸入，動作，預覽，決策。(類似監(jiān)督學習和無監(jiān)督學習的區(qū)別)

 

PCCP中指出ML-DSF預期的變更申報授權(quán)后，后續(xù)每次變更可以無需每次提交額外的上市申報。

 

FDA鼓勵盡早與FDA審查部門就擬議的PCCP進行接觸，F(xiàn)DA鼓勵制造商利用Q-Submission流程獲得FDA對ML-DSF擬議PCCP的反饋，特別是組合產(chǎn)品和高風險，維持生命，生命支持或植入式設備。

 

定義

設備軟件功能——Device Software Function (DSF)

 

滿足FD&C法案第201(h)節(jié)中設備定義的軟件功能。正如在其他FDA指南中所討論的，術(shù)語“功能”是產(chǎn)品的獨特目的，可以是產(chǎn)品的預期用途或預期用途的子集。

 

機器學習支持的設備軟件功能——Machine Learning-Enabled Device Software Function(ML- DSF)

 

一種設備軟件功能(如上所定義)，實現(xiàn)用機器學習技術(shù)訓練的機器學習模型。

 

訓練數(shù)據(jù)——Training Data

 

ML-DSF制造商在過程和ML訓練算法中使用這些數(shù)據(jù)來構(gòu)建ML模型，包括定義模型權(quán)重、連接和組件。機器學習模型的訓練發(fā)生在ML-DSF開發(fā)的探索階段(exploratory phase)之后。這些數(shù)據(jù)通常應代表擬議的預期使用人群(例如，關(guān)于種族、民族、疾病嚴重程度、性別、年齡等)。結(jié)果是一個可操作的ML-DSF。

 

調(diào)優(yōu)數(shù)據(jù)——Tuning Data

 

ML-DSF制造商通常使用這些數(shù)據(jù)來評估少量經(jīng)過訓練的ML-DSF，以便探索不同的體系結(jié)構(gòu)或超參數(shù)。調(diào)優(yōu)階段是ML-DSF測試之前的最后一個階段，通常被認為是訓練過程的一部分。ML業(yè)界有時用“驗證(validation)”一詞來指代調(diào)優(yōu)數(shù)據(jù)和階段。但是，在提及與用于醫(yī)療應用的機器學習模型的訓練或調(diào)優(yōu)相關(guān)的數(shù)據(jù)或操作時我們建議不要使用“驗證”這個詞。

 

測試數(shù)據(jù)——Testing Data

 

這些數(shù)據(jù)用于描述ML-DSF的性能。在ML-DSF上市之前，預計測試階段將提供數(shù)據(jù)，以建立對安全性和有效性的合理保證。測試數(shù)據(jù)應該獨立于用于訓練和調(diào)優(yōu)的數(shù)據(jù)，并且應該來自多個不同于用于生成訓練和調(diào)優(yōu)數(shù)據(jù)的站點。

 

預定變更控制計劃——Predetermined Change Control Plan (PCCP)

 

PCCP中描述的修改包括醫(yī)療器械的修改說明、修改方案和影響評估，否則需要PMA補充、重新提交或新的510(k)通知。

 

經(jīng)授權(quán)的PCCP——Authorized PCCP

 

通過器械上市授權(quán)審核并建立的PCCP。授權(quán)的PCCP是建立與授權(quán)器械的技術(shù)特征。

 

修改協(xié)議——Modification Protocal

 

描述在制定、驗證和實施PCCP修改描述部分中描述的修改時將遵循的方法的文件。

 

修改方案包括這些修改的驗證和確認活動(包括預定義的接受標準)，旨在逐步描述如何實施PCCP中提出的修改，同時確保設備保持安全和有效。

 

影響評估——Impact Assessment

 

對實施擬議的PCCP的好處和風險以及風險緩解計劃進行評估的文件。

 

它可以是PCCP的一個單獨部分，也可以合并到修改協(xié)議中，以對特定的營銷提交負擔最小的方式為準。

 

PCCP原則

PCCP組成

PCCP指南主要講了三個要素：PCCP修改說明、PCCP修改協(xié)議、PCCP修改評估。這三部分也是上市前提交給FDA審查所需要的資料。

 

建立PCCP

應通過適當?shù)耐緩剑ㄈ?10(k)途徑、De Novo途徑或PMA途徑）建立PCCP。制造商實施任何修改之前，必須先通過設備營銷授權(quán)審查和建立PCCP。

 

PCCP上市提交資料

PCCP部分在提交材料中應單獨列出。

 

產(chǎn)品說明書等(labeling)中應指出，設備中使用了機器學習并且有PCCP，因此使用者可能需要進行軟件更新，以及更新可能改變設備的性能，輸入或使用。

 

使用授權(quán)的PCCP對器械進行修改

流程如下

 

 

修改授權(quán)設備的PCCP

如果需要對已授權(quán)設備中的PCCP進行修改，通常需要通過新的營銷提交來進行，因為這構(gòu)成了對設備的重大變更。

 

修改說明

修改說明部分包括以下內(nèi)容：

 

PCCP必須包含對計劃內(nèi)的設備修改的詳細、具體描述，包括對單個設備修改的羅列清單、ML-DSF各部分修改的理由、與每次修改有關(guān)的參考變更的標簽。

 

特定修改是可驗證和可確認的，這些修改應足夠詳細以能夠被理解。

 

修改說明應清楚表明計劃的修改是自動還是手動實施。

 

修改說明應明確是全局變化（所有器械，統(tǒng)一方式）還是局部變化（根據(jù)臨床地點或個體患者獨特特征）。對于局部變化應說明有哪些局部變化因素或條件以確保是局部變化。

 

PCCP中的修改類型包括（并非一切修改都適合被包含在PCCP中）：

 

與ML-DSF的性能規(guī)格的定量測量有關(guān)的修改（訓練數(shù)據(jù)變化）

 

與ML-DSF的設備輸入有關(guān)的修改（不同設備的信號源）

 

與設備的使用和性能相關(guān)的特定有限修改（例如用于特定人群）

 

修改協(xié)議

修改協(xié)議（Modification Protocol）部分是預定變更控制計劃（PCCP）的另一個關(guān)鍵組成部分，它詳細描述了在開發(fā)、驗證和實施PCCP中描述的修改時將遵循的方法和步驟。這一部分的目的是確保對ML-DSF所做的修改能夠在不影響設備安全性和有效性的前提下進行。

 

修改協(xié)議部分包括以下內(nèi)容：

 

數(shù)據(jù)管理實踐：描述用于支持ML-DSF修改的數(shù)據(jù)收集、處理、存儲和使用的方法。這包括數(shù)據(jù)的來源、數(shù)據(jù)的質(zhì)量保證、數(shù)據(jù)的代表性以及如何防止數(shù)據(jù)泄露到開發(fā)過程中。

 

再訓練的實踐：詳細說明ML模型重新訓練的目標、重點和實施方法，包括數(shù)據(jù)預處理、數(shù)據(jù)增強、模型結(jié)構(gòu)調(diào)整、超參數(shù)調(diào)整等，以及如何處理重新訓練可能引入的偏差。

 

性能評估：描述用于驗證修改后的ML-DSF是否滿足特定修改的性能規(guī)格的過程，包括驗證和確認活動的測試方法、數(shù)據(jù)、統(tǒng)計分析和預定的接受標準。

 

更新程序：說明如何更新ML-DSF以實施修改，包括軟件更新的驗證和確認計劃、更新的實施時間表和方法、用戶溝通和透明度，以及對更新過程本身的潛在風險的緩解措施。

 

與修改描述的關(guān)聯(lián)性：確保修改協(xié)議中的每個部分都與修改描述部分中的相應修改相對應，以便FDA能夠追蹤每個修改的支持方法和證據(jù)。

 

修改協(xié)議部分應提供足夠的細節(jié)，以便FDA能夠理解并評估修改的實施是否符合質(zhì)量系統(tǒng)法規(guī)的要求，并確保修改后的設備繼續(xù)保持安全和有效。此外，該部分還應證明修改的實施不會引入新的、未緩解的風險，并且修改后的設備將繼續(xù)滿足FDA的安全性和有效性標準。

 

修改協(xié)議具體內(nèi)容參照指南附錄A的內(nèi)容。

 

修改評估

影響評估（Impact Assessment）部分是預定變更控制計劃（PCCP）中的關(guān)鍵組成部分，它涉及到對實施PCCP后可能帶來的益處和風險進行系統(tǒng)的評估，以及提出相應的風險緩解措施。這一部分的目的是為了確保在實施了PCCP中的修改后，ML-DSF（機器學習啟用的設備軟件功能）仍然保持安全和有效，并且不會引入新的風險。

 

影響評估部分包括以下內(nèi)容：

 

將實施了每一項修改的器械版本與未實施任何修改的器械版本進行比較。

 

討論每一項修改的益處和風險，包括社會危害風險。

 

討論修改方案中提出的活動如何繼續(xù)合理地保證器械的安全性和有效性。

 

一項修改的實施如何影響另一項修改的實施

 

實施所有修改的總體影響

 

PCCP中包含的個別修改如何不僅影響ML-DSF，而且如何影響設備的整體功能，包括它們?nèi)绾斡绊懫渌O備軟件功能以及設備硬件。

 

附錄A ML-DSF修改協(xié)議中的內(nèi)容示例

可以收集不同的數(shù)據(jù)并用于訓練和測試ML模型更新。對于新的訓練和測試數(shù)據(jù)的收集，修改協(xié)議應該包括如何使用數(shù)據(jù)(例如，用于ML模型開發(fā)或測試)，以及數(shù)據(jù)管理如何支持這些用途。

 

附錄B 應用PCCP的ML-DSF場景

病人監(jiān)護軟件

背景：該設備是一款用于高風險醫(yī)療環(huán)境（如重癥監(jiān)護室）的ML-DSF。軟件從主要病人監(jiān)護器獲取生理信號（如心電圖、血壓、脈搏血氧飽和度），并通過ML模型處理和分析，以檢測生理不穩(wěn)定的模式。當檢測到生理不穩(wěn)定時，會產(chǎn)生可聽到的報警信號，提示需要及時的臨床干預以防止對患者可能的傷害。該ML啟用的醫(yī)療設備已經(jīng)獲得了帶有PCCP的授權(quán)。

 

預指定修改概述：制造商希望使用更多的數(shù)據(jù)重新訓練ML模型，以降低誤報率，同時保持或提高對生理不穩(wěn)定開始的敏感性。基線敏感性為y%。制造商希望在保持敏感性在預指定的非劣效性邊際z%之內(nèi)的同時，顯著改善誤報率。

 

授權(quán)后修改場景：

 

修改場景1：與PCCP中規(guī)定的內(nèi)容相關(guān)的修改，并且按照PCCP實施。根據(jù)修改協(xié)議收集并使用數(shù)據(jù)重新訓練了ML模型，并按照規(guī)定的方法進行了測試。結(jié)果表明，誤報率顯著降低，而平均敏感性估計在基線敏感性y%的提議非劣效性邊際之內(nèi)。

 

修改場景2：超出了PCCP中規(guī)定的性能量化措施的修改。制造商使用額外的數(shù)據(jù)重新訓練了ML模型以提高敏感性。分析驗證表明，修改后的ML模型具有與先前版本相同的誤報率和敏感性。然而，制造商還注意到，修改后的ML模型在保持相同敏感性的同時，現(xiàn)在還可以提前預測生理不穩(wěn)定，而先前的ML模型版本無法做到這一點。

 

皮膚病變軟件

背景：該設備是一款ML-DSF，通過識別和描述皮膚病變的特征（如顏色、面積隨時間的變化量化）來輔助診斷。它使用特定的相機進行了驗證，并旨在由初級醫(yī)療提供者使用。該設備已經(jīng)獲得了帶有PCCP的授權(quán)。

 

預指定修改概述：制造商希望將ML-DSF擴展到其他通用計算平臺上使用，包括智能手機和平板電腦。通用計算平臺必須包含符合PCCP中定義的最低規(guī)格的二維相機。更新后的設備必須使用指定的方法實現(xiàn)PCCP中定義的最低性能。

 

授權(quán)后修改場景：

 

修改場景1：在PCCP中規(guī)定并按照PCCP實施的輸入修改。制造商的分析驗證表明，ML-DSF可以在兩種額外的智能手機上部署，這些智能手機的圖像采集規(guī)格符合PCCP中提供的最低規(guī)格。使用新的圖像采集系統(tǒng)進行的分析性能被發(fā)現(xiàn)與基線性能統(tǒng)計等效。

 

修改場景2：在PCCP中未規(guī)定的輸入修改。制造商希望部署一個修改后的ML模型，該模型使用熱像相機捕獲的圖像；然而，這種新的相機技術(shù)未在PCCP中規(guī)定。

 

呼吸機設置軟件

背景：該設備是一款ML-DSF，旨在根據(jù)輸入數(shù)據(jù)的解釋為醫(yī)療或家庭使用環(huán)境中的呼吸機推薦理想的通氣參數(shù)。醫(yī)療提供者可以將這些參數(shù)編程到呼吸機中。制造商提議對ML-DSF進行修改，以在原始指示范圍內(nèi)改善性能。該設備已經(jīng)獲得了帶有PCCP的授權(quán)。

 

預指定修改概述：制造商希望重新訓練ML模型，以優(yōu)化特定患者亞群的特定部位性能，這些患者的數(shù)據(jù)以前不足夠。具體來說，制造商希望修改ML模型，以改善其優(yōu)化分鐘體積和潮氣量的能力，以減少在特定范圍內(nèi)的變異性，從而改善該患者亞群在不同部位的治療結(jié)果。

 

授權(quán)后修改場景：

 

修改場景1：與PCCP中規(guī)定并按照PCCP實施的設備使用和性能修改。制造商在新的數(shù)據(jù)上重新訓練并重新驗證了ML模型，這些數(shù)據(jù)是在具有特定疾病的患者亞群中獲得的。根據(jù)修改協(xié)議收集并分析的額外臨床性能數(shù)據(jù)表明，重新訓練在新數(shù)據(jù)上改善了通氣設置建議的可靠性和精確性。

 

成像輔助設備

背景：該ML-DSF集成到成像系統(tǒng)中，旨在協(xié)助醫(yī)療提供者在成人和兒童人群中獲取肩部超聲圖像，通過實時檢測潛在異常來突出顯示圖像的部分。該ML-DSF與設備采集系統(tǒng)集成，使用ML模型分析其輸出，如果檢測到異常，會向操作員提供實時警報，并在成像過程中自動調(diào)整設備采集系統(tǒng)的參數(shù)以優(yōu)化成像。

 

預指定修改概述：制造商希望重新訓練其ML模型，以進一步優(yōu)化異常檢測的準確性。PCCP預先規(guī)定，在肩部檢查期間，異常識別的敏感性和特異性將顯著優(yōu)于基線。

 

授權(quán)后修改場景：

 

修改場景1：與PCCP中規(guī)定并按照PCCP實施的設備性能量化措施修改。根據(jù)修改協(xié)議收集的成像數(shù)據(jù)被用來重新訓練ML模型。根據(jù)修改協(xié)議中指定的測試協(xié)議，修改后的ML模型進行了測試。結(jié)果表明，異常識別的敏感性和特異性達到了統(tǒng)計上的優(yōu)越性預規(guī)范。

 

喂養(yǎng)管放置X光片分析軟件

背景：該設備是一款ML-DSF，用于分析住院患者的胸部X光片以評估喂養(yǎng)管放置情況。ML-DSF重新排序放射科醫(yī)生的審查隊列，以便被識別為喂養(yǎng)管錯位可能性更高的X光片被放在隊列的前面。該設備已經(jīng)獲得了帶有PCCP的授權(quán)。

 

預指定修改概述：制造商希望通過在新數(shù)據(jù)上重新訓練來提高ML模型的性能，增加對錯位喂養(yǎng)管的敏感性。基線敏感性為x%。此外，制造商希望修改設備，使其在優(yōu)先級隊列中進行優(yōu)先處理的同時，通知護士檢查患者。這一修改需要達到z%的敏感性。

 

授權(quán)后修改場景：

 

修改場景1：與PCCP中規(guī)定并按照PCCP實施的設備性能量化措施修改和設備的使用和性能修改。制造商根據(jù)修改協(xié)議描述的，在新獲得的數(shù)據(jù)上重新訓練并重新驗證了ML模型，顯著提高了ML-DSF的敏感性，從x%提高到z%，以檢測錯誤的喂養(yǎng)管放置。通過修改后的設備性能，更新了設備的標簽，并啟用了通知功能。因為設備修改在PCCP中有規(guī)定，并且按照PCCP實施，所以不需要新的營銷提交。

 

總結(jié)

PCCP可以作為一種有用的工具，用于在器械上市后預先獲得FDA授權(quán)進行預定的、特定的修改，這可以在器械的整個生命周期中為制造商節(jié)省大量的成本、時間和資源。但PCCP也可能增加注冊資料提交的復雜性，延遲授權(quán)和產(chǎn)品發(fā)布，并引發(fā)有關(guān)信息披露的影響。

 

制造商需要綜合權(quán)衡自身產(chǎn)品特點及注冊策略，酌情合理的運用此指南。