近日,中檢院發布人工智能醫療器械質量要求和評價兩項行業標準征求意見稿,全文如下:
醫療器械行業標準《人工智能醫療器械質量要求和評價 第 1 部分:術語》 征求意見稿
本標準主要考慮人工智能醫療器械安全性、有效性、風險和質量管理的方法和定義,基于此規定了人工智能醫療器械質量評價使用的術語和定義,本標準適用于人工智能醫療器械專業領域內從事科研、生產、監督檢驗和臨床應用等方面的技術人員使用。本標準考慮條理化和關聯性,對術語進行分類組織,分類的原則為:基礎技術術語之外,按照學科專業領域進行劃分,分為器械產品分類、數據集、性能指標、安全、應用場景。為對術語給予更好的表達,在附錄中給出部分評價指標的計算公式說明。
本部分按照 GB/T 1.1-2020 《標準化工作導則 第 1 部分:標準化文件的結構和起草規則》給出的規則起草。
本標準是人工智能醫療器械相關術語的基礎標準,在制定過程中,主要參考了現有國內標準GB/T 5271系列標準、GB/T 11457-2006《軟件工程術語》、GB/T 32400-2015《信息技術 云計算》、GB 34960.5-2018 《信息技術服務 治理 第5部分:數據治理規范》、GB/T 35273-2017《信息安全技術 個人信息安全規范》、國際標準ISO 2382:2015《Information technology—Vocabulary》等,以及《計算機科學技術名詞》(ISBN 978-7-03-059487-7)圖書。在本標準制定的過程中,未涉及有爭議項目。
點擊下載《人工智能醫療器械質量要求和評價 第 1 部分:術語》 征求意見稿
醫療器械行業標準《人工智能醫療器械質量要求和評價 第2 部分:數據集通用要求》征求意見稿
1. 標準制定的意義、原則
數據集是人工智能醫療器械研發、測試、監管的重要資源,對人工智能醫療器械產品質量有關鍵影響。當前,用于人工智能醫療器械的數據集開發十分活躍,但質量控制較為薄弱,對數據集質量特性缺乏系統性的描述和要求,對數據集質量的驗證缺乏客觀定量的指標與方法。
人工智能醫療器械使用的數據集質量涉及交叉學科,相關醫療器械標準尚處于空白。信息技術標準(如GB/T 36073—2018、GB/T 36344-2018)提出了數據管理能力成熟度評估、數據質量評價的理念,但缺乏對醫學場景和人工智能醫療器械特殊風險的考慮,難以提供對人工智能醫療器械使用的數據集質量特性的系統描述。衛生信息標準(如WS/T 305-2009、WS 539-2017)
提出了元數據規范、元數據屬性要求等概念,同樣缺乏數據集質量特性和質量評價內容,與人工智能醫療器械質量未建立銜接。
行業內不同廠商、醫院、科研機構都在從事數據集的建設,在數據集的描述、評價與質控等方面也存在普遍的差異。
基于上述現狀,本標準描述了人工智能醫療器械所使用的數據集的質量通用要求。該基礎標準的實施將形成統一的質量評價規范,促進人工智能醫療器械領域數據集的整體建設與質控能力,并且帶動人工智能醫療器械各細分領域數據集的規范化。
本標準按照GB/T1.1-2020的起草規則編寫。
2. 本標準性能指標制定依據,對于有爭議指標的處理及驗證情況
本標準是人工智能醫療器械數據集質量相關的基礎標準,在制定過程中,綜合參考了醫療器械、信息技術、衛生數據管理、臨床數據管理等相關領域的數據質量要求與評價方式,根據人工智能醫療器械技術特點編制而成。
與數據質量要求有關的規范性引用文件和參考文獻包括YY/T 0287:2017《醫療器械 質量管理體系 用于法規的要求》、YY/T 0316-2016《醫療器械風險管理對醫療器械的應用》、國家食品藥品監督管理總局《關于發布臨床試驗數據管理工作技術指南的通告(2016 年第112 號)》、《深度學習輔助決策醫療器械軟件審評要點》、GB/T 36344-2018《信息技術 數據質量評價指標》、GB/T 34960.5:2018《信息技術服務 治理 第5 部分:數據治理規范》、GB/T 35295:2017《信息技術 大數據 術語》、GB/T 25000.12:2017《系統與軟件工程 系統與軟件質量要求和評價(SQuaRE) 第12 部分:數據質量模型》等。
GB/T 11457-2006《信息技術 軟件工程術語》、WS/T 305-2009《衛生信息數據集元數據規范》,國際標準ISO 19157-2013《Geographic Information-Data quality》、ISO 3951-1:2013《Sampling procedures for inspection by variables — Part 1: Specification for single sampling plans indexed by acceptance quality limit (AQL) for lot-by-lot inspection
for a single quality characteristic and a single AQL》。
數據集的質量評價方法部分主要參考和對照了經濟合作與發展組織(OECD,Organization for Economic Co-operation and Development)發布的推薦性指南《OECD Recommendation of the Council on Health Data Governance,OECD/LEGAL/0433》、歐盟發布的數據質量評價手冊《Handbook on Data Quality Assessment Methods and Tools》、世界衛生組織數據質量審核工具
《Data Quality Review (DQR) Toolkit》等文件內容與實施細則。抽樣檢驗方法主要參考文獻包括GB/T 2828.1-2012《計數抽樣檢驗程序 第1 部分:按接收質量限(AQL)檢索的逐批檢驗抽樣計劃》、GB T 18391.1-2009《信息技術 元數據注冊系統(MDR) 第1 部分:框架》、GB/T 8054-2008《計量標準型一次抽樣檢驗程序及表》、GB/T 10111-2008《隨機數的產生及其在產品質
量抽樣檢驗中的應用程序》等。
本標準制定的過程中,未涉及有爭議指標。
三、 主要試驗(或驗證)的分析、綜述報告、技術經濟論證、預期的經濟效果
本標準將選取4 個數據集開展技術驗證,包括單模態訓練數據集、封閉式性能獨立測試集、多模態醫學影像數據集和企業自用數據集,技術驗證由相關醫院、企業和檢測機構完成。
驗證內容包括:
1. 數據集文檔檢查:根據本標準第4 章的要求,檢查數據集文檔內容,驗證各條款的適用性。
2. 數據質量特性評價:針對本標準第5 章提出的各項質量測度,采用計數檢驗、計量檢驗、過程驗證、測試用例等方法,對具體數據集的質量進行評價,驗證方法的可行性與科學性。
3. 數據集風險分析:針對數據集偏倚等問題,對具體數據集開展風險分析,形成研究資料,驗證偏倚控制的可行性。
各驗證單位上述內容基礎上,對執行標準的成本與收益進行分析,形成綜述報告。本標準預期提升人工智能醫療器械數據集開發與評價活動的規范性,促進后續各細化領域數據集的標準化,為人工智能醫療器械產業發展提供質量保障。
四、采用國際標準和國外先進標準的程度,以及與國際、國外同類標準水平的對比情況,或與測試的國外樣品、樣機的有關數據對比情況
本標準與國際標準ISO 19157-2013《Geographic Information-Data quality》、ISO 3951-1:2013《Sampling procedures for inspection by variables — Part 1: Specification for single sampling plans indexed by acceptance quality limit (AQL) for lot-by-lot inspection for a
single quality characteristic and a single AQL》的相關理念、方法描述無沖突。
本標準的制定參考了國內標準GB/T 36344-2018《信息技術 數據質量評價指標》、GB/T 34960.5:2018《信息技術服務 治理 第5 部分:數據治理規范》、GB/T 35295:2017《信息技術 大數據 術語》、GB/T 25000.12:2017《系統與軟件工程 系統與軟件質量要求和評價(SQuaRE) 第12 部分:數據質量模型》、GB/T 2828.1-2012《計數抽樣檢驗程序 第1 部分:按接收質量限(AQL)檢索的逐批檢驗抽樣計劃》、GB T 18391.1-2009《信息技術 元數據注冊系統(MDR) 第1 部分:框架》、GB/T 8054-2008《計量標準型一次抽樣檢驗程序及表》、GB/T 10111-2008《隨機數的產生及其在產品質量抽樣檢驗中的應用程序》、GB/T 11457-2006《信息技術 軟件工程術語》、YY/T 0287:2017《醫療器械 質量管理體系 用于法規的要求》、YY/T 0316-2016《醫療器械風險管理對醫療器械的應用》、WS/T 305-2009《衛生信息數據集元數據規范》等涉及數據質量的標準,無沖突。
點擊下載《人工智能醫療器械質量要求和評價 第2 部分:數據集通用要求》征求意見稿
