NIST正在開發(fā)一個框架，即，NIST人工智能風險管理框架，以更好地管理與人工智能(AI)相關的個人、組織和社會的風險。

這個框架是自愿使用的，可提高將可信度考慮因素納入人工智能產品、服務和系統(tǒng)的設計、開發(fā)、使用和評估的能力。

目前這個框架還在草案中，可在2022年4月29日之前反饋意見。

「該框架的簡介」

該框架旨在促進創(chuàng)新方法的發(fā)展（提供一個靈活，結構化和可測量的過程），以解決整個人工智能生命周期中的人工智能風險，以充分證明AI產品可信賴性（trustworthiness）的特征，包括準確性、可解釋性（explainability and interpretability）、可靠性、隱私性、穩(wěn)健性、安全性、網絡安全(恢復)以及減輕無意和/或有害的偏差和有害使用；考慮并包含人工智能技術和系統(tǒng)的預設計、設計和開發(fā)、部署、使用、測試和評估期間的透明度、可說明性和公平性等原則。

該框架的里程牌如下：

「為什么NIST開發(fā)這個框架？」

NIST旨在培養(yǎng)對人工智能技術和系統(tǒng)的設計、開發(fā)、使用和評估的信任，以提高經濟安全和生活質量。該機構在人工智能RMF方面的工作符合國家安全人工智能委員會的建議和聯邦參與制定人工智能技術標準和相關工具的計劃（Plan for Federal Engagement in Developing AI Technical Standards and Related Tools），國會已指示NIST與私營和公共部門合作，開發(fā)自愿的人工智能RMF。

「這個框架的受用對象」

人工智能風險管理是一個復雜且相對較新的領域，可能受到人工智能技術影響的個人、團體、社區(qū)和組織的名單非常廣泛。識別和管理人工智能的風險和影響——無論是積極的還是消極的——需要廣泛的視角和利益相關者。

如上圖所示，NIST已經確定了四個涉眾群體作為這個框架的目標受眾: AI系統(tǒng)利益相關者、操作員和評估者、外部利益相關者以及公眾。理想情況下，所有利益相關者群體的成員都將參與或代表風險管理過程，包括那些可能會受到人工智能技術的影響的個人和社區(qū)代表。

「如何建立可信賴的AI系統(tǒng)」

AI RMF使用一個三類分類法(如下圖所示)對特征進行分類，應在識別和管理與人工智能系統(tǒng)相關的風險的綜合方法中加以考慮:技術特征（technical characteristics）、社會技術特征（socio-technical characteristics）和指導原則（guiding principles）。

「技術特征包括哪些？」

人工智能RMF分類法中的技術特征，指的是在人工智能系統(tǒng)設計者和開發(fā)者的直接控制下的因素，這些因素可以使用標準的評估標準來衡量。技術特征包括收斂-判別有效性(數據是否反映用戶打算測量的內容而不是其他內容)和統(tǒng)計可靠性(數據是否可能受到高水平的統(tǒng)計噪聲和測量偏差的影響)之間的權衡。

以下技術特征非常適合解決人工智能風險:

準確性、可靠性、健壯性和恢復性(或ML安全性)。

準確性：表示ML模型正確捕獲訓練數據中存在的關系的程度。類似于統(tǒng)計結論有效性，通過標準ML度量(例如，假陽性和假陰性率、F1分數、精度和回索)以及模型欠擬合或過擬合的評估(與訓練中的錯誤率無關的高測試錯誤)來檢查準確性。

可靠性：表示模型是否在可接受的統(tǒng)計誤差范圍內持續(xù)產生相同的結果。設計用于減輕過擬合并在面臨偏差/方差權衡時充分進行模型選擇的技術可以增加模型可靠性。

可靠性測量可以洞察與去語境化相關的風險，這是由于重用ML數據集或模型的常見做法導致它們與創(chuàng)建它們的社會背景和時間段脫節(jié)。與準確性一樣，可靠性提供了對模型有效性的評估，因此可以作為確定可接受風險閾值的一個因素。

穩(wěn)健性：對模型敏感性的一種度量，表明模型對不可控因素的變化是否具有最小的敏感性。一個健壯的模型將繼續(xù)運行，盡管其組件中存在故障。模型的性能可能會降低或改變，直到錯誤被糾正。

穩(wěn)健性的測量范圍可能從模型輸出的敏感性到其輸入的微小變化，但也可能包括對新數據集的誤差測量。穩(wěn)健性有助于人工智能風險管理流程中的敏感性分析。

恢復性：一個模型，可以承受對抗性的攻擊，或者更一般地，在其環(huán)境或使用，可以說是彈性的或安全的。

「社會技術特征包括哪些？」

人工智能RMF分類法中的社會技術特征指的是人工智能系統(tǒng)如何在個人、群體和社會環(huán)境中被使用和感知。這包括模型的心智表示，所提供的輸出是否足以評估遵從性(透明性)，模型操作是否容易理解(explainability)，它們是否提供可以用于做出有意義的決策(interpretability)，以及輸出是否符合社會價值觀。

以下社會技術特征對處理人工智能風險有影響:

可理解性(explainability)、可解釋性(interpretability)、隱私性、安全性和管理偏見（managing bias）。

可理解性(explainability)指的是用戶對模型如何工作的感知——例如，對于給定的輸入，可能期望什么樣的輸出，傾向于為技術受眾總結或可視化模型行為或預測。

然而，由于可解釋性而產生的風險可能有許多原因，包括，例如，解釋方法缺乏保真度或一致性，或者如果人類錯誤地推斷模型的操作，或者模型沒有按預期操作。

缺乏explainability的風險可以通過描述模型如何根據用戶的技能水平工作來管理。

可解釋性(interpretability)旨在彌補意義上的缺陷。盡管可理解性(explainability)、可解釋性(interpretability)通常可以互換使用，但是explainability指的是算法操作的機制的表示，而interpretability指的是其輸出在其設計功能目的背景下的意義。模型可解釋性指的是用戶能夠確定遵守該模型的程度功能以及該輸出對該用戶的其他重要決策的后續(xù)影響。

隱私通常指有助于維護人類自治和尊嚴等價值觀的規(guī)范和做法。這些規(guī)范和實踐通常涉及免受入侵、限制觀察或個人對其身份各方面（如身體、數據、聲譽）的控制。像安全和安保一樣，人工智能系統(tǒng)的特定技術特征可能會促進隱私，評估人員可以確定數據處理如何會產生與隱私相關的問題。

安全作為一個概念與風險高度相關，通常表示沒有（或最小化）導致系統(tǒng)危險的故障或條件。例如，隨著人工智能系統(tǒng)在工廠和道路上更直接地與人類互動，這些系統(tǒng)的安全性是人工智能風險管理的一個重要考慮因素。人工智能安全的實用方法通常涉及嚴格的模擬和域內測試、實時監(jiān)控，以及快速關閉或修改不正常系統(tǒng)的能力。

管理偏差：NIST已經確定了人工智能偏差的三個主要類別:系統(tǒng)、計算和人類。 管理人工智能系統(tǒng)中的偏差需要一種考慮所有三個類別的方法。

偏差與社會中的透明性和公平的概念密切相關，更多詳情請見NIST publication “Towards a Standard for Identifying and Managing Bias in Artificial Intelligence‘’。

「小結」

當管理人工智能系統(tǒng)中的風險時，理解人工智能RMF風險分類的屬性是相互關聯的是很重要的。高度安全但不公平的系統(tǒng)，準確但不透明和不可解釋的系統(tǒng)，以及不準確但公平、安全、隱私保護和透明的系統(tǒng)都是不可取的。

值得信賴的人工智能系統(tǒng)有可能在保持高水平性能質量的同時實現高度的風險控制。實現這個困難的目標需要一個全面的風險管理方法，在技術和社會技術特征之間進行權衡。