Trust AI @ TÜV SÜD 专栏第十期：NIST风险管理框架

中国/广州  欧盟人工智能法案将于2024年强制执行， 为协助中国人工智能相关企业提前应对即将到来的国际监管，TÜV南德意志集团（以下简称“TÜV南德”）已推出人工智能评估服务：AI 质量架构评估方案。

本文为Trust AI@TÜV SÜD的系列专栏的第十篇：NIST 人工智能风险管理框架

（AI 质量架构评估方案）

本期我们来关注北美的人工智能监管活动，讨论NIST发布的人工智能风险管理框架（Artificial Intelligence Risk Management Framework，简称AI RMF）。

概述

美国国家标准技术研究所（NIST，National Institute of Standards and Technology）成立于1901年，隶属于美国商务部，是全球顶级的物理科学，测量学研究机构和标准化组织，致力于促进创新和产业竞争力，增强经济安全和改善人类生活质量。

2023年1月，NIST发布了第一版人工智能风险管理框架AI RMF，其目标是帮助设计、开发、部署或使用人工智能系统的组织提高人工智能风险管理的能力，并促进人工智能系统的可信度和负责任的开发和使用。虽然AI RMF只是一个自愿性的技术框架，但这一框架在正式发布前NIST已经通过几版公开的草稿版本，与人工智能学界和产业界进行了广泛的信息收集和讨论，并受到广泛关注，因此，此次AI RMF一经发布即成为业界公认的人工智能风险管理指导体系。

基础信息

AI RMF将与人工智能系统相关的潜在危害大致分为三类，即对人类的危害、对组织的危害和对生态系统的危害。

当前对这些危害的有效测量与管理还存在着很多挑战。譬如，在AI系统中使用第三方软硬件和数据难以管理；目前缺乏对风险和可信度的稳定且可验证的度量方法的共识；对不同人工智能用例的适用性；在人工智能生命周期的不同阶段测量风险可能会产生与不同的结果；在实验室或受控环境中测量的人工智能的风险，可能会不同于在真实操作环境中出现的风险；不确定性的/有限解释性的人工智能系统会使风险测量复杂化；用于增强或代替人类决策的AI，很难以人类的行为作为基准进行比较和评估等等。

AI RMF框架并不是一种万能的解决方案，它需要根据组织的特定需求进行定制和实施。此外，该框架只是一个指导性工具，组织需要根据其实际情况进行判断和决策，制定相应的措施，在实践中建立组织的人工智能管理体系，并动态的持续改进。

增强AI的可信度可以在一定程度上降低AI的负面风险，AI RMF提出了7个可信赖AI的特征，分别是：有效&可靠，安全，弹性，可解释，隐私保护，公平，可问责&透明。NIST希望可以通过AI RMF带来如下改善：

• 加强人工智能风险的治理、映射、测量和管理流程，并清晰地记录结果；
• 提高了对可信度特征、社会技术方法和人工智能风险之间关系和权衡的认识；
• 明确的系统调试和部署决策流程；
• 建立政策、流程和实践，以改善与人工智能系统风险相关的组织问责机制； 
• 加强组织文化：优先人工智能系统风险的识别和管理，以及对个人、社区、组织和社会的潜在影响；
• 在组织内部和组织之间更好地共享有关风险、决策过程、责任、常见缺陷、TEVV实践和持续改进方法的信息； 
• 提供更多的背景知识以提高下游风险意识； 
• 加强与有关各方和相关人工智能行为者的接触；
• 增强人工智能系统TEVV（Test, Evaluation, Verification, and Validation）和相关风险的能力。

核心框架

AI RMF的核心工作是将AI风险管理分为了四大板块：治理，映射，测量，管理。每一个模块都再细分为更小的子分类，并且包括了具体的行动和结果。

• 治理模块主要涉及组织的领导层，批准政策和程序，为确保组织能够根据其策略、目标和法律法规，确保AI系统的管理和控制要求得到满足。让组织能够管理AI系统的生命周期，包括识别、开发、运行和退役等环节。
• 映射功能主要将组织的政策、目标和法律法规与AI系统的功能和风险联系起来。组织可以开展需求分析，包括确定AI系统的功能、安全要求、控制措施和操作和维护要求。
• 测量模块主要为组织需要评估AI系统的风险，并确定所需技术措施、操作和管理措施以及人员安全措施。
• 管理模块主要涉及组织对AI系统的管理和控制。包括实施控制措施、监测和评估系统、处理安全事件和故障、维护和更新系统以及管理风险。

为了方便人工智能相关组织和个人参考，NIST为AI RMF编制了简明的指导书，将各模块的具体信息以表格的型式陈列。AI RMF框架和指导书都已免费公开，有兴趣的相关人员可以直接下载参考。本文就不再赘述。

人工智能与传统软件的风险差异

以下为AI RMF中总结的人工智能相较于传统软件所增加的风险：

• 用于构建人工智能系统的数据可能无法真实或适当地代表人工智能系统的使用情景或预期用途。此外，有害的偏见和其他数据质量问题可能会影响人工智能系统的可信度，从而导致负面影响。
• 人工智能系统相当依赖于训练过程中使用的数据，并通常因此类数据而增大整个系统的体量和复杂性。
• 训练期间有意或无意的改变有可能从根本上改变人工智能系统的性能。
• 用于训练人工智能系统的数据集可能会脱离其原始和预期的使用情景，也可能在应用时已变得陈旧过时。
• 人工智能系统的规模和复杂性（许多系统包含数十亿甚至数万亿的决策点）被安置在更加传统的软件应用程序中。
• 使用预先训练好的模型可以推进研究和提高性能，但也会增加统计学的不确定性，并导致统计偏差、科学的有效性和可重复性等问题。
• 预测大规模预训练模型的突发故障模式方面有较大的难度。
• 由于人工智能系统的强大的数据聚合能力而产生的隐私风险。
• 人工智能系统可能需要更频繁的维护，和由于数据、模型或概念漂移而触发的纠正性维护。
• 人工智能系统逐渐增加的不透明性和不可重复性。
• 不完善的软件测试标准，并且难以按照传统工程软件的标准来记录基于人工智能的实践。
• 难以对人工智能软件进行常规的软件测试，或确定要测试内容，因为人工智能系统不同于传统代码开发的受控环境。
• 开发人工智能系统需要大量计算成本，及其对环境和地球的影响。
• 无法在统计学测量方法之外预测或检测人工智能系统的副作用。

关于TÜV南德人工智能服务

对于人工智能开发企业和应用企业，人工智能的风险以及质量都是至关重要的。除了性能以外，人工智能在自主性，公平性，透明性与可解释性，数据保护，信息安全，可靠性与鲁棒性等格方面的风险都要得到有效的评估和控制。人工智能的风险管理应贯穿于从概念，开发，部署，运营直到退役的全生命周期。

TÜV南德作为全球领先的TIC (Testing, Inspection, Certification) 机构，在人工智能的审计领域也有着坚实的基础。TÜV南德全球数字服务中心首席技术官Martin Saebeck博士是ISO与IEC的联合技术委员会JTC 1/SC 42标准工作组的核心成员，并正在主持多项人工智能国际标准的起草工作。此外TÜV南德全领域的专家深入参与了各垂直领域，如医疗设备、自动驾驶、机械安全等的国际法规与标准起草工作。 

在大中华区，TÜV南德也组建了专业的人工智能评估团队，该团队由TÜV南德大中华区商用产品和交通服务部高级副总裁Robert Puto先生领导，旨在帮助中国企业高质量的应用人工智能技术，开发并提供可信赖的人工智能相关产品与服务，经由TÜV南德的合规性检查及技术评估达到国际市场准入标准，并提供全生命周期的保障服务。