心议题展开深入探讨。本期专题以“人工智能安全”为主题，汇集了本次安全高端位代表嘉宾的主旨演讲。其中，中国科学院院士何积丰从人工智能的技术特点、产信任危机方面，指出未来人工智能的发展应当注重兼顾创新与安全，确保人工智能信；中国工程院院士倪光南从自主可控的角度，指出必须牢牢掌握人工智能关键核新发展的主动权；牛津大学人类未来研究所人工智能治理中心主任 Allan Dafoe从、政治、理想治理和政策四个方面构建了人工智能治理分析框架；微软集团罗立凡了微软人工智能六大伦理原则；普华永道Anand Rao提出了负责任的人工智能框。
本主题研究，可以为我国人工智能安全研究和实践提供启示，使得人工智能技术发服务我国经济社会发展和国家安全，助力我国建成创新型国家和世界科技强国。
安全可信人工智能何积丰（中国科学院）
1 人工智能的技术特点
人工智能作为一项无处不在的赋能技术，越来越被大众所熟知。技术发展方向从智能认知、智能感知到现在的通用性泛在智能。人工智能技术的突破和应用需要巨大的资金投入，投入应当产生经济价值，如果开发出优秀的人工智能产品，但是由于价格昂贵无人买单，技术研发和产品量化生产成本无法降低，那么这种发展是不可持续的。
目前人工智能的发展主要有三大特点。首先，现阶段人工智能的通用性较弱，行业应用场景差异较大，技术大规模的普及应用仍未真正实现。因此需要有更多的技术推动人工智能通用发展，此趋势不可阻挡，不仅是技术发展的需求，更是整个社会经济发展的需求。
其次，人工智能是一种赋能技术，并非一门学科。人工智能能够与行业、社会治理结合，具备新的赋能功能。以上海为例，人工智能的发展关系到上海的经济中心、金融中心、航运中心、科技中心建设，能够与四大中心建设紧密结合。目前上海人工智能发展共有两大试验区，一是科技部支持的国家新一代人工智能创新发展试验区，另一个是全国首个人工智能创新应用先导区。无论是科学中心还是科创中心，其面临的重要挑战都是缺少“以人为本”。
最后，人工智能最大的特点是以人为基本单位，而不是技术需要。现阶段技术的发展已经触碰到了应用边线，在很大程度上属于边界问题。早期人工智能充满趣味性，能够与人类下棋，微软公司也开发过打麻将的游戏。但是，笔者并不认同此种人工智能的发展方向，人工智能赋能并不是与人类玩游戏，关键在于能够给人类生活提供帮助。大型企业更多地在做游戏软件开发，比如教会人工智能如何下棋、打麻将，然而笔者认为这种方向并不太受欢迎。
人工智能安全——本刊特别策划专题
人工智能技术发展需要大数据和行业的应用能力结合，产生良好的效应。其实质是通过计算耗费算力与产生结果，并不需要消耗大量的燃料，需要的是各种软硬件集合支持。在这种情况下，并非人类大脑参与了人工智能技术的发展，因此，如今的人工智能发展方向出现了偏差。如果是人为参与指导，人工智能发展的发展速度会比较快，这应当是我们所关心和重视的发展方向。
无论是研究机器视觉、策略游戏，还是语言文本、辅助工具、安全防范，都应当有很强的人机交互过程。过去强调得比较少，更多的是强调机器自动生成。人工智能在学习一些最简单的算法，而算法的标签都是由人类打的。人类制作了大量标签，使机器懂得哪个是“狗”，哪个是“猫”。如果是在家庭环境中，父母利用两张卡片便能够教会孩子如何区分清楚“狗”和“猫”。当前，人工智能仍处于发展的初步阶段，并没有到机器如何向人类学习的方法。
2 人工智能引领产业革命
人工智能引领新一轮产业革命。中国人工智能产业发展迅速，处于全球第二位，以上海为例，上海拥有六大产业模块，在全国范围内处于领先地位，而传统产业的改造并非一朝一夕能够完成，因此人工智能赋能传统产业显得尤为重要。传统产业的改造面临着新的挑战，最重要的在于人工智能技术如何为传统产业服务，这应当是最值得关注的问题。
关于无人驾驶的问题，笔者并不赞成无人驾驶，“智能驾驶”已经足够，只有人、路、机、车联在一起才
能组成智能的交通系统。比如在无人驾驶的过程中，人类坐在车上会感到胆战心惊，无人驾驶是否会闯祸乘客无从得知。技术的发展与产业发展、社会发展、城市发展应当有合理的界限，而不是当新技术产生之后，人类便停止工作，这种情形是不可能实现的。
人工智能的应用行业十分广泛。在一些资源稀缺的行业，应当尽快推动人工智能的应用。例如在教育行业，由于资源的稀缺，西部山区的学生无法跟北京、上海等大城市的学生达到相同的英文水平。通过一些教育类的在线产品，使得西部学生能够学到标准英语，这种应用普遍受到家长的欢迎，对社会的发展十分有利。再比如特大城市管理，中国人口密集的大城市在全世界排名第一，我国政府面临的城市治理难度远超其他国家。
3人工智能信任危机
随着人类生活被人工智能广泛渗透，公众接受人工智能的程度也越来越高，随之而来的是人工智能的可信问题。从国外的例子来看，比如特斯拉“自动驾驶”致死事故，其原因在于人工智能未能识别道路清扫车；聊天机器人被黑客教会种族主义，经过训练以后“懂得”了黑人与白人之间的差别，这种聊天机器人显然不符合伦理道德，更不符合公正公平；达芬奇手术机器人事故，其原因在于血溅到了摄像头，导致机器人“失明”，感知系统无法正常工作；蓝牙音箱被监控的案例，由于音响失控，结果导致用户被邻居投诉，最终警察误闯民宅；数据隐私问题，典型的例子包括人脸识别公司
数据库泄露事件等。数据隐私种类不同，如果在特定领域大量数据被出售，那么可能会牵涉国家安全，而且数据隐私问题的级别处理相差很大，大数据存在被滥用的迹象。
导致安全隐患的原因在于“内忧”和“外患”，内忧包括样本均衡、数据偏移、用户隐私等。比如产品的品质问题，如果产品品质不高，很容易产生安全隐患。外患则包括对抗攻击、信息安全、场景受限等。
人工智能的安全类型多种多样，主要包含三大方面。第一是技术安全，涵盖数据安全、网络安全、算法安全、隐私安全，具体而言：在数据安全方面，数据安全始终处在解决的道路上，尤其体现在金融科技方面。数据尤其宝贵，技术人员利用区块链技术，使得数据的安全性较高，但是并没有充分计算去中心的管理信息的代价，银行数据的安全性是否能够利用区块链完全解决仍值得商榷，也有诸多分析证明区块链是可以被攻破的；在网络安全方面，网信办最重要的职能是保障网络信息安全，在保障互联网安全上我国已经积累了大量的经验，同时在国家层面也有专门的队伍进行保障，但是，对于工业网络安全的关心相对较少。以电网为例，美国国家电网曾经被攻破过，部分小国也出现过被攻击的事件，一旦人工智能和工业相结合，那么工业网安全性的保障尤为值得关注；在算法安全方面，算法的工作原理需要充分解析，如果算法正确，其结果便能够令人满意，而算法错误则会导致安全问题；在隐私安全方面，隐私安全的范围十分广泛，虽然从伦理道德的角度有诸多分析，但是并没有有效的办法解决隐私安全。第二是应用安全，涵盖智能安防、舆情监测、金融风控、网络防护。比如在智能安防方面，国内摄像头的安全性令人担忧，很容易被攻破并进行数据。第三是法律与伦理，涵盖法律法规、标准规范、社会
伦理三个方面，目前在行业规范方面已经有深入研究，但是还没有国家能够真正制定相关标准和法律。
4 安全可信人工智能
人工智能的创新和安全应是平衡发展，创新能够推动安全，没有创新，安全便没有意义。
在国际层面，已经有国家和组织提出了可信人工智能的基本准则。首先是G20会议上提出的原则，具体包括：包容性增长、可持续发展及人类福祉、以人为本的价值观和公平、透明度和可解释性、健壮性、信息安全与物理安全、问责制。其次是欧盟提出的原则，具体包括：福祉原则——向善；不作恶原则——无害，假设机器人与人类在同一工作岗位上，机器人出现失控并对人类造成伤害，责任主体该如何判定；自治原则——人类能动性，假设自主系统创造了独有的语言，人类无法读懂，安全性的保障至关重要；公正原则——公平，高新技术发展应当造福全人类，因此现阶段应不断完善通用人工智能的发展；可解释性原则——透明运行，人工智能的工作原理必须透明，这也是人类面临的困难和挑战。
可信人工智能包含三个要素：人、信息、物理。过去是人类社会和物理世界的交互，现在的安全是指可信安全的强人工智能系统，实现复杂的信息、物理与人的融合交互。
人工智能算法的关键安全问题包括：第一，尽量避免人工智能的副作用；第二，避免奖励条件的错误解
读；第三，分布转变的稳定性，一旦数据的分布函数转变，过去训练的模型可能无法工作；第四，探索的安全性；第五，可扩展的监管。
从可信人工智能的特征分析，可信人工智能应具备与人类智能类似的特质。第一，鲁棒性，在人工智能的训练过程中部分场景可能没有出现过，因此对未知的情况应当具备一定的应对能力。第二，自我反省，对自身性能或错误能够有所感知。第三，自适应，当人类把一个通用系统应用到新的环境中时，便应当解决自适应的问题。如果没有自适应性，每次都需要做大量的适配工作，经济代价便十分高昂。第四，公平性。深度学习有时会带来决策上的不平衡，造成种族歧视，比如在前文当中机器被教会种族主义的例证。
造成人工智能不可信任主要有两方面的原因。第一，传统的软件开发者认为，过去以传统的方法解决新一代软件问题，可能并没有做好技术准备。按照过去的经验，对软件做假设并在给定的特殊环境下，软件便能够完成特殊功能。但是现在的情形有所不同，环境无从得知，但是软件开发者能做，从这个角度而言，技术上是不成熟的。第二，从机器学习角度分析，最后产生的目标系统主要依靠训练数据，这与人工智能不一样，如果数据选错了，那么训练的系统肯定有偏见性。机器学习尚不可验证，无法进行软件形式化描述，同时也不可分析，其复杂程度较高，尤其是在深度学习方面。
可信人工智能由我国提出，并在G20会议上被各国所认可，这也是关注人工智能发展的核心所在。人、
机、物融合是当前社会面临的一个很重要的系统状态。如果把人、机、物中间的物理运动以及众多事件进行组合，如何进行系统性的训练和测试尤为重要。除此之外，应当从系统规模、部件类型等方面推动人工智能的发展，虽然需要花费大量时间才能达成，但是技术的进步是持续性的，同时也应兼顾安全、可信，实现人工智能的健康发展。
作者简介
特斯拉回应失控事故何积丰，中国科学院院士，主要从事计算机软件理论及其应用研究，包括软件的复杂性、正确性、可靠性、程序设计理论及其应用。