算法滥用带来严重的社会危害，我国也需加强探索

算法是数字社会发展的重要基石。通过以代码的形式固化人们解决问题的逻辑和经验，建立一系列基于人工智能技术网络平台的规则。随着数据挖掘、人脸识别、人机交互等技术在经济社会中的深入应用，算法的渗透力和影响力越来越强。一旦被滥用，很可能带来严重的社会危害。欧美等国家和地区非常重视算法治理。我国也需要加强探索，建立算法治理规则，促进数字社会规范健康发展。

一、算法滥用带来严重的社会危害

滥用数据分析和算法推荐，侵害消费者合法权益

滥用数据分析和算法推荐，侵害消费者合法权益。主要表现在三个方面：一是大数据杀伤力。通过数据和算法实施价格歧视，对不同用户采取不同的价格政策，对新老用户采取不同的价格，对不同地区的用户采取不同的价格，对浏览量或多或少的用户采取不同的价格，追求自己的最大化利润。二是上瘾推荐。通过数据和算法向用户进行个性化推荐，推荐用户感兴趣的内容，无论内容是否合适或合适，有些内容甚至违反法律和公序良俗，从而使用户上瘾和上瘾。上瘾。三是影响和误导消费者。通过数据和算法对流量分布、搜索排名、评价等级设置障碍，限制运营商进行交易，降低消费者选择的可能性，进而引导和影响消费者的选择。

用算法实现利润蚕食，挤压平台商家和从业者

使用算法管理依赖平台的运营商和从业者。在设计算法时，平台利润最大化的核心价值集中在算法逻辑上，较少考虑人性。操作者和从业者被“异化”成简单的数据、商品和工具。以国内媒体广泛报道的相关外卖平台为例，平台对外卖骑手的送餐时间等数据进行分析，在不考虑天气、天气等外部因素的情况下算法4有那么好吗，通过算法确定外卖骑手的服务标准。交通拥堵。新标准约束了骑手。一旦骑手的加班率等指标不符合设定标准，其收入将直接受到影响，同时，

在有缺陷的数据集上训练算法会导致算法偏差和不公平的决策

算法是从数据中训练出来的。给它什么样的数据，可能会产生什么样的结果。如果训练算法的数据集中存在包容性问题，算法必然会产生偏差。例如，有国外科学家发现，由于使用男性和浅色相关数据集较多，IBM、微软等公司的人脸识别产品对女性和深色人群存在不同程度的“歧视”。深色种族的识别准确率明显低于男性和浅色种族，最大差异为34.3%。算法偏差也会导致决策不公平，算法决策不开放，不开放质疑，不提供解释，不提供救济，进一步加深社会不平等。例如，英国的达勒姆警方多年来一直使用犯罪预测系统来评估黑人的可能性是白人的两倍，而白人则是低风险的单身罪犯；密歇根州失业保险局的融合数据自动化系统使用算法​​审查失业救济金申请人，以确定申请人是否存在欺诈行为并进行处罚，但该系统的错误率高达 93%，已导致 40,000 名受害者。

二、欧美国家开展算法治理的措施

推动算法公开，提高算法透明度

从欧美国家的实践来看，算法披露主要分为三个层次：一是算法采用等相关信息的披露。欧盟通用数据保护条例第 13 条规定，当数据控制者收集个人数据时，如果使用自动化决策对用户进行剖析或存在类似情况，应向数据主体提供处理的逻辑和预期后果此类问题的有效信息。二是解释算法决策的原理和逻辑。美国公平信用报告法包含“不利行动通知”条款，要求贷方向金融消费者解释不利的算法评分。为此，一些机构已经在制定指导方针，比如2020年5月英国信息专员办公室和艾伦图灵研究所联合发布了《人工智能决策指导指南》。三是开放算法源代码。2016年，美国纽约州试图通过立法，要求政府机构公开其算法产品所使用的源代码，遭到算法产品相关服务商的强烈反对。

建立算法问责，加强算法损害的补救

算法问责强调对算法运行的结果负责，要求算法运行者采取措施确保算法按预期执行，并建立识别和纠正有害后果的机制。目前，美欧等国家和地区对算法问责的探索主要集中在几个方面：一是算法影响评估。美国 2019 年 4 月颁布的《算法责任法案（草案）》规定，算法影响评估是指对算法及其开发过程的评估，以衡量其在设计和训练数据上的准确性、公平性、偏差。、歧视和对隐私和安全的影响。二是算法准确性和偏差测试。这 ”

加强算法伦理建设，提高算法公平性

欧美国家非常重视算法伦理建设。一是把构建算法伦理作为人工智能发展的重要任务。美国于 2019 年修订了《国家人工智能研发战略计划》，提出了解决伦理、法律和社会影响以及确保人工智能系统安全等八项战略重点。欧盟2020年2月发布的《人工智能白皮书》明确，欧洲人工智能必须以欧洲价值观和包括人的尊严和隐私保护在内的基本权利为基础，伦理监督应作为重要的政策目标。二是制定并发布算法伦理准则，为科技公司提供价值导向。2018 年 4 月，英国议会发布了《英国人工智能发展计划、能力和愿景》，提出了人工智能的五项基本伦理准则，包括“人工智能不应被用于削弱个人、家庭的数据权利或隐私”甚至社区”。2019年4月，欧盟人工智能高级别专家组发布了《可信赖人工智能伦理准则》，明确提出了尊重人类主体性、避免伤害等人工智能系统适用的四项伦理原则。三是推进行业自律。

三、一些建议

探索建立算法应用监管体系

算法应用既有好处，也有滥用的潜在危害。中共中央印发的《法治社会建设实施纲要（2020-2025年）》提出，对算法推荐、深度造假等新技术应用制定健全管理办法。但是，我国还没有形成算法应用的监管体系。建议组织开展算法应用调查，识别不同应用场景下算法滥用的危害，加快制定算法应用规则和标准，探索形成一系列监管制度。一是建立算法应用影响评估体系。对于典型场景，要求企业在算法正式上线前评估算法对消费者权益和个人基本权利的影响，并对评估中发现的相关风险采取相应的防范措施。二是建立算法透明体系。企业应向监管机构和公众披露其使用的算法的相关信息，包括算法技术的采用目的、应用场景、实施情况等。对于可能对个人和社会产生重大影响的算法决策，公司应该解释算法的基本原理。三是建立算法问责机制。通过算法应用规则，赋予个人对算法损害进行补救的权利，

加强算法应用的安全测试和监控

通过安全测试等技术手段防范算法滥用风险，是国外算法治理的重要内容。目前，我国应做好以下工作：一是组织开展算法应用安全测试，定期对算法的技术准确性和安全性进行评估，明确安全测试不合格的算法不得使用。二是利用大数据、人工智能等技术手段，加强对网络平台算法数据采集、运行过程、社会影响等的动态监控，加强过程中监管，提高预判、防范和处置能力有风险。

依托行业组织加强企业算法伦理建设

中国政府高度重视算法伦理问题。2017年国务院印发的《新一代人工智能发展规划》提出，大力开展人工智能行为科学和伦理研究，制定伦理规范，促进人工智能发展。目前，全国新一代人工智能治理专业委员会已经发布了人工智能治理原则。建议做好以下工作：一是加快算法伦理规则研究制定算法4有那么好吗，推动企业形成共识，为算法研发和应用提供价值导向。在适当的时候，算法的伦理规则可以转化为法律法规，加强对企业行为的约束力。二是支持建立算法社区、行业联盟等组织，依托行业组织引导企业建立内部治理框架、管控机制和责任体系，防止算法滥用；形成社会引导示范效应。

来源丨赛迪智库

编辑丨办公室