【内容摘要】算法是人工智能的核心要素，人工智能是服务人类还是戕害人类，算法将起决定性的作用。算法歧视作为“恶”算法的雏形，已经慢慢显现出其危害性。为了人工智能的发展前途，为了人类的未来，算法歧视必须被重视，必须被装进法律规范的笼子。

【关键词】算法歧视、侵权、刑事责任、违约

随着近年来人工智能和大数据产业的高速发展，人工智能及相关产品越来越紧密的渗入我们的日常生活中，我们也能深刻感受到人工智能给我们的生活带来的方便。但在方便的同时，不知不觉中、在不经意间，我们也发现了人工智能的另一面——丑陋的一面。虽然这“另一面”并不能代表人工智能的形象，却足够让人感到恶心和深深的伤害。

今年2月，笔者因故外出，于是通过手机登录到某知名购票平台上查看机票，当时发现打折力度较大，又因外出行程尚未完全确定，因此没有马上订票。一个小时后，外出行程安排妥当后，再登陆手机订票，发现票价普遍上涨了10%至20%。当时笔者认为可能是正常涨价，并未发现可疑之处。但是其后因一件不经意的小事，完全颠覆了笔者对这个购票平台的看法。

当天晚上，笔者另一朋友无意说起也要到某地出差（与笔者外出的目的地及时间相同），笔者结合自己的教训就建议尽快订机票，并且很紧张的告诉朋友，今天票价涨的很快。朋友立即用自己手机登陆该平台订票，一查发现票价跟我当天第一次看时的票价完全一样。我正纳闷，朋友得意的告诉我，我被“杀熟”了。我一头雾水，朋友随后解释到：“这些订票平台背后都有大数据支持，对于经常用的熟客，会提高报价，对于经常查看的会再加价。”我恍然大悟。后来经过我一个来月的验证，“杀熟”在大多购票中介平台中存在。

这种默默无闻的“背后捅刀”者比大喊一声举着菜刀冲上来的暴徒更能造成致命伤，更让人可恨。

“杀熟”这个无声无息的“屠刀”是如何落到消费者头上的？大数据专家给出的结论是算法歧视，也就是说平台在对用户的使用数据进行分析的时候，结合特定的算法对熟客下手。行话就是“算法歧视”。

一、算法歧视概述

算法是人工智能及大数据领域中比较复杂的一个概念，形象讲就是将原料加工成产品的加工方法。比如，一个人从A地出发到B 地，他可以坐出租车，可以步行，可以骑自行车，也可以自驾。如果把从A地到B地设定为人工智能或大数据所要实现的功能，那么每一种从A地到达B地的方式就是一种算法。

在每一个以实现某种功能为目标的计算机程序系统中，算法决定通过什么方式、通过什么途径去实现预定的功能，采用什么样的算法，则不可避免的受程序设计者的主观思想及价值取向的影响。

现实世界中，歧视是人类的通病，但因为我们看得见、摸得着，所以为我们所痛恨。消灭歧视、人人平等已经成了全人类的共同理想。但算法歧视却在看不见、摸不着，在隐蔽的计算机程序里大行其道，畅通无阻。

算法歧视是如何发生的呢？笔者认为主要发生在以下两种情形：一是受利益驱动的主动选择，我们称之为“利益算法歧视”；二是受计算机程序本身局限的被动选择，我们称之为“逻辑算法歧视”。前者如消费平台“杀熟”；后者如人脸识别系统将皮肤较黑的黄种人识别为黑种人。

利益算法歧视，是为获取更大的经济利益而故意选择歧视，这种情形一般发生在商业应用类的人工智能产品的程序设计过程中，这是程序设计者主动为之，甚至可以说该产品的应用就是通过算法歧视来获取更多的经济利益。

逻辑算法歧视，是计算机程序设计者为赋予计算机运算能力，必须提前设定的运算逻辑。在我们现实世界中，是一定存在很多没有逻辑正确可言的问题的，但在计算机的程序中是不允许存在逻辑混乱，任何问题都要有正确的逻辑答案。这个正确逻辑的选择同样受程序设计者的主观思想及价值观的影响，在设计者看来，他的逻辑是正确的，或者是最好的，但歧视还是会不可避免的发生。

二、算法歧视既是技术问题，又是道德问题，但更是法律问题

随着近些年各类因算法歧视暴露出来的问题引起社会的广泛关注和不满，各路学者对于算法歧视的问题从不同的角度发表了不同的看法。《大数据时代》一书的作者舍恩伯格所说，大数据的特征是追求效率，而不是绝对精确；追求的是相关性，而不是因果性，在现代社会，大数据和算法结合已经颠覆了传统的决策方式^[]。基于大数据的算法自然不能背离大数据的特征。所以对从技术上解决算法歧视问题，大多数学者似乎完全是一种认命的态度。有的学者甚至提出了“算法有偏见？比人强就行”的观点。

大量科技公司的算法被发现存在歧视现象，搜索算法将黑人标记为大猩猩，聊天机器人聊着聊着就变成了满口脏话的不良少女。算法歧视几乎成了算法本身的一部分，就像贪婪、懒惰也是人性的一部分一样，这是由算法的构建特点决定的，是与生俱来的基因缺陷。

算法从根本上来说，还是人构建的，人本身的偏见、知识局限自然会传递到算法中。但并不是所有的算法歧视都是偏见造成的，很大一部分的算法歧视还有利益的成分，甚至还有更可怕的犯罪行为。

在技术派眼里，算法歧视一部分是技术本身局限造成的不治之症，无药可救。持有此观点的不在少数，就像“快播案”主犯王欣在庭审中提出 “技术无罪论”的观点一样。他们认为技术的进步和革新，必然带来新的法律空白，即使有危害，这样的技术漏洞必须允许通过技术自身的进步来改进和完善，而不能诉诸法律。算法歧视另一部分是道德问题，是归因于算法设计者的价值观、世界观的个人修养和知识结构的问题，同样应当避免使用法律手段进行惩罚。在法律学者眼里，算法歧视对社会法益的侵害是实实在在的，给整个社会和个体的合法权益造成的实质损害是不可忽视的。具体来说，既有物质损害、人身损害，也有更严重的对我们国家、民族的核心价值观的冲击，因此其危险性、危害性是明确的，是法律必须予以限制和规范的。

人类的技术进步从来没有停止过，但我们的社会还是如此井然有序，所以新技术并不是借口，快播案的判决也证明“技术无罪”是不成立的。一切技术的进步和应用必须在社会价值、在法律的框架内，否则是反人类，无价值的技术，就不应该有其存在和生长的土壤。所以归根结底，算法歧视是技术问题，是道德问题，但更是法律问题。算法歧视需要在法律的体系和框架内进行整治和约束。

三、算法歧视的法律责任

从目前暴露出来的算法歧视问题来看，虽然引起了广泛的关注，但真正造成的危害并不大，大多还局限于违背我们的世界观、价值观，使大多数正直善良的人们感到恶心。但随着人工智能的广泛应用，随着人工智能与我们的日常生活联系越来越紧密，人工智能算法歧视的危害后果会越来越频繁的显现出来。算法歧视的法律责任越来越多的被提出来，但是因法律法规的滞后性，这种针对算法歧视的法律无力感也越发强烈。

从目前显现出来的部分算法歧视的案例来看，算法歧视主要存在以下几项法律责任。

1、侵权责任

因算法歧视问题引发的法律责任中，侵权应该是最常见的，但是这种侵权跟一般侵权有明显的不同。

首先，算法歧视侵权具有明显的隐蔽性。一方面，因为算法歧视的程序是隐藏在人工智能背后的计算机程序中的，这些程序绝大部分都是属于程序设计者和拥有者的核心机密，一般人根本不可能看到有算法歧视的计算机程序本身。另一方面，因为算法歧视通过人工智能工具发生侵权，往往是通过潜移默化的渐进方式发生，被侵权人对于被侵权的事实，也并不会很快的直观感受到被侵权，所以算法歧视侵权很难被发现，或者即使被发现也是侵权事实发生以后很长时间。

其次，算法歧视侵权具有高新技术性。人工智能算法是当前比较前沿的高新技术领域，掌握这项技术的人在全世界都是凤毛麟角，在中国更是像稀有动物一样被各大互联网企业疯抢。算法歧视侵权本身是一项高难度的技术活，那么预防侵权、惩治侵权同样也是一项高难度技术活，这就给相关的立法、执法提出了极高的要求。

再次，侵权主体狭窄，被侵权主体广泛。因为算法歧视的技术难度高，导致该技术掌握在极少数人的手里，因此能成为侵权责任人的责任主体并不广泛，往往集中在几家大型的高新技术或者互联网企业中。但是作为被侵权人的广大人工智能产品的消费者或使用人，则是十分广泛，所以一旦发生算法歧视事件，必然是重大的公众时间，必然是上热搜的事件。

最后，算法歧视侵权维权艰难。维权艰难，不仅与相关法律不完善相关，更重要的原因是取证难，认定难。算法歧视的根源在于计算机程序中，这些程序基本不可能被公开，普通人也根本不可能获取到相关程序代码。没有这些代码，就不能认定侵权产生的逻辑和根源，法院就不能据此作出判决。

目前暴露出来的关于算法歧视的侵权问题，大部分集中在大数据应用领域，如2015年谷歌错误地将黑人程序员上传的自拍照打上“大猩猩”的标签，雅虎旗下的Flickr也曾错将黑人照片标记成“猿猴”；^[]各大购物平台、消费者APP广泛存在的“杀熟”、歧视消费者现象。虽然目前还没有人针对上述侵权问题提起诉讼，但引起的广泛关注和讨论还是迫使相关企业对算法歧视问题进行重视并采取行动改进。总体来说，算法歧视的侵权问题还没有真正广泛地爆发，还没有真正刺疼社会的敏感神经，所以面对算法歧视侵权，整个社会还停留在研究、讨论、呼吁、声讨的阶段，如真要提起诉讼，恐怕各方面的条件还不够成熟。

2、违约责任

2018年8月，中国赫赫有名的“小米”公司，为庆祝新开辟英国市场，在英国举办了一场“1英镑抢购”的促销活动。但是让所有英国消费者郁闷的是，促销活动时间一到，所有参与抢购的消费者的网络抢购页面均显示“售罄”，此次促销活动引起了英国消费者的强烈不满，甚至有网友在网上曝光了促销页面的代码，从代码上看，抢购时间一到就立即显示“售罄”是程序设计好的，并不是真实的已经售罄。虽然笔者认为，网友曝光的促销网页的代码是真实的“小米”公司促销网页程序代码的可能性极低，但“小米”公司因此次促销事件，迅速成为利用算法歧视“背信弃义”的典型。后来“小米”公司虽然作出解释：本次促销只提供10部手机参与促销活动，因参与人数太多导致绝大部分参与抢购页面显示“售罄”，但这种苍白的解释并没有得到英国消费者的认可。

此类互联网虚假促销，在中国发生的频率比英国更高，比如某购物网站的限时低价秒杀，普通消费者几乎是不可能秒杀那些低价促销产品的；比如一些商场公开举办的抽奖活动，一次又一次的伤害善良消费者的纯洁心灵。虽然消费者对这种欺诈行为深恶痛绝，但同样也很少有人去追究欺诈者的违约责任。

3、刑事责任

就目前来看，算法歧视还没有引发一起刑事犯罪案件，但在人工智能广泛渗入人类日常生活的各个领域后，算法歧视不可避免的会引发一些较为严重的刑事犯罪问题。比如自动驾驶汽车遇到危险，在面对是保护驾驶人还是其他人的时候，自动驾驶汽车的程序设计算法可能会选择保护驾驶人而牺牲其他人的财产和生命安全，因为在汽车厂商眼里，驾驶人是他们的客户，保护好客户才能使他们的汽车卖的更好，才能带来更大的经济效益。这种算法选择是否合法？笔者认为，如果对于各种危险情况，不加区分的一律先保护驾驶人，而忽视其他人的生命财产安全，这种算法明显具有恶的一面，程序算法设计者的主观故意犯罪状态也就非常明确了。

在人人平等深入人心的现代社会，将人分成三六九等只会是个别现象，但进入人工智能和互联网时代后，将人划分为三六九等好像又回到了古代的野蛮时代，以自动化服务为目标的人工智能产品，在追逐利益最大化的过程中，不可避免的会侵犯被人工智能视为“非重要人士”的财产和人身权利。比如目前大量的手机应用APP，都存在恶意获取用户数据和个人隐私的情况。

人工智能的应用目前还只是初级阶段，随着技术的进步，人工智能应用的深入和升级，人工智能给人类社会必定会带来更多的不确定性和危险性，到那个时候，通过算法设计歧视作为掩护实施犯罪行为简直是易如反掌。

在当前关于人工智能法律问题的研究中，人工智能产品的设计者和生产者的刑事责任问题，似乎已经在学者中达成共识，甚至有学者已经提出了“适时考虑确立智能机器人的刑事责任主体地位”^[]。但到底是以已经造成的损害后果来评价其刑事责任，还是追根溯源，从算法的危害性来评价刑事责任？笔者认为后者才能对人工智能设计、生产者的主观善恶进行毫无遮掩的全面审视，更符合刑法的主客观相统一的评价体系，所以讨论人工智能的刑事责任问题，绝不能忽视算法。

四、算法歧视要被装进法律的笼子里

算法歧视虽然在当下还只是一只刚出生不久的“幼兽“，还没有长大。但我们不能坐等它长大，坐等它把一切都搞乱后再来收拾残局，我们要未雨绸缪，要提前给这只”幼兽“设计一个笼子，把它先关起来。

这个笼子用什么材料来做最好？笔者认为技术不可行，道德无力量？，唯有法律最合适。通过给算法歧视设计法律的边界，将算法歧视的危险性控制在一定的范围之内。

1、确定算法代码的保密边界并建立审查制度

对于计算机、互联网、人工智能这一类的高科技公司来说，它们设计的程序代码几乎都是核心资产和核心机密，所以都是严加保护，绝不轻易示人。算法歧视的违法性往往就这样也被“保护“了起来。所以，我们对于一些应用广泛，与使用者人身安全密切相关的人工智能程序代码，应当有国家机构来审核其算法的安全性，来审核其是否存在算法歧视问题。因此，笔者认为建立算法合法性审查制度是当务之急，同时可以在行业委员会内建立算法审核委员会，由该委员会对应用广泛且与人民群众人身和财产安全密切相关的人工智能产品的程序算法进行合法性审查，一方面可以给那些因为程序代码保密而在程序算法上做手脚的企业以监督压力，另一方面可以从源头上消灭人工智能的反人类危害。

2、明确算法歧视违法后果的责任承担主体并加大惩罚力度

算法歧视真正能造成危害的，几乎都是那些巨头公司的产品，即使程序算法设计者为个人，但劳动成果的所有权仍为公司所有，所以公司应当成为责任的承担者。同时，因这些巨头公司的产品应用广泛，危害面大，所以需要加大惩罚力度，以达到惩罚效果。

3、建立算法歧视损害的赔偿机制

算法歧视无论造成侵权还是违约，亦或者是其他法律责任，我们必须要根据其损害特点建立有针对性的赔偿机制，且一定要是有别于当前普通侵权、违约赔偿体系的。根据其损害的广泛性特点，可以借鉴环境污染民事赔偿的公益诉讼模式。

4、通过行业规范，确立算法歧视的存在条件和空间

算法歧视有大有小，有严重有轻微，人人都知道它有危害性，但如果想完全消灭算法歧视也是不可能的。如果完全不管，任由其胡作非为，也是不负责任的。行业内的人应该最清楚算法歧视是怎么一回事，应该怎么给予其合法存在的空间，应该从什么地方下手建立违法的边界墙，因此，行业规范是必不可少的重要手段，也是最令人信服的手段。

五、结语

人工智能已经正在向我们汹涌直逼而来，是不可阻挡的大趋势。我们能做的只有张开双臂迎接他，抱紧他，同时要把紧箍咒给他戴上，把笼子给他套上，这样的人工智能才能是造福人类的人工智能，而不是危害人类的人工智能。算法歧视问题，因为好像不是很严重，好像危害不是那么明显，所以如果人工智能被引入歧途，算法歧视问题极有可能是那个被忽视但作用极大的推动力。我们必须从长远发展看算法歧视的危害性，用以小见大的态度看算法歧视的危害性，把算法歧视的危害性重视起来，把算法歧视的法律笼子建起来。算法歧视的根源还是利益冲突，是人工智能产品设计者“以钱为本”和整个社会需求“以人为本”的冲突。在现代市场经济的大环境下，只有以法律之手段才能有效遏制人工智能在“以钱为本”的指导下的野蛮生长，才能保证人工智能在未来的发展中始终坚持“以人为本”的人间正道。