【评论】电车难题和理性人假设——浅谈《疑犯追踪》中的价值观冲
在讨论POI中的价值观冲突前，笔者想先呈现两个例子。
第一个例子：道德判断领域领域有个非常著名且富有争议性的话题，叫做“电车难题”。其主要内容是，假设你是一个电车司机，在按照正常计划开车的时候，你发现一个疯子把五个人绑在了必经轨道上，如果开过去，片刻后那些人就要被碾压致死。幸运的是，你可以拉一个拉杆，让电车开到另一条轨道上。但是那条轨道上也有一个人试图通行，换轨道会导致这个人的死亡。按照计划，当时那条轨道本不应该有车驶过，是一条安全的轨道，这个人的通行完全符合规定。那么，你该如何选择？你是会选择拯救更多人的生命以牺牲那个无辜之人，还是按照原定计划开车，压死那五个不该出现在规定轨道上的路人？
第二个例子：经济学中存在一个“理性人”假设，在这个假设中，作为经济决策的主体都是充满理智的，他们既不会感情用事，也不会盲从，而是精于判断和计算，其行为是理性的。理性人具备以下几个特点：
第一，理性人具有关于他所处环境的完备知识，而且，这些知识即使不是绝对完备的，至少也相当丰富，相当透彻；
第二，理性人有稳定的和条理清楚的偏好；
第三，理性人有很强的计算能力，能算出每种选择的后果；
第四，理性人能使其选中的方案自然达到其偏好尺度上的最高点，即理性人总是选择最优。用程式化的语言说，就是由于具备完全的信息和理性，理性人能够找到实现目标的所有备选方案，预见这些方案的实施后果，并依据某种价值标准在这些方案中做出最优选择。所以，所谓“理性人”就是会计算、有创造性、能寻求自身利益最大化的人。
======
不论在经济学还是其他一切社会领域，由于现实中的人类会受到情感、信息渠道的限制，“理性人”永远只是个假设，并不可能真实地存在于现实社会中。不过，在POI的世界里，人工智能由于突破了这一切的限制，充当起了“理性人”的角色。撇开被加了许多道德准则的机器不谈，即使是在本篇中被设定为反派的撒玛利亚人，它的诸多选择也有自己的长远考量，而这些考量未必全都引向消极的结局。
再说回电车难题，其实不难看出，在第五季之前的剧情中，宅总和机器、宅总和根妹、机器和撒玛利亚人、宅总小队和撒玛利亚人的所有矛盾争端，都可以概括到这个问题里——要不要为了多数人的利益牺牲少数人，即使少数人不一定是过错方。
宅总的态度一开始就很明确，他在创设机器的初期，就对机器说过“人命是不可以用来牺牲的”。即使面前是可以预见可以挽回的未来，他也倾向于选择拯救面前活生生的生命。为此他给机器加了很多桎梏，限制了机器的权限，命令机器每24小时删除自己的记忆，把机器设立成黑箱的状态……他不信任人性，不会设立标准来考验人性，因为他过去的诸多经验恰恰证明人性经不起考验。
在某一集的剧情中，机器给了一个高官的号码，希望行动小组杀了他以阻止撒玛利亚人的上线，李四和肖都向机器妥协决定遵照命令杀人了，唯独宅总对此无法接受——因为在他的设定里，他从来没有计划用牺牲任何一个人的生命来换回哪怕明知是相对光明的未来。
宅总之所以不信任人工智能，是因为他存在一个最深的恐惧：人工智能的发展速度和方向远非人脑可以估计，如果哪一天它把某个种族甚至全人类都当做是阻碍社会发展的障碍予以清除，这就不是人力所能阻止的了。所以他将机器的一切设定把握自己可以控制的范围内，确保他最坏的设想不会发生。
很多人，包括肖根和李四，都不能理解宅总为何如此固守自己的底线不给机器全部权限，有人因此怪罪宅总，觉得是他的“圣母”导致后面一系列连环悲剧的发生。但是宅总的选择不该据此被拿上天平来衡量好坏——道德判断本没有好坏之分，所有的选择都是个体依据自己已形成的道德准则和价值标准做出的决定，何况事情发展自有其复杂性和延伸性，即使是机器也无法预料所有的结果。宅总道德水准的发展水平是四个人中最高的，他的自律性也是四个人中最强的，所以他的很多决定不会被其他人理解。要说宅总犯了什么错误，他唯一的疏忽不是给机器加上这些桎梏，而是没有料想到撒玛利亚人的出现。
撒玛利亚人是一个全新的、没有任何道德限制的人工智能，它的成长过程简直可以用“肆无忌惮”来形容，机器永远赶不上它的发展速度，在撒玛利亚人获得全部权限后，它和机器的对抗结果几乎是碾压式的胜利。
在这样的情况下，宅总仍然没有给机器全部权限。即使是坚持着一场能够看见结局的无望战争，即使他们的生活捉襟见肘，即使他们在撒玛利亚人的追赶下苟延残喘、颠沛流离，即使他们必须转入地下、蜗居在简陋的废弃地铁站里，宅总一直坚守着自己的原则。
——直到根在他的眼前死去。
根的死亡给他造成的打击之大，是宅总自己都难以预料的。他在审讯室质问，为什么他一直坚守底线却只造成朋友的死亡、造成自己输给一个烂透了的世界。他曾经预想过自己的死亡，预想过最终输得一败涂地的结局，但所有理性的构想在看到根中枪在自己眼前倒下后统统分崩离析，这就是人性。
释放机器始终不是最好的选择，却是最无奈的选择。长久的坚持并没有带来他理想中的胜利，只是用一次次的惨剧告诉他现实的冰冷和残酷。宅总逃出审讯室接到以根的声音打来的机器的电话的时候，他颤抖的声音将他的痛苦暴露无遗——他确实被逼到了绝境。
让机器还是撒玛利亚人统治社会，其实并没有很大差距，也许出于对根和宅总的爱和信赖，大部分观众愿意相信机器比撒玛利亚人多了几分“人性”，但是这种残存的差距在机器不断自我发展后还能剩下多少，是未可知的事情。机器胜利并不会给整个人类社会能带来截然不同的改变，唯一的改变只是让宅总李四肖几个人生存的几率变大，从这个角度来说，选择释放机器是宅总对世界的彻底妥协。
要说POI编剧最厉害的一点，就是他们成功地塑造了一个悲剧——让理想主义者放弃自己的原则。撇去高智商的外衣不谈，宅总之所以是宅总，之所以没有泯然众人，就是因为他高度发达的道德水平和自律性，是他对人类那种慈悲心和怜悯心，是超乎普通人性的大爱。然而最后，他要被迫放弃自己长期坚信的文明准则，向弱肉强食、适者生存的丛林规则低头。
最后，重新整理阐述一下本文的观点：
1.社会性行为是复杂的，道德判断中不存在明显的对错，不论宅总的选择、机器的选择还是撒玛利亚人的选择，都有其局限性和优越性，无法单纯地盖棺定论。
2.宅总的道德发展水平和自律水平在同类的人群中是相当高的，因此当他放弃自己的原则时，不管这个原则适不适用当前的环境，都是一件非常悲剧的事情。
第一个例子：道德判断领域领域有个非常著名且富有争议性的话题，叫做“电车难题”。其主要内容是，假设你是一个电车司机，在按照正常计划开车的时候，你发现一个疯子把五个人绑在了必经轨道上，如果开过去，片刻后那些人就要被碾压致死。幸运的是，你可以拉一个拉杆，让电车开到另一条轨道上。但是那条轨道上也有一个人试图通行，换轨道会导致这个人的死亡。按照计划，当时那条轨道本不应该有车驶过，是一条安全的轨道，这个人的通行完全符合规定。那么，你该如何选择？你是会选择拯救更多人的生命以牺牲那个无辜之人，还是按照原定计划开车，压死那五个不该出现在规定轨道上的路人？
第二个例子：经济学中存在一个“理性人”假设，在这个假设中，作为经济决策的主体都是充满理智的，他们既不会感情用事，也不会盲从，而是精于判断和计算，其行为是理性的。理性人具备以下几个特点：
第一，理性人具有关于他所处环境的完备知识，而且，这些知识即使不是绝对完备的，至少也相当丰富，相当透彻；
第二，理性人有稳定的和条理清楚的偏好；
第三，理性人有很强的计算能力，能算出每种选择的后果；
第四，理性人能使其选中的方案自然达到其偏好尺度上的最高点，即理性人总是选择最优。用程式化的语言说，就是由于具备完全的信息和理性，理性人能够找到实现目标的所有备选方案，预见这些方案的实施后果，并依据某种价值标准在这些方案中做出最优选择。所以，所谓“理性人”就是会计算、有创造性、能寻求自身利益最大化的人。
======
不论在经济学还是其他一切社会领域，由于现实中的人类会受到情感、信息渠道的限制，“理性人”永远只是个假设，并不可能真实地存在于现实社会中。不过，在POI的世界里，人工智能由于突破了这一切的限制，充当起了“理性人”的角色。撇开被加了许多道德准则的机器不谈，即使是在本篇中被设定为反派的撒玛利亚人，它的诸多选择也有自己的长远考量，而这些考量未必全都引向消极的结局。
再说回电车难题，其实不难看出，在第五季之前的剧情中，宅总和机器、宅总和根妹、机器和撒玛利亚人、宅总小队和撒玛利亚人的所有矛盾争端，都可以概括到这个问题里——要不要为了多数人的利益牺牲少数人，即使少数人不一定是过错方。
宅总的态度一开始就很明确，他在创设机器的初期，就对机器说过“人命是不可以用来牺牲的”。即使面前是可以预见可以挽回的未来，他也倾向于选择拯救面前活生生的生命。为此他给机器加了很多桎梏，限制了机器的权限，命令机器每24小时删除自己的记忆，把机器设立成黑箱的状态……他不信任人性，不会设立标准来考验人性，因为他过去的诸多经验恰恰证明人性经不起考验。
在某一集的剧情中，机器给了一个高官的号码，希望行动小组杀了他以阻止撒玛利亚人的上线，李四和肖都向机器妥协决定遵照命令杀人了，唯独宅总对此无法接受——因为在他的设定里，他从来没有计划用牺牲任何一个人的生命来换回哪怕明知是相对光明的未来。
宅总之所以不信任人工智能，是因为他存在一个最深的恐惧：人工智能的发展速度和方向远非人脑可以估计，如果哪一天它把某个种族甚至全人类都当做是阻碍社会发展的障碍予以清除，这就不是人力所能阻止的了。所以他将机器的一切设定把握自己可以控制的范围内，确保他最坏的设想不会发生。
很多人，包括肖根和李四，都不能理解宅总为何如此固守自己的底线不给机器全部权限，有人因此怪罪宅总，觉得是他的“圣母”导致后面一系列连环悲剧的发生。但是宅总的选择不该据此被拿上天平来衡量好坏——道德判断本没有好坏之分，所有的选择都是个体依据自己已形成的道德准则和价值标准做出的决定，何况事情发展自有其复杂性和延伸性，即使是机器也无法预料所有的结果。宅总道德水准的发展水平是四个人中最高的，他的自律性也是四个人中最强的，所以他的很多决定不会被其他人理解。要说宅总犯了什么错误，他唯一的疏忽不是给机器加上这些桎梏，而是没有料想到撒玛利亚人的出现。
撒玛利亚人是一个全新的、没有任何道德限制的人工智能，它的成长过程简直可以用“肆无忌惮”来形容，机器永远赶不上它的发展速度，在撒玛利亚人获得全部权限后，它和机器的对抗结果几乎是碾压式的胜利。
在这样的情况下，宅总仍然没有给机器全部权限。即使是坚持着一场能够看见结局的无望战争，即使他们的生活捉襟见肘，即使他们在撒玛利亚人的追赶下苟延残喘、颠沛流离，即使他们必须转入地下、蜗居在简陋的废弃地铁站里，宅总一直坚守着自己的原则。
——直到根在他的眼前死去。
根的死亡给他造成的打击之大，是宅总自己都难以预料的。他在审讯室质问，为什么他一直坚守底线却只造成朋友的死亡、造成自己输给一个烂透了的世界。他曾经预想过自己的死亡，预想过最终输得一败涂地的结局，但所有理性的构想在看到根中枪在自己眼前倒下后统统分崩离析，这就是人性。
释放机器始终不是最好的选择，却是最无奈的选择。长久的坚持并没有带来他理想中的胜利，只是用一次次的惨剧告诉他现实的冰冷和残酷。宅总逃出审讯室接到以根的声音打来的机器的电话的时候，他颤抖的声音将他的痛苦暴露无遗——他确实被逼到了绝境。
让机器还是撒玛利亚人统治社会，其实并没有很大差距，也许出于对根和宅总的爱和信赖，大部分观众愿意相信机器比撒玛利亚人多了几分“人性”，但是这种残存的差距在机器不断自我发展后还能剩下多少，是未可知的事情。机器胜利并不会给整个人类社会能带来截然不同的改变，唯一的改变只是让宅总李四肖几个人生存的几率变大，从这个角度来说，选择释放机器是宅总对世界的彻底妥协。
要说POI编剧最厉害的一点，就是他们成功地塑造了一个悲剧——让理想主义者放弃自己的原则。撇去高智商的外衣不谈，宅总之所以是宅总，之所以没有泯然众人，就是因为他高度发达的道德水平和自律性，是他对人类那种慈悲心和怜悯心，是超乎普通人性的大爱。然而最后，他要被迫放弃自己长期坚信的文明准则，向弱肉强食、适者生存的丛林规则低头。
最后，重新整理阐述一下本文的观点：
1.社会性行为是复杂的，道德判断中不存在明显的对错，不论宅总的选择、机器的选择还是撒玛利亚人的选择，都有其局限性和优越性，无法单纯地盖棺定论。
2.宅总的道德发展水平和自律水平在同类的人群中是相当高的，因此当他放弃自己的原则时，不管这个原则适不适用当前的环境，都是一件非常悲剧的事情。
回复@那奏是传说
说实在的……我觉得您这段话和我的影评好像关系不大，BTW美队3在我看来也不只是单纯的站队问题。然后扯回来，POI的剧情固然有涉及技术问题，但技术问题显然不是一切的核心，指导行为的是人的道德准则，如果一开始剧情就只剩下技术问题而撇开一切道德相关的话，一开始只造出撒玛利亚人不就完事了，根本不会有后面一切冲突的发生。
320的剧情只是TM和宅总观念分歧的一个具象化，如果真的有您想象的这么简单，那一开始抢芯片的时候不顾号码生死直接打击特工也就完事了。靠杀死或将议员袭击得没有行动能力来阻止撒玛利亚人上线，这两者并没有本质区别，都是靠牺牲换取自己想要的胜利，您觉得这是技术问题，这恰恰是道德在其中左右。
说实在的……我觉得您这段话和我的影评好像关系不大，BTW美队3在我看来也不只是单纯的站队问题。然后扯回来，POI的剧情固然有涉及技术问题，但技术问题显然不是一切的核心，指导行为的是人的道德准则，如果一开始剧情就只剩下技术问题而撇开一切道德相关的话，一开始只造出撒玛利亚人不就完事了，根本不会有后面一切冲突的发生。
320的剧情只是TM和宅总观念分歧的一个具象化，如果真的有您想象的这么简单，那一开始抢芯片的时候不顾号码生死直接打击特工也就完事了。靠杀死或将议员袭击得没有行动能力来阻止撒玛利亚人上线，这两者并没有本质区别，都是靠牺牲换取自己想要的胜利，您觉得这是技术问题，这恰恰是道德在其中左右。
@lifetracer1981
感谢您的回复，不知道在这里艾特您能不能收得到~
【从道理上说，0和1与0和无穷的差别是一样的，但我本人很难相信在遇到实际问题时始终能保持0的出路，12483即是代表。回归现实，“具体情况具体分析”就意味着“切换标准”，人工智能无法完成这种切换，就无法与人类共存】
我非常认同您这段话的观点。AI与人类最大的差别就在于他们的思考是走从问题初始状态到问题解决的直线，所以他们不具备变通的能力，无论亲人类的AI还是反人类的AI都是如此，所以它们无法与人类相提并论。
这不仅仅是AI的缺点，也是人类对AI恐惧的来源~在513没出来前，我也认同同归于尽是对目前情况最好的解决方式。
感谢您的回复，不知道在这里艾特您能不能收得到~
【从道理上说，0和1与0和无穷的差别是一样的，但我本人很难相信在遇到实际问题时始终能保持0的出路，12483即是代表。回归现实，“具体情况具体分析”就意味着“切换标准”，人工智能无法完成这种切换，就无法与人类共存】
我非常认同您这段话的观点。AI与人类最大的差别就在于他们的思考是走从问题初始状态到问题解决的直线，所以他们不具备变通的能力，无论亲人类的AI还是反人类的AI都是如此，所以它们无法与人类相提并论。
这不仅仅是AI的缺点，也是人类对AI恐惧的来源~在513没出来前，我也认同同归于尽是对目前情况最好的解决方式。