从诸神云集的奥林匹斯山,到二战中挣扎求存的敦刻尔克,再到隐匿在虚拟世界的网路功击和反功击,善恶交锋未曾停止。
但是,善恶对抗的本质正在被“工具”改变。
对正义一方来说,可怕的不是敌军太强悍,而是找不到一个明晰的敌方。个别情况下,恐吓并非来自某个想毁灭世界的疯子,恐吓潜伏在看似平凡、并无恶意的日常生活里。
近日引发大范围舆论关注的艾莎门(Elsagate)儿童邪典视频风波正是这么,我将它视为一种“无主之恶”。
“无主之恶”有两层涵义。
第一,恶的源头非常分散,它表现为高度信息化社会中一种特殊的协作和传播模式:“StandAloneComplex”(孤立个体集合体)。
第二,促使恶发生和传播的机制,最开始被设计下来时是中性,甚至是出于好意的,最后却“事与愿违”地酿成弊端:在“艾莎门”中,流量经济+智能推荐算法成了侵犯儿童的替罪羊。
对于这些无主之恶,大部份人没有应对和处理的经验,所以类似风波出现时,总是阴谋论满天飞、粗暴的“一刀切”大行其道。
是时侯,我们该从“打Boss”的认知框架里跳下来了。
在新型的恶面前,我们必须找到新的对抗方法。
一次无人负责的恐袭风波
在讨论“无主之恶”前,我们先来瞧瞧艾莎门视频的来龙去脉。
(注:假如还没有看过Elsagate的具体面貌,以下内容可能会让你很不适,提早预警。)
1月16日,一篇翻译自内网的微博长文《一群变态锁定观看YouTube的孩童,我曾经为她们工作》使一座被称为“Elsagate”(艾莎门)的冰山浮出水面。
这种参杂着针筒、怀孕、尸体、血腥、性暗示等极为反胃、变态的内容的视频,却被YouTube等网站平台打上了“儿童”、“母婴”等标签,推荐到小孩们眼前。
在这儿,Elsa公主孕期是家常便饭。
面目低贱的小丑会割下天线孩子的头。
动物和牛粪被当成食物。
这类找不到单一制造者和源头的视频被合称为“Elsagate”,风波曝出后引发了大范围关注。人民晚报、新华社等多家媒体纷纷报导,知乎上关于“如何看待Elsagate风波”的问题已有800余条回答,接近500万次阅读。
这种视频的害处性远不是“吓到小孩”这么简单。
Elsagate类的视频常常使用艳丽的红、蓝、绿、黄、粉红等颜色。这种色调强烈地剌激儿童脑部,加深不良行为的印象,甚至造成成瘾。
而这种视频的主角,又是小孩们熟悉和艳羡的Elsa(《冰雪奇缘》女主角)、蜘蛛侠、米老鼠等q版形象。这一方面让视频被算法归类、推荐到儿童频道,另一方面也大大剌激着女儿们的模仿行为。
日本知名心理学家班杜拉以前做过一个叫“波波公仔”的实验:将48个儿子分成A、B两组,在A组面前,成人会演出杀害、侮辱、锤击波波公仔;B组则没有观看这种。而当小孩们步入一个有同样公仔的卧室,A组的女儿会特别开心地根据成人的样子杀害这个公仔,B组则甚少会有功击性行为。
Elsagate类视频也有“波波公仔”效应:知乎上,一些网友提及女儿在观看Elsagate类视频后,出现了成瘾反应甚至暴力倾向:
专门研究儿童暴力、儿童性强奸现象的JudithReisman博士说:这种视频完完全全就是为了将儿童引导到性,暴力,抗生素,强奸。从业几十余年来,她见过难受中的反胃、罪恶中的罪恶,但像这种Elsagate视频,是前所未见的“恶毒、残忍、卑鄙”。
而如今,空前狠毒和残暴的Elsagate视频在YouTube上的单个最高点击已超过两千万,总点击量上百亿。国外主流视频平台爱奇艺、腾讯、优酷均发觉了大量类似视频,甚至漫延到明日头条和快手。
家里的椅子上、地铁里、电梯里……当你身边青涩的儿子盯住屏幕移不开眼时,他可能就是在看Elsagate类视频。
“StandAloneComplex”(孤立个体集合体)
无主之恶的第一层涵义是:让父母、视频网站和全世界监管部门头痛的,传播量巨大的Elsagate却很难找到一个单一的源头:野火烧不尽,春风吹又生。
YouTube在11月删掉超过15万个视频,查封了270多个帐号。但就在明天,我们仍见到类似的视频在源源不断地出现。
这很像15年前的悬疑精典《攻壳机动队》剧场版中,描述的一种信息化社会的新型犯罪:“StandAloneComplex(孤立个体集合体)”——一些事先并不存在联系的孤立个体,有意或无意作出类似的行为,从外部看是一场有组织的阴谋,但你却找不到始作俑者。
《攻壳机动队》里的StandAloneComplex发始于“笑脸男风波”。
一名超A级黑客曾出于正义感入侵了一位要人的脑部,令其在电视面前说出某个秘密。逃脱时,这名极客用笑脸图标遮蔽自己,成功从整个网路中消失。
笑脸男
随后,出现了大量自诩“笑脸男”、谋杀民警要员的模仿犯罪。参与进来的诸多"笑脸男",动机、诉求各不相同,却共同导致了巨大的社会振动。
Elsagate儿童邪典视频风波,正是一个“笑脸男”式的行动:“母版”不明的拷贝大量参杂网路。
你没法见到面目统一的"坏蛋",恶意此起彼伏地涌现——到现今为止,在这场被一些人称为大规模“儿童恐袭”的风波背后,竟然找不到一个明晰的“恐怖分子主谋”。
最初被《卫报》、《纽约晨报》等媒体曝出具有不良诱导内容的YouTube频道叫“websandtiaras”,但明天,仍能在YouTube上缴获大量仿号,创立时间从2016年、2017年到近来,不一而足。
除视频外,一些游戏平台和应用商店甚至AppStore均发觉了大量与该类视频画风雷同的游戏软件。
全球范围内的模仿者更难抑制。在国外,一些人最初只是搬运YouTube上的内容,加英文配音,接着开始有公司生产本土邪典视频。
例如以下这些让中国小孩参与拍摄的真人秀。优酷、快手上都有大量类似内容。动漫形象也从Elsa、蜘蛛侠扩充到中国儿童更熟悉的光头强等。
这种帐号背后是否有关联?如今不得而知。可能是有组织的行为加无组织的模仿的混和体。
StandAloneComplex还有一个特性:在模仿和随大流中,初始动机显得非常模糊。
最直接的猜测是经济利益。这种制做邪典视频的公司很有可能是瞄着点击量和广告分成的利润。一些视频中都会直接推广玩具,虽然是为了推动销量。
在有关部门下令整改后,曾在国外平台发布大量相关视频的“欢乐迪斯尼”(现更名为“深海5万米”),表示自己只是想要冲击点击量。
但若果只是为了钱,无法解释奇特的工作状态,利润虽然也无法覆盖成本:
《一群变态锁定观看YouTube的孩童,我曾经为她们工作》中,作者陈述的工作状况
令人匪夷所思的是,一向对版权高度看重的迪斯尼和漫威公司,面对这么大规模的侵权,目前却没有采取有力举措。
作恶者分散、模糊的动机,以及从一个点到多点的渐进式传播,使邪典视频潜伏了很长一段时间——早在2016年6月,美国《卫报》就报导过YouTube上诱导性视频,但直至今年7月,Elsa公主被各类开喉、开颅的视频被《纽约晨报》报道,Elsagate才导致了大范围关注。等这件事引爆中国舆论时,又已是半年后的2018年1月。
这正是StandAloneComplex的可怕之处:假如恶魔只是一个人,一个单一的组织,我们有明晰的对抗目标;而当恶的源头分散为无数个体,且一点点在网路里扩张时,我们很难及时反应。而等细小而隐秘的恶,累积成势时,已很难杜绝。
一万个荒漠里的游击球员,比一个强悍的“本拉登”更有破坏力。传统的“打BOSS”思维早已不灵了。
推荐算法+流量经济:无意识的替罪羊
“无主之恶”的第二层涵义是:我们习以为常的事物,可能无意间成了恶的替罪羊。一部份参与其中的作恶者是无意识的。
在Elsagate风波中,主谋是智能推荐算法+流量经济。
这套机制最初被发明时,任何参与其中的人,都不会想到自己的智慧有三天会被拿来侵犯儿童。
现在深受争议的YouTube、Facebook、今日头条、微博等公司,会冤枉地觉得,我们只是想挣钱,这在商业社会再正当不过了。
如何挣钱?——想方设法地吸引流量,提升用户逗留时长,从流量上赚广告收入。
如何更低成本、更高效率地吸引流量?——智能推荐算法,让计算机学习用户对内容的喜好,你越喜欢哪些,就越给你推哪些。
六年来,这套机制越来越娴熟,恐怕你老婆都不晓得你情人节想要哪些,亚马逊却晓得。
YouTube拥有据称世界上最复杂的推荐系统。这个系统简单来说分为两层:第一层,从后台视频库中选定数百万个相关视频步入“候选视频生成层”;第二层,按照用户的观看历史抽取几百个视频传输至“排名层”,再按照综合打分选出十几个视频推荐给用户。国外的视频网站,也运用了类似的推荐方式。
Elsagate聪明地借助了这个推荐系统:通过大量动画角色的名子以及打上恶搞、儿童等标签被算法手动判断为儿童视频,并时常在推荐次序中靠前,儿童只要点进一个,网站都会推荐同类型的视频一个接一个地播放。
Elsagate是流量经济和算法弊端的极端彰显。虽然,虽然是成年人,每晚也都在遭到更多“无伤大雅”却实实在在的损害和困惑。
还记得那篇风靡一时的《残酷底层物语:一个视频软件的中国农村》吗?作者在写文章时点击了大量“儿童饮酒”、“生吃死猪”、“早婚”题材的短视频,他的快手推荐页成了下边这幅模样:
《连线》杂志的马特・霍楠(MatHonan)曾做过一个试验,他计划在自己的Facebook上连续点赞48小时,只要系统推荐就点赞,想瞧瞧最后Facebook会给他展示哪些。但是短短一小时后,马特的信息流里早已没有人类了:全是品牌推广和广告。
睡着之前,他尝试点赞了一条支持以色列的消息。隔日早晨,他的信息流内容完全转向右派。
后起之秀明日头条,更是把这些智能推荐、分发的杀手锏玩到了极至。同一个APP,却万人各不相同,张一鸣创业时引以为傲的“一整层”工程师,大部份都是在研究精准推荐算法。你爱看八卦,就天天给你八卦;你想驾车,就每条都是老司机;你爱国、你粉色,就满屏都是热血新闻。
著名互联网评论家Keso曾说:“准确地搓揉人性弱点并不等同于用户价值,调戏用户将大把的时间泼洒在层出不穷的无趣事情上,并不等于用户价值,这只是一种变相的用现代化的传播手段制造出的价值幻像。”
你是谁不重要,你想成为何样的人也不重要,你会消费哪些才重要。
这些价值观支撑明日头条和Facebook成为市值百亿美元和千亿美元的庞然大物,却不管置身网路之中的用户被困在“回声室效应”里:获取的信息都在支持已有的知识与观点,不能开拓眼界,反倒固步自封。
互联网以前的愿景,是把世界联接成“地球村”;如今却以“个性化”的名义划出一个个孤岛。
在整个互联网发展史上,流量加算法的机制就是最初夏娃吃下的那颗苹果——从此,互联网走出乐园,步入人间,大鳄涌现,高墙垒起。
这可不是技术许诺给人们的开放和自由。
新的还击形式
新的技术环境形成了新型的无主之恶,我们也必须用新的方法来还击。
监管须要吗?一定须要。
对于任何内容平台,监管必不可少。由于公司本身是商业利益驱动的,靠流量、广告喝水,没有外力,她们很难自己摧毁自己的饭碗。
专注视觉估算的泛化智能CEO王汉洋告诉「甲子光年」,虽然视频辨识技术才能确切鉴定Elsagate类视频,但“如果监管不强制要求,不会有网站主动做这个,不挣钱”。
仅有监管足够吗?一定不够。
举个反例:这次Elsagate发酵后,我国监管部门反应得很快,全省“扫黄打非”办公室已布署举办深入检测和整治,大量有害视频被下架。但这仍旧是“一刀切”,锋利,也有刺伤。目前在国外视频网站上,搜索“elsa”“爱莎”不仅看不到邪典视频,正常的视频也完全看不到了;在百度视频上,“小猪佩奇”、“蜘蛛侠”等关键词也搜不出任何内容。
长远来看,不可能下来一个东西,就禁掉一片。所有人都要意识到,这是一场持久战,不可能一次告捷。
针对作恶源头在时空上的分散性,「甲子光年」认为,最佳的解决方法是:做好“多层防护漏斗”——在整个内容生产、分发、传播的过程中多点着重,融合技术和人力,且做好动态预警、应对的打算。
第一道关卡是视频平台的初审。
好多人在了解Elsagate风波后,第一反应是:莫非没有初审机制吗?
其实有,但仅在YouTube上,目前全球平均每分钟就有历时400小时的视频被上传,人工初审是绝对初审不完的。所以视频网站的大部份初审由程序按照文字描述和截图辨识完成。假如发布人员在递交视频时悉心伪装,很容易能够蒙混过关。
而技术将饰演越来越重要的角色,由于机器可以不断“学习”。
视频辨识技术,是通过深度学习,对标明好的图片的特定内容进行分类学习,训练出可以辨识特定特点的模型。在应用时将视频截帧,辨识出每一帧内容,最终便可转化为整个视频的辨识结果。
理论上来说,只要标明清晰,数据足够,辨识率都会相应较高。诸如“鉴黄”,机器就经历了自我学习的过程:一开始,机器仅仅能通过辨识图片中特殊颜色的面积进行鉴定,想蒙混过关的人只需加强图片上下黑边的面积能够通过初审;后来,通过学习海量标明过的蓝色图片,鉴黄的确切率才渐渐提高,时至今日,多家主流公司都声称早已达到了99%以上的确切率。
但辨识Elsagate比鉴黄更难:由于机器很难判定“边界”。
在“鉴黄鉴暴”领域有丰富积累的图普科技的营运负责人姜泽荣告诉「甲子光年」:一部份明晰的画面特点,例如断头、血腥、特定人物形象受孕等,可以有效辨识;但如果一个吃药的场景,假如人都很难把它和正常输液相分辨,机器也很难进行鉴别。
云从科技研究院教授周翔说:“这些视频中有的信息十分隐蔽,人一眼能够读懂,是因为人本身有多年社会经验,而计算机是不懂得这种经验的,它没有人生阅历,得不到图片和视频的内在意义。”
在机器初审这条路上,马拉松才跑了不到非常之一。
第二道关卡是传播和分发。
这涉及到对整个智能推荐算法的改进。在热闹发展了近10年后,流量经济加推荐算法带来的社会困惑开始显露。
2016年日本大选期间,美国透过Facebook假账户,花了10万港元传播干预补选的假新闻,致使“教皇支持特朗普”、“奥巴马不在澳洲出生”等假新闻高高飘在首页;今年,日本非赢利新闻媒体ProPublica在Facebook上做了一个实验,花30英镑透过“纳粹党”、“亲卫兵”等几个仇恨犹太人的关键词,成功给超过19万目标用户精准推荐了广告。
算法推荐带来了层出不穷的“标题党”和假新闻。面对指责,张一鸣和扎克伯格以前出奇一致地表态:我们是技术公司又不是媒体,一切由算法完成,不进行人工干预。
但是现在,Facebook被叫到议会出席听证会,然后宣布将对可信新闻源进行排行来对抗假新闻。
明日头条更是在被互联网信息办公室约谈后,开了24个小时的天窗,紧急招募了2000位内容初审编辑。
第三道关卡是对已发布视频的辨识和删掉。
上传阶段的视频辨识目前有一个困局:深度学习须要依照已有的数据来学习,而在Elsagate出现之前,不可能有人告诉机器这类视频是不对的。
为此,视频发布以后,依靠初期用户的反馈,动态地为视频降低标签,及时发觉不良视频并给与处理,便可以防微杜渐,避免不良视频漫延。
「甲子光年」认为,平台虽然可以设计一套新颖的激励模式,及时发觉已上传的有害处的视频:例如,当用户率先发觉某个不良视频,可以主动给其打上标签;当用户贡献的标签得到后续用户的认可和支持后,用户可以根据贡献分取适当的流量利润——这能激励所有用户参与到内容环境的检测中,内容在动态之中得到健康和过滤;而当某个视频最终被判断为不良视频时,发布者将得到扣款和惩罚。
没有最终的胜利,只有持续的战斗
后来引起祸根的东西,最开始可能看上去理所应该,无可置疑。
就似乎你很难把现今的混乱归咎到最初打造流量经济和推荐算法这些高效工具的人或组织头上。机制的强悍之处就在于,一旦被发明下来,就具有了某种不受人控制的独立性。
在事故车祸中,经常有司机碾压死者致死的新闻:假如死者死亡,司机只需一次性赔偿一笔赔付金,而假如死者受伤入院,司机须要养他一辈子;更长的丧假,本意是保证妇女权益,如今却成了一些用人单位“不要离婚未孕妇女”的症结——所有无辜的机制,都可能形成凶险的恶。
一个极端的故事是“盲井”。
2013年年底,江西的一处煤矿发生困难,一位工人死亡。但当矿厂经营者看到赶来料理后事的家属时,却困惑地发觉,她们只是匆忙看了一眼遗体,就开始平淡地谈索赔条件。
这牵出了一个惊天大案:原先这个结伙仍然引诱人到矿山打工,在井下杀害受害者,再假冒家属找矿主亏本。杀人越货的勾当干了十二票,只有一次未遂。
哪怕一种机制再必要和完备,作恶的人,总会想尽办法钻漏洞。
在技术赋能每位人的时代,这愈发提醒机制的设计者和每一个使用者:手握神器,杀心自起。
面对系统中不断涌现的恶,面对分散在各处的“StandAloneComplex”,不要忘掉我们自己也是可以行动的个体。
联合上去,积累力量,在新的善恶对决中,不会有最终的胜利,只有持续的战斗。
从这个意义上讲,惟有“无主之善”,就能真正全面动态地对抗“无主之恶”。
END.
丙子互动:
你觉得怎样能够防止下一个Elsagate?