TikTok宣布将公开驱动其内容审核算法的代码,并指责Facebook进行恶意攻击

TikTok新任首席执行官Kevin Mayer在其官网以“公平竞争和透明度使我们所有人受益”为题发表公开声明,表示该公司将发布驱动其内容审核算法的代码,以便专家可以实时观察其执行情况。他说,TikTok将在洛杉矶成立一个透明和问责中心,以进行审核和数据实践。此外,Kevin Mayer在这份声明中称,Facebook推出了另一个模仿TikTok产品Reels(与Instagram绑定)。但他认为这是Facebook“伪装成爱国主义”的恶性攻击。

揭秘FB内容审核人员工作状态:心理已不健康 每日被色情、暴力所笼罩

据外媒报道,数以万计的外国内容审核人员将无数有争议或恶意内容从Facebook上删除,他们在这个过程中身心都受到巨大伤害。然而与美国同行相比,他们几乎没有得到雇主的太多支持。这种情况会改变吗?

今年早些时候,当Facebook与代表美国四个州1万多名前任和现任内容审核人员的律师达成5200万美元的和解协议时,他们在印度和菲律宾的同事却完全被排除在外。在针对Facebook的案件中,美国的内容审核人员声称,检查这家社交媒体巨头平台上的内容,包括筛选从儿童色情到恐怖分子斩首视频的一切内容,已经导致了严重的心理健康问题。

和他们的美国同事一样,数以千计的亚裔员工受雇于Genpact和Cognizant等外包公司担任内容审核人员。他们总是报告说,令人精疲力竭的工作条件让他们暴露在各种暴力、色情以及其他恶意内容中,给许多人留下了持久的精神创伤。

Facebook在全球拥有超过15000名内容审核人员。虽然这起诉讼让美国的部分审核人员松了一口气,但它并没有解决那些在海外为该公司工作的人面临的困境。

外包热潮始于20世纪80年代末和90年代初的印度和菲律宾,当时西方科技公司开始将客户服务或IT等后台职能转移给受过良好教育但劳动力成本低得多的国家。如今,业务流程外包(BPO)公司在菲律宾雇佣了120多万名员工,在印度雇佣了110多万名员工。当Facebook在本世纪末开始外包其部分业务时,这两个国家确立了自己作为BPO中心的地位,其中最引人注目的是呼叫中心工作。

对于美国的内容审核人员来说,这份工作通常是临时性的,但在许多印度和菲律宾的审核人员眼里,业务流程外包本身就是一条值得追求的职业道路。这些工作通常由受过良好教育、精通英语但不是特别富裕的人担任,可以作为他们进入中产阶级的跳板。如果没有这些外籍员工,Facebook平台上将被暴力内容淹没,最终导致用户和广告商流失。

纽约大学商业与人权中心副主任保罗·巴雷特(Paul Barrett)表示:“鉴于内容审核工作的重要性,将其外包似乎不太恰当。这从一开始就存在些问题,因为这份工作的功能太重要了。”

现年30岁的拉胡尔(Rahul)是印度海得拉巴居民,他要求使用化名来保护自己的身份,他在一家银行的客户服务部门工作了几年后加入了Genpact。起薪不错,接近每月500美元(现在接近200美元),他发现在Facebook现场工作的机会很诱人。

当拉胡尔到达该公司的海得拉巴办事处时,他惊叹于那里的豪华沙发、乒乓球桌和城里最好的餐厅提供的餐饮。拉胡尔以前从来没有见过这样的东西。告诉他的朋友们自己在高科技城(Hitech City)工作,那种感觉似乎太好了,不容错过。高科技城中有许多最著名的国际科技公司,这也是拉胡尔接受这份工作的主要原因。

拉斐尔(Rafael)是一名菲律宾男子,为了保护自己的身份,他在接受采访时也要求使用化名。他说,他接受了内容审核工作以推进自己的职业生涯。作为一名喜欢写作的前新闻系学生,他乐于通过为公司的一些其他客户撰写博客帖子来锻炼自己的创造力。除此之外,他还从事内容审核工作。

即使这项工作被证明是艰难的,但他把重点放在了职业成长的潜力上。拉斐尔说:“为了丰富我的工作经验,我坚持了一段时间。”而当他看到了离开内容审核并接受新工作的机会,并在工作两年后,他就“抓住了机会”。

达拉斯律师丹尼尔·查雷斯特(Daniel Charest)代表了美国内容审核人员提起了诉讼。他说,他的成功在很大程度上源于能够在法庭上讨论内容审核工作对他的当事人们造成的心理伤害,这些人被心理学专业人士诊断为患有创伤后应激障碍、抑郁和焦虑。但在印度和菲律宾等国,社会耻辱和缺乏心理健康诊治渠道往往会阻碍人们公开谈论心理问题,更不用说一开始就得到正确诊断了。

拉斐尔觉得很舒服,甚至很有信心,能够将仇恨言论、色情内容等剔除出去。但让他难忘的是一段儿童被虐待的视频。在看到视频后,他开始注意到自己行为的变化,这让他感到担忧。他说:“我不是一个坏人,但是我发现自己在做一些邪恶的小事,说一些我会后悔的话,想一些我不想做的事。”

当时,拉斐尔工作的公司没有为内容审核人员提供任何形式的内部咨询帮助,所以他自己花钱支付了治疗费用。当被问及是否认为像Facebook这样的公司应该负责代表内容审核人员承担这类成本时,拉斐尔表示,他已经与目前的公司签署了保密协议,阻止他回答这样的问题。但他承认:“有时候,人们的绝望和黑暗会影响到你,即使你说是专业人士也无法应付。”

在接受这份工作的头几周,拉胡尔对他遇到的车祸和虐待儿童的图形视频感到震惊。最终,他变得麻木了。他说:“习惯了这些东西,可以让你一边吃午饭一边看某人死亡的视频。但归根结底,你还是要有人情味。”拉胡尔说,他没有去看治疗师,这对他没有用。

一位与Genpact合作并要求保持匿名的前顾问称,拉胡尔的糟糕经历反映了其他内容审核人员面临的困境。当内容审核人员最终寻求治疗时,通常是当内容会让他们想起个人生活中的事件,他们惊讶地发现自己也受到了影响。根据这位前顾问的说法:“他们会说:‘我做这行已经很久了。为什么我现在会有这种感觉?’”

据海得拉巴的精神病学家K·乔瑟尔马伊博士(K. Jyothirmayi)说,感到耻辱,比如心理健康诊断对婚姻前景的影响,往往会阻止印度年轻人寻求治疗。虽然菲律宾的精神卫生立法相对进步,但障碍和耻辱依然存在。

据在菲律宾工作的美国在线咨询初创公司MyGolana创始人劳伦斯·王(Lawrence Wang)说,从马尼拉臭名昭著的交通到令人望而却步的精神卫生保健费用等一系列问题,可能会让普通菲律宾业务流程外包(BPO)人员无法获得治疗。虽然拉斐尔不得不寻求私人咨询,但一些BPO公司在菲律宾确实提供这项服务,尽管即使这份服务也可以外包。

玛丽尔(Mariel)同样要求使用化名,因为她受到保密协议的约束,曾在一家BPO公司担任热线顾问。她的客户是其他BPO公司的员工,包括Facebook的内容审核人员。由于治疗是通过电话进行的,玛丽尔无法提供心理诊断。

在为公司工作的两年中,玛丽尔有几个客户在审核了与自杀相关的内容后开始考虑自杀。表达自杀想法或倾向的来电者被标记到处理内容审核的公司,并被转介给面对面的咨询顾问。但是,玛丽尔说,对于经历其他问题(如焦虑、抑郁或睡眠剥夺)的内容审核人员来说,没有这样的协议,这些问题可能会提醒公司注意正在酝酿的心理健康危机。

这名仰光男子在手机上使用Facebook。内容审核人员的工作时间很长,从审核仇恨言论到色情内容无所不

拉斐尔说:“深深沸腾的思绪会萦绕在你的心头,它会让你觉得毛骨悚然。这些东西无法轻易摆脱,因为我看到了,它已经记录在我的脑海里了。”拉斐尔将他从观看视频中恢复的能力归功于治疗。他表示:“我觉得,如果我当时没有咨询专家,被这段视频困扰的感觉可能会以某种形式表现出来,那样可能会让我后悔终生。”

即使内容审核人员接受了面对面的咨询服务,他们也会遇到不友好的法律环境。在印度,工人赔偿诉讼是通过各种法律进行裁决的,但该国的法律框架并不认为心理健康属于职业危害。印度互联网与社会中心的研究员阿尤什·拉蒂(Ayush Rathi)表示:“印度劳动法框架的设计只考虑到了雇主的利益。”

劳工律师、IT员工论坛(Forum For IT Employees)顾问吉达·德瓦拉加(Geetha Devarajan)表示,印度内容审核人员可能会根据该国1947年的《劳资纠纷法》提起诉讼。该论坛是IT和BPO工人的工会。但在根据该法案提起诉讼之前,内容审核人员必须成立工会,并与雇主进行仲裁,以试图达成可接受的和解。

尽管菲律宾的劳动法通常规定,第三方公司对为承包公司工作的员工分担责任,但这些规定并不适用于BPO行业,因为该行业允许将工作外包给BPO公司的第三方公司逃避对从事这项工作的员工承担责任。

赖斯大学在菲律宾研究内容审核工作的助理教授奥尔登·萨约尔·马特-伍德(Alden Sajor Marte-Wood)说:“菲律宾的整个法律体系旨在吸引外国投资进入业务流程外包等行业,这在一定程度上意味着没有美国那样的劳工保护措施。”这两个市场都有大量的廉价劳动力和高失业率,这意味着BPO工人也感觉自己可以被随意替换。

致力于保护菲律宾BPO工人权利的BPO行业雇员网络(BEN)主席玛琳·卡巴罗纳(Meline Cabalona)指出:“为了让人们保持听话,公司会说,如果工人不遵守规定,没有达到客户的目标,那么客户就会退出,把工作带到另一个国家。当然,人们害怕丢掉工作。”

智库塔克沙希拉研究所(Takshashila Institution)的政策分析师罗汉·塞斯(Rohan Seth)补充说:“虽然内容审核可能不是薪酬最高的工作,但有总比没有强。这几乎是从业公司妥协的理由。”

自美国的诉讼以来,Facebook已经同意做出改变,以更好地支持内容审核人员,包括要求外包公司提供更多心理支持。Facebook的一名代表称,这些改变也将适用于在美国以外工作的内容审核人员。然而,这起诉讼不会对那些已经遭受心理伤害的国际内容审核人员进行赔偿。

马特-伍德担心,美国未来诉讼的威胁可能会将内容审核工作推向印度和菲律宾等地,这些地方的劳动法更为宽松,遭遇类似诉讼的可能性较小。

对于纽约大学的保罗·巴雷特来说,唯一的解决方案是让内容审核人员进入公司内部,尽管他承认Facebook雇佣承包商的成本仍然较低。他说:“我认为Facebook知道它必须雇佣大量听得懂地道英语、了解美国风俗习惯的美国人,花5200万美元打发掉1万多名内容审核人员来说并不贵。”

智能机审+人工审核才是企业内容安全审核的不二选择!

在大数据时代下,提及到互联网安全时,我们会主要将目光聚焦于黑客攻击、数据泄露这些主要关乎网络环境与信息保护的相关问题,但是随着国内互联网产业的发展与相关技术的革新,基于网络而产生的内容越来越多,也越来越杂。我们日常在浏览网站、使用聊天工具聊天、甚至是游戏、购物等等,我们所获取的视音频、图片亦或是文字,都可以称之为互联网的相关安全内容,这些与我们日常生活密切相关的信息,往往又是容易出现安全问题的一大漏洞!

在过去10年间,我国内容安全审核业务在图像识别、语音识别等相关技术上取得的进步有目共睹,其技术已经逐渐渗透至安防、物联网、机器人、金融等相关领域。

移动化、碎片化、去中心化的内容生产方式对于平台的管理和审核提出了新的考验和要求。在这个过程中,大多互联网公司过度依赖AI的算法和机器审核,加之内容审核业务中存在大量文本类内容,自然语义理解可以有效的解决简单语义的筛查,但是结合上下文及时序事件存在的一些含沙射影的含义,AI审核却难以理解。时至今日,自然语义技术仍无法实现重大突破,主要原因在于计算机无法模拟人类语义的扩展性、联想性以及时序性等特点,这给内容安全审核带来了新的挑战。

今日头条作为其中的代表公司因内容合规问题前后已受罚4次,并关停内涵段子;凤凰网、快手、腾讯等公司均因内容审核问题遭到不同程度的处罚;而后,包括今日头条、快手在内的互联网公司开始进行搭建或者持续扩充千人级别以上的大型人工审核团队,目的就是为了筛选出AI审核所遗漏的内容。

除了文本审核这项当前应用较为广泛的技术,视频审核也是当下的热门内容安全审核业务,在视频审核方面,审核人员会根据相关内容不同,如:直播、短视频、个人上传的视频等等,逐一核查以画面与音频相组成的、且以帧为单位的画面,同时还审核音频中存在的暴恐、淫秽、甚至是音画不同步等问题。

当下,比较热门的几个短视频App,如:抖音、映客、快手等,对视频内容的审核往往通过AI审核的方式进大量的审核筛检。对于画面中存在的严重血腥、暴恐、色情、政治新闻等危害画面内容会优先被pass,而那些不以直接性的画面展示的内容仅仅靠AI审核却难以审查出来。

通常来说,内容违规大多存在于音、视、图、文四个方向,其审核识别方式都是通用的,只不过在审核时设定的策略及宽进程度不同,如图片的识别,可设定存有性感,但不能色情,也可设置存有只能人脸,但不能物体,拦截的宽紧程度需要人工来设定,对于大量的内容并发,则是需要大量人工通过机器辅助人工进行审核,而非机器单独进行全方位过滤。

因此,内容安全审核业务,对每个互联网企业来说可谓是任重道远,在大数据时代下,只有将智能机审与人工审核相结合,才是企业进行内容安全审核的不二选择!

内容审核:用python实现内容鉴黄

背景

随着网络监管越来越严格,UGC网站都需要针对用户生产的内容,进行审核。

目前大家一般是机器和人工审核的双重过滤。针对大型的UGC网站,如果全部人工审核是不现实的,需要花费大量的人工成本,所以机器审核尤其重要。

废话不多说,给大家介绍下怎么利用python进行鉴黄。

思路

下面给大家说明下图片审核的思路。

视频审核与图片审核是通用的。视频内容实则由音频内容、视频画面内容两个对象组成,视频画面内容的机器审核,业界目前常采用截取画面帧上传识别,最终复用的是图片识别通道对场景、人物、物品进行判断是否违规。

遍历图片每一个像素,进行颜色分区、并记录是否为肤色;皮肤区域小于 3 个,不是色情;如果皮肤区域与整个图像的比值小于 15%,那么不是色情图片;如果最大皮肤区域小于总皮肤面积的 45%,不是色情图片;皮肤区域数量超过 60个,不是色情图片;其它情况为色情图片关键代码

# 分析区域def _analyse_regions(self):# 如果皮肤区域小于 3 个,不是色情if len(self.skin_regions) < 3:self.message = “Less than 3 skin regions ({_skin_regions_size})”.format(_skin_regions_size=len(self.skin_regions))self.result = Falsereturnself.result# 为皮肤区域排序self.skin_regions = sorted(self.skin_regions, key=lambda s: len(s),reverse=True)# 计算皮肤总像素数total_skin = float(sum([len(skin_region) for skin_region inself.skin_regions]))# 如果皮肤区域与整个图像的比值小于 15%,那么不是色情图片if total_skin / self.total_pixels * 100 < 15:self.message = “Total skin percentage lower than 15 ({:.2f})”.format(total_skin / self.total_pixels * 100)self.result = Falsereturnself.result# 如果最大皮肤区域小于总皮肤面积的 45%,不是色情图片if len(self.skin_regions[0]) / total_skin * 100 < 45:self.message = “The biggest region contains less than 45 ({:.2f})”.format(len(self.skin_regions[0]) / total_skin * 100)self.result = Falsereturnself.result# 皮肤区域数量超过 60个,不是色情图片if len(self.skin_regions) > 60:self.message = “More than 60 skin regions ({})”.format(len(self.skin_regions))self.result = Falsereturnself.result# 其它情况为色情图片self.message = “色情图片”self.result = Truereturnself.result

斗鱼直播新增股权出质:陈少杰曾被限制高消费,内容审核是重任

导读:股权质押,一般用来作为申请贷款,或为第三方申请贷款提供担保。

7月27日,贝多财经了解到,斗鱼直播创始人、CEO陈少杰质押了其持有的武汉斗鱼网络科技有限公司(即“斗鱼直播”)的42.3293万元份额股权,占斗鱼全部股权比例的1.89%。

信息显示,陈少杰出质斗鱼直播1.89%股权的时间为7月22日,质权人为武汉斗鱼鱼乐网络科技有限公司。据了解,后者为斗鱼直播美股上市主体在境内的VIE架构(可变利益实体)对应的公司,也是斗鱼直播旗下多家公司的重要股东。

全部股权均已出质

根据企查查信息,武汉斗鱼鱼乐网络科技有限公司成立于2018年4月,注册资本4亿美元,法定代表人为其总经理高杰。当前,高杰也是斗鱼直播等多家公司的法定代表人,还持有武汉斗鱼资产管理有限公司25%股权。

武汉斗鱼网络科技有限公司备案的工商信息显示,陈少杰持股37.0481%,为其第一大股东;林芝利创信息技术有限公司(腾讯旗下)持股18.9753%,为第二大股东;奥飞娱乐(SZ:002292)控股股东蔡东青持股13.179%,为第三大股东。

在陈少杰出质斗鱼直播1.89%股权后,武汉斗鱼网络科技有限公司所有股东的全部股权均处于出质状态,质权人均为武汉斗鱼鱼乐网络科技有限公司。对应的是,斗鱼直播的上市主体。

而根据斗鱼直播(Nasdaq:DOYU)提交的2019年年报,截至2020年3月31日,腾讯通过旗下全资子公司Nectarine Investment Limited持有斗鱼直播12,068,104股股票,持股比例为38%,拥有38%的投票权。

同时,陈少杰持有4,681,436股股票,占股14.7%,为第二大股东,拥有14.7%的投票权;斗鱼直播联合创始人张文明拥有625,136股斗鱼股票,占股2%。而斗鱼直播此前的招股书显示,陈少杰持股14.3%,腾讯持股40.1%。

曾被列为失信被执行人

值得一提的是,斗鱼直播此前曾被法院列为失信被执行人,也即俗称的“老赖”。据贝多财经此前了解,2019年11月,因有履行能力而拒不履行生效法律文书确定义务,斗鱼直播被广州市番禺区人民法院被列为失信被执行人。

而后,斗鱼直播相关负责人回应称,该案本质上是虎牙直播与前主播之间的合同纠纷,并非斗鱼直播欠付第三方费用。斗鱼直播方面称,公司已就该执行判决向法院递交了异议材料。

资料显示,涉案主播高某以“游弋”的推广名在虎牙直播平台进行游戏“王者荣耀”的直播及解说,并与虎牙直播在2017年2月签订了服务合作协议。同年7月,高某转至斗鱼TV(斗鱼直播)进行游戏直播,因违约被虎牙直播诉至法院。

根据广州市番禺区人民法院作出的(2019)粤0113执786号判决文书,高某因未按执行通知书指定的期间履行生效法律文书确定的给付义务,被列为失信执行人,并被出具了限制消费令。

期间,法院曾要求斗鱼直播平台冻结并提取主播高某在该公司的收入220万元,并提供其收入明细。斗鱼直播公司随后向法院提交《情况说明》称,高某在该公司可结算金额为零,无可冻结财产。

根据南方都市报报道,法院以斗鱼直播公司涉嫌提交虚假情况说明对其作出罚款处罚。其中,斗鱼直播被罚款100万元,其法定代表人陈少杰被罚款10万元。因未支付罚款,斗鱼直播被列入失信被执行人名单,且陈少杰也被限制高消费。

贝多财经了解到,经复议后,斗鱼直播最终从失信被执行人名单中被移出。企查查信息还显示,截至目前,斗鱼直播公司共有15条行政处罚信息,多数行政处罚决定为警告并罚款。

主播跳槽判赔8522万元

业绩方面,根据斗鱼直播公布的2019年年报,其2019年总净营收为72.832亿元(约合10.411亿美元),与2018年的36.544亿元相比增长99.3%;净利润为3330万元(约合480万美元),而2018年净亏损8.763亿元,扭亏为盈。

2020年第一季度,斗鱼直播的总营收增长至22.78亿元,较2019年第一季度的14.89亿元增加53%;非美国会计通用准则下的净利润为2.97亿元,相较2019年同期的3530万元,增长741.7%。

陈少杰表示,“一季度斗鱼持续构建以电竞为核心的多元化内容平台,我们很欣慰地看到财务和运营数据上都有着亮眼的表现……未来,我们相信通过卓有成效的运营策略,加速电竞产业链上下游布局,仍将保持平台的高速增长。”

据了解,陈少杰还在财报电话会议中透露,目前,斗鱼直播已与上百位头部主播签订了3-5年的长期合同,“在丰富且稳定的头部主播资源加持下,斗鱼的用户粘性得到了进一步的提升,长期合同也遏制了跳槽情况的发生。”

值得一提的是,斗鱼直播曾因主播韦朕(直播名:韦神)合约期内跳槽而将后者诉至法院。最终,法院判决韦朕向原告斗鱼直播旗下武汉鱼行天下文化传媒有限公司支付违约金8522万元。

法院表示,韦朕合约期内的跳槽行为违背了《解说合作协议》签订的根本目的,构成了根本违约,同时还发布不利于斗鱼直播平台的言论,应当依约承担违约责任,因此判定韦朕赔偿违约金合计8522万元。

同时,法院判决武汉鱼行天下文化传媒有限公司应支付韦朕247万元与其他公司的解约费用。法院表示,这是出于履行《解说合作协议》的需要,因此支付的解约费用247万元,依约应由该公司承担。

内容审核是重任

另据了解,今年6月,斗鱼直播等因低俗内容遭到通报。具体来看,6月23日,网信部门宣布已依法约谈虎牙直播、斗鱼直播等10家网络直播平台,要求花椒直播等3家平台限期整改,整改期间暂停新用户注册、全面清理违规内容。

在被约谈后,斗鱼直播、虎牙直播等平台均于6月23日凌晨停止了推荐频道更新、新用户注册,并且在首页也发布了整改停止更新的公告。而经体验发现,已恢复正常更新的斗鱼直播推荐页面中,女性主播依然是主力。

此前,央视新闻曾报道称,今年2月初,虎牙直播(NYSE:HUYA)开通免费上网课渠道。然而,在虎牙直播App中,一打开,首先弹出的却是各种网游的兴趣选项。同样的情况,也出现在斗鱼直播平台中。

针对央视报道中提到的品类商业元素,虎牙直播方面回应称,平台也进行了紧急修改,目前“一起学”板块的广告已下线。而后,该平台涉及K12教育(学前至高中教育)的相关内容也均已下架。

斗鱼直播也回应称,教育板块下展示的游戏广告,是在正常用户模式下,面向成年用户推送的,目前相关广告已全部下线。同时,平台将对教育板块进行持续深入清理,优化产品功能,为用户提供更加专业、健康的服务。

早前,斗鱼直播还因主播“直播造人”事件被约谈。江苏网警更是表示,“如果做不好内容审核,可以关停服务器好几个月”。对此,斗鱼直播回应,将积极配合公安机关做好调查工作,今后将加强监管。

但内容审核谈何容易,斗鱼直播等31家直播平台被点名,其中10家被约谈、3家被要求整改,就是最好的说明案例。而这样的情况,不止一次地循环发生。

来源:贝多财经

多家直播平台被约谈处置后仍出现庸俗低俗内容

导读:

1、国家网信办近期会同相关部门对国内31家主要网络直播平台的内容生态进行全面巡查,10家网络直播平台存在传播庸俗低俗内容等问题,被依法约谈处置。但总体来看,目前各平台虽然已经进行了不同程度的整改,却仍然存在一些庸俗低俗内容

2、目前关于低俗、恶俗、粗俗内容缺乏明确定义和判断标准,导致很多主播不断打“擦边球”。此外,低俗内容容易满足人们初级的生理诉求,主播容易获得更多关注,平台也能获得更多利益,而如果处罚力度远低于他们所获得的利益,一些主播就宁愿铤而走险

3、要整治直播平台庸俗低俗内容,可以从以下四个方面入手:提高主播的准入门槛;直播平台切实履行主体责任,及时发现和制止违法违规信息;落实主播黑名单制度;加大对直播平台和主播违法违规行为的惩处力度

前不久,国家网信办会同相关部门对国内31家主要网络直播平台的内容生态进行全面巡查,发现上述平台普遍存在内容生态不良现象,不同程度地存在内容庸俗低俗问题。

巡查结束后,国家网信办指导属地网信办依法依规约谈上述平台企业,视违规情节对相关平台分别采取停止主要频道内容更新、暂停新用户注册、限期整改、责成平台处理相关责任人等处置措施,并将部分违规网络主播纳入跨平台禁播黑名单。

事实上,直播平台内容庸俗低俗问题早已不是新鲜事。多年来,该问题始终是恶化网络生态环境的毒瘤。网络直播平台庸俗低俗内容为何屡禁不止?下一步应当如何整治低俗内容?《法制日报》记者进行了采访。

低俗内容仍然存在

穿着暴露弹幕粗俗

6月23日,国家网信办、北京网信办、广东网信办先后宣布,已依法约谈了虎牙、斗鱼等10家网络直播平台,要求花椒直播等3家平台限期整改,整改期间暂停新用户注册、全面清理违规内容。

《法制日报》记者观看直播发现,在一些直播平台的推荐页面上,仍然能看到一些较为性感的直播封面图,进入直播间后还能看到一些女主播身着性感服饰进行直播。

其中,花椒直播作为专门的直播平台,该现象比较严重,其子栏目“动态”中刷新出来的内容大多数都是一些女性主播发布的热舞片段,内容极具挑逗性;而子栏目“热门”中的直播封面图更是充斥着凸显女性身体曲线的暧昧图片,弹幕中也不乏一些粗俗低俗内容。

斗鱼、虎牙等平台在被约谈后均于6月23日凌晨停止了推荐频道更新、新用户注册,并且在首页也发布了整改停止更新的公告。

6月24日,虎牙直播官方发布公告,表示平台将开展为期6个月的平台生态专项整治行动,将会对相关不良信息、标题党、恶意炒作等违规行为进行整改打击,此外也将推出平台“正能量评价体系”及“主播信用评分系统”。

《法制日报》记者近日登录这两个平台,发现已经可以正常浏览频道的更新内容,但是在这两个平台的直播推荐页面中,仍然主要以女性主播居多,且仍然存在女主播身穿性感服饰在直播间中热舞的片段,评论区也不乏一些极具性暗示意味的言论。即便没有舞蹈动作,只显示上半身坐在镜头前直播的女性主播也穿着较为暴露,大部分皮肤裸露在镜头面前。

总体来看,目前各平台虽然已经进行了不同程度的整改,但是仍然存在一些庸俗低俗内容。

《法制日报》记者询问了身边的网络用户观看直播的经历。

在北京某大学读研究生的李成(化名)告诉《法制日报》记者,她经常观看淘宝带货直播或吃播,主要平台是淘宝和哔哩哔哩,她所观看的内容本身并没有太多不良低俗内容或者色情内容,但是在评论区却可以看到一些人所发布的低俗言论。例如,在主播带货过程中,评论区会有“杠精”无端谩骂或者诋毁主播,或者评论者之间互相谩骂。

同为学生的刘刚(化名)说,他一般会观看一些游戏直播,此类游戏直播的主播以男性为主,一些主播在直播过程中也会出现爆粗口等现象,也曾在弹幕中见过恶意谩骂的言论。在一些视频聊天类直播间,他也曾经看到过打“擦边球”的内容。例如,女性主播穿着裙子在镜头面前做出撩裙子等动作。此外,一些主播为了吸引观众,会在封面图中设置一些比较性感的图片,或者将直播背景设置为尺度较大的动漫图片。

《法制日报》记者在浏览一些直播平台的贴吧时,发现一些网友在分享自己使用直播平台的经历时表达了不满。

例如,在某直播平台贴吧中,有网友贴出一张直播截图,并表示“这都不封吗”。该截图显示,一个男主播在直播展示自己的电脑画面时,出现了色情类网络广告。这张截图在贴吧中被不同的用户分别上传,这些用户一致认为此类账号应该得到处理。

此外,还有一些网友反映主播辱骂粉丝的相关事宜。

违法成本相对较低

经济利益驱动违规

网络直播平台庸俗低俗内容屡禁不止,是由很多原因共同导致的。

中国传媒大学教授王四新认为,首先,最直接的原因是追逐名利。低俗内容容易引发人们的关注,也容易和受众形成直接的共鸣。在有充分的互动和共鸣的情况下,或者在能够满足人们比较初级的生理诉求的情况下,平台和主播自然就会获得更多的关注,平台的利益就能够逐步扩大,主播的变现能力就会越来越强。这种经济利益驱动构成了最主要的原因。当法律处罚的力度远远低于他们通过这种方式获得的利益时,这些主播就宁愿铤而走险。

王四新说,其次,国家互联网信息办公室以及相关监管机构制定的规范性文件、部门规章落实不到位也是重要原因。

“从国家现在的规则供给侧情况来看,关于低俗内容的要求已经成体系,如果平台或主播能够切实履行主体责任,严格按照国家法律法规和规范性文件的相关要求,严格落实相关规定,比如对所有参加直播的人,严格落实实名制,严格对其直播内容进行资质和资格方面的审查,对直播过程进行全流程的跟踪监管,并及时处罚违规使用平台服务的人或者组织,就会在一定程度上减少这种现象。但实际情况是,平台出于各种各样的原因,对主播审核不严,或对有关监管要求落实不到位,也有大量平台想通过这种方式增加关注度。这就属于违规操作,严重的可能涉及刑事犯罪。”王四新说。

“最后,直播平台存在这种现象,与直播活动是一种情景性的活动有关系。情景性的活动就是平台利用互联网技术提供直播服务,主播通过直播这种方式和网友进行互动。而直播的效果如何,比如主播的变现程度以及平台的变现程度,都依赖于主播自己创造的这种场景。在这种情况下,如果主播的法律意识不强,其追逐利益的想法超过了遵纪守法的想法,就很容易出问题。现场网友的互动以及个别网友提出的过分要求,以及通过付费方式购买这种内容的要求,也是导致大量主播在直播过程中出现低俗内容的主要原因。”王四新说。

中国政法大学知识产权中心特约研究员、北京志霖律师事务所律师赵占领说,目前关于低俗、恶俗、粗俗内容缺乏明确的标准,没有法律上的明确定义和判断标准。对于是否违法已经有了明确规定,比如不能发布淫秽色情信息、血腥暴力信息等“九不准”规定,这些信息在发布时的判断标准比较明确,但对于三俗内容并没有一个明确的判断标准,所以就有很多主播打“擦边球”。

赵占领告诉《法制日报》记者,目前主播数量虽然庞大,但头部主播是少数,众多主播如果想要获取粉丝和流量,获得打赏或其他商业利益,就需要采取一些手段进行营销以吸引观众。因此,为了制造噱头,一些主播会不择手段,生产一些猎奇、低俗内容以迎合受众的口味。

“另外,直播这种模式带有即时性,不同于短视频平台或者其他网络平台,没办法做到先审后发。因此,直播平台对于主播在直播过程中的一些违法违规或者低俗行为就很难事先防范,只能通过事中的技术手段、人工手段或者观众举报和投诉这几种方式来发现,但是通过技术判断是否存在违规内容时也存在很多不足和局限性,人工审核对于直播平台来说也有巨大压力,即便直播平台的客服审核团队人数成百上千,但面对众多的主播和直播内容,也很难及时发现并制止违法违规内容和低俗内容。”赵占领说。

赵占领提出,从监管部门来看,他们对于主播的行为监管往往做不到事前和事中的监管,大多数情况下是一种事后监管,在直播过后发现此类违法违规行为再进行处罚,并且处罚主要以罚款为主,对于主播来说违法成本相对较低。

直播平台切实履责

监管部门加大惩处

直播平台庸俗低俗内容不断,下一步应当如何进行规范?

赵占领建议,首先,主播需要遵守法律规定,包括网络安全法和《互联网信息服务管理办法》等相关规定。

《互联网信息服务管理办法》指出了“九不准”规定,比如不能发布反对宪法所确定的基本原则的信息,不能散布淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪的信息等。在赵占领看来,如果直播平台或者主播自主发布的内容违背了“九不准”原则,他们就应该承担相应的行政责任,或构成民事侵权,如侵犯别人的隐私权、名誉权等,甚至构成犯罪,承担刑事责任。另外,如果主播在为其他商家进行代言、发布广告的过程中发布虚假信息,也需要承担连带责任。

赵占领说,此外,直播平台对于管理主播和主播行为负有主体责任,如果平台没有及时采取相关管理措施和技术措施来防范和制止违法违规信息的传播,以网信办为主的监管部门就可以对相关平台进行行政处罚,如限制部分功能、暂停频道更新、所有业务下架整改等。

王四新对《法制日报》记者说:“根据网信办出台的一系列规范性文件,直播平台要对参与直播活动的主播以及其他用户进行实名登记,或者对整个直播过程进行全流程管理,对于出现的违规违纪违法情况及时处置。”

“同时,直播平台还应该不断完善自己的责任体系,做到无死角管理;或者能够根据平台上的信息流、内容流的情况,运用现代化的技术手段,对直播过程中产生的内容进行有效管理。”王四新说。

赵占领还建议,要整治直播平台庸俗低俗内容,可以从以下四个方面入手:

第一,提高主播的准入门槛。在主播入驻平台之前,应当由直播平台对其进行培训,培训内容应该包含法律知识等。

第二,直播平台应该切实履行主体责任,完善技术手段,投入更多的人力和财力,对违法违规信息做到及时发现和制止,对违法违规内容和违反用户协议的内容加大处罚力度。

第三,建立和落实主播黑名单制度,避免一个主播在一个平台上受到处罚后,仍然可以转移至其他平台进行直播,导致黑名单制度无法发挥切实有效的作用。

第四,监管部门应该对违法违规行为加大惩处力度,尽可能做到及时发现和处罚,以消除主播的侥幸心理,增加其违法成本。

“从政府角度来讲,规范体系要不断完善,执法措施要不断跟进。从平台角度来讲,各项管理措施要不断落到实处,各项管理举措要不断到位。从互联网用户角度来讲,用户要积极参与网络优质内容的创造、传播工作,同时也要通过各种方式与网络上的不良内容进行斗争,包括熟练使用平台的举报系统等。只有各方共同努力,才能营造清朗健康的网络空间。”王四新说。

来源:法制日报

哪张脸是真的?研究人员用频率分析来识别Deep-Fake图像

在人工智能和Deep-Fake日益盛行的放下,不少照片看似真实,但实际上是由电脑制作的。不过这些图像已经相当具有欺骗性——所谓的深度假图像是由机器学习算法生成的,人类几乎无法将它们与真实照片区分开来。

Horst Grtz Institute的的研究人员和“大规模对手时代的网络安全”(Casa)卓越集群开发了一种有效识别深度伪造图像的新方法。

这种方法被让那些由计算机算法而不是人类创建的伪造图像“一览无遗”。为此,他们还分析了频域中的对象,这是一种已建立的信号处理技术。

该团队在2020年7月15日的国际机器学习会议(ICML)上展示了他们的工作,该会议是机器学习领域的主要会议之一。此外,研究人员将他们的代码免费发布在网上,这样其他小组就可以复制他们的结果。

两种算法的相互作用产生新的图像

deep -fake images是“深度学习”(deep learning)和“fake”(fake)的合成词,是在计算机模型的帮助下生成的,也就是所谓的“生成式对抗网络”(Generative Adversarial Networks),简称GANs。

在这些网络中有两种算法一起工作:第一种算法根据特定的输入数据创建随机图像。第二种算法需要判断图像是否为假图像。如果发现图像是伪造的,则第二种算法会向第一种算法发出修改图像的命令——直到不再将其识别为伪造为止。

近年来,Deep-Fake这种技术已经让那些深度的算法合成假图像变得越来越真实。

在一些网站上,用户可以检查他们是否能够区分真假照片。“在假新闻时代,如果用户不能区分电脑生成的图像和原始图像,这可能会成为一个问题,”系统安全系主任托尔斯滕·霍尔兹(Thorsten Holz)教授说。

为了进行分析,Bochum Fake Image研究小组成员使用了数据集,这些数据集也构成上述页面“哪张脸是真实的”(Which Face is Real)的基础。

在这个跨学科项目中,系统安全系主任Joel Frank、Thorsten Eisenhofer和Thorsten Holz教授、机器学习系主任Asja Fischer教授、数字信号处理系主任Lea Schonherr和Dorothea Kolossa教授达成了合作。

图像频率分析暴露了假图像的“伪影”

到目前为止,不少研究团队已经使用复杂的统计方法分析了伪造的图像。而Bochum Fake Image研究小组选择了一种不同的方法,通过使用离散余弦变换将图像转换到频域。生成的图像因此表示为许多不同余弦函数的和。自然图像主要由低频函数组成。

变换到频域的人物图像:左上角代表低频图像区域,右下角代表高频区域。在左侧,您可以看到真实人物照片的变换:频率范围是均匀分布的。计算机生成的照片的转换(右)包含一个在高频范围内的典型网格结构-典型的伪像。

分析表明,GANs生成的图像在高频范围内会显示伪影。例如,在伪图像的频率表示中出现了一种典型的网格结构。“我们的实验表明,这些伪影不仅出现在GAN生成的图像中。它们是所有深度学习算法的一个结构性问题。系统安全主席Joel Frank解释说。

“我们认为研究中描述的伪影将始终告诉我们该图像是否是由机器学习创建的伪造图像,” Frank补充道。 “因此,频率分析是自动识别计算机生成图像的有效方法。”

《互联网内容审核职业技能等级标准》发行!快来了解相关政策!

随着4G不断普及,2019年我国网民人均使用流量达7.82GB/月/户,而2018年、2017年、2016年的这一数据分别为4.64GB/月/户、1.73GB/月/户、0.76GB/月/户,与之相匹配的是,我国4G用户总数达到12.8亿户,在这个庞大的数字之下,标志着近年来我国移动互联网的高速发展趋势,而PC端生产的数据量和WIFI环境下的用网数据量,更难以统计。根据相关数据显示:2022年,视频在互联网的数据中占比将达到83%,爆炸式的数据仍不断增加,互联网内容审核则是扛着巨大压力缓慢前行。

近年来,网络用户对内容的需求日益多元化:新闻资讯、短视频、影视综艺、音频、动漫、网络小说等类型的内容,大量占据着用户的日常时间,互联网内容逐渐呈现出多元化、碎片化的特点,人们的阅读习惯也发生着变化,为了增长流量,各大互联网内容平台可谓是“快马加鞭”的输出内容,这样一来,免不了出现劣质内容“野蛮生长”,内容违规问题日渐凸显。

由于绝大多数网民对信息的真伪难以辨识,因此,高度依赖于互联网平台对内容的把关,内容审核工作就成为整个互联网平台的有力保障,互联网平台内容信息的真实性、可靠性高,其公信力就就会越高,随之而来的是人们对平台的依赖程度越大,这样,平台自身的发展才会更加完善,形成良性循环;反之,若互联网企业对平台的内容不加筛选、规范和有序引导,会逐渐丧失公信力,不仅如此,其有害内容对青少年用户造成的伤害更是不可估量!

因此,对每一家互联网内容平台来说,确保平台内容的合法性和规范性,健全平台内容审核机制,是关键且需要高度重视的问题。而培养一批素质较高、责任意识强的内容审核人员,成为互联网行业持续繁荣和企业快速发展的迫切需要。

近日,由中国电子学会组织编制的《互联网内容审核职业技能等级标准》(以下简称为标准)正式对外发布。该标准是中国电子学会按照《国家职业教育改革实施方案》的部署,为加强互联网内容审核人才队伍建设,充分发挥科技社团第三方作用,联合有关单位根据《职业技能等级标准开发指南》的有关要求组织编制的,标准规定了互联网内容审核职业技能等级对应的工作领域、工作任务及技能要求。

在标准中提出:互联网内容审核职业技能分为三个等级:初级、中级、高级,依次递进,高级别涵盖低级别要求。

根据中国电子学会教育工作委员会副秘书长王海涛介绍:人才标准编制是中国电子学会作为工业和信息化部直属事业单位、民政部5A级全国性学术类社会团体、人力资源和社会保障部认定的国家级专业技术人员继续教育基地,开展教育培训工作的组成部分,也是中国电子学会“全国电子信息人才能力提升工程”的重要任务之一。人才标准编制是根据市场需求为导向,以技能提升为目标,旨在为相关单位选人用人、教育培训、考核评价提供重要参考依据。

此次,“互联网内容审核”人才标准的发布,得到了中国信息安全评测中心、百度、网易、华为、网景盛世、齐聚科技、中科汇联、中工信推、中联国创等多家单位和专家的支持参与。而这项标准,将会进一步得到修订和完善,并且开展编写培训教材、研发实训平台、组织考核评价等工作,积极与政府有关部门对接进行项目申报和政策衔接,面向院校和社会提供优质的人才培养服务。

趣头条发布整改措施:加强广告审核力度

7月17日消息,针对被315点名一事,趣头条今日发布整改措施,称即日起开展对平台广告联盟的代理商全面核查和整改,严格规范代理商合作机制和流程,对有问题的代理商立即停止合作;第一时间对广告运营负责人作停职处理。

昨日晚间,央视315晚会上曝光了趣头条广告乱象,节目显示没有提供任何资质,网赚广告就能轻而易举地登上趣头条。

随后,趣头条发布声明称,对于315晚会报道的广告问题,趣头条高度重视,并充分意识到在平台广告生态管理方面仍有诸多不足,对于给用户带来的困扰和影响,趣头条表示诚挚的道歉。

受报道影响,趣头条股价大跌,截至周四收盘,股价跌幅达23.04%,报收2.84美元。

以下为趣头条整改举措全文:

趣头条关于315晚会报道的整改举措

首先,感谢央视315晚会对趣头条广告业务问题的监督报道,帮助趣头条更好地为用户提供服务。对于广告存在的问题,我们将严加治理,并立即启动不限于以下几项具体举措:

1、认真落实平台主体责任,积极配合主管部门的调查,迅速成立广告生态治理专项工作组,连夜组织公司技术、产品、审核、商业化、法务、财务等部门调取数据,追根溯源,直面问题,举一反三,查缺补漏。

 

2、即日起开展对平台广告联盟的代理商全面核查和整改,严格规范代理商合作机制和流程,对有问题的代理商立即停止合作。

3、第一时间对广告运营负责人作停职处理。

4、立即加强广告审核力度。升级广告审核标准和规则,全面清查库存广告内容,绝不漏放一条违法广告。

5、针对广告生态中可能出现的问题,全力利用“蓝军”手段对广告生态进行监督和自查。趣头条自2019年5月成立“蓝军”团队,针对平台内容生态实时进行内部监督和自查自纠。通过技术手段及时发现并杜绝问题,即日起将“蓝军”手段全面应用到广告生态治理中。

6、即日起,面向全社会征集广告监督员,诚挚邀请广大用户成为趣头条的广告监督员,为趣头条广告提供全面监督,同时在趣头条App首屏设置广告问题投诉入口,用户若发现广告问题可随时提交;同时向全社会公布监督邮箱ad-tousu@qutoutiao.net,欢迎社会各界共同监督

对于给用户带来的困扰和影响,趣头条再次表示诚挚的歉意!

上海基分文化传播有限公司

国家网信办启动未成年人暑期网络环境专项整治 强调平台内容审核

2020年暑期在即,为给广大未成年人营造健康的上网环境,推动网络生态持续向好,国家网信办今天发出《关于开展2020“清朗”未成年人暑期网络环境专项整治的通知》(以下简称《通知》),决定即日起启动为期两个月的“清朗”未成年人暑期网络环境专项整治,要求各地大力整治影响青少年健康上网的突出问题,通过深入清理一批有害信息,处置一批违法违规网站账号,查办曝光一批典型案例,及时回应群众关切,推动网络生态持续向好,切实保障未成年人权益。

国家网信办有关负责人介绍说,此次专项行动围绕未成年人上网的重点环节,清理整治以下7方面突出问题:重点整治学习教育类网站平台和其他网站网课学习版块的生态问题,深入清理网站平台少儿、动画、动漫等频道的不良动画动漫产品,严厉打击直播、短视频、即时通讯工具和论坛社区环节存在的涉未成年人有害信息,从严整治青少年常用的浏览器、输入法等工具类应用程序恶意弹窗问题,严格管控诱导未成年人无底线追星、拜金炫富等存在价值导向问题的不良信息和行为,集中整治网络游戏平台实名制和防沉迷措施落实不到位、诱导未成年人充值消费等问题,持续大力净化网络环境。

记者注意到,专项整治将严格甄别下架改编自经典动画作品的“儿童邪典片”。坚决清理包含淫秽色情图片、文字的“腐文化”“二次元”动漫作品。排查处置渲染校园恋情、校园霸凌、拜金主义、封建迷信等导向不良的自制剧、网剧产品和用户上传内容。深入清理涉未成年人频道版块广告位、推介位的低俗网文、游戏引流信息。

同时,还将重点整治恋童、虐童等对未成年人实施猥亵性侵的有害信息。严厉打击发布传播以未成年人为主角的大尺度写真、私房照片视频的账号。严格排查后台实名认证制度,严禁未成年人担任主播上线直播。进一步强化未成年人模式和防沉迷系统应用,全面清理色情低俗、血腥暴力、恐怖迷信等有害信息。

此外,重点整治诱导未成年人无底线追星、“饭圈”互撕等价值导向不良的信息和行为。严厉打击诱导未成年人在社交平台、音视频平台的热搜榜、排行榜、推荐位等重点区域应援打榜、刷量控评、大额消费等行为。大力整治明星话题、热门帖文的互动评论环节煽动挑拨青少年粉丝群体对立、互撕谩骂、人肉搜索等行为。严格清查处置“饭圈”职业黑粉、恶意营销等违法违规账号。深入清理宣扬攀比炫富、奢靡享乐等不良价值观的信息。

《通知》要求,各地在7月集中开展巡查摸底和清理处置工作,摸清属地涉未成年人的重点网站平台和重点环节,清理一批违法违规不良信息,查处曝光一批违法违规典型案例。各地各网站要在8月针对存在问题的重点平台和环节开展“回头看”,进行有针对性的自查整改,堵塞管理漏洞,总结有效措施,在持续深入整治的基础上,防止问题反弹反复。

《通知》强调,各地要制定属地专项整治工作方案,明确重点任务环节,组织专门力量加强网上巡查监看,深入开展清理整治,依法处置违法违规行为,确保专项整治取得实效。要建立涉未成年人专门举报受理渠道,动员网民积极参与监督举报,提高有害信息尤其是典型案件的发现和处置效率。