猫途鹰APP被国家网信办下架 官博称内容审核出现漏洞

12月8日,国家网信办发布消息称,自11月5日起组织开展移动应用程序信息内容乱象专项整治,首批清理下架猫途鹰等105款违法违规移动应用程序。对此,猫途鹰官方微博回复称,内容审核出现了一些漏洞,公司下架进行修整。

据了解,此次国家网信办下架违法违规移动应用程序,是针对网民反映强烈的部分移动应用程序传播淫秽色情、暴恐血腥等违法违规信息,提供诈骗赌博、招嫖卖淫等违法违规服务的网络乱象。而猫途鹰则成为首批清理下架的违法违规移动应用程序。北京商报记者发现,有网友在猫途鹰官方微博下留言询问下架一事。随后,猫途鹰官博回复称“global这边内容审核出现了一些漏洞,我们下架进行修整和再审核。”

公开信息显示,TripAdvisor猫途鹰app除了提供全球旅游酒店订票,以及全球旅行者的点评建议外,还涉及旅行规划和酒店、景点、餐厅预订等功能。上述下架信息发布后,北京商报记者尝试在安卓应用商店、苹果应用商店中搜寻该软件,已无法找到相关信息。

来源:北京商报

人脸识别虽好,还需行业自律与法律监管有道

近年来,围绕人脸识别的争议不断。前不久,“人脸识别第一案”一审宣判,认定杭州野生动物世界采集消费者照片信息超出法律意义上的必要原则要求,不具有正当性。与此同时,一则“戴着头盔看房”的视频广为流传,即一些售楼处通过人脸识别判断购房者是否为“渠道客户”或“首次签单”,进而决定是否给予购房优惠。诸如此类争议,一定程度上反映了人脸识别应用之广泛及由此引发的业界担忧。

《人脸识别应用公众调研报告(2020)》显示,有九成以上的受访者使用过人脸识别,有六成受访者认为人脸识别技术有滥用趋势,还有三成受访者称,已经因为人脸信息被泄露和滥用而遭受到隐私或财产损失。

事实的确如此。近期有媒体报道,一些网络黑产从业者利用电商平台,批量倒卖非法获取的人脸等身份信息和“照片活化”网络工具及教程。报道显示,网络黑市中售卖的“人脸照片”,包含公民个人身份信息,例如身份证号、银行卡号、手机号等一系列敏感内容。

针对于此,唯有行业自律与法律监管才是解决之道。放眼全球,一些发达国家在大数据领域先进的理念与实践值得借鉴。2018年《欧盟通用数据保护条例》(GDPR)正式生效,明确规定个人数据是个人所有的数据资产。企业一旦违规,如故意泄露用户数据、使用方式不合理等,将会受到非常严苛的处罚。此法案被称为“史上最严”的数据保护法案。

早在2015年,美国政府责任署发布了《面部识别技术——商业用途、隐私问题及其适用的联邦法律》报告。报告中写道:人脸识别技术可能被广泛应用于各种有用的商业应用,但该技术的未来发展轨迹引发了消费者隐私问题。联邦法律没有明确规定商业实体可以在何种情况下使用面部识别技术来识别或跟踪个人,或何时需要消费者的知情和同意才能使用该技术。

与欧美国家和地区相比,我国在个人信息保护层面的立法也已经提速。例如《民法典》将自然人生物识别信息列为个人信息,规定处理个人信息遵循合法、正当、必要原则,并符合征得同意、公开处理规则、明示目的方式范围、不违反法律法规及约定等条件。《个人信息保护法(草案)》拟对侵害个人信息权益行为,给予没收违法所得和罚款等处罚。国家网信办也出台征求意见稿,对38类常见类型APP必要个人信息范围作出规定,相当于给包括人脸识别在内的个人信息收集行为开具了一张白名单。

尽管如此,由于人脸信息的保护边界与尺度,基于哪些需要允许收集人脸信息,如何甄别采集行为是否“合法、正当、必要”等问题,某些规定仍然比较模糊。甚至,以不同的法规解释同一案件,结果迥异。因此,人脸信息保护的困境,亟待法律完善来解决。

对此,有业内专家认为,目前涉及个人信息保护的规范普遍存在三个问题:一是缺乏专门的个人信息保护法,立法碎片化现象突出;二是对个人信息保护的利益衡量不清晰,多为原则性规定,缺乏可操作的具体规则;三是位阶偏低,对人脸识别技术的发展起不到良好的规范作用。

令我们欣喜的是,继南京要求售楼处未经同意不得拍摄来访人员面部信息、杭州规定物管不得强制业主使用人脸识别等设施,《天津市社会信用条例》日前表决通过,明确市场信用信息提供单位采集自然人信息,除法律另有规定外,应经本人同意并约定用途,且不得采集自然人的生物识别等信息。

这里我们看到的是公众隐私保护意识的提升和法律监管的日趋完善,相信不久的将来,人脸识别终会践行“科技以人为本”的理念,在保护个人信息的同时,更好地为人们提供高效、便捷的服务。

最严直播审核管理规定来了:主播须实名 未成年人禁“打赏”

直播打赏必须实名认证、未成年人不能打赏、打赏资金须设置延迟到账“冷静期”……近日,国家广电总局、市场监管总局接连发布直播平台及电商直播监管新规,直播乱象迎来强监管。那么,“最严新规”严在哪里?我们一起来了解。

规定一:严禁未成年人打赏。

“打赏”是直播平台盈利的重要方式之一,但未成年人自控力和辨别力较差,极易被光怪陆离的网络直播所吸引进而作出不当行为。

即将出台的《直播行业打赏行为管理规则》等通知明确,网络秀场直播平台要对“打赏”用户实行实名制管理。未实名制注册的用户不能打赏,未成年用户不能打赏。要通过实名验证、人脸识别、人工审核等措施,确保实名制要求落到实处,封禁未成年用户的打赏功能。

有专家表示,确保政策落实到位,防止“上有政策,下有对策”,一方面要全面推行“注册实名认证+支付前二次识别”的双认证系统,只有注册用户信息和二次识别信息相匹配才能打赏。同时,有必要通过责任划分倒逼企业落实相关政策。比如发生相关纠纷时,直播平台如果不能证明自己充分履行了相关审查义务和职责,就应无条件退还相关款项。

规定二:直播带货的商家和个人须实名认证。

国家广电总局发布的《关于加强网络秀场直播和电商直播管理的通知》要求,网络电商直播平台要对开设直播带货的商家和个人进行相关资质审查和实名认证,完整保存审查和认证记录,不得为无资质、无实名、冒名登记的商家或个人开通直播带货服务。

此外,要积极探索利用大数据、人工智能等新技术服务于鼓励倡导的直播节目,让算法支撑优质视听内容的推送,对违规不良内容实现精准预警和及时阻断。

直播带货作为一种新兴的电商营销模式,兴盛与乱象并存,乱象主要包括以低价吸引顾客和观众,推销假冒伪劣商品。出台相应的法规,促使平台对于带货的短视频或者直播做好相应审核,可以有效保障消费者权益,使行业健康发展。

规定三:将屡教不改的主播纳入黑名单,不允许更换“马甲”再度开播。

对于直播内容问题性质严重、屡教不改的主播,《通知》要求,网络秀场直播平台要建立直播间和主播的业务评分档案,细化节目质量评分和违规评分等级,并将评分与推荐推广挂钩。要做好主播尤其是头部主播政策法律法规和相关知识培训。对于多次出现问题的直播间和主播,应采取停止推荐、限制时长、排序沉底、限期整改等处理措施。对于问题性质严重、屡教不改的,关闭直播间,将相关主播纳入黑名单并向广播电视主管部门报告,不允许其更换“马甲”或更换平台后再度开播。

中国消费者协会消费监督部主任张德志认为,这一规定将直播带货监管提到核心位置,明确直播平台和主播等相关主体责任,规范直播带货行为,违法直播查处方式更加明确,不仅有利于网络直播平台的良性运行和维护,也有利于更好的保护消费者合法权益。

下一步,需要从法律和道德层面夯实平台责任,平台需要强化技术手段限制直播中的违规行为。此外,要加强行业组织自律,同时建立第三方监督、投诉机制,多部门联手,在法律、行政监管之上形成一整套社会制约机制,营造行业健康生态。

来源:中国政策研究网

谷歌收紧内部留言板规则:加强内容审核

据报道,谷歌内部文件显示,由于员工的讨论越来越激烈,因此该公司要求更加积极地审核内部留言板的内容。

谷歌内部社区管理团队表示,其内部留言板上被标记为种族主义和辱骂性信息的内容越来越多。该团队认为,这是因为员工在家工作期间分享了更多信息,以及“艰难的全球对话”增加所致。

因此,该公司从2019年开始扩大内容审核试点,共覆盖多个平台的超过75个讨论组,还要求多数讨论组的负责人扮演审核员的角色,并完成审核培训。此外还要制定章程来定义小组目的,在保证内容符合章程的情况下确保小组对话的包容性。

谷歌内部社区管理团队在内部博客中表示,正是因为当今世界出现各种复杂局面,因此才亟需确保工作场所成为一个受人欢迎的地方。

网信办:未成年人网课平台需抓好内容审核,杜绝游戏广告等

据网信中国消息,近日,中央网信办、教育部联合印发《关于进一步加强涉未成年人网课平台规范管理的通知》,推动未成年人网课平台长远规范发展。

《通知》提出,要强化日常监管,督促涉未成年人网课平台以正确价值导向为引领,加强网课教学大纲和图文、视频授课内容等审核把关,将弹窗、边栏、悬浮框、信息流加载、互动社交等环节纳入重点管理范畴。

另外,各地网信部门要紧盯属地涉未成年人网课平台页面周边生态,将弹窗、边栏、悬浮框、信息流加载等环节纳入重点管理范畴,对互动社交版块加强巡查监看,严防网课周边出现网络游戏广告以及色情低俗、暴力血腥等不良图文信息。

全文内容如下:

各省、自治区、直辖市网信办、教育厅(教委),新疆生产建设兵团网信办、教育局:

为切实保障优质线上教育资源供给,推动涉未成年人网课平台健康有序发展,营造未成年人良好网络学习环境,现就进一步加强未成年人网课平台规范管理有关事项通知如下:

一、加强备案管理

(一)完善备案管理。各地要定期公布属地未成年人网课平台备案名单,逐步建立属地网课平台黑白名单制度。网课平台上线新应用或发生重大功能调整时,应重新提交审核并更新相关备案信息。

(二)坚决堵塞漏洞。各地网信部门会同教育部门,定期排查属地网课平台,对于应备案未备案的网课平台,由相应教育部门提出处理意见,采取暂时下线或下架、限期整改的处置措施,待整改完成后,教育部门重新审核备案。

(三)推动全面覆盖。各地网信部门要将面向中小学的非学科类网课平台纳入网络生态日常巡查监看范围,建立管理工作台账。

二、强化日常监管

(一)把好价值导向。各地网信部门要督促属地涉未成年人网课平台以正确价值导向为引领,不得传播违背社会主义核心价值观的内容,不得散布色情低俗、血腥暴力等违背公序良俗的内容,不得以“技术中立”或“算法推荐”为由,推送不适宜未成年人的信息或广告引流内容。

(二)抓好内容审核。各地教育部门要指导属地涉未成年人网课平台加强课程内容管理,对网课教学大纲和图文、视频授课内容等认真审核、严格把关。不断完善审核标准、提升审核技术,对直播课程随机抽检,对图文、视频课程二次审核。

(三)管好页面生态。各地网信部门要紧盯属地涉未成年人网课平台页面周边生态,将弹窗、边栏、悬浮框、信息流加载等环节纳入重点管理范畴,对互动社交版块加强巡查监看,严防网课周边出现网络游戏广告以及色情低俗、暴力血腥等不良图文信息。

三、提升人员素质

(一)加强授课教师资质审核。各地教育部门要依据相关规定,指导网课平台配备相对稳定的师资队伍,对相关人员资质进行严格审核,确保学科类教师具备教师资格,将遵纪守法情况、思想政治素质作为教师入职考察的重要因素。

(二)端正产品设计和运营理念。各地网信部门要指导属地涉未成年人网课平台,增强网课产品设计和运营人员未成年人保护意识,将传播知识、传播思想、传播真理放在教育学习类应用和产品开发设计首位,不得在市场运营推广时采取不适宜未成年人的手段方式。

四、注重协同治理

(一)建立日常巡查机制。各地网信部门会同教育部门,梳理属地涉未成年人网课平台重点环节、重点问题监看清单,建立技术与人工相结合、全网巡查与重点监看相结合的监测机制,定期通报巡看情况,会商研究问题线索,提出应对措施,实现常态化监管。

(二)适时开展专项治理。各地根据日常监看情况,针对一定时期内未成年人网课平台突出问题、难点问题,适时开展专项整治,集中排查处置。

(三)加大执法处罚力度。各地网信部门对侵犯未成年人权益的违法违规网课平台,按照“发现一起、处置一起”原则,依法依规采取暂停更新、关闭下架等措施,始终保持高压严打态势。对屡教不改的网课平台,一律从严从重处罚。

(四)动员社会广泛参与治理。各地网信、教育部门要积极与行业协会、社会组织以及中小学校、家长委员会等合作,定期评议涉未成年人网课平台治理成效。社会和公众可向各地网信部门举报相关违法违规线索。

各地要充分认识加强涉未成年人网课平台规范管理的重要意义,增强责任感紧迫感,将加强涉未成年人网课平台规范管理作为属地网络生态治理的重点内容,制定工作方案,健全工作机制,推动长效治理。

来源:中央网信办

音视频直播平台乱象侵害未成年人 专家建议加大内容风险审核力度

直播间低俗表演、“诱导打赏”、封禁主播借壳复出······近日,在2020音视频直播行业绿色内容生态共建峰会上,南都网络内容生态治理研究中心发布了《音视频直播平台内容痛点及治理创新报告》(以下简称《报告》)。

报告指出,音视频直播平台目前仍存在不规范现象,平台在内容监管上要思考治理创新。

自2019年12月起,南都网络内容生态治理研究中心(以下简称“研究中心”)对音视频直播行业的100余家平台展开为期一年的持续监测,剖析了行业在主播管理、内容审核、直播打赏、未成年人、内容建设五个方面存在的管理瓶颈以及行业治理现状。

经过一年多时间的监测巡查,研究中心发现主播常见违规行为可归集为四种类型:第一种是沉疴已久的直播间低俗表演、传递不良价值观等行为;第二种是主播及其经纪代理的“诱导打赏”行为;第三种是利用直播间等公开渠道售卖违规资源或者色情服务;第四种是已遭平台甚至行业封禁主播通过换马甲、换平台借壳复出,比如,注册小号、采用“变声器”以身犯险。

在内容审核方面,研究中心发现目前音视频直播审核能力参差不齐、中小平台审核力量薄弱的问题依然存在,最鲜明的表现是对举报处理的响应迟缓。

今年7月,研究中心曾对13家直播平台的举报便捷度和反馈效率进行实测,在举报部分直播间低俗内容后,12小时内有8家平台作出回应,38%的平台没有回音,部分平台虽通过私信告知用户已接收到举报,但48小时内均未给出任何后续进展消息。

《报告》指出,作为一种新型消费服务形态,直播打赏的创新与漏洞并存。

研究中心曾针对直播打赏展开调查,发现存在打赏金额上限普遍设定过高、直播间内打赏过于频繁、利用“抽奖”“竞猜”“返利”等方式涉嫌组织网络赌博等现象。比如,通过100家平台的礼物打赏额度进行梳理,发现四成平台设置单次打赏金额最高可超百万元。

未成年人打赏难退的纠纷,则暴露了平台在未成年人识别、退款机制不健全等诸多方面的短板。南都网络内容生态治理研究中心曾梳理25家平台用户协议中和未成年人相关的条款,发现仅有不足四成平台对未成年人的充值消费行为作出提示,且多为“免责条款”。

在未成年人保护方面,目前,未成年人浏览区域推荐低俗内容、适合未成年人浏览内容供给不足等现象在行业中比较常见。

今年9月,南都网络内容生态治理研究中心在调查中仍发现,有的视频网站中教育频道存在与教育无关的短视频,其中包含标题封面性暗示、传播伪成功学、情感PUA、输出低俗庸俗价值观等内容,目前,相关资源现已下架。

在对全国15个省份近2000名未成年人家长进行的问卷调查中发现,仅三成受访家长表示会开启青少年模式管理孩子浏览视频、直播的行为。

音视频直播平台如何实现内容监管的治理创新?《报告》发现,目前部分平台已通过建立信用评价体系、AI技术赋能审核、技术识别未成年人、优化青少年模式,以及算法干预内容导向等措施加强治理。

在主播管理方面,较多的是建立信用管理体系和严格的评分机制,如酷狗直播等平台采取了主播管理分级分类措施,让主播行为直接与本人信用分关联,并与公会信誉值挂钩,一旦主播违规,则公会也会被连带影响信誉值。

在审核方面,目前多数平台都采取了人机审核相结合的模式,比如自主研发AI、声纹等智能识别算法模型,用户内容一经上传,首先经过图片识别、语音识别等技术过滤,再由人工团队进行复核。

关于未成年人消费、打赏难退等问题,《报告》建议,有效识别未成年人身份,实现事前阻断是防范关键。目前,多数平台已建立起未成年人身份识别系统,通过人脸识别、用户画像、行为数据分析等多种技术手段来定位未成年用户,实施拦截。未成年人内容供给方面,多数平台通过对青少年模式的优化,实现内容的多元化、个性化输送。

数美科技运用人工智能技术进行风险识别,该公司创始人、CEO唐会军指出,当前在内容审核上人工成本高,如果平台规模大,投入成本是非常高昂的,而在语音等特殊场景下,对内容的风险识别有很大的技术难度,“很多人在一起说话,非常嘈杂,再放些背景音乐,识别起来就更有一定挑战。”

在中国信息通信研究院互联网法律研究中心研究员石月看来,平台需要在治理中发挥关键作用,加强平台文字、图片等内容监控技术,加大语音审核巡查的研发,“可能也需要政府出台一些鼓励性政策,来鼓励企业在这方面进行一些研发。”石月认为,平台还要加强提升正面、高质量内容的输出。

来源:中国青年报

网络内容审核:审核能力决定平台竞争力

近年来,互联网发展日趋稳定,产品进入了百花齐放的时代,企业不遗余力的投入大量人力和资源扩展市场,流量成为了一个产品是否能继续存活的标准。在互联网发展的最初阶段,企业多数靠砸钱福利留住用户,以多种方式鼓励用户参与产品建设。但是现在市场已经趋于稳定,产品功能也趋于完善,那么企业应该靠什么留住用户呢?要靠内容。而内容竞争,实际上就是内容审核能力的比拼,可以说内容审核决定了以内容运营为主的新兴媒体的竞争力,简而言之就是内容审核决定了平台的竞争力。

“内容审核决定了平台的竞争力”,理由解释如下:

(1)我们通常说“要满足用户的需求”,但是,我们怎么满足用户需求呢?我们得先了解用户需求,才能根据用户需求做出一些措施,而且还是正确措施,才能更好地满足用户需求。用户需求是什么?可能是玩得开心,可能是看得满意(有内容、有价值)……互联网以及自媒体的存在,为人们带来了更多的分享和交流,顺畅的交流是保留用户的基础。

如果由于内容审核时,审核人员的错误判断或系统问题而没有通过用户写的东西,或者使其遭受网络暴力,或是推送了低俗暴力内容,则这种体验可能会直接导致用户放弃使用该平台,甚至严重的话,还可能会让爱模仿的青少年们模仿暴力行为,对社会稳定造成影响

(2)用户的行为是自由的,新兴媒体面对海量的信息,但内容的传播是平台可控的。内容审核工作量特别大,虽然不像传统媒体那样一审二审终审,但还是要严格把关,一方面利用机器来审核,用敏感词来过滤不合规的内容,另一方面还需要人工审核

只有人工审核+机器审核结合起来,加强平台内容审核能力,建立良好的产品基调,才能避免有漏网之鱼或滥杀无辜,真的做到“禁止低俗和暴力内容,快速发布高质量内容,大力推荐”,从而可以更好地提升用户留存,也能更好的促进用户活跃,带动流量的稳定增加,并最终提高竞争力,可谓是一举两得。所以,内容审核是最能体现一个平台管理水平的手段,也是提升平台竞争力的最有利手段。

别看内容审核是一件很小的事情,但由于目前多数平台已经进入了稳定发展阶段,接下来的竞争就是内容竞争,即内容审核竞争,优质内容的竞争与内容审核能力的竞争必将成为新兴媒体平台的决定性竞争标准,所以,要重视内容审核,加强内容审核,只有做好了内容审核,严格禁止低俗和暴力内容推广,尽量为大家提供优质内容,才能进一步发展企业和平台,才能使企业和平台在市场竞争中处于有利地位,甚至一跃居上也是可以的。

国家网信办:多款学习教育类APP推送低俗色情内容被处罚,内容审核迫在眉睫

近期,国家网信办持续深入推进2020“清朗”专项行动,联合教育部开展涉未成年人网课平台专项整治,依法严厉打击影响青少年身心健康的违法违规信息和行为。截至目前,全国网信系统累计暂停更新相关版块功能网站99家,会同电信主管部门取消违法网站许可或备案、关闭违法网站13942家;有关网站平台依据用户服务协议关闭各类违法违规账号578万余个。部分典型案例公布如下:

4款学习教育类APP推送低俗色情和与学习无关内容

12KM作文APP“文学原创”栏目存在低俗色情小说内容,“追星”专栏渲染早恋、吸烟等导向不良内容。

出口成章APP部分用户头像、账号名称及简介中包含低俗色情内容。

美术宝APP存在低俗色情帖文和跟帖评论,部分用户头像、账号名称包含色情资源推广有害内容。

万门中学APP推送恋爱、股市等与学习无关内容。

3家网站平台的网课学习栏目推送游戏、直播、影视剧等与学习无关内容

斗鱼直播APP及PC端网页“守护成长”“教育”频道、PP视频APP及PC端网页“小学课堂”“热播好课”栏目、乐视视频APP及PC端网页“优质课程”“中小学”栏目推送网络游戏、美女直播、低俗小说、影视剧等与学习无关内容。

3款青少年常用APP存在涉低俗色情的图文信息、对话体小说

堆糖APP存在低俗色情图片以及诱导未成年人抽烟、谩骂等不良行为的图文内容,部分用户头像、账号名称包含低俗色情内容。

克拉克拉APP和克拉有读APP“群组”版块存在低俗色情内容以及大量涉低俗色情对话体小说。

2家网站平台“动画”“动漫”栏目存在低俗色情内容

半次元、柚次元APP等平台的“漫画”“短漫”“MMD”等栏目、圈子中存在包含低俗色情图文内容的动画、动漫产品,部分圈子、用户名称包含低俗媚俗内容。

2家网站平台发布传播以未成年人为主角的大尺度图片和视频

新浪微博“小熊座的甜甜奶茶”“迎春坊”等账号发布涉未成年人不雅图文、出售“福利资源”、传播疑似未成年人援交招嫖等内容。

百度贴吧“LOLI吧”“CQY吧”等贴吧和账号发布未成年“福利姬”色情信息,借陪玩、陪聊名义售卖未成年人色情自拍、视频等资源。

针对上述网站平台存在的突出问题,国家网信办视违规情节和问题性质,依法分别采取约谈、责令限期整改、停止相关功能、全面下架等处罚措施,坚决打击损害未成年人合法权益和身心健康的违法违规行为。

国家网信办将会同有关部门持续保持高压严管态势,加大巡查监看力度,从严惩处问题严重、屡查屡犯的网站平台并公开曝光,督促平台切实履行主体责任,积极传播青少年课业知识和积极向上的正能量内容。同时,欢迎广大网民、媒体和社会各界积极参与监督举报,共同为未成年人营造健康的网络环境(国家网信办违法和不良信息举报中心网址:www.12377.cn)。

YouTube用AI 内容审核代替人工审核员后,又决定返聘

YouTube 在今年初,将内容人工审核团队大量裁撤,全部替换成为 AI 进行内容审核。

所以,今年 4-6 月整个第二季度里,YouTube 线上的所有视频,都是由 AI 进行官方的内容审核。这也是 YouTube 有史以来第一次整一季度,没有人工审核员参与内容初审。

这一大步跨越,带来了不小的后果,YouTube 在近期叫停这项举措,并且大批返聘在年初解雇的人工审核团队。

AI 替换人工:下架视频数创纪录

AI 审核被叫停的重要原因之一,就是 AI 审核的规则相较于人工,更为严格,甚至会导致误伤。

根据 Google 在定期的透明度报告中提到:在 2020 年 AI 接管内容审核的 4-6 月中,共有 1100 万个视频被 AI 标记违规并下架,这些视频主要来自于美国、印度和巴西。

但是,在今年的第一季度里,被鉴定违规并下架的视频,仅仅只有 660 万。而 从人工换成 AI 之后,被下架的视频数几乎翻了一番。

因为 AI 审核遭下架的视频,占全部下架视频的 95%

(数据来源:Google 官方透明度报告)

在被 AI 下架的 1100 万个视频中,多数为色情、虚假、涉恐犯罪类型,但是也有不少是误伤。

其中,就有 32 万个被 AI 标记下架的视频提出了申诉,最后近半数都通过二次审核,并重新上线。而在过去,进行申诉的视频,只有 25% 左右可能重新上线。

YouTube 的审核 AI,以一己之力,让 YouTube 的播主们瑟瑟发抖,花更多时间自查内容,一时间怨声载道让 YouTube 头疼不已;大量的申诉,还给 YouTube 团队,增加了不少重新审核的工作量。

人工再上位:时机尚未成熟,AI 仍需努力

在年初 YouTube 裁减人工审核团队前,全职或外包的审核岗位多达 10000 个。

这些人工审核员分布在 Google 的全球办公室,或是外包供应商的各个办公点。

万人团队:巨大运营成本

人工审核员的岗位要求并不低,比如要负责中东地区的内容审核岗位,需要掌握阿拉伯语和阿拉伯方言语系,并对中东地区上传视频进行审核,以便及时标记出涉及恐怖、暴力、煽动内容的视频。

这样的工作,每周需要审核 500 小时以上的视频,初级岗位的薪水可以达到 18.5 美元/小时,年薪可达 37000 美元左右。

再资深的内容审核岗位,需要掌握一些的法律知识,不仅能得到 Google 全职员工的待遇,还可以获得近 100000 美元的年薪。

从菲律宾的青年外包工人,到湾区的风控运营,

都在内容审核中发挥着重要作用

风光的背后,Google 也同时在承担着不小的成本,这也导致了在今年疫情之际 YouTube 对人工审核岗位的裁撤。

这次返聘 YouTube 也提及:疫情让人工审核成本变高、难度加大。当初迫不得已,必须在人工干预不足和 AI 过度干预两者之中,选择了 AI。

人工审核:边缘职业身心俱疲

内容审核不是一份简单的工作,不仅每周有固定的工作指标,还要长时间面对儿童色情、暴力、恐怖类型的画面,往往也会让人身心俱疲。

《华盛顿邮报》、《财富杂志》等美国主流媒体均对内容审核员这一职业,做出过深度报道。接受采访的内容审核员,无一例外都表达了这份职业,对自己的身心健康产生了强烈的负面影响。

《财富杂志》用带着防毒面具的审核员,

比喻审核工作给人带来的心理创伤

媒体的舆论影响也敦促了科技公司对这类岗位进行了一系列的改善,比如限制每周观看不适视频的时间上限、定期的心理治疗等措施。

人工还是 AI:不用着急下定论

人工审核的支出、对人心理的伤害、机器学习的技术进步,这些都推动了近年各平台对自动化内容审核的研究和快速应用。

AI 虽然有一定的误伤几率,但是在对违规内容的审查中,的确展现了超过人工审核的高效。

YouTube 首席产品官 Neal Mohan 向英国《金融时报》回应人工审核重回岗位时,提到了一组数据「被 AI 标记删除的 1100 万个视频中,超过 50% 的视频,在没有用户播放前就被下架;超过 80% 的视频,播放 10 次以内就被下架。」

YouTube 作为大规模用 AI 代替人工的先行者,势必会踩坑,但同时也为其他公司甚至全社会,指明了人与 AI 协同关系中更加清晰的发展方向。

这样的实验虽然折腾,但着实有必要。这需要公司有吃螃蟹的精神、承担舆论非议的勇气和快速善后的决心。同样开放透明的数据,也让媒体和社会在接受未来的不确定性,有更多的共识和信心。

取消疫情期间特别措施YouTube恢复以人手审核内容

今年8月YouTube公布指在过去3个月,超过1,140万条视频因为违反社群守则而被移除,这是自YouTube自2005年推出服务以来,视频下架数量最多的3个月。大量违规视频被移除的原因,与疫情期间员工无法回办公室工作,YouTube需要依赖人工智能作审核有关。

虽然人工智能将大量有问题视频下架,但YouTube也承认部分视频被错误移除。根据金融时报的报道,YouTube将16万条视频下架的决定推翻;以往利用人手作审批,通常少于25%视频能上诉成功,但以人工智能审核,上诉成功比率达五成。疫情虽然还未过去,但外媒指YouTube的员工已经陆续重新上班,取代人工智能审核视频内容,但具体工作安排则未有公布。