内容审核员——互联网时代的清道夫

近日,相关部门对一批互联网平台上的违法违规内容进行了清理,并对相关账号实施永久封禁。国内领先的基于互联网业务形态的身份认证、运营内容和业务审核服务的供应商 — 公信诚丰就该事件再次强调了被称作“互联网时代的清道夫”的内容审核员的重要性。

“内容审核员”,顾名思义是负责对文字、视频、图片、音频等内容进行审核,给各类违禁内容贴上标签并打入“冷宫”。违禁内容涉及的领域相当宽泛,大家常说的“鉴黄师”就是属于内容审核员的一支。

内容安全的审核需要24小时不间断进行,夜晚和节假日又是违禁内容的高发期,加班、倒班是内容审核工作的常态。因此,薪资方面大都不低于市场平均水平,工作内容也相对稳定。

想要成为一名合格的内容审核员,必须具备足够的责任感,也要能够在相对平淡枯燥工作当中找到乐趣。每份工作都有它存在的意义和价值,内容审核员为肃清网络世界的有害信息,守护现实世界的健康,是一份值得尊敬的职业。

直播平台被全面巡查,内容审核将采取“沾边就打”原则

6月23日,国家网信办发布消息,对虎牙、斗鱼等国内31家主要网络直播平台的内容生态进行全面巡查。并约谈了虎牙、斗鱼、哔哩哔哩、映客、花椒、西瓜视频、全民小视频等10家网络直播平台,视违规情节对相关平台分别采取停止主要频道内容更新、暂停新用户注册、限期整改、责成平台处理相关责任人等处置措施,并将部分违规网络主播纳入跨平台禁播黑名单。

“人人都是主播,万物皆可直播”的时代,为了吸引眼球,获取流量,主播们各出奇招,有的直播平台任由主播穿着暴露、言语粗俗、行为恶劣,通过“送福利”、低俗表演等方式吸引用户进行高额打赏,而因为直播人数实在庞大,虽然有相关规章制度出台,却一直都处于监管缺失地带。

不过政策重压之下,直播将不再是法外之地,直播经济也将迎来“刹车”管控,行业污浊的环境势必将得到一定的净化。

全面巡查直播平台,最大限度压缩不良信息生存空间

虽然重点约谈了B站、西瓜视频、虎牙、映客、斗鱼、花椒等10家主流直播平台,但国家网信办有关负责人表示,结合群众举报及核查情况表明,国内31家主要网络直播平台普遍存在内容生态不良现象,不同程度地存在内容低俗庸俗问题。

主要问题如下:

1、秀场类直播:部分女主播衣着暴露,一些男主播言行粗俗恶俗,低俗热舞、恶搞、谩骂等现象屡禁不绝;

2、聊天类直播:内容无营养无价值,甚至传播不良价值观;

3、留言互动、弹幕和用户账号注册疏于管理,违法违规信息层出不穷。

4、一些平台企业经营态度不端正,自身利益至上,有的借助免费“网课”推广“网游”,有的利用色情低俗内容诱导用户点击浏览并充值打赏,有的利用“抽奖”“竞猜”“返利”等方式涉嫌组织网络赌博。

网信办有关负责人强调,此次对31家网络直播平台全面巡查,旨在督促主要平台切实履行主体责任和社会责任,守牢法律底线、道德底线和安全底线,自觉完善平台规则,优化系统功能,改进算法推荐,强化主播管理,最大限度压缩低俗不良信息生存空间,不断提升直播内容质量,为广大网民提供更多更好的文化产品和服务。

事实上,网信办每年都会有“净网行动”“护苗行动”等专项工作部署及要求,严明监管要求,确保平台上不出现淫秽色情、凶杀暴力等有害信息,不传播泛娱乐化、低俗、恶搞等不良内容。

此次监管升级,就是在此基础上,着力把网络直播专项整治和规范管理工作引向深入。

“内容风控”成平台和主播生死线

随着互联网内容的迅猛发展,监管政策趋严,内容安全事件频发,有时候内容风控的成败直接决定着互联网内容平台和企业的生死。

一招不慎,年入千万的咪蒙、MC天佑说凉就凉,至今都未能复出;剑走偏锋,拥有2.5亿高粘性用户的内涵段子APP说挂就挂。

此次,B站、西瓜视频、斗鱼等直播平台被约谈,就是因为内容风控问题,如果问题严重屡教不改,还可能面临生死考验。

在这样的情况下,“内容至上,安全第一”已经成为了互联网内容平台的普遍共识,“宁可错杀一千,不能漏过一个”便成了内容审核基本原则。

大量主播稍有不慎就可能被封号。所以,“内容风控”不仅是平台的责任,同样也是主播的生死线。直播平台不想成为下一个被封杀的内涵段子app,主播也自然不想成为下一个被封杀的MC天佑。

对嫌疑内容采取“沾边就打”原则

6月15日,卸下经纪业务的亲自带队搞直播的杨天真,在直播时因为衣领过低惨遭封禁。

在被系统提示衣领过低涉嫌违规时,杨天真本人曾多次试图整理,比如系上头发,或者提起自己的衣服甚至用东西遮挡,但是最后依然无济于事,直播间还是被封禁了。

杨天真事后感叹,“是真的没想到了,我人生竟然还会经历这样的事情”。

事实上,“这样的事情”将成为未来直播内容审核中的常态,而且监管力度还在升级。

AI审核:全力保护互联网平台的生命线

在这个互联网高速发展的时代,每一个人都被海量的信息环环围绕,人们在享受信息便捷带来的服务和消费体验升级的同时,大量未经核实信息的出现,对国家安全、社会稳定、青少年健康等都造成了不良影响。随着大量UGC内容的爆炸式增长,一些违规内容也随之横行,不仅给平台的营销、经营及品牌造成极大伤害,更为严重的是一些违规内容也会涉及棘手的法律问题。

由于没有一个标准的内容体系,大部分人对网络信息的真伪难以辨识,能高度依赖于互联网平台对内容的把关。因此,审核工作就成为整个互联网平台的生命线。

随着网络内容的骤增、用户体验不断提高、负面事件风险增加以及审核标准严苛细化,非标准化审核管理系统犹如一块巨石压得审核工作者喘不过气。

一方面,各大媒体平台的人数不断增加。在国内,主流的社交媒体平台的审核人员几乎都达到上千人以上的规模。去年4月,快手发布大规模招聘信息,面向全国新增招聘3000名内容审核编辑,将目前的审核团队从2000人扩大至5000人。

而在国外,Facebook在自有算法的情况下,人工审核团队规模达到1.5万人;youtube在谷歌大脑算法支持的情况下,审核团队的人数也达到了1万+,由此可见,人机协同审核仍是未来很长一段时间的审核模式。

另一方面,运营商往往希望运营部门能够保障用户体验,因此耗费大量财力物力来培养审核团队,尽管人人皆知内容安全是第一位的,但由于每天会有大量UGC的内容产生,这就意味着,人工审核与审核需求量不成正比,因此,便衍生出AI审核这一系统,但是,企业开发一个AI系统,投入的成本很高,因此,第三方审核服务正慢慢成为当下发展趋势。

什么是AI审核?

AI审核是基于自然语言处理、语言识别、语义理解、图像分类、目标检测、深度学习等核心技术,面向金融、保险、证券、互联网等客户群体,提供包括文本、图像、音频、视频等内容安全识别。

AI审核有哪些优点?

AI审核可根据企业的需求,设定相关审核规则,其强大的审核机制可以大大提高企业的审核效率使得审核工作达到事半功倍的效果;此外,AI审核还能够保障企业的信息安全,避免信息遭到泄露。AI智能审核的运用,能全面提升企业智能化、批量化UGC等内容综合处理能力、为用户构建牢不可破的安全防御体系。

「专利解密」字节跳动如何使用深度学习处理视频?

目前在很多行业中,例如广告行业,会有控制视频类广告中的字符与图像的比例的要求,目的是为了满足客户要求或者为了追求广告效果,为了达到不同的广告效果。

这种场景会需要将字符在视频类广告中的占比进行不同的控制,例如,通常会要求视频类广告中的字符内容的占比要低于图像内容的占比,也可能会要求视频类广告中的字符内容的占比大于图像内容的占比等。

目前在对视频类广告中字符内容与图像内容的比例进行判断时,通常还是会根据人工的主观判断来对视频类广告中的字符占比进行判断,在这样的情况下,判断同一个视频类广告中的字符占比是否满足预定的条件时的判断结果通常会根据不同的人的主观感觉的不同而不同,无法达到对视频类广告中的字符内容的占比与图像内容的占比之间关系的精确判断。

因此,为了解决如何通过对视频内容的处理来精确地确定视频中字符内容与图像内容之间的占比关系,字节跳动在19年9月3日申请了一项名为“视频处理方法、装置、介质和设备”的发明专利(申请号:201910829463.1),申请人为北京字节跳动网络技术有限公司。

根据目前该专利公开的资料,让我们一起来看看这项视频处理方法吧。

如上图所示为视频处理方法的流程图,首先,获取目标视频中的目标视频帧图像,目标视频即为需要根据字符面积占比来进行处理的视频文件,可以是视频类广告,也可以为短视频平台上传的各类短视频或者电影等长视频。

目标视频帧图像为目标视频中的所有视频帧或者一部分具有代表性的视频帧,即根据预设的提取方法所得到的关键帧,例如在目标视频中的每一秒内选取第一帧作为该秒的关键帧等。实际应用时可以根据实际情况来确定目标视频帧图像,例如,当目标视频的时长过长时,可以将关键帧作为目标视频帧图像,以加速视频的处理。

其次,将目标视频帧图像输入预设深度学习模型中,以确定目标视频帧图像中属于字符区域的目标像素点。在确定该目标视频帧图像之后,利用已预先训练好的预设深度学习模型来对每一张目标视频帧图像进行处理,以确定每一张目标视频帧图像中属于字符区域的目标像素点。

最后,根据目标视频帧图像的目标像素点在目标视频帧图像的所有像素点中的占比,确定目标视频是否为文字类视频。例如,若目标视频帧图像中一共有50万像素点,其中目标像素点共有20万像素,则进而就可以根据该占比来确定目标视频是否为文字类视频。

这样,无需再通过人工判断的方式对目标视频中的字符内容的占比多少进行判断,利用这种通过对视频中字符内容占比精确识别从而对视频进行分类的视频处理方式,大大提高了对视频处理的精确性。

如上图所示为视频处理方法中确定目标视频帧图像中属于字符区域的目标像素点的方法的流程图,首先,确定目标视频帧图像中每个像素点属于字符区域的概率,其次再将目标视频帧图像中属于字符区域的概率大于第一预设阈值的像素点确定为目标像素点。

例如第一预设阈值可以为60%,当确定目标视频帧图像中的某一个像素点属于字符区域的概率大于60%时,则确定该像素点为目标像素点,即将该像素点确定为属于字符区域的像素点。

当确定该目标视频帧图像中的某一个像素点属于字符区域的概率小于60%时,则将该像素点确定为不属于字符区域的像素点。

如上图为视频处理装置的结构框图,该装置包括:获取模块10,用于获取目标视频中的目标视频帧图像;第一确定模块20,用于将目标视频帧图像输入预设深度学习模型中,以确定目标视频帧图像中属于字符区域的目标像素点;第二确定模块30,根据目标视频帧图像的目标像素点在目标视频帧图像的所有像素点中的占比,确定目标视频帧图像是否为文字类视频。

以上就是字节跳动发明的视频处理方法,通过深度学习模型准确分割目标视频中的每个目标视频帧图像中的属于字符区域的目标像素点,从而精确得到每个目标视频帧图像中属于字符区域的占比,进而就能根据该目标视频中的所有目标视频帧图像中属于字符区域的比例来确定该目标视频是否为文字类视频。无需再通过人工判断的方式对目标视频中的字符内容的占比多少进行判断,大大提高了对视频处理的精确性!

人气造假、虚假交易……直播带货该如何监管?

信息公示不到位、涉嫌虚假宣传产品功效、人气造假和评论造假……

直播带货如何变“一时火”为“一直火”

在30个直播带货体验样本中,有9个样本涉嫌存在证照信息公示问题,占比30%;有3个样本涉嫌通过虚假宣传产品功效或极限用词诱导消费者购买商品,占比10%。

6月16日,北京市消费者协会发布的《直播带货消费调查报告》显示,直播带货消费存在不少问题,除了上述证照问题及虚假宣传外,部分直播带货商家页面没有任何商品的文字或图片信息,个别直播带货商家要求“定金不退”。

今年以来,直播带货大火,但这种新的消费模式一直问题不断。相关专家表示,直播带货要变“一时火”为“一直火”,需要为其“立规矩”,让平台商家真正为消费者“带货”而不是“带祸”。

部分主播涉嫌虚假宣传诱导消费者

“可以降血脂,促进血液循环,预防心脑血管、动脉硬化、中风、心脏病、高血压,对老花眼、青光眼、视力模糊有很好的效果”“我们家的产品质量这一块绝对是NO.1”……

这是北京市消协体验人员于5月27日通过京东直播选购一款价格149元的保健品时,主播对该保健品的介绍。

本次体验调查的30个直播带货样本中,还有两个样本涉嫌通过虚假宣传产品功效或极限用词诱导消费者购买商品,侵犯了消费者的知情权和公平交易权。

体验人员通过天猫直播平台购买一款“谷益元红豆薏米粉代餐粉”时,主播宣称“3天可以减1~5斤”“产品吃3天没有效果的话,来我们家给承诺无效退款”。

体验人员在苏宁易购直播平台购买一款黑玛卡时,主播宣称该商品“能够提高免疫力,改善睡眠,抗疲劳,补充脑力体力,补肾壮阳。男性长期喝玛卡,可以改善男性肾功能”。

根据中国消费者协会今年3月底发布的《直播电商购物消费者满意度在线调查报告》,由于信息不对称,一些消费者被夸大宣传或虚假信息误导,购买到假冒商品和“三无”产品等。

人气和评论造假、虚假交易等须重视

本次体验调查的30个直播带货样本中,有9个样本涉嫌存在证照信息公示问题。例如,快手直播平台的“燕姐品牌护肤”和“长春小月彩妆达人”两家店铺,虽然已实名认证和缴纳店铺保证金,但均未上传资质证明。有29个体验样本均能够做到“7天无理由退货”,只有1个体验样本“无理由退货”遭到拒绝。

体验人员调查还发现,部分直播带货商家虽然标注“退货包运费”,但退货时实际支付12元运费,商家只补贴10元运费;部分微博直播带货过程中,除了主播语音介绍,平台和商家页面没有任何商品的文字或图片信息;个别直播带货商家要求先交定金,并提示“我已同意定金不退等预售协议”,否则无法提交订单。

此前,《工人日报》记者在调查中还发现,一些直播平台和商家还存在人气造假、评论造假等行为,以及各类诱导交易、虚假交易、规避安全监管的私下交易行为。在保险等专业领域,一些并不具有专业保险知识的主播也开始通过直播推荐保险产品,这些尤为值得监管部门重视。

违法频次较多的主播可拉入黑名单

北京市盈科(深圳)律师事务所律师朱逸聪指出,今年以来,直播带货模式为企业复产复工、促进产品销售做出了积极贡献,但上述问题损害了消费者权益,不利于行业的长远健康发展。直播带货要想“一直火”,必须规范发展,为消费者提供性价比高、质量又有保障的“好货”。

对此,北京市消协建议,通过立法或制定行业标准等方式,进一步明确直播带货相关平台、商家与主播之间的责任划分,加大对平台、商家和主播等各方主体的监管和处罚力度。

同时,建议进一步强化直播平台对直播带货行为的监督管理责任,明确平台要严格按照相关法律法规及政策要求,完善内部监管措施和自治规则,加强对直播带货交易全流程的审核把关和生态治理。

此外,北京市消协呼吁建立行业自律和诚信评价机制。对于随意夸大宣传、欺骗和误导消费者的直播带货行为,应纳入社会诚信评价体系;对在直播带货虚假宣传的主播,除了进行经济处罚,还应将违法情节严重、违法频次较多的主播拉入黑名单,实行直播市场禁入,提高违法直播带货成本,增强监管震慑力。

来源:工人日报

建立网络文学内容审核机制,实行创作者实名注册制度

近日,国家新闻出版署印发《关于进一步加强网络文学出版管理的通知》,要求规范网络文学行业秩序,加强网络文学出版管理,引导网络文学出版单位始终坚持正确出版导向,坚持把社会效益放在首位,坚持高质量发展,努力以精品奉献人民,推动网络文学繁荣健康发展。

资料图 新华社供图

通知要求,网络文学出版单位要严格落实平台主体责任,建立健全网络文学内容审核机制,强化内容把关职责,支持优质创新内容,控制总量、优化结构、提高质量,确保内容导向正确、格调健康向上,坚决抵制模式化、同质化倾向;严格规范登载发布行为,实行网络文学创作者实名注册制度,在平台上明示登载规则和服务约定,对创作者登载发布行为提出明确要求;加强对作品排行榜、互动评论等作品相关发布信息的动态管理,正确引导用户阅读。

通知要求,各级出版主管部门要组织开展网络文学出版单位社会效益评价考核,对考核结果优秀的单位予以奖励和支持,对考核结果不合格的进行批评和处罚;加强评奖推选活动管理,举办全国性网络文学评奖须向国家新闻出版署提出申请;进一步规范市场秩序,对内容导向出现偏差的作品和单位,综合运用多种措施进行处置;加强网络文学出版队伍建设,引导广大网络文学从业人员对读者负责、对社会负责,恪守公序良俗,弘扬新风正气,打造精品力作,维护网络文学行业良好声誉和网络文学出版工作者良好形象。

通知强调,各级出版主管部门要严格落实意识形态工作责任制,切实履行属地管理职责,加强对属地网络文学业务的管理,建立和充实网络文学阅评队伍,提高科学管理效能,确保各项管理责任落到实处。

延伸阅读

唐家三少谈中国网络文学海外走红

5月27日,全国政协委员张威(唐家三少)在谈到网络文学创作时表示,网络文学的故事性使它能够传播开来,故事是世界性的,把文化潜藏在故事中,是中国文化走出去的一个好办法,网络文学要做有世界影响力的中国IP。

据@人民日报 官方微博27日报道,唐家三少在接受采访时表示,中国的网络文学经过20多年的发展,能发展到现在有接近5亿读者,绝不是靠一些良莠不齐的东西,而是以在符合法律法规的范围内弘扬真善美为大前提,创作的广大人民群众喜闻乐见的作品,这些作品的调性是年轻、积极、健康、向上、绿色、热血。

他认为,中国网络文学在国外传播得很好,优势是靠故事取胜,故事是世界性的,把文化潜藏在故事中,是中国文化走出去的一个好办法,“他们能看得懂,也会逐渐感兴趣,我们要做有世界影响力的中国IP。”

对于此前备受争议的网络文学作者与平台之间的版权问题,他表示,任何一个作者都更愿意将自己全部精力用于创作,而不是因为版权,或者这样那样的问题纠结,影响自己的心态和创作,最理想的状态就是作家创作,平台帮作家把内容运营好,做他们的投资人和经纪人,从中获得一定利益,共生共赢才是长久之计。

“直播﹢”赋能传统行业催生商业新模式 平台应在审核机制做好自律

5月11日,中国演出行业协会网络表演(直播)分会与北京字节跳动公司文创产业研究中心联合发布《抗疫直播力——直播社会价值白皮书》(以下简称《白皮书》)。《白皮书》结合数十家企业和平台的实践案例,分析了疫情防控期间,直播所创造的经济和社会文化价值,并勾勒出直播的未来发展趋势。

《白皮书》指出,直播平台与传统行业进行结合,通过“直播﹢”赋能传统行业,表现出直播的经济价值。疫情防控期间,直播平台为传统产业搭建了全新的供应链渠道,为实体经济向数字化转型提供了平台。“直播﹢电商”“直播﹢扶贫”“直播﹢文旅”等“直播﹢”新商业的模式实现了快速发展。

《白皮书》认为,正是由于直播产业与传统产业的深度融合,疫情防控期间,直播的经济价值、社会价值得到了极大发挥。在经济价值方面,电商直播的带货形式吸引了各类主播的参与,甚至不少县长也亲自挂帅,通过直播帮助本地农副产品销售,成为扶贫的新形式。在社会文化价值方面,各大直播平台响应教育部“停课不停学”的号召,为教师在线授课提供了免费直播平台,甚至清华大学、北京大学等顶尖学府也开展了面向全民的直播授课,让优质教育共享,为促进教育公平和教育创新迈出了一大步。

《白皮书》强调,直播平台应在审核机制、内容把关等方面做好自律,努力创造并维护健康向上的内容生态。

关于直播未来发展趋势,《白皮书》认为,第一,直播与传统产业供应链将深度融合,推动传统企业数字化转型;第二,直播内容生态更加丰富,赋能主流媒体,传递主流声音;第三,直播平台需承担起社会责任,发挥规模效应,在教育、扶贫等多领域创造公益价值。

来源:人民邮电报

5200万美元!facebook与患PTSD的内容审核员达成和解

稍早前,知名的社交平台脸书曾遭遇一起集体诉讼:因为审核过多的儿童性侵以及恐怖主义相关的负面内容而产生心理创伤,3000多名的内容审核员将脸书告上法庭。

而在日前,脸书和内容审核员正式达成和解,同意支付高达5200万美元的和解金。

据外媒报道,这起和解案将覆盖超过1万名现任和已解职的内容审核员,他们来自美国加州、亚利桑那州、得克萨斯州和佛罗里达州;预计每个人都将收到1000美元的医学排查费用,如有必要,还将额外获得治疗费用。

此外,脸书方面也将提供现场指导和工具,帮助内容审核员更好地控制查看图片的方式,以便减少观看一些负面内容。

2019年3月,曾有美国媒体报道,脸书聘用了约1.5万人负责内容审核工作。这些内容审核员向媒体抱怨,因为自己的工作内容太过黑暗而患上创伤后应激障碍,也就是我们熟知的PTSD。

报道还称,这些内容审核员每天基本上都需要审核400个帖子,内容涉及血腥、暴力、性及仇恨等,但是时薪仅为15美元。一名前员工还透露,他们的工作环境极其恶劣,一幢楼里仅有一个厕所,800人共用一个。

据了解,不少员工都因为精神压力过大,产生乱性、酗酒、吸毒等问题。

2018年,英国某电视台曾派出记者卧底在脸书的内容审核部门,发现不少问题,其中一项就是对于极端内容的把关不严。脸书副总裁理查德·艾伦彼时曾回应称,感谢媒体的监督,他们将认真对待培训流程中的错误,为内容审核员更新培训课程。

更早之前,2016年美国总统大选结束后,脸书也多次因为未能有效审核平台内容而遭到批评。作为应对措施,该公司与包括埃森哲、高知特、简柏特在内的咨询公司签约招聘了数千名审核员;另一方面也加大力度,积极通过人工智能技术来审核内容。

截止目前,对于集体诉讼达成和解一事,脸书方面还未发表任何声明进行回应。

视频审核规则不可忽视的要点你掌握了吗?

Hello,大家好,我是康小康团队,专注于自媒体运营和抖音运营及变现。

有很多的小伙伴不太理解平台的审核规则,那么今天我们就一条条来给同学们解析一下平台的审核规则。

视频内容的高发问题:

第1种就是色情低俗,除了常见的想漏点、性行为内容之外,封面标题中带有隐晦的性暗示也是不允许的,以及大家很容易忽视的,像动物裸露生殖器、女性哺乳、儿童裸露画面的也是不支持的。

第2种是违法违规。违法违规又分为以下三种常见的情况,危险器具的威力展示、违规网站信息和地图不完整,展示危险器具威力的视频内容,对社会是有负面影响的,平台需要严格把控。比如制作弓箭、枪支展示以及电鱼等等。

违规网站信息一般高发于二次剪辑作者,表现为视频里含有赌博网站或者一些色情网站、竞争的信息,这些也是不允许的。还有地图不完整,也是大家一不小心就会遇到的严重问题,大家一定要注意了。维护祖国母亲的完整是咱们义不容辞的责任。

第3种是被内容方投诉下架,非本人创作、拍摄未获得授权的内容,二级加工使用的素材等均存在着版权风险。有的同学问为什么别人能够发布呢?你有没有想过有可能是因为别人拥有授权,所以建议大家多多发布优质的原创内容。

第4种情况,目前涉及广告信息、虚假和谣言以及未经证实的内容也是会影响推荐的。比如说红枣补血就属于典型的谣言。

第5种旅游的创作者需要特别注意,在旅途中拍摄的素材可以丰富,但是剪辑的时候千万要注意了,如果有非普通话的语言是要翻译的,注意了,非普通话,特殊服饰也要尽量的避免。

第6种视频中涉及未成年人的危险行为,不利于未成年人健康成长的内容,也不适合展示,比方说未成年人早恋、未成年人暴力都是不适合的。未成年人的世界观尚未成型,需要我们所有人的悉心呵护。

第7种,猎奇和容易引人反感的内容都不适合出现。比如有些作者在拍摄户外内容的时候,就会拍到像蜜蜂、蟑螂之类,容易引起密集感,或者老鼠、蛇之类容易引起人反感的画面,那么除此之外,恐怖、血腥、暴力等相关内容平台也是不允许的,大家一定要注意了。

那么以上就是大家常见的问题,大家发视频前一定要了解审核规则,让我们一起为净化网络环境做出一份努力,关注我,更多知识、动态、干货、等你掌握,我会持续分享。

Facebook 审核人员暴增,科技巨头的漫漫审核路

Facebook 又搞砸了。像是矫枉过正,这一次它删错了帖。

3 月 17 日,许多 Facebook 用户发现自己从媒体转发关于新冠病毒的文章被删,页面显示这些链接违反了社区的垃圾信息规则。

随着全球范围内新冠病毒疫情越来越严重,围绕疫情的假新闻也逐渐变多,怎样辨别假新闻并删帖,成为社交媒体近期最关注的事。但是,上面提到被删除的文章都属于正式合法的媒体网站,包括 The Atlantic,USA Today,和 BuzzFeed 等美国老牌或新兴的媒体。

也就是说,Facebook 把真新闻当成假新闻删掉了。

疫情期间,社交媒体上假新闻越来越多,如何辨别成了问题 | 视觉中国

矛头很快指向了 Facebook 的人工智能审核系统。由于疫情的缘故,Facebook 在 3 月 16 日暂停了公司所有审查内容人员的工作,内容审核的工作转而交给平台上的「机器人」。Facebook 声称:「由于可供审查的工作人员越来越少,我们将继续优先处理那些迫在眉睫的危害内容,并增加对其他领域的主动检测,以删除违规内容。」

自然而然,人们怀疑是人工智能误删了正规新闻。但随后 Facebook 副总裁 Guy Rosen 声明,这是反垃圾信息系统中的一个 bug,与公司内容审核团队做出的任何调整无关。

虽然整件事闹出乌龙,但这背后反映的是人们对技术的不信任。谷歌最近也警告称,视频平台 YouTube 上以违反内容政策为由的被误删视频可能会大量增加,原因是在新冠病毒疫情流行期间,该公司将更多地依赖 AI 来审核视频,而不是人工。

即便在科技大公司口中,AI 一直在进步,好像可以承担很多人工的工作。但内容审核并不能完全交由 AI 处理,相反,近几年的趋势是,大公司们纷纷扩大了人工审核的规模。为什么人工智能发展了这么多年,审核内容这件事反而需要更多人工?在这背后,大公司又经历了什么?

内容暴增,AI 担起审核重任

互联网不是法外之地。为了解决网络上出现的淫秽色情、暴力血腥等违法内容,很多平台会设置内容审查制度。

有必要提及的是,诸如 Google、Facebook、Twitter 等互联网公司在近几年都大大加强了内容审核的力度。究其原因,大概可以总结为「流量的变化」。

一方面,平台的用户增长到了一个可怕的量级,仅就 Facebook 来看,2019 年第四季度,Facebook 的月活达到了 25 亿,这还只是一个 app,不算 Facebook 旗下的 Messenger、Instagram 和 WhatsApp 等应用。

另一方面,这些年内容形式变得越来越复杂,从文字,到图片,再到现在的视频和流媒体,互联网上的数据量疯狂增加,更多的用户每天都在产出更多的内容。

随着信息、内容和用户的暴增,科技巨头既可能创造了一个新的纪元,也可能打开了潘多拉的魔盒。这个过程中,对于内容的把就显得格外重要。

还以 Facebook 为例。过去,Facebook 对内容的管控相对松弛,虚假新闻、标题党甚至恐怖主义言论经常出现,审核团队人数也意外的少。据悉,2012 年 Facebook 有 8 亿多用户的时候,审核团队只有 50 人左右。

人工智能在前几年变成 Facebook 在内容审核上寄予希望的技术 | 视觉中国

人工智能兴起之后,很多互联网巨头第一时间将技术应用于自身的业务,其中就包括 Facebook。从 2017 年开始,Facebook 就在尝试使用人工智能解决内容审核的问题,当时可以做到使用 AI 图像识别工具来搜索照片,也宣布推出一套能够识别出试图自杀或自残的用户的系统。

但是,当时的人工智能技术并不够成熟。比如在理解语境方面,Facebook 的 AI 系统就不够智能。并且,AI 在当时只能作为辅助判断,并不能真正进行决策。扎克伯格曾在当时的公开信中提到,这套系统可以标记疑似内容,以便团队再次审核。

如今,人工智能在 Facebook 的内容审核上有了长足的进步。根据 Facebook CTO 迈克·斯科洛普夫在采访中说到,Facebook 已经能够自动从社交网络上删除 96% 的裸露内容。而仇恨言论问题则比较棘手,AI 系统可以识别出 65% 包含仇恨言论的帖子。

对于图片和视频来说,人工智能介入审核是非常有效果的,因为计算机视觉识别技术相对成熟。机器通过一定时间的训练都能够识别出敏感类别的内容,比如裸体、比如枪支等等。视频同理,Facebook 曾经展示过 AI 对于图片和视频的识别,基本不会出现差错。

Facebook 人工智能技术在图像识别上的应用 | 视觉中国

然而也在人工智能技术高速发展,看似能代替人们做更多事的时候,Facebook 做出了一项令人意外的举动:扩大人工审核团队。

据不完全统计,自 2017 年开始,Facebook 几乎每年都要招揽几千名内容审核员(以外包形式),这个数字在 2020 年增长到了 1 万余名。他们要做的工作听起来也很简单:按照 Facebook 的用户内容政策,对有害内容进行审核和删除。

到底发生了什么,让 Facebook 对技术「丧失了信心」?

盲点出现

2019 年 3 月 15 日,28 岁的布伦顿·塔兰特(Brendon Tarrant)持枪冲进新西兰基督城的两座清真寺,朝正在参加主麻日的人群射击,杀害了 50 人。这则新闻在全球范围内广泛传播,因为凶手在 Facebook Live 上直播了从准备武器到杀人的全部过程。

行凶过程的直播持续了 17 分钟才被 Facebook 删除,但 17 分钟对于一场直播来说已经足够进行大范围的传播,更何况还有保存下来的视频在平台上扩散。尽管 Facebook 声明自己「迅速采取了行动删除内容」,但有用户称,删除视频几小时后仍可以看到这些内容。

同样的情况在过去两年间发生过数次,Facebook 应对往往不够及时,导致恶劣的情况时有发生。而这就涉及到了人工智能在图片和视频之外的「盲点」——直播。

直播业务成了 Facebook 内容审核上的难点之一 | 视觉中国

和固有的图片视频识别不同,直播对审核的要求非常之高。除了实时识别画面这一难点之外,人们在直播中的一举一动都无法预测,这是目前人工和机器都无法做到的事。谁也不知道,直播者下一秒会在镜头前开枪射击。

斯科洛普夫也提到,AI 没能将新西兰枪击案直播识别为危险内容,因为「它和之前上传到 Facebook 上的视频都不一样,这段视频是以第一人称视角来展现过程,就像电脑游戏。」

所以在 2017 年一次直播杀人事件之后,Facebook 增加了 3000 名人工审核员专门审查暴力直播视频。对于巨大的平台来说,人工智能技术还远能完全取代人类,甚至连取代部分都做不到,内容审核远比人们想象中的更加困难。

人工与 AI 的协作

我们所处的环境是千差万别的。全球各个地区的政治文化背景都不相同,并且每天都可能有变化存在,AI 还无法处理这么复杂的动态。

那么,同样的逻辑放在人工审核上是否可行?这就要涉及到平台的一套审核标准。

2018 年,Facebook 首次公布了详细的内容审核标准,也就是社区守则。经过几个版本的调整,该标准分为六大板块:暴力和犯罪行为、安全、不良内容、诚信与真实性、尊重知识产权和内容相关申请,定义了哪些内容可能会被删除。

但问题在于,不是所有的内容都是非黑即白,要让所有审核人员明确标准,做出一致的决策,本来就是不可能的事。

在内容审核上,人工智能技术和人们思考的逻辑并不相同 | 视觉中国

技术的逻辑和人们思考的逻辑不同。说到底,深度学习技术只是根据既有的数据进行训练,从而展示出的一个个数据模型,它和人类的主动思考完全不一样。因此,如 Facebook 人工智能副总裁杰罗姆·佩森蒂(Jerome Pesenti)所说,「AI 与人类智力的差距非常大,它可以传播人类的偏见、不容易解释、不具备常识,更多的是停留在模式匹配的层面,而不是强大的语义理解」。所以,如果 AI 在内容审核的判断上出了偏差,没有人敢为其担下责任。

如上文提到的,在理解仇恨言论上,AI 并不能像识别图片和视频那样达到高准确率。原因在于内容本身,不同的内容表达上含义不一样,可能取决于上下文,可能只是讽刺但没有到达仇恨言论的高度……因为很难被定义,所以 AI 在审核这方面内容时有局限性。

总结下来,人工智能无法代替人类的问题在于技术在理解语言和行为预测上有一定困难,而这些问题即便人工也不能即刻给出答案。利用 AI 将疑似有害内容发送给人工审核进行二次判断,无论从安全角度还是成本角度讲,都是最优

加州大学洛杉矶分校信息研究教授 Sarah T. Roberts 很早就开始研究社交媒体的内容审核,她最近看到的趋势是,社交媒体的审核方式已经从人工手动审核进化到了训练机器审核,以便人工对机器审核的内容进行决策。当然,在整套审核过程当中,「人」始终没有脱离出这个闭环。「我们将会拥有的是混合动力」SarahT.Roberts 说到。

内容审核的意义

不仅是 Facebook,在大时代的变化下,科技巨头公司掌握了海量的信息和内容,一举颠覆了「媒体」的概念。这种改变世界的影响,是科技公司创始人们刚开始创业的时候无法预料到的。

然而,在改变世界之后,留给他们的问题是怎样不滑向「黑暗面」,甚至让平台更加光明,这也许就是所有巨头投入大量资金和精力做内容审核的意义所在。

平台的内容管控和商业利益一直是矛盾的关系,科技公司要做的就是找到其中的平衡关系。放弃短期的商业利益,约束自己的边界,换取的可能是更大的社会影响力,也是科技巨头必须面对的巨大挑战。

如果把互联网巨头比作一个向前快速滚动的巨轮,算法就是其中一个关键零件,零件偏了一点方向,巨轮的轨迹极有可能发生巨大变化。而零件怎么偏,偏多少,都可以经过掌控者的计算。

因此,大公司们要怎么在引以为豪的「科技」和「商业」标签上加入对社会的影响和价值,是比前两者更亟待解答的东西。毕竟,科技没有善恶,善恶来自科技的使用者。

来源:极客公园