Instagram重新审视内容审核系统承诺采取措施支持黑人用户

美国黑人George Floyd因被警员制服期间最终导致死亡的事件令全球再次关注社会上的种族不平等情况,各大社交媒体也因此压力饱受舆论压力,被指未有采取一切措施保障黑人用户的权益。而在近日,Instagram CEO Adam Mosseri就表示目前该程序正采取不同措施以更好地支持黑人社区,并将会对程序的推荐内容、如何处理骚扰以及查证等方面展开审查。

Adam Mosseri在美国时间的当地星期一就发布了一份声明,其中他指出目前Instagram已经在过去一段时间遭受用户质疑,指该程序除了压制黑人的声音外,更在产品及政策上未有公平对待黑人,要求Instagram采取行动重新审视现有政策而不是再是空谈。对此,Adam Mosseri就表示十分明白黑人在程序内经常受到骚扰、害怕被封锁账号以及大量贴文在缺席合理原因的情况下被删除等多方面的担忧,指Instagram将会在日后致力成为提高黑人声音的一个社交平台,以对社会负上应有的责任。

他又在介绍中指出公司将针对四大范畴进行改革,分别为骚扰、验证、分布以及算法的偏见,称公司将研究黑人用户在程序内线上以及线下会遇到的具体安全问题,并研究将可以如何保护他们不受这些问题的影响。他又提及公司将检查现有的标准以及内容审核系统是否存在偏见等问题,同时审视算法中的偏见是否会对每一项决策产生影响,希望借此打造Instagram成一个可让用户自由表达自己的平台。

内容审核员,不止鉴黄

“ 每天你都会看到有人砍人,或者射杀亲友……”

“ 黄赌毒必然要处理,色情也是大头,比如说一个不到10岁的女孩子拍了一个很普通的跳舞视频,她收到几十条性骚扰的私信消息,有些本身就是恋童癖……”

以上这些,只是网络内容审核员对自己工作内容叙述中的一部分。

为什么开篇就说这个呢,是因为狐妹前不久看到一条新闻。

脸书的内容审核员因为在工作的时候看了太多儿童性侵和恐怖主义的图片,而产生了心理创伤。最后获得了 Facebook5200 万美元的赔款

也许有朋友不太理解内容审核员到底是做什么的,他们为什么会受到心理创伤。

那我们做一个稍微通俗易懂的类比,或许你听说过鉴黄师吗?

其实从某种程度上来说,之前网上热议的鉴黄师,应该也算是内容审核员工作审核内容中的一个部分吧。

大家在第一次听说过 “ 鉴黄师 ” 这个职业的时候,是不是以为他们上班就是坐在那里拿着高薪,正大光明的搞黄色?

但事实好像总是……跟我们想象中不太一样?

其实搜索鉴黄师这个关键字你就会发现很多新闻都有报道,几乎所有干这个的人都表示精神上承受的压力非常大。

而内容审查员所涉及到的内容,比鉴黄师更可怕。

所以狐妹今天想带大家一起了解一下什么是内容审核员他们所面对的世界是什么样子

之前我们写过一期关于微博涉黄的案例,在评论里有人表示这些像牛皮癣一样的黄暴违规信息让人看着非常心烦,所以老早就卸载了微博。

但说真的,就算是这样,我们每天在网上看到过的信息,基本上都是已经经过内容审核员过滤的了。

假如没有这个职业,那我们的互联网环境或许会变成充斥着色情、暴力、血腥内容的世界。

毕竟你根本不知道还有多少让人不适的东西,在你看到之前就被审核员们挡在了互联网世界的大门外。

所以大家能想象,被称为“ 网络清道夫 ” 、一整天的工作都在直面色情、血腥、恐怖主义画面内容审核员都承受了些什么吗?

可以说,“ 内容审核 ” 在全球范围内都不再是一个陌生的概念了。可以说,几乎每一个互联网公司,都需要内容审核员的存在。

去年四月的时候,因为播出低俗节目被约谈的快手紧急招聘了 3000 名内容审核员。除此之外,字节跳动、腾讯等每年也都在扩招大量的内容审核员。

而国外也不例外,之前就有报道称,Youtube 在 2017 年的时候就雇佣了 10000 名内容审核员,并下架了 15 万有关儿童猥亵的视频。

Facebook 的外包网络审查员也一度达到了 7500 名,用于审核那些带有仇恨歧视的言论

而随着审核员的需求越来越多,关于内容审核员患上心理创伤的报道也越来越多。

2018 年的时候,就有一部关于第三世界网络内容审核员的纪录片《 网络审核员( The Cleanser)》上映。

而今年,又有脸书的前审核员因为心理创伤而将公司告上法庭。这个问题,开始逐渐出现在大众视野,并得到重视。

内容审核员们之所以更容易患上应激性创伤等心理问题,工作内容的负能量爆棚其实是主要原因。

其实根据不同平台和不同公司的要求,审核员们的工作内容其实也不太一样。拿脸书为例,脸书的内容审查员主要是按工作内容分类。

“ 鉴黄 ” 组浏览裸体、色情内容;“ 反恐 ” 组观看斩首、电击虐待、汽车爆炸等视频;“ 自残 ” 组甚至偶尔还得盯着自杀视频直播。

有的审查员表示,自己观看暴力视频的次数多到,自己仅仅只是看一眼尸体身上的切口就可以判断是小刀割的还是大刀砍的。

不仅如此,根据他们的保密协定,内容审查员是不被允许和其他人讨论工作内容的。

这就意味着,哪怕自己已经有了严重的心理问题,他们也不被允许分享,这使得他们的孤独感与心理创伤剧增。

除了必须在工作中面对大量负能量以外,工作本身带来的压力也是一个很重要的原因。

狐妹在招聘网站输入 “ 内容审核” 这几个字,就能看见新浪、头条、抖音、360 等平台的招聘信息跳出来。

新浪的内容审核岗为例,4-8k 不等的工资,工作内容就是准确迅速处理各类违法信息,看着是不是还挺不错的。

但我们一般都知道,写在招聘启事里的信息呢,实际上福利一般没那么多,但是工作压力和要求是只会更高不会更低的

既然这里工作压力较大都给你标出来了,再加上夜班和周末值班……

因为互联网这一行业的特殊性,基本上是 24 小时都需要有内容审核员来进行审核的。

而这类内容审核岗基本上是轮班制,比如 360 的内容审核岗就是 12 小时轮值,做一休一。工作内容的要求呢大概是一天两万条,包括评论、头像、文章等内容。

其实这种压力扛一扛,也能扛过去。但你要知道啊,内容审核员在进行审核的时候,并不是像我们想象中的一样,觉得哪条和自己三观不符就把哪条删了。

每个平台呢,都是有自己的一套审核标准的。据说脸书就有一个 1400 多页的手册,用来当审核规则的标准。

但你想,每天要审核的信息数量非常大,而审核规则是难以清晰地界定出所有的情况的。而脸书的审核员们,却被要求审核的准确率达到百分之九十八

当连续几个月审核准确率不达标的时候,就会被辞退。

这从某种程度上来说,工作压力大也给内容审核员们带来了很大的精神压力。

那么有没有什么办法可以改善内容管理员的心理状态呢?

有人说,用机器 AI 代替人工来进行审核应该是可以的吧?确实,机器的确可以识别出一部分色情、暴力、血腥的内容,从而帮审核员们减轻一定的负担

但机器和算法并不能解决所有情况。不同的语境下有着不同的理解方式。

你看看,在那死板的算法下,本来多正常的一张图,也被搞得有些脸红心跳奇奇怪怪。

更何况,有时候你会在娱乐节目里发现色情内容,美食图片里看见血腥肉体。这些夹带私货的做法,往往很容易逃过机器 AI 的审查。

而这个时候,就还是少不了内容审查员的存在。

谷歌的研究团队曾经做过一项实验,在这项实验中对所有的视频进行灰度显示的处理。76 位审查员参与了这项实验,结果显示灰度显示模式确实能让审核员的情绪得到好转。

在不久的未来就可以通过技术干预的手段,缓解审查员们的心理压力。

这个职业几乎每天都在直面人性中最阴暗的那一面,他们承受着巨大的心理压力。崩溃、哭泣、麻木,甚至连自杀的都有。

有的人干了没多久辞职了,有的人是为了养家糊口才选择顶着压力做这个职业,还有的人觉得这是一份可以净化互联网环境的值得骄傲的工作。

但无论如何,是这些内容审查员帮我们过滤掉了那些人性中最黑暗的东西。我们之所以还能愉快的在网上冲浪,确实是多亏了他们的。

也希望在未来,内容审查员的心理健康,能得到互联网公司和大众更多的理解和重视吧。

直播平台被全面巡查,内容审核将采取“沾边就打”原则

6月23日,国家网信办发布消息,对虎牙、斗鱼等国内31家主要网络直播平台的内容生态进行全面巡查。并约谈了虎牙、斗鱼、哔哩哔哩、映客、花椒、西瓜视频、全民小视频等10家网络直播平台,视违规情节对相关平台分别采取停止主要频道内容更新、暂停新用户注册、限期整改、责成平台处理相关责任人等处置措施,并将部分违规网络主播纳入跨平台禁播黑名单。

“人人都是主播,万物皆可直播”的时代,为了吸引眼球,获取流量,主播们各出奇招,有的直播平台任由主播穿着暴露、言语粗俗、行为恶劣,通过“送福利”、低俗表演等方式吸引用户进行高额打赏,而因为直播人数实在庞大,虽然有相关规章制度出台,却一直都处于监管缺失地带。

不过政策重压之下,直播将不再是法外之地,直播经济也将迎来“刹车”管控,行业污浊的环境势必将得到一定的净化。

全面巡查直播平台,最大限度压缩不良信息生存空间

虽然重点约谈了B站、西瓜视频、虎牙、映客、斗鱼、花椒等10家主流直播平台,但国家网信办有关负责人表示,结合群众举报及核查情况表明,国内31家主要网络直播平台普遍存在内容生态不良现象,不同程度地存在内容低俗庸俗问题。

主要问题如下:

1、秀场类直播:部分女主播衣着暴露,一些男主播言行粗俗恶俗,低俗热舞、恶搞、谩骂等现象屡禁不绝;

2、聊天类直播:内容无营养无价值,甚至传播不良价值观;

3、留言互动、弹幕和用户账号注册疏于管理,违法违规信息层出不穷。

4、一些平台企业经营态度不端正,自身利益至上,有的借助免费“网课”推广“网游”,有的利用色情低俗内容诱导用户点击浏览并充值打赏,有的利用“抽奖”“竞猜”“返利”等方式涉嫌组织网络赌博。

网信办有关负责人强调,此次对31家网络直播平台全面巡查,旨在督促主要平台切实履行主体责任和社会责任,守牢法律底线、道德底线和安全底线,自觉完善平台规则,优化系统功能,改进算法推荐,强化主播管理,最大限度压缩低俗不良信息生存空间,不断提升直播内容质量,为广大网民提供更多更好的文化产品和服务。

事实上,网信办每年都会有“净网行动”“护苗行动”等专项工作部署及要求,严明监管要求,确保平台上不出现淫秽色情、凶杀暴力等有害信息,不传播泛娱乐化、低俗、恶搞等不良内容。

此次监管升级,就是在此基础上,着力把网络直播专项整治和规范管理工作引向深入。

“内容风控”成平台和主播生死线

随着互联网内容的迅猛发展,监管政策趋严,内容安全事件频发,有时候内容风控的成败直接决定着互联网内容平台和企业的生死。

一招不慎,年入千万的咪蒙、MC天佑说凉就凉,至今都未能复出;剑走偏锋,拥有2.5亿高粘性用户的内涵段子APP说挂就挂。

此次,B站、西瓜视频、斗鱼等直播平台被约谈,就是因为内容风控问题,如果问题严重屡教不改,还可能面临生死考验。

在这样的情况下,“内容至上,安全第一”已经成为了互联网内容平台的普遍共识,“宁可错杀一千,不能漏过一个”便成了内容审核基本原则。

大量主播稍有不慎就可能被封号。所以,“内容风控”不仅是平台的责任,同样也是主播的生死线。直播平台不想成为下一个被封杀的内涵段子app,主播也自然不想成为下一个被封杀的MC天佑。

对嫌疑内容采取“沾边就打”原则

6月15日,卸下经纪业务的亲自带队搞直播的杨天真,在直播时因为衣领过低惨遭封禁。

在被系统提示衣领过低涉嫌违规时,杨天真本人曾多次试图整理,比如系上头发,或者提起自己的衣服甚至用东西遮挡,但是最后依然无济于事,直播间还是被封禁了。

杨天真事后感叹,“是真的没想到了,我人生竟然还会经历这样的事情”。

事实上,“这样的事情”将成为未来直播内容审核中的常态,而且监管力度还在升级。

AI审核:全力保护互联网平台的生命线

在这个互联网高速发展的时代,每一个人都被海量的信息环环围绕,人们在享受信息便捷带来的服务和消费体验升级的同时,大量未经核实信息的出现,对国家安全、社会稳定、青少年健康等都造成了不良影响。随着大量UGC内容的爆炸式增长,一些违规内容也随之横行,不仅给平台的营销、经营及品牌造成极大伤害,更为严重的是一些违规内容也会涉及棘手的法律问题。

由于没有一个标准的内容体系,大部分人对网络信息的真伪难以辨识,能高度依赖于互联网平台对内容的把关。因此,审核工作就成为整个互联网平台的生命线。

随着网络内容的骤增、用户体验不断提高、负面事件风险增加以及审核标准严苛细化,非标准化审核管理系统犹如一块巨石压得审核工作者喘不过气。

一方面,各大媒体平台的人数不断增加。在国内,主流的社交媒体平台的审核人员几乎都达到上千人以上的规模。去年4月,快手发布大规模招聘信息,面向全国新增招聘3000名内容审核编辑,将目前的审核团队从2000人扩大至5000人。

而在国外,Facebook在自有算法的情况下,人工审核团队规模达到1.5万人;youtube在谷歌大脑算法支持的情况下,审核团队的人数也达到了1万+,由此可见,人机协同审核仍是未来很长一段时间的审核模式。

另一方面,运营商往往希望运营部门能够保障用户体验,因此耗费大量财力物力来培养审核团队,尽管人人皆知内容安全是第一位的,但由于每天会有大量UGC的内容产生,这就意味着,人工审核与审核需求量不成正比,因此,便衍生出AI审核这一系统,但是,企业开发一个AI系统,投入的成本很高,因此,第三方审核服务正慢慢成为当下发展趋势。

什么是AI审核?

AI审核是基于自然语言处理、语言识别、语义理解、图像分类、目标检测、深度学习等核心技术,面向金融、保险、证券、互联网等客户群体,提供包括文本、图像、音频、视频等内容安全识别。

AI审核有哪些优点?

AI审核可根据企业的需求,设定相关审核规则,其强大的审核机制可以大大提高企业的审核效率使得审核工作达到事半功倍的效果;此外,AI审核还能够保障企业的信息安全,避免信息遭到泄露。AI智能审核的运用,能全面提升企业智能化、批量化UGC等内容综合处理能力、为用户构建牢不可破的安全防御体系。

「专利解密」字节跳动如何使用深度学习处理视频?

目前在很多行业中,例如广告行业,会有控制视频类广告中的字符与图像的比例的要求,目的是为了满足客户要求或者为了追求广告效果,为了达到不同的广告效果。

这种场景会需要将字符在视频类广告中的占比进行不同的控制,例如,通常会要求视频类广告中的字符内容的占比要低于图像内容的占比,也可能会要求视频类广告中的字符内容的占比大于图像内容的占比等。

目前在对视频类广告中字符内容与图像内容的比例进行判断时,通常还是会根据人工的主观判断来对视频类广告中的字符占比进行判断,在这样的情况下,判断同一个视频类广告中的字符占比是否满足预定的条件时的判断结果通常会根据不同的人的主观感觉的不同而不同,无法达到对视频类广告中的字符内容的占比与图像内容的占比之间关系的精确判断。

因此,为了解决如何通过对视频内容的处理来精确地确定视频中字符内容与图像内容之间的占比关系,字节跳动在19年9月3日申请了一项名为“视频处理方法、装置、介质和设备”的发明专利(申请号:201910829463.1),申请人为北京字节跳动网络技术有限公司。

根据目前该专利公开的资料,让我们一起来看看这项视频处理方法吧。

如上图所示为视频处理方法的流程图,首先,获取目标视频中的目标视频帧图像,目标视频即为需要根据字符面积占比来进行处理的视频文件,可以是视频类广告,也可以为短视频平台上传的各类短视频或者电影等长视频。

目标视频帧图像为目标视频中的所有视频帧或者一部分具有代表性的视频帧,即根据预设的提取方法所得到的关键帧,例如在目标视频中的每一秒内选取第一帧作为该秒的关键帧等。实际应用时可以根据实际情况来确定目标视频帧图像,例如,当目标视频的时长过长时,可以将关键帧作为目标视频帧图像,以加速视频的处理。

其次,将目标视频帧图像输入预设深度学习模型中,以确定目标视频帧图像中属于字符区域的目标像素点。在确定该目标视频帧图像之后,利用已预先训练好的预设深度学习模型来对每一张目标视频帧图像进行处理,以确定每一张目标视频帧图像中属于字符区域的目标像素点。

最后,根据目标视频帧图像的目标像素点在目标视频帧图像的所有像素点中的占比,确定目标视频是否为文字类视频。例如,若目标视频帧图像中一共有50万像素点,其中目标像素点共有20万像素,则进而就可以根据该占比来确定目标视频是否为文字类视频。

这样,无需再通过人工判断的方式对目标视频中的字符内容的占比多少进行判断,利用这种通过对视频中字符内容占比精确识别从而对视频进行分类的视频处理方式,大大提高了对视频处理的精确性。

如上图所示为视频处理方法中确定目标视频帧图像中属于字符区域的目标像素点的方法的流程图,首先,确定目标视频帧图像中每个像素点属于字符区域的概率,其次再将目标视频帧图像中属于字符区域的概率大于第一预设阈值的像素点确定为目标像素点。

例如第一预设阈值可以为60%,当确定目标视频帧图像中的某一个像素点属于字符区域的概率大于60%时,则确定该像素点为目标像素点,即将该像素点确定为属于字符区域的像素点。

当确定该目标视频帧图像中的某一个像素点属于字符区域的概率小于60%时,则将该像素点确定为不属于字符区域的像素点。

如上图为视频处理装置的结构框图,该装置包括:获取模块10,用于获取目标视频中的目标视频帧图像;第一确定模块20,用于将目标视频帧图像输入预设深度学习模型中,以确定目标视频帧图像中属于字符区域的目标像素点;第二确定模块30,根据目标视频帧图像的目标像素点在目标视频帧图像的所有像素点中的占比,确定目标视频帧图像是否为文字类视频。

以上就是字节跳动发明的视频处理方法,通过深度学习模型准确分割目标视频中的每个目标视频帧图像中的属于字符区域的目标像素点,从而精确得到每个目标视频帧图像中属于字符区域的占比,进而就能根据该目标视频中的所有目标视频帧图像中属于字符区域的比例来确定该目标视频是否为文字类视频。无需再通过人工判断的方式对目标视频中的字符内容的占比多少进行判断,大大提高了对视频处理的精确性!

从内容监管策略到职业发展建议,产品经理都关心的5大问题

近日,新浪微博因传播违法违规信息等问题,被网信办责令整改,停更微博热搜榜和热门话题榜一周,此事引起了行业的重视,各个平台也在积极应对内容监管。

自5月份以来,国家网信办就在全国开启了2020“清朗”专项行动,全面覆盖各类网络传播渠道和平台,集中清理网上各类违法和不良信息。

在此期间,多个平台也相继发出维护公告,在维护期间将限制对平台的访问。

当监管潮席卷互联网平台,不乏有平台因为内容安全问题被约谈、要求整改,情节严重的,甚至面临关闭下架风险,这对平台业务来说损失极大。

针对内容安全&内容监管话题,6月9-16日,网易易盾联合人人都是产品经理,发起了一场特别的微信群深度讨论活动,特邀网易易盾的内容安全专家,为大家的提问提供针对性解答。

在这里,我们也为大家整理了群讨论中5个方面的精选问答:

一、不同的内容载体,有哪些内容监管策略

内容的呈现形式从文本、图片发展到音视频,面对内容展示多样化,如何制定行之有效的内容监管策略?

Q1:针对目前语音违规该如何去规避风险内容,怎么实现降低平台风险性且提升用户体验?

语音违规检测目前主要通过机器检测及人工审核两种途径进行审核。

机器检测主要通过语音识别、声纹检测、语种识别、语义识别等做深度学习的方式来进行,人工审核可针对机器检测不确定部分进行人工再次确认。

为了最大程度提升用户体验,减少因机器检测带来的审核延迟,建议针对热度较高的语音采取先审后发,针对部分热度较低/官方内容采取先发后审策略。

Q2:5G消息下的富媒体内容(包含文本、图片、语音、视频、优惠券)是否有更优的解决方案,尤其是视频,是否有更高效的检测处理方案?

5G来了,必然数据量增多,并发增加,对内容检测的延迟、并发等要求都变高了。因为还没有真正的到5G时代,暂时还没有看到特别大的影响。

我的看法是,检测的技术手段基本不变,还是靠算法模型,规则等等,未来会提高内容检测效率的几个方面:

1、算法更新(比较难,周期慢,完全看科研界的发展速度);

2、硬件更新(GPU等运算性能提高、成本降低,就可以增强检测算力);

3、一些解决方案的提升:

比如富文本整体解决方案,拿音视频来讲,有的客户需要同时检测声音和画面,最初是分开检测,有两个结果。 后续发展为同时检测,在同一个结果内返回音频和图像检测结果,这样从业务处理上来讲提升了效果。类似的解决方案的提升,也会有一些作用。

Q3:请问,对于即时通信类产品(如微信),该如何制定内容安全策略以及审核流程,可否讲下相应的想法或思路?如有相关经验,可否介绍一下?

IM基本情况是群聊过检,私聊不过。IM对延迟尤其敏感,同时尽量避免误伤。

有一些策略上的小技巧,比如发送内容如果被检测违规,并且属于比较严重的,可以先对自己可见。

还有像视频这种,需要上传时间的,可以对用户展现的是上传中,而不是分:上传中、检测中,把实际检测时间也包含在上传过程中。这样体验能好点。

特殊时期,检测规则从严处理,尤其对那种踩红线严重违规的。

二、内容审核与用户体验,两者之间如何平衡

源源不断的UGC内容为平台注入活力,而垃圾内容的滋生却给平台带来负面影响;既要维护平台内容安全,又要考虑用户体验,如何平衡是好?

Q1:平台进行内容审核势必会影响用户体验影响发展,如何平衡内容治理中平台企业的“安全”与“发展”?

核心思路:先保安全,再谈发展!

真被关停了就没有机会发展了。而且我觉着做安全对运营来说是加法,而不是减法,我试想了一下如果一个平台没有任何约束,难免会有一些谩骂灌水之类的,反而影响运营发展,所以安全等于保障了舒适的环境,另外就是平台的一个核心吸引力是优质内容,我理解优质环境+优质内容,这些方面对于平台发展都是不可缺少的。

安全做的多少,和公司发展阶段相关联。初期都是先业务发展,逐渐凸显问题的时候才会逐步加大安全投入。

Q2:如何平衡国家网络安全要求和用户使用自由度这两者?

国家网络安全要求是有红线的,在红线内最大程度给到用户自由。所以关键在于对国家法律法规的正确解读,及时洞察国家政治意识形态,可根据业务场景不同,制定审核严格程度的不同,避免伤及用户体验。

三、不同的岗位,如何做好内容安全

维护平台内容安全,离不开产品、运营、技术等各部门的协作发力,那不同岗位的同学,在内容安全这条路上会遇到什么问题?

Q1:有时候违规内容和非违规内容的界限比较模糊,机器识别之后还需要人工审核,怎样进行产品设计才能让审核更高效?

一般为了最大程度保持审核的及时性、确保用户体验并保证内容安全,针对机器识别较为确定的结果直接进行处理(例如.机器判定通过的内容可以直接发出、机器判定不通过的内容可以删除);仅针对机器无法确定的部分流入人工审核(此时为了保证实际用户的体验,待审核的数据建议保持仅自己可见状态,针对非热点区域亦可采取先发后审策略)。Q2:如何通过分析,感知平台内容安全态势情况?

基本三方面:

第三方的安全审核服务(可以感知总体业务量、违规情况的分类、数量、用户画像等内容),属于最主要的了解业务违规风险的一个渠道;自身运营团队/人审团队 的数据分析(比如抽检);来自用户的信息(举报、申诉等渠道获知违规内容信息)。Q3:技术问题,文本过滤主要用到了那些解决方案,针对不同分类有什么策略,怎么识别富文本的文本过滤?

文本检测的算法结构最底层是通用的基础技术,如分词、词向量等;中层应用内容安全领域相关的预处理,主要是变种内容的识别和修正;上层是具体的检测技术,由规则引擎、相似度匹配、传统机器学习模型、深度学习模型4个模块构成。针对富文本,易盾包装了组合接口解决方案,可将富文本通过接口一次性提交,易盾会自动拆分文本、图片分别过检,返回整体结果。

四、针对内容安全具体问题,网易又是怎么做的

网易拥有20年内容安全体系建设经验,内部积累了丰富的“反垃圾”经验和数据,针对同学们提出的业务问题,网易有何解决方案?

Q1:易盾是如何进行视频直播和音频内容的审核的?

目前易盾针对直播场景提供了基本机器检测方案,及通过智能电视墙辅助热度检测的人工审核方案:

机器检测部分——直播视频目前主要通过截帧来进行过滤,直播语音主要通过感知静默时间,提取语音断句来进行语音检测的方案。智能审核电视墙——与传统的直播电视墙全量推送纯视频流审核不同,智能审核电视墙依托易盾机器检测智能化分析视频潜在风险,及时告知审核人员,嫌疑视频高亮并放大提醒,多维业务数据辅助审核,辅助热度检测(异常弹幕、异常评论、在线人数激增、礼物数激增等异常指标监控)实时动态变更嫌疑指数,帮助审核人员尽快锁定嫌疑视频,极大提升审核效率,确保视频审核效果。Q2:如何在特殊时期针对平台安全做预警,常用预警方案?

常规存在如下几种处理方案:

数据强制先审后发;建议平台对留言区、评论区、头像更换、昵称修改等涉及UGC内容产出高危区域采取短暂关闭处理/停止推送至首页功能;关闭分享功能。

五、产品经理的职业发展建议

产品经理想要转换职场环境,有哪些行业、岗位值得参考?

Q1:我是一个从内容安全平台离职的产品经理,想跳槽进入其他公司,能匹配的岗位很少,有什么相关领域可以推荐的吗?

如果不想转岗还是产品经理,可以看下目前做内容检测的互联网公司的岗位;如果考虑相关岗位,有关内容检测的,可以看下运营岗位、业务风控部门的岗位,现在看好多客户把内容风控放在了业务风控部门来做。

人气造假、虚假交易……直播带货该如何监管?

信息公示不到位、涉嫌虚假宣传产品功效、人气造假和评论造假……

直播带货如何变“一时火”为“一直火”

在30个直播带货体验样本中,有9个样本涉嫌存在证照信息公示问题,占比30%;有3个样本涉嫌通过虚假宣传产品功效或极限用词诱导消费者购买商品,占比10%。

6月16日,北京市消费者协会发布的《直播带货消费调查报告》显示,直播带货消费存在不少问题,除了上述证照问题及虚假宣传外,部分直播带货商家页面没有任何商品的文字或图片信息,个别直播带货商家要求“定金不退”。

今年以来,直播带货大火,但这种新的消费模式一直问题不断。相关专家表示,直播带货要变“一时火”为“一直火”,需要为其“立规矩”,让平台商家真正为消费者“带货”而不是“带祸”。

部分主播涉嫌虚假宣传诱导消费者

“可以降血脂,促进血液循环,预防心脑血管、动脉硬化、中风、心脏病、高血压,对老花眼、青光眼、视力模糊有很好的效果”“我们家的产品质量这一块绝对是NO.1”……

这是北京市消协体验人员于5月27日通过京东直播选购一款价格149元的保健品时,主播对该保健品的介绍。

本次体验调查的30个直播带货样本中,还有两个样本涉嫌通过虚假宣传产品功效或极限用词诱导消费者购买商品,侵犯了消费者的知情权和公平交易权。

体验人员通过天猫直播平台购买一款“谷益元红豆薏米粉代餐粉”时,主播宣称“3天可以减1~5斤”“产品吃3天没有效果的话,来我们家给承诺无效退款”。

体验人员在苏宁易购直播平台购买一款黑玛卡时,主播宣称该商品“能够提高免疫力,改善睡眠,抗疲劳,补充脑力体力,补肾壮阳。男性长期喝玛卡,可以改善男性肾功能”。

根据中国消费者协会今年3月底发布的《直播电商购物消费者满意度在线调查报告》,由于信息不对称,一些消费者被夸大宣传或虚假信息误导,购买到假冒商品和“三无”产品等。

人气和评论造假、虚假交易等须重视

本次体验调查的30个直播带货样本中,有9个样本涉嫌存在证照信息公示问题。例如,快手直播平台的“燕姐品牌护肤”和“长春小月彩妆达人”两家店铺,虽然已实名认证和缴纳店铺保证金,但均未上传资质证明。有29个体验样本均能够做到“7天无理由退货”,只有1个体验样本“无理由退货”遭到拒绝。

体验人员调查还发现,部分直播带货商家虽然标注“退货包运费”,但退货时实际支付12元运费,商家只补贴10元运费;部分微博直播带货过程中,除了主播语音介绍,平台和商家页面没有任何商品的文字或图片信息;个别直播带货商家要求先交定金,并提示“我已同意定金不退等预售协议”,否则无法提交订单。

此前,《工人日报》记者在调查中还发现,一些直播平台和商家还存在人气造假、评论造假等行为,以及各类诱导交易、虚假交易、规避安全监管的私下交易行为。在保险等专业领域,一些并不具有专业保险知识的主播也开始通过直播推荐保险产品,这些尤为值得监管部门重视。

违法频次较多的主播可拉入黑名单

北京市盈科(深圳)律师事务所律师朱逸聪指出,今年以来,直播带货模式为企业复产复工、促进产品销售做出了积极贡献,但上述问题损害了消费者权益,不利于行业的长远健康发展。直播带货要想“一直火”,必须规范发展,为消费者提供性价比高、质量又有保障的“好货”。

对此,北京市消协建议,通过立法或制定行业标准等方式,进一步明确直播带货相关平台、商家与主播之间的责任划分,加大对平台、商家和主播等各方主体的监管和处罚力度。

同时,建议进一步强化直播平台对直播带货行为的监督管理责任,明确平台要严格按照相关法律法规及政策要求,完善内部监管措施和自治规则,加强对直播带货交易全流程的审核把关和生态治理。

此外,北京市消协呼吁建立行业自律和诚信评价机制。对于随意夸大宣传、欺骗和误导消费者的直播带货行为,应纳入社会诚信评价体系;对在直播带货虚假宣传的主播,除了进行经济处罚,还应将违法情节严重、违法频次较多的主播拉入黑名单,实行直播市场禁入,提高违法直播带货成本,增强监管震慑力。

来源:工人日报

直播平台不是法外之地 流量平台当建价值高地

直播助农,让田间地头农产品畅销全国;在线学习,让知识跨越千山万水;分享日常,让生活技能方便你我……近年来,网络直播成为互联网世界的一个“风口”,一个个流量平台纷纷崛起,在产品营销、知识共享、远程办公医疗等方面发挥着积极作用。人们在直播中寻得商机,在直播中觅得便利,也在直播中拓宽出路。

应该看到,网络直播作为发展中的新事物,犹如一个赛车道,直播平台像赛车手,抓住用户注意力就更容易加速冲刺,“直播竞赛”就此展开。当然,这条赛道的门槛和标准参差不齐,出现了一些需要正视、亟待解决的问题。对此,中央网信办等8部门近日集中开展网络直播行业专项整治行动,首批依法依规对44款网络直播平台进行相应处罚,再次释放出坚决治理直播行业乱象的强烈信号。

推动直播行业健康发展,只有全面审视,才能对症下药。看规模,据《2020中国MCN行业发展研究白皮书》,聚合内容创作者的多频道网络(MCN)机构数量已超2万家;据第四十五次《中国互联网络发展状况统计报告》,截至今年3月,我国网络直播用户规模达5.60亿。看特点,直播平台内容同质、功能相似、特色模糊等现象明显。可以说,不少直播平台往往低水平入门、低质量竞争。平台数量多、用户规模大在一定程度上彰显了网络直播的发展活力,但人们更期待去粗取精的发展质量。

互联网行业有个“三角形框架”,即服务用户的“产品”、留住用户的“运营”及转化盈利的“流量”。从这个模型出发,无论是产品还是运营,成功与否往往系于流量。可以说,流量生态在很大程度上影响着商业转化价值。但从实践来看,如果直播平台唯流量是从,只顾流量热度、内容热度,不顾质量、不负责任,就会滋生一些违背公序良俗的言行,冲击法律与道德底线。从这个意义上讲,直播平台需要来一场聚焦责任感、价值观的“质量革命”。

直播平台不是法外之地,更不是道德洼地,而应成为责任之地、价值高地。近年来,针对网络直播出现的问题,从平台备案许可到主播实名制认证,从建立直播内容审核制度到履行内容日志信息留存要求,从建立信用等级管理体系到黑名单管理制度,一系列监管与规范、自律与他律的制度在不断完善。今年全国两会期间,有人大代表建议,强化平台的监督管理责任。直播平台是公共平台,不能重流量轻责任、重收益轻担当,这已经成为广泛共识。唯有平衡好平台利益与公共责任,扎紧制度篱笆,平台当好“把关人”、相关部门当好“守门员”,这一朝气蓬勃的行业才能真正迎来发展的春天。

开放、共享是互联网的内在精神,越是开放、共享,越应该把价值导向摆在首位,每个直播平台都应该成为价值出口。抗击新冠肺炎疫情期间,不少流量平台科普抗疫知识,传递战疫温暖时刻,为不少行业打开了线上销售之门,在疫情防控中起到积极作用。实践证明,“把握好手里的麦克风”,让主流价值充盈直播间,才能让直播平台沃土广袤、蓬勃发展。

来源:人民日报

建立网络文学内容审核机制,实行创作者实名注册制度

近日,国家新闻出版署印发《关于进一步加强网络文学出版管理的通知》,要求规范网络文学行业秩序,加强网络文学出版管理,引导网络文学出版单位始终坚持正确出版导向,坚持把社会效益放在首位,坚持高质量发展,努力以精品奉献人民,推动网络文学繁荣健康发展。

资料图 新华社供图

通知要求,网络文学出版单位要严格落实平台主体责任,建立健全网络文学内容审核机制,强化内容把关职责,支持优质创新内容,控制总量、优化结构、提高质量,确保内容导向正确、格调健康向上,坚决抵制模式化、同质化倾向;严格规范登载发布行为,实行网络文学创作者实名注册制度,在平台上明示登载规则和服务约定,对创作者登载发布行为提出明确要求;加强对作品排行榜、互动评论等作品相关发布信息的动态管理,正确引导用户阅读。

通知要求,各级出版主管部门要组织开展网络文学出版单位社会效益评价考核,对考核结果优秀的单位予以奖励和支持,对考核结果不合格的进行批评和处罚;加强评奖推选活动管理,举办全国性网络文学评奖须向国家新闻出版署提出申请;进一步规范市场秩序,对内容导向出现偏差的作品和单位,综合运用多种措施进行处置;加强网络文学出版队伍建设,引导广大网络文学从业人员对读者负责、对社会负责,恪守公序良俗,弘扬新风正气,打造精品力作,维护网络文学行业良好声誉和网络文学出版工作者良好形象。

通知强调,各级出版主管部门要严格落实意识形态工作责任制,切实履行属地管理职责,加强对属地网络文学业务的管理,建立和充实网络文学阅评队伍,提高科学管理效能,确保各项管理责任落到实处。

延伸阅读

唐家三少谈中国网络文学海外走红

5月27日,全国政协委员张威(唐家三少)在谈到网络文学创作时表示,网络文学的故事性使它能够传播开来,故事是世界性的,把文化潜藏在故事中,是中国文化走出去的一个好办法,网络文学要做有世界影响力的中国IP。

据@人民日报 官方微博27日报道,唐家三少在接受采访时表示,中国的网络文学经过20多年的发展,能发展到现在有接近5亿读者,绝不是靠一些良莠不齐的东西,而是以在符合法律法规的范围内弘扬真善美为大前提,创作的广大人民群众喜闻乐见的作品,这些作品的调性是年轻、积极、健康、向上、绿色、热血。

他认为,中国网络文学在国外传播得很好,优势是靠故事取胜,故事是世界性的,把文化潜藏在故事中,是中国文化走出去的一个好办法,“他们能看得懂,也会逐渐感兴趣,我们要做有世界影响力的中国IP。”

对于此前备受争议的网络文学作者与平台之间的版权问题,他表示,任何一个作者都更愿意将自己全部精力用于创作,而不是因为版权,或者这样那样的问题纠结,影响自己的心态和创作,最理想的状态就是作家创作,平台帮作家把内容运营好,做他们的投资人和经纪人,从中获得一定利益,共生共赢才是长久之计。

人民日报海外版:直播不能什么都播

目前,网络直播行业蓬勃发展。《中国互联网络发展状况统计报告》显示,中国网络直播用户规模已达5.6亿,占网民整体的62%。然而,在行业竞争和利益驱动下,一些直播平台乱象丛生。

防疫期间,全国大多数网民上网时长明显增多,有的直播平台利用这一时机,为追流量、抓眼球,任由主播穿着暴露、言语粗俗、行为恶劣,通过“送福利”、低俗表演等方式吸引用户进行高额打赏,甚至诱导未成年人进行充值打赏,所涉及的举报案例居高不下;有的直播平台主播向网民兜售三无产品、假冒伪劣商品等,严重侵犯消费者合法权益,扰乱正常网络购物市场秩序……网络直播平台的这些违法违规行为,严重破坏网络生态,对青少年的健康成长带来恶劣影响,必须坚决予以治理。

近日,国家网信办等8部门启动为期半年的网络直播行业专项整治和规范管理行动,剑指行业乱象,传递出鲜明导向——互联网不是法外之地,虚拟空间不是虚假空间,以严格监管促行业健康发展势在必行。尤其引人关注的是,此次相关部门将探索实施网络直播分级分类规范以及网络直播打赏、网络直播带货管理规则。这意味着红火的“直播经济”快车有了重要的“刹车”管控。

“名品”变赝品、“好货”变“水货”……中国消费者协会日前发布的《直播电商购物消费者满意度在线调查报告》指出,近40%的受访消费者称在直播购物中遇到过消费问题。主播夸大和虚假宣传、有不能说明商品特性的链接在直播间售卖等成为消费者投诉最集中的问题。而在近四成遇到过直播购物消费问题的受访者中,只有13.6%表示会主动维权,近半数消费者因为“损失不大”自认倒霉。

直播翻车常有,追责处理却不常有。因此,必须厘清直播电商的责任义务,加大监管力度,督促其自觉诚信、规范经营。近日,中国商业联合会表示《视频直播购物运营和服务基本规范》和《网络购物诚信服务体系评价指南》将制定并执行。这意味着首部全国性直播电商标准即将出台。设门槛、划底线、树标准、立规矩,用制度规范为直播经济这一新业态保驾护航,让直播行业远离“开播卖货,下播甩锅”的困局,运行在健康规范有序的发展轨道上。

当然,要想从根源上治理直播乱象,光靠阶段性的整改还不够,出台标准规范也只是一个新起点。相信随着相关政策法规的颁布落实、监管部门的重拳整治、直播平台的审核监管、商家主播的严格自律以及消费者维权意愿的不断提升,未来的直播平台会让人们看得更开心、买得更放心。