AI审核:全力保护互联网平台的生命线

在这个互联网高速发展的时代,每一个人都被海量的信息环环围绕,人们在享受信息便捷带来的服务和消费体验升级的同时,大量未经核实信息的出现,对国家安全、社会稳定、青少年健康等都造成了不良影响。随着大量UGC内容的爆炸式增长,一些违规内容也随之横行,不仅给平台的营销、经营及品牌造成极大伤害,更为严重的是一些违规内容也会涉及棘手的法律问题。

由于没有一个标准的内容体系,大部分人对网络信息的真伪难以辨识,能高度依赖于互联网平台对内容的把关。因此,审核工作就成为整个互联网平台的生命线。

随着网络内容的骤增、用户体验不断提高、负面事件风险增加以及审核标准严苛细化,非标准化审核管理系统犹如一块巨石压得审核工作者喘不过气。

一方面,各大媒体平台的人数不断增加。在国内,主流的社交媒体平台的审核人员几乎都达到上千人以上的规模。去年4月,快手发布大规模招聘信息,面向全国新增招聘3000名内容审核编辑,将目前的审核团队从2000人扩大至5000人。

而在国外,Facebook在自有算法的情况下,人工审核团队规模达到1.5万人;youtube在谷歌大脑算法支持的情况下,审核团队的人数也达到了1万+,由此可见,人机协同审核仍是未来很长一段时间的审核模式。

另一方面,运营商往往希望运营部门能够保障用户体验,因此耗费大量财力物力来培养审核团队,尽管人人皆知内容安全是第一位的,但由于每天会有大量UGC的内容产生,这就意味着,人工审核与审核需求量不成正比,因此,便衍生出AI审核这一系统,但是,企业开发一个AI系统,投入的成本很高,因此,第三方审核服务正慢慢成为当下发展趋势。

什么是AI审核?

AI审核是基于自然语言处理、语言识别、语义理解、图像分类、目标检测、深度学习等核心技术,面向金融、保险、证券、互联网等客户群体,提供包括文本、图像、音频、视频等内容安全识别。

AI审核有哪些优点?

AI审核可根据企业的需求,设定相关审核规则,其强大的审核机制可以大大提高企业的审核效率使得审核工作达到事半功倍的效果;此外,AI审核还能够保障企业的信息安全,避免信息遭到泄露。AI智能审核的运用,能全面提升企业智能化、批量化UGC等内容综合处理能力、为用户构建牢不可破的安全防御体系。

「专利解密」字节跳动如何使用深度学习处理视频?

目前在很多行业中,例如广告行业,会有控制视频类广告中的字符与图像的比例的要求,目的是为了满足客户要求或者为了追求广告效果,为了达到不同的广告效果。

这种场景会需要将字符在视频类广告中的占比进行不同的控制,例如,通常会要求视频类广告中的字符内容的占比要低于图像内容的占比,也可能会要求视频类广告中的字符内容的占比大于图像内容的占比等。

目前在对视频类广告中字符内容与图像内容的比例进行判断时,通常还是会根据人工的主观判断来对视频类广告中的字符占比进行判断,在这样的情况下,判断同一个视频类广告中的字符占比是否满足预定的条件时的判断结果通常会根据不同的人的主观感觉的不同而不同,无法达到对视频类广告中的字符内容的占比与图像内容的占比之间关系的精确判断。

因此,为了解决如何通过对视频内容的处理来精确地确定视频中字符内容与图像内容之间的占比关系,字节跳动在19年9月3日申请了一项名为“视频处理方法、装置、介质和设备”的发明专利(申请号:201910829463.1),申请人为北京字节跳动网络技术有限公司。

根据目前该专利公开的资料,让我们一起来看看这项视频处理方法吧。

如上图所示为视频处理方法的流程图,首先,获取目标视频中的目标视频帧图像,目标视频即为需要根据字符面积占比来进行处理的视频文件,可以是视频类广告,也可以为短视频平台上传的各类短视频或者电影等长视频。

目标视频帧图像为目标视频中的所有视频帧或者一部分具有代表性的视频帧,即根据预设的提取方法所得到的关键帧,例如在目标视频中的每一秒内选取第一帧作为该秒的关键帧等。实际应用时可以根据实际情况来确定目标视频帧图像,例如,当目标视频的时长过长时,可以将关键帧作为目标视频帧图像,以加速视频的处理。

其次,将目标视频帧图像输入预设深度学习模型中,以确定目标视频帧图像中属于字符区域的目标像素点。在确定该目标视频帧图像之后,利用已预先训练好的预设深度学习模型来对每一张目标视频帧图像进行处理,以确定每一张目标视频帧图像中属于字符区域的目标像素点。

最后,根据目标视频帧图像的目标像素点在目标视频帧图像的所有像素点中的占比,确定目标视频是否为文字类视频。例如,若目标视频帧图像中一共有50万像素点,其中目标像素点共有20万像素,则进而就可以根据该占比来确定目标视频是否为文字类视频。

这样,无需再通过人工判断的方式对目标视频中的字符内容的占比多少进行判断,利用这种通过对视频中字符内容占比精确识别从而对视频进行分类的视频处理方式,大大提高了对视频处理的精确性。

如上图所示为视频处理方法中确定目标视频帧图像中属于字符区域的目标像素点的方法的流程图,首先,确定目标视频帧图像中每个像素点属于字符区域的概率,其次再将目标视频帧图像中属于字符区域的概率大于第一预设阈值的像素点确定为目标像素点。

例如第一预设阈值可以为60%,当确定目标视频帧图像中的某一个像素点属于字符区域的概率大于60%时,则确定该像素点为目标像素点,即将该像素点确定为属于字符区域的像素点。

当确定该目标视频帧图像中的某一个像素点属于字符区域的概率小于60%时,则将该像素点确定为不属于字符区域的像素点。

如上图为视频处理装置的结构框图,该装置包括:获取模块10,用于获取目标视频中的目标视频帧图像;第一确定模块20,用于将目标视频帧图像输入预设深度学习模型中,以确定目标视频帧图像中属于字符区域的目标像素点;第二确定模块30,根据目标视频帧图像的目标像素点在目标视频帧图像的所有像素点中的占比,确定目标视频帧图像是否为文字类视频。

以上就是字节跳动发明的视频处理方法,通过深度学习模型准确分割目标视频中的每个目标视频帧图像中的属于字符区域的目标像素点,从而精确得到每个目标视频帧图像中属于字符区域的占比,进而就能根据该目标视频中的所有目标视频帧图像中属于字符区域的比例来确定该目标视频是否为文字类视频。无需再通过人工判断的方式对目标视频中的字符内容的占比多少进行判断,大大提高了对视频处理的精确性!

从内容监管策略到职业发展建议,产品经理都关心的5大问题

近日,新浪微博因传播违法违规信息等问题,被网信办责令整改,停更微博热搜榜和热门话题榜一周,此事引起了行业的重视,各个平台也在积极应对内容监管。

自5月份以来,国家网信办就在全国开启了2020“清朗”专项行动,全面覆盖各类网络传播渠道和平台,集中清理网上各类违法和不良信息。

在此期间,多个平台也相继发出维护公告,在维护期间将限制对平台的访问。

当监管潮席卷互联网平台,不乏有平台因为内容安全问题被约谈、要求整改,情节严重的,甚至面临关闭下架风险,这对平台业务来说损失极大。

针对内容安全&内容监管话题,6月9-16日,网易易盾联合人人都是产品经理,发起了一场特别的微信群深度讨论活动,特邀网易易盾的内容安全专家,为大家的提问提供针对性解答。

在这里,我们也为大家整理了群讨论中5个方面的精选问答:

一、不同的内容载体,有哪些内容监管策略

内容的呈现形式从文本、图片发展到音视频,面对内容展示多样化,如何制定行之有效的内容监管策略?

Q1:针对目前语音违规该如何去规避风险内容,怎么实现降低平台风险性且提升用户体验?

语音违规检测目前主要通过机器检测及人工审核两种途径进行审核。

机器检测主要通过语音识别、声纹检测、语种识别、语义识别等做深度学习的方式来进行,人工审核可针对机器检测不确定部分进行人工再次确认。

为了最大程度提升用户体验,减少因机器检测带来的审核延迟,建议针对热度较高的语音采取先审后发,针对部分热度较低/官方内容采取先发后审策略。

Q2:5G消息下的富媒体内容(包含文本、图片、语音、视频、优惠券)是否有更优的解决方案,尤其是视频,是否有更高效的检测处理方案?

5G来了,必然数据量增多,并发增加,对内容检测的延迟、并发等要求都变高了。因为还没有真正的到5G时代,暂时还没有看到特别大的影响。

我的看法是,检测的技术手段基本不变,还是靠算法模型,规则等等,未来会提高内容检测效率的几个方面:

1、算法更新(比较难,周期慢,完全看科研界的发展速度);

2、硬件更新(GPU等运算性能提高、成本降低,就可以增强检测算力);

3、一些解决方案的提升:

比如富文本整体解决方案,拿音视频来讲,有的客户需要同时检测声音和画面,最初是分开检测,有两个结果。 后续发展为同时检测,在同一个结果内返回音频和图像检测结果,这样从业务处理上来讲提升了效果。类似的解决方案的提升,也会有一些作用。

Q3:请问,对于即时通信类产品(如微信),该如何制定内容安全策略以及审核流程,可否讲下相应的想法或思路?如有相关经验,可否介绍一下?

IM基本情况是群聊过检,私聊不过。IM对延迟尤其敏感,同时尽量避免误伤。

有一些策略上的小技巧,比如发送内容如果被检测违规,并且属于比较严重的,可以先对自己可见。

还有像视频这种,需要上传时间的,可以对用户展现的是上传中,而不是分:上传中、检测中,把实际检测时间也包含在上传过程中。这样体验能好点。

特殊时期,检测规则从严处理,尤其对那种踩红线严重违规的。

二、内容审核与用户体验,两者之间如何平衡

源源不断的UGC内容为平台注入活力,而垃圾内容的滋生却给平台带来负面影响;既要维护平台内容安全,又要考虑用户体验,如何平衡是好?

Q1:平台进行内容审核势必会影响用户体验影响发展,如何平衡内容治理中平台企业的“安全”与“发展”?

核心思路:先保安全,再谈发展!

真被关停了就没有机会发展了。而且我觉着做安全对运营来说是加法,而不是减法,我试想了一下如果一个平台没有任何约束,难免会有一些谩骂灌水之类的,反而影响运营发展,所以安全等于保障了舒适的环境,另外就是平台的一个核心吸引力是优质内容,我理解优质环境+优质内容,这些方面对于平台发展都是不可缺少的。

安全做的多少,和公司发展阶段相关联。初期都是先业务发展,逐渐凸显问题的时候才会逐步加大安全投入。

Q2:如何平衡国家网络安全要求和用户使用自由度这两者?

国家网络安全要求是有红线的,在红线内最大程度给到用户自由。所以关键在于对国家法律法规的正确解读,及时洞察国家政治意识形态,可根据业务场景不同,制定审核严格程度的不同,避免伤及用户体验。

三、不同的岗位,如何做好内容安全

维护平台内容安全,离不开产品、运营、技术等各部门的协作发力,那不同岗位的同学,在内容安全这条路上会遇到什么问题?

Q1:有时候违规内容和非违规内容的界限比较模糊,机器识别之后还需要人工审核,怎样进行产品设计才能让审核更高效?

一般为了最大程度保持审核的及时性、确保用户体验并保证内容安全,针对机器识别较为确定的结果直接进行处理(例如.机器判定通过的内容可以直接发出、机器判定不通过的内容可以删除);仅针对机器无法确定的部分流入人工审核(此时为了保证实际用户的体验,待审核的数据建议保持仅自己可见状态,针对非热点区域亦可采取先发后审策略)。Q2:如何通过分析,感知平台内容安全态势情况?

基本三方面:

第三方的安全审核服务(可以感知总体业务量、违规情况的分类、数量、用户画像等内容),属于最主要的了解业务违规风险的一个渠道;自身运营团队/人审团队 的数据分析(比如抽检);来自用户的信息(举报、申诉等渠道获知违规内容信息)。Q3:技术问题,文本过滤主要用到了那些解决方案,针对不同分类有什么策略,怎么识别富文本的文本过滤?

文本检测的算法结构最底层是通用的基础技术,如分词、词向量等;中层应用内容安全领域相关的预处理,主要是变种内容的识别和修正;上层是具体的检测技术,由规则引擎、相似度匹配、传统机器学习模型、深度学习模型4个模块构成。针对富文本,易盾包装了组合接口解决方案,可将富文本通过接口一次性提交,易盾会自动拆分文本、图片分别过检,返回整体结果。

四、针对内容安全具体问题,网易又是怎么做的

网易拥有20年内容安全体系建设经验,内部积累了丰富的“反垃圾”经验和数据,针对同学们提出的业务问题,网易有何解决方案?

Q1:易盾是如何进行视频直播和音频内容的审核的?

目前易盾针对直播场景提供了基本机器检测方案,及通过智能电视墙辅助热度检测的人工审核方案:

机器检测部分——直播视频目前主要通过截帧来进行过滤,直播语音主要通过感知静默时间,提取语音断句来进行语音检测的方案。智能审核电视墙——与传统的直播电视墙全量推送纯视频流审核不同,智能审核电视墙依托易盾机器检测智能化分析视频潜在风险,及时告知审核人员,嫌疑视频高亮并放大提醒,多维业务数据辅助审核,辅助热度检测(异常弹幕、异常评论、在线人数激增、礼物数激增等异常指标监控)实时动态变更嫌疑指数,帮助审核人员尽快锁定嫌疑视频,极大提升审核效率,确保视频审核效果。Q2:如何在特殊时期针对平台安全做预警,常用预警方案?

常规存在如下几种处理方案:

数据强制先审后发;建议平台对留言区、评论区、头像更换、昵称修改等涉及UGC内容产出高危区域采取短暂关闭处理/停止推送至首页功能;关闭分享功能。

五、产品经理的职业发展建议

产品经理想要转换职场环境,有哪些行业、岗位值得参考?

Q1:我是一个从内容安全平台离职的产品经理,想跳槽进入其他公司,能匹配的岗位很少,有什么相关领域可以推荐的吗?

如果不想转岗还是产品经理,可以看下目前做内容检测的互联网公司的岗位;如果考虑相关岗位,有关内容检测的,可以看下运营岗位、业务风控部门的岗位,现在看好多客户把内容风控放在了业务风控部门来做。

人气造假、虚假交易……直播带货该如何监管?

信息公示不到位、涉嫌虚假宣传产品功效、人气造假和评论造假……

直播带货如何变“一时火”为“一直火”

在30个直播带货体验样本中,有9个样本涉嫌存在证照信息公示问题,占比30%;有3个样本涉嫌通过虚假宣传产品功效或极限用词诱导消费者购买商品,占比10%。

6月16日,北京市消费者协会发布的《直播带货消费调查报告》显示,直播带货消费存在不少问题,除了上述证照问题及虚假宣传外,部分直播带货商家页面没有任何商品的文字或图片信息,个别直播带货商家要求“定金不退”。

今年以来,直播带货大火,但这种新的消费模式一直问题不断。相关专家表示,直播带货要变“一时火”为“一直火”,需要为其“立规矩”,让平台商家真正为消费者“带货”而不是“带祸”。

部分主播涉嫌虚假宣传诱导消费者

“可以降血脂,促进血液循环,预防心脑血管、动脉硬化、中风、心脏病、高血压,对老花眼、青光眼、视力模糊有很好的效果”“我们家的产品质量这一块绝对是NO.1”……

这是北京市消协体验人员于5月27日通过京东直播选购一款价格149元的保健品时,主播对该保健品的介绍。

本次体验调查的30个直播带货样本中,还有两个样本涉嫌通过虚假宣传产品功效或极限用词诱导消费者购买商品,侵犯了消费者的知情权和公平交易权。

体验人员通过天猫直播平台购买一款“谷益元红豆薏米粉代餐粉”时,主播宣称“3天可以减1~5斤”“产品吃3天没有效果的话,来我们家给承诺无效退款”。

体验人员在苏宁易购直播平台购买一款黑玛卡时,主播宣称该商品“能够提高免疫力,改善睡眠,抗疲劳,补充脑力体力,补肾壮阳。男性长期喝玛卡,可以改善男性肾功能”。

根据中国消费者协会今年3月底发布的《直播电商购物消费者满意度在线调查报告》,由于信息不对称,一些消费者被夸大宣传或虚假信息误导,购买到假冒商品和“三无”产品等。

人气和评论造假、虚假交易等须重视

本次体验调查的30个直播带货样本中,有9个样本涉嫌存在证照信息公示问题。例如,快手直播平台的“燕姐品牌护肤”和“长春小月彩妆达人”两家店铺,虽然已实名认证和缴纳店铺保证金,但均未上传资质证明。有29个体验样本均能够做到“7天无理由退货”,只有1个体验样本“无理由退货”遭到拒绝。

体验人员调查还发现,部分直播带货商家虽然标注“退货包运费”,但退货时实际支付12元运费,商家只补贴10元运费;部分微博直播带货过程中,除了主播语音介绍,平台和商家页面没有任何商品的文字或图片信息;个别直播带货商家要求先交定金,并提示“我已同意定金不退等预售协议”,否则无法提交订单。

此前,《工人日报》记者在调查中还发现,一些直播平台和商家还存在人气造假、评论造假等行为,以及各类诱导交易、虚假交易、规避安全监管的私下交易行为。在保险等专业领域,一些并不具有专业保险知识的主播也开始通过直播推荐保险产品,这些尤为值得监管部门重视。

违法频次较多的主播可拉入黑名单

北京市盈科(深圳)律师事务所律师朱逸聪指出,今年以来,直播带货模式为企业复产复工、促进产品销售做出了积极贡献,但上述问题损害了消费者权益,不利于行业的长远健康发展。直播带货要想“一直火”,必须规范发展,为消费者提供性价比高、质量又有保障的“好货”。

对此,北京市消协建议,通过立法或制定行业标准等方式,进一步明确直播带货相关平台、商家与主播之间的责任划分,加大对平台、商家和主播等各方主体的监管和处罚力度。

同时,建议进一步强化直播平台对直播带货行为的监督管理责任,明确平台要严格按照相关法律法规及政策要求,完善内部监管措施和自治规则,加强对直播带货交易全流程的审核把关和生态治理。

此外,北京市消协呼吁建立行业自律和诚信评价机制。对于随意夸大宣传、欺骗和误导消费者的直播带货行为,应纳入社会诚信评价体系;对在直播带货虚假宣传的主播,除了进行经济处罚,还应将违法情节严重、违法频次较多的主播拉入黑名单,实行直播市场禁入,提高违法直播带货成本,增强监管震慑力。

来源:工人日报

直播平台不是法外之地 流量平台当建价值高地

直播助农,让田间地头农产品畅销全国;在线学习,让知识跨越千山万水;分享日常,让生活技能方便你我……近年来,网络直播成为互联网世界的一个“风口”,一个个流量平台纷纷崛起,在产品营销、知识共享、远程办公医疗等方面发挥着积极作用。人们在直播中寻得商机,在直播中觅得便利,也在直播中拓宽出路。

应该看到,网络直播作为发展中的新事物,犹如一个赛车道,直播平台像赛车手,抓住用户注意力就更容易加速冲刺,“直播竞赛”就此展开。当然,这条赛道的门槛和标准参差不齐,出现了一些需要正视、亟待解决的问题。对此,中央网信办等8部门近日集中开展网络直播行业专项整治行动,首批依法依规对44款网络直播平台进行相应处罚,再次释放出坚决治理直播行业乱象的强烈信号。

推动直播行业健康发展,只有全面审视,才能对症下药。看规模,据《2020中国MCN行业发展研究白皮书》,聚合内容创作者的多频道网络(MCN)机构数量已超2万家;据第四十五次《中国互联网络发展状况统计报告》,截至今年3月,我国网络直播用户规模达5.60亿。看特点,直播平台内容同质、功能相似、特色模糊等现象明显。可以说,不少直播平台往往低水平入门、低质量竞争。平台数量多、用户规模大在一定程度上彰显了网络直播的发展活力,但人们更期待去粗取精的发展质量。

互联网行业有个“三角形框架”,即服务用户的“产品”、留住用户的“运营”及转化盈利的“流量”。从这个模型出发,无论是产品还是运营,成功与否往往系于流量。可以说,流量生态在很大程度上影响着商业转化价值。但从实践来看,如果直播平台唯流量是从,只顾流量热度、内容热度,不顾质量、不负责任,就会滋生一些违背公序良俗的言行,冲击法律与道德底线。从这个意义上讲,直播平台需要来一场聚焦责任感、价值观的“质量革命”。

直播平台不是法外之地,更不是道德洼地,而应成为责任之地、价值高地。近年来,针对网络直播出现的问题,从平台备案许可到主播实名制认证,从建立直播内容审核制度到履行内容日志信息留存要求,从建立信用等级管理体系到黑名单管理制度,一系列监管与规范、自律与他律的制度在不断完善。今年全国两会期间,有人大代表建议,强化平台的监督管理责任。直播平台是公共平台,不能重流量轻责任、重收益轻担当,这已经成为广泛共识。唯有平衡好平台利益与公共责任,扎紧制度篱笆,平台当好“把关人”、相关部门当好“守门员”,这一朝气蓬勃的行业才能真正迎来发展的春天。

开放、共享是互联网的内在精神,越是开放、共享,越应该把价值导向摆在首位,每个直播平台都应该成为价值出口。抗击新冠肺炎疫情期间,不少流量平台科普抗疫知识,传递战疫温暖时刻,为不少行业打开了线上销售之门,在疫情防控中起到积极作用。实践证明,“把握好手里的麦克风”,让主流价值充盈直播间,才能让直播平台沃土广袤、蓬勃发展。

来源:人民日报

建立网络文学内容审核机制,实行创作者实名注册制度

近日,国家新闻出版署印发《关于进一步加强网络文学出版管理的通知》,要求规范网络文学行业秩序,加强网络文学出版管理,引导网络文学出版单位始终坚持正确出版导向,坚持把社会效益放在首位,坚持高质量发展,努力以精品奉献人民,推动网络文学繁荣健康发展。

资料图 新华社供图

通知要求,网络文学出版单位要严格落实平台主体责任,建立健全网络文学内容审核机制,强化内容把关职责,支持优质创新内容,控制总量、优化结构、提高质量,确保内容导向正确、格调健康向上,坚决抵制模式化、同质化倾向;严格规范登载发布行为,实行网络文学创作者实名注册制度,在平台上明示登载规则和服务约定,对创作者登载发布行为提出明确要求;加强对作品排行榜、互动评论等作品相关发布信息的动态管理,正确引导用户阅读。

通知要求,各级出版主管部门要组织开展网络文学出版单位社会效益评价考核,对考核结果优秀的单位予以奖励和支持,对考核结果不合格的进行批评和处罚;加强评奖推选活动管理,举办全国性网络文学评奖须向国家新闻出版署提出申请;进一步规范市场秩序,对内容导向出现偏差的作品和单位,综合运用多种措施进行处置;加强网络文学出版队伍建设,引导广大网络文学从业人员对读者负责、对社会负责,恪守公序良俗,弘扬新风正气,打造精品力作,维护网络文学行业良好声誉和网络文学出版工作者良好形象。

通知强调,各级出版主管部门要严格落实意识形态工作责任制,切实履行属地管理职责,加强对属地网络文学业务的管理,建立和充实网络文学阅评队伍,提高科学管理效能,确保各项管理责任落到实处。

延伸阅读

唐家三少谈中国网络文学海外走红

5月27日,全国政协委员张威(唐家三少)在谈到网络文学创作时表示,网络文学的故事性使它能够传播开来,故事是世界性的,把文化潜藏在故事中,是中国文化走出去的一个好办法,网络文学要做有世界影响力的中国IP。

据@人民日报 官方微博27日报道,唐家三少在接受采访时表示,中国的网络文学经过20多年的发展,能发展到现在有接近5亿读者,绝不是靠一些良莠不齐的东西,而是以在符合法律法规的范围内弘扬真善美为大前提,创作的广大人民群众喜闻乐见的作品,这些作品的调性是年轻、积极、健康、向上、绿色、热血。

他认为,中国网络文学在国外传播得很好,优势是靠故事取胜,故事是世界性的,把文化潜藏在故事中,是中国文化走出去的一个好办法,“他们能看得懂,也会逐渐感兴趣,我们要做有世界影响力的中国IP。”

对于此前备受争议的网络文学作者与平台之间的版权问题,他表示,任何一个作者都更愿意将自己全部精力用于创作,而不是因为版权,或者这样那样的问题纠结,影响自己的心态和创作,最理想的状态就是作家创作,平台帮作家把内容运营好,做他们的投资人和经纪人,从中获得一定利益,共生共赢才是长久之计。

内部员工揭秘:TikTok 竟然这么审核内容

由于增长、合规等诸多因素,内容审核对于任何互联网内容产品来说,都是一件很难但却又逃不过的事情,更别提 TikTok 这样一个由中国公司开发运营、 在全 球都爆 红的短视频平台。

TikTok 在短时间内经受了诸多考验和打击,其中许多都和内容审核有关。

去年大批用户诟病 TikTok 对于未成年用户隐私和使用体验保护不力,甚至放任恋童癖肆虐;今年年初有媒体爆料 TikTok 要求审核员对破墙烂瓦或呲牙咧嘴等“视觉上不美好”的内容进行限制;最近美国平权运动大爆发,又有用户指责 TikTok 屏蔽了游行相关的内容…… 如果 不 改进 ,TikTok 的 全球扩张 将面临 更 多 风险。

躲不过,那就正面上。面对这些质疑,TikTok 决定采用开诚布公的姿态来面对。

今 年三月,它宣布在加州洛杉矶办公室内开设全球第一家面向公众开放的“透明度中心” (Transparency Center),为媒 体及数据隐私、内容审核方面的专家提供导览参观,让公众直接和全面地了解 TikTok 内容审 核情况。不过 由于疫情关系,这座透明度中心的开放计划受到一定程度影响。

近日,硅星人还从字节跳动现任和离职员工处,了解到更多关于 TikTok 透明度中心的运营,以及整个内容审核机制的细节。

标签决定一切

根据知情人士透露的情况,参观者在 TikTok 透明度中心将可以看到内容安全方面的关键流程,也能够亲眼目睹人工内容审核员的工作。

以直播内容为例,每一位内容审核员将会面对一块屏幕,上面会有多条(最多同时9条)内容的截图。

这些出现在审核员屏幕上的内容,其来源有两种:

第一种是机器对直播视频进行图片抽帧分析,分析截图中可能包含高风险内容,然后送到人工的屏幕上,审核员主要基于抽帧的结果进行二次分析;

第二种是来自用户举报以及其它渠道,人工操作也类似。

一位了解 TikTok 内容审核机制的信源透露,在审核员能够看到这些内容之前,机器已经进行了不止一道预先审核。最基础的一道就是分析内容的质量,比如那些纯图片、垃圾内容、竞争对手内容,把这些质量明显最低的内容做“不推荐”处理。结果就是不会被出现在非关注用户的信息流上。

与此同时,机器还会借助预先设计的模型对内容进行更高级的分析。这一步自动化操作主要针对的是明显严重违法的内容,比如儿童色情、宣扬恐怖等。一旦内容被模型验证成功,就不是简单的“不推荐”了,而是会直接下架处理。

进入到人工审核阶段后,审核员的主要工作是查看机器提交的截图或直接查看实时视频内容,打上各种标签。

在较早的1.0版本的 TikTok 审核机制中,主要的标签是“推荐”和“不推荐”;现在 TikTok 的内部内容审核系统已经升级到了2.0版本,标签的多样性显著提升了,除了推不推荐,还有“儿童色情”、“裸露”、“性”、“仇恨言论”、“宣扬暴力”、“宣扬恐怖”等诸如此类的大量新标签。 内容被打上不同的标签, 造 成 的结果不同。

值得提及的是,一旦视频被打上那些较为严重的标签(包括机器自动标记和后续的人工核查/手动标记),将会自动触发标签预先设定好的对应操作。

某些标签关联的操作较轻,结果可能是不推荐;至于儿童色情和宣扬恐怖这类的标签,关联的是下架的操作,结果就是直接下架。

如果在自动处理之后,视频的热度达到特定阈值,还会召回人工再看一遍,确认处理是否合适。

简单来说,就是标签决定一切。

这套新的内容审核机制,显著提高了内容标签的数据价值,帮助 TikTok 更好地掌握平台内容生态的动向。

类似的内容审核思路,以 YouTube 为代表的其它顶级内容平台也在采用和。(事实上,TikTok 的思路就是来自于 YouTube。)

前几周,有美国用户宣称自己在黑人平权运动游行现场的 TikTok 直播内容被平台屏蔽。此后,包括路透社等权威新闻机构已经对其进行了事实核查,发现并非如此。

TikTok 在当时并没有对游行内容进行屏蔽处理。巧就巧在当时平台发生了搜索话题故障,包括 #BLM、#Cat 等在内的许多话题搜索都无法显示视频播放量。

根据多位信源透露的情况,TikTok 目前所有的内容审核功能,全部是逐案进行的,并没有一个针对如此大规模活动实时的、全话题级别屏蔽的操作先例。

规则和审核操作完全本地化

现任员工透露,具体的内容审核原则,会根据审核对象所在地不同的法律、法规、文化和习俗,采用不同的审核尺度。

比如在美国消遣大麻使用已经在少数州合法,全国35个州医用合法,如果有来自这些州用户的 TikTok 视频中出现了对应药品,内容审核就会遵守所在州法律的条文,而其他州用户的类似内容则会被判定为违规。

同理,诸如仇恨言论、平权、宗教等争议话题,TikTok 都会在参考各个国家不同的法律法规文化习俗,制定针对性的内容审核标准。

本周 PingWest品玩英文站的一篇独家报道曾经提到,字节跳动正在中国产品团队和海外产品团队之间建立数据和代码防火墙,这项工作已经进行了一年半之久。

在 TikTok 的内容审核中台团队,也在进行着切割,一些此前供职该团队的中国地区员工被迫内部转岗。

字节跳动现任员工透露,在未来 TikTok 的内容审核工作也会完全本地化, 也即意味着: 美国的审核团队负责美国本土上传和直播的内容,甚至在美国会设立多个透明度中心,多个审核团队,分别审核不同州的内容; 印度团队按照印度法律审核印度内容; 新加坡的团队审核新加坡的内容。

TikTok 的计划是,所有内容审核工作都交由本地的团队执行。一些重要的国家或地区市场,也会逐步开设自己的透明度中心,让当地公众可以一览平台内容审核的全貌。不过目前新中心的开设计划并未启动,毕竟美国第一座中心还未完全落实。

一方面为了实现合规运营,最小化公司面临的海外监管和舆论风险,另一方面也是为了一家现象级中国科技公司史无前例的国际化大计,字节跳动在最近几年内进行了多次大刀阔斧的人力和内部技术改革。

拆分团队、设立防火墙,以及 TikTok 升级内容审核系统,都是这些改革的一部分。

TikTok 还在今年三月宣布成立了一个七名外部专家组成的内容审核委员会,包括法律、技术、民权运动和政策等方面的专家列席。

其中一名委员 Dan Schunur 接受科技媒体 TechNode 采访时曾表示,他对 TikTok 主动接受批评、开展合作、做出改变,而非躲避问题的姿态感到印象深刻。

大数据时代如何解放图像审核岗的生产力

当下各行各业的竞争日趋激烈,可是现在的用人成本却在逐年增加,所以各行各业都在强调如何提升效率,只有提升自身的效率,才能在一轮又一轮的浪潮中屹立不倒,尤其是对人力依赖较大的部门和产业,更是效率战的重要战地。

尤其是每当我们打开网络,各种信息扑面而来,各种文字、图片、短视频让人眼花缭乱,这样的大环境就决定互联网的绿色文明建设需要注入更多的力量去进行,那么单纯的用人力去做审核是不是给互联网公司造成了巨大的压力?

那么我们今天就一起来看看在这个需要解放生产力的大数据时代,图像审核岗如何有效的提高自身效率呢?

很多大的互联网公司每天有巨大的图片产生量,而这些图片都需要进行内容的审核,对涉及法律风险及不符合规定的图片进行删除操作。由于图片数量巨大,人工审核耗时耗力且审核能力有限,另外对于不同审核人员来讲,审核标准难以统一且实时变化,所以有必要借助外在的辅助实现“智能化+人工”的审核,这种“智能化”是利用了大数据AI技术对原始图像信息进行智能过滤。

AI智能过滤一般是指利用图像处理和机器学习去识别图像内容,进而甄别图像是否违规。说到这里,可能很多人还是不明白AI技术的实质到底是什么,其实说的再简单一点,就是让机器或某一个系统学习图像辨别,这种学习类似于练习做单选题,机器的学习基于大数据的云端技术。然后再用这样的AI智能技术对C端用户上传的信息进行云计算,根据后台设定的审核规则进行审核检测,并以标签分类形式实时传送回到后台,后台再将过滤分组好的图像信息发送给人工审核员。

AI智能过滤旨在降低人工审核的压力和失误率,AI智能过滤的使用也大大的提升了审核工作的效率,降低了企业的用工成本。不过人工审核的岗位仍然不能被完全取代掉,所以各个公司仍然需要培养自己的审核人员,人力成本依然很大。

不过,目前各种审核需求量非常大,所以便催生出了相应的市场,为有需求的企业提供服务。例如图像审核外包,只要你可以选择一个靠谱的外包公司进行合作,那么您公司所需的图像审核将会受到“智能化+人工”双重把关,大大的降低了公司的人力成本。

我们服务外包基地早已进入审核市场,我们专注外包审核8年,受到超1000+客户青睐,不仅如此,我们在短视频、文字、文本、直播等方面都能提供审核外包服务。在这个大数据时代,您公司的审核业务不需要外包服务吗?

5200万美元!facebook与患PTSD的内容审核员达成和解

稍早前,知名的社交平台脸书曾遭遇一起集体诉讼:因为审核过多的儿童性侵以及恐怖主义相关的负面内容而产生心理创伤,3000多名的内容审核员将脸书告上法庭。

而在日前,脸书和内容审核员正式达成和解,同意支付高达5200万美元的和解金。

据外媒报道,这起和解案将覆盖超过1万名现任和已解职的内容审核员,他们来自美国加州、亚利桑那州、得克萨斯州和佛罗里达州;预计每个人都将收到1000美元的医学排查费用,如有必要,还将额外获得治疗费用。

此外,脸书方面也将提供现场指导和工具,帮助内容审核员更好地控制查看图片的方式,以便减少观看一些负面内容。

2019年3月,曾有美国媒体报道,脸书聘用了约1.5万人负责内容审核工作。这些内容审核员向媒体抱怨,因为自己的工作内容太过黑暗而患上创伤后应激障碍,也就是我们熟知的PTSD。

报道还称,这些内容审核员每天基本上都需要审核400个帖子,内容涉及血腥、暴力、性及仇恨等,但是时薪仅为15美元。一名前员工还透露,他们的工作环境极其恶劣,一幢楼里仅有一个厕所,800人共用一个。

据了解,不少员工都因为精神压力过大,产生乱性、酗酒、吸毒等问题。

2018年,英国某电视台曾派出记者卧底在脸书的内容审核部门,发现不少问题,其中一项就是对于极端内容的把关不严。脸书副总裁理查德·艾伦彼时曾回应称,感谢媒体的监督,他们将认真对待培训流程中的错误,为内容审核员更新培训课程。

更早之前,2016年美国总统大选结束后,脸书也多次因为未能有效审核平台内容而遭到批评。作为应对措施,该公司与包括埃森哲、高知特、简柏特在内的咨询公司签约招聘了数千名审核员;另一方面也加大力度,积极通过人工智能技术来审核内容。

截止目前,对于集体诉讼达成和解一事,脸书方面还未发表任何声明进行回应。

《直播社会价值白皮书》发布:“直播+”赋能传统行业发挥经济和社会文化价值

5月11日,中国演出行业协会网络表演(直播)分会与北京字节跳动公司文创产业研究中心联合发布《抗疫直播力——直播社会价值白皮书》(以下简称《白皮书》),结合数十家企业和平台的实践案例,分析了疫情防护期间,直播所创造的经济和社会文化价值,并勾勒了直播的未来发展趋势。

《白皮书》显示,经过近几年的发展,直播平台已经形成了非常丰富的内容生态,满足了用户多样化的内容需求。并且,直播平台与传统行业进行结合,让传统行业获得了新的发展空间。

《白皮书》指出,直播平台与传统行业进行结合,通过“直播+”赋能传统行业,表现出直播的经济价值。疫情防控期间,直播平台为传统产业搭建了全新的供应链渠道,为实体经济向数字化转型提供了平台。“直播+电商”、“直播+扶贫”、“直播+文旅”等“直播+”新商业的模式实现了快速发展。

以湖北为例,4月8日,在商务部电子商务司的支持下,湖北省互联网信息办公室、湖北省商务厅、湖北省农业农村厅与抖音、今日头条、西瓜视频联合发起“湖北重启 抖来助力——抖音援鄂复苏计划”,投入百亿流量、发起百场直播,多项举措支持湖北高效复工复产。自4月8日活动正式上线至4月12日,抖音、今日头条、西瓜视频等平台共计帮助湖北销售农产品67万件,总金额3505万元。

为了帮助本地中小微企业和农户解决销路问题,许多市长、县长开始直播“带货”,通过“直播+农产品”、“直播+特色手工”等形式打造本地特色的品牌,对农村市场发展“直播+”经济将起到巨大的推动作用。

疫情期间,由于出行受到限制,各类景区、旅游平台也开始尝试在直播平台售卖旅行套餐,或直接利用直播的形式开展“云旅游”,为行业带来了新的生机。例如携程董事局主席梁建章的直播起到了明显的带货效果,其首场直播落地的海南三亚,1小时内卖出1025万元酒店房间,清空酒店3个月套房库存。

《白皮书》还指出,直播的经济价值表现为催生了新的就业形态。实体经济向线上渠道转型过程中,对于直播拍摄、直播运营等方面的人才需求猛增。同时,疫情期间,线下人口流动变缓,不少企业推出了在线办公模式,企业招聘环节也开始尝试采用直播的形式进行。

“直播的重要意义在于赋能企业,类似于抖音这样的直播平台正成为企业实施‘新打法’、‘新战略’的新生产工具。”电子科技大学教授、复杂网络专家吕琳媛表示,特别是对中小企业而言,直播能有效解决流量聚集和品牌塑造这两个问题。

CNNIC日前发布的数据显示,截至2020年3月,我国网络直播用户规模已经达到5.6亿,较2018年底增长1.63亿,占网民总数的62%。随着直播用户量的增加,直播已经逐渐成为一种主流的媒介形式。直播平台拥有广泛影响力和覆盖率的同时,也意味着需要承担更大的社会责任。

《白皮书》认为,疫情期间,直播在防疫知识传播,抗疫讯息、正能量传递,教育创新,优质文化艺术普及等方面,扮演了关键角色,发挥了重要的社会文化价值。

在疫情防控过程中,涌现了大量与疫情、健康有关的直播内容。这些直播的发布者有抗疫医生、医疗专家、达人等,他们通过今日头条、抖音、斗鱼等平台,以直播的形式向大众科普了防控新冠肺炎疫情的相关信息,传递抗疫正能量。

《白皮书》认为,在教育行业,直播教学为传统教育的模式创新提供了新的契机,同时,直播相比于线下教学,触达范围更加广泛,门槛相对更低,可以有效地促进教育公平,缓解教育资源分布不均的问题。

在艺术行业,文艺表演直播,创新了用户观看渠道。通过线上流量,为演出带来了更为广泛的受众,推动优质文化艺术资源的普及。 《白皮书》指出,今日头条、西瓜视频、抖音等平台,国家大剧院、西安交响乐团等文化机构和组织,纷纷开启直播计划,为疫情居家隔离的大众,提供了涵盖音乐、脱口秀、相声、戏剧、戏曲等多种类型的文艺节目。据悉,国家大剧院“春天在线”系列音乐会前三场在线播出点击量突破1亿次。

正是由于直播产业与传统产业的深度融合,疫情期间,直播的经济价值、社会价值得到了极大发挥。在经济价值方面,电商直播的带货形式吸引了各类主播的参与,甚至不少县长也亲自挂帅,通过直播帮助本地农副产品销售,成为扶贫的新形式。在社会文化价值方面,各大直播平台响应了教育部“停课不停学”的号召,为教师在线授课提供了免费直播平台,甚至清华大学、北京大学等顶尖学府也展开了面向全民的直播授课,让优质教育共享,为促进教育公平和教育创新迈出了一大步。

在直播发挥正面经济、社会价值的同时,主播违规、未成年人保护等一系列关乎平台长久发展的问题也同样值得关注。

《白皮书》强调,直播平台应在审核机制、内容把关等方面做好自律,努力创造并维护健康向上的内容生态。

据了解,目前,抖音、今日头条等直播平台建立了完整的审核流程。从主播注册、开播,到直播过程中、直播结束后的举报环节,层层加码,不断完善直播内容审核的流程与机制。

为培养和提升平台主播打造优质直播内容的能力,今日头条、抖音、西瓜视频联合中国传媒大学,在中国演出行业协会的指导下,发起成立直播学院,举办平台主播培训班,培养优质主播,生产优质内容。

在外部监督力量上,《白皮书》指出,中国演出行业协会网络表演(直播)分会联合数十个直播平台企业共同编写并发布了《网络表演(直播)内容百不宜》,为直播平台提出参考,尤其在未成人年人保护、个人隐私、知识产权等方面,为直播平台画出红线、明确底线。

同时,中国演出行业协会网络表演(直播)分会启动了直播行业主播“黑名单”和“灰名单”管理制度,呼吁直播平台企业联合抵制、惩戒违规主播,规范主播行为。与平台自律形成合力,推动直播健康、长久发展。

关于直播的未来发展趋势,《白皮书》认为,第一,直播与传统产业供应链将深度融合,推动传统企业数字化转型;第二,直播内容生态更加丰富,赋能主流媒体,传递主流声音;第三,直播平台需承担起社会责任,发挥规模效应,在教育、扶贫等多领域创造公益价值。