网络内容审核:审核能力决定平台竞争力

近年来,互联网发展日趋稳定,产品进入了百花齐放的时代,企业不遗余力的投入大量人力和资源扩展市场,流量成为了一个产品是否能继续存活的标准。在互联网发展的最初阶段,企业多数靠砸钱福利留住用户,以多种方式鼓励用户参与产品建设。但是现在市场已经趋于稳定,产品功能也趋于完善,那么企业应该靠什么留住用户呢?要靠内容。而内容竞争,实际上就是内容审核能力的比拼,可以说内容审核决定了以内容运营为主的新兴媒体的竞争力,简而言之就是内容审核决定了平台的竞争力。

“内容审核决定了平台的竞争力”,理由解释如下:

(1)我们通常说“要满足用户的需求”,但是,我们怎么满足用户需求呢?我们得先了解用户需求,才能根据用户需求做出一些措施,而且还是正确措施,才能更好地满足用户需求。用户需求是什么?可能是玩得开心,可能是看得满意(有内容、有价值)……互联网以及自媒体的存在,为人们带来了更多的分享和交流,顺畅的交流是保留用户的基础。

如果由于内容审核时,审核人员的错误判断或系统问题而没有通过用户写的东西,或者使其遭受网络暴力,或是推送了低俗暴力内容,则这种体验可能会直接导致用户放弃使用该平台,甚至严重的话,还可能会让爱模仿的青少年们模仿暴力行为,对社会稳定造成影响

(2)用户的行为是自由的,新兴媒体面对海量的信息,但内容的传播是平台可控的。内容审核工作量特别大,虽然不像传统媒体那样一审二审终审,但还是要严格把关,一方面利用机器来审核,用敏感词来过滤不合规的内容,另一方面还需要人工审核

只有人工审核+机器审核结合起来,加强平台内容审核能力,建立良好的产品基调,才能避免有漏网之鱼或滥杀无辜,真的做到“禁止低俗和暴力内容,快速发布高质量内容,大力推荐”,从而可以更好地提升用户留存,也能更好的促进用户活跃,带动流量的稳定增加,并最终提高竞争力,可谓是一举两得。所以,内容审核是最能体现一个平台管理水平的手段,也是提升平台竞争力的最有利手段。

别看内容审核是一件很小的事情,但由于目前多数平台已经进入了稳定发展阶段,接下来的竞争就是内容竞争,即内容审核竞争,优质内容的竞争与内容审核能力的竞争必将成为新兴媒体平台的决定性竞争标准,所以,要重视内容审核,加强内容审核,只有做好了内容审核,严格禁止低俗和暴力内容推广,尽量为大家提供优质内容,才能进一步发展企业和平台,才能使企业和平台在市场竞争中处于有利地位,甚至一跃居上也是可以的。

国家网信办:多款学习教育类APP推送低俗色情内容被处罚,内容审核迫在眉睫

近期,国家网信办持续深入推进2020“清朗”专项行动,联合教育部开展涉未成年人网课平台专项整治,依法严厉打击影响青少年身心健康的违法违规信息和行为。截至目前,全国网信系统累计暂停更新相关版块功能网站99家,会同电信主管部门取消违法网站许可或备案、关闭违法网站13942家;有关网站平台依据用户服务协议关闭各类违法违规账号578万余个。部分典型案例公布如下:

4款学习教育类APP推送低俗色情和与学习无关内容

12KM作文APP“文学原创”栏目存在低俗色情小说内容,“追星”专栏渲染早恋、吸烟等导向不良内容。

出口成章APP部分用户头像、账号名称及简介中包含低俗色情内容。

美术宝APP存在低俗色情帖文和跟帖评论,部分用户头像、账号名称包含色情资源推广有害内容。

万门中学APP推送恋爱、股市等与学习无关内容。

3家网站平台的网课学习栏目推送游戏、直播、影视剧等与学习无关内容

斗鱼直播APP及PC端网页“守护成长”“教育”频道、PP视频APP及PC端网页“小学课堂”“热播好课”栏目、乐视视频APP及PC端网页“优质课程”“中小学”栏目推送网络游戏、美女直播、低俗小说、影视剧等与学习无关内容。

3款青少年常用APP存在涉低俗色情的图文信息、对话体小说

堆糖APP存在低俗色情图片以及诱导未成年人抽烟、谩骂等不良行为的图文内容,部分用户头像、账号名称包含低俗色情内容。

克拉克拉APP和克拉有读APP“群组”版块存在低俗色情内容以及大量涉低俗色情对话体小说。

2家网站平台“动画”“动漫”栏目存在低俗色情内容

半次元、柚次元APP等平台的“漫画”“短漫”“MMD”等栏目、圈子中存在包含低俗色情图文内容的动画、动漫产品,部分圈子、用户名称包含低俗媚俗内容。

2家网站平台发布传播以未成年人为主角的大尺度图片和视频

新浪微博“小熊座的甜甜奶茶”“迎春坊”等账号发布涉未成年人不雅图文、出售“福利资源”、传播疑似未成年人援交招嫖等内容。

百度贴吧“LOLI吧”“CQY吧”等贴吧和账号发布未成年“福利姬”色情信息,借陪玩、陪聊名义售卖未成年人色情自拍、视频等资源。

针对上述网站平台存在的突出问题,国家网信办视违规情节和问题性质,依法分别采取约谈、责令限期整改、停止相关功能、全面下架等处罚措施,坚决打击损害未成年人合法权益和身心健康的违法违规行为。

国家网信办将会同有关部门持续保持高压严管态势,加大巡查监看力度,从严惩处问题严重、屡查屡犯的网站平台并公开曝光,督促平台切实履行主体责任,积极传播青少年课业知识和积极向上的正能量内容。同时,欢迎广大网民、媒体和社会各界积极参与监督举报,共同为未成年人营造健康的网络环境(国家网信办违法和不良信息举报中心网址:www.12377.cn)。

YouTube用AI 内容审核代替人工审核员后,又决定返聘

YouTube 在今年初,将内容人工审核团队大量裁撤,全部替换成为 AI 进行内容审核。

所以,今年 4-6 月整个第二季度里,YouTube 线上的所有视频,都是由 AI 进行官方的内容审核。这也是 YouTube 有史以来第一次整一季度,没有人工审核员参与内容初审。

这一大步跨越,带来了不小的后果,YouTube 在近期叫停这项举措,并且大批返聘在年初解雇的人工审核团队。

AI 替换人工:下架视频数创纪录

AI 审核被叫停的重要原因之一,就是 AI 审核的规则相较于人工,更为严格,甚至会导致误伤。

根据 Google 在定期的透明度报告中提到:在 2020 年 AI 接管内容审核的 4-6 月中,共有 1100 万个视频被 AI 标记违规并下架,这些视频主要来自于美国、印度和巴西。

但是,在今年的第一季度里,被鉴定违规并下架的视频,仅仅只有 660 万。而 从人工换成 AI 之后,被下架的视频数几乎翻了一番。

因为 AI 审核遭下架的视频,占全部下架视频的 95%

(数据来源:Google 官方透明度报告)

在被 AI 下架的 1100 万个视频中,多数为色情、虚假、涉恐犯罪类型,但是也有不少是误伤。

其中,就有 32 万个被 AI 标记下架的视频提出了申诉,最后近半数都通过二次审核,并重新上线。而在过去,进行申诉的视频,只有 25% 左右可能重新上线。

YouTube 的审核 AI,以一己之力,让 YouTube 的播主们瑟瑟发抖,花更多时间自查内容,一时间怨声载道让 YouTube 头疼不已;大量的申诉,还给 YouTube 团队,增加了不少重新审核的工作量。

人工再上位:时机尚未成熟,AI 仍需努力

在年初 YouTube 裁减人工审核团队前,全职或外包的审核岗位多达 10000 个。

这些人工审核员分布在 Google 的全球办公室,或是外包供应商的各个办公点。

万人团队:巨大运营成本

人工审核员的岗位要求并不低,比如要负责中东地区的内容审核岗位,需要掌握阿拉伯语和阿拉伯方言语系,并对中东地区上传视频进行审核,以便及时标记出涉及恐怖、暴力、煽动内容的视频。

这样的工作,每周需要审核 500 小时以上的视频,初级岗位的薪水可以达到 18.5 美元/小时,年薪可达 37000 美元左右。

再资深的内容审核岗位,需要掌握一些的法律知识,不仅能得到 Google 全职员工的待遇,还可以获得近 100000 美元的年薪。

从菲律宾的青年外包工人,到湾区的风控运营,

都在内容审核中发挥着重要作用

风光的背后,Google 也同时在承担着不小的成本,这也导致了在今年疫情之际 YouTube 对人工审核岗位的裁撤。

这次返聘 YouTube 也提及:疫情让人工审核成本变高、难度加大。当初迫不得已,必须在人工干预不足和 AI 过度干预两者之中,选择了 AI。

人工审核:边缘职业身心俱疲

内容审核不是一份简单的工作,不仅每周有固定的工作指标,还要长时间面对儿童色情、暴力、恐怖类型的画面,往往也会让人身心俱疲。

《华盛顿邮报》、《财富杂志》等美国主流媒体均对内容审核员这一职业,做出过深度报道。接受采访的内容审核员,无一例外都表达了这份职业,对自己的身心健康产生了强烈的负面影响。

《财富杂志》用带着防毒面具的审核员,

比喻审核工作给人带来的心理创伤

媒体的舆论影响也敦促了科技公司对这类岗位进行了一系列的改善,比如限制每周观看不适视频的时间上限、定期的心理治疗等措施。

人工还是 AI:不用着急下定论

人工审核的支出、对人心理的伤害、机器学习的技术进步,这些都推动了近年各平台对自动化内容审核的研究和快速应用。

AI 虽然有一定的误伤几率,但是在对违规内容的审查中,的确展现了超过人工审核的高效。

YouTube 首席产品官 Neal Mohan 向英国《金融时报》回应人工审核重回岗位时,提到了一组数据「被 AI 标记删除的 1100 万个视频中,超过 50% 的视频,在没有用户播放前就被下架;超过 80% 的视频,播放 10 次以内就被下架。」

YouTube 作为大规模用 AI 代替人工的先行者,势必会踩坑,但同时也为其他公司甚至全社会,指明了人与 AI 协同关系中更加清晰的发展方向。

这样的实验虽然折腾,但着实有必要。这需要公司有吃螃蟹的精神、承担舆论非议的勇气和快速善后的决心。同样开放透明的数据,也让媒体和社会在接受未来的不确定性,有更多的共识和信心。

取消疫情期间特别措施YouTube恢复以人手审核内容

今年8月YouTube公布指在过去3个月,超过1,140万条视频因为违反社群守则而被移除,这是自YouTube自2005年推出服务以来,视频下架数量最多的3个月。大量违规视频被移除的原因,与疫情期间员工无法回办公室工作,YouTube需要依赖人工智能作审核有关。

虽然人工智能将大量有问题视频下架,但YouTube也承认部分视频被错误移除。根据金融时报的报道,YouTube将16万条视频下架的决定推翻;以往利用人手作审批,通常少于25%视频能上诉成功,但以人工智能审核,上诉成功比率达五成。疫情虽然还未过去,但外媒指YouTube的员工已经陆续重新上班,取代人工智能审核视频内容,但具体工作安排则未有公布。

文旅部通知:这类活动要加强审核,防止出现淫秽色情等内容

据文化和旅游部网站消息,近日,文化和旅游部发布关于深化“放管服”改革促进演出市场繁荣发展的通知。通知指出,强化重点演出类型监管。对小剧场演出活动,要重点加强脱口秀、相声以及先锋话剧、实验话剧等语言类节目的内容审核和现场监管。

通知明确,加强重点演出题材审核。各级文化和旅游行政部门要重点加强对涉及重大革命和历史题材,涉及党和国家重大决策部署题材,涉及民族和宗教题材,以及涉及英雄烈士题材的演出剧(节)目的内容审核工作,加强与相关部门沟通,严把内容准入关。

此外,强化重点演出类型监管。对音乐节庆类演出活动,要重点对电音类、说唱类节目进行审核把关,加强对演出现场显示屏内容以及互动环节的监督检查。对沉浸式演出活动,要加强演出全流程审核,防止出现宣扬封建迷信、淫秽色情及渲染血腥暴力等内容。对小剧场演出活动,要重点加强脱口秀、相声以及先锋话剧、实验话剧等语言类节目的内容审核和现场监管。对旅游演艺以及在现场音乐厅(LiveHouse)举办的营业性演出活动,要督促相关经营主体依法办理报批手续,确保纳入监管视线。

通知提到,要促进演出市场消费。推进演出票务监管服务平台建设,进一步强化票务信息监管,改善演出市场消费环境。支持举办音乐、戏剧、杂技、舞蹈等演出节(季)、赛事活动,发展具有地方文化特色的旅游演艺项目,推动文化和旅游融合发展。鼓励将优质演出产品和服务供给项目纳入政府资金扶持范围,通过购买服务、发放优惠券等方式,加大扶持力度,促进文化和旅游消费。

通知指出,要规范在线演出管理。以营利为目的,通过互联网为公众实时提供现场文艺表演活动的,应当按照《营业性演出管理条例》等有关规定办理报批手续,并由取得《网络文化经营许可证》的互联网文化单位提供在线传播服务。演出举办单位应当在申报时一并提交在线传播服务单位许可证件、观演网址和应急预案等材料。在线传播服务单位应当安排专人对演出内容、弹幕评论等进行实时审看,发现含有法规禁止内容立即采取删除、屏蔽、断开链接等必要措施并保留视频资料至少60日以上备查。通过个人直播频道提供的网络表演,按照《网络表演经营活动管理办法》进行管理。

通知还提到,要明确新业态监管规则。以营利为目的,在剧院等演出场所为公众提供现场文艺表演视频播放或在线观看服务的,应当按照《营业性演出管理条例》等有关规定办理报批手续;其中,对已经批复的营业性演出活动不再重复审批,实行事前备案管理。运用全息成像、人工智能、数字视觉设计、虚拟现实等技术展示虚拟形象进行营业性演出的,应当按照《营业性演出管理条例》等有关规定办理报批手续。

来源:中国新闻网

银川治理直播乱象 今后主播持证上岗直播内容要审核

9月17日,记者从银川市网络安全宣传周法治宣传新闻发布会上了解到,近期,针对网民反映强烈的网络直播“打赏”、吃播、低俗表演等严重冲击主流价值观突出问题,银川市委网信办、“扫黄打非”办等部门将联合开展网络直播行业专项整治和规范管理行动。

根据国家新闻出版广电总局相关要求,该市将从强化法律监管、提高行业准入门槛、组织主播进行学习等方面治理直播乱象。目前,银川市正在规范相关工作,今后将要求网络主播持证上岗、实名认证,要求直播报备,银川市委网信办将对直播主播、内容等进行审核。同时,该市将组织主播进行道德规范、法律法规学习,宣传引导主播自觉遵守道德规范和平台规则,营造良好直播环境。

谷歌收紧内部留言板规则:加强内容审核

据报道,谷歌内部文件显示,由于员工的讨论越来越激烈,因此该公司要求更加积极地审核内部留言板的内容。

谷歌内部社区管理团队表示,其内部留言板上被标记为种族主义和辱骂性信息的内容越来越多。该团队认为,这是因为员工在家工作期间分享了更多信息,以及“艰难的全球对话”增加所致。

因此,该公司从2019年开始扩大内容审核试点,共覆盖多个平台的超过75个讨论组,还要求多数讨论组的负责人扮演审核员的角色,并完成审核培训。此外还要制定章程来定义小组目的,在保证内容符合章程的情况下确保小组对话的包容性。

来源:钛媒体

国内首批互联网内容审核职业技能等级证书发放

近日,网易、百度、华为、同盾科技、网景盛世、中科汇联等26名从事互联网内容审核的工作人员通过培训和考试,获得了中国电子学会“电子信息人才能力提升工程”互联网内容审核职业技能等级证书,这是中国电子学会发布《互联网内容审核职业技能等级标准》以来面向全国发放的首批证书。

\
近年来,网络用户对内容的需求日益多元化,数量庞大、形态多样、主体多元的互联网内容不可避免地出现了低俗、暴恐、抄袭等鱼龙混杂的局面。为净化网络环境,规范平台运营,相关监管部门和行业协会近年来频频出手整治,发布多部法律法规、审核细则。各个互联网内容平台,也纷纷健全平台内容审核机制,确保平台内容的合法性和规范性,同时也充分认识到培养一批素质高、责任意识强的内容审核人员,已经成为互联网行业持续繁荣和企业快速发展的迫切需要。
2019年初,国务院印发的《国家职业教育改革实施方案》指出,要把职业教育摆在教育改革创新和经济社会发展中更加突出位置。完善职业教育和培训体系,以促进就业和适应产业发展需求为导向,鼓励和支持社会各界特别是企业积极支持职业教育,着力培养高素质劳动者和技术技能人才。
2020年6月,人社部面向社会公布了10个拟新增职业、8个拟新增工种。其中,“网络与信息安全管理员”职业下拟增设“互联网信息审核员”工种。
为此,中国电子学会为加强互联网内容审核人才队伍建设,充分发挥科技社团第三方作用,联合有关单位,组织专家根据《职业技能等级标准开发指南》的有关要求组织编写了《互联网内容审核职业技能等级标准》,标准规定了互联网内容审核职业技能等级对应的工作领域、工作任务及技能要求,旨在为相关单位选人用人、教育培训、考核评价提供重要参考依据。
网易易盾CEO周森表示:互联网内容审核是安全领域的关键一环,涉及很多模糊地带和行业潜规则,不仅有领域知识门槛,也需要依赖多方面关键角色的努力,作为行业领先者,易盾有责任推动完善体系建设。而对从业者而言,掌握互联网内容审核这项技能,学会训练机器的方法论,未来还有机会进一步成为人工智能训练师,对职业生涯也大有裨益。
本次证书发放标志着中国电子学会“互联网内容审核”职业技能培训工作全面启动,据了解,相关培训教材编写、实训平台研发正在同步进行中,下一步中国电子学会还将积极与政府有关部门对接进行项目申报和政策衔接,面向院校和社会提供优质的人才培养服务。

内容审核:做好反垃圾策略,有效优化用户体验

现实生活中,走在大街、天桥,随处可见的垃圾,让我们感到厌恶,不仅是对环境的污染,也是对人身心的打击。同样的情况在互联网内容型产品中也会出现,为了维护平台氛围的和谐,我们需要时刻与深恶痛绝的垃圾信息作斗争,要做好内容审核的“反垃圾处理”

我们首先来看一下垃圾信息的定义。所谓的垃圾信息,一般是指涉及黄暴、政治等很明显的违规内容,那些擦边球的内容也可以归为其中。一方面,这些垃圾信息若不及时清理,很有可能被网警警告甚至封网,最终走向灭亡;另一方面,这些信息如果呈现到用户面前,就很有可能会导致用户失去对产品的信任而流失;其次,当产品遭遇恶意攻击时,垃圾信息通常会数量巨大,对服务器来说也是一种负担,性能降低,影响正常服务。

反垃圾策略,实际上就是对网络生产内容进行审核,识别、删除不符合《网络信息内容生态治理规定》的文字、音频、视频等内容。但是,由于在现在的内容审核上,大部分产品的审核通用的是AI+人工审核的方式,审核机制和方式相对简单粗暴,对于“误发敏感内容”的用户而言十分不友好,甚至有推卸责任的“嫌疑”,所以,在做内容审核的时候,一定要注意方法和过程

比较简单粗暴的方式就是利用AI进行监测和删除,但是这依赖于强大的敏感词库与机器学习能力,所以在内容审核的时候,要对自身敏感词库的内容不断优化、补充、升级,不断优化补充新的词汇,例如可尝试补充诗歌词汇、常用词组等过滤机制;同时需要增强机器的语义理解能力,提升对场景识别、上下文识别的能力,从而在根本上减少对敏感词的“误识别”,为人工审核缓解更多压力。

内容审核流程优化用户体验

目前,内容审核的流程主要分两种策略,对于时效性较高的产品,往往采用先发后审的机制;相对应的另一种就是先审后发,通过机器过滤、人工审核流程后再发布出去。但无论是哪种内容审核流程,都会存在敏感词被识别后,机器往往未给用户提供可选择的解决方案,告知用户下一步应该怎么做才是对的,符合要求的,这就导致用户在这个流程中陷入“进退两难”的境地。所以,关键的设计优化思路在于给用户创建新的闭环操作,让用户能够顺畅解决当前面临的问题,如直接告知用户命中的敏感词内容,直观提示用户修改,避免用户陷入疑惑;可在发布前或者发布结果中将敏感词内容替换为可发布内容;发布结果自动针对敏感词进行屏蔽处理,不影响用户正常发布流程;如果内容涉及敏感词,机器识别后可将当前内容进行降权和假写处理,仅用户自己可见,其他用户不可见,随后继续进行人工审核处理;等等。

反垃圾策略是互联网产品内容净化的必要屏障,是给用户呈现健康内容的重要环节。但是在实际的内容审核中,因审核流程简单粗暴,所以,就需要在内容审核的设计与流程方面做出一些改变,进而优化用户体验。

研究人员最近开发了一种新的CNN,用于识别视频中的人类行为

诸如卷积神经网络(CNN)之类的深度学习算法已在各种任务上取得了显著成果,包括那些涉及识别图像中特定人物或物体的任务。基于视觉的人类动作识别(HAR)是计算机科学家经常尝试使用深度学习解决的任务,它特别需要识别图像或视频中捕获的人类动作。

HITEC大学和巴基斯坦伊斯兰堡基础大学,韩国世宗大学和中正大学,英国莱斯特大学和沙特阿拉伯苏丹王子大学的研究人员最近开发了一种新的CNN,用于识别视频中的人类行为。该CNN在Springer Link的“多媒体工具和应用程序”期刊上发表的一篇论文中进行了介绍,经过培训可以区分几种不同的人类动作,包括拳击,拍手,挥舞,慢跑,跑步和散步。

研究人员在论文中写道:“我们设计了一种新的26层卷积神经网络(CNN)架构,用于精确的复杂动作识别。” “这些特征是从全局平均池化层和完全连接(FC)层中提取的,并通过建议的基于高熵的方法进行融合。”

当试图识别人类在图像或视频中的动作时,CNN通常会将其分析重点放在许多潜在的相关特征上。但是,某些人类动作(例如慢跑和步行)可能非常相似,这使得这些算法很难区分它们,特别是如果它们专注于相似性核心的特征时。为了克服这一挑战,研究人员使用了一种方法,该方法将称为Poisson分布的特征选择方法与单变量测量(PDaUM)合并在一起。

研究人员观察到,CNN所基于的分析功能有时可能不相关或多余,这导致它们做出错误的预测。为了降低发生这种情况的风险,他们的PDaUM方法仅选择最强大的功能来识别特定的人类行为,并确保CNN基于这些功能做出最终预测。

研究人员在HMDB51,UFC Sports,KH和Weizmann数据集这四个数据集上训练和评估了两个截然不同的CNN,一个极端机器学习(EML)和一个Softmax分类器。这些数据集包含几个人类执行不同类型动作的视频。

然后,研究人员比较了两个CNN的性能,这两个CNN均使用其特征选择方法进行了增强。在他们的评估中,ELM分类器的性能明显优于Softmax算法,可以从视频中识别出人类动作,其在HMDB51数据集上的准确性为81.4%,在UCF Sports数据集上的准确性为99.2%,在KTH数据集上的准确性为98.3%,在KTH数据集上的准确性为98.7%。魏茨曼数据集。

值得注意的是,PDaUM增强的ELM分类器在准确性和预测时间方面也优于研究人员将其与之相比的所有现有深度学习技术。因此,这些结果凸显了研究人员介绍的特征选择方法在提高CNN在HAR任务上的性能方面的潜力。

将来,本文介绍的ELM分类器和PDaUM方法可以开发更有效的工具,以自动区分人类在录制和实况录像中正在做什么。这些工具可以通过几种不同的方式证明其价值,例如,帮助执法人员监视CCTV视频上嫌疑犯的行为,或者允许研究人员快速分析大量视频。