网络内容审核:审核能力决定平台竞争力

近年来,互联网发展日趋稳定,产品进入了百花齐放的时代,企业不遗余力的投入大量人力和资源扩展市场,流量成为了一个产品是否能继续存活的标准。在互联网发展的最初阶段,企业多数靠砸钱福利留住用户,以多种方式鼓励用户参与产品建设。但是现在市场已经趋于稳定,产品功能也趋于完善,那么企业应该靠什么留住用户呢?要靠内容。而内容竞争,实际上就是内容审核能力的比拼,可以说内容审核决定了以内容运营为主的新兴媒体的竞争力,简而言之就是内容审核决定了平台的竞争力。

“内容审核决定了平台的竞争力”,理由解释如下:

(1)我们通常说“要满足用户的需求”,但是,我们怎么满足用户需求呢?我们得先了解用户需求,才能根据用户需求做出一些措施,而且还是正确措施,才能更好地满足用户需求。用户需求是什么?可能是玩得开心,可能是看得满意(有内容、有价值)……互联网以及自媒体的存在,为人们带来了更多的分享和交流,顺畅的交流是保留用户的基础。

如果由于内容审核时,审核人员的错误判断或系统问题而没有通过用户写的东西,或者使其遭受网络暴力,或是推送了低俗暴力内容,则这种体验可能会直接导致用户放弃使用该平台,甚至严重的话,还可能会让爱模仿的青少年们模仿暴力行为,对社会稳定造成影响

(2)用户的行为是自由的,新兴媒体面对海量的信息,但内容的传播是平台可控的。内容审核工作量特别大,虽然不像传统媒体那样一审二审终审,但还是要严格把关,一方面利用机器来审核,用敏感词来过滤不合规的内容,另一方面还需要人工审核

只有人工审核+机器审核结合起来,加强平台内容审核能力,建立良好的产品基调,才能避免有漏网之鱼或滥杀无辜,真的做到“禁止低俗和暴力内容,快速发布高质量内容,大力推荐”,从而可以更好地提升用户留存,也能更好的促进用户活跃,带动流量的稳定增加,并最终提高竞争力,可谓是一举两得。所以,内容审核是最能体现一个平台管理水平的手段,也是提升平台竞争力的最有利手段。

别看内容审核是一件很小的事情,但由于目前多数平台已经进入了稳定发展阶段,接下来的竞争就是内容竞争,即内容审核竞争,优质内容的竞争与内容审核能力的竞争必将成为新兴媒体平台的决定性竞争标准,所以,要重视内容审核,加强内容审核,只有做好了内容审核,严格禁止低俗和暴力内容推广,尽量为大家提供优质内容,才能进一步发展企业和平台,才能使企业和平台在市场竞争中处于有利地位,甚至一跃居上也是可以的。

国家网信办:多款学习教育类APP推送低俗色情内容被处罚,内容审核迫在眉睫

近期,国家网信办持续深入推进2020“清朗”专项行动,联合教育部开展涉未成年人网课平台专项整治,依法严厉打击影响青少年身心健康的违法违规信息和行为。截至目前,全国网信系统累计暂停更新相关版块功能网站99家,会同电信主管部门取消违法网站许可或备案、关闭违法网站13942家;有关网站平台依据用户服务协议关闭各类违法违规账号578万余个。部分典型案例公布如下:

4款学习教育类APP推送低俗色情和与学习无关内容

12KM作文APP“文学原创”栏目存在低俗色情小说内容,“追星”专栏渲染早恋、吸烟等导向不良内容。

出口成章APP部分用户头像、账号名称及简介中包含低俗色情内容。

美术宝APP存在低俗色情帖文和跟帖评论,部分用户头像、账号名称包含色情资源推广有害内容。

万门中学APP推送恋爱、股市等与学习无关内容。

3家网站平台的网课学习栏目推送游戏、直播、影视剧等与学习无关内容

斗鱼直播APP及PC端网页“守护成长”“教育”频道、PP视频APP及PC端网页“小学课堂”“热播好课”栏目、乐视视频APP及PC端网页“优质课程”“中小学”栏目推送网络游戏、美女直播、低俗小说、影视剧等与学习无关内容。

3款青少年常用APP存在涉低俗色情的图文信息、对话体小说

堆糖APP存在低俗色情图片以及诱导未成年人抽烟、谩骂等不良行为的图文内容,部分用户头像、账号名称包含低俗色情内容。

克拉克拉APP和克拉有读APP“群组”版块存在低俗色情内容以及大量涉低俗色情对话体小说。

2家网站平台“动画”“动漫”栏目存在低俗色情内容

半次元、柚次元APP等平台的“漫画”“短漫”“MMD”等栏目、圈子中存在包含低俗色情图文内容的动画、动漫产品,部分圈子、用户名称包含低俗媚俗内容。

2家网站平台发布传播以未成年人为主角的大尺度图片和视频

新浪微博“小熊座的甜甜奶茶”“迎春坊”等账号发布涉未成年人不雅图文、出售“福利资源”、传播疑似未成年人援交招嫖等内容。

百度贴吧“LOLI吧”“CQY吧”等贴吧和账号发布未成年“福利姬”色情信息,借陪玩、陪聊名义售卖未成年人色情自拍、视频等资源。

针对上述网站平台存在的突出问题,国家网信办视违规情节和问题性质,依法分别采取约谈、责令限期整改、停止相关功能、全面下架等处罚措施,坚决打击损害未成年人合法权益和身心健康的违法违规行为。

国家网信办将会同有关部门持续保持高压严管态势,加大巡查监看力度,从严惩处问题严重、屡查屡犯的网站平台并公开曝光,督促平台切实履行主体责任,积极传播青少年课业知识和积极向上的正能量内容。同时,欢迎广大网民、媒体和社会各界积极参与监督举报,共同为未成年人营造健康的网络环境(国家网信办违法和不良信息举报中心网址:www.12377.cn)。

YouTube用AI 内容审核代替人工审核员后,又决定返聘

YouTube 在今年初,将内容人工审核团队大量裁撤,全部替换成为 AI 进行内容审核。

所以,今年 4-6 月整个第二季度里,YouTube 线上的所有视频,都是由 AI 进行官方的内容审核。这也是 YouTube 有史以来第一次整一季度,没有人工审核员参与内容初审。

这一大步跨越,带来了不小的后果,YouTube 在近期叫停这项举措,并且大批返聘在年初解雇的人工审核团队。

AI 替换人工:下架视频数创纪录

AI 审核被叫停的重要原因之一,就是 AI 审核的规则相较于人工,更为严格,甚至会导致误伤。

根据 Google 在定期的透明度报告中提到:在 2020 年 AI 接管内容审核的 4-6 月中,共有 1100 万个视频被 AI 标记违规并下架,这些视频主要来自于美国、印度和巴西。

但是,在今年的第一季度里,被鉴定违规并下架的视频,仅仅只有 660 万。而 从人工换成 AI 之后,被下架的视频数几乎翻了一番。

因为 AI 审核遭下架的视频,占全部下架视频的 95%

(数据来源:Google 官方透明度报告)

在被 AI 下架的 1100 万个视频中,多数为色情、虚假、涉恐犯罪类型,但是也有不少是误伤。

其中,就有 32 万个被 AI 标记下架的视频提出了申诉,最后近半数都通过二次审核,并重新上线。而在过去,进行申诉的视频,只有 25% 左右可能重新上线。

YouTube 的审核 AI,以一己之力,让 YouTube 的播主们瑟瑟发抖,花更多时间自查内容,一时间怨声载道让 YouTube 头疼不已;大量的申诉,还给 YouTube 团队,增加了不少重新审核的工作量。

人工再上位:时机尚未成熟,AI 仍需努力

在年初 YouTube 裁减人工审核团队前,全职或外包的审核岗位多达 10000 个。

这些人工审核员分布在 Google 的全球办公室,或是外包供应商的各个办公点。

万人团队:巨大运营成本

人工审核员的岗位要求并不低,比如要负责中东地区的内容审核岗位,需要掌握阿拉伯语和阿拉伯方言语系,并对中东地区上传视频进行审核,以便及时标记出涉及恐怖、暴力、煽动内容的视频。

这样的工作,每周需要审核 500 小时以上的视频,初级岗位的薪水可以达到 18.5 美元/小时,年薪可达 37000 美元左右。

再资深的内容审核岗位,需要掌握一些的法律知识,不仅能得到 Google 全职员工的待遇,还可以获得近 100000 美元的年薪。

从菲律宾的青年外包工人,到湾区的风控运营,

都在内容审核中发挥着重要作用

风光的背后,Google 也同时在承担着不小的成本,这也导致了在今年疫情之际 YouTube 对人工审核岗位的裁撤。

这次返聘 YouTube 也提及:疫情让人工审核成本变高、难度加大。当初迫不得已,必须在人工干预不足和 AI 过度干预两者之中,选择了 AI。

人工审核:边缘职业身心俱疲

内容审核不是一份简单的工作,不仅每周有固定的工作指标,还要长时间面对儿童色情、暴力、恐怖类型的画面,往往也会让人身心俱疲。

《华盛顿邮报》、《财富杂志》等美国主流媒体均对内容审核员这一职业,做出过深度报道。接受采访的内容审核员,无一例外都表达了这份职业,对自己的身心健康产生了强烈的负面影响。

《财富杂志》用带着防毒面具的审核员,

比喻审核工作给人带来的心理创伤

媒体的舆论影响也敦促了科技公司对这类岗位进行了一系列的改善,比如限制每周观看不适视频的时间上限、定期的心理治疗等措施。

人工还是 AI:不用着急下定论

人工审核的支出、对人心理的伤害、机器学习的技术进步,这些都推动了近年各平台对自动化内容审核的研究和快速应用。

AI 虽然有一定的误伤几率,但是在对违规内容的审查中,的确展现了超过人工审核的高效。

YouTube 首席产品官 Neal Mohan 向英国《金融时报》回应人工审核重回岗位时,提到了一组数据「被 AI 标记删除的 1100 万个视频中,超过 50% 的视频,在没有用户播放前就被下架;超过 80% 的视频,播放 10 次以内就被下架。」

YouTube 作为大规模用 AI 代替人工的先行者,势必会踩坑,但同时也为其他公司甚至全社会,指明了人与 AI 协同关系中更加清晰的发展方向。

这样的实验虽然折腾,但着实有必要。这需要公司有吃螃蟹的精神、承担舆论非议的勇气和快速善后的决心。同样开放透明的数据,也让媒体和社会在接受未来的不确定性,有更多的共识和信心。

取消疫情期间特别措施YouTube恢复以人手审核内容

今年8月YouTube公布指在过去3个月,超过1,140万条视频因为违反社群守则而被移除,这是自YouTube自2005年推出服务以来,视频下架数量最多的3个月。大量违规视频被移除的原因,与疫情期间员工无法回办公室工作,YouTube需要依赖人工智能作审核有关。

虽然人工智能将大量有问题视频下架,但YouTube也承认部分视频被错误移除。根据金融时报的报道,YouTube将16万条视频下架的决定推翻;以往利用人手作审批,通常少于25%视频能上诉成功,但以人工智能审核,上诉成功比率达五成。疫情虽然还未过去,但外媒指YouTube的员工已经陆续重新上班,取代人工智能审核视频内容,但具体工作安排则未有公布。

银川治理直播乱象 今后主播持证上岗直播内容要审核

9月17日,记者从银川市网络安全宣传周法治宣传新闻发布会上了解到,近期,针对网民反映强烈的网络直播“打赏”、吃播、低俗表演等严重冲击主流价值观突出问题,银川市委网信办、“扫黄打非”办等部门将联合开展网络直播行业专项整治和规范管理行动。

根据国家新闻出版广电总局相关要求,该市将从强化法律监管、提高行业准入门槛、组织主播进行学习等方面治理直播乱象。目前,银川市正在规范相关工作,今后将要求网络主播持证上岗、实名认证,要求直播报备,银川市委网信办将对直播主播、内容等进行审核。同时,该市将组织主播进行道德规范、法律法规学习,宣传引导主播自觉遵守道德规范和平台规则,营造良好直播环境。

谷歌收紧内部留言板规则:加强内容审核

据报道,谷歌内部文件显示,由于员工的讨论越来越激烈,因此该公司要求更加积极地审核内部留言板的内容。

谷歌内部社区管理团队表示,其内部留言板上被标记为种族主义和辱骂性信息的内容越来越多。该团队认为,这是因为员工在家工作期间分享了更多信息,以及“艰难的全球对话”增加所致。

因此,该公司从2019年开始扩大内容审核试点,共覆盖多个平台的超过75个讨论组,还要求多数讨论组的负责人扮演审核员的角色,并完成审核培训。此外还要制定章程来定义小组目的,在保证内容符合章程的情况下确保小组对话的包容性。

来源:钛媒体

研究人员最近开发了一种新的CNN,用于识别视频中的人类行为

诸如卷积神经网络(CNN)之类的深度学习算法已在各种任务上取得了显著成果,包括那些涉及识别图像中特定人物或物体的任务。基于视觉的人类动作识别(HAR)是计算机科学家经常尝试使用深度学习解决的任务,它特别需要识别图像或视频中捕获的人类动作。

HITEC大学和巴基斯坦伊斯兰堡基础大学,韩国世宗大学和中正大学,英国莱斯特大学和沙特阿拉伯苏丹王子大学的研究人员最近开发了一种新的CNN,用于识别视频中的人类行为。该CNN在Springer Link的“多媒体工具和应用程序”期刊上发表的一篇论文中进行了介绍,经过培训可以区分几种不同的人类动作,包括拳击,拍手,挥舞,慢跑,跑步和散步。

研究人员在论文中写道:“我们设计了一种新的26层卷积神经网络(CNN)架构,用于精确的复杂动作识别。” “这些特征是从全局平均池化层和完全连接(FC)层中提取的,并通过建议的基于高熵的方法进行融合。”

当试图识别人类在图像或视频中的动作时,CNN通常会将其分析重点放在许多潜在的相关特征上。但是,某些人类动作(例如慢跑和步行)可能非常相似,这使得这些算法很难区分它们,特别是如果它们专注于相似性核心的特征时。为了克服这一挑战,研究人员使用了一种方法,该方法将称为Poisson分布的特征选择方法与单变量测量(PDaUM)合并在一起。

研究人员观察到,CNN所基于的分析功能有时可能不相关或多余,这导致它们做出错误的预测。为了降低发生这种情况的风险,他们的PDaUM方法仅选择最强大的功能来识别特定的人类行为,并确保CNN基于这些功能做出最终预测。

研究人员在HMDB51,UFC Sports,KH和Weizmann数据集这四个数据集上训练和评估了两个截然不同的CNN,一个极端机器学习(EML)和一个Softmax分类器。这些数据集包含几个人类执行不同类型动作的视频。

然后,研究人员比较了两个CNN的性能,这两个CNN均使用其特征选择方法进行了增强。在他们的评估中,ELM分类器的性能明显优于Softmax算法,可以从视频中识别出人类动作,其在HMDB51数据集上的准确性为81.4%,在UCF Sports数据集上的准确性为99.2%,在KTH数据集上的准确性为98.3%,在KTH数据集上的准确性为98.7%。魏茨曼数据集。

值得注意的是,PDaUM增强的ELM分类器在准确性和预测时间方面也优于研究人员将其与之相比的所有现有深度学习技术。因此,这些结果凸显了研究人员介绍的特征选择方法在提高CNN在HAR任务上的性能方面的潜力。

将来,本文介绍的ELM分类器和PDaUM方法可以开发更有效的工具,以自动区分人类在录制和实况录像中正在做什么。这些工具可以通过几种不同的方式证明其价值,例如,帮助执法人员监视CCTV视频上嫌疑犯的行为,或者允许研究人员快速分析大量视频。