国家网信办:多款学习教育类APP推送低俗色情内容被处罚,内容审核迫在眉睫

近期,国家网信办持续深入推进2020“清朗”专项行动,联合教育部开展涉未成年人网课平台专项整治,依法严厉打击影响青少年身心健康的违法违规信息和行为。截至目前,全国网信系统累计暂停更新相关版块功能网站99家,会同电信主管部门取消违法网站许可或备案、关闭违法网站13942家;有关网站平台依据用户服务协议关闭各类违法违规账号578万余个。部分典型案例公布如下:

4款学习教育类APP推送低俗色情和与学习无关内容

12KM作文APP“文学原创”栏目存在低俗色情小说内容,“追星”专栏渲染早恋、吸烟等导向不良内容。

出口成章APP部分用户头像、账号名称及简介中包含低俗色情内容。

美术宝APP存在低俗色情帖文和跟帖评论,部分用户头像、账号名称包含色情资源推广有害内容。

万门中学APP推送恋爱、股市等与学习无关内容。

3家网站平台的网课学习栏目推送游戏、直播、影视剧等与学习无关内容

斗鱼直播APP及PC端网页“守护成长”“教育”频道、PP视频APP及PC端网页“小学课堂”“热播好课”栏目、乐视视频APP及PC端网页“优质课程”“中小学”栏目推送网络游戏、美女直播、低俗小说、影视剧等与学习无关内容。

3款青少年常用APP存在涉低俗色情的图文信息、对话体小说

堆糖APP存在低俗色情图片以及诱导未成年人抽烟、谩骂等不良行为的图文内容,部分用户头像、账号名称包含低俗色情内容。

克拉克拉APP和克拉有读APP“群组”版块存在低俗色情内容以及大量涉低俗色情对话体小说。

2家网站平台“动画”“动漫”栏目存在低俗色情内容

半次元、柚次元APP等平台的“漫画”“短漫”“MMD”等栏目、圈子中存在包含低俗色情图文内容的动画、动漫产品,部分圈子、用户名称包含低俗媚俗内容。

2家网站平台发布传播以未成年人为主角的大尺度图片和视频

新浪微博“小熊座的甜甜奶茶”“迎春坊”等账号发布涉未成年人不雅图文、出售“福利资源”、传播疑似未成年人援交招嫖等内容。

百度贴吧“LOLI吧”“CQY吧”等贴吧和账号发布未成年“福利姬”色情信息,借陪玩、陪聊名义售卖未成年人色情自拍、视频等资源。

针对上述网站平台存在的突出问题,国家网信办视违规情节和问题性质,依法分别采取约谈、责令限期整改、停止相关功能、全面下架等处罚措施,坚决打击损害未成年人合法权益和身心健康的违法违规行为。

国家网信办将会同有关部门持续保持高压严管态势,加大巡查监看力度,从严惩处问题严重、屡查屡犯的网站平台并公开曝光,督促平台切实履行主体责任,积极传播青少年课业知识和积极向上的正能量内容。同时,欢迎广大网民、媒体和社会各界积极参与监督举报,共同为未成年人营造健康的网络环境(国家网信办违法和不良信息举报中心网址:www.12377.cn)。

内容审核:做好反垃圾策略,有效优化用户体验

现实生活中,走在大街、天桥,随处可见的垃圾,让我们感到厌恶,不仅是对环境的污染,也是对人身心的打击。同样的情况在互联网内容型产品中也会出现,为了维护平台氛围的和谐,我们需要时刻与深恶痛绝的垃圾信息作斗争,要做好内容审核的“反垃圾处理”

我们首先来看一下垃圾信息的定义。所谓的垃圾信息,一般是指涉及黄暴、政治等很明显的违规内容,那些擦边球的内容也可以归为其中。一方面,这些垃圾信息若不及时清理,很有可能被网警警告甚至封网,最终走向灭亡;另一方面,这些信息如果呈现到用户面前,就很有可能会导致用户失去对产品的信任而流失;其次,当产品遭遇恶意攻击时,垃圾信息通常会数量巨大,对服务器来说也是一种负担,性能降低,影响正常服务。

反垃圾策略,实际上就是对网络生产内容进行审核,识别、删除不符合《网络信息内容生态治理规定》的文字、音频、视频等内容。但是,由于在现在的内容审核上,大部分产品的审核通用的是AI+人工审核的方式,审核机制和方式相对简单粗暴,对于“误发敏感内容”的用户而言十分不友好,甚至有推卸责任的“嫌疑”,所以,在做内容审核的时候,一定要注意方法和过程

比较简单粗暴的方式就是利用AI进行监测和删除,但是这依赖于强大的敏感词库与机器学习能力,所以在内容审核的时候,要对自身敏感词库的内容不断优化、补充、升级,不断优化补充新的词汇,例如可尝试补充诗歌词汇、常用词组等过滤机制;同时需要增强机器的语义理解能力,提升对场景识别、上下文识别的能力,从而在根本上减少对敏感词的“误识别”,为人工审核缓解更多压力。

内容审核流程优化用户体验

目前,内容审核的流程主要分两种策略,对于时效性较高的产品,往往采用先发后审的机制;相对应的另一种就是先审后发,通过机器过滤、人工审核流程后再发布出去。但无论是哪种内容审核流程,都会存在敏感词被识别后,机器往往未给用户提供可选择的解决方案,告知用户下一步应该怎么做才是对的,符合要求的,这就导致用户在这个流程中陷入“进退两难”的境地。所以,关键的设计优化思路在于给用户创建新的闭环操作,让用户能够顺畅解决当前面临的问题,如直接告知用户命中的敏感词内容,直观提示用户修改,避免用户陷入疑惑;可在发布前或者发布结果中将敏感词内容替换为可发布内容;发布结果自动针对敏感词进行屏蔽处理,不影响用户正常发布流程;如果内容涉及敏感词,机器识别后可将当前内容进行降权和假写处理,仅用户自己可见,其他用户不可见,随后继续进行人工审核处理;等等。

反垃圾策略是互联网产品内容净化的必要屏障,是给用户呈现健康内容的重要环节。但是在实际的内容审核中,因审核流程简单粗暴,所以,就需要在内容审核的设计与流程方面做出一些改变,进而优化用户体验。

研究人员最近开发了一种新的CNN,用于识别视频中的人类行为

诸如卷积神经网络(CNN)之类的深度学习算法已在各种任务上取得了显著成果,包括那些涉及识别图像中特定人物或物体的任务。基于视觉的人类动作识别(HAR)是计算机科学家经常尝试使用深度学习解决的任务,它特别需要识别图像或视频中捕获的人类动作。

HITEC大学和巴基斯坦伊斯兰堡基础大学,韩国世宗大学和中正大学,英国莱斯特大学和沙特阿拉伯苏丹王子大学的研究人员最近开发了一种新的CNN,用于识别视频中的人类行为。该CNN在Springer Link的“多媒体工具和应用程序”期刊上发表的一篇论文中进行了介绍,经过培训可以区分几种不同的人类动作,包括拳击,拍手,挥舞,慢跑,跑步和散步。

研究人员在论文中写道:“我们设计了一种新的26层卷积神经网络(CNN)架构,用于精确的复杂动作识别。” “这些特征是从全局平均池化层和完全连接(FC)层中提取的,并通过建议的基于高熵的方法进行融合。”

当试图识别人类在图像或视频中的动作时,CNN通常会将其分析重点放在许多潜在的相关特征上。但是,某些人类动作(例如慢跑和步行)可能非常相似,这使得这些算法很难区分它们,特别是如果它们专注于相似性核心的特征时。为了克服这一挑战,研究人员使用了一种方法,该方法将称为Poisson分布的特征选择方法与单变量测量(PDaUM)合并在一起。

研究人员观察到,CNN所基于的分析功能有时可能不相关或多余,这导致它们做出错误的预测。为了降低发生这种情况的风险,他们的PDaUM方法仅选择最强大的功能来识别特定的人类行为,并确保CNN基于这些功能做出最终预测。

研究人员在HMDB51,UFC Sports,KH和Weizmann数据集这四个数据集上训练和评估了两个截然不同的CNN,一个极端机器学习(EML)和一个Softmax分类器。这些数据集包含几个人类执行不同类型动作的视频。

然后,研究人员比较了两个CNN的性能,这两个CNN均使用其特征选择方法进行了增强。在他们的评估中,ELM分类器的性能明显优于Softmax算法,可以从视频中识别出人类动作,其在HMDB51数据集上的准确性为81.4%,在UCF Sports数据集上的准确性为99.2%,在KTH数据集上的准确性为98.3%,在KTH数据集上的准确性为98.7%。魏茨曼数据集。

值得注意的是,PDaUM增强的ELM分类器在准确性和预测时间方面也优于研究人员将其与之相比的所有现有深度学习技术。因此,这些结果凸显了研究人员介绍的特征选择方法在提高CNN在HAR任务上的性能方面的潜力。

将来,本文介绍的ELM分类器和PDaUM方法可以开发更有效的工具,以自动区分人类在录制和实况录像中正在做什么。这些工具可以通过几种不同的方式证明其价值,例如,帮助执法人员监视CCTV视频上嫌疑犯的行为,或者允许研究人员快速分析大量视频。

留下美好生活“小确幸”视频审核不能一刀切

8月12日,央视新闻援引联合国粮农组织统计,称全球每年有三分之一的粮食被损耗和浪费。8月14日,中国演出行业协会相关负责人表示,针对餐饮浪费现象,网络表演(直播)分会日前发文,提示各会员企业进一步加强直播内容管理,坚决禁止在直播中出现假吃、催吐、猎奇、宣扬量大多吃、暴饮暴食,以及其他铺张浪费的直播行为。

一夜之间,各大平台都高度警惕吃播视频。据多家媒体报道,抖音快手回应称,宣扬量大多吃可直接封号,斗鱼方面则表示将加强美食类直播内容审核。

尽管央视新闻以及各个餐饮协会批评的对象十分明确,即“餐饮浪费”“猎奇”“宣扬量大多吃”“暴饮暴食”人群,但是这些初衷本是好意的想法,到了各个平台的执行层面,呈现的结果却成了最大限度节省审核精力的“一刀切”。

一个明显的事实是,标题带有“吃播”和“大胃王”词语的视频一夜之间全部消失,“吃播”和“大胃王”甚至成为短视频标题里绝对不能出现的“禁词”。无论是B站还是抖音,如今在搜索框内输入“吃播”和“大胃王”,都不会出现任何个人视频。

此外,在社交平台上越来越多的网友开始对“吃播”博主的“吃播”行为进行攻击。

我们或许需要清楚一件事情,在职业多样化,甚至视频行业一种职业千种玩法的当下,“吃播”群体从来不完全是“大胃王”。而标题带有“大胃王”三个字的视频,也不全部都是猎奇、浪费和暴饮暴食。

首先,“吃播”群体包含展示做菜同时展示吃饭的美食博主,“吃播”群体也包含以展示宠物吃饭为主的萌宠类博主,甚至包含主要展示ASMR(自发性知觉经络反应)的技术流博主,这些同为“吃播”的博主,距离“浪费”“猎奇”“暴饮暴食”的“大胃王”本身就是截然不同的人群,拥有毫不相似的受众。甚至这几个类型的“吃播”人群加起来,数量可能要远远超过通过“暴饮暴食”吸睛的“大胃王”。

但是视频平台为了方便,直接将“吃播”“大胃王”两个词屏蔽,这便意味着过去所有“吃播”人群为了自己视频能让平台搜索出来,都会避免“吃播”两个字出现在标题内,或者在使用创意标题时,不会再使用“大胃王”三个字。

此外,浪费的从来不是“大胃王”三个字,也不是“吃播”全部群体。享用美食,对美食渴望是人本能的一种。许多“吃播”曾通过食物,跨越不同文化,不同地域,吸引粉丝对形色各异的美食产生兴趣,进而了解美食背后的文化传承。如日本某位知名“吃播”,就曾通过吃中国的螺蛳粉,向不同国家的粉丝介绍中国食物;而国内同样有“吃播”通过亲自试吃鲱鱼罐头,向大家科普瑞典食用鲱鱼的传统。因此,平台偷懒通过屏蔽词汇,间接导致整个“吃播”群体和暴饮暴食的“大胃王”关联,甚至有被污名化的倾向。

“珍惜粮食,拒绝浪费”是好事,禁止视频中出现宣扬暴饮暴食、猎奇的内容也是好事,但是应该平台好好担起责任,执行自己审核能力的时候,却直接放弃思考干脆“一刀切”。这不是一个通过“后浪”视频宣扬内容多样化的平台该做的事情,也不是喊出“记录美好生活”的平台该有的行为。

来源:消费日报网

斗鱼回应吃播主播浪费:将加强内容审核 杜绝浪费行为

近日央视新闻报道称,所谓的大胃王吃播浪费十分严重。据联合国粮农组织统计显示,全球每年约1/3粮食被损耗和浪费,总量约每年13亿吨。世界76.33亿人口中至少还有8.2亿面临饥饿。现在有些所谓大胃王吃播秀浪费严重,有的甚至吃了再把食物吐掉。珍惜粮食,拒绝浪费。

直播平台斗鱼随后表示,将会积极响应相关号召,加强对之后的美食类直播内容审核,杜绝餐饮浪费行为,共创风清气朗的直播氛围。在视频网站以及社交平台中搜索“吃播”,就会有各种五花八门的频道和视频出现。大胃王,更是成为了吸引流量的工具。

直播作为近年来新兴的互联网模式,如何吸引眼球成为了赚取流量的重要手段。吃播和美食节目其实并没有过错,但为了吃而吃,造成了浪费就不太可取了。

中国演出行业协会发布倡议书:加大内容审核力度、规范主播带货行为

8月5日,针对8部门通报网络直播行业专项整治和规范管理工作,中国演出行业协会发布倡议书,督促会员企业加大内容审核力度,及时果断处置违法和不良信息;深入推进主播“黑名单”联合惩戒机制;引导用户理性消费,避免造成不良围观效应和消费误导;规范主播带货行为;全面自查平台运营资质。

中国演出行业协会表示,将在主管部门指导下,开展行业调研,汇总企业意见,并召集专家学者进行论证,为行业规范管理提出政策建议,推动主播账号分级分类管理和规范打赏等行业规则出台。同时,带领行业企业共同构建起激励高质量信息内容供给的新型直播管理体系,配合监管部门扎实有效推进源头治理。

针对会员企业的具体倡议包括:1.加强本平台网络信息内容生态治理工作,引导培育践行社会主义核心价值观、积极健康、向上向善的网络文化。加大内容审核力度,及时果断处置违法和不良信息。

2.提升直播平台文化品位,加大、鼓励知识分享、传统文化、爱心公益等高品质、正能量内容生产。

3.保护青少年健康成长,进一步优化青少年模式,净化“网课”直播生态,全面清理各类违法违规内容,加大青少年“内容池”供给,为青少年成长提供绿色、健康的网络环境。建立起涉未成年人举报或投诉的绿色解决通道。

4.深入推进主播“黑名单”联合惩戒机制,坚决打击网络直播违法犯罪行为,对色情低俗、网络赌博、网络诈骗等违反国家法律法规的行为绝不姑息。对炒作热点事件,博眼球吸流量造成严重社会影响等行为,即发现即封禁,坚决扼制歪风邪气。

5.引导用户理性消费,避免造成不良围观效应和消费误导。加强主播管理,引导主播合理使用直播打赏等互动手段,不得利用违法违规手段诱导打赏,引导主播为广大网民提供优秀健康的互联网直播内容。

6.规范主播带货行为,直播频道内禁止出现破坏交易秩序、牟取不正当利益、侵犯消费者合法权益的行为。如虚假宣传、售卖三无产品、假冒产品等等。

7.全面自查平台运营资质,根据相关主管部门的要求,如实、完善备案手续。

来源:北京商报

涉黄、打“擦边球”、粗俗暴力……变了味的直播谁来管?

近日,国家网信办会同相关部门对31家主要网络直播平台的内容和生态进行了全面巡查,其中有10家网络直播平台因为存在传播低俗内容等问题被约谈。然而,包括被约谈的平台在内的一些直播网站,低俗涉黄问题依然存在。

内容涉黄

女主播公开要求用户刷礼物加微信

在名为“夜魅社区”的直播平台,主播在白天时段基本上以唱歌、聊天为主。晚上10点以后,直播内容就变了味。

当晚,一名网名露骨、衣着暴露的主播不断怂恿网友刷礼物、加微信,还声称会发送更加精彩的节目。收到礼物后,主播通过私信发来了个人微信号,添加后发来多段色情视频。

直播平台以低俗涉黄内容博流量

打“擦边球”

除此之外,一些比较知名的直播平台为提高直播流量,也经常打“擦边球”。斗鱼是一家以游戏直播为主的直播平台。然而,部分主播与网友互动时,聊天内容并不是游戏。

斗鱼主播 梦蝶小公举:那你现在存款几位数啊?

网友:我现在存款就七位数吧。

斗鱼主播 梦蝶小公举:百万?老板你真的不打算两万块钱加个私人微信吗?

在快手的直播间,名为四平阿厦的主播拥有1200多万粉丝,经常在晚上黄金时间进行直播。直播过程中,演出人员不但动作夸张、故弄玄虚,还经常爆粗口。

投诉举报社交平台违规内容

无果!

我国《互联网直播服务管理规定》第19条规定,互联网直播服务提供者应当自觉接受社会监督,健全社会投诉举报渠道,设置便捷的投诉举报入口,必须及时处理公众投诉举报。然而,记者对违规内容进行投诉,结果并不理想。

“夜魅社区”

对该直播平台里的涉黄主播进行投诉时,电话客服告诉记者:只能线上投诉。

随后,记者向在线客服进行了投诉。当记者询问什么时候可以得到反馈结果时,对方表示不清楚。至于主播通过微信私聊的方式传播黄色视频问题,在线客服则表示无法受理。

斗鱼

针对有关主播的聊天内容,记者拨打了斗鱼直播平台的违法和不良信息举报电话,进行投诉。

斗鱼客服:后面会反馈到我们这边的一个调研同事去核查您说这个情况。如果方便的话,您看能不能联系我们的在线客服,提供一下举报信息,我们这边也会根据您的举报信息去针对于这个事情核查处理。

第二天,记者发现这位主播仍然准时上线直播,于是对主播进行了在线投诉,但在随后几天的时间里,直播中依然出现了低俗内容。

快手

记者拨打快手的举报电话,想向客服人员反映四平阿厦视频中存在的问题,但电话一直占线。

记者又通过快手客户端反映视频中存在的问题,平台虽然很快将记者举报的视频删除,但当天晚上,四平阿厦的网络直播仍然准时上线,直播内容依然延续着之前的内容,在线粉丝数量最高时超过10万。

专家:社交平台必须落实企业主体责任

针对社交平台涉嫌传播低俗、涉黄内容屡禁不止的现象,专家表示,社交平台不能为了拉升流量,放松、甚至放纵对平台内容的管理,必须落实企业的主体责任。

某社交平台负责人 潘滢:平台有责任有义务落实主体责任,即使是在测试阶段的直播功能,也需要对内容进行监管,如果对举报内容没有及时地反馈,甚至继续放任在平台内传播的话,那么社交平台就必须承担相应的责任。

据了解,多数社交平台已经具备了成熟的大数据技术和完备的人工审核力量,完全可以对直播内容进行精确查找和严格审查,并在第一时间封禁违规账号。

除了社交平台没有严格落实主体责任,社交软件投放的技术门槛过低也是涉黄信息传播的另外一个原因。目前,社交平台软件的开发、运营和销售已经形成了一套成熟的产业链。开发一个简单的直播平台,只需要几千块钱。为了尽快提升知名度,尽可能多地吸引粉丝流量,同一个传播低俗内容的社交平台往往会变身多个App。

手机安全专家 俞奎:虽然应用的图标和名称不同,但是我们对应用分析后,发现它其实来自同一个开发平台,或是同一个开发作者。如果被查封或者是被下架了,可以换个名字或是图标,再次进行传播。

针对一些主播绕过社交平台,采取和网友私聊的手段传播淫秽信息的现象,法律专家认为,涉黄交易虽然没有直接在社交平台上完成,但由于社交平台作为直播内容提供者,不能也不应该成为传播淫秽内容的帮凶。

来源:新华社

Instagram重新审视内容审核系统承诺采取措施支持黑人用户

美国黑人George Floyd因被警员制服期间最终导致死亡的事件令全球再次关注社会上的种族不平等情况,各大社交媒体也因此压力饱受舆论压力,被指未有采取一切措施保障黑人用户的权益。而在近日,Instagram CEO Adam Mosseri就表示目前该程序正采取不同措施以更好地支持黑人社区,并将会对程序的推荐内容、如何处理骚扰以及查证等方面展开审查。

Adam Mosseri在美国时间的当地星期一就发布了一份声明,其中他指出目前Instagram已经在过去一段时间遭受用户质疑,指该程序除了压制黑人的声音外,更在产品及政策上未有公平对待黑人,要求Instagram采取行动重新审视现有政策而不是再是空谈。对此,Adam Mosseri就表示十分明白黑人在程序内经常受到骚扰、害怕被封锁账号以及大量贴文在缺席合理原因的情况下被删除等多方面的担忧,指Instagram将会在日后致力成为提高黑人声音的一个社交平台,以对社会负上应有的责任。

他又在介绍中指出公司将针对四大范畴进行改革,分别为骚扰、验证、分布以及算法的偏见,称公司将研究黑人用户在程序内线上以及线下会遇到的具体安全问题,并研究将可以如何保护他们不受这些问题的影响。他又提及公司将检查现有的标准以及内容审核系统是否存在偏见等问题,同时审视算法中的偏见是否会对每一项决策产生影响,希望借此打造Instagram成一个可让用户自由表达自己的平台。