APP内容审核:步步高家教机多次涉黄内容审核该如何去做?

步步高家教机最近被推到了舆论的前沿,因为其应用商店中的“小肚皮”应用包含不适合未成年人观看的内容。

据悉,该软件具有职业换装、“圈子”社区、“小窝”、“游乐园”等功能,而其中的“处关系“交友。也被批评为低俗和不适合未成年人。

甚至还有诱导自拍,‘按要求充值VIP’,“躺床上拍,伸直,从大腿跟拍到脚指头“等内容。这都是被控诱导猥亵未成年人,影响是可怕的。

数起涉黄的事件许多父母担心。毕竟学习机的用户主要是未成年人,很难区分信息的好坏。对于孩子来说,这样的信息无疑是非常危险的。

而新闻里的事件,绝不是个例也不是偶然。虽然每次步步高都有回应,但这不是它的错,主要是因为第三方软件的内容有问题,而且已经被它自己审核过了。但审核不严难道就没有错吗?

事实上,步步高的审核不严,放松管理与其产品中不断出现的此类问题密切相关。步步高应该如何去做好内容审核呢?

一、审核方法包括机器审核和人工审核

机器审计解决批量问题,人工审计解决其他问题。所有平台都成立了人工审核小组。机器审计只适用于具有明显特征和公众共识的违规行为,也可以作为人工审计的辅助判断工具。

二、通过社交媒体宣传自己

抓住微博,微信等社交媒体兴起和广泛使用的机会。积极扩大宣传口号。您可以通过这些社交平台将您的思想,观念和精神传递给社会。在这个过程中,沟通的内容非常重要。步步高家教机作为儿童教育的辅助软件,必须使用多种渠道来促进正能量。

三、充分利用舆论监督系统

通过舆情监测系统,可以监测和检查信息发布者,舆论发生的时间和发展以及敏感词的出现,并可以预先制定舆论应对计划。当舆情监测系统在软件上检测到不良信息时,它将立即做出响应。积极回应并不是为了避免问题,而是要对问题及其将来的解决方案做出合理的解释。积极消息将在处理后积极传播。

在为青少年创造安全学习方面,步步高还有很长的路要走。因此,要想在竞争中获得一席之地,不被淘汰,步步高家教机不仅要大力发展人工智能技术,做好产品研发,还要为这些“小用户”的成长承担更大的责任。

对于步步高家教机,在当前时代,要获得更多的资源,要更好地操作它并不容易。面对互联网上的负面舆论,如何避免它也是长期运行的必要条件。只有通过各种监测避免滋生负面舆论,我们才能保持自己的良好形象。对于整个行业来说,只有基于人工智能技术,保证用户的信息安全,认真做产品,而不是为了赚钱去做损害企业形象和社会利益的事情,才能更长远的发展。步步高的这个事件值得整个行业引以为戒,反思自己,努力前进。

央视点名直播带货乱象调查 直播平台如何进行审核?

直播带货是近几年兴起的一种新型的服务方式,直播电商行业的高速发展不仅给不少厂家和供应商打开了销路,也给消费者带来了便利。但是在直播带货兴起的同时虚假宣传、货不对板、售后维权难等一系列的问题也日渐凸显,直播带货行业究竟是一个什么样的景象呢?以下来看记者调查。

央视《正点财经》报道直播带货乱象

宋宁是某短视频平台一名主播,他告诉记者,今年以来直播带货行业发展迅猛,来找他们合作的商户也比过去有了大幅增加,除了一些品牌经销商和厂家,大量的第三方机构也在涌入直播带货行业。宋宁:“所谓的第三方,他们自己本身来讲没有产品的,但是他们能够通过一些关系找到一部分的产品,他们也没有对这个产品做一个基本的认证或者质检,就直接来找到我们了,往往这种机构找的产品价格肯定是相当低的,但是对于品质来讲是要画一个大大的问号了。”

据业内人士介绍,第三方机构给的价格通常是全网最低价,价格上的优势明显,符合现在大部分机构的选品标准,但同时第三方机构的质量问题在把控上却是最难的,一旦发生质量问题,就极易产生虚假宣传、货不对板等问题。

“因为大部分MCN机构,在选品的时候都有三个标准,第一个标准是国内比较知名的品牌;第二个标准就是进过绝对头部的达人,头部网红直播间的产品。如果它前两个条件都没有达到的话,它能给到MCN机构全网最低价的话,也会去选择这样子的产品进入到直播间,第三个标准的话是最容易翻车的。”

辛巴、罗永浩和康巴赫厨具因售卖假货或者虚假宣传被处罚

近日,广州市市场监管局通报了“辛巴燕窝”事件的调查处理结果,拟对辛巴旗下公司广州和翊电子商务有限公司做出责令停止违法行为,罚款90万元的行政处罚。对明知品牌燕窝供应方广州融煜公司作出责令停止违法行为,罚款两百万元的行政处罚。

(“辛巴燕窝”事件的调查处理结果)

实际上,直播翻车的不止辛巴,罗永浩在直播间销售“皮尔卡丹羊毛衫”后经检验产品为非羊毛制品。巴赫厨具有限公司也被浙江武义县市场监管部门处以罚款,被责令停止违法行为尽快消除影响。理由正是,使用德国品牌等引人误解的虚假宣传的违法行为。

(康巴赫厨具因虚假宣传被浙江武义县市场监管部门处罚)

市场监管总局发布网络直播营销活动监管新规

方碧云(广东艾特朗律师事务所律师):“消费者首先是可以向这种商品的经销商,要求经销商来承担一个法律责任。那么在经销商如果找不到的情况下,那么你也可以同时找主播,因为主播相当于是一个广告推介、广告代言人的角色,在法律上面,主播他就要承担对消费者的这一个责任。平台其实是也是有一个合理的审查义务的,如果平台在明知这个产品是存在问题的情况下,仍然允许在他的平台发布的话,那么电子商务平台它也是要对消费者来承担这个赔偿责任。”

市场监管总局日前发布《关于加强网络直播营销活动监管的指导意见》对网络直播营销活动中三大主体即网络平台、商品经营者、网络直播者的责任进行梳理,分层次进行责任划分。

同时,这份意见还要求,要依法查处网络直播营销违法行为,涉及擅自删除消费者评价等电子商务违法、侵犯消费者合法权益、不正当竞争、产品质量违法、侵犯知识产权、食品安全违法、广告违法、价格违法等8大违法行为,并明确依据相应的法律予以查处。

来源:上游新闻

网信办:未成年人网课平台需抓好内容审核,杜绝游戏广告等

据网信中国消息,近日,中央网信办、教育部联合印发《关于进一步加强涉未成年人网课平台规范管理的通知》,推动未成年人网课平台长远规范发展。

《通知》提出,要强化日常监管,督促涉未成年人网课平台以正确价值导向为引领,加强网课教学大纲和图文、视频授课内容等审核把关,将弹窗、边栏、悬浮框、信息流加载、互动社交等环节纳入重点管理范畴。

另外,各地网信部门要紧盯属地涉未成年人网课平台页面周边生态,将弹窗、边栏、悬浮框、信息流加载等环节纳入重点管理范畴,对互动社交版块加强巡查监看,严防网课周边出现网络游戏广告以及色情低俗、暴力血腥等不良图文信息。

全文内容如下:

各省、自治区、直辖市网信办、教育厅(教委),新疆生产建设兵团网信办、教育局:

为切实保障优质线上教育资源供给,推动涉未成年人网课平台健康有序发展,营造未成年人良好网络学习环境,现就进一步加强未成年人网课平台规范管理有关事项通知如下:

一、加强备案管理

(一)完善备案管理。各地要定期公布属地未成年人网课平台备案名单,逐步建立属地网课平台黑白名单制度。网课平台上线新应用或发生重大功能调整时,应重新提交审核并更新相关备案信息。

(二)坚决堵塞漏洞。各地网信部门会同教育部门,定期排查属地网课平台,对于应备案未备案的网课平台,由相应教育部门提出处理意见,采取暂时下线或下架、限期整改的处置措施,待整改完成后,教育部门重新审核备案。

(三)推动全面覆盖。各地网信部门要将面向中小学的非学科类网课平台纳入网络生态日常巡查监看范围,建立管理工作台账。

二、强化日常监管

(一)把好价值导向。各地网信部门要督促属地涉未成年人网课平台以正确价值导向为引领,不得传播违背社会主义核心价值观的内容,不得散布色情低俗、血腥暴力等违背公序良俗的内容,不得以“技术中立”或“算法推荐”为由,推送不适宜未成年人的信息或广告引流内容。

(二)抓好内容审核。各地教育部门要指导属地涉未成年人网课平台加强课程内容管理,对网课教学大纲和图文、视频授课内容等认真审核、严格把关。不断完善审核标准、提升审核技术,对直播课程随机抽检,对图文、视频课程二次审核。

(三)管好页面生态。各地网信部门要紧盯属地涉未成年人网课平台页面周边生态,将弹窗、边栏、悬浮框、信息流加载等环节纳入重点管理范畴,对互动社交版块加强巡查监看,严防网课周边出现网络游戏广告以及色情低俗、暴力血腥等不良图文信息。

三、提升人员素质

(一)加强授课教师资质审核。各地教育部门要依据相关规定,指导网课平台配备相对稳定的师资队伍,对相关人员资质进行严格审核,确保学科类教师具备教师资格,将遵纪守法情况、思想政治素质作为教师入职考察的重要因素。

(二)端正产品设计和运营理念。各地网信部门要指导属地涉未成年人网课平台,增强网课产品设计和运营人员未成年人保护意识,将传播知识、传播思想、传播真理放在教育学习类应用和产品开发设计首位,不得在市场运营推广时采取不适宜未成年人的手段方式。

四、注重协同治理

(一)建立日常巡查机制。各地网信部门会同教育部门,梳理属地涉未成年人网课平台重点环节、重点问题监看清单,建立技术与人工相结合、全网巡查与重点监看相结合的监测机制,定期通报巡看情况,会商研究问题线索,提出应对措施,实现常态化监管。

(二)适时开展专项治理。各地根据日常监看情况,针对一定时期内未成年人网课平台突出问题、难点问题,适时开展专项整治,集中排查处置。

(三)加大执法处罚力度。各地网信部门对侵犯未成年人权益的违法违规网课平台,按照“发现一起、处置一起”原则,依法依规采取暂停更新、关闭下架等措施,始终保持高压严打态势。对屡教不改的网课平台,一律从严从重处罚。

(四)动员社会广泛参与治理。各地网信、教育部门要积极与行业协会、社会组织以及中小学校、家长委员会等合作,定期评议涉未成年人网课平台治理成效。社会和公众可向各地网信部门举报相关违法违规线索。

各地要充分认识加强涉未成年人网课平台规范管理的重要意义,增强责任感紧迫感,将加强涉未成年人网课平台规范管理作为属地网络生态治理的重点内容,制定工作方案,健全工作机制,推动长效治理。

来源:中央网信办

音视频直播平台乱象侵害未成年人 专家建议加大内容风险审核力度

直播间低俗表演、“诱导打赏”、封禁主播借壳复出······近日,在2020音视频直播行业绿色内容生态共建峰会上,南都网络内容生态治理研究中心发布了《音视频直播平台内容痛点及治理创新报告》(以下简称《报告》)。

报告指出,音视频直播平台目前仍存在不规范现象,平台在内容监管上要思考治理创新。

自2019年12月起,南都网络内容生态治理研究中心(以下简称“研究中心”)对音视频直播行业的100余家平台展开为期一年的持续监测,剖析了行业在主播管理、内容审核、直播打赏、未成年人、内容建设五个方面存在的管理瓶颈以及行业治理现状。

经过一年多时间的监测巡查,研究中心发现主播常见违规行为可归集为四种类型:第一种是沉疴已久的直播间低俗表演、传递不良价值观等行为;第二种是主播及其经纪代理的“诱导打赏”行为;第三种是利用直播间等公开渠道售卖违规资源或者色情服务;第四种是已遭平台甚至行业封禁主播通过换马甲、换平台借壳复出,比如,注册小号、采用“变声器”以身犯险。

在内容审核方面,研究中心发现目前音视频直播审核能力参差不齐、中小平台审核力量薄弱的问题依然存在,最鲜明的表现是对举报处理的响应迟缓。

今年7月,研究中心曾对13家直播平台的举报便捷度和反馈效率进行实测,在举报部分直播间低俗内容后,12小时内有8家平台作出回应,38%的平台没有回音,部分平台虽通过私信告知用户已接收到举报,但48小时内均未给出任何后续进展消息。

《报告》指出,作为一种新型消费服务形态,直播打赏的创新与漏洞并存。

研究中心曾针对直播打赏展开调查,发现存在打赏金额上限普遍设定过高、直播间内打赏过于频繁、利用“抽奖”“竞猜”“返利”等方式涉嫌组织网络赌博等现象。比如,通过100家平台的礼物打赏额度进行梳理,发现四成平台设置单次打赏金额最高可超百万元。

未成年人打赏难退的纠纷,则暴露了平台在未成年人识别、退款机制不健全等诸多方面的短板。南都网络内容生态治理研究中心曾梳理25家平台用户协议中和未成年人相关的条款,发现仅有不足四成平台对未成年人的充值消费行为作出提示,且多为“免责条款”。

在未成年人保护方面,目前,未成年人浏览区域推荐低俗内容、适合未成年人浏览内容供给不足等现象在行业中比较常见。

今年9月,南都网络内容生态治理研究中心在调查中仍发现,有的视频网站中教育频道存在与教育无关的短视频,其中包含标题封面性暗示、传播伪成功学、情感PUA、输出低俗庸俗价值观等内容,目前,相关资源现已下架。

在对全国15个省份近2000名未成年人家长进行的问卷调查中发现,仅三成受访家长表示会开启青少年模式管理孩子浏览视频、直播的行为。

音视频直播平台如何实现内容监管的治理创新?《报告》发现,目前部分平台已通过建立信用评价体系、AI技术赋能审核、技术识别未成年人、优化青少年模式,以及算法干预内容导向等措施加强治理。

在主播管理方面,较多的是建立信用管理体系和严格的评分机制,如酷狗直播等平台采取了主播管理分级分类措施,让主播行为直接与本人信用分关联,并与公会信誉值挂钩,一旦主播违规,则公会也会被连带影响信誉值。

在审核方面,目前多数平台都采取了人机审核相结合的模式,比如自主研发AI、声纹等智能识别算法模型,用户内容一经上传,首先经过图片识别、语音识别等技术过滤,再由人工团队进行复核。

关于未成年人消费、打赏难退等问题,《报告》建议,有效识别未成年人身份,实现事前阻断是防范关键。目前,多数平台已建立起未成年人身份识别系统,通过人脸识别、用户画像、行为数据分析等多种技术手段来定位未成年用户,实施拦截。未成年人内容供给方面,多数平台通过对青少年模式的优化,实现内容的多元化、个性化输送。

数美科技运用人工智能技术进行风险识别,该公司创始人、CEO唐会军指出,当前在内容审核上人工成本高,如果平台规模大,投入成本是非常高昂的,而在语音等特殊场景下,对内容的风险识别有很大的技术难度,“很多人在一起说话,非常嘈杂,再放些背景音乐,识别起来就更有一定挑战。”

在中国信息通信研究院互联网法律研究中心研究员石月看来,平台需要在治理中发挥关键作用,加强平台文字、图片等内容监控技术,加大语音审核巡查的研发,“可能也需要政府出台一些鼓励性政策,来鼓励企业在这方面进行一些研发。”石月认为,平台还要加强提升正面、高质量内容的输出。

来源:中国青年报

走进科技,高薪的“鉴黄师”,如何快速有效“鉴黄”?

俗话说“360行,行行出状元”。随着互联网时代的到来,我们每个人在互联网上感受到了便利,不需要出门就可以了解到世界上所发生的事情。而其实网络的环境并非我们所浏览到的这样,相反,看似平静的互联网之上,实则暗流涌动!每天都有着非常多的净网使者在为我们的互联网展开清查。

今天跟随小编走进科技,带你看看高薪的“鉴黄师”,如何快速有效“鉴黄”?可能这个职业让很多人听起来都是那么的羡慕,其实在我们国内非常多的互联网公司中,“鉴黄师”都是一个一定要存在的这么一个行业,他们的工作很简单,简单到做电脑前看一天“小电影”。

但是就是这么一个看一整天“小电影”的工作,年薪都能够达到十万以上!这可谓是让不少人都对这个工作羡慕。但其实大家可能不知道,这样的工作其实是非常的累的,上班开始就要浏览海量的视频、图片,对于任何一个人来说,大脑都会难以承受这样的负荷。

而且对于任何一个人来说,精神上的压力是非常大的,任何一个人长期浏览这样的视频、图片都会造成身体和精神上的双重疲劳,如果不好好处理的话,也有可能会造成身体的损坏。于是腾讯为了结果这样的问题,发明了一项AI技术,专门用来帮助“鉴黄师”工作。

而且智能AI可以节省下来非常大的人工,现如今AI也已经可以达到百分之95以上的成功率了,不得不为腾讯的科技技术点一个赞。最主要的是后这工作薪资虽然高,但是和朋友相互聊起工作的话还多多少少是会有些尴尬。

谁能想到,现如今我们的科技已经可以发展到了如此的地步,越来越多的职业已经不需要人类的参与,越来越多的行业开始被机器人所代替了,在未来不知道究竟是好还是坏。

涉黄、打“擦边球”、粗俗暴力……变了味的直播谁来管?

近日,国家网信办会同相关部门对31家主要网络直播平台的内容和生态进行了全面巡查,其中有10家网络直播平台因为存在传播低俗内容等问题被约谈。然而,包括被约谈的平台在内的一些直播网站,低俗涉黄问题依然存在。

内容涉黄

女主播公开要求用户刷礼物加微信

在名为“夜魅社区”的直播平台,主播在白天时段基本上以唱歌、聊天为主。晚上10点以后,直播内容就变了味。

当晚,一名网名露骨、衣着暴露的主播不断怂恿网友刷礼物、加微信,还声称会发送更加精彩的节目。收到礼物后,主播通过私信发来了个人微信号,添加后发来多段色情视频。

直播平台以低俗涉黄内容博流量

打“擦边球”

除此之外,一些比较知名的直播平台为提高直播流量,也经常打“擦边球”。斗鱼是一家以游戏直播为主的直播平台。然而,部分主播与网友互动时,聊天内容并不是游戏。

斗鱼主播 梦蝶小公举:那你现在存款几位数啊?

网友:我现在存款就七位数吧。

斗鱼主播 梦蝶小公举:百万?老板你真的不打算两万块钱加个私人微信吗?

在快手的直播间,名为四平阿厦的主播拥有1200多万粉丝,经常在晚上黄金时间进行直播。直播过程中,演出人员不但动作夸张、故弄玄虚,还经常爆粗口。

投诉举报社交平台违规内容

无果!

我国《互联网直播服务管理规定》第19条规定,互联网直播服务提供者应当自觉接受社会监督,健全社会投诉举报渠道,设置便捷的投诉举报入口,必须及时处理公众投诉举报。然而,记者对违规内容进行投诉,结果并不理想。

“夜魅社区”

对该直播平台里的涉黄主播进行投诉时,电话客服告诉记者:只能线上投诉。

随后,记者向在线客服进行了投诉。当记者询问什么时候可以得到反馈结果时,对方表示不清楚。至于主播通过微信私聊的方式传播黄色视频问题,在线客服则表示无法受理。

斗鱼

针对有关主播的聊天内容,记者拨打了斗鱼直播平台的违法和不良信息举报电话,进行投诉。

斗鱼客服:后面会反馈到我们这边的一个调研同事去核查您说这个情况。如果方便的话,您看能不能联系我们的在线客服,提供一下举报信息,我们这边也会根据您的举报信息去针对于这个事情核查处理。

第二天,记者发现这位主播仍然准时上线直播,于是对主播进行了在线投诉,但在随后几天的时间里,直播中依然出现了低俗内容。

快手

记者拨打快手的举报电话,想向客服人员反映四平阿厦视频中存在的问题,但电话一直占线。

记者又通过快手客户端反映视频中存在的问题,平台虽然很快将记者举报的视频删除,但当天晚上,四平阿厦的网络直播仍然准时上线,直播内容依然延续着之前的内容,在线粉丝数量最高时超过10万。

专家:社交平台必须落实企业主体责任

针对社交平台涉嫌传播低俗、涉黄内容屡禁不止的现象,专家表示,社交平台不能为了拉升流量,放松、甚至放纵对平台内容的管理,必须落实企业的主体责任。

某社交平台负责人 潘滢:平台有责任有义务落实主体责任,即使是在测试阶段的直播功能,也需要对内容进行监管,如果对举报内容没有及时地反馈,甚至继续放任在平台内传播的话,那么社交平台就必须承担相应的责任。

据了解,多数社交平台已经具备了成熟的大数据技术和完备的人工审核力量,完全可以对直播内容进行精确查找和严格审查,并在第一时间封禁违规账号。

除了社交平台没有严格落实主体责任,社交软件投放的技术门槛过低也是涉黄信息传播的另外一个原因。目前,社交平台软件的开发、运营和销售已经形成了一套成熟的产业链。开发一个简单的直播平台,只需要几千块钱。为了尽快提升知名度,尽可能多地吸引粉丝流量,同一个传播低俗内容的社交平台往往会变身多个App。

手机安全专家 俞奎:虽然应用的图标和名称不同,但是我们对应用分析后,发现它其实来自同一个开发平台,或是同一个开发作者。如果被查封或者是被下架了,可以换个名字或是图标,再次进行传播。

针对一些主播绕过社交平台,采取和网友私聊的手段传播淫秽信息的现象,法律专家认为,涉黄交易虽然没有直接在社交平台上完成,但由于社交平台作为直播内容提供者,不能也不应该成为传播淫秽内容的帮凶。

来源:新华社

分享一款支持男声女声发音的语音识别软件

说完“晚安”,小伙伴们便要开始入睡啦。很多时候,大家都会选择一些好听的音乐陪伴自己进入梦乡。而最近,也有很多人迷上了倾听有声朗读版电子书,随着富有感情的声线安稳入睡。其实,想要听到喜欢的电子书内容或者朗读声音并不难,只要借助相关软件便能实现。哪款语音识别软件是免费的支持男声女声发音?“迅捷文字转语音软件”一键上传文本内容,可导出为MP3、WAV、AMR、WMA等多种音频格式。此外,这里还有多种背景主播类型提供选择。想要听到不同类型的舒服语音,大家可以接着往下认识一下这款好用的软件哦。

运行软件,随即便会有一个页面弹出在电脑桌面上。在这个页面中,大家可以根据需要选择恰当的功能。如果想要把文字转语音的话,点击页面左边的【文字转语音】功能按钮就可以啦。接着,我们可以在页面中间的空白地方输入需要转换为语音的文字。

输入文字后,对文字内容做简单的检查。确认文本内容是正确的话,点击【开始转换】按钮就好啦。如果对主播声音有要求,大家点击页面下方【选择更多主播】字样按钮,就可以进入背景主播类型的选择页面了。这里主要分为男生主播和女声主播,选择好后再进行转换。

看完上文,小伙伴们知道怎么使用“迅捷文字转语音软件”把文本内容转换成为达到理想效果的音频文件了吗?

Instagram重新审视内容审核系统承诺采取措施支持黑人用户

美国黑人George Floyd因被警员制服期间最终导致死亡的事件令全球再次关注社会上的种族不平等情况,各大社交媒体也因此压力饱受舆论压力,被指未有采取一切措施保障黑人用户的权益。而在近日,Instagram CEO Adam Mosseri就表示目前该程序正采取不同措施以更好地支持黑人社区,并将会对程序的推荐内容、如何处理骚扰以及查证等方面展开审查。

Adam Mosseri在美国时间的当地星期一就发布了一份声明,其中他指出目前Instagram已经在过去一段时间遭受用户质疑,指该程序除了压制黑人的声音外,更在产品及政策上未有公平对待黑人,要求Instagram采取行动重新审视现有政策而不是再是空谈。对此,Adam Mosseri就表示十分明白黑人在程序内经常受到骚扰、害怕被封锁账号以及大量贴文在缺席合理原因的情况下被删除等多方面的担忧,指Instagram将会在日后致力成为提高黑人声音的一个社交平台,以对社会负上应有的责任。

他又在介绍中指出公司将针对四大范畴进行改革,分别为骚扰、验证、分布以及算法的偏见,称公司将研究黑人用户在程序内线上以及线下会遇到的具体安全问题,并研究将可以如何保护他们不受这些问题的影响。他又提及公司将检查现有的标准以及内容审核系统是否存在偏见等问题,同时审视算法中的偏见是否会对每一项决策产生影响,希望借此打造Instagram成一个可让用户自由表达自己的平台。

内容审核员,不止鉴黄

“ 每天你都会看到有人砍人,或者射杀亲友……”

“ 黄赌毒必然要处理,色情也是大头,比如说一个不到10岁的女孩子拍了一个很普通的跳舞视频,她收到几十条性骚扰的私信消息,有些本身就是恋童癖……”

以上这些,只是网络内容审核员对自己工作内容叙述中的一部分。

为什么开篇就说这个呢,是因为狐妹前不久看到一条新闻。

脸书的内容审核员因为在工作的时候看了太多儿童性侵和恐怖主义的图片,而产生了心理创伤。最后获得了 Facebook5200 万美元的赔款

也许有朋友不太理解内容审核员到底是做什么的,他们为什么会受到心理创伤。

那我们做一个稍微通俗易懂的类比,或许你听说过鉴黄师吗?

其实从某种程度上来说,之前网上热议的鉴黄师,应该也算是内容审核员工作审核内容中的一个部分吧。

大家在第一次听说过 “ 鉴黄师 ” 这个职业的时候,是不是以为他们上班就是坐在那里拿着高薪,正大光明的搞黄色?

但事实好像总是……跟我们想象中不太一样?

其实搜索鉴黄师这个关键字你就会发现很多新闻都有报道,几乎所有干这个的人都表示精神上承受的压力非常大。

而内容审查员所涉及到的内容,比鉴黄师更可怕。

所以狐妹今天想带大家一起了解一下什么是内容审核员他们所面对的世界是什么样子

之前我们写过一期关于微博涉黄的案例,在评论里有人表示这些像牛皮癣一样的黄暴违规信息让人看着非常心烦,所以老早就卸载了微博。

但说真的,就算是这样,我们每天在网上看到过的信息,基本上都是已经经过内容审核员过滤的了。

假如没有这个职业,那我们的互联网环境或许会变成充斥着色情、暴力、血腥内容的世界。

毕竟你根本不知道还有多少让人不适的东西,在你看到之前就被审核员们挡在了互联网世界的大门外。

所以大家能想象,被称为“ 网络清道夫 ” 、一整天的工作都在直面色情、血腥、恐怖主义画面内容审核员都承受了些什么吗?

可以说,“ 内容审核 ” 在全球范围内都不再是一个陌生的概念了。可以说,几乎每一个互联网公司,都需要内容审核员的存在。

去年四月的时候,因为播出低俗节目被约谈的快手紧急招聘了 3000 名内容审核员。除此之外,字节跳动、腾讯等每年也都在扩招大量的内容审核员。

而国外也不例外,之前就有报道称,Youtube 在 2017 年的时候就雇佣了 10000 名内容审核员,并下架了 15 万有关儿童猥亵的视频。

Facebook 的外包网络审查员也一度达到了 7500 名,用于审核那些带有仇恨歧视的言论

而随着审核员的需求越来越多,关于内容审核员患上心理创伤的报道也越来越多。

2018 年的时候,就有一部关于第三世界网络内容审核员的纪录片《 网络审核员( The Cleanser)》上映。

而今年,又有脸书的前审核员因为心理创伤而将公司告上法庭。这个问题,开始逐渐出现在大众视野,并得到重视。

内容审核员们之所以更容易患上应激性创伤等心理问题,工作内容的负能量爆棚其实是主要原因。

其实根据不同平台和不同公司的要求,审核员们的工作内容其实也不太一样。拿脸书为例,脸书的内容审查员主要是按工作内容分类。

“ 鉴黄 ” 组浏览裸体、色情内容;“ 反恐 ” 组观看斩首、电击虐待、汽车爆炸等视频;“ 自残 ” 组甚至偶尔还得盯着自杀视频直播。

有的审查员表示,自己观看暴力视频的次数多到,自己仅仅只是看一眼尸体身上的切口就可以判断是小刀割的还是大刀砍的。

不仅如此,根据他们的保密协定,内容审查员是不被允许和其他人讨论工作内容的。

这就意味着,哪怕自己已经有了严重的心理问题,他们也不被允许分享,这使得他们的孤独感与心理创伤剧增。

除了必须在工作中面对大量负能量以外,工作本身带来的压力也是一个很重要的原因。

狐妹在招聘网站输入 “ 内容审核” 这几个字,就能看见新浪、头条、抖音、360 等平台的招聘信息跳出来。

新浪的内容审核岗为例,4-8k 不等的工资,工作内容就是准确迅速处理各类违法信息,看着是不是还挺不错的。

但我们一般都知道,写在招聘启事里的信息呢,实际上福利一般没那么多,但是工作压力和要求是只会更高不会更低的

既然这里工作压力较大都给你标出来了,再加上夜班和周末值班……

因为互联网这一行业的特殊性,基本上是 24 小时都需要有内容审核员来进行审核的。

而这类内容审核岗基本上是轮班制,比如 360 的内容审核岗就是 12 小时轮值,做一休一。工作内容的要求呢大概是一天两万条,包括评论、头像、文章等内容。

其实这种压力扛一扛,也能扛过去。但你要知道啊,内容审核员在进行审核的时候,并不是像我们想象中的一样,觉得哪条和自己三观不符就把哪条删了。

每个平台呢,都是有自己的一套审核标准的。据说脸书就有一个 1400 多页的手册,用来当审核规则的标准。

但你想,每天要审核的信息数量非常大,而审核规则是难以清晰地界定出所有的情况的。而脸书的审核员们,却被要求审核的准确率达到百分之九十八

当连续几个月审核准确率不达标的时候,就会被辞退。

这从某种程度上来说,工作压力大也给内容审核员们带来了很大的精神压力。

那么有没有什么办法可以改善内容管理员的心理状态呢?

有人说,用机器 AI 代替人工来进行审核应该是可以的吧?确实,机器的确可以识别出一部分色情、暴力、血腥的内容,从而帮审核员们减轻一定的负担

但机器和算法并不能解决所有情况。不同的语境下有着不同的理解方式。

你看看,在那死板的算法下,本来多正常的一张图,也被搞得有些脸红心跳奇奇怪怪。

更何况,有时候你会在娱乐节目里发现色情内容,美食图片里看见血腥肉体。这些夹带私货的做法,往往很容易逃过机器 AI 的审查。

而这个时候,就还是少不了内容审查员的存在。

谷歌的研究团队曾经做过一项实验,在这项实验中对所有的视频进行灰度显示的处理。76 位审查员参与了这项实验,结果显示灰度显示模式确实能让审核员的情绪得到好转。

在不久的未来就可以通过技术干预的手段,缓解审查员们的心理压力。

这个职业几乎每天都在直面人性中最阴暗的那一面,他们承受着巨大的心理压力。崩溃、哭泣、麻木,甚至连自杀的都有。

有的人干了没多久辞职了,有的人是为了养家糊口才选择顶着压力做这个职业,还有的人觉得这是一份可以净化互联网环境的值得骄傲的工作。

但无论如何,是这些内容审查员帮我们过滤掉了那些人性中最黑暗的东西。我们之所以还能愉快的在网上冲浪,确实是多亏了他们的。

也希望在未来,内容审查员的心理健康,能得到互联网公司和大众更多的理解和重视吧。