推荐算法工作的核心是学习用户产生的行为反馈数据，预测用户的下一个行为的“发生率”，从而选择将什么内容/物品推荐出去。因为推荐算法不理解内容语义，只能预估用户行为，它不可避免地会存在一定的缺陷。举例来说，如果不加干预，一些更高点击的博眼球、博流量的内容，有可能带来更高的行为预测得分。因此，算法必须要由平台治理对其进行约束和规范。

抖音探索了一套复杂的平台治理体系约束违法违规内容

面对海量信息，内容平台不可能交由推荐算法“放任自流”，而必须通过人工参与的平台治理为算法设置“护栏”，平台通过人工参与治理和审核，定义和识别各类风险内容，让内容分发符合法律法规和各类社会规范。

为此，抖音在实践中搭建了一套业内领先的“人工参与+机器学习”相结合的内容治理体系，并结合内外部反馈持续对其进行优化与升级，以确保算法推送的内容合法合规。本文即将展开介绍的就是抖音的平台治理体系如何为推荐算法设置“护栏”。

值得一提的是，推荐算法的底层是使用机器学习去预判用户的行为反馈，而机器学习算法在内容治理上也存在广泛的应用，比如用机器学习和神经网络模型去抓取疑似存在问题的违规行为，由机器自动将违规内容抓取出来。

抖音如何为内容制定治理标准

平台治理的第一步是定义违规内容，设定标准。

依据相关法律法规，结合平台实践及各方建议，抖音目前通过以下五个方面，为制定健全、完善的治理标准提供支撑。

1、建立专门的标准管理团队

为确保治理标准体系系统、清晰，保障其具有可执行性，抖音组建了专门的团队，负责对治理标准进行准入及准出的管理工作，综合研判以确保标准符合治理目标。

2、全面覆盖各类风险问题

目前，标准管理团队已对违法违规、色情低俗、公序良俗、危险行为等十余大类、数百种风险设置了独立标准条款，每条标准条款都匹配典型违规案例及对应执行手册。另外，针对抖音上不同的内容体裁（如视频、图片、文字等）及不同的产品场景（如用户昵称、评论、话题等）的特性，也制定了对应的标准。

3、标准及时迭代和评估

根据法律法规调整、社会热点变化以及外部意见建议，标准管理团队对标准进行更新和迭代，并设定产品化的线上流程和审批机制，确保所有标准的变更与管理有留存、可追溯。常规情形下团队定期进行评估和更新，遇到突发风险时启动标准快速上线与下发流程，以确保风险问题快速被识别。

4、标准落地质量追踪和纠偏

在标准团队内部设置专门的质量管理组，评估和追踪标准执行的质量；同时，设置专业的标准培训组，定期做好执行团队的纠偏。

5、对用户和作者开展治理标准普及

抖音也对外公开了治理标准，参见抖音社区自律公约。抖音在App和PC端都设立了专门的规则中心，用户可自行查阅标准公约。同时，对于违规用户，平台会通过站内信等方式告知用户其存在的违规行为。

抖音如何为内容制定治理标准

抖音平台治理的流程

平台治理的第二步是针对标准中定义出的问题，针对性地将有问题的内容识别出来，并进行处置。

抖音的平台治理存在于内容发布与传播的每一个环节。一方面，内容的传播与治理紧密关联，一条内容传播的次数越多，其需要经历的审核次数也越多；另一方面，治理链路包括感知、识别、判定、处置、体验等多个步骤，且不断从头到尾，从尾到头，实现循环与升级。

在明确了治理标准后，抖音的平台治理链路核心有两个原则。

原则一：所有在平台发布的内容都会经过评估：流量越高的内容经过评估的次数越多，标准也越严格。

具体而言，这套内容分发和治理体系，需要解决三个层次的问题。

第一层在内容发布前或最初阶段，需要从严处置存在违法违规等底线问题的内容；第二层针对已在平台产生一定传播量级的内容，复审该内容继续传播是否会引发广大用户不适甚至反感；第三层主要针对潜在高热内容，努力将流量提供给原创、优质的内容。

抖音平台治理的流程

其具体流程如下：

1、初审

创作者将内容上传至抖音平台后，均会进入初审识别环节，如果被识别出含有高危特征，内容将被直接拦截；如果未直接命中高危特征但模型判断其大概率有底线问题，则会将其送至人工审核，由专业人员按初审标准进行研判；而未直接命中高危特征且模型判断其有问题的概率较低的内容，则将获得基础流量并进入下一个环节。

初审环节的核心是识别内容是否存在底线风险。经过数年的积累，抖音仅仅在机器审核环节已拥有上百种模型，具有代表性的如血腥模型、自残模型等。

2、复审

通过初审的内容，视频会继续被推荐分发，待视频达到一定播放量级阈值（阈值为波动状态）后，平台会对其召回进行复审。“人工+机器”会按照复审标准进行判断，如果命中问题内容标准，则对视频停止分发；如果不命中相关标准，则视频继续由推荐算法进行新一轮自然推荐分发。

复审环节的重点判断是内容是否存在不宜过多分发的非底线问题，如画面引人不适等。

3、三审

如果视频通过复审后播放量持续增高，待视频达到更高播放量级阈值（阈值为波动状态）后，平台会第三次召回视频，进行三审研判。其审核逻辑与复审类似，但标准要求更严更高。

通过以上三个环节，部分视频会达到较高热度的播放量级阈值（阈值为波动状态），这时会由运营人员介入，对视频的质量进行综合研判，判定其是否适合继续分发传播。

需要说明的是，具体的传播与治理链路中，一条视频可能触发的治理研判节点可能会更多，平台治理并非仅仅根据播放量的增长而循序进入上述三个步骤。视频被举报、评论区出现集中质疑、不合常理的流量激增等信号均有可能触发“人工+机器”的审核，而在任一环节，被处置后的内容，基本都会立即停止进一步的推荐和分发。

原则二：“人工+机器”审核相互分工又密切配合。

上面提及的是“人工+机器”进行平台治理的大致流程和节奏，而在具体治理过程中，“人工”和“机器”承担的角色也会各有侧重。

1、“机器”主要负责“宽度”，主动对所有投稿进行评估。抖音平台每天有用户发布海量信息，为了不让违法违规和不良信息传播，平台依靠多维度的模型技术检测、拦截和过滤问题内容、违规账号。机器学习算法在各行各业都有应用，除了推荐算法，内容识别算法也让海量内容的审核识别变成了可能，关于机器学习算法在问题内容识别的具体应用，我们后续也将会持续展开介绍。

2、“人工”主要负责“深度”，确保疑难问题尽可能精准研判，减少错判。“算法”不懂内容，需要依靠人工团队识别研判问题。特别是对于流量大、热度高的内容更需要多人协同工作，从多层次、多视角、多维度确保治理效果。

3、“人工”持续校准和升级“机器”，这一点，下文会详细说明。

上述两大原则下的内容治理流程，总体上构成了抖音针对普遍性问题的治理框架。

坦白说，平台治理要时刻面对海量的内容，任何一个环节都需要充分考虑传播和治理的效率与精准度，不可避免存在机器漏审，人工判定尺度不一导致的违规内容漏放，误判误伤等问题，导致损害了用户体验。因此，抖音也建立了异常数据预警、判定结果二次确认等机制，以便及时、灵活应对这些问题，达到平台治理、用户体验的多角度平衡。

抖音如何治理专项风险

抖音一方面建设了通用问题治理标准及流程，用于系统性治理平台上可能出现的普遍性风险内容，另一方面针对社会普遍关心的、呈现聚集特征的、反复出现的、对用户造成较多困扰的焦点问题，成立了数个专项治理团队，分别设置相应的治理标准、识别策略、处置手段和风险巡查能力，专注应对涉及特殊群体、网络暴力、AIGC技术滥用等问题治理。

抖音治理的重大专项风险（部分）

（具体情况参见平台治理专项报告）

以治理“网络暴力”专项为例。网络暴力备受社会关注且影响恶劣，治理面临以下难题：“施暴者”“受害者”“旁观者”等角色难以区分；场景广泛，涵盖短视频、直播间、评论区、账号主页等；传播方面，具有突发性、密集性和破坏性等特征；此外，还存在概念难界定、时效难保证、单个平台难以根治等问题。

针对上述问题，平台成立了专门治理网暴的团队，以“防护、打击、教育”为关键词，通过主动识别潜在网暴受害者并推送预警、分级干预风险账号、设置防网暴专区提供工具进行防护；通过重点打击侮辱威胁、煽动围攻及侵犯隐私三类施暴者，结合AI与人工治理持续打击；通过发布治理规范、发起反网暴倡议及案例宣传提升公众关于网暴的认知。另外，针对重点场景和人群，建设相关产品能力，为受害者提供心理关怀、法律咨询援助等帮助。

抖音平台治理的敏捷进化

治理往往是针对已有问题进行回溯性处置，由于平台新内容不断涌现，因此对于一些新问题的治理难免存在天然的滞后性，这就要求治理体系不断优化、升级和迭代。

抖音平台治理迭代的核心方法是“问题及时发现+全链路敏捷响应”。

第一，构建多渠道的问题信号发现网络。抖音通过多个渠道加强对新问题的发现能力，构建起多维度的问题发现网络，包括人工发现+机器发掘+用户反馈等。例如，机器会通过类似内容的异常聚集涌现，识别出部分新问题；通过广大用户的投诉反馈，也可将新问题及时纳入治理范围。

第二，治理全链路的敏捷迭代。在问题点明确后，相关团队会快速对治理全链路进行整体诊断，弥补治理链路在同类问题上的短板，如进行标准动态校准、识别能力迭代、处置策略更新、效果反馈校验等。整个过程跟随新问题的出现随时进行动态同步、高速响应，确保全链路敏捷迭代，响应突发治理需求。

需要强调的是，在进行治理能力升级之前，治理体系还会对存量问题进行全面回扫，避免能力迭代后存在存量盲区，并为能力迭代提供更多数据支持。而在能力升级完成后，便会正式从新问题的突发式应对，转向常态式治理。

正是通过平台治理体系，抖音为推荐算法设置了护栏，让海量内容符合各类法律法规、社会道德规范和价值观的要求。