简述cdn的工作原理（简述cdn的工作原理）〔cdn的基本原理是〕

本日 ，算法分发已经是信息平台、搜刮 引擎 、欣赏 器、交际 软件等险些 全部 软件的标配 ，但同时，算法也开始面对 质疑、挑衅 和误解。本日 头条的保举 算法，从2012年9月第一版开辟 运行至今 ，已经颠末 四次大的调解 和修改 。

本日 头条委托资深算法架构师曹欢欢博士，公开本日 头条的算法原理，以期推动整个行业问诊算法 、建言算法;通过让算法透明 ，来消除各界对算法的误解，并渐渐 推动整个行业让算法更好的造福社会。

以下为《本日 头条算法原理》全文。

本日 头条资深算法架构师曹欢欢：

本次分享将重要 先容 本日 头条保举 体系 概览以及内容分析、用户标签、评估分析，内容安全等原理 。

一 、体系 概览

保举 体系 ，假如 用情势 化的方式去形貌 实际 上是拟合一个用户对内容满意 度的函数，这个函数必要 输入三个维度的变量。第一个维度是内容。头条如今 已经是一个综合内容平台，图文、视频、UGC小视频 、问答、微头条 ，每种内容有很多 本身 的特性 ，必要 思量 怎样提取差别 内容范例 的特性 做好保举 。第二个维度是用户特性 。包罗 各种爱好 标签，职业、年龄 、性别等，尚有 很多 模子 刻划出的隐式用户爱好 等。第三个维度是环境 特性 。这是移动互联网期间 保举 的特点 ，用户随时随地移动，在工作场合 、通勤、旅游等差别 的场景，信息偏好有所偏移。连合 三方面的维度 ，模子 会给出一个预估，即推测保举 内容在这一场景下对这一用户是否符合 。

这里尚有 一个题目 ，怎样 引入无法直接衡量 的目标 ?

保举 模子 中 ，点击率、阅读时间 、点赞、批评 、转发包罗 点赞都是可以量化的目标 ，可以或许 用模子 直接拟合做预估，看线上提拔 环境 可以知道做的好不好 。但一个大要 量的保举 体系 ，服务用户浩繁 ，不能完全由指标评估，引入数据指标以外的要素也很紧张 。

比如 广告和特型内容频控。像问答卡片就是比力 特别 的内容情势 ，其保举 的目标 不美满 是 让用户欣赏 ，还要思量 吸引用户答复 为社区贡献内容。这些内容和平凡 内容怎样 混排，怎样控制频控都必要 思量 。

别的 ，平台出于内容生态和社会责任的考量 ，像低俗内容的打压，标题党 、低质内容的打压，紧张 消息 的置顶、加权、强插 ，低级别账号内容降权都是算法本身 无法完成，必要 进一步对内容举行 干预。

下面我将简单 先容 在上述算法目标 的底子 上怎样 对着实 现。

前面提到的公式y = F(Xi ,Xu ,Xc)，是一个很经典的监督 学习题目 。可实现的方法有很多 ，比如 传统的协同过滤模子 ，监督 学习算法Logistic Regression模子 ，基于深度学习的模子 ，Factorization Machine和GBDT等。

一个良好 的工业级保举 体系 必要 非常机动 的算法实行 平台，可以支持多种算法组合，包罗 模子 布局 调解 。由于 很难有一套通用的模子 架构实用 于全部 的保举 场景 。如今 很盛行 将LR和DNN连合 ，前几年Facebook也将LR和GBDT算法做连合 。本日 头条旗下几款产物 都在相沿 同一套强大 的算法保举 体系 ，但根据业务场景差别 ，模子 架构会有所调解 。

模子 之后再看一下典范 的保举 特性 ，重要 有四类特性 会对保举 起到比力 紧张 的作用 。

第一类是相干 性特性 ，就是评估内容的属性和与用户是否匹配。显性的匹配包罗 关键词匹配 、分类匹配、泉源 匹配、主题匹配等。像FM模子 中也有一些隐性匹配，从用户向量与内容向量的间隔 可以得出 。

第二类是环境 特性 ，包罗 地理位置 、时间。这些既是bias特性 ，也能以此构建一些匹配特性 。

第三类是热度特性 。包罗 全局热度、分类热度，主题热度，以及关键词热度等 。内容热度信息在大的保举 体系 特别 在用户冷启动的时间 非常有效 。

第四类是协同特性 ，它可以在部分 程度 上资助 办理 所谓算法越推越窄的题目 。协同特性 并非思量 用户已有汗青 。而是通过用户举动 分析差别 用户间相似性，比如 点击相似、爱好 分类相似 、主题相似、爱好 词相似，乃至 向量相似 ，从而扩展模子 的探索本领 。

模子 的练习 上，头条系大部分 保举 产物 采取 及时 练习 。及时 练习 省资源而且 反馈快，这对信息流产物 非常紧张 。用户必要 举动 信息可以被模子 快速捕获 并反馈至下一刷的保举 结果 。我们线上如今 基于storm集群及时 处理 惩罚 样本数据 ，包罗 点击、显现 、收藏 、分享等动作范例 。模子 参数服务器是内部开辟 的一套高性能的体系 ，由于 头条数据规模增长太快，雷同 的开源体系 稳固 性和性能无法满意 ，而我们自研的体系 底层做了很多 针对性的优化 ，提供了美满 运维工具，更适配现有的业务场景 。

如今 ，头条的保举 算法模子 在天下 范围内也是比力 大的 ，包罗 几百亿原始特性 和数十亿向量特性 。团体 的练习 过程是线上服务器记录 及时 特性 ，导入到Kafka文件队列中，然后进一步导入Storm集群斲丧 Kafka数据 ，客户端回传保举 的label构造练习 样本，随后根据最新样本举行 在线练习 更新模子 参数，终极 线上模子 得到更新。这个过程中重要 的耽误 在用户的动作反馈延时 ，由于 文章保举 后用户不肯定 立刻 看，不思量 这部分 时间，整个体系 是险些 及时 的 。

但由于 头条如今 的内容量非常大 ，加上小视频内容有千万 级别，保举 体系 不大概 全部 内容全部由模子 预估。以是 必要 计划 一些召回战略 ，每次保举 时从海量内容中筛选出千级别的内容库。召回战略 最紧张 的要求是性能要极致，一样平常 超时不能高出 50毫秒。

召回战略 种类有很多 ，我们重要 用的是倒排的思绪 。离线维护一个倒排，这个倒排的key可以是分类，topic ，实体，泉源 等，排序思量 热度、奇怪 度、动作等。线上召回可以敏捷 从倒排中根据用户爱好 标签对内容做截断 ，高效的从很大的内容库中筛选比力 靠谱的一小部分 内容。

二 、内容分析

内容分析包罗 文天职 析，图片分析和视频分析 。头条一开始重要 做资讯，本日 我们重要 讲一下文天职 析。文天职 析在保举 体系 中一个很紧张 的作用是用户爱好 建模。没有内容及文本标签 ，无法得到用户爱好 标签 。举个例子，只有知道文章标签是互联网，用户看了互联网标签的文章 ，才华 知道用户有互联网标签，其他关键词也一样。

另一方面，文本内容的标签可以直接资助 保举 特性 ，比如 魅族的内容可以保举 给关注魅族的用户 ，这是用户标签的匹配。假如 某段时间保举 主频道结果 不抱负 ，出现保举 窄化，用户会发现到具体 的频道保举 (如科技、体育、娱乐 、军事等)中阅读后 ，再回主feed,保举 结果 会更好 。由于 整个模子 是买通 的，子频道探索空间较小，更轻易 满意 用户需求。只通过单一信道反馈进步 保举 正确 率难度会比力 大 ，子频道做的好很紧张 。而这也必要 好的内容分析 。

上图是本日 头条的一个实际 文本case。可以看到，这篇文章有分类、关键词、topic 、实体词等文本特性 。固然 不是没有文本特性 ，保举 体系 就不能工作 ，保举 体系 最早期应用在Amazon,乃至 沃尔玛期间 就有，包罗 Netfilx做视频保举 也没有文本特性 直接协同过滤保举 。但对资讯类产物 而言，大部分 是斲丧 当天内容 ，没有文本特性 新内容冷启动非常困难，协同类特性 无法办理 文章冷启动题目 。

本日 头条保举 体系 重要 抽取的文本特性 包罗 以下几类。起首 是语义标签类特性 ，显式为文章打上语义标签。这部分 标签是由人界说 的特性 ，每个标签有明白 的意义 ，标签体系是预界说 的 。别的 尚有 隐式语义特性 ，重要 是topic特性 和关键词特性 ，此中 topic特性 是对于词概率分布的形貌 ，无明白 意义;而关键词特性 会基于一些同一 特性 形貌 ，无明白 聚集 。

别的 文本相似度特性 也非常紧张 。在头条，曾经用户反馈最大的题目 之一就是为什么总保举 重复的内容 。这个题目 的难点在于 ，每个人对重复的界说 不一样。举个例子，有人以为 这篇讲皇马和巴萨的文章，昨天已经看过雷同 内容 ，本日 还说这两个队那就是重复。但对于一个重度球迷而言，尤其是巴萨的球迷，恨不得全部 报道都看一遍 。办理 这一题目 必要 根据判定 相似文章的主题、行文、主体等内容 ，根据这些特性 做线上战略 。

同样，尚有 时空特性 ，分析内容的发生地点 以及时 效性。比如 武汉限行的事变 推给北京用户大概 就没故意 义 。末了 还要思量 质量相干 特性 ，判定 内容是否低俗 ，色情，是否是软文，鸡汤?

上图是头条语义标签的特性 和利用 场景。他们之间层级差别 ，要求差别 。

分类的目标 是覆盖全面，盼望 每篇内容每段视频都有分类;而实体体系要求精准，雷同 名字或内容要能明白 区分毕竟 指代哪一个人或物 ，但不消 覆盖很全。概念体系则负责办理 比力 正确 又属于抽象概念的语义 。这是我们最初的分类，实践中发现分类和概念在技能 上能互用，厥后 同一 用了一套技能 架构。

如今 ，隐式语义特性 已经可以很好的资助 保举 ，而语义标签必要 连续 标注，新名词新概念不绝 出现 ，标注也要不绝 迭代。其做好的难度和资源投入要宏大 于隐式语义特性 ，那为什么还必要 语义标签?有一些产物 上的必要 ，比如 频道必要 有明白 界说 的分类内容和轻易 明白 的文本标签体系 。语义标签的结果 是查抄 一个公司NLP技能 程度 的试金石。

本日 头条保举 体系 的线上分类采取 典范 的条理 化文天职 类算法。最上面Root，下面第一层的分类是像科技 、体育、财经、娱乐 ，体育如许 的大类，再下面细分足球、篮球 、乒乓球、网球、田径 、游泳...，足球再细分国际足球、中国足球 ，中国足球又细分中甲、中超 、国家队...，相比单独的分类器，利用 条理 化文天职 类算法能更好地办理 数据倾斜的题目 。有一些例外 是 ，假如 要进步 召回，可以看到我们毗连 了一些飞线。这套架构通用，但根据差别 的题目 难度 ，每个元分类器可以异构，像有些分类SVM结果 很好，有些要连合 CNN ，有些要连合 RNN再处理 惩罚 一下。

上图是一个实体词辨认 算法的case 。基于分词结果 和词性标注选取候选，期间大概 必要 根据知识库做一些拼接，有些实体是几个词的组合，要确定哪几个词连合 在一起能映射实体的形貌 。假如 结果 映射多个实体还要通过词向量、topic分布乃至 词频本身 等去歧 ，末了 盘算 一个相干 性模子 。

三、用户标签

内容分析和用户标签是保举 体系 的两大基石 。内容分析涉及到呆板 学习的内容多一些，相比而言，用户标签工程挑衅 更大。

本日 头条常用的用户标签包罗 用户感爱好 的种别 和主题 、关键词、泉源 、基于爱好 的用户聚类以及各种垂直爱好 特性 (车型 ，体育球队，股票等)。尚有 性别 、年龄 、地点 等信息。性别信息通过用户第三方交际 账号登录得到 。年龄 信息通常由模子 猜测 ，通过机型、阅读时间分布等预估。常驻地点 来自用户授权访问位置信息 ，在位置信息的底子 上通过传统聚类的方法拿到常驻点。常驻点连合 其他信息，可以推测用户的工作地点 、出差地点 、旅游地点 。这些用户标签非常有助于保举 。

固然 最简单 的用户标签是欣赏 过的内容标签。但这里涉及到一些数据处理 惩罚 战略 。重要 包罗 ：一、过滤噪声。通过停顿 时间短的点击，过滤标题党。二、热门 处罚 。对用户在一些热门文章(如前段时间PG One的消息 )上的动作做降权处理 惩罚 。理论上 ，传播 范围较大的内容，置信度会降落 。三 、时间衰减 。用户爱好 会发生偏移，因此战略 更方向 新的用户举动 。因此 ，随着用户动作的增长 ，老的特性 权重会随时间衰减，新动作贡献的特性 权重会更大。四、处罚 显现 。假如 一篇保举 给用户的文章没有被点击，相干 特性 (种别 ，关键词，泉源 )权重会被处罚 。固然 同时，也要思量 全局配景 ，是不是相干 内容推送比力 多，以及相干 的关闭和dislike信号等。

用户标签发掘 总体比力 简单 ，重要 还是 刚刚提到的工程挑衅 。头条用户标签第一版是批量盘算 框架 ，流程比力 简单 ，每天 抽取昨天的日活用户已往 两个月的动作数据，在Hadoop集群上批量盘算 结果 。

但题目 在于 ，随着用户高速增长，爱好 模子 种类和其他批量处理 惩罚 任务 都在增长 ，涉及到的盘算 量太大。2014年 ，批量处理 惩罚 任务 几百万用户标签更新的Hadoop任务 ，当天完成已经开始委曲 。集群盘算 资源告急 很轻易 影响别的 工作，会合 写入分布式存储体系 的压力也开始增大，而且 用户爱好 标签更新耽误 越来越高 。

面对 这些挑衅 。2014年底本日 头条上线了用户标签Storm集群流式盘算 体系 。改成流式之后 ，只要有效 户动作更新就更新标签，CPU代价比力 小，可以节流 80%的CPU时间 ，大大低落 了盘算 资源开销 。同时，只需几十台呆板 就可以支持 每天 数千万 用户的爱好 模子 更新，而且 特性 更新速率 非常快 ，根本 可以做到准及时 。这套体系 从上线不停 利用 至今。

固然 ，我们也发现并非全部 用户标签都必要 流式体系 。像用户的性别、年龄 、常驻地点 这些信息，不必要 及时 重复盘算 ，就仍旧 保存 daily更新。

四、评估分析

上面先容 了保举 体系 的团体 架构，那么怎样 评估保举 结果 好不好 ?

有一句我以为 非常有聪明 的话，“一个事变 没法评估就没法优化”。对保举 体系 也是一样。

究竟 上 ，很多 因素都会影响保举 结果 。比如 侯选聚集 变革 ，召回模块的改进或增长 ，保举 特性 的增长 ，模子 架构的改进在 ，算法参数的优化等等，不逐一 举例。评估的意义就在于，很多 优化终极 大概 是负向结果 ，并不是优化上线后结果 就会改进。

全面的评估保举 体系 ，必要 完备的评估体系、强大 的实行 平台以及易用的履历 分析工具 。所谓完备的体系就是并非单一指标衡量 ，不能只看点击率大概 停顿 时长等 ，必要 综合评估。已往 几年我们不停 在实行 ，能不能综合尽大概 多的指标合成唯一的评估指标，但仍在探索中。如今 ，我们上线还是 要由各业务比力 资深的同砚 构成 评审委员会深入讨论后决定 。

很多 公司算法做的不好 ，并非是工程师本领 不敷 ，而是必要 一个强大 的实行 平台 ，尚有 便捷的实行 分析工具，可以智能分析数据指标的置信度。

一个精良 的评估体系创建 必要 依照 几个原则，起首 是分身 短期指标与长期 指标。我在之前公司负责电商方向的时间 观察到，很多 战略 调解 短期内用户以为 奇怪 ，但是长期 看着实 没有任何助益 。

其次，要分身 用户指标和生态指标。本日 头条作为内容分创作平台，既要为内容创作者提供代价 ，让他更有尊严的创作，也有任务 满意 用户，这两者要均衡 。尚有 广告主长处 也要思量 ，这是多方博弈寂静 衡的过程 。

别的 ，要留意 协同效应的影响。实行 中严格 的流量隔离很难做到，要注不测 部效应。

强大 的实行 平台非常直接的长处 是 ，当同时在线的实行 比力 多时，可以由平台主动 分配流量，无需人工沟通 ，而且 实行 竣事 流量立即 采取 ，进步 管理服从 。这能资助 公司低落 分析本钱 ，加快 算法迭代效应，使整个体系 的算法优化工作可以或许 快速往前推进 。

这是头条A/B Test实行 体系 的根本 原理。起首 我们会做在离线状态下做好用户分桶 ，然后线上分配实行 流量，将桶里用户打上标签，分给实行 组。举个例子 ，开一个10%流量的实行 ，两个实行 组各5%，一个5%是基线 ，战略 和线上大盘一样，别的 一个是新的战略 。

实行 过程中用户动作会被搜集，根本 上是准及时 ，每小时都可以看到。但由于 小时数据有颠簸 ，通常是以天为时间节点来看。动作搜集后会有日记 处理 惩罚 、分布式统计、写入数据库，非常便捷 。

在这个体系 下工程师只必要 设置流量需求、实行 时间 、界说 特别 过滤条件 ，自界说 实行 组ID。体系 可以主动 天生 ：实行 数据对比、实行 数据置信度、实行 结论总结以及实行 优化发起 。

固然 ，只有实行 平台是远远不敷 的 。线上实行 平台只能通过数据指标变革 推测用户体验的变革 ，但数据指标和用户体验存在差别 ，很多 指标不能完全量化。很多 改进仍旧 要通过人工分析 ，庞大 改进必要 人工评估二次确认。

五、内容安全

末了 要先容 本日 头条在内容安全上的一些办法 。头条如今 已经是国内最大的内容创作与分发凭条，必须越来越器重 社会责任和行业领导 者的责任。假如 1%的保举 内容出现题目 ，就会产生较大的影响。

因此头条从创建 伊始就把内容安全放在公司最高优先级队列。创建 之初 ，已经专门设有考核 团队负责内容安全 。当时 研发全部 客户端 、后端、算法的同砚 一共才不到40人，头条非常器重 内容考核 。

如今 ，本日 头条的内容重要 泉源 于两部分 ，一是具有成熟内容生产本领 的PGC平台

一是UGC用户内容，如问答、用户批评 、微头条。这两部分 内容必要 通过同一 的考核 机制 。假如 是数量 相对少的PGC内容，会直接举行 风险考核 ，没有题目 会大范围保举 。UGC内容必要 颠末 一个风险模子 的过滤，有题目 的会进入二次风险考核 。考核 通过后 ，内容会被真正举行 保举 。这时假如 收到肯定 量以上的批评 大概 举报负向反馈 ，还会再回到复审环节，有题目 直接下架。整个机制相对而言比力 健全，作为行业领先者，在内容安全上 ，本日 头条不停 用最高的标准 要求本身 。

分享内容辨认 技能 重要 鉴黄模子 ，咒骂 模子 以及低俗模子 。本日 头条的低俗模子 通过深度学习算法练习 ，样本库非常大 ，图片、文本同时分析。这部分 模子 更注意 召回率，正确 率乃至 可以捐躯 一些。咒骂 模子 的样本库同样高出 百万，召回率高达95%+ ，正确 率80%+ 。假如 用户常常 出言不讳大概 不当 的批评 ，我们有一些处罚 机制。

泛低质辨认 涉及的环境 非常多，像假消息 、黑稿 、题文不符、标题党、内容质量低等等 ，这部分 内容由呆板 明白 黑白 常难的，必要 大量反馈信息，包罗 其他样本信息比对。如今 低质模子 的正确 率和召回率都不是特别 高 ，还必要 连合 人工复审，将阈值进步 。如今 终极 的召回已到达 95%，这部分 着实 尚有 非常多的工作可以做 。头条人工智能实行 室李航老师如今 也在和密歇根大学共建科研项目，设立谎言 辨认 平台。

　　永诺网络是一家专业为中小企业提供网络优化推广及营销服务的网络团队。提供营销型相应 式网站建立 （三站合一） 、网站SEO快速排名（不到首页就退款）、网站优化外包、网站建立 等企业服务 。 欢迎 拨打电话：15210008904（微信/QQ278477169）咨询营销推广相干 业务。