概要　　YouTube所用于的引荐系统是现在最大规模的、最先进设备的业界的引荐系统之一。在这篇论文中，我们在较高层面上叙述这个系统，并重点注目了深度自学所带给的极大的性能提高。

本论文根据典型的两阶段信息检索的二分法（two-stage information retrieval dichotomy）分成两部分：首先，我们详细描述了一种深度候选分解模型（deep candidate generation model），接着叙述了一种分离出来的深度名列模型（deep ranking model）。通过设计、递归、确保一个具有巨量面向用户的影响的巨型引荐系统，我们还获取了简单的经验教训和看法。　　系统阐述　　我们的引荐系统的整体结构如图2右图。

系统由两个神经网络构成：一个用作候选分解，一个用作名列。其中候选分解网络从用户的YouTube活动历史中萃取事件作为输出，然后从一个大的视频库中检索出有一个小数据集（上百个视频）。

这些候选被指出一般来说与用户有很精准的相关性。这个候选分解网络仅有通过协同过滤器（collaborative filtering）获取普遍的个性化。用户之间的相似性可以通过粗粒度特征（例如视频观赏的ID、搜寻查找单词以及人口特征统计资料）传达。

　　一个引荐列表中经常出现的一些「最差」的引荐必须一种较好的密切相关，以在具备低解任亲率（recall）的候选集中于区分比较的重要性。名列网络通过用于一个叙述视频与用户的特征子集的希望目标函数来给每个视频评分，从而已完成名列的任务。

根据它们的分数，然后将最高分的视频展现出给用户。　　两阶段的引荐方法容许我们从一个相当大（数百万）的语料库中展开引荐，与此同时还仍有在设备上经常出现的少量视频是个性化的更有用户的内容。此外，这个设计需要和其他源分解的候选展开混合，例如在这一项早期工作[3]中叙述的。

　　在研发过程中，我们普遍地用于了非网络的指标（准确度、解任亲率、ranking loss）来引领我们的系统的递归改良。然而，为了最后测量一个算法或模型的效果，我们依赖于通过动态实验展开A/B测试。在一个动态实验中，我们能度量在点击率、观赏时间与许多度量用户参与度的指标中容易察觉到的变化。

这是十分最重要的，因为动态A/B测试结果不总是与离线实验有相关性。　　图2：引荐系统架构：候选视频通过「细管」状的流程从大量视频中被检索出来并展开名列，然后再行将其中一小部分展出给用户。　　图3：深度候选分解模型架构：映射的稠密特征是和密集特征联结在一起的。在级联（concatenation）将星型大小的稠密ID转换成合适隐蔽层输出的相同宽度的向量之前，映射被所取了平均值。

所有隐蔽层是全相连的。在训练中，用于采样的softmax的输入之上的梯度上升对交叉熵损失展开最小化。在服务中，用一个近似于最近邻（approximate nearest neighbor）查找分解数以百计的候选视频引荐。　　图4：对于一个等价的视频，模型用样本年龄（example age）作为一个特征训练，需要精准传达出有数据中的上载时间和倚赖时间的热门程度。

如果没这一特征，该模型不会在训练窗口近似于地预测平均值似然（average likelihood）。　　图5：给模型自由选择标签和输出上下文对离线评估来说很有挑战性，但是对动态性能有极大的影响。如图，实心圆点?是网络的输出特征，空心圆点?是被除去的。

我们找到在A/B测试上预测未来观赏（5b）的展现出更佳。如5b右图，样本年龄回应为tmax?tN，其中tmax是训练数据中的仅次于观测时间。

　　图6：刻画了映射的分类特征（还包括一价特征和多价特征）的深度名列系统架构，这些特征具有分享的映射和规范化的倒数特征的乘幂。所有层都是全相连的。

在实践中，必须给网络馈送数百个特征。　　结论　　我们叙述了我们用作引荐YouTube视频的深度神经网络架构，区分为两个有所不同的问题：候选分解与名列。　　我们的深度协同过滤器模型需要吸取很多信号并用于深度的层对它们的交互进行建模，其性能高于YouTube原本用于的矩阵分解成方法。

相比科学，自由选择引荐的代理问题（surrogate problem）更加看起来一门艺术；而且我们找到通过提供不平面的牵头观赏不道德（co-watch behavior）和防治未来信息的泄漏，对未来观赏的分类可以在动态评估中展现出较好。诱导来自分类器的判断信号也是取得好的结果的关键，否则模型将不会对代理问题过数值，无法很好地切换到主页。

　　我们找到用于训练样本的年龄作为输出特征，后移除了相对于过去的固有偏差（bias），并容许模型传达热门视频的时间倚赖不道德。这种改良的离线维持了准确亲率，同时在A/B测试中明显地减少了最近上载视频的观赏时间。　　名列是更加经典的机器学习问题，但是我们深度自学方法在性能上多达了之前对观赏时间预测的线性与基于树根的方法。

引荐系统特别是在获益于用户过去和事物之间的不道德这样专门的特征。深度神经网络必须对类别和倒数特征的类似密切相关，我们对其分别用于映射与分位数标准化（quantile normalization）展开转换。我们找到深度的层可以有效地对数百个特征的非线性交互建模。

　　逻辑重返（Logistic regression）根据给训练样本彰显权重展开改动，其中给观赏时间于是以样本，没观赏的是胜样本，从而让我们可以自学相似模型预期观赏时间的几率。这种方式比起于必要预测点击率，可以在观赏时间权重名列评估指标上展现出得相比之下更佳。

本文来源：博鱼APP官方网站-www.xjxrck.com