在海量的内容在满足了我们需求的同时，也使我们寻找所需内容更加困难，在这种情况下个性化推荐应运而生。

　　在当前这个移动互联网时代，除了专业内容的丰富，UGC内容更是爆发式发展，每个用户既是内容的消费者，也成为了内容的创造者。这些海量的内容在满足了我们需求的同时，也使我们寻找所需内容更加困难，在这种情况下个性化推荐应运而生。

　　个性化推荐是在大数据分析和人工智能技术的基础上，通过研究用户的兴趣偏好，进行个性化计算，从而给用户提供高质量的个性化内容，解决信息过载的问题，更好的满足用户的需求。

　　爱奇艺推荐系统介绍

　　我们的推荐系统主要分为两个阶段，召回阶段和排序阶段。

　　召回阶段根据用户的兴趣和历史行为，同千万级的视频库中挑选出一个小的候选集(几百到几千个视频)。这些候选都是用户感兴趣的内容，排序阶段在此基础上进行更精准的计算，能够给每一个视频进行精确打分，进而从成千上万的候选中选出用户最感兴趣的少量高质量内容(十几个视频)。

　　推荐系统的整体结构如图所示，各个模块的作用如下：

　　用户画像：包含用户的人群属性、历史行为、兴趣内容和偏好倾向等多维度的分析，是个性化的基石

　　特征工程：包含了了视频的类别属性，内容分析，人群偏好和统计特征等全方位的描绘和度量，是视频内容和质量分析的基础

　　召回算法：包含了多个通道的召回模型，比如协同过滤，主题模型，内容召回和SNS等通道，能够从视频库中选出多样性的偏好内容

　　排序模型：对多个召回通道的内容进行同一个打分排序，选出最优的少量结果。

　　除了这些之外推荐系统还兼顾了推荐结果的多样性，新鲜度，逼格和惊喜度等多个维度，更能够满足用户多样性的需求。

　　推荐排序系统架构

　　在召回阶段，多个通道的召回的内容是不具有可比性的，并且因为数据量太大也难以进行更加精确的偏好和质量评估，因此需要在排序阶段对召回结果进行统一的准确的打分排序。

　　用户对视频的满意度是有很多维度因子来决定的，这些因子在用户满意度中的重要性也各不相同，甚至各个因子之间还有多层依赖关系，人为制定复杂的规则既难以达到好的效果，又不具有可维护性，这就需要借助机器学习的方法，使用机器学习模型来综合多方面的因子进行排序。

　　排序系统的架构如图所示，主要由用户行为收集，特征填充，训练样本筛选，模型训练，在线预测排序等多个模块组成。

　　机器学习的主体流程是比较通用的，设计架构并不需要复杂的理论，更多的是需要对细节，数据流和架构逻辑的仔细推敲。

　　这个架构设计吸取了以前的经验和教训，在通用机器学习的架构基础上解决了两个问题：

　　训练预测的一致性

　　机器学习模型在训练和预测之间的差异会对模型的准确性产生很大的影响，尤其是模型训练与在线服务时特征不一致，比如用户对推荐结果的反馈会实时影响到用户的偏好特征，在训练的时候用户特征的状态已经发生了变化，模型如果依据这个时候的用户特征就会产生非常大的误差。

　　我们的解决办法是，将在线服务时的特征保存下来，然后填充到收集的用户行为样本中，这样就保证了训练和预测特征的一致性。

　　持续迭代

　　互联网产品持续迭代上线是常态，在架构设计的时候，数据准备，模型训练和在线服务都必须能够对持续迭代有良好的支持。

　　我们的解决方案是，数据准备和模型训练各阶段解耦，并且策略配置化，这种架构使模型测试变得非常简单，可以快速并行多个迭代测试。

　　推荐机器学习排序算法演进

　　上古时期

　　我们第一次上线机器学习排序模型时，选用了比较简单的Logistic Regression，将重点放到架构设计上，尽量保证架构的正确性。除此之外，LR模型的解释性强，方便debug，并且通过特征权重可以解释推荐的内容，找到模型的不足之处。

　　在模型训练之前，我们首先解决的是评测指标和优化目标的问题。

　　评测指标(metrics)

　　线上效果的评测指标需要与长远目标相匹配，比如使用用户的投入程度和活跃度等。在我们的实验中，业界流行的CTR并不是一个好的评测指标，它会更偏向于较短的视频，标题党和低俗内容。

　　离线评测指标是按照业务来定制的，以便与在线评测指标匹配，这样在离线阶段就能够淘汰掉无效策略，避免浪费线上流量。

　　优化目标(objective)