研究热点1:推荐系统与深度学习
近几年深度学习的技术应用在语音识别、计算机视觉和自然语言理解等领域,取得了巨大的成功。如何将其应用到推荐系统是当前的研究热点。深度推荐系统现阶段的应用主要体现在如下三个层面:
提升表征学习能力。深度神经网络的优势在于其强大的表征学习能力。因此,一种最直接的应用是,利用深度学习技术从复杂的内容数据中学习出有效的隐因子特征表示,从而后续可以很方便地为推荐系统所用。
深度协同过滤。经典的矩阵分解模型可以被描述为一种非常简单的神经网络。我们可以通过拓展其中的结构,引入更多的非线性单元来加强推荐模型的功能。例如,在WWW 2017论文《Neural collaborative filtering》中,作者提出了加强版的矩阵分解模型。一方面,它弥补了两个隐向量的朴素点积操作不能区分各维度之间重要性差别的弱点;另一方面,它额外引入了一个多层感知机模块,用来引入更多的非线性操作。除此之外,自动编码机、卷积神经网络、记忆网络、注意力网络等深度学习相关技术也分别被应用在改进传统的协同过滤模型中,取得了不错的效果。
特征间的深度交互。企业级的推荐系统为了尽量提高模型的准确性,往往会使用丰富的、甚至异构的内容数据。这些特征从不同的维度展现了不同的信息,而且特征间的组合通常是非常有意义的。传统的交叉特征是由工程师手动设计的,这有很大的局限性,成本很高,并且不能拓展到未曾出现过的交叉模式中。因此学者们开始研究用神经网络去自动学习高阶的特征交互模式,弥补人工特征工程带来的种种局限性。这个层面相关的模型包括Wide&Deep、PNN、DeepFM、DCN、以及我们近期提出的xDeepFM模型(《xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems》,KDD 2018)等。
深度学习技术在推荐系统中的应用前景很广阔。下面简要介绍几个未来可能的研究方向
效率与可拓展性
对于工业界推荐系统而言,不仅需要考虑模型的准确度,运行效率和可维护性也是非常重要的方面。效率指的是当用户发来一个请求时,推荐系统能够以接近实时的速度返回结果,而不需让用户等待;可维护性指系统的部署简便,能够支持定期更新,或者增量式更新。众所周知,复杂神经网络的计算量是庞大的,如何将它们更高效地应用在超大规模的推荐平台上,是亟需解决的技术难点。
多样化数据融合
现实平台中,用户或者物品的数据往往是复杂多样的。物品的内容可以包括文本、图像、类别等数据;用户的行为数据可以来自多个领域,例如社交网络、搜索引擎、新闻阅读应用等;用户的行为反馈也可以是丰富多样的,例如电商网站中,用户的行为可能有搜索、浏览、点击、收藏、购买等。不仅如此,在这些不同的维度中,不同用户或物品的数据分布也千差万别;用户在不同的行为反馈上的数据量也不同,点击行为的数据量往往远大于购买行为的数据量。因此,单一、同构的模型是不能有效地处理这些多样化的数据的。如何深度融合这些复杂数据是一个技术难点。
捕捉用户长短期偏好
用户的偏好大致可以分为长期和短期两类。长期偏好往往指用户的兴趣所在,例如她是五月天的歌迷,那么未来很长时间她都会对五月天的歌曲、演唱会门票感兴趣;短期偏好指的是用户在当前环境下的即时兴趣,例如最近一周用户比较喜欢听抖音上的热门歌曲,那么推荐系统也应该捕捉到用户的这个兴趣,或者用户在未来一个月有搬家的打算,那么推荐系统可以适当地推送一些搬家公司的广告。目前一些流行的做法是,将循环神经网络与深度协同过滤技术结合,从而达到兼顾长短期记忆的功能。如何结合情境因素的影响,将用户的长期偏好与短期需求更紧密、有效地结合起来,也是一个研究热点。