【推荐引擎】无推荐不APP，阿里云推荐引擎
发布时间：2016-09-05 11:08

关于阿里云推荐引擎解决方案请点击【推荐引擎】阿里云推荐引擎针对行业解决方案随着互联网规模不断扩大，商品、音乐、电影、广告资讯的个数和种类快速增长，顾客需要花费大量的时间才能找到自己想要的东西。个性化推荐则是建立在海量数据挖掘基础之上，为顾客提供完全个性化的决策支持和信息服务。

推荐之路

随着移动互联网的发展，顾客的行为发生了明显的变化，过去在PC时代，顾客的浏览习惯是进来搜索，分类导航，但如今在移动端，只有搜索，没有分类，因为整个无线浏览不是一层层点击下去，而是划屏下去。无线的发展同时带来了推荐的大爆发，尤其是用了数据的个性化推荐，带来很多的精准转化。

当然，除了解决移动端用户体验的问题外，个性化推荐的能力还被会成为APP的商业价值。尤其是媒体资讯的行业，不仅比拼内容的来源丰富，还要对比对海量数据实时推荐、精准推荐的技术能力。

无处不在的推荐

在个性化需求强烈的行业上，很多巨头都走在最前面。

比如亚马逊，随着零售市场的丰富化和越来越细分的类目，用户对商品选购这件事情越来越头疼，同样电商网站也在头疼如何在有限的产品页面提供对用户最有效的信息。亚马逊最早使用个性化推荐来构建千人千面的电商页面，减少了自身的运营成本的同时，也使得众多顾客成为亚马逊的忠实客户。

再比如Netflix，75%的视频观看和推荐系统有关。为了提升推荐效果，Netflix来举办了专门的推荐算法大赛，邀请全世界学术界的大牛来推动推荐算法的发展。

Facebook同样也是个性化推荐的受益者。推荐算法支撑着Facebook可以为几亿人找到他们想看的咨询，新闻，兴趣小组。

三大特点：基于业务需求的排序功能

推荐引擎提供Learning to rank 的算法模块。在用户特征和物品特征提取完成后，再根据业务目标，筛选训练样本，训练排序模型，应用在离线在线排序中。然后通过配置多个场景，实现在每个推荐位上面的单独优化。比如首页推荐场景，可以用点击率来训练排序模型；详情页场景，可以通过看了又看来训练。

三大特点：实时/准实时修正

推荐引擎支持对推荐结果做实时/准实时修正，下面列举了两个典型算法：

①.新增物品实时推荐（图例上半部）

离线： 物品聚类，得到聚类特征->计算用户对物品聚类的偏好->计算simhash-聚类特征的倒排索引

在线： 新增物品在线抽取特征，计算归属的聚类->利用用户对物品聚类的偏好实时推荐

·利用bandit策略增加新物品的曝光机会。

·通过控制聚类数目，来平衡推荐精度和广度。

②.基于实时日志的用户特征修正 （图例下半部)

获取用户行为->利用行为因子生成用户特征修正量->利用压缩矩阵压缩特征修正量，最终修正用户特征。

长处：强大的外围扩展能力

推荐引擎拥有强大的外围扩展能力，具体体现在两个方面：

·推荐引擎支持离线算法、在线算法、近线算法的自定义，客户可以根据自己的数据情况来定义自己算法。比如音乐特征数据，可以开发自己的特征提取算法，把音乐频谱数据应用在推荐系统中。

·推荐引擎使用的MaxCompute是阿里云很多数据应用的基础组件。所以在推荐引擎里面计算得到的模型，可以无需修改应用到其他服务中去。推荐产生的离线数据也可以直接用于人群筛选，人群建模等大数据BI场景。同样的，因为底层都是MaxCompute，机器学习平台PAI训练得到的数据模型也可以应用在推荐引擎中。

如何应对常见推荐问题?

·Exploration & Exploitation（精准度和新颖性的权衡）

推荐引擎在线计算中大量应用bandit方法来达到更好的平衡。因为推荐要解决的一个很重要问题就是排序，而且在新品过来的时候，我们没有对于它的先验知识，在这种情况下怎么选择推荐结果。 最流行的UCB bandit算法是这么解决的：

其中加号前面是这个item到目前的收益均值，后面的叫做bonus，本质上是均值的标准差，t是目前的试验次数，Tjt是item被选中的次数。这个公式反映：均值越大，标准差越小，被选中的概率会越来越大，起到了exploit的作用；同时哪些被选次数较少的item也会得到试验机会，起到了explore的作用。

·冷启动问题

推荐引擎在每个计算阶段都有处理冷启动问题的解决方案，离线通过计算热门推荐来做补全。在线通过物品聚类和新品特征抽取，来做新品推荐。近线通过实时获取用户行为日志，推荐用户之前有行为的物品及其相关物品等。

概念理解：

1、推荐引擎

是在阿里云计算环境下建立的一套推荐服务框架，目标是让广大中小互联网企业能够在这套框架上快速的搭建满足自身业务需求的推荐服务针对行业的解决方案

2、大数据计算服务(MaxCompute，原名ODPS)

是一种快速、完全托管的TB/PB级数据仓库解决方案。更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

3、公众趋势分析

基于全网公开发布数据、传播路径和受众群体画像，利用语义分析、情感算法和机器学习，分析公众对品牌形象、热点事件和公共政策的认知趋势。