机器学习五要素 LR

C:\Users\justinsu\Desktop\temp\机器学习5要素\机器学习5要素\机器学习算法设计五要素_files\Image [2].png

作者:lambdaji

点击率预估模型,如果包括各个模型的变种,可能不下数十种,主流模型大概分几个流派:

  • 复杂特征+简单模型:以大规模离散LR为代表,学到的知识全部存储到模型
  • 简单特征+复杂模型:以GBDT,DNN为代表,学到的知识存储在特征和模型两个地方

不管哪一种都是就相对静态的,都是截取过去某一个时间片的规律来预测未来。潜在假设是过去时规律在未来同样有效,这种假设在现实面前还是too young too simple,sometimes naive。用户的行为影响推荐系统,推荐系统又反过来影响用户的行为,循环往复;除了模型自身的扰动,还有运营手段以及外部大环境的干扰,很多因素都在改变数据中的规律,模型刚上线效果非常好,运行一段时间之后慢慢变得不起作用。目前看到两条路尝试解决这个问题:

  • 一条路是“与时俱进”,更快的模型更新
  • 另一条路是引入博弈论强化学习对user-system交互行为进行更优雅的建模

综上,ctr预估的f(x)可以分 大规模离散LRDNN&Embedding,以及Reinforcement-Learing 三个分支,本文着重介绍大规模离散LR分支的两条演进路线:

1.非线性

--离散化

--特征变换:kernel,GBDT+LR

--交叉:FM,FFM,LASER

2.稀疏性

--L1:lasso

--L2:ridge

--L2-1:Elastic Net

参考资料:

[1] http://www.meihua.info/a/65329

[2] http://www.difangzhi.org/1375930.html

[3] http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html

[4] 海量数据下的非线性模型探索

[5] Coupled Group Lasso for Web-Scale CTR Prediction in Display Advertising

[6] Simple and scalable response prediction for display advertising

[7] LASER: A Scalable Response Prediction Platform For Online Advertising

[8] Computational Advertising: The LinkedIn Way

[9] Field-aware Factorization Machines for CTR Prediction

[10] Factorization Machines

[11] Factorization Machines with libFM

[12] Netflix winner solution PPT

[13] http://blog.csdn.net/zc02051126/article/details/54614230

[14] http://www.voidcn.com/blog/lujiandong1/article/p-6339162.html  fm = lr+embedding 与DNN联系起来

[15] https://mp.weixin.qq.com/s?__biz=MzIzOTU0NTQ0MA==&mid=2247485097&idx=1&sn=6dbc197e67e8a2ba3ee78786b13d894d&chksm=e9293ba6de5eb2b05ebb7646ae643fd5748f28f2dde6f27342a8b01e1c25aafe21f8d6b5539f&mpshare=1&scene=1&srcid=0615Bq9o2nTWrxUzs3q5hzIJ#rd mlr细节公开含paper

转载请注明:《 机器学习五要素 LR | 我爱计算机