理想的机器学习书

作者:老师木

首先先简单写点吴军《数学之美》和李航《统计机器学习原理》的书评,然后再谈我心中理想的机器学习书。

我买了一本吴军的《数学之美》,这是一本不错的科普书,特色是作者与很多传奇人物有过交往,能讲一些他们的八卦。但原理介绍方面,还是有一些瑕疵。1)最大熵、LR、CRF这三个算法本是一个道理,却分散在三章中介绍,而且也没有指出他们的联系;2)动态规划在全书中有好几处应用:地图搜索、维特比算法、HMM、CRF等,同样一个算法分散介绍也不突出他们的内在联系;3)“聚类”和“分类”混用;4)“不可计算”是一个与NP-COMPLETTE不同的概念。

吴军在讨论“规则与统计”,以及对阿米特-辛格之简单哲学的吹捧,显得很没境界。哪个流派称为显学,哪个没落,十年河东,十年河西而已,历史上这样的故事发生了很多次了。而且他在讨论“规则与统计”时捧统计抑规则,而在讨论艾米特辛格简单哲学时,捧规则抑统计,不知他信仰到底是什么?

李航的书对LR与MaxEnt之间的关系介绍得也不够理想。应引入指数族分布,给定一些约束求最大熵分布,数学结果是指数族分布;且参数结果与已知分布为指数族时的最大似然解等价。具有广泛实例的指数族竟是最大熵原理的自然结果,让人感叹自然界的奇迹,也内心欣赏这样一个连定理都称不上的原则的神奇。

机器学习书,数学的严谨当然不可少,但只堆公式还不够,若看公式直接找论文就可以了,没必要看书。

物理意义。一定要给每一个数学结论都赋予物理意义。来龙去脉,给出每一个重要发展的来龙去脉、历史渊源或者八卦背景,学术点叫motivation。只有了解这些才能融会贯通,历史地理解一个方法或理论的地位、局限性等。

每一个问题的最好说明方式。有很多艰深的理论,极难理解,但总有各种著作有自己的阐述方式,写作者要了解这些已有的阐述方式,并判断哪种方式最绝妙,若不存在已有的好的方式,则要自己创造,只要作者理解深刻,一定能找到简单的说明方式。

深度和广度。不只是罗列算法,对领域内最深刻的问题不能逃避,计算学习理论有两本教材,翻过的人会知道这些基本的东西都不难理解。广度,机器学习所涉及的随机、矩阵、优化自然少不了,人工智能、信号处理。信息论中胡同的方法和理论也要拿来举一反三,心理学、脑科学。哲学问题也要大胆讨论。

实在。要传达给读者最有用的理念,理论是帮助人认识问题的,不是唬人的,必须向读者说明某某东西说白了就是什么。对介绍的东西不要一味吹捧,必须有批判。作者不能纸上谈兵,必须有丰富的实战经验。

综合。各种理论,算法直接的联系,使读者学会一个就轻松了解另一个。已有书在这个方向上努力了,但还不够。

现在有书达到这个要求了吗?都只是部分达到。这些要求太高了,除非作者把写书当作事业。ESP、PRML都是经常被推荐的书。李航的书可取之处是重要的结论都有推导,还给出一个很简单的例子一步一步手算。

现在有一本Kevin Murphy出了一个 Machine Leaning:a probabilistic perspective,这本书不错,我写过一句话评论:complete but not comprehensive enough。 有些独特的东西,以后再谈。

来源:www.guzili.com

转载请注明:《 理想的机器学习书 | 我爱计算机

Leave a Reply

Your email address will not be published. Required fields are marked *

1 + 6 =