Domingos 《机器学习那点事儿》解读

中文原文由@刘知远 翻译

作者:老师木

晚上看了domingos的论文,是不是也吐槽呢,不吐槽不显得自己牛逼,对吧。想了多半天,其实很多都和他观点一样,有的在微博上也说过,要说点不一样的。我还在看这篇论文,大部分问题都想过,有些没想明白,有些我不赞同他的说法。Domingos论文敢于对有争议的话题发表自己看法,值得学习。

这篇文章能发到CACM,domingos一定是下了很大功夫的,而且一定有很权威的专家审稿。有些话题是老生常谈,譬如相关不意味着因果、维数灾难等。有些话题是树假耙子打,譬如简单不意味着准确率。有的话题有争议。当然可取之处也有很多,但我觉得意犹未尽,有些论题可以更深入,我在一年前想过。这篇文章的目的是practical lessons,这并不说明理论不重要,反而恰恰说明了理论重要,这是在理解了本质之后豁然开朗的结果。

Domingos在分析问题时,十分喜爱使用布尔变量,这是一个技巧,在computational learning theory中经常使用,简单直观直接揭示本质,计算机专业也喜欢离散不喜欢不连续。建议遇到问题时,多使用这种思路。有些结论矫枉过正,某结论大部分情况成立,domingos要抬杠举反例,这时候要注意,反例了解了解就可以,操作时还是要按保险的来。有可能会有人发论文反驳,特别是大数据情形。

把不好吃的皮剥掉,论文精彩之处来了,有一些例子:1)基于10w词汇的垃圾邮件过滤;2)从100w样例学习含有100个布尔变量的表达式;3)学习析取范式;4)pac的阐述;5)高维空间反直觉举例;6)xor学习;7)n位校验函数学习。

不足之处。用指数级模式规模揭示机器学习局限性不错,也提到了bless of ununiformity使学习成为可能,但浅尝辄止。Ununiformity是自然界普遍规律,正因为非均匀分布,世界才具有规律性,当一切变成均匀分布时,宇宙进入热寂,熵趋于极大。当然论文意在破而不是立。也可以分析更具体而不是这样玄乎。n个布尔变量可构成的模式数是2^n个,数量巨大,不过自然界模式形成是有规律的,布尔变量取0、1的概率非均匀,加上布尔变量间有概率依赖,使得有的模式概率远远大于另一些模式,有的模式构型甚至永不会出现,这种非均匀分布使得规律挖掘成为可能,压缩成为可能。

信息论中有个源编码定理,有个典范集的概念。1)以二值图像为例。n*n可以表示2^(n*n)种不同的图像,可涵盖世界上所有图像模式,不过当把所有模式打印出来时,人们会发现其中极小比例的模式是有意义的,真实存在的,而其中能被称作人脸的模式就更局限了。2)以语言为例。有一万个字,长度为10的句子空间是10^10000,其中有意义的句子差不多百万。大数据时代,完全可以枚举每一个句子。这意味着,大数据带来的机会是不须挖掘生成规律,仅表示观察结果已足够达到学习的目的,这是和人类不同的另一种智能。我觉得,非均匀这一点从立论来看是值得大书特书的。

另一个浅尝辄止的地方是对校验函数的学习,是采用扁平的svm还是多层结果,这实际涉及到deep learning的意义。研究布尔电路的人有一个结论,多层电路比扁平电路节省器件。当然这也是有条件的,对于自然界有意义的函数,具有自然的分层组织结构,使用分层描述当然更本质。但是否适合分层取决于数据,这一点在讨论deep learning时会细加论述。看到有些人,不分青红皂白,上来就deep,deep不是万能的。和XXOO类似….(此处略去若干字)

来源:www.guzili.com

转载请注明:《Domingos 《机器学习那点事儿》解读 | 我爱计算机

Leave a Reply

Your email address will not be published. Required fields are marked *

34 − 33 =