Hinton那些事儿


hinton

初稿译者:@龙星镖局

友情指导:@winsty@妖僧老馮, @jarszm@潘布衣

郑重声明:本文素材是Yann LeCun 收集整理,英文链接。虽然是简单的翻译,但本文没有机器学习领域的深厚知识是领会不到精髓的。由于知识水平和美国文化理解不够,文中仍有多处自觉没有真正体会LeCun的幽默。欢迎大家能继续批评指正。译文中若有不当之处,是译者水平有限所致,跟指导者没有任何关系。

第0条

Radford Neal:我不觉得贝叶斯是解决所有问题的最好方法。Geoff Hinton:我完全听不到你在胡扯什么,因为我对你说这句话的先验为0.

Radford Neal: I don't necessarily think that the Bayesian method is the best thing to do in all cases... Geoff Hinton: Sorry Radford, my prior probability for you saying this is zero, so I couldn't hear what you said.

备注:先验是贝叶斯理论的一个关键环节,判读一个事情是否成立的后验概率等于似然(类条件概率)乘以先验。由于Hinton说先验为0,所以就等于说Neal说的东西基本就是胡扯了。另外一种可能,Hinton对贝叶斯这一套似乎一直也有点不太满意,Neal忽然说贝叶斯没那么好,他可能很惊讶这种论调,终于有人能和他一样见解了。

第1条

Hinton不需要隐藏单元,因为当他靠近时隐藏单元会自己藏起来。

Geoff Hinton doesn't need to make hidden units. They hide by themselves when he approaches.

备注:隐藏层是深层神经网络的中间层,起到学习feature的关键作用。这里暗指Hinton玩转了深度学习,不需要隐藏层就能起到数据变换的效果。[潘布衣]将approaches直译出来会更生动,会显得更神奇。

第2条

Hinton不是不同意你,只是跟你稍有差异。

Geoff Hinton doesn't disagree with you, he contrastively diverges (from Vincent Vanhoucke)

备注:contrastively diverges缩写为CD,中文翻译为“对比散度”。[妖僧老馮]contrastively diverges 是图模型中的一种对梯度的逼近方法,深度学习中仅在RBM/DBN这类中有用到,由于目前RBM/DBN已经不大用了所以。。。[龙星镖局]也可理解为“暗指很少同意人”?

第3条

深度信念网络确实对Hinton深信不疑。

Deep Belief Nets actually believe deeply in Geoff Hinton.

备注:Deep Belief Nets是深度学习里的一类算法统称,这里算法相信人,暗指Hinton在深度学习领域的超级影响力。一个形象的比喻:中国人爱说有钱能使鬼推磨,有时为了强调钱的作用,还可以说有钱能使磨推鬼。这里就是强调Hinton之于深度学习的作用。

第4条

Hinton发现了人脑是如何工作的。哦,确切地讲,是过去25年来每年都会发现一次。

Geoff Hinton discovered how the brain really works. Once a year for the last 25 years.

备注:学界经常拿人脑工作机制来解释深度学习是如何work的,这也是Hinton说自己研究的东西牛逼的主要例证,但人脑机制一直是悬而未决的研究课题,此处略有嘲讽他乱扯人脑的意思。

第5条

马尔可夫随机场确信Hinton是难缠的。

Markov random fields think Geoff Hinton is intractable.

备注:马尔可夫随机场做精确推断已被证明是#P问题,比NP问题还要难的一类。此处暗指Hinton也是个难缠的家伙。

第6条

如果你胆敢挑战Hinton,他分分钟就能把你的熵最大化。你的自由能甚至在你到达平衡前就会消失。

If you defy Geoff Hinton, he will maximize your entropy in no time. Your free energy will be gone even before you reach equilibrium.

备注:最大熵原理简单来说各种情形都有可能发生,此处表示让人怀疑自己所确信的。自由能和能量平衡则是RBM(受限波尔滋曼机)的基本概念。这句话暗指Hinton这个大权威被你挑战时,会给你点color see see。

第7条

Hinton能让你的肠子悔青。

Geoff Hinton can make you regret without bounds.

备注:bound是机器学习研究中理论分析算法work的重要参考指标,在英语里有“边界/边疆”的意思。without bounds有点“Hinton说啥就是啥,根本不需要证明”的意思。

第8条

Hinton能让你轻松减肥(是你的体重,遗憾的是不是我的)。

Geoff Hinton can make your weight decay (your weight, but unfortunately not mine).

备注:weight decay是机器学习里一个重要概念,是正则项/dropout等有效的工作原理,在英语里则有减肥的意思。括号里则是Yann LeCun自嘲的话,因为他自己很早就是一个大胖子了,据说一直想减肥但一直未成功。

第9条

Hinton不需要支持向量,因为他可以用小拇指撑起高维超平面。

Geoff Hinton doesn't need support vectors. He can support high-dimensional hyperplanes with his pinky finger.

备注:支持向量是SVM(支持向量机)分界面上的样本点,也可以认为是SVM划分分类面的决定因素。此处有Hinton对SVM不屑一顾的意思。

第10条

可能有人还不知道Hinton接触贝叶斯派时内心其实是认为他们是有罪的。

A little-known fact about Geoff Hinton: he frequents Bayesians with prior convictions (with thanks to David Schwab).

备注:[winsty] 这里可能暗指统计学里的frequenist 和 bayesian学派。这里的意思应该是说通过prior conviction将贝叶斯频率化派,往往prior是soft的,这里用conviction这个词感觉是说只相信prior不管likelihood。[妖僧老馮]这里的frequents的双关意思是接近(动词)。hinton不大信贝叶斯这套玩意,所以这句话的双关的意思是hinton接近这帮贝叶斯学者的时候内心已经认为他们有罪。

第11条

所有敢接近Hinton的核函数醒来时都会很纠结。

All kernels that ever dared approaching Geoff Hinton woke up convolved.

备注:核函数是支持向量机处理非线性的重要手段,支持向量机和深度学习长期两派,相互打压。convolved在深度学习里是卷积,大众使用时也有点沮丧/纠结的意思。

第12条

大多数农场通常都会被美丽的原野环绕。Hinton的农场则是在一个超级大平原上,被一个破旧的农田围绕着,谷仓里还堆满了谷子粒。

Most farmhouses are surrounded by nice fields. Geoff Hinton's farmhouse lies in a hyper-plain, surrounded by a mean field, and has kernels in la grange.

备注:此句有多处双关,hyper-plain, mean field, kernels, lagrange都是机器学习里的概念,同时又分别对应英语里的“平原”,“破旧的农田”,“谷粒”,而La grange对应法语里的“谷仓”。[winsty] 应该是说Lagrangian form的SVM可以推导出kernel trick。[Jarszm] kernel双关谷粒,还用了一个法语梗,把Lagrange拆成la grange是法语里“那个谷仓”的意思

第13条

Hinton用过的唯一的一个kernel就是事实本身。

The only kernel Geoff Hinton has ever used is a kernel of truth.

备注:kernel of truth, 英语解释为A singular element of truth,大致相当于中文里的“真理”。

第14条

一碰到Hinton,支持向量就精神失常了,并且最佳分割面也不灵光了。

After an encounter with Geoff Hinton, support vectors become unhinged and suffer optimal hyper-pain (with thanks to Andrew Jamieson).

备注:一般认为经典的SVM使用的是hinge loss,而unhinged对应英语里精神失常。此处有用到了SVM和神经网络的恩恩怨怨作梗,又黑了一把SVM。

第15条

Hinton举一反三的能力是无边无际的。

Geoff Hinton's generalizations are boundless.

备注:generalization是机器学习评估模型在新样本上的表现(泛化能力)的重要指标,在英语里则可对应中文里“举一反三”的泛化能力。而bound则是机器学习中理论上分析算法work的重要概念,在英语里则对应无边际的意思。这句有点在说Hinton老爷子也很扯的意思。

第16条

Hinton直接跳到第三代贝叶斯了。

Geoff Hinton goes directly to third Bayes.

备注:贝叶斯领域一直有人在研究,但Hinton对贝叶斯不太感冒,这里说Hinton直接用第三代了,在黑bayes的同时,也暗指Hinton已经成精了。

第17条

永远不要打断Hinton讲话,否则你只能默默承受讨价还价带给老爷子的愤怒了。

Never interrupt one of Geoff Hinton's talks: you will suffer his wrath if you maximize the bargin。

备注:maximize the bargin 是暗指SVM的最大间隔么?在英语里则是讨价还价的意思。这句话又用到了SVM和神经网络的梗,大概就是说少在老爷子面前提SVM,要不然愤怒给你看。

特别声明:感谢微博上所有好友的建议和评论,收益很多。

转载请注明:《Hinton那些事儿 | 我爱计算机

Leave a Reply

Your email address will not be published. Required fields are marked *

87 − = 86