惊艳！AIWORLD2018世界人工智能大会开场视频
CVPR，计算机视觉乃至人工智能领域顶会中的顶会，“THE顶会”，接收的论文居然名不副实？
你说该不该撤稿？
明天，一条这样的消息在Reddit炸了锅。
事情是这样的，有人试着去复现了CVPR2018的一篇论文——CMU和德克萨斯州立学院的《PerturbativeNeuralNetworks》，发觉得不到作者在论文中所描述的结果，他觉得这表明论文作者估算有误，因而其结果无效，于是就在Reddit发贴（在他大前天向作者发短信但没有收到回复后）问众网友：
“我认为这篇论文该被撤稿。大家认为呢？”
#e:b:d:9:5:9:0:d:7:d:b:a:3:e:4:c:4:a:a:e:0:b:3:8:e:0:e:7:5:7:3:5#
“THE顶会”CVPR的同行评议居然出错？！
一石唤起千层浪。
由于这可不是随意哪篇上传到arXiv的预印版，而是经过了CVPR双盲评审的论文啊。连CVPR这样一等一的顶会都出错了，这还如何得了？
具体看，《PerturbativeNeuralNetworks》的作者在文中写道，现在计算机视觉的成功大多是因为前馈神经网路（CNN），而她们提出了一个简单有效的模块，称作“干扰层”（perturbationlayer），作为频域层的代替。干扰层不使用传统意义上的频域，而是将其响应估算为一个线性加权和，这个和是由降低的噪声干扰输入的非线性激活组成的。
#0:6:8:e:d:7:9:c:6:3:0:b:a:0:9:6:e:e:6:b:7:c:1:5:b:8:f:0:6:7:c:0#
PNN论文作者通过实验和剖析，表明干扰层可以有效地代替标准的频域层，之后她们将干扰层组成深度神经网路——干扰神经网路（PNN），并在一系列视觉数据集（MNIST，CIFAR-10，PASCALVOC和ImageNet）上与标准CNN进行比较，得出推论PNN的表现跟CNN一样好。
#0:0:e:e:b:4:2:a:3:f:c:a:e:6:4:1:e:f:7:d:d:5:5:6:4:0:c:a:f:e:a:a#
#4:2:b:7:a:8:2:a:4:1:0:6:0:4:b:5:2:d:0:4:a:a:a:4:a:0:8:b:8:e:0:e#
但“p1esk”，也就是在Reddit发言觉得该撤稿的那种人就不同意了，他觉得将3X3频域换成1X1再在输入中降低一些干扰，实际上并没有哪些意义。他的测试结果是这样的：
#1:d:d:d:2:7:4:5:0:e:3:c:c:1:9:0:0:3:4:c:7:f:d:c:a:6:f:6:a:0:1:9#
#9:e:f:3:6:5:8:5:a:6:e:f:1:0:4:f:f:c:7:9:6:f:4:3:a:5:0:8:3:6:f:f#
P1esk复现的结果，发觉PNN精度根本就没有到90%，只有85%左右
其实，p1esk也给出了他详尽的实现过程，具体可以去看Github页面（见文末）。
论文该不该撤？都是公开代码惹的祸
好，回到最开始讨论的是否该撤稿问题上来。
网友的意见大致可以分为三类：
不用撤，既然作者都把代码公开了，即便是无心之过，只要将错误改过来就好了；
撤！有错误其实撤，除了这般，之后还应当规定所有论文递交时都必须公开代码，除了论文要评审，连代码也要一并初审；
先把撤稿的事放到一边：（双盲）评审过程本身并不涉及代码的初审，就好象生物学领域的论文不会在审稿期间去重复实验，也难以做到一一核查代码，原先就是论文发表后，由其他同行来复现，由此判定其推论是否禁得起科学论证。
你有没有发觉，讨论的重点实质上早已从“撤稿”转移到了“公开代码”上面。
p1esk为什么能发觉PNN论文结果与作者描述得不一致？由于PNN论文的作者将代码公开了。倘若不公开，连发觉这个不一致的机会都没有。
因而，也有人评论，说不定这就是个别论文不公开代码的缘由呢。
这些看法得到了不少赞成，不少人表示，对啊对啊，这比这些说了会公布代码但却始终不公布的人要很多了。
而代码公开，实际上仍然是深度学习领域的老大难问题。
有的产业研究机构不太希望公开代码，由于涉及到专利或产品。
深度学习是现今研究复现率最低的领域之一，正如上海学院计算机系院长、人工智能大学教授中提及的那样：
“常用神经网路的同事晓得，如今深度神经网路有好多问题。你们常常说的一件事情就是要花大量的精力调整参数，参数实在太多了。
“不仅这么，这就会带来另外一个严重的问题：哪怕我告诉你同样的算法、用同样的数据，倘若不告诉你参数是如何调的，可能就没有办法得到同样的结果。”
#9:8:a:c:5:7:7:5:f:b:c:4:6:9:c:0:2:4:7:3:3:1:5:7:6:d:2:9:f:c:b:b#
作者回应：正在检测，偏差太会议主动撤稿
如今，Reddit这条讨论里被赞最多的回复，来自PNN论文的作者。
您好，我是这篇论文的第一作者。我们在大概3周前注意到了这个问题，现今正在调查中。我很谢谢Michael对PNN论文的实现，并将他发觉的问题告诉给了我们。我们希望彻底剖析问题，而且得到100%确定的结果，然后再给出进一步的回复。
我们可视化工具中平滑函数的默认设置有误，这是我们疏漏了，如今已然修补。我们正在重新运行所有的实验。我们会用最新的结果更新我们的arXiv的论文和Github库。假如剖析表明我们的结果确实跟递交CVPR的版本中相差好多，我们会撤回这篇论文。
话虽这么，按照我的初步评估，假如他在实现的时侯正确选择#filters、噪音水平和优化方式，我眼下才能在CIFAR-10上达到大概90％~91％的精度，而不是他选上述参数得到的85％~86％。并且，不做进一步检测，我不想说更多。
大部份网友都觉得这是一个合理的回复。
那既然作者都这样说了，围观人等就退去吧？
你是不是忘了，最根本的代码公开还没有得到推论呢！
假如深度学习和人工智能真的要成为一门科学，这么就必须符合科研的标准。现在，代码开源以及复现实验的呼声越来越高，这也是领域健康发展的证明。
注重论文可重复性，让深度学习成为一门科学
ICLR在今年举行了一个“研究复现挑战赛”，明天刚才公布了第二届的消息。在这个复现挑战赛中，参赛者从2019年ICLR递交的论文中任意选择一篇，之后尝试复现论文中描述的实验。目标是评估实验是否可重复，并确定你的发觉是否支持该论文的推论。
#2:4:8:d:f:8:6:3:9:3:c:3:a:d:6:3:9:7:f:6:8:2:2:4:6:0:e:e:e:2:5:0#
参赛者的结果可以是肯定的（即确认可重复性），也可以是负面的（即说明未能复现实验内容，并给出可能的诱因）。
举行这样的大赛，就是为了让更多的人，尤其是中学生，加入到论文初审的工作中来，同时也提高其对论文可重复性重要性的意识。
假如你乐意，明天就报考，为将深度学习变为一门科学而努力吧：
~jpineau/ICLR2019-ReproducibilityChallenge.html
相关论文
PNN：
PNN复现Github：
