机器之心收拾
参加：杜伟、一鸣
本周的论文既有周志华有关深度森林的新论文和Jeffery Dean机器学习开展研讨总述，也有华为和DeepMind的学术之争。
目录：
Multi-label Learning with Deep Forest
Unifying machine learning and quantum chemistry with a deep neural network for molecular wavefunctions
The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design
CenterMask : Real-Time Anchor-Free Instance Segmentation
Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
EfficientDet: Scalable and Efficient Object Detection
α^α-Rank: Practically Scaling α-Rank through Stochastic Optimisation
论文 1：Multi-label Learning with Deep Forest
作者：Liang Yang、Xi-Zhu Wu、Yuan Jiang、Zhi-Hua Zhou
论文链接：https://arxiv.org/pdf/1911.06557.pdf
摘要：在多标签学习范畴，每个实力都和多个体现相关联，因而最重要的使命是怎么让构建的模型学到标签联系。深度神经网络通常会联合嵌入特征和标签信息到一个隐式空间，用于开掘体现联系。可是，这一办法能够成功是因为对模型深度的精确挑选。深度森林是近来依据集成树模型的深度学习结构，不依赖反向传达。研讨者采用了深度森林算法用于处理多标签问题。因而，他们规划了 MLDF 办法，包含两个机制：重复运用衡量感知特征和衡量感知层增加。衡量感知特征重复运用机制能够依据置信度从头运用之前层运用过的好的特征。而衡量感知层增加机制则确保 MLDF 会依据功能瓶颈逐步提高模型的杂乱度。MLDF 一起处理了两个问题：一个是操控模型杂乱度以削减过拟合问题，另一个是依照每个用户需求优化功能点评，因为在多标签学习点评中有许多不同的衡量规范。试验阐明，研讨者提出的办法不仅在基准测验的 6 个点评规范上胜过了其他办法，还具有多标签学习中标签联系开掘和其他不错的特性。
图 1：多标签深度森林算法（NLDF）。每个层集成两个不同的森林（上部的黑色和下部的蓝色）。
衡量感知特性重复运用的算法图示。
衡量感知层增加的图示。
引荐：近来，南大周志华等人初次提出运用深度森林办法处理多标签学习使命。该办法在 9 个基准数据集、6 个多标签衡量方针上完结了最优功能。
论文 2：Unifying machine learning and quantum chemistry with a deep neural network for molecular wavefunctions
摘要：经过对依据量子化学核算的化学空间进行大规模探究，机器学习能够促进化学和材料科学的开展。尽管这些机器学习模型能够对原子化学特点进行快速和精确的猜测，但却无法显式地捕获到分子的电子自由度，由此约束了它们对反响化学和化学分子的适用性。在本文中，研讨者提出了一种深度学习结构，用于在原子轨道部分基中猜测量子力学波函数，然后能够推导出其他基态性质。经过类力场功率下的波函数，这种办法能够持续彻底拜访电子结构，并以一种剖析上可微的表征捕获到了量子力学。在罗列的几个比如中，研讨者证明这将为针对电子功能优化的分子结构逆向规划供给有出路的办法，并为增强机器学习和量子化学之间的协同供给明晰的开展路途。
量子化学与机器学习的协同。a 标明前向模型，机器学习依据参阅核算猜测化学功能；b 标明混合模型，机器学习猜测波函数。
引荐：本文作者经过一个新颖的深度学习结构，进一步探究了机器学习在量子化学范畴的效果，刊登在了《Nature Communications》上。
论文 3：The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design
作者：Jeffery Dean
论文链接：https://arxiv.org/abs/1911.05289
摘要：曩昔十年咱们见证了机器学习的明显前进，特别是依据深度学习的神经网络。机器学习社区也一直在测验构建新模型，用于完结具有挑战性的作业，包含运用强化学习，经过和环境进行交互的办法完结难度较大的使命，如下围棋、玩电子游戏等。机器学习对算力的需求无疑是巨大的，从核算机视觉到自然语言处理，更大的模型和更多的数据往往能够取得更好的功能。在摩尔定律年代，硬件前进带来的算力增加姑且能够很好的满意机器学习的需求，但当摩尔定律被榨干后，怎样让硬件中的算力资源被机器学习模型充沛的运用成了下一个需求讨论的问题。
摩尔定律和后摩尔定律年代的核算需求增加态势，其间自 1985 年至 2003 年，通用 CPU 功能每 1.5 年提高一倍；自 2003 年至 2010 年，通用 CPU 功能每 2 年提高一倍；而 2010 年今后，通用 CPU 功能估量每 20 年才干提高一倍。
AlexNet、GoogleNet、AlphaZero 等重要的机器学习网络架构以及它们的核算需求增加态势。
自 2009 年以来，机器学习相关 Arxiv 论文宣布数量的增加态势（蓝）和摩尔定律增加率（红）。
引荐：深度学习和硬件怎样结合？Jeff Dean 长文介绍了后摩尔定律年代的机器学习研讨开展，以及他对未来开展的新趋势的猜测判别。
论文 4：CenterMask : Real-Time Anchor-Free Instance Segmentation
作者：Youngwan Lee、Jongyoul Park
论文链接：https://arxiv.org/abs/1911.06667
摘要：在本文中，来自韩国电子通讯研讨院（ETRI）的两位研讨者提出了一种简略却高效的无锚点实例切割办法，被称为 CenterMask，该办法将一个新颖的空间留意力导向 mask（SAG-Mask）增加进 anchor-free 单级方针检测器中（FCOS），后者与 Mask R-CNN 相同。通 SAG-Mask 分支嵌入到 FCOS 方针检测器中，它可经过空间留意力地图来每个框上猜测切割掩码，然后有助于切割掩码。此外，研讨者还展现了一种功能提高的 VoVNetV2，它有以下两种有用战略：增加残差连削弱接以缓解更大 VoVNet 的饱满问题；运用有用的揉捏-鼓励（effective Squeeze-Excitation，eSE）处理原始 SE 的信息丢失问题。借助于 SAG-Mask 和 VoVNetV2，研讨者规划了别离针对大模型和小模型的 CenterMask 和 CenterMask-Lite。其间 CenterMask 的功能优于当时一切的 SOTA 模型，并且速度较这些模型更快；CenterMask-Lite 也完结了 33.4% 的 mask AP 和 38.0% 的 box AP 成果，并在 Titan Xp 显卡上以 35fps 的速度别离超出了当时 SOTA 模型 2.6% 和 7.0% 的 AP gain。研讨者期望 CenterMask 和 VoVNetV2 能够别离作为各种视觉使命上实时实例切割和主干网络的牢靠基线。
CenterMask 架构。
CenterMask 与其他办法在 COCO tes-dev2017 数据集上的实例切割和检测功能比照。
引荐：论文作者称「CenterMask 的功能优于当时一切的 SOTA 模型，并且速度较这些模型更快」，切割精度也打败了从前一切的 State-of-the-art！
论文 5：Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
作者：Julian Schrittwieser、Ioannis Antonoglou、Thomas Hubert 等
论文链接：https://arxiv.org/pdf/1911.08265.pdf
摘要：依据前向查找的规划算法现已在 AI 范畴取得了很大的成功。在围棋、国际象棋、西洋跳棋、扑克等游戏中，人类国际冠军一次次被算法打败。此外，规划算法也现已在物流、化学合成等许多实际国际范畴中产生影响。可是，这些规划算法都依赖于环境的动态改变，如游戏规矩或精确的模拟器，导致它们在机器人学、工业操控、智能助理等范畴中的运用受到约束。最受欢迎的办法是依据无模型强化学习的办法，即直接从智能体与环境的交互中估量优化战略和/或价值函数。但在那些需求精确和杂乱前向查找的范畴（如围棋、国际象棋），这种无模型的算法要远远落后于 SOTA。在新的研讨中，DeepMind 联合伦敦大学学院的研讨者提出了 MuZero，这是一种依据模型的强化学习新办法。研讨者在 57 个不同的雅达利游戏中评价了 MuZero，发现该模型在雅达利 2600 游戏中达到了 SOTA 体现。此外，他们还在不给出游戏规矩的情况下，在国际象棋、日本将棋和围棋中对 MuZero 模型进行了评价，发现该模型能够对抗 AlphaZero 逾越人类的体现，并且，在该试验中，AlphaZero 提早获知了规矩。
图 1：用一个练习好的模型进行规划、举动和练习。（A）MuZero 运用其模型进行规划的办法；（B）MuZero 在环境中发作效果的办法；（C）MuZero 练习其模型的办法。
表 1：雅达利游戏中 MuZero 与从前智能体的比照。研讨者别离展现了大规模（表上部分）和小规模（表下部分）数据设置下 MuZero 与其他智能体的比照成果，标明 MuZero 在平均分、得分中位数、Env. frames、练习时刻和练习过程五项评价方针（红框）取得了新的 SOTA 成果。
引荐：DeepMind 近期的一项研讨提出了 MuZero 算法，该算法在不具备任何底层动态常识的情况下，经过结合依据树的查找和学得模型，在雅达利 2600 游戏中达到了 SOTA 体现，在国际象棋、日本将棋和围棋的精确规划使命中能够对抗 AlphaZero，乃至超过了提早得知规矩的围棋版 AlphaZero。
论文 6：EfficientDet: Scalable and Efficient Object Detection
作者：Mingxing Tan、Ruoming Pang、Quoc V. Le
论文链接：https://arxiv.org/abs/1911.09070
摘要：在核算机视觉范畴，模型功率现已渐渐的变重要。在本文中，研讨者体系地研讨了用于方针检测的各种神经网络架构规划挑选，并提出了一些要害的优化办法来提高功率。首要，他们提出了一种加权双向特征金字塔网络（weighted bi-directional feature pyramid network，BiFPN），该网络能够轻松快速地进行多标准特征交融；其次，他们提出了一种复合缩放办法，该办法能够一起对一切主干、特征网络和框/类猜测网络的分辨率、深度和宽度进行一致缩放。依据这些优化，研讨者开发了一类新的方针检测器，他们称之为 EfficientDet。在广泛的资源约束条件下，该检测器一直比现有技能取得更高数量级的功率。详细而言，在没有隶属条件的情况下，EfficientDet-D7 在 52M 参数和 326B FLOPS1 的 COCO 数据集上完结了 51.0 mAP 的 SOTA 水平，体积缩小了 4 倍，运用的 FLOPS 削减了 9.3 倍，但仍比从前最佳的检测器还要精确（+0.3% mAP）。
引荐：本文讨论了核算机视觉范畴的模型功率问题，别离提出了加权双向特征金字塔网络和复合缩放办法，然后开发了一种新的 EfficientDet 方针检测器，完结了新的 SOTA 水平。
论文 7：α^α-Rank: Practically Scaling α-Rank through Stochastic Optimisation
作者：Yaodong Yang、Rasul Tutunov、Phu Sakulwongtana、Haitham Bou Ammar
论文链接：https://arxiv.org/abs/1909.11628
摘要：作为 DeepMind「阿尔法」宗族的一名新成员，α-Rank 有关强化学习，并于本年 7 月登上了《Nature Scientific Reports》。研讨人员称，α-Rank 是一种全新的动态博弈论处理办法，这种办法已在 AlphaGo、AlphaZero、MuJoCo Soccer 和 Poker 等场景进步行了验证，并取得了很好的成果。可是，华为的这篇论文指出，DeepMind 的这项研讨存在多个问题。研讨者以为，假如要复现这篇论文，需求动用高达一万亿美元的算力，这是全球一切算力加起来都不或许完结的。
核算α-Rank 时结构转化矩阵 T 的花销本钱。这儿请留意，当时全球核算机的总算力约为 1 万亿美元（赤色平面）。投影轮廓线标明，因为α-Rank「输入」的算力需求呈指数级增加，用十个以上的智能体进行多智能体评价是底子不或许的。
其他的算法也都不可行——在华为研讨人员估算下，即便将收益矩阵参加α-Rank 跑 DeepMind 几个闻名算法需求用到的资金花费和时刻都是天文数字。留意：在这儿预设运用全球一切的算力。
引荐：近来，DeepMind 之前时刻宣布在 Nature 子刊的论文被严峻质疑。来自华为英国研制中心的研讨者测验试验了 DeepMind 的办法，并标明该论文需求的算力无法完结。
