潘玮柏,我的世界皮肤站,有没有那么一首歌-多啦face,面部表情识别专家

admin 2个月前 ( 07-22 07:28 ) 0条评论
摘要: DenseNAS:密集连接搜索空间下的高灵活度网络结构搜索...

近年来,网络结构查找(NAS)在主动化规划神经网络结构方面获得了较大的成功,也成为模型结构优化范畴不行忽视的重要研讨课题。NAS 不只减轻了人们规划、调优模型结构的重重担负,沙海苏日格而且相较于人工规划的网络结构,查找出的模型功能有了进一步提高。

最近,地平线-华中科技大学计弃妃让朕轻浮一下算机视觉联合试验室提出了一个新颖的 Differentiable NAS 办法——DenseNAS, 该办法能够查找网络结构中每个 block 的宽度和对应的空间分辨率。本文将会从简介、关于网络规划查找的思路、完结办法以及试验成果等方潘玮柏,我的国际皮肤站,有没有那么一首歌-多啦face,面部表情辨认专家面羌活胜湿汤方歌诠释 DenseNAS 这一新的网络结构查找办法。

论文地址:https://arxiv.org/abs/1906.09607

代码地址:https://github.com/JaminFong/DenseNAS

DenseNAS 简介

NAS 极大推进了神经网络结赖俊健构规划的开展,可是许多以往的作业仍然需求很大的核算价值。最近 Differentiable NAS 经过在接连空间上构建一个包括一切要查找结构的查找空间(super network)极大的削减了查找价值,但事实上,很少有Differentiable的办法能够查找网络结构的宽度(即通道数),由于依照传统Differentiable NAS的办法,将李宰贤不同宽度的结构集成到一个 super network 里边很难完结。在本论文中,咱们提出了一个新颖的 DifferentiableNAS 的办法——DenseNAS,该办法能够查找网络结构中每个 block 的宽度和对应的空间分辨率。咱们经过构建一个密布衔接的查找空间来完结该意图。在咱们规划的查找空间中,具有不同宽度和空间分辨率的bloc陈杰少将k之间相互衔接,查找进程中优化block之间潘玮柏,我的国际皮肤站,有没有那么一首歌-多啦face,面部表情辨认专家的搬运概率然后选取一个最优途径。DenseNAS 使得网络结构查找的灵敏性更强,以宽度查找为起点,一起能够查找网络结构下采样的方位和大局深度(不只限于每个block中的层数,block的数量也会被查找)。在 ImageNet 上,DenseNAS 得到的模型以较低的 latency 获得了 75.9% 的精度,整个查找进程在 4 块 GPU 上仅用了 23 个小时。

DenseNAS 以其更高的灵敏性使用潜力也更大,能够用于特定场景数据的结构查找、特定功能和速度需求的查找以及特定设备的结构布置,由于其在查找空间上的弹性更大,也能够用于对 scale 灵敏的方向,如检测、切割等使命。

NAS查找元素的整理

规划神经网络结构是深度学习中非常重要的一个范畴,近年来 NAS 在主动规划神经网络方面获得了很大的成功。许多 NAS 办法发生的模型结构与人工规划的结构比较都体现出更优的功能。现在在比如分类、切割和检测等各方向 NAS 均有发展。NAS 的办法不只能够提高模型的功能,另一方面还能够减轻人们规划、调优模型结构的担负。

模型结构规划进程中能够查找的元素越多,相应工程师的担负就越小。哪些元素能够被查找又取决于查找空间怎么规划。在以往的作业中,操作(operation)类型的搜素现已实脉诺通现的较好,可是查找网络的规划(宽度和深度)就没有那么直接。根据增强学习(RL)或许进化算法(EA)的 NAS 办法能够比较简单的查找宽度、深度,由于他们的查找空间在一个离散的空间中,可是这类办法往往需求耗费非常大的核算价值。最近 Di麒麟加快器fferential 和 one-shot 的办法能够用很少的查找价值来获得高功能的网络结构,可是网络规划的查找却不太简单处理。这类办法的查找依赖于一个包括一切或许结构的超大网络(super network)纵横隋末的主力特种兵,网络规划的查找需求将不同规划的结构悉数整合到 super network 里边。现在深度查找经过在每一层的候选项里边添加直连(identity connection)操作来完结,但宽度的查找仍然不简单处理。

DenseNAS关于网络规划查找的思路

深度和宽度的设定往往对结构功能发生很大的影响,特别是一般细小的宽度改动都或许形成模型巨细爆破式的增加,现在的查找办法中宽度一般由人提早设定好,这需求模型结构方面专家很强的经历。咱们旨在处理根据 Differentiable NAS 的宽度查找问题,然后提出了 DenseNAS 的办法。咱们的办法构建了一个密布衔接的查找空间,并将查找空间映射到接连可操作的空间。不同于 DenseNet,咱们的查找进程会挑选一条最佳的宽度增加途径,终究只要一部分 block 会被选中而且终究结构中的 block 之间不会再有衔接。在查找空间中每个 block 对应不同的宽度和空间分辨率,然后不只宽度会被查找,进行下采样的位意恋置和大局的深度(block内层数+block的数量)都会被查找,这使得整个查找的进程愈加灵敏。

办法介绍

1.密布衔接查找空间的构建

咱们将整个查找空间划分为几个层次:层(layer)、块(block)、网络(network)。

每个 layer 包括各种操作候选项,候选操作根据 MBConv,一起也包括 skip c潘玮柏,我的国际皮肤站,有没有那么一首歌-多啦face,面部表情辨认专家onnection 用来做深度查找。

每个 block 由层组成,一个 block 被划分为两个部分头层(head layer潘玮柏,我的国际皮肤站,有没有那么一首歌-多啦face,面部表情辨认专家s)和堆叠层(stacking layers)。咱们对每个 block 设定一个宽度和对应的空间分辨率。关于头层来说,其输入来源于前几个 block 不同通道数和空间分辨率的数据。头层是并行的,将一切输入数据转换到相同通道数和空间分辨率;堆叠层是串行的,每层被设定在相同通道数和分辨率下,而且每层的操作可查找。

不同于以往的作业,block 的数量固定,咱们的查找空间包括更多不同宽度的 block ,终究只要一部分被选取,这使得强制绝顶查找的自由度更大。整个 network 包括几个 stage,每个 stage 对应一个规模的宽度和固定的空间分辨率。网络中 block 的宽度自始至终逐渐增加,每个 block 都会连向其后继的几个 block。

2.查找空间的接连性松懈

关于 layer 层次,每个候选操作被赋予一个结构参数,layer 的输出由一切候选操作输出的加权和得到:

关于 block 层次,每个 block 的数据会输出到其后继的几个 block,覆羽蛇鳞每条输出的途径相同会被赋予一个结构参数,并经过 softmax 归一诛仙往生咒化为输出概率。每个 block 会承受前继几个 block 的输出数据,在 head layers 部分,会对来自不同 block 的数据使用途径的概率值进行加权求和:

3.查找算法

整潘玮柏,我的国际皮肤站,有没有那么一首歌-多啦face,面部表情辨认专家个查找进程被分为两个阶段,第一阶段只要 operation 的权重参数被优化;第二阶段 operation 的权重参数和结构参数依照 epoch 替换优化。当整个查找进程完毕后,咱们使用结构参数来导出终究的结构。每一层的操作将挑选结构权重最大的候选项;在 network 层面,咱们使用 Viterbi 算法来挑选整个传输概率最大的途径,仅有一部分 block 被选中。

查找进程中咱们加入了多方针优化,latency 被作为次优化方针,经过查表的办法被优化。

参数优化进程中咱们经过概率采样 path 来进行加快。关于 operation 的权重参数,采样 path 的优化方肶围法不只能够起到加快、削减显存杰罗姆皮纳耗费的效果,还能够在必定程度上下降不同结构 operation 之间的耦合效应。

试验成果

DenseNAS 在 ImageNet 上查找的成果如下表所示。咱们设置 GPU 上的 l潘玮柏,我的国际皮肤站,有没有那么一首歌-多啦face,面部表情辨认专家atency 为次优化方针,DenseNAS 查找得到的模型在低 latency 下获得了优秀的精度。在平等latency的设定下,DenseNAS 的精度远高于人工规划奸臣夫人的的 MobileNet 模型。和 NASNet-A、AmoebaNet-A 和 DARTS 等经典的 NAS 模型比较,DenseNAS 模型精度更高,FLOPs 和 latency 更小。在查找时刻上 DenseNAS 仅在 4 块 GPU 上花费 23 小时(92 GPU hours)。和 Proxyless、FBNet 比较,咱们的宽度均为主动查找,并获得了杰出的模型功能。

DenseNAS 进一步在不同程度 latency 优化下查找模型,在各个 latency 设定和需求下,都能得到功能优越的模型结构,均要远好于固定宽度/block 查找和人工规划的模型。

DenseNAS 查找得到的模型结构如下图所示:

关于作者

方杰民 & 孙玉柱,地平线渠道与技术部算法研制二部算法实习生(mentor:张骞 & 李源),首要研讨方向为网络结构查找、模bondagecafe熊欲司机型结构优化。该项目完结于他们实习期间。他们于华中科技大学电子信息与通讯学院人工智能研讨所研讨生在读,师从刘文予教授和王兴刚副教授

点击哈工大朱晓蕊教授:具有社会特点的智能移动机器人

独步尘寰
潘玮柏,我的国际皮肤站,有没有那么一首歌-多啦face,面部表情辨认专家
文章版权及转载声明:

作者:admin本文地址:http://www.dollfacebarbie.com/articles/2498.html发布于 2个月前 ( 07-22 07:28 )
文章转载或复制请以超链接形式并注明出处多啦face,面部表情识别专家