全球计算机视觉顶级会议CVPR2020将落地化应用起到助推作用

【猎云北京】2月28日报道

全球顶级计算机视觉会议CVPR2020(IEEE Con​​ference on Computer Vision and Pattern Recognition,IEEE国际计算机视觉和模式识别会议)将于2020年6月14日至19日在美国西雅图举行。来自全球各地的共计1470篇论文本次大会入选全球,其中17人入选腾讯优图实验室。

作为计算机视觉领域全球三大顶级会议之一,CVPR 的论文投稿量在过去三年中持续增长。CVPR官网显示,今年会议论文有效投稿数量为6656篇,最终录用1470篇,录用率仅为22%。比去年低3个百分点。

会议涵盖人体识别、基于图像的建模、计算摄影和图像、视频分析和事件识别、面部和手势分析、文档分析、统计方法和学习等主题。腾讯收录的论文主题广泛,涵盖类比学习、人脸识别、物体检测、行人再识别等热门和前沿领域。这些最新的科研成果展示了腾讯在人工智能领域的技术实力。计算机视觉a6神经网络权值直接确定法,也将有助于计算机视觉。算法在地面上的应用起到了助推作用。

以下是部分腾讯优图入选CVPR2020的论文:

1.神经网络的过滤器嫁接技术

深度神经网络的过滤器嫁接

神经网络具有天然的无效过滤器,过滤器剪枝技术主要去除无效过滤器以提高网络的推理速度。然而,在这篇论文中,优图提出了一种过滤嫁接技术。与剪枝相反,优图并没有去除网络的无效过滤器,而是通过引入外部信息来激活无效过滤器,使其再次发挥作用。激活方法是将其他网络的有效过滤器的参数嫁接到无效过滤器上。为了更好地利用嫁接的性能,优图还提出了信息熵相关的指标来评价滤波器的好坏,并采用自适应的方式来平衡嫁接网络和嫁接网络的参数。通过大量的实验,

2.类比学习:基于变换的无监督光流估计

类比学习:无监督光流估计转换的可靠监督

利用视图合成进行光流无监督学习已逐渐成为替代有监督光流学习的一类方法。但是,在一些剧烈的变化中,可能会违背无监督学习的目标,学习效果可能会很差。在这篇文章中,优图提出了一种叫做“增强正则化”的学习框架。该框架在一些传统的学习框架的基础上,利用增强的变换后的数据再做一次前瞻,并用原始数据的变换后的预测作为监督。在文章中,优图进一步扩展了网络,支持共享光流解码器的多视图输入。在多个基准上,与其他无监督方法相比,它有了显着的提升,达到了目前最好的准确率。此外,

3.用于密集多角度目标检测的动态校正网络

用于定向和密集对象检测的动态细化网络

当前主流的目标检测方法在旋转和密集打包的标准场景中的检测性能显着下降。腾讯优图认为,主要原因是:深度神经网络中同层神经元的感受野、形状、角度单一a6神经网络权值直接确定法,不适合处理多度、多形状的目标;模型学习的一般知识不具备适应特定样本的能力。能力。针对以上两点,优图提出了动态细化网络(Dynamic Refinement Network,图1)。具体来说:(1)设计了一个自适应感受野调整模块,以便模型可以根据目标的形状和旋转进行调整)角度自适应地调整感受野,以缓解单一感受野与可变目标之间的矛盾。(2)动态校正分类器(图2(左))和动态校正回归是为分类和回归任务设计的。(图2(右)),这使得模型兼顾了静态知识的学习和动态知识,并赋予模型根据样本自适应调整的能力,结合以上两点,优图设计了统一的动态校正网络,该方法在当前知名的密集旋转物体检测数据集上取得了新的最佳性能(DOTA,HRSC2016、SKU110K)。

4.自适应课程学习人脸识别功能

CurricularFace:深度人脸识别的自适应课程学习损失

人脸识别中常用的损失函数有两种主要类型,基于区间的或硬样本挖掘。前一种方法对所有样本采用固定的区间值,忽略了样本本身的难度信息。后一种方法在整个网络训练周期都强调困难样本,这可能会导致网络无法收敛。在他的工作中,优图基于课程学习的思想提出了一种新的自适应课程学习损失函数。在训练的初始阶段,该方法主要侧重于容易的样本;随着训练的进行,它逐渐专注于更难的样本。同时,在同一个训练阶段,不同的样本根据难度给予不同的权重。与 SOTA 方法相比,

5.基于注意力卷积二叉神经树的细粒度视觉分类

用于细粒度视觉分类的注意力卷积二元神经树

本论文由腾讯优图实验室和中国科学院软件研究所联合提出。细粒度视觉分类(FGVC)是一项重要但具有挑战性的任务,因为样本类之间的差异更加微妙,并且通常只能借助小的局部差异来区分不同的类别。本文提出了一种基于注意力机制的卷积二叉神经树结构。具体来说,将传统的决策树与神经网络相结合,在树的内部节点中使用路由来确定树中从根到叶子的计算路径,并在树的边缘添加卷​​积操作增强表示学习,最后的决策结合了所有叶子节点的预测。该模型以粗到细的分层方式学习判别特征。此外,采用非对称策略来增加多尺度特征提取并增强样本的判别特征表示。整个网络使用 SGD 优化方法以端到端的方式进行训练。该方法在 CUB-200-2011、Stanford Cars and Aircraft 数据集上进行了评估,并且明显优于其他当前的弱监督细粒度方法。

6.基于注意力机制和多关系检测器的小样本目标检测

使用 Attention-RPN 和多关系检测器进行 Few-Shot 目标检测

本论文由香港科技大学和腾讯优图实验室联合提出。目标检测网络已广泛应用于安全、自动驾驶和医学图像等各个领域。然而,传统的目标检测网络需要使用大量高质量的训练样本来训练模型。这些训练样本需要大量的人力物力进行标注,而且往往不能很快得到,因此目标检测模型无法快速部署到新样本的检测中,而小样本目标检测方法可以很好地解决这个问题。联合团队提出了一种基于深度孪生网络的小样本目标检测模型。该网络通过基于注意力机制的候选框网络、多关系检测器、以及三元组对比训练方法,使网络无法重新创建新对象。然后可以将训练应用于新的类别检测。另外,文中提供了一个1000类的小样本物体检测数据集,希望能促进该领域的研究。

这个联合团队的工作主要有以下贡献:首先,使用注意力机制来筛选候选框以进行目标检测。将待检测的新对象的特征作为过滤器对输入图像进行卷积以找到潜在的候选帧区域。然后使用多关系检测器对这些候选框进行分类和重新定位。多关系检测器对候选框和新物体进行像素级、区域级和全图级的多级关系匹配,找到匹配度最高的区域作为检测输出。最后构造(目标样本、正样本、负样本)训练样本三元组来训练模型,使网络可以同时学习到相同对象之间的相似性和不同对象之间的差异,从而大大提高了新样本中的网络。检测性能。该方法在多个数据集上实现了最先进的结果,而无需对新对象进行任何训练。其基本框架图如下:

7.基于显着性引导级联抑制网络的行人重识别

用于人员重新识别的显着性级联抑制网络

本论文由北京大学、腾讯优图和南方科技大学联合提出。使用注意力机制对全局和局部特征进行建模作为最终的行人表示已成为行人重新识别(Re-ID)算法的主流趋势。这些方法的一个潜在限制是它们专注于提取最显着的特征(显着特征),但重新识别一个人可能依赖于在不同情况下被显着特征掩盖的各种其他线索,例如身体、衣服甚至为了解决这个限制,联合团队提出了一种新颖的显着性引导级联抑制网络(SCSN),它使模型能够挖掘不同的显着性特征,并将这些特征以级联方式集成到最终的特征表示中。

联合团队的工作主要有以下贡献: Section 一、我们观察到之前网络学习的显着特征可能会阻碍网络学习其他重要信息。为了解决这个限制,引入了级联抑制策略,使网络能够逐级挖掘被其他显着特征掩盖的各种潜在和有用的特征,并将每一层提取的特征融合为最终的特征表示;二、 部分提出了一个显着特征提取(SFE)单元,它可以抑制之前级联阶段学习到的显着特征,然后自适应地提取其他潜在的显着特征,从而为行人获得不同的线索;三、 部分 开发了一种有效的特征聚合策略,充分增强了网络提取潜在显着特征的能力。实验结果表明,所提出的方法在四个大规模数据集上优于最先进的方法。特别是,该方法比 CUHK03 数据集上的最新技术提高了 7.4%。其基本框架图如下:

8.用于概念归因的卷积神经网络的全局解释

对具有概念属性的卷积神经网络的全局解释

本文由腾讯优图实验室与香港中文大学合着。卷积神经网络 (CNN) 的广泛使用使得解释它们的行为变得越来越重要。其中,全局解释最近引起了极大的关注,因为它有助于理解整个样本类的模型预测。然而,现有的绝大多数方法都依赖于模型的局部逼近和对单样本预测的独立研究,这使得它们无法反映卷积神经网络的真实推理过程。联合团队提出了一个创新的两阶段框架,Attack on Interpretability (AfI),以更忠实地解释卷积神经网络。AfI 根据用户定义概念的重要性解释模型决策。它首先进行特征遮挡分析,类似于攻击模型以推导不同特征的重要性,从而具有学习全局解释的能力。然后,通过语义任务将特征重要性映射到概念重要性,下图为AfI的框架结构。实验结果证实了 AfI 的有效性及其优于现有方案的优势。该论文还展示了它在提供卷积神经网络理解方面的用例,例如基础模型预测和模型认知中的偏差。特征重要性通过语义任务映射到概念重要性,下图为AfI的框架结构。实验结果证实了 AfI 的有效性及其优于现有方案的优势。该论文还展示了它在提供卷积神经网络理解方面的用例,例如基础模型预测和模型认知中的偏差。特征重要性通过语义任务映射到概念重要性,下图为AfI的框架结构。实验结果证实了 AfI 的有效性及其优于现有方案的优势。该论文还展示了它在提供卷积神经网络理解方面的用例,例如基础模型预测和模型认知中的偏差。

9.基于注意力机制提高对抗转移性

通过注意力提高对抗样本的可转移性

本文由腾讯优图实验室与香港中文大学合着。深度学习模型的广泛部署使得在实践中评估模型的鲁棒性成为必要,特别是对于自动驾驶和医疗诊断等安全和安全敏感领域。攻击是衡量模型鲁棒性的重要指标,其中针对深度网络图像分类器生成对抗性图像是最基本和公认的任务之一。最近,针对图像分类器的基于传输的黑盒攻击引起了越来越多的兴趣。在这种攻击方法中,攻击者需要在没有来自远端实际目标的反馈的情况下,根据本地代理模型制作对抗图像。在这个充满挑战的环境中,由于对使用的局部模型的过度拟合,合成对抗性示例通常无法取得良好的结果。因此,我们提出了一种新的机制来缓解过拟合问题,从而增强黑盒攻击的可转移性。VGG16、ResNet、Inception等不同的网络架构在识别图片时具有相似的图像注意力。例如,他们倾向于关注猫脸来识别猫。基于此,对抗样本的搜索由模型提取的特征的注意力梯度来调节。这种基于注意力减少的对抗性示例搜索允许联合团队优先攻击可能在各种架构中具有共同兴趣的关键特征,从而促进生成的对抗性示例的可转移性。在 ImageNet 分类器上的大量实验证实了论文中策略的有效性,并进一步比较了白盒和黑盒条件下的最先进方法,攻击策略显示出一致的优势。下图展示了我们基于注意力的模型攻击框架。

© 版权声明
THE END
喜欢就支持一下吧
点赞0
分享
评论 抢沙发

请登录后发表评论