请选择 进入手机版 | 继续访问电脑版
立即注册 找回密码

领先房源-中国网·地产中国-房地产信息管家-中国互联网新闻中心

搜索
热搜: 活动 交友 discuz
查看: 963|回复: 0

人脸遮挡算法研究综述

[复制链接]

10

主题

10

帖子

32

积分

等待验证会员

积分
32
发表于 2019-7-12 10:25 | 显示全部楼层 |阅读模式
作者 | 刘东平、谢远伦、言有三
编辑 | 言有三
人脸识别技术都是基于人脸关键特征提取对照完成识此外,其中,特征的完整性是算法成败的一个极为关键的身分,可是当遭到外界干扰较多,外界的条件发生明显变化的时辰,由于传统方式过于依靠明显的、完整的图像特征,一旦由于人脸发生遮挡,形成部分特征的消失,致使人脸图像特征不完整时,这类算法就会生效,致使没法和库中人脸信息停止对照。遮挡酿成的人脸识此外困难首要表现在由遮挡所激发的特征损失、瞄准误差和部分混叠等方面.
<h1>1 常见人脸遮挡方式【1】

激发面部遮挡的缘由首要有三种:
1.1光芒遮挡:由于不均匀的或极端激烈的内部光照所引发的遮挡。图a
1.2实物遮挡:覆盖在人脸上的物品,如帽子,眼镜,围巾等。图b
1.3自遮挡:是由于人体姿势致使的,如侧脸。图c


<h1>2 人脸遮挡对人脸识此外影响

下面我们看一组图片:


经过眼睛我们很轻易判定上面一组图片都是同一人。可是我们的人脸识此外利用能判定出他们是同一人吗?
接下来我们将把上面的图片经过百度AI和腾讯AI停止对照
2.1百度AI对照成果


2.2腾讯AI对照成果


经过百度AI和腾讯AI我们可以看到遮挡对人脸考证的成果影响很是大,出格是第四组图,由于面纱的遮挡,腾讯AI判定图片中没有人脸,可是同一组照片,百度AI却给出了71.75%的类似度判定。这也说了然分歧的算法,对遮挡处置的成果不同很大。
<h1>3 数据集

虽有很多的人脸数据集,可是专门用于人脸遮挡这个题目标却很少。MAFA【3】是其中最大的,它包括30,811个无遮挡图像和35,806个有遮挡图像,包括各类偏向和标准的遮挡,数据集并未开源。
遮挡后的人脸,眼睛根基不会被遮挡的,需要眼睛看工具,所以还是相对稳定的特征点,下面是其中一个遮挡的例子。


<h1>4 人脸识别遮挡传统方式【1】

支流的方式有:子空间回归、鲁棒误差编码与鲁棒特征提取等三类。
4.1子空间回归
子空间回归方式将分歧种此外人脸分别为分歧的子空间,遮挡是一个自力的子空间,那末有遮挡的人脸图像是不含遮挡的人脸与遮挡的叠加,便可以把有遮挡人脸图像识别题目视作将无遮挡的人脸图像和遮挡各自回归到它们所属的子空间的题目
子空间回归方式中最具代表性的方式是稀疏暗示分类方式和协同暗示分类方式,具体的细节,可以参考文献【1】。子空间回归方式的首要困难在于遮挡子空间的构建。
4.2鲁棒误差编码
鲁棒误差编码方式首要包括“加法模子”和“乘法模子”。 “加法模子”以为有遮挡图像是原始的不含遮挡的人脸图像与由遮挡激发的误差e的分解体,即y=y0+e,侧重斟酌若何将误差e从有y平分手出来。
“乘法模子”将有遮挡的图像看成是无遮挡的y0与遮挡的拼接,而且只要y0可以切确重构。侧重斟酌若何分手其有遮挡地区和无遮挡地区,具体细节参考文献【1】。
4.3鲁棒特征提取
一幅人脸图像所包括的特征凡是极为丰富,既包括色彩、亮度、纹理、偏向等低阶特征,也包括姿势 、脸色、年龄、人种等高阶特征,鲁棒的特征提取 方式就是需要对这些特征停止分化。比如Gabor特征是在多个标准和多个偏向上分化,属性特征是分化为多个可描写的属性。分化后,可以下降特征之间的相互干扰,从而为机械进修供给充足邃密的特征。
传统的鲁棒特征有代表性的比如梯度脸,以及将子空间进修引入深度进修的PCANet框架和将卷积神经收集的卷积层引入典范的“特征图-形式图-柱状图”的特征提取框架FPH 框架。虽然并没有对光照变化和遮挡做任何先验性假定和显式处置,甚至没有用到大范围的练习数据,PCANet的神经元响应却对光照变化和遮挡等表示出了很强的鲁棒性,关于更具体的细节请参考文献【2】。
<h1>5 深度进修【3-4】

我们下面给大师先容两个思绪。第一个,来历于【3】的思绪,是尝试对遮挡地区的特征停止修复。【4】的思绪,是若何设想和利用Attention的机制去识别没有被遮挡的人脸,这也是两个根基的研讨偏向,下面别离做说明。
5.1 对遮挡地区停止规复


上图就是文【3】处理计划的框架。从上图我们可以看出,包括3个模块。
(1)Proposal Module人脸候选地区提取模块,这就是三个卷积层加一个全毗连层的根基结构,为了可以召回更多的遮挡人脸,挑选了比力低的阈值天生了大量人脸候选地区。随后利用VGGFace提取4096维的特征停止归一化。我们可以晓得,这个特征即含有有用信息也含有噪声信息。
(2)Embedding Module 这个模块首要实现对被遮挡的人脸特征规复,抑制特征中的噪声信息,它将Proposal Module提取出来的描写子,采用LLE方式,转化为类似度描写子。随后,在一个操纵了大量无遮挡人脸和遮挡人脸获得的特征池中操纵knn寻觅婚配。
(3)Verification Module 则可以操纵被修复的人脸特征停止人脸地区考证,对人脸位置和标准停止微调。
5.2 基于attention的方式定位遮挡
经过公道的Anchor设备大概是公道的大感受野,我们可以隐式地学到遮挡地区的人脸,为了削减误召回,可以斟酌用segmentation大概是attention的机制去向置。


上面就是它的根基结构,鉴戒于RetinaNet。首先经过FPN结构提出特征,然后会另开一支去进修attention,以后对attention做一个E指数的操纵乘到本来的feature map上,增强可见地区信息。前面是一个类似于fast R-CNN两支操纵:一支做classification,一支做regression。 Anchor setting设备可以保证每小我脸都有充足的感受野以及充足的context信息。底下这个attention的subnet,它可以经过有监视的信息,学到visible的information,也就能进步对遮挡物体检测的才能。一些该文的细节,包括以下:
Anchor setting
文章中先统计了一下Wider face数据集,发现大要80%以上的人脸实在都是集合在16 pixel到406 pixel这样的量级上面,还有约10%的量级是在8pixel到16pixel,以下图:


要斟酌到若何让anchor去覆盖这么大的一个地区,他们挑选了1和1:1.5,实在是潜伏地斟酌了正脸和侧脸情况。与传统的每一层只要一个anchor的铺设方式分歧,采用每层3个scale,以2 ^ -1/3 步进。
attention整体框架


采用将bounding box的地区填1,间接作segmentation去学的思绪。由于大量的ground truth是没有遮挡的,当发生遮挡时,最初学出来的segmentation会对于这些未遮挡的信息加倍敏感。别的在attention收集里面,做完attention以后,不是简单的点乘到本来的feature map上面,而是先做了一个E指数的操纵,再去点乘到feature map上面。这样做就不是只保存attention高量的部分,而是对高量的部分做一些增强,这样可以很好地保存它原本的context信息,同时也可以突出它本身阿谁可见地区的信息。
这是一个有监视的attention结构,对分歧的层赋予分歧的anchor level的监视信息。


除了以上两条思绪外,还有一些其他的计划,不再逐一展开。
<h1>6 处理人脸遮挡的现实意义

6.1 提升门禁系统识别正确率,方便人们的生活
受平安庇护的地域可以经过人脸识别辨识试图进入者的身份。人脸识别系统可用于企业、室第平安和治理。如人脸识别门禁考勤系统,人脸识别防盗门等。门禁系统采用收集信息加密传输,支持远程停止控制和治理,可普遍利用于银行、军队、公检法、智能楼宇等重点地区的门禁平安控制,可是介入这些活动的人,其面部特征并不都是标准完整的。在面部特征不完整的情况下,也能对其停止精准的识别,将会极大的进步工作效力和用户体验。
6.2 增强身份识别
可在机场、活动场、超级市场等公共场所对人群停止监视,例如在机场安装监视系统以避免可骇份子登机。在可骇份子有伪装的情况下,例如戴口罩、墨镜、帽子等,假如人脸识别技术能对遮挡部分停止补全,便可以在机场或车站安装系统以抓捕在逃案犯。
参考文献:
[1] 李小薪、梁繁华有遮挡人脸识别综述:从子空间回归到深度进修
[2] Chan T H, Jia K, Gao S, et al. PCANet: A simple deep learning baseline for image classification?[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5017-5032.
[3]Ge S, Li J, Ye Q, et al. Detecting masked faces in the wild with lle-cnns[C]//The IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017: 2682-2690.
[4]Wang J, Yuan Y, Yu G. Face Attention Network: An effective Face Detector for the Occluded Faces[J]. arXiv preprint arXiv:1711.07246, 2017.
[5] https://github.com/polarisZhao/awesome-face

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
http://dive-courses-bali.com/cheap-viagra/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Powered by Discuz! X3.2 © 2001-2013 Comsenz Inc & 加田小店

快速回复 返回顶部 返回列表