用人脸辨认找到你「老婆」。机器之心报道，作者：小舟自七十年代以来，人脸辨认曾经成爲了计算机视觉和生物辨认范畴研讨最多的主题之一。近年来，传统的人脸辨认办法曾经被基于卷积神经网络（CNN）的深度学习办法替代。目前，人脸辨认技术普遍使用于安防、商业、金融、智慧自助终端、文娱等各个范畴。而外行业使用激烈需求的推进下，动漫媒体越来越遭到关注，动漫人物的人脸辨认也成爲一个新的研讨范畴。动漫抽象虽然绝对具有标志性，但也不乏类似的动漫抽象和场景，毕竟 B 站知名 up 主凉风「一眼识动漫」的技艺不常有。人工不可，那麼将人脸辨认用于动漫角色辨认呢？近日，来自爱奇艺的一项新研讨提出了一个新的基准数据集，名爲 iCartoonFace。该数据集由 5013 个动漫角色的 389678 张图像组成，并带有 ID、边界框、姿态和其他辅佐属性。iCartoonFace 是目前图像辨认范畴规模最大的卡通媒体数据集，而且质量高、正文丰厚、内容片面，其中包括类似图像、有遮挡的图像以及外表有变化的图像。论文地址：https://arxiv.org/pdf/1907.13394.pdf借助半自动标志算法，研讨者爲动漫媒体提供了两品种型的正文，即面部辨认和面部检测。爲了进一步研讨这个具有应战性的数据集，研讨者提出了一种多义务域顺应办法，该办法将人类和动漫域知识与三种判别性正则化结合起来。此外，研讨者还对提出的数据集停止了基准剖析，并验证了提出的办法在动漫人物人脸辨认义务中的优越性。图 1：iCartoonFace 嵌入表示图。相似于人脸辨认，动漫角色人脸辨认中也有一些经典的成绩需求处置。如下图所示，应用 iCartoonFace 数据集可以将类似的动漫脸区分开，辨认出是不同的动漫角色：同一动漫人物，不同视角，可以辨认出是同一动漫角色：即便图片中存在重度遮挡，也可以辨认出动漫角色：此外，两张图片亮度不同，也可以辨认出是同一动漫角色：接上去我们就来看一下这项研讨的办法细节。数据集的构建与剖析半自动整合进程爲了加重标签担负，研讨者开发了一个半自动算法来搜集 iCartoonFace 数据集并添加正文。该研讨的框架可以分红三个阶段：分层数据搜集数据过滤进程Q/A 手动正文1. 分层数据搜集iCartoonFace 数据集是经过分层的方式搜集的（从动漫剧集称号到动漫人物称号，最初到动漫人物图像）。该研讨首先构成一个面向排行榜的动漫剧集名单。然后依据该名单从互联网上获取次要角色，进而取得动漫人物和相应动漫剧集的列表。下一步从多媒体下载可地下取得的图像，包括图像、漫画书和视频源。研讨者以这种方式取得了带有噪声标签的数百万个图像，用于后续的数据过滤进程。2. 数据过滤实践上，下载的图像中有少量不相关或反复的数据，这给选择无效数据带来宏大的应战，尤其是在没有任何先验知识的状况下。因而，该研讨借助手动标志的人脸，对无用的样本停止粗略的过滤。换句话说，借用两个已有的人类知识来协助数据过滤进程，即面部检测过滤和面部辨认过滤。3.Q/A 手动正文该研讨开发了一个 Q/A 零碎来手动正文动漫脸的身份信息。如图 2 所示，在正文页面中，一个局部显示参考图像，另一局部显示要标志的图像。正文者需求确定每个新图像能否与参考图像共享相反的标识。参考图像是专家基于动漫人物所属的动漫剧集称号和动漫人物称号提供的身份图片。在该数据集中，包括了 5013 张图片，这意味着每种身份都有一个 probe。数据集概略1. 大规模iCartoonFace 数据集包括了来自 1302 个动漫专辑的 5013 个动漫人物的 389678 张图像。这是目前规模最大的用于动漫人脸辨认的手动正文图像数据集。如图 4(a) 所示，该数据集中的动漫人物包括来自日本、中国、欧洲和美国四个国度的动漫人物。2. 图片数量不均数据集是自然创立的。50% 的动漫人物只要不到 30 张图片，而有些动漫人物却有大约 500 张图片。3. 高质量数据集经过手动标志之后，执行穿插反省办法，二次反省的错误率确保低于 5%。图 4(c) 显示图像的分辨率大于 100 × 100，其中 65% 的图像分辨率超越了 200 × 200。图像的明晰度是经过拉普拉斯度量规范计算的。大少数样本的值如图 4(e) 所示，爲了确保图像边界的明晰度和锐度，需求大于 100。4. 丰厚的属性每个图像都提供了人脸边界框、身份、区域、姿态和性别之类的信息。关于姿态和性别的统计信息如图 4(b) 和图 4(d) 所示。选择随机的 10000 个样本，并用 3D 姿势信息正文。基于动漫和真人的多人物训练框架图 5 展现了该研讨团队提出的基于动漫和真人的多人物训练框架。该框架次要包括：分类损失、未知身份回绝损失和域迁移损失。其中，爲了取得分类特征提取器，研讨者采用分类损失正则化动漫脸和真人脸分类器，对动漫脸和真人脸停止分类。未知身份回绝损失旨在找到在不同域之间具有无监视正则化的特征重投影。域顺应损失则是爲了减小动漫人脸和真人脸之间的域间隙。实验在实验局部，研讨者提出了 3 个成绩并对其停止理解答。1. 关于动漫脸来说，那种算法是最佳的？研讨者对几种常用算法停止了评价，包括 softmax、SphereFace、CosFace、ArcFace 和 Focal loss，并在下图中可视化了相应的 CMC 曲线。可以看到，ArcFace+FL 在 5 种算法中表现最优。5 种算法的 CMC 曲线图。2. 上下文关于动漫脸辨认有用吗？动漫脸是辨认动漫角色的次要局部。那假如「脸盲」怎样办？在有些状况下，仅仅依托动漫角色的人脸缺乏以区分不同的动漫人物。研讨者在动漫脸的根底上停止了不同比例的扩大，下图标明，含有更多的上下文信息可以完成更好的功能。3. 将人脸辨认的知识迁移至动漫脸辨认能否有所增益？第一个经过训练的动漫脸模型的精确率是 91.0%，如下图所示，参加人脸辨认的数据后，功能提升至 92.4%，并且对正文进程有所协助。