ACM MM 2020
Abstract
由于主观的标注过程和不同的采集条件，不同的表情识别数据集之间难免存在数据不一致和偏差。最近的研究求助于学习领域不变特性的对抗机制来减轻领域转移。
这些研究大多侧重于整体特征的适应，而忽略了更容易跨不同数据集转移的局部特征
局部有限元具有更详细、更有辨别力的内容，因此结合局部特征可以实现细粒度的适应
在这项工作中，我们提出了一种新的对抗图表示适应(AGRA)框架，该框架将图表示传播与对抗学习统一起来，用于跨域全局-局部特征的协同适应
Introduction
数据集的差异
- 因为人类对面部表情的理解随着他们的经验和生活文化的不同，他们的标注不可避免地是主观的，导致在不同的数据集中明显的领域变化。
- 不同数据集的人脸图像通常是在不同的环境(如实验室控制或野外)和不同种族的人类中采集的，这进一步扩大了域偏移
领域自适应
- 为了减轻领域漂移，最近的研究引入了对抗学习机制，旨在学习领域不变特征
当前研究缺陷
侧重于提取整体特征进行域自适应，忽略了从两个方面对跨域FER有利的局部特征
- 局部区域具有更易于跨不同数据集迁移的判别特征。例如，唇角-拉皮动作对快乐表情具有区分性，对不同数据集的样本具有相似性
- 局部区域对整体特征编码的细节性和互补性更强。对每个域内和不同域内的整体局部特征的相关性进行模化，可以使适应过程更细粒度，从而促进跨域迁移
本文工作
我们证明了在每个域内以及跨源和目标域的全局局部特征的相关性可以用结构化的图来明确表示，并且它们的相互作用和适应性可以通过图中的自适应信息支持来捕获
开发了一种新的对抗图表示适应(AGRA)框架，该框架将图表示传播与对抗学习机制集成在一起，以实现跨域整体-局部特征的相互作用和协同适应
具体来说，我们首先根据面部地标提取几个有鉴别性的局部区域(如眼睛、鼻子、嘴角等)，并分别构建两个图将整体图像与各个域内以及不同域之间的局部区域进行关联。
图节点初始化
- 给定一个域的输入图像，提取整体图像和局部区域的特征，初始化该域的相应节点
- 其他域的节点由相应的每类可学习的统计特征分布初始化
图卷积网络
- 我们引入两个堆叠图卷积网络，在每个域内传播节点消息，探索全域与局部特征的交互作用，以及跨两个不同域实现全域与局部特征的协同适应
通过这种方法，可以逐步缓解源域和目标域之间整体局部特征的漂移，实现学习判别特征和领域不变特征的学习，便于跨域FER。
作图仅使用整体特征进行领域自适应，右图为AGRA框架，能够较好地将来自不同领域、属于同一类别的样本的特征聚集在一起，在提高领域不变特征识别能力的同时，能够较好地学习领域不变特征
贡献
- 我们提出将图表示传播与对抗学习机制整合在一起，以实现跨不同领域的整体-局部特征协同适应
- 们开发了一种类感知的两阶段更新机制，迭代地学习每个域的统计特征分布，用于图节点初始化。它在减少领域漂移方面起着关键作用，有助于学习领域不变特征
Related Work
本文所提出的框架也与一些工作有关，这些工作使图神经网络适应视觉交互学习和推理这些工作建议以图形的形式明确地建模标签依赖关系，并采用图形来指导特征交互学习。
受这些工作的启发，我们进一步扩展了图，以建模域内和跨域的全局局部特征交互，从而实现细粒度的特征适应。
AGRA FRAMEWORK
DANN的基本模型框架
AGRA的基本模型框架
- 首先构建一个图来关联每个域内的整体和局部区域，以及另一个图来关联不同域内的这些区域。然后，我们学习每个域的分类统计分布，并从输入图像中提取整体-局部特征来初始化对应的图节点
- 最后，引入了两种堆叠图卷积网络来支撑每个域内的整体-局部特征，以探讨它们之间的相互作用以及跨不同域的整体-局部特征协同适应
- 一旦两个图被构建，消息传播将通过域内图来探索与每个域的全域-局部耦合，并通过域间图来实现全域-局部特征的协同适应
Stack graph convolution networks
- 我们使用两个堆叠的GCN，其中一个GCN通过域内图传播消息，以探索每个域内的整体-局部特征交互作用，另一个GCN通过域间GCN传输消息，以实现整体-局部特征的协同适应。
具体细节
- 首先使用原始源域图像来初始化域内图的每个节点，然后，利用目标域内所有类别簇的特征分布计算这个样本的距离，得到距离最小的簇c。然后，对目标域的每个节点进行特征分布初始化
- 然后对初始特征进行重新排列，得到特征矩阵
- 然后,我们对输入特征矩阵进行图卷积运算，迭代地传播和更新节点特征
- 通过叠加域内图的卷积层，充分挖掘域内图内的节点信息，得到特征矩阵Hintra。
然后利用该特征矩阵初始化域间图的节点，并通过图卷积运算迭代更新节点特征
同理，将图的卷积运算按Linter次数进行重复，得到最终的特征矩阵H。我们将源域节点的特征串接为最终特征，输入分类器预测表达式标签和域鉴别器来估计其域
EXPERIMENTS
baseline对比实验
消融实验
消融实验：局部特征以及GCN的作用
消融实验：域内图、域间图以及双层迭代GCN的作用
消融实验：邻接矩阵的不同定义方式
- 通过手工定义连接，初始化域内图和域间图的两个相邻矩阵，为消息传播的正则化提供了先验指导，换为随机或者全一之后的效果下降。
- 为了调整邻接矩阵以更好地引导消息传播，在训练过程中还对邻接矩阵进行了联合微调。在这一部分中，我们通过固定先验矩阵训练来验证它的有效性。在表5中展示了结果。平均正确率从66.13%降至56.01%。这表明，联合调整邻接矩阵可以学习数据集指定的矩阵，这对促进跨域FER至关重要。