jzh Emotion Recognition using Multimodal Residual LSTM Network

摘要

使用脑电图(EEG)和其他生理信号的传统LSTM网络捕获时间信息的方法对多模态情绪识别非常有用。然而，使用更深的LSTM网络的多模态和深层次时间特征学习之间的依赖性仍有待研究。

我们提出了一种用于情感识别的多模态残差LSTM网络。MMResLSTM网络共享每个LSTM层中模态的权重，以学习脑电图和其他生理信号之间的相关性。

使用公开可用的DEAP数据集进行评估。实验结果表明，该网络的arousal分类准确率为92.87%，valence为92.30%

信息

会议: ACM International Conference on Multimedia

作者:

关键词

Multimodal emotion recognition; long-short-term memory network; electroencephalography

介绍

受深度神经网络在许多识别分类任务中的巨大成功的启发，已经提出了几种深度学习架构来改善脑电图(EEG)信号和其他生理信号的多模态情感分类的效果，包括自编码器、卷积神经网络(CNN)和递归神经网络(RNN)

各种研究表明，因为考虑时间信息，RNN时间特征提取模块的效果较好。然而，多模态之间的时间相关性信息，以及使用更深层次的神经网络的深层时间特征学习，还有待研究。

尽管不同设备从不同位置收集多种模态的信号有不同的反射延迟，但是它们却共同反映了相同情绪在随时间变化。因此多模态的信息还是很重要的。

随着残差学习的使用和神经元层的归一化，DNN可以更高效地收敛，从而优化训练的时间成本。类似于残差学习，我们假设具有残差连接的深层神经网络可以学习更复杂的高级情感识别特征，因此优于其他神经网络架构。

研究过程

多模态LSTM

传统上，为了使用脑电图和其他生理信号实现多模态情感识别，多模态架构或者为不同的模态建立并行的LSTM，或者直接拼接多模态数据以产生更大的输入。

第一种方法包含用于不同模态的并行LSTM，对于训练是更有效的，因为每个LSTM具有相似属性的输入；它也更易于解释，因为来自不同模态的信息是分开存储的。然而，这种体系结构没有为多模态之间的相关性学习做准备，因为各模态之间是完全独立的。

第二种方法尽管网络可以自由地同时访问多个模态的信息，但是交叉的模态相关性并没有被明确地学习。在LSTM，模态内关系和模态间关系没有区别。同时，这种方法更容易过拟合。

下图为多模态LSTM：

$W{h *}$ 是共享的，因为它更能学到时域的特性。通过$W{h *}$ ，多模态LSTM可以在学习过程中起到交互的作用。time steps也被共享。

残差网络

层归一化

层归一化是通过归一化神经元的活动来减少深层神经元的训练时间。这对于RNNs中的隐藏态是有效的。

$\begin{aligned} \mu_{t} &=\frac{1}{H} \sum_{i=1}^{H}\left(h_{t}\right)_{i} \\ \delta_{t} &=\sqrt{\frac{1}{H} \sum_{i=1}^{H}\left(\left(h_{t}\right)_{i}-\mu_{t}\right)^{2}} \\ y_{t} &=f\left(\frac{g}{\delta_{t}} \odot\left(h_{t}-\mu_{t}\right)+b\right) \end{aligned}$

LN中这组参数叫做增益（gain） $g$ 和偏置（bias） $b$ ，是可以学习的。