jzh Transfer Learning for EEG-Based Brain-Computer Interfaces:A Review of Progress Made Since 2016

摘要

脑机接口(BCI)使用户能够直接使用脑信号与计算机交流。

最常见的模式是非侵入性BCI，使用的是脑电图，它对噪声和伪影较为敏感，并且受试者之间和受试者内部的信号也是非平稳的。因此很难用基于脑电图的BCI系统建立通用模式的识别模型，该模型对于不同的受试者、不同的会话、不同的设备和任务是最优的。

一般情况下，会通过收集受试者的一部分数据来进行校准和微调，这既耗时又对用户不友好。迁移学习的出现就是为了减少校准微调的工作量，它利用相似或相关的受试者/会话/设备/任务的数据来促进对新受试者/会话/设备/任务的学习。

本文回顾了自2016年有关EEG的BCI期刊论文，其中有六种范式和应用

1. motor imagery
2. event-related potentials
3. steady-state visual evoked potentials
4. affective BCIs
5. regression problems
6. adversarial attacks

我们回顾这些话题，给出一些观察结果和结论

文献信息

期刊： IEEE Transactions on Cognitive and Developmental Systems

作者：

1. Dongrui Wu, Senior Member，IEEE，Huazhong University of Science and Technology
2. Yifan Xu, Student Member，IEEE，Huazhong University of Science and Technology
3. Bao-Liang Lu，Senior Member，IEEE，Shanghai Jiao Tong University

关键词

Brain-computer interfaces, EEG, transfer learning, domain adaptation, affective BCI, adversarial attacks

背景介绍

BCI

BCI这个术语在1973年被提出，最初为残疾人提出，但是现在的应用范围早已扩展。

BCI被分为三种类型：

1. 非侵入性BCI，主要采集的信号是脑电图EEG和功能性近红外光谱fNIRS
2. 侵入性BCI，需要手术植入传感器或者电极，收集大脑的尖峰信号和局部场电位。
3. 半侵入性BCI，传感器植入在大脑外部，颅骨的内部。

本文主要介绍的还是非侵入性BCI，尤其是EEG，因为它安全、低成本、方便。

BCI系统流程

上图流程：

1. 信号采集：从头皮收集脑电信号，早期使用有线连接或者凝胶来增强导电性，目前无线连接和干式电极越来越受欢迎。
2. 信号处理：包括时间滤波和空间滤波。前者主要是为了减少干扰，例如伪影、直流漂移、眨眼。后者通过结合不同的导，增加信号的信噪比。空间滤波器主要有公共空间模式，独立成分分析，盲源分离，xDAWN等。
3. 特征提取：时域、频域、时频、黎曼空间或者功能性大脑连接（functional brain connectivity）。
4. 模式识别：分类或者回归
5. 控制器：输出命令或者改变行动。

存在的问题和破解方法

1. 脑电图信号很弱，容易受到干扰和噪声的污染。
2. 脑电图信号对于同一受试者来说是不稳定的，并且在不同的受试者和会话之间是不同的。

一般情况下，会通过收集受试者的一部分数据来进行校准和微调。因此，减少这种对特定受试者的校准对于基于EEG的BCI的市场成功至关重要。

迁移学习和主动学习已经开始着手解决这问题，其中迁移学习更有前途，因为它利用了相似的信息。除此以外，迁移学习还能和其它技术结合。

BCI经典范例

1. motor imagery，由于不同的MI影响大脑的不同区域，BCI可以从脑电图中解码出来，映射到特定的运动。
2. event-related potentials，事件相关电位是一种特殊的脑诱发电位，通过有意地赋予刺激以特殊的心理意义，利用多个或多样的刺激所引起的脑的电位。最常用的是P300。
3. steady-state visual evoked potentials，脑电图在特定频率下以与视觉刺激相同(或数倍)的频率振荡，通常在3.5至75赫兹之间。

基于情感的BCI，也叫作aBCI，已经成为了一种新兴领域。

BCI的回归问题，例如驾驶员的睡意估计，用户反映时间估计。

BCI的对抗攻击，故意设计的微小扰动被添加到脑电图试验中，来欺骗机器模型。

迁移学习定义

$$\mathcal{D}=\{\mathcal{X}, P(X)\}, \text { where } X \in \mathcal{X}\\\mathcal{T}=\{\mathcal{Y},f(X)\}$$

公式1，我们得到了$\mathcal{D{s}}$和 $\mathcal{D{t}}$，源域和目标域不同，因为他们的特征空间不同或者概率分布不同。

公式2，我们得到了标签空间和预测函数，也有了任务$\mathcal{T{s}}$和$\mathcal{T{t}}$，源域任务和目标域任务不同，因为标签空间不同或者条件概率不同。

给定源域$\mathcal{D}{s}=\left{\left(X{s}^{i}, y{s}^{i}\right)\right}{i=1}^{N}$，目标域 $\mathcal{D}{t}$$\left{\left(X{t}^{i}, y{t}^{i}\right)\right}{i=1}^{N{l}}$，$\left{X{t}^{i}\right}{i=N{l}+1}^{N{l}+N{u}}$，$N{l}、N{u}$分别是有标签的和无标签的，去学习$f: X{t} \mapsto y{t}$，使得在 $\mathcal{D}_{t}$上有较低的误差。当然了，因为是迁移学习，所以至少有源域和目标域不同或者源域任务和目标域任务不同。

迁移学习分类

迁移学习分类

1. inductive transfer learning，也叫归纳迁移学习，推导迁移学习。此时，$N_{l}>0$，我们根据源域数据的情况进行进一步分类。

• 源域数据有标注，此时迁移学习类似多任务学习，区别在于我们只关注目标任务，多任务学习则是同时关注源任务和目标任务。
• 源域数据没有标注，此时迁移学习类似自我学习。

1. transductive transfer learning，也叫转导迁移学习或者直推式迁移学习。当$N_{l}=0$时，也就是我们没有目标域的标签。协变量偏移和域自适应是其中的两种情况。

• 域自适应：定义类似迁移学习，但是我们假设

  $$\mathcal{X}_{s}=\mathcal{X}_{t} \text { and } \mathcal{Y}_{s}=\mathcal{Y}_{t}\\ P_{s}(X) \neq P_{t}(X) \text { and/or } P_{s}(y \mid X) \neq P_{t}(y \mid X)$$

• 协变量偏移：定义类似迁移学习，但是我们假设

$$\mathcal{X}_{s}=\mathcal{X}_{t} \text { and } \mathcal{Y}_{s}=\mathcal{Y}_{t} \text { and }P_{s}(X) = P_{t}(X) \\ P_{s}(y \mid X) \neq P_{t}(y \mid X)$$

1. unsupervised transfer learning，也叫无监督迁移学习。源域和目标域都没有标注。无监督迁移学习专注于解决目标域中的无监督学习问题，如聚类、降维、密度估计。

   

BCI的迁移学习场景

1. Cross-subject TL，跨受试者迁移学习。通常，我们的任务和EEG的设备是一致的。
2. Cross-session TL，跨会话迁移学习。通常，我们的受试者、任务和EEG的设备是一致的。
3. Cross-device TL，跨设备迁移学习。通常，我们的任务和EEG的设备是一致的。
4. Cross-task TL，跨任务迁移学习。例如，来自左右手的运动想象的数据用于校准脚和舌运动想象。通常，受试者和EEG设备是一致的的。

1和2本质上是相同的，3和4因为更困难，所以研究更少。

迁移学习在BCI的应用

MI

Cross-Subject/Session TL

1. Transfer kernel common spatial patterns for motor imagery brain-computer interface classifification

   Computational and Mathematical Methods in Medicine 2018

   M. Dai, D. Zheng, S. Liu, and P. Zhang

   Dai等人提出了转移核公共空间模式（TKCSP）方法，将核公共空间模式（KCSP）和转移核学习（TKL）结合起来，用于跨受试者MI分类中的EEG试验空间滤波。它首先用TKL计算一个域不变核，然后将其应用到KCSP方法中，进一步找到两类之间能量差最大的分量。注意，TL用于脑电信号处理（空间滤波）而不是分类。

2. A parallel multiscale fifilter bank convolutional neural networks for motor imagery EEG classifification

   H. Wu, F. Li, Y. Li, B. Fu, G. Shi, M. Dong, and Y. Niu

   Frontiers in Neuroscience 2019

   Wu等人[70]提出了一种并行多尺度滤波器CNN用于MI分类。它由三个层次组成：一个从脑电信号中提取时间和空间特征的CNN，一个具有平方和对数非线性函数的特征约简层，然后是池化和droput层。dense层进行微调。

   

Cross-Device TL

1. Xu等人[71]研究了跨数据集TL中深度学习的性能。考虑了8个公开可用的MI数据集。虽然不同的数据集使用不同的脑电图设备、通道和MI任务，但他们只选择了三个常见的通道（C3、CZ、C4）以及左手和右手MI任务。他们通过在线递归计算黎曼平均值并将其作为EA方法中的参考矩阵，将在线预对准策略应用于每个受试者的每次脑电图试验。他们发现在线预对准显著提高了跨数据集TL中深度学习模型的性能

方法总结

Euclidean Alignment (EA)

$$\bar{R}_{s}=\frac{1}{N_{s}} \sum_{n=1}^{N_{s}} X_{s}^{n}\left(X_{s}^{n}\right)^{\top} \\\tilde{X}_{s}^{n}=\bar{R}_{s}^{-1 / 2} X_{s}^{n}$$

CSP

CSP对EEG进行有监督的空间滤波，目的是找到一组空间滤波器来最大化两类之间的方差比。

Combined CSP (CCSP) 是对CSP在无标签上数据集使用。

Regularized CSP (RCSP)

ERP

SSVEP

ABCI

背景

情绪可以分为离散的类别（快乐、悲伤、生气等）或者2D的连续值（arousal和valence）、3D的连续值（arousal，valence，dominance）。所以，aBCI可以是回归问题，也可以是分类问题。但是目前的研究基本将它看作分类问题。

常用的数据集是DEAP和SEED。

1. DEAP：DEAP由32名受试者在观看1分钟长的音乐视频时，通过BioSemi ActiveTwo设备记录的32通道脑电图组成。
2. SEED：SEED由15名受试者在观看4分钟电影剪辑时，通过ESI NeuroScan设备记录的62通道脑电图组成。

Zheng等人，利用微分熵特征，发现在不同的session和subjet中stable pattern确实存在。

Cross-Subject/Session TL

1. A Fast, Efficient Domain Adaptation Technique for Cross-Domain Electroencephalography(EEG)-Based Emotion Recognition

   Sensors 2017

   Chai Xin

   方法：adaptive subspace feature matching (ASFM)，使用的是微分熵特征。

   1. 利用PCA对进行降维。
   2. 源域投影到$Z{s} Z{s}^{\mathrm{T}} Z{t}$，目标域投影到$Z{t}$。
   3. 利用迭代伪标签和真实标签训练逻辑回归器。

2. Improving EEG-Based Emotion Classification Using Conditional Transfer Learning

   Frontiers in Human Neuroscience, 2017

   Yuan-Pin Lin

   本研究提出了一个条件迁移(cTL)框架，以促进每个个体的正迁移。通过对26的个体进行实验，相比仅仅利用自身的数据，在valence分类上提升了15%，在arousal分类上提升了26%。

   简单来讲，cTL设置了一个阈值，如果准确率不高，则可以考虑迁移学习(利用其他相似个体的数据)，否则没必要进行迁移学习。

3. Incorporation of multiple-days information to improve the generalization of EEG-based emotion recognition over time

   Frontiers in Human Neuroscience 2018

   S. Liu

   方法：我们将60导的数据δ、θ、α、β、低和高γ波段的光谱功率，作为初始特征。利用递归特征消除来选择特征。使用SVM进行分类。他们发现，脑电图的变异性会显著削弱情绪分类的表现，而在训练期间使用更多天的数据可以显著提高泛化能力。

4. Unsupervised domain adaptation techniques based on auto-encoder for non-stationary EEG-based emotion recognition

   Computers in Biology and Medicine 2016

   XinChai

   首先，使用堆叠自动编码器将来自两个域的差分熵特征转换成域不变子空间。然后，利用核主成分分析、图正则化和最大均值差异来减小两个域之间的特征分布差异。之后，在源域中训练的分类器可以直接应用于目标域。

   

5. Cross-session classifification of mental workload levels using EEG and an adaptive deep learning model

   Biomedical Signal Processing and Control 2017

   Zhong Yina, Jianhua Zhang

   Yin和Zhang提出了一种自适应叠加去噪自动编码器（SDAE），用于从EEG中对精神负荷水平进行跨会话二分类。在测试阶段，利用增加的测试样本及其伪标签，自适应地更新SDAE浅隐神经元的权值。

   

6. Inter-subject Transfer Learning with End-to-end Deep Convolutional Neural Network for EEG-based BCI

   Journal of Neural Engineering 2019

   Fatemeh Fahimi

   我们开发了一个端到端的深度CNN来解码来自EEG时间序列的注意力信息。我们还通过向网络中输送三种不同的脑电图表示来探索输入表示对深层CNN性能的影响。为了加快训练速度，利用cross-subject的迁移策略作为分类依据。

   数据处理：50%重叠的2s滑动窗口分割数据，滤波到0.5Hz以上。

   数据表达:

   1. DR1：原始数据
   2. DR2：带通滤波0.5-40Hz
   3. DR3：提取五个频率带的信号

   

   

7. From Regional to Global Brain: A Novel Hierarchical Spatial-Temporal Neural Network Model for EEG Emotion Recognition

   IEEE Trans. on Affective Computing 2019

   Yang Li

   方法：R2G-STNN，R2G-STNN由空间和时间神经网络层组成，具有区域到全局(R2G)的特征学习过程层次，以捕捉不同大脑区域的情绪反应和结构关系，从而学习有区别的时空脑电特征。

   1. 特征提取：用双向LSTM提取脑区内和脑区间的时空特征，使用Attention来给脑区贡献权重。
   2. 分类器和判别器：判别器来缓解源域数据和目标域数据之间的域偏移，这将使分层特征学习过程能够生成判别性的情感但域自适应的脑电特征。

   研究过程：

   空间特征提取：$\mathbf{X}=\left[\mathbf{x}{1}, \mathbf{x}{2}, \cdots, \mathbf{x}{T}\right] \in \mathbb{R}^{d \times n \times T}$ ，T=9，此时已经不是时间序列，而是人工提取的特征。然后我们把特征${x}{i}$分成区域，我们人为划分了16个区域，每个区域由多个导组成。然后送入双向LSTM^1^中，注意，此时的LSTM不是按照时间，而是按照区域内的顺序。我们获得了对应${x}_{i}$局部空间特征。

   

   然后利用Attention来对LSTM的最后的隐藏状态赋予权值，因为认为不同区域有不同的权重。

   然后每个区域的加权特征，送入双向LSTM^2^来学习全局的空间特征。然后用类似全连接的方式，将LSTM^2^的16个输出变成K个。我们就构造了对应${x}_{i}$的全局特征。

   时域特征提取：

   前文已经得到了对应${x}_{i}$局部空间特征，具体来讲是获得了16个区域的局部空间特征，对这些区域分别走双向LSTM^3^，此时T=9，得到了局部时域特征。

   全局特征提取类似，只需要走一个LSTM^4^即可，T=9。

   我们拼接16个局部时域特征和一个全局特征作为最后分类。

   分类器和判别器：

   分类器比较简单，一个全连接接softmax。

   损失函数为交叉熵函数。

   训练样本和测试样本可能来自不同的域，例如不同的受试者，这时候训练集的模型用来测试不一定有好的效果，我们引入了一个鉴别器，来生成域不变的特征。

   $$L_{d}\left(\mathbf{X}_{i}^{S}, \mathbf{X}_{j}^{T} ; \theta_{f}, \theta_{d}\right)=-\sum_{i=1}^{M_{1}} \log P\left(0 \mid \mathbf{X}_{i}^{S}\right)-\sum_{j=1}^{M_{2}} \log P\left(1 \mid \mathbf{X}_{j}^{T}\right)$$

   最大化损失函数，我们可以得到域不变的特征。

   最终损失函数

   $$\begin{aligned} L\left(\mathbf{X}^{S}, \mathbf{X}^{T} \mid \theta_{f}, \theta_{c}, \theta_{d}\right)=& L_{c}\left(\mathbf{X}^{S} ; \theta_{f}, \theta_{c}\right) \\ &-L_{d}\left(\mathbf{X}^{S}, \mathbf{X}^{T} ; \theta_{f}, \theta_{d}\right) \end{aligned}$$

   引入了GRL，即梯度反转层。

   

   数据采用SEED数据集，62导，15个受试者，每个受试者3个session，1个session有15次实验，一次实验有200个样本左右，一个session共有3200个样本，标签为3类，积极、中性和消极。

   依赖（非独立）受试者的情感识别：

   训练集和测试集，我们选择了相同的受试者，但是来自不同的实验（trials）。

   15个实验中，9个作为训练集，6个作为测试集。

   

   独立受试者的情感识别：

   留一法进行测试。

   

8. A Bi-hemisphere Domain Adversarial Neural Network Model for EEG Emotion Recognition

   Li Yang

   IEEE Trans. on Affective Computing 2018

   研究表明，左额叶皮层的脑电图信号与积极情绪密切相关，而右额叶皮层的脑电图信号与消极情绪有关。

   

   特征提取： 首先提取五个频带的信息，使用差分熵DE，共310维的特征向量，T=9，所以输入特征为[310,9]

   

   baseline:

   

   

   result:

   

   

9. Domain Adaptation for EEG Emotion Recognition Based on Latent Representation Similarity

   Jinpeng Li

   IEEE Transactions on Cognitive and Developmental Systems 2019

   

   

   

   多对一迁移：

   

   一对一迁移：

   

   

Cross-Device TL

1. Domain Adaptation Techniques for EEG-Based Emotion Recognition: A Comparative Study on Two Public Datasets

   Zirui Lan ,Olga Sourina ,Lipo Wang ,Reinhold Scherer ,Gernot R. Muller-Putz

   2019 IEEE Transactions on Cognitive and Developmental Systems

   考虑了DEAP和SEED之间的跨数据集转移，这两个数据集具有不同的受试者数量，并使用不同的脑电图设备和不同的电极数进行记录。我们只使用了三个试验（一个是阳性的，一个是中性的，一个是阴性的）来自DEAP的14个被选者，并且只有两个数据集之间的32个公共通道。从每个通道中提取5个不同频带（delta、theta、alpha、beta和gamma）的5个差分熵特征，并作为特征串接。实验表明，与基线相比，域自适应，特别是转移分量分析[106]和最大独立度主适应[107]，可以有效地提高分类精度。

   

2. Constructing a Personalized Cross-Day EEG-Based Emotion-Classification Model Using Transfer Learning

   BIOMEDICAL AND HEALTH BIOMEDICAL AND HEALTH INFORMATICS 2020

   提出了一种基于个体间差异的个性化分类方法。源数据集包括使用14通道Emotiv-EPOC设备的12名受试者，目标数据集包括使用30通道Neuroscan Quik-Cap的26名不同受试者。
   首先选择Quik-Cap的26个通道中的12个与EPOC设备中14个通道中的12个对齐。Quik-Cap脑电信号进行了下采样和滤波，以匹配EPOC装置的信号。从六个左右声道对（例如，AF3-AF4，F7-F8），四个前后声道对（例如AF3-O1，F7-P7）和12个选定的通道中提取五个频带（delta、theta、alpha、beta、gamma）特征，得到每个试验的120D特征向量。特征矩阵的稀疏RPCA矩阵被用作最终特征。计算每个源受试者与目标受试者试验之间的黎曼距离作为相异测度，选择最相似的源受试者，将其试验与目标受试者的试验相结合，训练支持向量机分类器。

3. Utilizing Deep Learning Towards Multi-modal Bio-sensing and Vision-based Affective Computing

   IEEE Trans. on Affective Computing, 2020

   Siddharth, Siddharth，Jung, Tzyy-Ping，Sejnowski, Terrence J.

   Siddharth进行了多模态（如EEG、ECG、面部等）跨数据集情感分类，例如DEAP培训和MAHNOB-HCI数据库。该方法适用于具有不同电极数目和位置、不同采样率等的数据集。每次试验使用θ、α和β波段的EEG功率谱密度（PSD）绘制三个拓扑图。然后，将每个地形视为彩色图像的一个组成部分，并通过α混合的比率加权形成彩色图像。通过这种方法，每次试验获得一张代表PSD地形图的彩色图像，并可将不同脑电设备获得的图像直接组合或比较。使用预先训练的VGG-16网络从每幅图像中提取4096个特征，然后通过PCA将其减少到30个。最后采用极端学习机作为分类器进行最终分类。

   

   

REGRESSION

ADVERSARIAL ATTACKS

Sleep Stage Classification And Other

1. Transfer Learning Convolutional Neural Network for Sleep Stage Classification Using Two-Stage Data Fusion Framework

   2020 IEEE ACESS

   MEHDI ABDOLLAHPOUR , TOHID YOUSEFI REZAII, ALI FARZAMNIA,(Senior Member, IEEE), AND ISMAIL SAAD (Member, IEEE)

   本文介绍了一种新的融合方法，将脑电图（EEG）和眼电图（EOG）两种信息源融合起来，在睡眠分期分类中取得了很好的效果。该方法从EEG和EOG信号中提取特征，将其分为两个特征集，分别由EEG特征和EEG与EOG的融合特征组成。然后，将每个特征集转化为水平可视图（HVG）。在一种新的框架下生成HVG图像，并用提出的传递学习卷积神经网络（TLCNN-DF）进行分类。

   

2. Automatic sleep stage classification using time–frequency images of CWT and transfer learning using convolution neural network

   Biocybernetics and Biomedical Engineering 2020

   Pankaj Jadhav Gaurav Rajguru Debabrata Datta Siddhartha Mukhopadhyay

   本文的目标是开发一种基于深度学习的方法，利用单通道脑电图（EEG）自动地利用EEG信号的时频谱，而不需要人工提取特征。采用连续小波变换（CWT）提取脑电信号时频RGB彩色图像。利用预训练的卷积神经网络的传递学习，将连续小波变换图像分为不同的睡眠阶段。
   该方法使用一个公开可用的physoninet睡眠EDFx数据集，使用单通道EEG-Fpz-Cz通道进行评估。评价结果表明，即使使用单通道脑电信号，该方法也能达到接近技术水平的精度。

   

3. Towards More Accurate Automatic Sleep Staging via Deep Transfer Learning

   IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING 2020

   Huy Phan , Oliver Y. Chen, Philipp Koch, Zongqing Lu, Ian McLoughlin, Alfred Mertins and Maarten De Vos

   我们从一个通用的端到端深度学习框架开始，用于序列到序列的睡眠分期，并衍生出两个网络作为转移学习的手段。首先在源域（即大型数据库）中训练网络。然后在目标域（即小群体）中对预训练网络进行微调，完成知识转移。我们使用蒙特利尔睡眠研究档案（MASS）数据库（由200名受试者组成）作为源域，研究三个不同目标域的深度转移学习：Sleep-EDF扩展数据库的Sleep-case子集和Sleep-Telemetry子集，以及Surrey-cEEGrid数据库。有目的地采用目标域来覆盖与源域不同程度的数据不匹配。

   

4. EEG-Based Sleep Quality Evaluation with Deep Transfer Learning

   Xing-Zan Zhang, Wei-Long Zheng, and Bao-Liang Lu

   在这篇论文中，我们提出了一个与受试者无关的深度转移学习方法来评估昨晚的睡眠质量。为了减少脑电信号采集过程中脑电数据的内在跨受试者差异和背景噪声的变化，我们采用了两类转移学习方法来建立与主题无关的分类标准。

   一种方法是利用矩阵分解和正则化理论寻找子空间，另一种方法是利用深度自动编码器学习通用的共享结构。

   实验结果表明，与基线支持向量机（65.74%）相比，深度转移学习模型的平均分类准确率为82.16%，优于其他转移学习方法。我们的实验结果还表明，不同睡眠质量的神经模式是有区别的和稳定的：当睡眠被部分剥夺时，delta反应增加，α反应减少，4小时睡眠和6小时睡眠的神经模式与8小时睡眠更相似。

   

5. Deep Transfer Learning for Cross-domain Activity Recognition

   International Conference on Crowd Science and Engineering 2018

   Jindong Wang Vincent W. Zheng Yiqiang Chen Meiyu Huang

   本文提出了一种有效的活动识别无监督源选择算法（USSAR）。USSAR能够从可用域列表中选择最相似的K源域。在此基础上，我们提出了一种有效的转移神经网络来进行活动识别的知识转移（TNNAR）。TNNAR可以在知识转移的同时捕捉到活动之间的时间和空间关系。在三个公共活动识别数据集上的实验表明：1）USSAR 算法在选择最佳源域方面是有效的。2） TNNAR方法在进行活动知识转移时可以达到较高的准确度

   

6. Stratifified Transfer Learning for Cross-domain Activity Recognition

   International Conference on Pervasive Computing and Communications 2018

   Jindong Wang, Yiqiang Chen, Lisha Hu, Xiaohui Peng, Philip S. Yu

   本文提出了一种新的、通用的跨域学习框架，利用类间的亲和力进行类内知识转移。

   该框架被称为分层转移学习（STL），可以显著提高跨域活动识别的分类精度。具体来说，STL首先通过多数投票技术获得目标域的伪标签。然后，迭代地进行类内知识转移，将两个域转化为相同的子空间。最后通过第二次标注得到目标域的标签。

   

7. Importance Weighting with Adversarial Network for Large-Scale Sleep Staging

   ICML 2020 Workshop LifelongML Blind Submission

   Samaneh Nasiri Gari Clifford

   这项工作联合学习患者不变的表示和加权特征（谱图系数），以增强相关特征在最终模型中的贡献，并使用无监督方法减少无关特征的影响。该方法利用了从训练集到测试集的可转换和可分辨知识。

   

8. Tri-FeatureNet: an Adversarial Learning-Based Invariant Feature Extraction for Sleep Staging Using Single-Channel EEG

   Yiqiao Liao, Milin Zhang, Zhihua Wang , Xiang Xie

   IEEE International Symposium on Circuits and Systems (ISCAS) 2020

   本文提出了一种基于双向学习的特征提取算法Tri-FeatureNet，用于学习对subject和session不变性的表征。改进了算法对个体差异的鲁棒性。将不变特征与受试者特定特征和时间特征相结合，进一步补偿对抗训练过程中睡眠信息的损失。该模型同时利用了脑电信号和睡眠分期序列中的时间信息。这是第一次提出对抗性训练来提取不同受试者和不同阶段的任务相关特征。该算法已在一个便携式睡眠分级系统中实现。
   实验结果表明，在单通道脑电信号下，82.9%的ACC在睡眠分期任务中起作用。

   

9. Attentive Adversarial Network for Large-Scale Sleep Staging

   Proceedings of Machine Learning Research 2020

   Samaneh Nasiri Gari D. Clifffford

   文提出了一种基于对抗训练和注意机制的方法，从不同的数据集中提取个体间的可传递信息，同时关注更重要或相关的通道和可转移的数据部分。利用两个大型的公共脑电图数据库——Physionet 2018挑战赛（P18C）数据库中的994名患者EEG（6561小时的数据）和来自睡眠心脏健康研究（SHHS）的5793名患者（42560小时）EEG——我们证明，对手学习具有注意力机制的网络，与跨数据集场景中最先进的深度学习方法相比，显著提高了性能。

   

   $$\mathcal{L}_{c h}=\frac{1}{K n} \sum_{k=1}^{K} \sum_{\mathbf{x}_{i} \in \mathcal{D}_{t r} \cup \mathcal{D}_{t e}} L_{d}\left(G_{d}^{k}\left(\mathbf{f}_{i}^{k}\right), d_{i}\right) \\w_{i}^{k}=1-H\left(G_{d}^{k}\left(\mathbf{f}_{i}^{k}\right)\right)=1-H\left(\hat{d}_{i}^{k}\right)$$ $$\mathcal{L}_{g}=\frac{1}{n} \sum_{\mathbf{x}_{i} \in \mathcal{D}_{t r} \cup \mathcal{D}_{t e}} L_{d}\left(G_{d}\left(\mathbf{h}_{i}, d_{i}\right)\right) \\\mathcal{L}_{a}=-\frac{1}{n} \sum_{\mathbf{x}_{i} \in \mathcal{D}_{t r} \cup \mathcal{D}_{t e}} \sum_{j=1}^{c}\left(1+H\left(\hat{d}_{i}\right)\right) \cdot \mathbf{p}_{i, j} \cdot \log \left(\mathbf{p}_{i, j}\right)$$ $$\begin{aligned} C\left(\theta_{f}, \theta_{y}, \theta_{d},\left.\theta_{d}^{k}\right|_{k=1} ^{K}\right)=& \frac{1}{n_{t r}} \sum_{\mathbf{x}_{i} \in \mathcal{D}_{t r}} L_{y}\left(G_{y}\left(G_{f}\left(\mathbf{x}_{i}\right)\right), y_{i}\right) \\ &+\frac{\gamma}{n} \sum_{\mathbf{x}_{i} \in \mathcal{D}_{t r} \cup \mathcal{D}_{t e}} \sum_{j=1}^{c}\left(1+H\left(\hat{d}_{i}\right)\right) \cdot \mathbf{p}_{i, j} \cdot \log \left(\mathbf{p}_{i, j}\right) \\ &-\frac{\lambda}{n}\left[\sum_{\mathbf{x}_{i} \in \mathcal{D}_{t r} \cup \mathcal{D}_{t e}} \mathcal{L}_{d}\left(G_{d}\left(\mathbf{h}_{i}, d_{i}\right)\right)+\frac{1}{K} \sum_{k=1}^{K} \sum_{\mathbf{x}_{i} \in \mathcal{D}_{t r} \cup \mathcal{D}_{t e}} \mathcal{L}_{d}\left(G_{d}^{k}\left(\left(G_{f}\left(\mathbf{x}_{i}\right)\right)\right)\right)\right] \end{aligned}$$