0. Abstract
睡眠阶段自动分类对睡眠质量的监测具有重要意义，本文提出了一种基于注意力的深度网络AttnSleep，利用单导EEG进行睡眠分期。用多分辨率卷积网络（MRCNN）提取特征，通过自适应特征重校准(AFR)对特征之间的依赖进行建模；第二模块是时间上下文编码器（TCE），用多头注意机制（MHA）来捕获所提取特征之间的时间关系，在三个公开数据集上评估了模型性能。
1. Intorduction
研究意义：睡眠的重要性；PSG人工分类；
研究现状：特征工程+分类器；深度学习方法，CNN，CNN+RNN（时间相关性），注意力机制；类不均衡问题，过采样。
本文贡献：所以本文提出了AttnSleep，MRCNN提取高频、低频特征，AFR对特征依赖进行建模，加强特征学习；时间上下文编码器（TCE），多头注意力+因果卷积来捕获特征中的时间相关性；针对类不均衡问题设计了类相关的损失函数；在三个公开数据集上进行实验。
2. Method
2.1 总框架
总体框架如图1，由三部分组成：1)特征提取块，2)时间上下文编码块，3)分类块。MRCNN提取高频、低频特征，ARF自适应地选择和突出最重要的特征；TCE模块来捕获特征中的时间相关性；softmax进行分类，类感知的损失函数。
2.2 特征提取
2.2.1 MRCNN
不同的睡眠阶段具有不同的频率范围，所以两个不同卷积核的卷积分支，探索不同的频带，捕获不同的时间步长范围（4s，0.5s）；EEG具有非平稳特征，不同类型的特征组合对非平稳特征信号有重要意义。
在MRCNN模块中使用GELU激活函数，因为它允许输入的一些负权值通过，对很小的负值有较强的控制力（与leakyrelu等相比）
2.2.2 ARF
AFR的目的是对MRCNN学习的特征进行重新校准，以提高其性能。通过residual SE块对特征之间的依赖性进行建模，自适应地选择最具鉴别性的特征。
在residualSE块中，包含两层卷积（kerner和stride均为1）；再用自适应平均池化来压缩全局的空间信息得到s，经过线性层-激活函数-线性层-激活函数 得到e，
利用e对F进行放缩，得到加权求和：
shortcut连接，将原始输入I和residualSE的输出相加，得到ARF最终的输出：
“Squeeze-and-Excitation(SE)”单元，对通道间的依赖关系进行建模，可以自适应的调整各通道的特征响应值；学习每个通道的重要程度，增强有用的特征，抑制无用的特征
SE block主要由三部分构成，Squeeze操作,Excitation操作，Fscale操作。
首先，Ftr把输入的X映射为特征图U，Ftr可以是一个最常见的卷积操作或者其他操作。
其次，Squeeze操作对U进行一个全局的池化操作，比如最大池化或者平均池化(WxH空间范围内进行池化)，产生一个embedding（1x1xC）。
再次，Excitation操作将上面产生的embedding进行一系列非线性映射(比如FC+RELU+FC)，最后跟一个sigmoid得到每个通道的权重。
最后，将上面得到的每个通道的权重作用于U，对每个通道的U进行加权求和。至此，就完成了整个SE block的映射。
核心思想是不同通道的权重应该自适应分配，由网络自己学习出来。
2.3 TCE（时间上下文编码器）
TCE目的是捕获提取特征中的时间依赖性，TCE层由多头注意(MHA)层、归一化层和FC层组成，该结构重复两次，
2.3.1 自注意力
SA给感兴趣的区域赋予较高的权重，不感兴趣的区域赋予较低的权重，量化输入特征之间的相互依赖。
将原始输入z通过$\phi$转换到另一个空间（此处的$\phi$为因果卷积），计算第i个特征和第j个特征之间的attention score（相关度、权重），并进行归一：
第i个特征的新表示是加权和：
自注意力：https://blog.csdn.net/rocking_struggling/article/details/106201849
2.3.2 多头注意力
MHA是SA的进阶版：将输入特征划分为多个子空间，再将多个子空间的结果拼接起来。
先经过因果卷积（捕获位置信息）得到X-hat，三个X-hat作为输入，
将X-hat分解到H个子空间，
将H个表示拼接起来，
2.3.3 add&normalize
通过残差连接将前面的输入与后面的输出相加、标准化，帮助模型利用到底层的特征，标准化也能加速训练过程。
2.4 类感知的损失函数
标准的多类交叉熵损失函数对每个类分错的惩罚是相同的；在此基础上，为每个类设置一个权重w：
权值和该类出现的频次、区分的难易程度有关，样本量越少，分类难度越大，权重越大，$\mu_k$是超参数。
N1和N3较少，但是N3容易区分，N1难区分，所以$\mu_k$如下，a<b<c，通过除以K使得$\mu_k$<1，对样本数量比进行放缩：
3. 实验结果
3.1 数据集&指标
sleepEDF20；sleepEDF78；SHHS
ACC ；MF1； Cohen Kappa (κ)； MGm
3.4 baseline对比
DeepSleepNet； SleepEEGNet；ResnetLSTM ；MultitaskCNN；SeqSleepNet；20折交叉验证，训练100轮，超参数设置。
AttnSleep优于其他方法，且训练时间更短（无LSTM）；在MF1和GMm指标上更优，说明有效地解决了类不均衡问题。
3.5 消融实验
AttnSleep由MRCNN、AFR和TCE模块以及类感知损失函数组成，消融实验的几个模型为：MRCNN MRCNN+ARF MRCNN+TCE MRCNN+AFR+TCE AttnSleep
TCE比ARF还重要；MF1和GMm指标在加入类感知的损失函数时大幅提升，有效解决了类不均衡问题。
5. 结论
提出了基于注意力的单导EEG睡眠分期架构AttnSleep，基于MRCNN和ARF提取特征，TCE模块中利用MHA捕获所提取特征之间的时间相关性，设计类感知的损失函数，解决类不均衡问题，并在三个公开数据集上进行了对比实验、消融实验，证明了该模型的有效性。
epoch之间的依赖性；一个epoch内部