时序论文分享

[INFOCOM2021]

摘要

本文提出了一个基于粗到细模型迁移的CTF框架，以实现可扩展和准确的数据中心规模的异常检测。CTF预先训练一个粗粒度模型，使用该模型提取每台机器的特征并计算其分布，根据分布对机器进行聚类，并进行模型迁移以对每个类簇模型进行微调以获得较高的精度。文中还对聚类算法、距离度量等设计进行了证明，以达到最佳的精度，并在生产数据上进行实验，验证了其可扩展性和准确性。

关键字：异常检测，高维，时间序列，大规模

Abstract

深度多任务网络可以用一个网络产生多个输出，与单任务网络相比，又快又好，但是不好训练。提出了梯度归一方法，通过动态调整梯度大小，自动平衡多任务中的训练。与单任务、其他loss权衡机制相比，GradNorm可以提高准确率，缓解过拟合。GradNorm只用一个不对称超参数$\alpha$，能达到或超过穷举网格搜索的效果。

摘要

我们提出了一种使用自我监督学习的基于心电图（ECG）的情绪识别系统。我们提出的体系结构由两个主要网络组成，一个信号转换识别网络和一个情感识别网络。首先，未标记的数据用于成功训练前一个网络，以在自我监督的学习步骤中检测特定的预定信号转换。接下来，将该网络的卷积层的权重转移到情感识别网络，并训练两个密集层以对唤醒和化合价进行分类。我们表明，我们的自我监督方法可帮助模型学习情感识别所需的ECG特征集，其性能与模型的完全监督版本相同或更好。我们提出的方法性能优于使用两个公开可用的数据集SWELL和AMIGOS的基于ECG的最先进的情感识别技术。进一步的分析凸显了我们的自我监督方法的优势，即需要更少的数据来获得可接受的结果。

[IEEE Transactions on Cybernetics 2019]

Jinpeng Li, Shuang Qiu, Yuan-Yuan Shen, Cheng-Lin Liu, Fellow, IEEE, and Huiguang He, Senior Member, IEEE

介绍

​ 脑电(EEG)信号，在情绪识别中得到广泛应用。由于脑电的个体差异较大，情感识别模型无法在个体间共享，需要收集新的标记数据来为新用户训练个人模型。在一些应用中，希望尽可能快地获得新的用户的模型，并减少对标记数据的需求，所以提出了一种以现有个体为源域，以新人为目标域的多源迁移(Multisource Transfer)的学习方法。

​ 目标数据被分开用于训练的校准过程和随后的测试过程。该方法的第一阶段是源选择，目的是选择合适的源域。第二阶段是样式转换映射(style transfer mapping)，为了减少目标与各源之间的脑电信号差异。 最后在后续过程中整合源模型来识别情绪。

Introduction

注意机制，特别是通道注意，在计算机视觉领域取得了巨大的成功。许多研究集中在如何设计有效的通道注意机制，而忽略了一个基本问题，即使用全局平均池化(GAP)是否存在问题。在这项工作中，本文从一个不同的视角出发，用频率分析重新思考通道注意。在频域分析的基础上，用数学方法证明了全局平均池化(GAP)是频域特征分解的一种特例。通过证明，自然地将通道注意机制的预处理推广到了频域，并提出了一种新的多谱通道注意网络。该方法简单有效。只修改计算中的一行代码，以在现有的通道注意方法中实现本文的方法。在图像分类、目标检测和实例分割等任务上，与其他通道注意方法相比，该方法取得了最先进的效果。与基线SENet50相比，在相同的参数数量和计算成本下，本文的方法在ImageNet上的Top-1精度提高了1.8%。

Zhang C, Song D, Chen Y, et al. A deep neural network for unsupervised anomaly detection and diagnosis in multivariate time series data[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2019, 33: 1409-1416.

背景介绍

目前，多变量时间序列数据在各种现实系统中越来越受到重视，如发电厂等。

多变量时间序列异常检测与诊断是指在一定的时间步长中识别异常状态，找出异常的根本原因。

然而，建立这样一个系统是具有挑战性的：

• 需要捕获每个时间序列中的时间依赖性
• 需要对不同时间序列对之间的相互关系进行编码
• 该系统应该对噪声具有鲁棒性
• 根据不同事件的严重程度为操作员提供不同级别的异常评分
• 需要面对标签稀缺的问题

尽管已经开发了大量的非监督异常检测算法，但其中很少有能够共同应对这些挑战的。

Proc. VLDB Endow. 13(8): 1176-1189 (2020)

摘要

随着云数据库市场的不断增长，检测和消除慢速查询对服务稳定性至关重要。以前的研究集中在优化由于内部原因(例如，编写得不好的sql)而导致的缓慢查询。

在这项工作中，我们发现了一组不同的慢速查询，与其他慢速查询相比，这些查询对数据库用户的危害可能更大。我们将这种查询命名为间歇性慢速查询(iSQs)，因为它们通常是由外部的间歇性性能问题造成的(例如，在数据库或机器级别)。诊断iSQs的根本原因是一项艰巨但非常有价值的任务。

本文提出iSQUAD（Intermittent Slow QUery Anomaly Diagnoser），一个可以诊断iSQs的根本原因的框架，它对人工干预的需求比较松。

定义

Multitask Learning is an approach to inductive transfer that improves learning for one task by using the information contained in the training signals of other related tasks.

多任务学习是一种归纳迁移的方法，它通过利用其他相关任务的训练信号中所包含的信息来改善对一个任务的学习，并行学习，互相帮助学习。广义的讲，只要loss有多个就算MTL。

具体地，基于共享表示（shared representation），把多个相关的任务放在一起学习。用相关任务的训练信号来提升主任务的泛化效果。

【ICML，2017】

【Takayuki Osogami, Hiroshi Kajino, Taro Sekiyama，IBM Research- Tokyo】

Abstract

隐单元在长程依赖或非线性时序建模中有重要作用，但是相关参数不好训练，提出后向训练来学习这样的模型。后向模型和前向模型有共同的参数集，只有一小部分参数是难训练的，在前向后向模型中是互补的。同时训练两个模型，提高参数学习的效率。在带隐单元的动态玻尔兹曼机上应用了双向学习，合成/真实数据集上演示了双向学习的优势。

基于综合特征学习和多流序列学习的用于睡眠分期的分层神经网络

【2019,IEEE Journal of Biomedical and Health Informatics】

【Chenglu Sun，Chen Chen， Wei Li， Jiahao Fan，Wei Chen：复旦大学，信息科学与技术学院电子工程系，智能医疗电子中心】

Abstract

自动睡眠分期通常提取PSG信号中的人工特征或网络训练的特征，用多种分类器估计它属于哪个阶段。

本文提出了基于分层神经网络的方法处理多通道PSG信号。包含两个阶段：综合特征学习阶段和序列学习阶段。第一阶段，将人工特征和网络训得的特征融合；第二阶段用多流的循环神经网络学习睡眠周期之间的时间信息，并微调第一阶段的参数。

用公开数据集MASS中147份记录来评估模型，总体能达到0.878的准确率，F1-score为0.818。与目前的先进方法相比，这种方法性能更优。消融实验和模型分析证明了模型不同组成部分的有效性。该方法可以根据不同的标准、信号特征和阶段划分的多通道PSG信号对睡眠阶段进行自动分类，具有全面开发睡眠信息的潜力。