0%

关键词:时间序列预测,进化状态图,图网络

摘要

为了对时序数据中未来事件做到精确且可解释的预测,需要捕获具有代表性的模式(state)。以前的研究都主要关注对模式的表示和识别,忽视了变化中的过渡关系。

本文使用一种演化状态图,节点表示模式,边表示演化关系。

提出了Evolutionary State Graph Network(EvoNet),对进化状态图进行编码,以便准确和可解释的时间序列事件预测,EvoNet对节点与节点和图级别传播(segment 2 segment)进行建模,同时捕获节点与图随时间交互的信息。

基于5个真实世界数据集的实验结果表明,与11个基线相比,我们的方法不仅取得了明显的改进,而且为解释事件预测的结果提供了更多的见解。

Read more »

关键词:EEG;自监督学习;对比学习

有监督学习方法受到数据收集与标记成本的限制,而自监督学习方法作为一个pre-training或者feature learning的方法,在计算机视觉和时间序列分析等领域的前景十分的广阔。本文中,我们提出的自监督模型可用于学习信息性表示(informative representations)。一种成功的方法依赖于预测是否从相同的时间上下文中采样了时间窗口。正如临床相关任务(睡眠评分)和两个脑电图数据集所证明的那样,我们的方法在低数据情况下优于纯监督方法,同时无需获取标签即可捕获重要的生理信息。

Read more »

1.时序场景特点

  • 写入平稳、高并发高吞吐:时序数据的产生通常是以一个固定的时间频率产生,不会受其他因素的制约,其数据生成的速度是相对比较平稳的。时序数据是由每个个体独立生成,所以当个体数量众多时,写入的并发和吞吐量都是很高的
  • 数据量大:每天可能会有TB,PB级的数据需要存储
  • 写多读少:监控的指标很多,但是通常只关心几个特定的指标、特定的场景。
  • 实时写入:时序数据的写入是实时的,且每次写入都是最近生成的数据。因为其数据生成是随着时间推进的,很少有更新删除的操作。
  • 近期数据的关注度更高,时间久远的数据极少被访问,冷热分明
  • 多维查询、分析
Read more »

关键词:图神经网络;EEG

摘要

基于脑电信号的情感识别在情感计算中受到了广泛的关注。近年来,提出了一种新的动态图卷积神经网络(DGCNN)模型,该模型同时优化了网络参数和表征脑电记录设备中每对电极之间函数关系强度的加权图G。本文提出了一种稀疏的DGCNN模型,该模型通过对G进行稀疏约束来修正DGCNN,提高了情感识别的性能。我们的工作基于一个重要的观察:断层扫描研究表明,脑电图电极采集的不同脑区可能与大脑的不同功能有关,电极之间的功能关系可能是高度局部化和稀疏的。然而,在图G中引入稀疏性约束,使得稀疏DGCNN的损失函数在某些奇点处不可微。为了保证稀疏DGCNN的训练过程收敛,我们采用了前向后向切分的方法。为了评价稀疏DGCNN的性能,我们将其与四种有代表性的识别方法(SVM、DBN、GELM和DGCNN)进行了比较。除了比较不同的识别方法外,我们的实验还比较了不同的特征和谱带,包括从四个有代表性的脑电数据集(SEED、DEAP、DREAMER和CMEED)中提取的时频域脑电特征(DE、PSD、DASM、RASM、ASM和DCAU)。
结果表明:

  • 稀疏DGCNN的识别准确率始终优于典型方法,且具有良好的可扩展性;
  • γ波段的DE、PSD和ASM特征表达了最具区分性的情感信息,分离特征和频带的融合可以提高识别性能。
Read more »

关键词:迁移学习;EEG

摘要

由于脑电信号的跨受试者的变异性,情感脑机接口面对人类情感解码时受到了很大的阻碍。现有的方法通常需要收集每一个新对象的大量脑电数据,耗时很大而且用户体验糟糕。为了解决这个问题,我们将脑电表示分为特定于每个受试者的私人成分和对所有受试者都通用的共同情感成分。根据这一表示部分,我们提出了一种即插即用域自适应方法来处理受试者的可变性。

在训练阶段,由一个共享编码器和一个私有编码器分别捕获对象不变的情感表征和源对象的私有成分。在此基础上,我们构建了一个基于共享部分的情感分类器,并结合这两个部分构建了受试者分类器。在校准阶段,该模型只需要少量来自目标受试者的未标记脑电数据来对其私有成分进行建模。因此,除了共享情感分类器外,我们还有另一条管道通过私有成分的相似性来使用源域的知识。在测试阶段,我们将共享情感分类器的预测结果与通过相似性权重调制后的个体分类器的预测结果相结合。在SEED数据集上的实验结果表明,该模型在保持识别准确率的同时,大大缩短了校准时间,使情感解码更具普遍性和实用性。

Read more »

任务场景

在社交媒体中,有非常多的二部图。比如推特中,有关注者和被关注者两种节点,关注关系形成一个二部图;在大众点评中,有用户和商家两种节点,用户对商家的点评关系形成一个二部图;在淘宝里,用户购买商品,也形成一个二部图。


image-20220226160804505

1
2
3
4
Fraudar可以解决哪些问题呢?(二部图的问题)
\1. 用户在电商平台,购买商品(刷单)
\2. 用户评论电影,美食,游戏评分(刷评分)
\3. 推特,博客关注信息(购买粉丝)

为了在二部图中检测出上述的欺诈行为,以往的方法(在此篇论文发表的2016年以前)是检测二部图中的稠密子图。以购买粉丝为例,购买者会突然增加许多粉丝,在二部图中,购买者这个节点的边突然增多(稠密子图)。

Read more »

Supervised Contrastive Learning

关键词:对比学习;自监督;

Abstract

对比学习在自我监督表征学习中的应用近年来得到了迅速的发展,在深度图像模型的无监督训练中取得了很好的效果。现代批量对比方法包含或显著优于传统的对比损失,如三元组、最大边际和N对损失。在这项工作中,我们将自我监督的批对比方法扩展到完全监督的设置,使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起,同时将来自不同类的样本簇分开。我们分析了监督对比(SupCon)损失的两种可能形式,确定了损失的最佳表现公式。在ResNet-200上,我们在ImageNet数据集上实现了81.4%的top-1准确率,比该体系结构报告的最佳数字高出0.8%。
我们在其他数据集和两个ResNet变量上显示了一致的优于交叉熵的性能。这种损失显示了对自然损坏的健壮性的好处,并且对于超参数设置(如优化器和数据处理)更为稳定。

Read more »

Introduction

关键词:时间序列;时序分类

Abstract

随着可用时间序列数据的增加,预测它们的类别标签已成为广泛学科中最重要的挑战之一。最近关于时间序列分类的研究表明,卷积神经网络(CNN)作为单一分类器实现了最先进的性能。本文指出现有CNN分类器通常采用的全局池化层丢弃了高层特征的时间信息,因此提出了一种动态时间池(DTP)技术,通过分段聚合特征,减少了隐层表示的时间长度。为了将整个序列划分为多个片段,本文使用动态时间规整(DTW)将每个时间点按照时间顺序与片段的原型特征对齐,这可以同时与CNN分类器的网络参数进行优化。结合DTP层和全连接层,有助于进一步提取区分性特征。在单变量和多变量时间序列数据集上的大量实验表明,本文提出的池化方法显著提高了分类性能。

Read more »

关键词:自监督学习,EEG,时间序列

Abstract

时间序列通常很复杂且信息丰富,但标记稀疏,因此很难建模。 在本文中,我们提出了一种自监督框架,用于学习非平稳时间序列的通用表示。 我们的方法称为时间邻域编码(TNC),它利用信号生成过程的局部平滑度来及时定义具有相似属性的邻域。 通过使用无偏差的对比目标(debiased contrastive objective),我们的框架通过确保在编码空间中来自邻域内的信号的编码特征与非邻域信号的编码特征是可区分的,来学习时间序列表示。 我们的动机来自医学领域,在该领域中,对时间序列数据的动态性质进行建模的能力对于在几乎不可能标记数据的环境中识别,跟踪和预测潜在患者的潜在状态尤其有价值。 我们将我们的方法与最近开发的无监督表示学习方法进行了比较,并证明了在针对多个数据集进行聚类和分类任务方面的卓越性能。

Read more »

关键词:时间序列预测;

1摘要

Informer的主要工作是使用Transfomer实现长序列预测(Long Sequence Time-Series Forecasting),以下称为LSTF。针对Transfomer在长序列预测中的不足(平方时间复杂度、高内存占用和现有编解码结构的局限性),提出ProbSparse注意力机制、自注意力蒸馏技术和生成式解码器等模块解决或缓解上述问题。

  1. 首先,LSTF任务具有重要研究意义,对政策计划和投资避险等多种需要长时预测的任务至关重要;
  2. 目前现有方法多专注于短期预测,模型缺乏长期预测能力;
  3. Transformer具有较强捕获长距离依赖的能力,但是,在计算时间复杂度和空间复杂度以及如何加强长序列输入和输出关联上都需要优化;
Read more »