关键词：多任务学习

Abstract

多任务参数联合优化是MTL中一个活跃的研究问题，对不同任务的参数进行划分（不相交或有重叠），可以放宽共享权值的优化约束，但是这种方法会削弱多任务产生的inductive bias（MTL的思想）。本文提出了新的划分参数空间的方法（Maximum Roaming），且不会削弱inductive bias。该方法受dropout启发，随机改变参数分区，迫使参数在规定的频率下尽可能多地查看任务，使网络全面适应每次更新。实验表明，与普通的分区优化策略相比，roaming带来的正则化对性能的影响更大，且整体方法灵活、易于应用。

关键词：多变量时间序列，时间序列分类

在本文中，我们提出了一个名为ShapeNet的新型模型，该模型将不同长度的小波候选者嵌入到统一的空间中，以进行小波选择。该网络使用聚类三元组损失进行训练，该损失考虑了锚点与多个正（负）样本之间的距离以及正（负）样本之间的距离，这对于收敛非常重要。我们计算有代表性的和多样化的最终小波，而不是直接使用所有小波嵌入进行模型构建，以避免很大一部分非歧视性小波候选。我们已经使用UEA多元时间序列数据集在ShapeNet上进行了具有竞争性的最新技术和基准测试方法的实验。结果表明，ShapeNet的准确性是所有比较方法中最好的。此外，我们通过两个案例研究说明了小波的可解释性。

关键词：微服务； 异常检测； 根因分析

Abstract

本文旨在解决微服务调用跟踪异常

• 挑战

  • 底层微服务数量众多
  • 它们之间的调用关系复杂
  • 响应时间和调用路径之间的相互依赖性

• TraceAnomaly 核心理念

  • 在定期的离线训练中，使用机器学习来自动学习轨迹的整体正常模式

    • 新颖的痕迹表示和设计的深度贝叶斯网络后验流

  • 在线异常检测中，一个带有小异常分数(根据学习到的正态模式计算)的新轨迹被认为是异常

• 效果

  • 某公司已在18个在线服务上部署了TraceAnomaly

  • 详细评估四大在线服务包含数百个microservices和实验包含41 microservices

    • 表明TraceAnomaly的查全率和查准率都高于0.97,优于现有的方法(硬编码规则)19.6%和7.1%
    • 和其他七个基线平均57.0%和41.6%。

关键词： 元学习；迁移学习

贡献

• 提出了元迁移学习（MTL, Meta-Transfer Learning），该方法学习如何将深度神经网络的权值转移到小样本学习中任务
  Meta：指训练多个任务；Transfer：学习每个任务的DNN权重的缩放和偏置（SS, Scale and Shift）来实现迁移
• 其次，提出了Hard Tasks（HT）进一步提高MTL的学习效率
• 在有监督和半监督的环境下，我们在minimagenet、tieredImageNet和Fewshot-CIFAR100（FC100）这三个具有挑战性的基准上对五类小样本分类任务进行了实验，验证了本文提出的HT模式训练的MTL方法具有很好的性能。消融研究表明，SS和HT两个组件有助于快速收敛和高精度。
• 另外，在每个任务上加入元梯度正则化，利用当前任务和前一任务的元梯度加权和对每个任务进行优化。其目的是迫使元学习器在以后的学习中不要忘记旧知识。

关键词： 元学习；迁移学习

贡献

• 提出了元迁移学习（MTL, Meta-Transfer Learning），该方法学习如何将深度神经网络的权值转移到小样本学习中任务
  Meta：指训练多个任务；Transfer：学习每个任务的DNN权重的缩放和偏置（SS, Scale and Shift）来实现迁移
• 其次，提出了Hard Tasks（HT）进一步提高MTL的学习效率
• 在有监督和半监督的环境下，我们在minimagenet、tieredImageNet和Fewshot-CIFAR100（FC100）这三个具有挑战性的基准上对五类小样本分类任务进行了实验，验证了本文提出的HT模式训练的MTL方法具有很好的性能。消融研究表明，SS和HT两个组件有助于快速收敛和高精度。
• 另外，在每个任务上加入元梯度正则化，利用当前任务和前一任务的元梯度加权和对每个任务进行优化。其目的是迫使元学习器在以后的学习中不要忘记旧知识。

关于时序异常检测-动态基线原型系统的提升点的思考

时间序列异常检测论文阅读汇总

作者： Changchun Zhang , Qingjie Zhao

a Beijing Laboratory of Intelligent Information Technology, School of Computer Science, Beijing Institute of Technology, Beijing 100081, China

关键词

Partial Domain Adaptation Attention Mechanism Adversarial Networks

摘要

如何有效地从目标域的未标记样本中提取特征表示对于无监督的域自适应是至关重要的，特别是对于部分域自适应，其中源标签空间是目标标签空间的一个超空间，因为它有助于减少由于域偏移或域偏差而导致的较大性能差距。

我们提出了一种基于对抗学习的局部域自适应方法和多自注意网络（MSAN）。与现有的大部分局部域自适应方法只关注高层次特征不同，MSAN主要是利用标记源数据从未标记目标数据中提取有效的高层次上下文特征和低层次结构特征。具体地说，我们提出了多重自注意网络，这是一种通过逐步增强特征来学习更细粒度和可转移特征的一般方法，这样可以相对减少域转移，从而提高模型的泛化能力。在Office-31和Office-Home数据集上的综合实验表明，该方法显著改进了表示部分域自适应方法，为各种部分转移任务提供了最新的结果。

关键词：大规模，异常检测

摘要:数据挖掘和时间序列计算在关键应用中仍值得研究。目前，在水文时间序列领域，大部分异常值的检测都集中在提高特异性上。为了有效检测海量水文传感器数据中的异常值，提出了一种基于Flink的水文时间序列异常检测方法。首先，利用滑动窗口和ARIMA模型对数据流进行预测。然后对预测结果计算置信区间，区间范围外的结果判断为备选异常数据。最后，基于历史批次数据，使用KMeans++算法对批次数据进行聚类。计算状态转移概率，对异常数据进行质量评估。以从楚江获取的水文传感器数据为实验数据，分别进行了检测时间和异常检测性能的实验。结果表明，在计算数千万个数据时，两个从机花费的时间比一个从机少，最大减少量为17.43%。评价的灵敏度从72.91%提高到92.98%。延迟方面，不同从机的平均延迟大致相同，维持在20ms以内。结果表明，在大数据平台下，该算法能有效提高数千万数据的水文时间序列检测的计算效率，并给出可靠的置信度，以提高整体灵敏度（不漏报）。在大量的水文时间序列中可以快速，准确地检测到异常值。

基于量化的最小误差熵准则的格兰杰因果分析

2019 IEEE Signal Processing Letters Volume: 26, Issue: 2, pp 347-351 DOI: 10.1109/LSP.2019.2890973

Badong Chen1, Rongjin Ma 1, Siyu Yu 1, Shaoyi Du 1, Jing Qin 2

1 Xi’an Jiaotong University , 2 Hong Kong Polytechnic University

摘要：

基于均方误差标准（MSE) 的线性回归模型（LRM) 被广泛应用于Granger因果分析中。然而，当信号被非高斯噪声污染的情况下，基于MSE的线性回归模型（LRM) 的系数就难以精确的估计，也就从而影响Granger因果分析的准确性。最小误差熵(MEE)标准可以取代MSE标准来解决非高斯噪声环境下的问题，但是它也因为信号过多产生了计算效率上的瓶颈。为了解决前面的这些问题，本文提出了量化的最小误差熵准则（QMEE) ，分别比较了传统的GC和GC—MEE以及GC—QMEE，通过模拟数据集，还有EEG数据集上的实验，表明GC—QMEE在非高斯噪声领域的优势以及QMEE相比MEE大大减少了计算复杂度。

作者对于非高斯噪声的举例：多模的，重尾的，离散的，等等。