时序论文分享
0%

cyf Granger Causality Analysis Based on Quantized Minimum Error Entropy Criterion

Posted on In

基于量化的最小误差熵准则的格兰杰因果分析

2019 IEEE Signal Processing Letters Volume: 26, Issue: 2, pp 347-351 DOI: 10.1109/LSP.2019.2890973

Badong Chen1, Rongjin Ma 1, Siyu Yu 1, Shaoyi Du 1, Jing Qin 2

1 Xi’an Jiaotong University , 2 Hong Kong Polytechnic University

摘要：

基于均方误差标准（MSE) 的线性回归模型（LRM) 被广泛应用于Granger因果分析中。然而，当信号被非高斯噪声污染的情况下，基于MSE的线性回归模型（LRM) 的系数就难以精确的估计，也就从而影响Granger因果分析的准确性。最小误差熵(MEE)标准可以取代MSE标准来解决非高斯噪声环境下的问题，但是它也因为信号过多产生了计算效率上的瓶颈。为了解决前面的这些问题，本文提出了量化的最小误差熵准则（QMEE) ，分别比较了传统的GC和GC—MEE以及GC—QMEE，通过模拟数据集，还有EEG数据集上的实验，表明GC—QMEE在非高斯噪声领域的优势以及QMEE相比MEE大大减少了计算复杂度。

作者对于非高斯噪声的举例：多模的，重尾的，离散的，等等。

介绍

在信息理论学习（ITL) 中，大量的有监督或无监督的学习算法都与信息论的测量的优化相关，例如熵，互信息以及信息散度等。其中的最小误差熵（MEE) 已经被成功地用在回归，分类，自适应系统训练等领域上。

MEE的基础思想就是利用熵（不确定度）代表假定模型和实验数据对应真实模型的差异。一般常用的均方误差（MSE）只依赖于预测误差的二阶矩，而误差熵则能考虑到更高阶的矩，因此在非高斯分布以及极大的异常点的问题上有更佳的表现。以及已经有一些数值实验证明了MEE的更强的鲁棒性。

本文作者的另一篇文章也就MEE在最简单的情形下优于MSE的结果给出了理论上的数学证明。

具体介绍——

A.最小误差熵

在ITL（ J. C. Principe, Information theoretic learning: Renyi’s entropy and kernel perspectives. Springer Science and Business Media, 2010.）中，瑞丽（Renyi）熵被用作损失函数，其定义为

image-20210220160836459

Renyi熵在$\alpha\rightarrow1$的时候就变成熟知的香农熵。这里$p(e)$表示误差变量$e$的概率密度函数（PDF）。

为了估计$p(e)$，这里使用了Parzen窗方法：

image-20210220161635411

因为$\alpha$是可变的，在本文中设置$\alpha=2$，就能推导出具体表达式

image-20210220162820224

最终上式就是理论上的用于计算的损失函数，这里$N$表示样本点个数，通过两个求和符号可以估计它的计算复杂度是O($N^2$)，这对于庞大的数据集来说不适用。

B.量化方法

提出一种MEE的量化算法，保留它的优点同时减少它的计算复杂度。

量化算法：

输入——误差样本：${ei}{i=1}^N$

输出——量化误差：${Q(ei)}{i=1}^N$以及codebook：${ci}{i=1}^M$

  1. 参数设置：阈值$\epsilon$

  2. 初始条件：设置$c_1={e_1}$，这里$c_i$表示第i次迭代时的codebook

  3. for $i=2,3,…,N$ do

    ​ 计算$ei$和$c{i-1}$之间的距离：$dis(ei,c{i-1})=|ei-c{i-1}(j^*)|$

    ​ 这里$j^*=\operatorname{argmin}{}|e_i-c{i-1}(j)|$表示$c_{i-1}$中的第$j$个元素。即距离定义为最小距离

    ​ if $dis(ei,c{i-1})\le \epsilon$ then

    ​ codebook保持不变：$ci=c{i-1}$ 并且$Q(ei)=c{i-1}(j^*)$；

    ​ else

    ​ 更新codebook：$ci={c{i-1},e_i}$ 并且$Q(e_i)=e_i$；

​ end if

​ end for

$Q(·)$表示量化算子，最终得到N个误差样本${ei}{i=1}^N$对应的${Q(ei)}{i=1}^N$，和codebook：${ci}{i=1}^M$

量化的误差熵：

image-20210220181846008

里面的$M$远小于$N$时，可以看出计算复杂度降低很多。$A_m$表示$c_m$中元素的个数。

这就是最后用于计算的函数。

C.传统granger因果

一种基于线性回归模型的方法，通过比较两个模型的预测能力判断一对时间序列间的关系。

image-20210220183303520

image-20210220183332611

如果时间序列x的过去值对y的预测有帮助，则认为x对y有Granger因果影响。

直观上即比较$Var(e{21})$和$Var(e{22})$的大小

image-20210220183816295

实验结果

模拟实验

image-20210220184734621

$\varphi_t$服从$[-2,2]$均匀分布，$\psi_t$是噪声分别服从以下四个情况里的分布：

image-20210220185220761

结果如下表：

image-20210220185542260

image-20210220185711137

文章没有深入讨论在高斯噪声下QMEE比MSE优越多少，但是在混合高斯噪声和$\alpha$稳态噪声下QMEE和MEE有更强的鲁棒性。

EEG数据集实验

该数据集由9名受试者使用3个电极（C3，Cz，C4）进行记录

受试者为右撇子，视力正常或矫正视力正常。运动想象任务分为左脑运动想象任务和右脑运动想象任务。

image-20210220191919234

t是100次替代数据实验中满足Granger因果指数大于原序列实验的Granger因果指数这一条件的实验的相对频率

t越小说明Granger因果越显著

实验结果展示了右撇子的大脑不对称性对有效连接网络的影响，与之前的研究结果相符。

感想：

本文展示了QMEE和MEE准则在非高斯噪声环境下比一般的MSE准则得到的结果更加精确的优势。文章只是提出了线性回归模型上的方案，对于非线性的情况可以使用神经网络进行预测，而且损失函数可以换成QMEE标准下的函数。对于在真实数据集上的神经网络的应用在MSE标准下效果不佳的时候也可以考虑使用QMEE/MEE准则。