xw caNet:Frequency Channel Attention Networks

Introduction

注意机制，特别是通道注意，在计算机视觉领域取得了巨大的成功。许多研究集中在如何设计有效的通道注意机制，而忽略了一个基本问题，即使用全局平均池化(GAP)是否存在问题。在这项工作中，本文从一个不同的视角出发，用频率分析重新思考通道注意。在频域分析的基础上，用数学方法证明了全局平均池化(GAP)是频域特征分解的一种特例。通过证明，自然地将通道注意机制的预处理推广到了频域，并提出了一种新的多谱通道注意网络。该方法简单有效。只修改计算中的一行代码，以在现有的通道注意方法中实现本文的方法。在图像分类、目标检测和实例分割等任务上，与其他通道注意方法相比，该方法取得了最先进的效果。与基线SENet50相比，在相同的参数数量和计算成本下，本文的方法在ImageNet上的Top-1精度提高了1.8%。

论文信息

作者信息

浙江大学（李玺团队）

Motivation

通道注意力大都通过GAP实现，尽管GAP(global average pooling)算法简单有效，但它存在一个潜在的问题，即不能很好地捕捉到丰富的输入模式信息，从而在处理不同的输入时缺乏特征多样性。因此，出现了一个自然的问题，是否均值信息仅足以代表渠道注意中的各种渠道。

Contribution

证明了GAP是离散余弦变换(DCT)的一个特例，等价于离散余弦变换(DCT)的最低频率，仅使用GAP等价于丢弃特征信道中包含大量有用信息的其他频率分量。在此基础上，本文将通道注意推广到频域，提出了具有多谱通道注意框架的FcaNet。
提出了一种选择频率分量的两步准则，探讨了使用不同数量的频率分量及其不同组合的效果。
方法简单，改进一行代码即可。

Method

Revisiting Channel Attention and DCT

Channel Attention

输入

$X \in \mathbb{R}^{C \times H \times W}$

C是通道数

注意力

$a t t=\operatorname{sigmoid}(f c(\operatorname{gap}(X)))$ $att\in \mathbb{R}^{C}$

注意力机制输出

$\widetilde{X}_{:, i,:,:}=a t t_{i} X_{:, i,:,:}, \quad \text { s.t. } \quad i \in\{0,1, \cdots, C-1\}$

Discrete Cosine Transform (DCT)

一维DCT

$f_{k}=\sum_{i=0}^{L-1} x_{i} \cos \left(\frac{\pi k}{L}\left(i+\frac{1}{2}\right)\right), \text { s.t. } k \in\{0,1, \cdots, L-1\}$

输入：$x \in \mathbb{R}^{L}$

离散余弦转换频谱：$f \in \mathbb{R}^{L}$

二维DCT

$\begin{array}{l}f_{h, w}^{2 d}=\sum_{i=0}^{H-1} \sum_{j=0}^{W-1} x_{i, j}^{2 d} \underbrace{\cos \left(\frac{\pi h}{H}\left(i+\frac{1}{2}\right)\right) \cos \left(\frac{\pi w}{W}\left(j+\frac{1}{2}\right)\right)}_{\text {DCT weights }}, \\ \text { s.t. } h \in\{0,1, \cdots, H-1\}, w \in\{0,1, \cdots, W-1\}\end{array}$

反变换

$\begin{array}{l}x_{i, j}^{2 d}=\sum_{h=0}^{H-1} \sum_{w=0}^{W-1} f_{h, w}^{2 d} \underbrace{\cos \left(\frac{\pi h}{H}\left(i+\frac{1}{2}\right)\right) \cos \left(\frac{\pi w}{W}\left(j+\frac{1}{2}\right)\right)}_{\text {DCT weights }} \\ \text { s.t. } i \in\{0,1, \cdots, H-1\}, j \in\{0,1, \cdots, W-1\}\end{array}$

GAP

$\begin{aligned} f_{0,0}^{2 d} &=\sum_{i=0}^{H-1} \sum_{j=0}^{W-1} x_{i, j}^{2 d} \cos \left(\frac{0}{H}\left(i+\frac{1}{2}\right)\right) \cos \left(\frac{\theta}{W}\left(j+\frac{1}{2}\right)\right) \\ &=\sum_{i=0}^{H-1} \sum_{j=0}^{W-1} x_{i, j}^{2 d} \\ &=g a p\left(x^{2 d}\right) H W \end{aligned}$

由上可见全局平均池化(GAP)是频域特征分解的一种特例（只保留低频信息）

$B_{h, w}^{i, j}=\cos \left(\frac{\pi h}{H}\left(i+\frac{1}{2}\right)\right) \cos \left(\frac{\pi w}{W}\left(j+\frac{1}{2}\right)\right)$ $X=\underbrace{\operatorname{gap}(X) H W B_{0,0}^{i, j}}_{\text {utilized }}+\underbrace{f_{0,1}^{2 d} B_{0,1}^{i, j}+\cdots+f_{H-1, W-1}^{2 d} B_{H-1, W-1}^{i, j}}_{\text {discarded }}$

Multi-Spectral Channel Attention

现有的通道注意所使用的信息不足，而通道注意间GAP预处理方法是二维DCT的特例。这样就可以很自然地将GAP推广到2D DCT中更多的频率分量，引入更多的信息来解决信道注意信息不足的问题。

$\begin{aligned} F r e q^{i} &=2 \mathrm{DDCT}^{u, v}\left(X^{i}\right) \\ &=\sum_{h=0}^{H-1} \sum_{w=0}^{W-1} X_{:, h, w}^{i} B_{h, w}^{u, v} \\ & \text { s.t. } i \in\{0,1, \cdots, n-1\} \end{aligned}$

将通道C划分成多个C’的通道，分别进行不同频率分量的DCT运算

主要思想是首先确定每个频率分量的重要性，然后确定使用不同数量的频率分量一起使用的效果。