2021-05-13发表2024-02-21更新论文阅读7 分钟读完 (大约1014个字)

Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect NIPS，2020

背景和动机

在传统的长尾分布处理方法中，普遍使用的重采样、重加权等re-balancing办法可能导致对头部类欠拟合且对尾部类过拟合，从而产生shortcut。而Decoupling为代表的二阶段训练方法则不太符合深度学习端到端的理念。

$$ v_{t}=\underbrace{\mu \cdot v_{t-1}}_{\text {momentum }}+g_{t}, \quad \theta_{t}=\theta_{t-1}-l r \cdot v_{t}, $$

通过分析优化器的动量项可能在训练数据时引入数据分布，于是试图通过因果分析去改进动量项，得出一种通用且有一定可解释性的长尾问题解决方法。

核心思想

multi-head normalized classifier
$$ Y_{i}=\frac{\tau}{K} \sum_{k=1}^{K}+\frac{\left(w_{i}^{k}\right)^{T} x^{k}}{\left(\left\|w_{i}^{k}\right\|+\gamma\right)\left\|x^{k}\right\|} $$
其中
$$ \tau, \gamma $$
是超参，K是multi-head的数量

2.统计一个移动平均特征

$$
\bar{x}
$$

，并将他的单位方向看作是特征对头部类的倾向方向

$$
\hat{d}=\bar{x} /|\bar{x}|$$

3.从training的logits中剔除代表对头部类过度倾向的部分，即测试时改用如下公式计算TDE logits：

$$ \operatorname{TDE}\left(Y_{i}\right)=\frac{\tau}{K} \sum_{k=1}^{K}\left(\frac{\left(w_{i}^{k}\right)^{T} x^{k}}{\left(\left\|w_{i}^{k}\right\|+\gamma\right)\left\|x^{k}\right\|}-\alpha \cdot \frac{\cos \left(x^{k}, \hat{d}^{k}\right) \cdot\left(w_{i}^{k}\right)^{T} \hat{d}^{k}}{\left\|w_{i}^{k}\right\|+\gamma}\right) $$

4.对background类做特殊处理

$$ \underset{i \in C}{\arg \max }\left\{\begin{array}{ll} \left(1-p_{0}\right) \cdot \frac{q_{i}}{1-q_{0}} & i \neq 0 \\ p_{0} & i=0 \end{array}\right. $$

background类是一个头部大类，我们可以依赖对background的bias来倚除大量琐碎的细节。公式中i=0代表background类, $\quad p_{i}$ 是利用原始 training的logits计算出的probability, $q_{i}$ 是利用TDE logits计算出的softmax后的概率。