用块稀疏特征提取器揭示视觉模型中的神经几何结构

Goodfire Research 提出块稀疏特征提取器（BSF），将模型激活分解为多维子空间而非 SAE 式的单条直线，在视觉模型中发现了可解释的多维特征，并能实现细粒度引导。研究显示模型中大多数概念都是多维的，BSF 对底层流形的还原保真度显著高于标准 SAE，且块稀疏原则也能提升 MFA 与 SMixAE 的还原能力。