identity-trap-eeg-foundation-models - SKILL.md Agent Skill

name: identity-trap-eeg-foundation-models description: EEG基础模型的身份陷阱诊断审计框架。FMScope协议用于诊断EEG基础模型是否陷入身份陷阱（subject identity shortcut），提供五项诊断指标分离真实生物标志物与身份特征。 version: 1.0.0 author: Jun-You Lin, Ying Choon Wu, Tzyy-Ping Jung arxiv_id: 2606.06647 submission_date: 2026-06-04 categories: - neuroscience - machine-learning - eeg - foundation-models tags: - identity-trap - eeg-foundation-model - fmscope - shortcut-learning - diagnostic-audit - subject-variance - aperiodic-1f - cross-subject-validation activation_keywords: - 身份陷阱 - EEG基础模型 - shortcut learning - subject identity - frozen representation - FMScope - variance decomposition - aperiodic 1/f - cross-subject marker setup_needed: false

The Identity Trap in EEG Foundation Models: A Diagnostic Audit

概述

本技能提取自 arXiv:2606.06647 (2026-06-04)，论文标题 "The Identity Trap in EEG Foundation Models: A Diagnostic Audit"。该论文首次发现并诊断了EEG基础模型的"身份陷阱"问题——模型可能通过学习被试身份特征而非真实生物标志物来达到高准确率。

核心问题

EEG基础模型在临床静息态EEG上报告了高准确率，但在被试不交叉的交叉验证下，高准确率可能是：

真实生物标志物：反映真实临床病理特征
身份陷阱：学习与标签相关的被试身份特征

论文提出问题：能否在微调前从表示层面诊断身份陷阱？

关键发现

1. 身份陷阱普遍存在

冻结被试方差显著：12/12实验对中，冻结被试方差是随机零模型的13-89倍
微调放大身份特征：微调后所有12个实验对中被试方差增加10-63个百分点
身份主导是线性轴：可通过线性轴消除来改善标签解码

2. Aperiodic 1/f 是身份载体之一

LaBraM 和 CBraMod：移除 aperiodic 1/f 信号后被试探针下降9-19个百分点
REVE 不同机制：REVE饱和被试身份但无可测量的aperiodic依赖
生理基础：aperiodic 1/f 具有可测量的生理成分

3. 微调效果依赖于标记存在

真实标记存在：微调仅在文献已建立的跨被试标记存在的实验中放大标签方差
无真实标记：纯身份特征不转化为真实的临床效用
增益来源区分：FMScope分离生物标记增益与身份增益

4. 身份轴消除改善性能

被试内标签变化时改善：移除身份轴在被试内标签变化的实验中改善+6-12个百分点
外部队列改善：在外部队列中改善+4-27个百分点
线性轴可消除：身份特征是可移除的线性结构

FMScope 协议

FMScope 是冻结表示协议，包含五项诊断：

1. 方差分解 (Variance Decomposition)

分析表示方差分解：

被试方差 vs 标签方差
冻结表示方差比
量化身份主导程度

方法：

# 方差分解
subject_variance = compute_variance_across_subjects(representation)
label_variance = compute_variance_across_labels(representation)
ratio = subject_variance / null_model_variance

诊断标准：

ratio > 13：显著身份主导
ratio < 5：低身份主导

2. 被试轴消除 (Subject-Axis Erasure)

消除被试身份轴：

识别被试线性轴
PCA分解提取主成分
移除被试相关主成分

方法：

# PCA分解
pca = PCA(n_components=k)
components = pca.fit_transform(representation)
# 识别被试相关成分
subject_components = identify_subject_axis(components, subject_ids)
# 消除
representation_cleaned = representation - subject_components

效果：

改善被试内标签变化场景
不影响跨被试真实标记

3. Aperiodic 1/f 消融 (Aperiodic 1/f Ablation)

移除 aperiodic 1/f 信号：

功率谱分解
移除 1/f 斜率成分
评估身份探针变化

方法：

# 功率谱分解
spectrum = compute_power_spectrum(eeg_signal)
# 分离 aperiodic 1/f
aperiodic = fit_1_f_slope(spectrum)
# 消融
eeg_cleaned = remove_aperiodic_component(eeg_signal, aperiodic)

发现：

LaBraM/CBraMod：移除后身份探针下降9-19 pp
REVE：无显著影响

4. 层级标签探测 (Layer-wise Label Probing)

逐层分析标签探测：

冻结表示层级探针
识别标签信息层
区分身份层与标签层

方法：

# 层级探针
for layer in model.layers:
    probe = train_linear_probe(layer.output, labels)
    probe_accuracy[layer] = evaluate_probe(probe)

分析：

标签信息层级分布
与被试信息层重叠

5. 被试内方向一致性 (Within-Subject Direction Consistency)

分析被试内标签方向一致性：

计算被试内标签梯度
评估方向一致性
区分一致与不一致模式

方法：

# 被试内标签方向
for subject in subjects:
    subject_representation = get_subject_rep(subject)
    label_direction = compute_label_gradient(subject_representation, labels)
    consistency = measure_direction_consistency(label_direction)

诊断：

高一致性：可能真实标记
低一致性：可能身份陷阱

实验设计

2x2 实验布局

论文设计了2x2布局的12个实验对：

	Label Varies Within Subject	Label Fixed Within Subject
Has Cross-Subject Marker	3 pairs	3 pairs
No Cross-Subject Marker	3 pairs	3 pairs

Label varies within subject：同一被试有不同标签（如任务状态）
Label fixed within subject：每个被试固定标签（如临床诊断）
Cross-subject marker：文献已建立的跨被试EEG标记

三个基础模型

LaBraM：大型脑活动模型
CBraMod：认知脑模型
REVE：表示学习EEG模型

四个数据集

不同数据集验证身份陷阱普遍性
包含静息态和任务态EEG
临床和健康对照组

理论洞见

1. Shortcut Learning 的物理基础

身份陷阱是 shortcut learning 的物理实例化：

Shortcut 依赖：模型依赖简单特征而非真实信号
生理可测量：aperiodic 1/f 是可测量的生理成分
身份特征：被试身份是稳定的 shortcut

2. 被试不交叉验证的局限性

仅靠被试不交叉验证无法排除身份陷阱：

身份方差主导：13-89倍随机零模型
标签-身份相关性：身份特征可能与标签相关
需要额外诊断：冻结表示方差分析

3. 微调放大机制

微调如何放大特征：

真实标记存在：微调增加标签方差
无真实标记：微调仅增加身份方差
选择性放大：基于标记存在的选择性机制

4. 表示层面的诊断优势

冻结表示诊断优势：

无需微调：诊断可在微调前完成
快速评估：减少计算成本
通用性：适用于多个基础模型

应用场景

1. EEG 基础模型评估

诊断模型是否陷入身份陷阱
评估冻结表示的可用性
决定是否需要表示清洁

2. 临床 EEG 解码

区分真实生物标志物与身份特征
改善跨被试临床诊断
增强模型泛化能力

3. 基础模型开发

设计身份陷阱抵抗机制
优化表示学习目标
构建清洁表示管道

4. EEG 研究质量评估

评估研究的 shortcut learning 风险
验证生物标志物的真实性
提高研究可重复性

方法论步骤

Step 1: 基础模型冻结表示提取

提取冻结表示：

加载预训练基础模型
提取 EEG 样本的冻结表示
不进行任何微调

Step 2: 方差分解诊断

进行方差分解：

计算被试方差
计算标签方差
与随机零模型比较
确定身份主导程度

Step 3: 被试轴消除实验

消除被试轴：

PCA 分解表示
识别被试相关主成分
消除被试轴
评估标签解码变化

Step 4: Aperiodic 1/f 消融实验

消融 aperiodic 1/f：

分离功率谱成分
移除 aperiodic 成分
重新提取表示
评估身份探针变化

Step 5: 层级探测分析

层级分析：

逐层训练标签探针
分析标签信息分布
与被试信息层对比
确定信息分离程度

Step 6: 方向一致性评估

评估方向一致性：

计算被试内标签梯度
测量一致性分数
区分一致与不一致模式
确定标记真实性

Step 7: 综合诊断报告

生成诊断报告：

五项诊断指标汇总
身份陷阱风险评估
表示清洁建议
模型使用建议

实际应用示例

示例 1: EEG 基础模型选择

评估三个基础模型：

应用 FMScope 协议
诊断身份陷阱程度
选择最清洁的模型
决定是否需要表示清洁

示例 2: 临床诊断应用

临床 EEG 诊断：

检查模型身份陷阱风险
消除被试身份轴
增强跨被试泛化
提高诊断可靠性

示例 3: 研究质量验证

验证 EEG 研究：

评估模型的高准确率来源
区分生物标志物与身份特征
提高研究可重复性
增强研究质量

关键指标解读

Subject Variance Ratio

> 13：严重身份陷阱
5-13：中度身份陷阱
< 5：低身份陷阱风险

Identity Axis Erasure Gain

> +6 pp：显著改善，强身份陷阱
+2-6 pp：中等改善
< +2 pp：低身份陷阱

Aperiodic Ablation Drop

> 9 pp：aperiodic 是主要载体
2-9 pp：aperiodic 是次要载体
< 2 pp：其他载体

Label Variance Gain (Fine-tuning)

> +10 pp + Cross-subject marker：真实标记增益
> +10 pp + No marker：身份特征增益
< +10 pp：低增益模型

限制与未来方向

当前限制

静息态 EEG 限制：主要针对静息态 EEG
线性轴假设：假设身份特征是线性轴
冻结表示诊断：不直接诊断微调后的表示
有限模型范围：仅测试三个基础模型

未来研究方向

任务态 EEG 扩展
非线性身份特征分析
微调后表示诊断
更多基础模型评估
身份陷阱预防机制
自适应表示清洁

理论贡献

1. Shortcut Learning 新视角

身份陷阱揭示 shortcut learning 的物理实例：

不是抽象的概念
是可测量、可消除的生理特征
有明确的诊断方法

2. 被试不交叉验证局限

暴露传统验证方法的局限性：

高准确率不等于真实生物标志物
需要额外的表示层面诊断
提出新的验证标准

3. EEG 基础模型审计标准

建立 EEG 基础模型审计标准：

FMScope 五项诊断
标准化审计流程
可复用的诊断框架

4. 表示质量评估范式

提出新的表示质量评估范式：

不仅仅是准确率
考虑表示的清洁性
区分真实信号与 shortcut

代码实现提示

Python 实现框架

import numpy as np
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression

class FMScope:
    """EEG 基础模型身份陷阱诊断"""
    
    def __init__(self, model, representations, subject_ids, labels):
        self.model = model
        self.reps = representations
        self.subject_ids = subject_ids
        self.labels = labels
    
    def variance_decomposition(self):
        """方差分解诊断"""
        # 试方差
        subject_groups = self.group_by_subject(self.reps, self.subject_ids)
        subject_variance = self.compute_variance(subject_groups)
        
        # 标签方差
        label_groups = self.group_by_label(self.reps, self.labels)
        label_variance = self.compute_variance(label_groups)
        
        # 随机零模型
        null_variance = self.null_model_variance()
        
        # 比率
        subject_ratio = subject_variance / null_variance
        label_ratio = label_variance / null_variance
        
        return {
            'subject_ratio': subject_ratio,
            'label_ratio': label_ratio,
            'is_identity_trap': subject_ratio > 13
        }
    
    def subject_axis_erasure(self):
        """被试轴消除诊断"""
        # PCA 分解
        pca = PCA(n_components=10)
        components = pca.fit_transform(self.reps)
        
        # 识别被试轴
        subject_axis = self.identify_subject_axis(components, self.subject_ids)
        
        # 消除被试轴
        reps_cleaned = self.reps - subject_axis
        
        # 评估改善
        original_acc = self.evaluate_label_decoding(self.reps)
        cleaned_acc = self.evaluate_label_decoding(reps_cleaned)
        
        return {
            'gain': cleaned_acc - original_acc,
            'cleaned_reps': reps_cleaned
        }
    
    def aperiodic_ablation(self, eeg_signals):
        """Aperiodic 1/f 消融"""
        # 功率谱分解
        spectra = [self.compute_spectrum(sig) for sig in eeg_signals]
        
        # 分离 aperiodic
        aperiodic = [self.fit_1f_slope(spec) for spec in spectra]
        
        # 消融
        signals_cleaned = self.remove_aperiodic(eeg_signals, aperiodic)
        
        # 重新提取表示
        reps_cleaned = self.model.extract(signals_cleaned)
        
        # 评估身份探针变化
        original_probe = self.subject_probe(self.reps)
        cleaned_probe = self.subject_probe(reps_cleaned)
        
        return {
            'probe_drop': original_probe - cleaned_probe,
            'reps_cleaned': reps_cleaned
        }
    
    def layerwise_label_probing(self):
        """层级标签探测"""
        layer_accuracies = {}
        for layer_idx, layer_output in self.model.get_layer_outputs(self.reps):
            probe = LogisticRegression()
            probe.fit(layer_output, self.labels)
            acc = probe.score(layer_output, self.labels)
            layer_accuracies[layer_idx] = acc
        return layer_accuracies
    
    def within_subject_direction_consistency(self):
        """被试内方向一致性"""
        consistencies = []
        for subject in np.unique(self.subject_ids):
            subject_reps = self.reps[self.subject_ids == subject]
            subject_labels = self.labels[self.subject_ids == subject]
            if len(np.unique(subject_labels)) > 1:
                # 计算标签梯度
                direction = self.compute_label_gradient(subject_reps, subject_labels)
                consistency = self.measure_consistency(direction)
                consistencies.append(consistency)
        return np.mean(consistencies)
    
    def generate_diagnostic_report(self):
        """生成诊断报告"""
        variance_result = self.variance_decomposition()
        erasure_result = self.subject_axis_erasure()
        consistency_result = self.within_subject_direction_consistency()
        
        return {
            'identity_trap_risk': variance_result['is_identity_trap'],
            'subject_variance_ratio': variance_result['subject_ratio'],
            'erasure_gain': erasure_result['gain'],
            'direction_consistency': consistency_result,
            'recommendation': self.generate_recommendation(variance_result, erasure_result)
        }

总结

身份陷阱诊断框架揭示了 EEG 基础模型的 shortcut learning 问题。通过 FMScope 五项诊断，可以区分真实生物标志物与被试身份特征，为 EEG 基础模型的可靠性评估提供了标准化审计方法。这一发现对 EEG 临床应用和基础研究质量提升具有重要意义。