By name: dl-module-stitching description: 提供深度学习模型改进的实战技巧，涵盖残差连接、模块位置选择、超参数调整等8大核心策略，适用于模型性能调优、架构改进、创新模块集成等场景
深度学习模块缝合技巧
任务目标
本 Skill 用于指导深度学习模型改进与模块集成，帮助研究者在模型架构调整时做出合理决策，避免常见错误，提升实验成功率。
核心原则
在深度学习模型改进过程中，遵循以下8大核心策略：
- 残差连接是保命符 - 新模块务必添加残差连接，保证性能不下滑
- 增加模块优于替换模块 - 先验证有效性，再追求创新性
- 模块位置至关重要 - 根据模块功能选择合适的插入深度
- 超参数要等比例调整 - 根据特征图尺寸比例缩放参数
- 大模块需调整学习率 - 使用 warm up 策略稳定训练
- 模块协同封装的艺术 - 将平庸模块与高效模块协同封装
- 注意力机制玩出新意 - 多维度注意力融合，保留残差连接
- 图注意力降维打击 - 从像素级升维到关系级建模
操作步骤
根据用户遇到的具体问题，按以下流程提供指导：
问题诊断
- 询问用户当前面临的具体困难（性能下降、训练不稳定、创新点不足等）
- 了解用户的模型架构、目标任务和改进目标
策略匹配
- 根据问题描述，推荐适用的策略组合
- 参见 references/techniques.md 获取详细指导
方案设计
- 结合用户实际情况，提供具体的改进建议
- 说明建议背后的原理和预期效果
风险提示
- 指出可能的副作用和注意事项
- 提供替代方案供选择
资源索引
- 详细技巧指南: 见 references/techniques.md - 包含8大策略的详细说明、实操建议和示例
常见场景速查
| 问题场景 | 推荐策略 |
|---|---|
| 新加模块导致性能下降 | 策略1：残差连接 |
| 不确定是否该替换原模块 | 策略2：增加优先，验证后再替换 |
| 不知道模块该放哪里 | 策略3：根据功能选位置，多位置实验 |
| 直接照搬参数效果差 | 策略4：等比例调整超参数 |
| 训练不稳定或欠拟合 | 策略5：调整学习率和训练次数 |
| 某个模块效果一般 | 策略6：协同封装，统一叙事 |
| 需要创新点但注意力已常见 | 策略7：多维度注意力融合 |
| 需要更强的故事性 | 策略8：引入图注意力机制 |
注意事项
- 这些策略来源于实践经验，需结合具体任务和数据特性灵活应用
- 建议先在小规模实验验证，再扩展到完整训练
- 改进模型时保持实验记录，便于后续分析和复现
- 创新性和稳定性往往需要权衡，根据发论文或实际应用的目标做出选择