labutopia-reproduction

name: labutopia-reproduction description: | LabUtopia 全流程复现 Skill。用于数据收集、模型训练、推理部署的完整流程。 适用场景：

• 复现 LabUtopia 项目
• 修复数据收集、训练或推理阶段的问题
• 调试 Isaac Sim 与 PyTorch 兼容性问题
• 添加新任务或控制器

涵盖：环境检查、常见问题修复、PyTorch 2.6+ 兼容性、检查点格式处理、 OmegaConf 配置解析等关键技术点。

LabUtopia 全流程复现

核心指令

1. 环境验证

source ~/anaconda3/etc/profile.d/conda.sh && conda activate labutopia
python test_import.py

2. 数据收集

python main.py --config-name=level1_pick --headless --no-video

3. 模型训练

python train.py --config-name=train_act_image_workspace

4. 推理测试

python main.py --config-name=level1_pick --headless --no-video

关键修复清单

PyTorch 2.6+ 兼容性

• 文件：local_model_inference_engine.py
• 修改：torch.load(..., weights_only=False)
• 原因：检查点包含 omegaconf 对象

检查点格式

• 支持 state_dict 和 state_dicts['model'] 两种格式
• 自动检测并适配

OmegaConf Eval Resolver

OmegaConf.register_new_resolver("eval", eval, replace=True)

输入数据形状

• 当 n_obs_steps=1 时 squeeze 时间维度
• 详见 @scripts/base_inference_fix.py

参考资源

• 详细文档: @reference.md
• 常见问题: @troubleshooting.md
• 验证脚本: @scripts/test_model_loading.py
• 修复代码: @scripts/base_inference_fix.py

输出目录

outputs/
├── collect/   # 数据收集输出
├── train/     # 模型训练输出
└── infer/     # 推理测试输出