log-diagnosis-large-ep-startup

name: log-diagnosis-large-ep-startup description: 大 EP 场景启动失败/拉不起来的日志诊断。当 Controller 或 Coordinator 无法到达 MindIE-MS coordinator is ready，或长期 not ready 时，按 cmotor 启动五阶段定位；PD 分离卡在就绪前则下钻 mindie-llm 建链。触发词：大EP拉不起来、大EP启动失败、大EP启动卡住、coordinator not ready、coordinator is ready、MindIE-MS coordinator is not ready、大EP起不来。 parent: log-diagnosis-framework

大 EP 启动失败 — 日志诊断

权威参考文档（必读）

诊断前加载以下定位指南作为日志基线；本 skill 是可执行的诊断流程，细节以指南为准：

问题描述

大 EP 启动指 cmotor 大 EP（pd_separate）场景下，Controller 完成选主与集群初始化，向各 Coordinator EP 下发角色，Coordinator 完成实例刷新与（PD 场景）建链后打印 MindIE-MS coordinator is ready!!! 的全过程。

涉及仓库/组件：

典型异常表现：

• Controller 进程反复 failed to initialize server cluster 每 5s 重试
• Coordinator 长期只有 MindIE-MS coordinator is not ready...，无 ready!!!
• 有 coordinator start successful 但实例刷新/建链未完成
• 推理请求返回 Coordinator is not ready
• PD 场景：Failed to add link with decode node 或 mindie-llm 建链 ERROR

关联问题：

• 卡在 步骤 4→5 且涉及 KV 建链 → 加载 log-diagnosis-pd-link-establishment 查 P/D 节点 mindie-llm 日志
• 缩 P 保 D 触发的恢复 → 先 log-diagnosis-shrink-p-reserve-d，再本 skill 或建链 skill

诊断入口日志

用户说「大 EP 拉不起来」时，先确认日志来源，再 grep 入口：

变量约定（按 日志收集方法.md 收集后设置）：

C_LOG=/path/to/controller*.log      # Controller Pod/进程
CO_LOG=/path/to/coordinator*.log    # 目标 EP 的 Coordinator
LLM_LOG=/path/to/mindie-llm*.log    # 对应 P 或 D 节点引擎日志

总诊断决策树

[入口] 大 EP 未 ready / 拉不起来
│
├── Step 0：区分 Controller vs Coordinator
│   ├── Controller 无 leader Campaign / 反复 init cluster failed → 阶段 1–2（Controller）
│   ├── Coordinator 无 start successful → 阶段 1（Coordinator 参数/配置）
│   └── Coordinator 有 start successful + not ready → 阶段 3–5
│
├── 阶段 1：进程启动 + 选主
│   ├── Controller `is leader: 0` + wait → 【非故障】备节点，查 Leader 节点
│   ├── Init/Run failed → 【故障 1A】配置或权限
│   └── Coordinator `Invalid scheduler type` / `predict_ip invalid` → 【故障 1B】启动参数
│
├── 阶段 2：集群初始化
│   ├── `Parse distributed instance failed` → 【故障 2A】rank_table
│   ├── `RankTable Register failed` 重试 → 【故障 2B】ClusterD/gRPC
│   ├── 无 `Finished to initialize server cluster` → 【故障 2C】节点/DIGS
│   └── Coordinator 无 `Heartbeat producer started` → 【故障 2D】CO 本地 Init
│
├── 阶段 3：角色下发 + CO 本地启动
│   ├── 无 `Start sending role` → 回查阶段 2 或非 Leader
│   ├── 有 PostRole 无 CO `instance update` → 【故障 3A】URL/网络/CO 未监听
│   ├── `Some nodes' role are not ready` → 【故障 3B】部分节点 PostRole 失败
│   └── 无 `coordinator start successful` → 【故障 3C】CO 服务启动失败
│
├── 阶段 4：等待实例刷新
│   ├── 长期 not ready 无 `instance update` → 【故障 4A】Controller 未 PostRole/刷新未触发
│   ├── `Add instance failed` / label 错误 → 【故障 4B】刷新 body 或 pd_separate 标签
│   └── `Failed to add link with decode node` → 【故障 4C】D 节点/端口/网络（cmotor 层）
│
└── 阶段 4→5：有 instance update 无 ready!!!
    ├── pd_separate + 无 `Successfully add link with decode node` → 故障 4C 或下钻建链
    ├── 有 CO 层 link success，仍无 ready!!! → 【下钻 PD 建链】加载 log-diagnosis-pd-link-establishment
    └── 单机/无 PD 建链 → 【故障 5A】IsAvailable && dataReady 未满足（查 CO #CO43 条件）

一步判断口诀（与定位指南 §一 一致）：

1. Controller 只有 is not leader or ready, just wait → 非 Leader，不是故障
2. 有 Finished to initialize server cluster，无 Start sending role → 阶段 2→3
3. CO 有 start successful，长期 not ready 无 instance update → 阶段 4（Controller PostRole）
4. 有 instance update success，无 ready!!! → 阶段 4→5（PD 建链或 dataReady）
5. 出现 MindIE-MS coordinator is ready!!! → 该 EP 启动成功

诊断执行流程

Step 0：定界 — 看哪份日志

记录：最后出现的步骤编号 = 当前卡点。

阶段 1：进程启动 + 选主

阶段 2：集群初始化

阶段 3：角色下发 + Coordinator 本地启动

阶段 4：等待实例刷新

阶段 4→5：就绪前 PD 建链下钻

触发条件（满足任一）：

• CO 有 instance update success，无 coordinator is ready!!!
• CO 有 Failed to add link with decode node
• pd_separate 且 CO 层 link 已成功，仍 not ready

动作：

1. 在 P/D 节点 mindie-llm 日志（$LLM_LOG）按 PD 建链指南 §一 四步定位：
   • 步骤 1：system init pd role success / Engine started and ready
   • 步骤 2：start to set PD link/unlink info
   • 步骤 3：Create all clusters kvcache links start → Link succeeded
   • 步骤 4：Setting role status to READY
2. 加载并执行 log-diagnosis-pd-link-establishment，将其结论合并进本诊断输出。
3. 对照 CO 就绪条件（指南 D.4）：IsAvailable() && dataReady；mindie-llm READY 但 CO 仍 not ready → 查 ControllerListener 状态位与实例列表。

阶段 5：确认成功

诊断输出格式

输出必须包含：

## 诊断结论

**判断方向**：大 EP 启动失败 — 卡在阶段 N（Controller / Coordinator / mindie-llm 建链）
**当前卡点**：最后一条标志日志「…」（文件:行号或时间戳）
**可信度**：高/中/低（依据：是否有多条日志互证）

## 证据链

1. [时间] Controller: `...`
2. [时间] Coordinator: `...`
3. [时间] mindie-llm（若已下钻）: `...`

## 根因定位

（一句话根因 + 对应故障编号，如 故障 2A / 4C / pd-link C1）

## 修复建议

| 优先级 | 动作 |
|--------|------|
| P0 | ... |
| P1 | ... |

## 关联诊断

- 若已下钻建链：见 log-diagnosis-pd-link-establishment 输出摘要
- 参考文档：`大EP场景启动日志定位指南.md` §三 卡点速查；`PD实例建链日志定位指南.md` §三

快速诊断表

排查顺序：Controller #C4→#C5→#C24→#C32→#C36 → Coordinator #CO34→#CO35→#CO38→#CO43 → 若 PD：mindie-llm 建链步骤 1→4

常用检查命令汇总

# 大 EP 五阶段 — Controller 侧一条线
grep -E "leader Campaign finish|Finished to initialize server cluster|Start sending role|Send role for all|BatchLinkNodes" "$C_LOG"

# 大 EP 五阶段 — Coordinator 侧一条线
grep -E "scheduler type|Heartbeat producer started|start successful|not ready|instance update|add link with decode|coordinator is ready!!!" "$CO_LOG"

# PD 建链快速入口（P/D 节点）
grep -E "start to set PD link|Create all clusters|Link succeeded|Link failed|Setting role status to READY" "$LLM_LOG"

# 对照 deploy_mode
grep -E "deploy mode|pd_separate" "$C_LOG" "$CO_LOG"

关联问题

执行要点

1. 先读 大EP场景启动日志定位指南.md §一 快速定位表，确定步骤 1–5 卡在哪。
2. Controller 与 Coordinator 分开看；备节点 not leader wait 不要当故障。
3. pd_separate 且卡在 4→5 时，必须同时看 CO 日志 + P/D 的 mindie-llm 日志，并调度 log-diagnosis-pd-link-establishment。
4. 细节日志序号与 Mermaid 图见两份定位指南附录 C/D，本 skill 不重复展开。