log-diagnosis-shrink-p-reserve-d

name: log-diagnosis-shrink-p-reserve-d description: 缩P保D流程异常的日志诊断。当PD分离架构中D实例故障后触发缩P保D，流程卡住或失败时，通过日志定位根因。触发词：缩P保D失败、缩P保D卡住、缩P保D异常、shrink P reserve D、缩容失败、D实例故障恢复失败。 parent: log-diagnosis-framework

缩P保D问题日志诊断

问题描述

缩P保D是指在PD分离架构中，当Decode(D)实例出现故障时，释放一个Prefill(P)实例为D实例腾出NPU资源，然后调度新D实例恢复服务的过程（如2P1D→1P1D）。

涉及仓库/组件：

• mindie-motor/controller: FaultManager、FaultHandler、ScaleInTimer
• mindie-llm: KVCache链路管理、建链/解链操作

典型异常表现：

• D实例故障后长时间未恢复服务
• P实例被释放但新D实例未加入
• 缩P保D流程卡在某个阶段不推进
• 建链反复失败，角色状态不变为READY

关联问题：建链失败可能是缩P保D的下游问题，如果诊断到建链阶段异常，转 log-diagnosis-pd-link-establishment。

诊断入口日志

确认问题类型：如果日志中出现上述入口日志，说明进入了缩P保D流程，继续诊断。

诊断决策树

[入口] D实例故障被记录
├── 故障检测阶段
│   ├── 有 "Unhealthy state handler" → 缩容策略已触发 ✓ → 继续定时器阶段
│   └── 无 "Unhealthy state handler" → 故障处理器未启动 ✗ → 故障1: FaultHandler未触发
│
├── 定时器阶段
│   ├── 有 "Timer started" → 定时器启动 ✓ → 继续等待
│   │   ├── 有 "Timer expired" → 定时器超时 ✓ → 继续缩P决策
│   │   ├── 有 "Timer stopped successfully" → 定时器被停止 → 说明有新D实例 → 继续扩容阶段
│   │   └── 无超时/停止日志 → 定时器卡住 ✗ → 故障2: 定时器未超时
│   └── 无 "Timer started" → 定时器未创建 ✗ → 故障3: 缩容策略生成失败
│
├── 缩P决策阶段
│   ├── 有 "Get static elastic pd cnt" → 正在获取期望实例数 ✓
│   │   ├── 有 "Current D instance number less" → D实例不足确认 ✓ → 继续释放P
│   │   └── 无上述日志 → D实例数量满足 → 不需要缩P（可能是误触发）
│   └── 无 "Get static elastic pd cnt" → 策略未执行 ✗ → 故障4: 缩P策略未执行
│
├── 释放P实例阶段
│   ├── 有 "Releasing prefill instances" → 开始释放 ✓
│   │   ├── 有 "Release.*successfully" → 释放成功 ✓ → 继续组更新
│   │   ├── 有 "Release.*failed" → 释放失败 ✗ → 故障5: P实例释放失败
│   │   └── 有 "All groups do not has enough" → 所有组P实例不足 ✗ → 故障6: 无可释放P实例
│   └── 无 "Releasing prefill instances" → 未尝试释放 ✗ → 故障7: 释放流程未启动
│
├── 组信息更新阶段
│   ├── 有 "Updating group info" → 组信息更新中 ✓
│   │   ├── 有 "send new peers info to new instances" → 消息下发中 ✓
│   │   └── 有 "send new peers info to old instances" → 旧实例通知中 ✓
│   └── 无 "Updating group info" → 组信息未更新 ✗ → 故障8: 组更新未触发
│
├── 扩容阶段（新D实例加入）
│   ├── 有 "Scale out operation: detected" → 检测到新节点 ✓
│   │   ├── 有 "has enough new nodes" → 节点充足 ✓ → 停定时器+建链
│   │   └── 有 "does not have enough new nodes" → 节点不足 → 定时器继续
│   └── 无 "Scale out operation" → 未检测到新节点 ✗ → 故障9: 新节点未加入
│
└── 建链阶段
    ├── 有 "start to process DMI link scenario" → 建链流程启动 ✓
    │   → 转 log-diagnosis-pd-link-establishment 继续诊断
    └── 无建链相关日志 → 建链未触发 ✗ → 故障10: 建链未触发

分阶段诊断流程

阶段1：故障检测

阶段2：定时器与策略

阶段3：缩P决策与释放

阶段4：组更新与消息下发

阶段5：扩容与建链

阶段6：服务恢复确认

快速诊断表

故障清单详解

故障1: FaultHandler未触发

现象：有"Record hardware fault"但无"Unhealthy state handler" 根因：故障类型不被FaultHandler识别，或FaultHandler未注册该故障类型 排查：

1. grep "Handle hardware fault" $LOG_DIR/*.log — 确认是否有处理入口
2. 检查故障type字段，是否在FaultHandler的支持列表中
3. 检查FaultHandler是否正常初始化

故障2: 定时器未超时

现象：有"Timer started"但无"Timer expired"或"Timer stopped" 根因：ScaleInTimer线程挂起或死锁 排查：

1. 确认定时器超时时间（默认30秒）
2. 检查controller进程线程状态
3. 查看是否有锁竞争的日志

故障3: 缩容策略生成失败

现象：有"Unhealthy state handler"但无"create a scaling timer" 根因：GenerateStrategy未能生成缩P保D策略 排查：

1. grep "GenerateStrategy\|AbortInstanceNPURecovery" $LOG_DIR/*.log
2. 检查灵衢恢复流程是否被正确退出

故障4: 缩P策略未执行

现象：定时器超时后无"Get static elastic pd cnt" 根因：InstanceLevelNonRedundantScaleIn未被调用 排查：

1. grep "non-redundant scale in strategy" $LOG_DIR/*.log
2. 检查是否被"but time is not over"拦截

故障5: P实例释放失败

现象：有"Release.*failed" 根因：P实例进程终止失败或NPU资源释放失败 排查：

1. 确认P实例进程是否仍在运行
2. 检查NPU设备状态：npu-smi info
3. 检查是否有资源竞争

故障6: 无可释放P实例

现象：有"All groups do not has enough prefill instance" 根因：所有组内P实例数量≤1，释放后将无P实例可用 修复：需要外部添加新节点，或调整静态弹性模板降低期望D实例数

故障7: 释放流程未启动

现象：有"Current D instance number less"但无"Releasing prefill instances" 根因：SelectGroup2ReleaseInstance未找到可释放的组 排查：

1. grep "active prefill instances\|does not have more than 1" $LOG_DIR/*.log
2. 检查各组P实例数量

故障8: 组更新未触发

现象：P实例释放成功但无"Updating group info" 根因：ReleasePrefillInstances后的回调未执行 排查：

1. 检查ReleasePrefillInstances返回值
2. 确认ScalingUpdateAllGroups是否被调用

故障9: 新节点未加入

现象：有"send new peers info"但无"Scale out operation" 根因：deployer未调度新D实例，或灵衢未分配NPU 排查：

1. 检查deployer日志：是否有调度记录
2. 检查灵衢日志：是否有NPU分配记录
3. 检查集群资源池：是否有可用NPU

故障10: 建链未触发

现象：有"send new peers info to new instances"但无"enter process pdRole" 根因：postRole请求未到达mindie-llm，或llm未响应 排查：

1. 检查mindie-llm日志是否收到POST /v2/role请求
2. 检查网络连通性
3. 检查mindie-llm进程是否正常运行

关联问题