Agent Planning 数据
结构化规划数据
将复杂任务的 planning 过程结构化为有向无环图(DAG),通过人工标注生成高质量训练数据,训练 Planner 模型的任务分解与多 Agent 协调能力。
Demo 案例
来自我们标注数据集的交互式 DAG 可视化
Query
Build a full-stack todo web application with authentication, database, and deployment.
点击任意节点查看详细标注信息
StartPlanningExecutionVerificationTerminal
| 起始节点 | 目标节点 | 数据流 |
|---|---|---|
| root | arch | parsed_requirements |
| arch | db | tech_stack_config |
| arch | auth | auth_requirements |
| arch | api | api_spec |
| db | fe | schema_types |
| auth | fe | auth_context |
| db | integrate | db_client |
| auth | integrate | auth_middleware |
| api | integrate | route_handlers |
| fe | test | components |
| integrate | test | api_endpoints |
| test | deploy | test_results |
从 Todo List 到 DAG
为什么线性规划工具已经不够用了
线性 Todo List
- 模型需要频繁提醒才能保持 on track(每 5 轮插入 system reminder)
- 固定清单限制模型的自主调整能力
- 子 Agent 之间无法共享协调状态
- 线性结构无法表达并行和依赖关系
DAG Task Graph
- 任务间的依赖关系显式建模(有向边)
- 支持并行执行无依赖的子任务
- Agent 间可通过边传递上下文和状态更新
- 模型可动态增删节点,灵活调整计划
参考:Anthropic Claude Code 团队在实践中发现,随着模型能力提升,线性 TodoWrite 工具逐渐成为瓶颈。因此引入了支持依赖关系和跨 Agent 通信的 Task Tool(DAG 结构),显著提升了多 Agent 协作效果。
查看原文
我们标注什么
01
DAG 拓扑结构
节点(子任务)和有向边(依赖关系)的完整图结构
02
节点元数据
每个节点的 Agent 角色、调用工具、输入输出描述
03
执行语义
并行分组、关键路径、数据流方向、错误处理策略
标注流程
1
任务采集与设计
- 收集真实用户 query
- 筛选适合 DAG 拆解的复合型任务(排除单步任务)
- 为每个 query 设计标注模板:节点字段 + 边字段 + 元数据
2
DAG 结构标注
- 标注员将 query 拆解为子任务节点(含 agent 角色、工具、描述)
- 标注节点间依赖关系(有向边),确保无环
- 标注并行度:哪些节点可并发执行
- 标注每条边的数据流方向(输入/输出映射)
3
质量审核
- 交叉审核:另一位标注员独立审查 DAG 结构合理性
- 自动校验:环检测、连通性检查、孤立节点检测
- 一致性评估:对比两位标注员的 DAG,计算结构相似度
- 专家仲裁:不一致处由高级标注员裁定
4
数据增强与训练
- 将标注好的 DAG 转为 JSON 格式训练数据
- 数据增强:对同一 query 生成多种合理 DAG 变体
- 训练 Planner 模型:输入 query → 输出 DAG 结构
- 评估:与 ground-truth DAG 对比拓扑相似度 & 执行成功率
标注规范要点
节点粒度
每个节点应对应一个可独立完成的子任务,粒度约等于一次 Agent tool call
边的语义
边表示数据/控制依赖,必须标注数据流方向,不允许冗余边
并行标注
无依赖的节点应标注为可并行,并在 parallel_groups 中显式声明
Agent 分配
每个节点指定合适的 Agent 角色和可用工具集,确保可执行性
标注数据格式示例
{
"query": "Build a full-stack todo app with auth and deploy",
"dag": {
"nodes": [
{ "id": "arch", "label": "Architecture Design", "agent": "Architect", "tools": ["SequentialThinking"] },
{ "id": "db", "label": "Database Design", "agent": "DB-Agent", "tools": ["Bash","Write"] },
{ "id": "auth", "label": "Auth Module", "agent": "Auth-Agent", "tools": ["Write","Read"] }
],
"edges": [
{ "from": "arch", "to": "db", "data_flow": "tech_stack_config" },
{ "from": "arch", "to": "auth", "data_flow": "auth_requirements" }
],
"parallel_groups": [["db", "auth", "api"]],
"critical_path": ["arch", "db", "fe", "test", "deploy"]
},
"metadata": { "annotator": "expert_03", "time_spent_min": 11, "difficulty": "medium" }
}标注质量指标
92%
标注员一致性
100%
无环校验通过率
50+
覆盖任务场景
2,000+
已标注 DAG 样本