Agent Planning 数据

结构化规划数据

将复杂任务的 planning 过程结构化为有向无环图(DAG),通过人工标注生成高质量训练数据,训练 Planner 模型的任务分解与多 Agent 协调能力。

Demo 案例

来自我们标注数据集的交互式 DAG 可视化

Query

Build a full-stack todo web application with authentication, database, and deployment.

点击任意节点查看详细标注信息

Understand Require…Architecture DesignDatabase SchemaAuth ModuleAPI RoutesFrontend UIIntegrationTestingDeployment
StartPlanningExecutionVerificationTerminal
起始节点目标节点数据流
rootarchparsed_requirements
archdbtech_stack_config
archauthauth_requirements
archapiapi_spec
dbfeschema_types
authfeauth_context
dbintegratedb_client
authintegrateauth_middleware
apiintegrateroute_handlers
fetestcomponents
integratetestapi_endpoints
testdeploytest_results

从 Todo List 到 DAG

为什么线性规划工具已经不够用了

线性 Todo List

  • 模型需要频繁提醒才能保持 on track(每 5 轮插入 system reminder)
  • 固定清单限制模型的自主调整能力
  • 子 Agent 之间无法共享协调状态
  • 线性结构无法表达并行和依赖关系

DAG Task Graph

  • 任务间的依赖关系显式建模(有向边)
  • 支持并行执行无依赖的子任务
  • Agent 间可通过边传递上下文和状态更新
  • 模型可动态增删节点,灵活调整计划

参考:Anthropic Claude Code 团队在实践中发现,随着模型能力提升,线性 TodoWrite 工具逐渐成为瓶颈。因此引入了支持依赖关系和跨 Agent 通信的 Task Tool(DAG 结构),显著提升了多 Agent 协作效果。

查看原文

我们标注什么

01

DAG 拓扑结构

节点(子任务)和有向边(依赖关系)的完整图结构

02

节点元数据

每个节点的 Agent 角色、调用工具、输入输出描述

03

执行语义

并行分组、关键路径、数据流方向、错误处理策略

标注流程

1

任务采集与设计

  • 收集真实用户 query
  • 筛选适合 DAG 拆解的复合型任务(排除单步任务)
  • 为每个 query 设计标注模板:节点字段 + 边字段 + 元数据
2

DAG 结构标注

  • 标注员将 query 拆解为子任务节点(含 agent 角色、工具、描述)
  • 标注节点间依赖关系(有向边),确保无环
  • 标注并行度:哪些节点可并发执行
  • 标注每条边的数据流方向(输入/输出映射)
3

质量审核

  • 交叉审核:另一位标注员独立审查 DAG 结构合理性
  • 自动校验:环检测、连通性检查、孤立节点检测
  • 一致性评估:对比两位标注员的 DAG,计算结构相似度
  • 专家仲裁:不一致处由高级标注员裁定
4

数据增强与训练

  • 将标注好的 DAG 转为 JSON 格式训练数据
  • 数据增强:对同一 query 生成多种合理 DAG 变体
  • 训练 Planner 模型:输入 query → 输出 DAG 结构
  • 评估:与 ground-truth DAG 对比拓扑相似度 & 执行成功率

标注规范要点

节点粒度

每个节点应对应一个可独立完成的子任务,粒度约等于一次 Agent tool call

边的语义

边表示数据/控制依赖,必须标注数据流方向,不允许冗余边

并行标注

无依赖的节点应标注为可并行,并在 parallel_groups 中显式声明

Agent 分配

每个节点指定合适的 Agent 角色和可用工具集,确保可执行性

标注数据格式示例

{
  "query": "Build a full-stack todo app with auth and deploy",
  "dag": {
    "nodes": [
      { "id": "arch",  "label": "Architecture Design",  "agent": "Architect",  "tools": ["SequentialThinking"] },
      { "id": "db",    "label": "Database Design", "agent": "DB-Agent",   "tools": ["Bash","Write"] },
      { "id": "auth",  "label": "Auth Module",   "agent": "Auth-Agent", "tools": ["Write","Read"] }
    ],
    "edges": [
      { "from": "arch", "to": "db",   "data_flow": "tech_stack_config" },
      { "from": "arch", "to": "auth", "data_flow": "auth_requirements" }
    ],
    "parallel_groups": [["db", "auth", "api"]],
    "critical_path": ["arch", "db", "fe", "test", "deploy"]
  },
  "metadata": { "annotator": "expert_03", "time_spent_min": 11, "difficulty": "medium" }
}

标注质量指标

92%
标注员一致性
100%
无环校验通过率
50+
覆盖任务场景
2,000+
已标注 DAG 样本