OraAI
English 登录 预约产品演示
首页/技术文章与行业洞察/Modern Data Stack 到 Agentic Data Stack

行业洞察 · 数据工程架构

从 Modern Data Stack 到 Agentic Data Stack:数据工程的下一次分层重构

过去十年,数据工程的主线是“让人更好地操作工具”。Modern Data Stack 把重型、封闭的数据平台拆解为可组合的模块化能力——Fivetran 做摄取、Snowflake 或 Iceberg 做存储、dbt 做转换、Airflow 做调度、Looker 做 BI。这套架构的核心假设是:用户是人,工具为人服务。人打开界面、填写配置、点击运行、排查异常,工具的专业化程度决定了人的效率上限。

Agent 时代的到来,打破了这个假设。当数据平台的用户从人扩展到 Agent,问题不再是“工具够不够多、够不够专业”,而是“这套栈能不能让 Agent 在正确的上下文和安全边界内完成工程任务”。Modern Data Stack 是为人类操作而优化的,它从未为 Agent 设计过。Agentic Data Stack 的出现,不是给旧栈加一层 AI 插件,而是重新回答四个问题:Agent 从哪里获取业务目标?如何理解业务语义?通过什么机制安全调用能力?谁来做执行、验收和回滚。

一、Modern Data Stack 的成功与盲区

Modern Data Stack 的历史贡献是清晰的。它用云原生、模块化、可插拔的方式,把数据工程从“大系统建设”变成了“组合式架构”。ELT 范式取代 ETL,dbt 成为转换层事实标准,Airflow 和 Dagster 让编排可编程,Snowflake 和 BigQuery 让存储计算分离成为共识。企业第一次可以用“选最好的工具拼起来”的方式建设数据平台。

但这套栈有一个隐含的盲区:它假设“数据进入平台”是一件简单的事,把工程重心放在了存储和转换层。实际生产中,最容易被低估的恰恰是最前面的数据集成层。CDC 漏数、schema drift、源端压力、失败恢复、重复写入——这些问题不会因为 dbt 模型写得优雅而消失,它们会原样流入下游,让 Lakehouse、语义层和分析团队为上游的工程债务买单。

更根本的盲区在于上下文。Modern Data Stack 的语义层(如 dbt metrics、LookML)是为人类解释数据而存在的:人可以读文档、问同事、凭经验判断“这个指标口径对不对”。Agent 没有这些能力。没有结构化的业务规则、血缘关系、指标定义和权限约束,Agent 只能读懂字段名,读不懂企业。一个能生成 SQL 的模型,在缺少上下文时,只是一个用概率猜测业务含义的文本生成器。

二、Agent 暴露了旧栈的深层缺陷

Agent 进入数据工程后,两个旧栈中潜伏已久的问题被急剧放大。

第一个问题是“生成”与“交付”之间的鸿沟。 大模型让 SQL、DAG、配置文件的生成成本趋近于零。但数据工程的稀缺能力从来不是写代码,而是验证、治理和问责。在一个通用 AI 场景里,模型回答“差不多正确”可能只是体验问题;在数据工程里,错误结果会直接流入报表、财务和自动化决策系统。真正危险的不是 Agent 写错 SQL,而是它写错之后仍然成功执行。Modern Data Stack 提供了工具,但没有提供将生成内容安全转化为生产交付的工程机制。

第二个问题是工具暴露面的失控。 Modern Data Stack 的每个工具都有自己的 CLI、API 和 UI。如果把这些工具不加约束地堆给 Agent,结果不是更智能的工程师,而是更多隐式依赖、临时脚本和无法审计的自动化路径。Agent 不需要更多工具,它需要的是受控的能力契约——标准化的、有权限边界的、可验证可回滚的 Skill。

这两个问题指向同一个结论:Agentic Data Stack 的核心命题,不是“让 AI 生成更多”,而是“让生成的内容可信地进入生产”。

三、Agentic Data Stack 的五层重构

Agentic Data Stack 的分层逻辑与 Modern Data Stack 有本质不同。旧栈的分层是 Storage → Compute → Orchestration → Governance → BI,回答的是“数据存在哪、怎么算、怎么调度、怎么管、怎么看”。新栈的分层是 Intent → Control → Semantic → Harness → Runtime,回答的是“Agent 的目标从哪来、如何理解业务、通过什么机制安全执行、谁来兜底”。

L1 执行运行时承接的是旧栈中存储与计算层的确定性能力。数据库、湖仓、Spark、Flink、SeaTunnel、DolphinScheduler 仍然在跑 SQL、同步数据、执行调度、输出日志。关键原则是:智能不负责确定性,Runtime 负责确定性。Agent 的规划可以灵活,但写入生产表的动作必须落在可复现的确定性执行上。

L2 数据工程 Harness 是整座栈的枢纽,也是 Modern Data Stack 完全缺失的一层。它位于 Agent 与 Runtime 之间,把底层工具封装为受控 Skill,在请求到达数据库之前完成 Skill 定义、权限检查、上下文注入、结果校验、可观测记录和回滚准备。Harness 的价值不在于让 Agent “更聪明”,而在于让企业敢把执行权交出去。没有这一层,Agent 的生成能力只是更快地产生内容;有了这一层,生成能力才开始转化为可交付的工程结果。

L3 语义与知识层 是 Agent 的“企业翻译官”。它包含业务规则、指标定义、数据血缘、本体模型和元数据。在 BI 时代,语义层服务于人的理解;在 Agent 时代,语义层是 Agent 执行前必须读取的上下文契约。Google 在 Agentic Data Cloud 中把 Knowledge Catalog 作为核心新增层,原因正在于此:干净的、结构化的数据只能给 Agent 提供一半的准确性,另一半来自业务含义、实体关系和访问约束。

L4 编排控制平面 把调度系统从“跑 DAG”升级为“约束 Agent 如何把目标变成可执行工程”。传统调度器执行人预先定义好的任务图;Agentic 控制平面管理的是目标分解、Skill 路由、策略检查、人工审批关口和多 Agent 协作。Google 的 Data Agent Kit 和 Snowflake 的 Agentic Enterprise Infrastructure 都在朝这个方向演进:人定义目标,Agent 自主规划,控制平面约束执行,人在关键节点介入。

L5 业务意图层 是人机协同的终局。工程师不再写“从 A 表同步到 B 表、每天早上 8 点跑”,而是定义目标、边界和验收标准:每天生成高价值客户收入数据集,使用标准收入口径,不允许覆盖生产表,波动超过 5% 触发人工审批。人的角色从代码打字员升维为规则制定者和风险边界的守护者。

四、迁移的本质:从工具组合到工程契约

从 Modern Data Stack 到 Agentic Data Stack,表面上是架构分层的变化,底层是工程责任边界的重新划定。

Modern Data Stack 的集成逻辑是“工具之间通过 API 和数据管道连接”,人负责补全工具之间的缝隙。Agentic Data Stack 的集成逻辑是“Agent 通过 Harness 调用受控 Skill,Harness 通过 Semantic Layer 获取上下文,通过 Control Plane 接受约束”。人不再补全缝隙,而是定义缝隙的规则。

一个具体的对比可以说明这种差异。在 Modern Data Stack 中,让 Agent 生成一个 dbt 模型并运行,路径是:Agent 生成 SQL → 写入 dbt 项目 → 触发 Airflow DAG → 在 Snowflake 中执行。如果 SQL 有指标口径错误,错误会一路畅通无阻地写入生产表。在 Agentic Data Stack 中,同一个任务的路径是:人定义意图和验收标准(L5)→ Agent 从语义层读取指标定义和血缘(L3)→ Control Plane 检查策略并路由到合适的 Skill(L4)→ Harness 校验生成 SQL 的权限、口径和预期影响(L2)→ Runtime 执行(L1)→ 结果回传校验,波动超标则触发人工审批。两个路径的差别不在于谁写代码更快,而在于错误在哪一层被拦截。

这也是为什么 AWS 的 ADOP 架构选择让 Agent 只存在于开发侧、生产侧运行确定性产物。容错能力决定了不确定性的位置:dev 阶段的 LLM 方差由人工审查吸收,错了只是一次 PR 返工;同一份方差进入生产,就变成静默的数据污染和无法归因的 SLO 漂移。Agentic Data Stack 的设计哲学与此一致:把智能放在可以犯错的地方,把确定性放在不能犯错的地方。

五、结语

Modern Data Stack 解决的是“人如何高效地使用数据工具”的问题。它成功了,但也止步于此。Agent 时代的到来,让数据工程的稀缺能力从“写 SQL、配 DAG”迁移到“理解上下文、验证结果、控制执行、承担问责”。旧栈没有为这些能力预留位置。

Agentic Data Stack 的价值不在于它是一个更“先进”的架构,而在于它承认了一个事实:Agent 不缺聪明,缺的是把聪明转化为工程结果的系统。五层架构——Runtime 的确定性、Harness 的受控性、Semantic Layer 的上下文、Control Plane 的约束、Business Intent 的边界——共同构成的就是这个系统。

下一代数据工程的竞争,不再是谁的工具链更丰富、谁的 SQL 写得更快,而是谁能更精准地定义业务意图,更可靠地拦截错误,更安全地把生成能力交付到生产。从 Modern 到 Agentic,变的不是工具的名字,是工程责任的归属。

← 返回技术文章与行业洞察预约产品演示 →