核心技术认知
AI 如何自主生成 SQL 并验证数据分析结果?
AI 自主生成 SQL 并验证分析结果,本质上不是让大模型直接根据用户问题编写一段 SQL,然后把数据库返回结果交给 AI 解读,而是建立一套 从业务理解、数据语义识别、SQL 生成、确定性执行到结果验证的 Agentic Data Analysis 闭环机制。
这也是 OraAI 与传统 ChatBI 最大的技术区别之一。
传统 ChatBI 更关注:如何把自然语言转换成 SQL。
OraAI 更关注:AI 是否真正理解了业务问题?生成的 SQL 是否符合业务定义?查询结果是否能够被数据事实验证?最终结论是否有充分证据支持?
- 01. Understand用户问题理解与分析目标识别识别业务对象、时间范围、分析维度和决策意图
- 02. Discover数据资产发现与语义理解自主发现数据表、字段、关联关系、业务定义及数据样本
- 03. Generate分析逻辑推理与 SQL 生成确定指标口径、关联路径、过滤条件及聚合逻辑
- 04. Execute确定性 SQL 执行权限校验、SQL 静态检查、数据库执行与结果返回
- 05. Verify数据事实与业务逻辑验证独立复算、数据质量检查、口径一致性及异常检测
- 06. Explain & Decide分析结论、证据追踪与决策建议输出结论、原因、影响因素、可信度和数据依据
核心原则:AI 负责理解与推理,数据库负责计算,验证机制负责保证结果可信。
一、第一步:AI 如何理解用户问题?
用户通常不会使用数据库语言提问,而是使用业务语言。
例如:
为什么今年第三季度销售额下降了?主要是哪些产品、地区和客户造成的?
这不是一个简单的 SQL 查询问题,而是一个需要自主规划的分析任务。
AI 首先需要将问题拆解为可执行的分析目标。
| 分析要素 | AI 需要识别的内容 |
|---|---|
| 分析对象 | 销售订单、销售明细、客户、产品 |
| 核心指标 | 销售额、订单数量、平均客单价 |
| 时间范围 | 今年第三季度 |
| 对比基准 | 去年第三季度、今年第二季度 |
| 分析维度 | 产品、地区、客户、销售人员 |
| 分析目标 | 找出销售下降的主要驱动因素 |
这里最重要的是:不能让 AI 在没有理解业务定义的情况下直接生成 SQL。
例如,销售额究竟是:
- 订单含税金额?
- 实际支付金额?
- 扣除退款后的净销售额?
- 扣除折扣、运费后的销售收入?
不同企业对同一个指标可能有不同定义。
因此,OraAI 需要先从数据资产、业务知识和实际数据中识别业务语义,再确定 SQL 的计算口径。
二、第二步:AI 如何自主发现和理解数据?
这是 AI 数据分析中最容易被低估的环节。
企业数据库通常存在以下情况:
- 多个数据库,多个 Schema。
- 同一个业务对象分散在不同数据表。
- 字段名称不规范,甚至只有英文缩写。
- 表之间存在复杂关联。
- 数据库字段定义与实际业务含义不一致。
- 同一个指标可能存在多种计算方式。
AI 需要通过数据发现机制,建立对企业数据的理解。
1. 数据结构发现
首先通过数据库元数据获取:
- Database / Schema / Table
- Column / Data Type
- Primary Key / Foreign Key
- Index / Relationships
- Table Comments / Column Comments
例如:
| 数据表 | 字段 | 初步识别含义 |
|---|---|---|
| orders | order_id | 订单编号 |
| orders | customer_id | 客户编号 |
| orders | order_date | 订单日期 |
| order_items | product_id | 产品编号 |
| order_items | quantity | 销售数量 |
| order_items | unit_price | 商品单价 |
2. 数据样本理解
仅靠字段名称和数据库注释是不够的。
AI 还需要读取经过权限控制和脱敏处理的样本数据,理解真实的数据分布和业务含义。
例如:
| order_status | 实际样本 |
|---|---|
| 1 | 已完成 |
| 2 | 已取消 |
| 3 | 已退款 |
| 4 | 待付款 |
AI 可能发现:
- order_status=1 才代表有效销售订单。
- 退款订单不能直接计入销售额。
- 订单表中的金额可能包含运费。
- 商品明细表的金额需要考虑数量和折扣。
这些信息无法仅通过数据库 Schema 完整获得。
3. 自动形成数据语义
AI 将结构信息、样本信息和业务知识结合起来,形成可复用的数据语义资产。
例如:
dataset: sales_analysis
entities:
- orders
- order_items
- customers
- products
metrics:
net_sales:
description: 净销售额
formula: >
SUM(quantity * unit_price - discount_amount)
filters:
- order_status = 1
dimensions:
- product_category
- region
- customer_name
- order_date
relationships:
- orders.order_id = order_items.order_id
- orders.customer_id = customers.customer_id
- order_items.product_id = products.product_id三、第三步:AI 如何自主生成 SQL?
完成业务理解和数据发现之后,AI 才进入 SQL 生成阶段。
这里建议采用多阶段生成机制,而不是一次性让 LLM 直接生成最终 SQL。
1. 先生成分析计划
例如:
用户问题:为什么第三季度销售额下降?
AI 生成分析计划:
Task: Analyze Sales Decline Step 1: 计算今年第三季度净销售额。 Step 2: 计算去年第三季度净销售额。 Step 3: 计算同比变化率。 Step 4: 按产品类别拆分销售额。 Step 5: 按地区拆分销售额。 Step 6: 按客户拆分销售额。 Step 7: 识别主要下降贡献因素。 Step 8: 验证分析结果并形成结论。
这一步是将自然语言转化为可执行的分析任务。
2. 生成 SQL
根据已经确定的数据集、指标定义、关联关系和过滤条件,生成 SQL。
例如:
SELECT
p.product_category,
SUM(
oi.quantity * oi.unit_price
- oi.discount_amount
) AS net_sales
FROM orders o
JOIN order_items oi
ON o.order_id = oi.order_id
JOIN products p
ON oi.product_id = p.product_id
WHERE
o.order_status = 1
AND o.order_date >= '2026-07-01'
AND o.order_date < '2026-10-01'
GROUP BY
p.product_category
ORDER BY
net_sales DESC;这里要特别强调:
SQL 生成并不是单纯的代码生成,而是业务逻辑的编译过程。
AI 必须确保:
- 使用正确的数据表。
- 使用正确的关联关系。
- 使用正确的指标计算公式。
- 使用正确的业务过滤条件。
- 避免 JOIN 导致重复计算。
- 避免时间范围和聚合粒度错误。
3. SQL 静态验证
SQL 在真正执行之前,必须经过独立的验证层。
| 验证项目 | 验证内容 |
|---|---|
| SQL 语法 | SQL 是否符合目标数据库方言 |
| 表和字段 | 是否真实存在 |
| JOIN | 是否存在错误关联或多对多膨胀 |
| 聚合 | GROUP BY 与聚合逻辑是否正确 |
| 时间 | 时间范围是否符合分析目标 |
| 权限 | 是否超出用户数据访问范围 |
| 安全 | 是否存在 UPDATE、DELETE、DROP 等操作 |
| 性能 | 是否存在全表扫描或高成本查询 |
对于企业环境,还需要实施:
- SELECT-only 执行策略。
- SQL AST 解析和校验。
- Tenant / Row-Level Security。
- Column-Level Security。
- 查询超时和 LIMIT。
- 查询审计与执行日志。
SQL 只有通过校验,才允许进入数据库执行阶段。
四、第四步:SQL 执行之后,AI 如何验证分析结果?
这是整个体系中最重要的技术壁垒。
SQL 执行成功,不代表分析结果正确。
例如:
AI 生成了一条语法完全正确的 SQL,但 JOIN 关联错误,导致销售额重复计算。
数据库仍然会正常返回结果。
如果 AI 直接根据这个结果生成分析报告,就会产生非常具有迷惑性的错误结论。
因此,OraAI 需要建立独立的数据验证机制。
1. 第一层:执行结果验证
验证数据库返回的数据是否满足基本要求。
- 是否返回有效数据?
- 是否存在 NULL 异常?
- 是否存在重复记录?
- 是否存在异常数值?
- 是否出现不合理的负数?
- 数据量是否符合预期?
例如:
销售额突然增加 10 倍,但订单数量没有明显变化,就需要进一步检查。
2. 第二层:业务逻辑验证
这是比 SQL 语法验证更重要的一层。
例如:
销售额的计算逻辑为:
需要进一步验证:
- 是否正确排除了取消订单?
- 是否正确处理退款?
- 是否重复计算了订单金额?
- 是否存在一对多关联造成的金额膨胀?
- 是否使用了正确的时间字段?
AI 需要结合业务定义与真实数据进行验证,而不是只检查 SQL 是否执行成功。
3. 第三层:独立 SQL 交叉验证
这一层建议作为 OraAI 的核心能力。
不要让同一条 SQL 既负责计算,又负责证明自己正确。
应该通过不同的计算路径,对关键结果进行交叉验证。
例如:
销售额验证示例
- PATH A路径 A:订单明细汇总按订单明细计算:
- PATH B路径 B:订单级独立汇总先按订单汇总,再对订单进行聚合:
- CHECK结果一致性检查允许存在符合业务规则的精度误差。
如果两种计算结果不一致,Agent 不能直接选择其中一个结果,而应该继续检查:
- JOIN 是否产生重复记录?
- 订单汇总与明细汇总是否使用相同口径?
- 是否遗漏退款或折扣?
- 是否存在不同的数据更新时间?
这里有一个重要原则:
交叉验证必须尽量采用不同的计算路径,而不是让两个 SQL 复用完全相同的错误逻辑。
4. 第四层:数据质量与证据验证
最终需要建立数据质量检查和证据追踪。
| 验证维度 | 具体机制 |
|---|---|
| 完整性 | 检查关键字段缺失 |
| 唯一性 | 检查主键及业务键重复 |
| 一致性 | 检查跨表数据关系 |
| 合理性 | 检查业务数值范围 |
| 时效性 | 检查数据更新时间 |
| 可追溯性 | 保留 SQL、数据源、执行记录 |
| 口径一致性 | 对比指标定义和计算逻辑 |
验证不通过时,Agent 应进入修正流程,而不是直接输出结论。
五、第五步:建立 Agent 自主纠错循环
真正的 AI-Native 数据分析不能停留在一次 SQL 生成。
它应该具备自主发现错误、分析原因、修正逻辑、重新执行和验证的能力。
例如:
- 生成 SQL
LLM 根据分析计划生成查询语句。 - SQL Validator
检查语法、权限、表关联和聚合逻辑。 - 执行 SQL
由数据库引擎执行,返回结果。 - Verification Agent
检查结果、业务口径和独立复算结果。 - 发现问题
例如 JOIN 重复、退款遗漏或计算口径不一致。 - 重新推理和生成 SQL
修正问题,重新执行并再次验证。 - 通过验证
形成最终分析结论和证据链。
这里还需要注意一个架构问题:
不要让生成 SQL 的 Agent 自己担任唯一的验证者。
建议将职责分离:
| Agent / 模块 | 核心职责 |
|---|---|
| Analyst Agent | 理解问题、规划分析、提出假设 |
| Semantic Layer | 提供数据语义、指标定义和关联关系 |
| SQL Generator | 生成 SQL |
| SQL Validator | 静态检查、安全与权限校验 |
| Execution Engine | 确定性执行 SQL |
| Verification Agent | 独立复算、验证数据事实和业务逻辑 |
| Reporting Agent | 生成分析报告和决策建议 |
这并不意味着每个模块都必须部署为独立的大模型。很多验证工作更适合通过确定性代码、规则引擎和 SQL 实现。
六、映射到 OraAI:应该如何形成技术架构?
结合 OraAI 现有的 Analyst Agent、Semantic Layer、SQL Validator、Value RAG 和 MCP 架构,我建议将整个系统分成五个核心层次。
| 技术层 | OraAI 核心组件 | 主要职责 |
|---|---|---|
| L1 用户理解层 | Analyst Agent | 理解问题、分析意图、制定计划 |
| L2 数据认知层 | Semantic Layer + Value RAG | 数据发现、语义理解、指标定义、关联关系 |
| L3 SQL 推理层 | SQL Generator + SQL Validator | 生成 SQL、检查 SQL、纠正逻辑 |
| L4 确定性执行层 | Execution Engine | 数据库连接、权限控制、SQL 执行 |
| L5 验证与决策层 | Verification Agent + Reporting | 结果复算、质量验证、证据追踪、决策分析 |
这里有一个特别重要的设计原则:
LLM 不应该成为数据真实性的最终裁判。
OraAI 应当建立三种不同的责任边界:
- LLM:理解业务、提出假设、生成分析逻辑。
- Database:执行 SQL,提供真实查询结果。
- Verification:通过独立计算、业务规则和数据质量检查验证结果。
建议 OraAI 进一步强化的四个技术壁垒
| 技术壁垒 | 实现机制 | 核心价值 |
|---|---|---|
| Autonomous Data Discovery | Schema + Sample + Value RAG | 不依赖人工预先定义所有数据集 |
| Semantic Reasoning | 自动识别业务语义和指标口径 | 减少业务理解错误 |
| Deterministic Data Execution | SQL AST + Validator + Database | 确保数据执行可控 |
| Independent Result Verification | 独立 SQL + Data Quality + Evidence | 减少错误结论和逻辑幻觉 |
七、与传统 BI、ChatBI 的本质区别
| 对比维度 | 传统 BI | ChatBI | OraAI |
|---|---|---|---|
| 数据准备 | 人工建模 | 预设指标及数据模型 | AI 自主发现和理解 |
| 业务语义 | 人工定义 | 依赖预设语义 | AI 推理并验证 |
| 分析方式 | 固定报表 | 自然语言查询 | Agent 自主规划分析 |
| SQL 生成 | 人工或固定逻辑 | LLM 生成 | 多阶段推理生成 |
| 数据执行 | BI 引擎 | 数据库 | 受治理的确定性执行 |
| 结果验证 | 人工检查 | 通常以执行成功为主 | 独立复算与业务验证 |
| 分析深度 | 描述性分析 | 查询与简单分析 | 诊断、归因与决策支持 |
| 知识沉淀 | 指标和报表 | 对话记录 | 可验证的数据语义与知识资产 |
八、我认为 OraAI 最应该建立的核心技术理念
传统数据分析的逻辑:
人工定义数据模型 → 人工定义指标 → 用户提出问题 → SQL 查询 → 展示结果。
OraAI 的逻辑应该是:
从数据发现到可信决策的自主闭环
这里还可以进一步与 OraWork 结合:
- OraAI 自主发现企业数据,形成经过验证的数据集和语义资产。
- OraAI 将数据分析能力通过 MCP 开放给 WorkBuddy、Codex、Trae Code 等外部 Agent。
- OraWork 原生调用 OraAI 的数据能力,完成企业分析和业务工作流。
- 分析过程中经过验证的业务知识、指标定义和分析经验,回流企业知识库。
- 新的知识和数据语义继续提升后续 Agent 的理解与推理能力。
这样就形成了企业数据、知识、Agent 和业务执行之间的正向循环。
最终定位建议:
我认为 OraAI 不应该把自己定义成一个能够通过自然语言生成 SQL 的 ChatBI 产品。
更准确的技术定位是:
英文可以表达为:
From Autonomous Data Discovery to Verified Business Decisions.
这也是 OraAI 真正区别于单纯使用 Codex、Claude Code 等通用 Agent 配合 SQL Skills 做数据分析的核心所在:不仅能够生成和执行 SQL,还要具备企业级的数据语义、治理、确定性执行和独立验证体系