AI 财报助手评测体系:如何用 Golden Dataset 发现 LLM 是否看错财报?
AI 财报助手评测体系:本文拆解 AI 财报助手的评测体系设计,如何用 Golden Dataset、人工标注答案、Schema 校验、数值误差容忍、风险因素召回率和证据页码核对,判断 LLM 是否看错财报、漏掉风险或编造数字。
本文目录
本文解决的问题
- 如何从零设计一套针对大模型财报抽取的自动化评测体系?
- 怎么判断 AI 财报助手提取的数值究竟有没有看错期间、单位和报表位置?
- 风险因素等非结构化文本如何计算召回率和准确率?
- 如何量化大模型在严肃财务数据抽取中的幻觉率与编造概率?
- 怎么通过回归测试保证 Prompt 或模型微调升级后,系统表现不发生退化?
适合谁读
- AI 研发工程师:正在优化财务大模型抽取 pipeline,急需量化指标。
- 全栈开发者:计划上线企业级 AI 财报助手,寻找质量防线的搭建方案。
- 财务系统架构师:评估大模型在严肃审计与投研流程中的准确度边界。
- 技术决策者:需要设计 AI 系统上线标准,确保数据合规与幻觉防范。
一、 为什么 AI 财报助手必须做评测?
做 AI 财报助手,真正上线前不能只看模型回答得像不像人,而要验证它有没有看错收入、现金流、风险因素和管理层表述。感觉好用不等于生产可用,在严肃的投研或审计场景下,哪怕一次数值错位或单位丢失,都可能导致投资判断发生南辕北辙的偏差。
在贵阳的本地开发环境里,我调试过上百个不同版本的 Prompt 与大模型解析链。在实际业务中,我们经常会遇到大模型在抽取财报时发生的隐蔽故障。例如,模型可能会把第四季度的单季收入识别为全年收入,也可能在面对复杂的跨页折行表格时把列顺序读反,甚至可能会忽略备注里「以千为单位」的提示,直接漏掉三个零。
这些错误在普通的聊天界面里非常难以被肉眼察觉。页面显示流畅,排版优雅,生成出来的总结看起来极其具有分析师的腔调,但它底层的数据完全是错的。这就是所谓的「高鲁棒性格式下的事实崩溃」。因此,我们必须为大模型抽取套上一层真实的质量安全门,即基于 Golden Dataset 的自动化评测体系。
二、 构建评测流程的生命线
评测体系的本质是建立一套可重复的科学比对管道。
graph TD
A[Raw PDF / Page Source] --> B[PDF Table Parser]
B --> C[LLM Structured Extractor]
C --> D[JSON Response with Citations]
D --> E[Golden Dataset Evaluation Engine]
F[(Golden Dataset Standard Answer)] --> E
E --> G{Evaluation Matrix}
G -->|Checks Pass| H[Policy-Gated Output]
G -->|High Impact / Uncertain| I[Human Review Required]
G -->|Critical Fail / Format Break| J[Reject & Error Logs]
整个流程分为抽取端、评测引擎与分流队列。PDF 经过解析器后传入结构化抽取器,输出包含指标、币种、单位、期间、页码和证据片段的 JSON。评测引擎将模型输出与人工标注的 Golden Dataset 做确定性断言,并计算数值准确率、风险因素 precision/recall/F1、页码和证据匹配率。通过评测只表示在已覆盖样本上的结果达到门槛;高影响财务结论仍应按政策进入人工复核,不应仅凭模型分数直接放行。
三、 Golden Dataset 的定义与标注规范
Golden Dataset 可以理解为一组带有人工标准答案的测试财报样本。它不是随便攒几份 PDF 扔给模型去总结,而是必须针对不同的数据类型和边界条件,建立标准化的标注 Schema。
一份可复核的 Golden Dataset 样本至少应覆盖三类标注: 第一类是数值型(财务指标、币种、单位、报告期间、适用误差策略、报告印刷页码和原文证据); 第二类是语义判断型(管理层展望、不确定性表述及人工标注理由); 第三类是非结构化列表型(风险因素 taxonomy、证据片段、严重程度标注规则和审计意见)。 每个样本还应记录来源文件 URL、文件哈希、报告版本、标注人/复核人、标注规则版本,以及 PDF 物理页索引与报告印刷页码之间的映射。
以下是一个基于 NVIDIA FY2024 Annual Report / Form 10-K 的标注示例。金额和页码按 SEC 原始年报核对;source_page 使用报告印刷页码,不是 PDF 从 0 开始的数组索引。风险严重程度和管理层语气属于评测集的人工标注标签,必须记录独立的标注规则版本,不能当作公司或监管机构给出的评级:
{
"sample_id": "eval_001_nvda_fy2024",
"document_name": "NVIDIA_FY2024_Annual_Report_Form_10-K.pdf",
"source_url": "https://www.sec.gov/Archives/edgar/data/1045810/000104581024000106/a2024annualreport.pdf",
"source_page_numbering": "printed_page_label",
"annotations": {
"financial_metrics": [
{
"metric": "revenue",
"expected_value": "60922",
"currency": "USD",
"unit": "USD million",
"period": "FY2024",
"relative_tolerance": "0",
"source_page": 49,
"evidence": "Revenue $60,922"
},
{
"metric": "operating_income",
"expected_value": "32972",
"currency": "USD",
"unit": "USD million",
"period": "FY2024",
"relative_tolerance": "0",
"source_page": 49,
"evidence": "Operating income $32,972"
}
],
"risk_factors": [
{
"risk_id": "risk_customer_concentration",
"keywords": ["limited number of customers", "Customer A", "13% of total revenue"],
"severity": "high",
"severity_rubric_version": "finance-risk-v1",
"source_page": 23,
"evidence": "Sales to one customer, Customer A, represented 13% of total revenue for fiscal year 2024."
},
{
"risk_id": "risk_indirect_customer_concentration",
"keywords": ["indirect customer", "approximately 19% of total revenue"],
"severity": "high",
"severity_rubric_version": "finance-risk-v1",
"source_page": 23,
"evidence": "is estimated to have represented approximately 19% of total revenue for fiscal year 2024."
},
{
"risk_id": "risk_third_party_supplier_dependency",
"keywords": ["third-party suppliers", "manufacture, assemble, test, or package", "product quantity and quality"],
"severity": "high",
"severity_rubric_version": "finance-risk-v1",
"source_page": 13,
"evidence": "Dependency on third-party suppliers and their technology to manufacture, assemble, test, or package our products reduces our control over product quantity and quality."
}
],
"management_tone": {
"topic": "demand_outlook",
"tone": "mixed",
"tone_rubric_version": "management-tone-v1",
"keywords": ["demand remains very strong", "supply-constrained"],
"source_page": 34,
"evidence": "Supply of Hopper architecture products is improving, and demand remains very strong. We expect our next-generation products to be supply-constrained based upon demand indications."
}
}
}
查看当前公开的 AI 财务分析工具
当前公开工具以股票代码和公开财务指标为主。本文讨论的 PDF 解析、Golden Dataset 与证据评测属于工程设计,不代表 PDF 上传评测功能已经上线;具体能力以工具页面当前展示为准。
四、 核心评测指标与断言设计
财务数值准确率:等值断言与单位对齐
在财务指标准确率的检测中,我们不能直接进行简单的字符串全等比对。因为不同的模型或不同的 Prompt 可能会输出「60922」、「60,922」、「$60,922 million」甚至「60.922 billion」。
结论先行:数值抽取需要先对齐币种、单位和报告期间,再按指标类型应用显式的误差策略。财报原始报表中的已披露金额通常应在单位归一化后精确匹配;比率、每股数据或经过四舍五入的派生值,应单独定义绝对或相对容差。不要给所有指标套用一个通用 1e-5。
计算时应使用 Decimal,避免二进制浮点误差;不支持的币种或单位应标记为不可评分,不要隐式做汇率换算:
from decimal import Decimal
def check_value_with_tolerance(
expected: Decimal,
actual: Decimal,
relative_tolerance: Decimal,
) -> bool:
if not all(x.is_finite() for x in (expected, actual, relative_tolerance)):
return False
if relative_tolerance < 0:
return False
if expected == 0:
return actual == 0 # No relative error baseline; exact-zero policy.
relative_error = abs(expected - actual) / abs(expected)
return relative_error <= relative_tolerance
风险因素召回率:关键词密度 vs 语义匹配
非结构化内容的评测是业界的难点。模型在提取风险时,往往会用很空泛的自然语言总结。
结论先行:风险因素应采用人工标注的受控 taxonomy 做多标签评测,报告 precision、recall 和 F1;关键词匹配只用于候选召回,不应单独决定风险是否被正确识别。
例如,标准答案可把客户集中度拆成直接客户集中和间接客户集中两个 risk_id,分别标注证据页码、原文片段和严重程度规则版本。模型输出必须给出对应标签及证据;同义表达可由语义评审辅助判断,但高影响风险的标签与严重程度应经过人工抽样或双人裁决。
source_page 与 evidence 准确率:证据链的物理校验
如果 AI 给出了正确的数值,但是引用的页码是错的,这依然属于潜在幻觉,无法让人工快速复核。
结论先行:页码与原文证据匹配是来源追溯的重要检查,但仍需判断该证据是否真正支持抽取结论。
每个抽取指标都应包含 source_page(报告印刷页码)和原文 evidence。规范化文本包含检查可以作为第一道来源校验,但不能证明该片段在逻辑上足以支持数值。PDF 物理页索引应单独保存以便回跳;解析器未能提取该页时应标记为不可评分,而不是误判为模型错误;存在歧义或影响重大的指标仍需人工复核。
五、 Python 自动化评测引擎实现
下面是一个用于说明评测流程的 Python 示例骨架,不代表 XBSTACK 已部署该评测服务或完成相关基准测试。它将模型输出与人工标注记录进行比较,分别计算数值、页码、证据和风险 taxonomy 指标。
from decimal import Decimal, InvalidOperation
from typing import Any, Dict, List, Optional, Tuple
UNIT_MULTIPLIERS = {
"USD": Decimal("1"),
"USD thousand": Decimal("1000"),
"USD million": Decimal("1000000"),
"USD billion": Decimal("1000000000"),
}
def parse_decimal(raw: Optional[str]) -> Optional[Decimal]:
if raw is None or not str(raw).strip():
return None
try:
value = Decimal(str(raw).replace(",", "").strip())
return value if value.is_finite() else None
except InvalidOperation:
return None
def normalize_amount(raw: Optional[str], currency: str, unit: str) -> Optional[Decimal]:
# This example normalizes USD only. Never apply an implicit FX conversion.
multiplier = UNIT_MULTIPLIERS.get(unit) if currency == "USD" else None
value = parse_decimal(raw)
return value * multiplier if value is not None and multiplier is not None else None
def normalize_evidence(text: str) -> str:
return " ".join(str(text).casefold().split())
class MetricEvaluator:
@staticmethod
def evaluate_financial_metrics(
expected_list: List[Dict[str, Any]],
actual_list: List[Dict[str, Any]],
page_text_by_printed_page: Dict[int, str],
) -> Dict[str, Any]:
actual_map: Dict[Tuple[Any, Any, Any], Dict[str, Any]] = {}
duplicate_keys = []
for item in actual_list:
key = (item.get("metric"), item.get("period"), item.get("currency"))
if key in actual_map:
duplicate_keys.append(key)
else:
actual_map[key] = item
total = len(expected_list)
value_matches = page_matches = evidence_matches = evidence_scored = 0
missing_metrics = []
evidence_unscorable_pages = []
for exp in expected_list:
printed_page = exp.get("source_page")
page_text = page_text_by_printed_page.get(printed_page)
if page_text is None:
evidence_unscorable_pages.append(printed_page)
key = (exp.get("metric"), exp.get("period"), exp.get("currency"))
act = actual_map.get(key)
if act is None:
missing_metrics.append(key)
continue
expected_value = normalize_amount(
str(exp.get("expected_value", "")), exp.get("currency", ""), exp.get("unit", "")
)
actual_value = normalize_amount(
act.get("value"), act.get("currency", ""), act.get("unit", "")
)
if expected_value is not None and actual_value is not None:
try:
tolerance = Decimal(str(exp.get("relative_tolerance", "0")))
except InvalidOperation:
tolerance = Decimal("NaN")
if tolerance.is_finite() and tolerance >= 0:
if expected_value == 0:
value_matches += int(actual_value == 0)
else:
relative_error = abs(expected_value - actual_value) / abs(expected_value)
value_matches += int(relative_error <= tolerance)
# Unknown/None printed page is not an accuracy success.
page_matches += int(printed_page is not None and printed_page == act.get("source_page"))
if page_text is not None:
evidence_scored += 1
evidence = act.get("evidence", "")
evidence_matches += int(bool(evidence) and normalize_evidence(evidence) in normalize_evidence(page_text))
return {
"total_expected_metrics": total,
"value_accuracy": value_matches / total if total else None,
"printed_page_match_rate": page_matches / total if total else None,
"evidence_text_match_rate": evidence_matches / evidence_scored if evidence_scored else None,
"evidence_unscorable_pages": evidence_unscorable_pages,
"missing_actual_metrics": missing_metrics,
"duplicate_actual_keys": duplicate_keys,
}
@staticmethod
def evaluate_risk_factors(
expected_risks: List[Dict[str, Any]], actual_risks: List[Dict[str, Any]]
) -> Dict[str, Any]:
# 使用人工标注的受控 taxonomy;关键词重合仅用于检索辅助。
expected_ids = {item["risk_id"] for item in expected_risks}
actual_ids = {item["risk_id"] for item in actual_risks if item.get("risk_id")}
true_positive = len(expected_ids & actual_ids)
false_positive = len(actual_ids - expected_ids)
false_negative = len(expected_ids - actual_ids)
precision = true_positive / (true_positive + false_positive) if true_positive + false_positive else None
recall = true_positive / (true_positive + false_negative) if true_positive + false_negative else None
f1 = (2 * precision * recall / (precision + recall)) if precision is not None and recall is not None and precision + recall else None
return {
"true_positive": true_positive,
"false_positive": false_positive,
"false_negative": false_negative,
"precision": precision,
"recall": recall,
"f1": f1,
}
六、 常见问题与示例异常日志
以下错误文本是用于说明排查方式的假设示例,不代表 XBSTACK 真实生产日志或已发生的线上事故。
异常一:单位换算除零错误
ZeroDivisionError: division by zero in metric normalization
File "scripts/eval_engine.py", line 45, in evaluate_financial_metrics
relative_error = abs(exp_val - act_val) / abs(exp_val)
- 原因分析:标准答案中某个财务指标的期望值为 0(例如某些亏损公司前期的某项债务或非控制性权益为 0),但大模型输出了一个微小数值,导致计算相对误差时分母为 0 崩溃。
- 解决方案:在计算前加入对期望值的判断。若期望值为 0,则应直接进行绝对值比对而非相对值比对。
异常二:页码断言返回 null
ValueError: expected printed page 49, but got null in source_page assertion
File "scripts/eval_engine.py", line 78, in verify_evidence_link
raise ValueError("evidence link invalid: source page missing")
- 原因分析:大模型在返回抽取结果时,虽然找对了数据,但在 JSON 中将页码写成了 null,或者由于 PDF 解析时合并了跨页数据,导致模型无法定位精确的单页来源。
- 解决方案:增强 PDF 解析端的 Page Divider,确保每页文本被传入模型时都带上清晰的物理页码 Header;同时调整 JSON Schema 限制,强制
source_page字段必须为大于 0 的整型,拒绝 null 值输出。
异常三:Schema 验证失败导致抽取异常
ValidationError: 1 validation error for FinancialReportSchema
response -> risk_factors -> 0 -> severity
value is not a valid enumeration member; permitted: 'low', 'medium', 'high', 'critical'
- 原因分析:由于使用了新版本的模型或微调了 Prompt,模型输出的风险等级(severity)中出现了未预设的枚举值(如「very high」或「minor」),导致 Pydantic 解析端直接崩溃。
- 解决方案:使用更严格的 JSON Schema 强约束,在 API 请求参数中利用
response_format锁定限制;同时在评测引擎中将 Schema 校验失败直接归入 P0 级严重异常,拦截并触发人工复核。
七、 评测方案对比
在实际落地中,常见的评测方式包括确定性断言、LLM-as-a-Judge 和人工复核。以下比较它们的适用边界,不代表统一成本或准确率基准。
| 评估维度 | Golden Dataset 确定性断言 | LLM-as-a-Judge | 人工复核 |
|---|---|---|---|
| 成本构成 | 前期标注与持续维护成本;自动运行成本取决于数据规模和基础设施 | 每轮评测有模型调用成本,并需抽样人工校验 | 专业人员投入时间较多,适合高风险样本与争议裁决 |
| 可重复性 | 对固定规则和固定输入可重复;结果仍受标注质量、解析器和断言覆盖影响 | 输出可能随模型、提示词和采样设置变化 | 能结合上下文判断,但不同复核者之间也可能存在差异 |
| 回归效率 | 适合自动化批量回归;耗时取决于样本量与执行环境 | 适合补充语义评分,运行时间和费用取决于模型 | 更适合抽样复核和难例裁决,不适合单独承担全部高频回归 |
| 复杂语义理解 | 对未编码进规则的语义变化覆盖有限 | 可辅助识别语义变化,但需校准并复核 | 可结合专业背景判断复杂会计和业务语境 |
| 证据核验边界 | 能检测数值、页码和文本片段不一致;不能仅凭 contains 证明逻辑蕴含 | 可辅助检查语义支持关系,但也可能被错误证据误导 | 可判断证据是否真正支持结论,仍需记录审查依据 |
七点一、评测工具生命周期提醒
OpenAI 旧版 Evals 控制台/API 已于 2026 年 10 月 31 日进入只读阶段,并计划于 2026 年 11 月 30 日关闭。新项目不要再基于即将退役的 Evals API 开发集成;新建 Prompt 实验应评估当前 Datasets 工作流,已有 Evals 项目则遵循官方弃用说明中的 Promptfoo 迁移路径。Agent 评测还应覆盖端到端 Trace、工具选择、人工交接和策略违规。
八、 常见问题解答
为什么不能只用另一个大模型判定财报抽取是否正确?
因为大模型做裁判存在自我证明和不可解释性的问题。大模型本身对于财务数值的微小偏差(如 10.5 亿 vs 10.05 亿)并不敏感,容易被流畅的段落描述所迷惑,甚至连裁判大模型自己也会发生幻觉。因此,在数值和证据链的评测中,必须使用基于 Golden Dataset 的物理代码断言作为红线。
评测体系上线后,会降低 AI 财报助手的运行速度吗?
离线 Golden Dataset 回归通常在 CI/CD 或后台批处理中运行,不必阻塞每次普通请求。但这不代表线上财务结果可以跳过校验:如果业务要求实时核对单位、期间、权限或证据,相关检查会增加延迟;高风险或无法验证的结果应明确标记并进入人工复核,不能静默展示为已确认事实。
我的财报 PDF 包含大量手写签名和模糊扫描件,这会影响评测准确率吗?
这会直接拉低 PDF 解析阶段的分数,进而影响最终得分。在 Golden Dataset 中,我们应当将扫描件归为「高难度测试集」。当评估引擎发现扫描件的数值抽取准确率大幅低于 baseline 时,系统会提醒你应当升级底层的 OCR 或表格解析引擎,而不是盲目地去修改大模型的 Prompt。
九、 继续阅读
在推荐架构中,本评测设计可以与以下技术模块组合,构成 AI 财报助手的工程闭环;这不是对现有生产部署状态的声明:
- 👉 LLM JSON Schema 实战:如何让 AI 稳定输出财报收入、现金流和风险因素? —— 了解如何通过 Schema 强约束,在最前端降低抽取格式崩溃的概率。
- 👉 财报 PDF 表格解析实战:如何避免 AI 把收入、现金流和风险因素看错? —— 深入研究 PDF 解析阶段,解决由于表格跨页合并、无线框设计导致的行列错位问题。
- 👉 用 AI 分析财报的 7 个步骤:从 PDF 到风险检查清单 —— 探索前端用户视角的完整操作手册。
- 👉 AI 财报助手技术实现:如何把财报 PDF 拆成结构化风险检查清单? —— 系统级宏观架构拆解,了解 RAG 检索与持久化数据库的集成设计。
官方参考资料
- NVIDIA FY2024 Annual Report / Form 10-K(SEC):本文收入、营业利润、客户集中度、供应商依赖和需求展望标注示例的原始文件。
- OpenAI Evaluation Best Practices:评测集设计、可重复评测与回归测试。
- OpenAI Agent Evals:Trace、Grader、Dataset 和工作流级评测。
- OpenAI API 弃用时间表:Evals 只读时间及 2026 年 11 月 30 日关闭安排和迁移建议。
- OpenAI Datasets:当前基于数据集的 Prompt 评测工作流。
准备好分析你的第一份财报了吗?
当前公开工具支持输入股票代码查看公开财务指标与风险摘要,暂不支持上传 PDF;本文的 PDF 解析、证据链与复核清单属于工程设计和研发方向。
把这篇文章里的财报抽取逻辑,放进爱财报工具里跑一遍
AI 财报文章统一导向工具页:上传财报、查看 JSON Schema、source_page、evidence 字段和人工复核流程。该工具只做信息压缩和结构化分析,不构成投资建议。
下一步:把工作流做成可运营系统
完整专题路径 →继续补 Retry、Queue、幂等、可观测性或成本控制,让流程不只“能跑”。
参与讨论
问题、验证与勘误
登录后可发表评论。所有新评论先进入审核;审核期间仅评论者本人和管理员可见,通过后才公开。