全部研究
EMNLP 2026 · 已录用

BeyondAtoms: Benchmarking and Verifying Relational Factuality Beyond Atomic Facts

BeyondAtoms 将评测推进到事实之间的关系:因果、条件与时序,也需要证据。

BeyondAtoms

为什么要评测关系

设想一段记录分别提到设备报警和生产暂停。两件事都发生过,并不意味着“因为报警,所以停产”也有证据。这是一个说明性例子:逐条检查事件,可能漏掉连接事件的推断。

基准如何暴露盲点

BeyondAtoms 围绕关系结构组织评测,区分关系替换、无依据的关系注入、关系连接对象改变,以及必要前提遗漏。它关注的不只是句子用了哪些词,而是这些事实被怎样连接。

论文图 2:CARVE 双向关系对齐
论文图 2:CARVE 双向关系对齐 · 原始出处

CARVE 怎样检查

配套方法 CARVE 保留关系结构,以待验证的说法为锚点提取证据,并进行双向关系对齐。检查既包括“声称的关系是否存在”,也包括“证据中的必要条件是否被漏掉”。论文将这一无需训练的方法与现有验证流程比较,讨论准确性和计算成本的取舍。

对实际评测的启发

评测生成式系统时,应把“事实正确”和“关系有据”分别检查。这个基准提供了可分析的错误类型,但不意味着任意领域的因果结论都已被解决;应用时仍需检查证据覆盖和任务分布。

论文与资源

BeyondAtoms: Benchmarking and Verifying Relational Factuality Beyond Atomic Facts

本文为研究介绍;完整方法、实验设置与结果请参阅原论文。