为什么要评测关系
设想一段记录分别提到设备报警和生产暂停。两件事都发生过,并不意味着“因为报警,所以停产”也有证据。这是一个说明性例子:逐条检查事件,可能漏掉连接事件的推断。
基准如何暴露盲点
BeyondAtoms 围绕关系结构组织评测,区分关系替换、无依据的关系注入、关系连接对象改变,以及必要前提遗漏。它关注的不只是句子用了哪些词,而是这些事实被怎样连接。

CARVE 怎样检查
配套方法 CARVE 保留关系结构,以待验证的说法为锚点提取证据,并进行双向关系对齐。检查既包括“声称的关系是否存在”,也包括“证据中的必要条件是否被漏掉”。论文将这一无需训练的方法与现有验证流程比较,讨论准确性和计算成本的取舍。
对实际评测的启发
评测生成式系统时,应把“事实正确”和“关系有据”分别检查。这个基准提供了可分析的错误类型,但不意味着任意领域的因果结论都已被解决;应用时仍需检查证据覆盖和任务分布。
论文与资源
BeyondAtoms: Benchmarking and Verifying Relational Factuality Beyond Atomic Facts
本文为研究介绍;完整方法、实验设置与结果请参阅原论文。

