admin 管理员组

文章数量: 1184232

本文是LLM系列文章，针对《A Comprehensive Evaluation on Event Reasoning of Large Language Models》的翻译。

大型语言模型事件推理的综合评价

  • 摘要
  • 1 引言
  • 2 问题定义
  • 3 基准构建
  • 4 实验
  • 5 结果和发现
  • 6 相关工作
  • 7 结论
  • 局限性

摘要

事件推理是许多应用程序的基础能力。它需要事件模式知识来执行全局推理，并需要处理事件间关系和推理范式的多样性。LLM在各种关系和推理范式上完成事件推理的程度仍然未知。为了缓解这种差异，我们全面评估了LLM的事件推理能力。我们引入了一个新的基准EV2来评估EVent推理。EV2由模式和实例两个层次的评估组成，在关系和推理范式方面是全面的。我们在EV2上进行了广泛的实验。我们发现LLMs具有完成事件推理的能力，但他们的表现远不能令人满意。我们还注意到LLMs中事件推理能力的不平衡。此外，LLM具有事件模式知识，然而，在如何利用这些知识方面，它们与人类并不一致。基于这些发现，我们介绍了两种方法来指导LLM利用事件模式知识。这两种方法都实现了改进。代码和数据集可在https://github/TZWwww/EV2.

1 引言

2 问题定义

3 基准构建

4 实验

5 结果和发现

6 相关工作

7 结论

本文对L

本文标签： event evaluation Comprehensive Reasoning Models

版权声明：本文标题：A Comprehensive Evaluation on Event Reasoning of Large Language Models 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1758729632a3089770.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。