admin 管理员组

文章数量: 1184232

本文是LLM系列文章，针对《Evaluating Large Language Models: A Comprehensive Survey》的翻译。

评估大型语言模型：一项综合调查

  • 摘要
  • 1 引言
  • 2 分类和路线图
  • 3 知识和能力评估
  • 4 对齐评估
  • 5 安全评估
  • 6 专业LLM评估
  • 7 评估组织
  • 8 未来方向
  • 9 结论

摘要

大型语言模型（LLM）在广泛的任务范围内表现出了非凡的能力。它们引起了人们的极大关注，并被部署在许多下游应用程序中。然而，类似于一把双刃剑，LLM也存在潜在风险。他们可能会遭受私人数据泄露或产生不恰当、有害或误导性的内容。此外，LLM的快速发展引发了人们对在没有足够保障的情况下可能出现的超级智能系统的担忧。
为了有效利用LLM能力并确保其安全和有益的发展，对LLM进行严格和全面的评估至关重要。本次调查旨在为LLM的评估提供一个全景视角。我们将LLM的评估分为三大类：知识和能力评估、对齐评估和安全评估。除了对这三个方面的评估方法和基准进行全面审查外，我们还整理了与LLM在专业领域的表现有关的评估简编，并讨论了涵盖LLM能力、一致性、安全性和适用性评估的综合评估平台的构建。
我们希望这一全面的概述将激发对LLM评估的进一步研究兴趣，最终目标是使评估成为指导LLM负责任发展的基石。我们设想，这将引导他们朝着最大限度地提高社会效益同时最大限度地降低潜在风险的方向发展。相关论文的策划列表已在GitHub存储库中公开。

1 引言

2 分类和路线图

3 知识和能力评估

本文标签： Language Large Evaluating Survey Comprehensive

版权声明：本文标题：Evaluating Large Language Models: A Comprehensive Survey 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1758745694a3089989.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。