admin 管理员组

文章数量: 1184232

ChatGPT 拓展资料：A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT

目录

  • A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT
    • 论文摘要
    • 论文目录
    • 论文简介
      • 预训练基础模型PFMs和预训练
      • 贡献与组织
    • 基本组件
      • 2.1 Transformer for PFMs
  • Training language models to follow instructions with human feedback
  • 拓展资料：

A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT

论文摘要

预训练基础模型（PFM）被视为具有不同数据模式的各种下游任务的基础。预训练的基础模型，如BERT、GPT-3、MAE、DALLE-E和ChatGPT，在大规模数据上进行训练，为广泛的下游应用程序提供合理的参数初始化。PFM背后的预训练思想在大型模型的应用中发挥着重要作用。与以前应用卷积和递归模块进行特征提取的方法不同，生成预训练（GPT）方法应用Transformer作为特征提取器，并在具有自回归范式的大型数据集上进行训练。类似地，BERT使用transformer在大型数据集上作为上下文语言模型进行训练。最近，ChatGPT在大型语言模型上取得了可喜的成功，它应用了一种零镜头或很少显示提示的自回归语言模型。随着PFM的非凡成功，人工智能在过去几年中在各个领域

本文标签： 论文 资料 Survey Comprehensive ChatGpt

版权声明：本文标题：ChatGPT 拓展资料：论文阅读A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to Chat 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1758747281a3090011.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。