admin 管理员组

文章数量: 1184232

文章目录

  • Llamp.cpp环境配置
  • Chinese-LLaMA-Alpaca-2模型介绍
  • 模型下载
  • 转换生成量化模型
  • Anaconda环境安装
  • 运行

Llamp.cpp环境配置

git clone git@github:ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release

生成的文件在.\build\bin\，我们要用的是main.exe，bin\main.exe -h查看使用帮助

Chinese-LLaMA-Alpaca-2模型介绍

本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMA&Alpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升

项目地址https://github/ymcui/Chinese-LLaMA-Alpaca-2

模型下载


我们选择2-7B的版本，进入huggingface：https://huggingface.co/hfl/chinese-llama-2-7b

如果第一

本文标签： 模型 LLaMA Windows AI CPP

版权声明：本文标题：AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1754732128a3033792.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。