[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ymcui--Chinese-LLaMA-Alpaca":3,"tool-ymcui--Chinese-LLaMA-Alpaca":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",138956,2,"2026-04-05T11:33:21",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":82,"owner_website":83,"owner_url":84,"languages":85,"stars":94,"forks":95,"last_commit_at":96,"license":97,"difficulty_score":10,"env_os":98,"env_gpu":99,"env_ram":98,"env_deps":100,"category_tags":109,"github_topics":110,"view_count":122,"oss_zip_url":79,"oss_zip_packed_at":79,"status":16,"created_at":123,"updated_at":124,"faqs":125,"releases":153},673,"ymcui\u002FChinese-LLaMA-Alpaca","Chinese-LLaMA-Alpaca","中文LLaMA&Alpaca大语言模型+本地CPU\u002FGPU训练部署 (Chinese LLaMA & Alpaca LLMs)","Chinese-LLaMA-Alpaca 是专为中文场景打造的开源大语言模型。它在原版 LLaMA 架构上扩充了中文词表，并通过大量中文数据重新训练，让模型更懂中文含义与语境。经过指令微调后，它能精准理解并执行用户的中文指令。\n\nChinese-LLaMA-Alpaca 解决了通用大模型中文能力不足、且难以在个人电脑本地运行的难题。开发者、研究人员及技术爱好者均可使用它来搭建中文对话系统、智能客服或探索自然语言处理技术。\n\n其独特优势在于支持在普通笔记本的 CPU 或 GPU 上本地部署，无需昂贵服务器。项目兼容 Hugging Face、llama.cpp 等主流框架，提供从 7B 到 33B 多种模型规格，甚至包含最新的 Llama-3 版本。此外，用户还能获得训练脚本自行定制模型，真正让大模型技术在本地环境开放落地。","# [Chinese-LLaMA-Alpaca-3](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-3)项目启动！\n\n[**🇨🇳中文**](.\u002FREADME.md) | [**🌐English**](.\u002FREADME_EN.md) | [**📖文档\u002FDocs**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki) | [**❓提问\u002FIssues**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fissues) | [**💬讨论\u002FDiscussions**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions) | [**⚔️竞技场\u002FArena**](http:\u002F\u002Fllm-arena.ymcui.com\u002F)\n\n\u003Cp align=\"center\">\n \u003Cbr>\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_readme_bf05535a3a23.png\" width=\"700\"\u002F>\n \u003Cbr>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n \u003Cimg alt=\"GitHub\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fymcui\u002FChinese-LLaMA-Alpaca.svg?color=blue&style=flat-square\">\n \u003Cimg alt=\"GitHub release (latest by date)\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Frelease\u002Fymcui\u002FChinese-LLaMA-Alpaca\">\n \u003Cimg alt=\"GitHub top language\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flanguages\u002Ftop\u002Fymcui\u002FChinese-LLaMA-Alpaca\">\n \u003Cimg alt=\"GitHub last commit\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002Fymcui\u002FChinese-LLaMA-Alpaca\">\n \u003Ca href=\"https:\u002F\u002Fapp.codacy.com\u002Fgh\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdashboard?utm_source=gh&utm_medium=referral&utm_content=&utm_campaign=Badge_grade\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_readme_adaaa9495e23.png\"\u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n\n本项目开源了**中文LLaMA模型和指令精调的Alpaca大模型**，以进一步促进大模型在中文NLP社区的开放研究。这些模型**在原版LLaMA的基础上扩充了中文词表**并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文Alpaca模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。\n\n**技术报告（V2）**：[[Cui, Yang, and Yao] Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177)\n\n**本项目主要内容：**\n\n- 🚀 针对原版LLaMA模型扩充了中文词表，提升了中文编解码效率 \n- 🚀 开源了使用中文文本数据预训练的中文LLaMA以及经过指令精调的中文Alpaca\n- 🚀 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型\n- 🚀 快速使用笔记本电脑（个人PC）的CPU\u002FGPU本地量化和部署体验大模型\n- 🚀 支持[🤗transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers), [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp), [text-generation-webui](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui), [LlamaChat](https:\u002F\u002Fgithub.com\u002Falexrozanski\u002FLlamaChat), [LangChain](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain), [privateGPT](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT)等生态\n- 目前已开源的模型版本：7B（基础版、**Plus版**、**Pro版**）、13B（基础版、**Plus版**、**Pro版**）、33B（基础版、**Plus版**、**Pro版**）\n\n💡 下图是中文Alpaca-Plus-7B模型在本地CPU量化部署后的实际体验速度和效果。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_readme_07d18aaed6e6.gif)\n\n----\n\n[**中文LLaMA-2&Alpaca-2大模型**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2) | [多模态中文LLaMA&Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fairaria\u002FVisual-Chinese-LLaMA-Alpaca) | [多模态VLE](https:\u002F\u002Fgithub.com\u002Fiflytek\u002FVLE) | [中文MiniRBT](https:\u002F\u002Fgithub.com\u002Fiflytek\u002FMiniRBT) | [中文LERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FLERT) | [中英文PERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT) | [中文MacBERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [中文ELECTRA](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-ELECTRA) | [中文XLNet](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-XLNet) | [中文BERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm) | [知识蒸馏工具TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer) | [模型裁剪工具TextPruner](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner)\n\n## 新闻\n\n**[2024\u002F04\u002F30] Chinese-LLaMA-Alpaca-3 已正式发布，开源基于Llama-3的Llama-3-Chinese-8B和Llama-3-Chinese-8B-Instruct，推荐所有一期、二期项目用户升级至三代模型，请参阅：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-3**\n\n[2024\u002F03\u002F27] 本项目已入驻机器之心SOTA!模型平台，欢迎关注：https:\u002F\u002Fsota.jiqizhixin.com\u002Fproject\u002Fchinese-llama-alpaca\n\n[2023\u002F08\u002F14] Chinese-LLaMA-Alpaca-2 v2.0版本已正式发布，开源Chinese-LLaMA-2-13B和Chinese-Alpaca-2-13B，推荐所有一期用户升级至二代模型，请参阅：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\n\n[2023\u002F07\u002F31] Chinese-LLaMA-Alpaca-2 v1.0版本已正式发布，请参阅：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\n\n[2023\u002F07\u002F19] [v5.0版本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Freleases\u002Ftag\u002Fv5.0): 发布Alpaca-Pro系列模型，显著提升回复长度和质量；同时发布Plus-33B系列模型。\n\n[2023\u002F07\u002F19] 🚀启动[中文LLaMA-2、Alpaca-2开源大模型项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)，欢迎关注了解最新信息。\n\n[2023\u002F07\u002F10] Beta测试预览，提前了解即将到来的更新：详见[讨论区](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions\u002F732)\n\n[2023\u002F07\u002F07] Chinese-LLaMA-Alpaca家族再添新成员，推出面向视觉问答与对话的[多模态中文LLaMA&Alpaca大模型](https:\u002F\u002Fgithub.com\u002Fairaria\u002FVisual-Chinese-LLaMA-Alpaca)，发布了7B测试版本。\n\n[2023\u002F06\u002F30] llama.cpp下8K context支持（无需对模型做出修改），相关方法和讨论见[讨论区](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions\u002F696)；transformers下支持4K+ context的代码请参考[PR#705](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fpull\u002F705)\n\n[2023\u002F06\u002F16] [v4.1版本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Freleases\u002Ftag\u002Fv4.1): 发布新版技术报告、添加C-Eval解码脚本、添加低资源模型合并脚本等。\n\n[2023\u002F06\u002F08] [v4.0版本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Freleases\u002Ftag\u002Fv4.0): 发布中文LLaMA\u002FAlpaca-33B、添加privateGPT使用示例、添加C-Eval结果等。\n\n## 内容导引\n| 章节 | 描述 |\n| ------------------------------------- | ------------------------------------------------------------ |\n| [⏬模型下载](#模型下载) | 中文LLaMA、Alpaca大模型下载地址 |\n| [🈴合并模型](#合并模型) | （重要）介绍如何将下载的LoRA模型与原版LLaMA合并 |\n| [💻本地推理与快速部署](#本地推理与快速部署) | 介绍了如何对模型进行量化并使用个人电脑部署并体验大模型 |\n| [💯系统效果](#系统效果) | 介绍了部分场景和任务下的使用体验效果 |\n| [📝训练细节](#训练细节) | 介绍了中文LLaMA、Alpaca大模型的训练细节 |\n| [❓FAQ](#FAQ) | 一些常见问题的回复 |\n| [⚠️局限性](#局限性) | 本项目涉及模型的局限性 |\n\n\n## 模型下载\n\n### 用户须知（必读）\n\nFacebook官方发布的[LLaMA模型禁止商用](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)，并且官方没有正式开源模型权重（虽然网上已经有很多第三方的下载地址）。为了遵循相应的许可，**这里发布的是LoRA权重**，可以理解为原LLaMA模型上的一个“补丁”，两者合并即可获得完整版权重。以下中文LLaMA\u002FAlpaca LoRA模型无法单独使用，需要搭配[原版LLaMA模型](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)。请参考本项目给出的[合并模型](#合并模型)步骤重构模型。\n\n### 模型列表\n\n下图展示了本项目以及[二期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)推出的所有大模型之间的关系。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_readme_c1ac37031b2b.png)\n\n### 模型选择指引\n\n下面是中文LLaMA和Alpaca模型的基本对比以及建议使用场景（包括但不限于），更多内容见[训练细节](#训练细节)。\n\n| 对比项 | 中文LLaMA | 中文Alpaca |\n| :-------------------- | ------------------------------------------------------ | ------------------------------------------------------------ |\n| 训练方式 | 传统CLM | 指令精调 |\n| 模型类型 | 基座模型 | 指令理解模型（类ChatGPT） |\n| 训练语料 | 无标注通用语料 | 有标注指令数据 |\n| 词表大小\u003Csup>[3]\u003C\u002Fsup> | 4995**3** | 4995**4**=49953+1（pad token） |\n| 输入模板 | 不需要 | 需要符合模板要求\u003Csup>[1]\u003C\u002Fsup> |\n| 适用场景 ✔️ | 文本续写：给定上文内容，让模型生成下文 | 指令理解（问答、写作、建议等）；多轮上下文理解（聊天等） |\n| 不适用场景 ❌ | 指令理解 、多轮聊天等 | 文本无限制自由生成 |\n| llama.cpp | 使用`-p`参数指定上文 | 使用`-ins`参数启动指令理解+聊天模式 |\n| text-generation-webui | 不适合chat模式 | 使用`--cpu`可在无显卡形式下运行 |\n| LlamaChat | 加载模型时选择\"LLaMA\" | 加载模型时选择\"Alpaca\" |\n| [HF推理代码](.\u002Fscripts\u002Finference\u002Finference_hf.py) | 无需添加额外启动参数 | 启动时添加参数 `--with_prompt` |\n| [web-demo代码](.\u002Fscripts\u002Finference\u002Fgradio_demo.py) | 不适用 | 直接提供Alpaca模型位置即可；支持多轮对话 |\n| [LangChain示例](.\u002Fscripts\u002Flangchain) \u002F privateGPT | 不适用 | 直接提供Alpaca模型位置即可 |\n| 已知问题 | 如果不控制终止，则会一直写下去，直到达到输出长度上限。\u003Csup>[2]\u003C\u002Fsup> | 请使用Pro版，以避免Plus版回复过短的问题。 |\n\n*[1] llama.cpp\u002FLlamaChat\u002F[HF推理代码](.\u002Fscripts\u002Finference\u002Finference_hf.py)\u002F[web-demo代码](.\u002Fscripts\u002Finference\u002Fgradio_demo.py)\u002F[LangChain示例](.\u002Fscripts\u002Flangchain)等已内嵌，无需手动添加模板。*\u003Cbr\u002F>\n*[2] 如果出现模型回答质量特别低、胡言乱语、不理解问题等情况，请检查是否使用了正确的模型和启动参数。*\u003Cbr\u002F>\n*[3] 经过指令精调的Alpaca会比LLaMA多一个pad token，**因此请勿混用LLaMA\u002FAlpaca词表**。*\n\n### 推荐模型下载\n\n以下为本项目推荐使用的模型列表，通常使用了更多的训练数据和优化的模型训练方法和参数，请优先使用这些模型（其余模型请查看[其他模型](#其他模型)）。**如希望体验类ChatGPT对话交互，请使用Alpaca模型，而不是LLaMA模型。** 对于Alpaca模型，Pro版针对回复内容过短的问题进行改进，模型回复效果有明显提升；如果更偏好短回复，请选择Plus系列。\n\n| 模型名称 | 类型 | 训练数据 | 重构模型\u003Csup>[1]\u003C\u002Fsup> | 大小\u003Csup>[2]\u003C\u002Fsup> | LoRA下载\u003Csup>[3]\u003C\u002Fsup> |\n| :------------------------ | :------: | :------: | :--------------------------------------------------------: | :----------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-Plus-7B | 基座模型 | 通用120G | 原版LLaMA-7B | 790M | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-plus-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-plus-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1zvyX9FN-WSRDdrtMARxxfw?pwd=2gtr) |\n| Chinese-LLaMA-Plus-13B | 基座模型 | 通用120G | 原版LLaMA-13B | 1.0G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-plus-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-plus-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1VGpNlrLx5zHuNzLOcTG-xw?pwd=8cvd) |\n| Chinese-LLaMA-Plus-33B 🆕 | 基座模型 | 通用120G | 原版LLaMA-33B | 1.3G\u003Csup>[6]\u003C\u002Fsup> | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-plus-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-plus-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1v2WsSA0RFyVfy7FXY9A2NA?pwd=n8ws) |\n| Chinese-Alpaca-Pro-7B 🆕 | 指令模型 | 指令4.3M | *原版LLaMA-7B &\u003Cbr\u002F>LLaMA-Plus-7B*\u003Csup>[4]\u003C\u002Fsup> | 1.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-pro-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-pro-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1M7whRwG5DRRkzRXCH4aF3g?pwd=fqpd) |\n| Chinese-Alpaca-Pro-13B 🆕 | 指令模型 | 指令4.3M | *原版LLaMA-13B &\u003Cbr\u002F>LLaMA-Plus-13B\u003Csup>[4]\u003C\u002Fsup>* | 1.3G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-pro-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-pro-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1ok5Iiou-MovZa7bFLvt4uA?pwd=m79g) |\n| Chinese-Alpaca-Pro-33B 🆕 | 指令模型 | 指令4.3M | *原版LLaMA-33B &\u003Cbr\u002F>LLaMA-Plus-33B\u003Csup>[4]\u003C\u002Fsup>* | 2.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-pro-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-pro-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1u2TWZcsG_PZSTnmuu7vwww?pwd=8zj8) |\n\n*[1] 重构需要原版LLaMA模型，[去LLaMA项目申请使用](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)或参考这个[PR](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\u002Fpull\u002F73\u002Ffiles)。因版权问题本项目无法提供下载链接。*\u003Cbr\u002F>\n*[2] 经过重构后的模型大小比同等量级的原版LLaMA大一些（主要因为扩充了词表）。*\u003Cbr\u002F>\n*[3] 下载后务必检查压缩包中模型文件的SHA256是否一致，请查看[SHA256.md](.\u002FSHA256.md)。*\u003Cbr\u002F>\n*[4] Alpaca-Plus模型需要同时下载对应的LLaMA-Plus模型，请参考[合并教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F手动模型合并与转换#多lora权重合并适用于chinese-alpaca-plus)。*\u003Cbr\u002F>\n*[5] 有些地方称为30B，实际上是Facebook在发布模型时写错了，论文里仍然写的是33B。*\u003Cbr\u002F>*[6] 采用FP16存储，故模型体积较小。*\n\n压缩包内文件目录如下（以Chinese-LLaMA-7B为例）：\n\n```\nchinese_llama_lora_7b\u002F\n - adapter_config.json\t\t# LoRA权重配置文件\n - adapter_model.bin\t\t# LoRA权重文件\n - special_tokens_map.json\t# special_tokens_map文件\n - tokenizer_config.json\t# tokenizer配置文件\n - tokenizer.model\t\t# tokenizer文件 \n```\n\n\n### 其他模型下载\n\n由于训练方式和训练数据等因素影响，**以下模型已不再推荐使用（特定场景下可能仍然有用）**，请优先使用上一节中的[推荐模型](#推荐下载模型)。\n\n| 模型名称 | 类型 | 训练数据 | 重构模型 | 大小 | LoRA下载 |\n| :---------------- | :------: | :------: | :--------------------: | :----------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-7B | 基座模型 | 通用20G | 原版LLaMA-7B | 770M | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1oORTdpr2TvlkxjpyWtb5Sw?pwd=33hb) |\n| Chinese-LLaMA-13B | 基座模型 | 通用20G | 原版LLaMA-13B | 1.0G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1BxFhYhDMipW7LwI58cGmQQ?pwd=ef3t) |\n| Chinese-LLaMA-33B | 基座模型 | 通用20G | 原版LLaMA-33B | 2.7G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1-ylGyeM70QZ5vbEug5RD-A?pwd=hp6f) |\n| Chinese-Alpaca-7B | 指令模型 | 指令2M | 原版LLaMA-7B | 790M | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1xV1UXjh1EPrPtXg6WyG7XQ?pwd=923e) |\n| Chinese-Alpaca-13B | 指令模型 | 指令3M | 原版LLaMA-13B | 1.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1wYoSF58SnU9k0Lndd5VEYg?pwd=mm8i) |\n| Chinese-Alpaca-33B | 指令模型 | 指令4.3M | 原版LLaMA-33B | 2.8G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1fey7lGMMw3GT982l8uJYMg?pwd=2f2s) |\n| Chinese-Alpaca-Plus-7B | 指令模型 | 指令4M | *原版LLaMA-7B &\u003Cbr\u002F>LLaMA-Plus-7B* | 1.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-plus-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-plus-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F12tjjxmDWwLBM8Tj_7FAjHg?pwd=32hc) |\n| Chinese-Alpaca-Plus-13B | 指令模型 | 指令4.3M | *原版LLaMA-13B &\u003Cbr\u002F>LLaMA-Plus-13B* | 1.3G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-plus-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-plus-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Mew4EjBlejWBBB6_WW6vig?pwd=mf5w) |\n| Chinese-Alpaca-Plus-33B | 指令模型 | 指令4.3M | *原版LLaMA-33B &\u003Cbr\u002F>LLaMA-Plus-33B* | 2.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-plus-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-plus-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1j2prOjiQGB8S5x67Uj8XZw?pwd=3pac) |\n\n### 🤗transformers调用\n\n可以在🤗Model Hub下载以上所有模型，并且使用[transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers)和[PEFT](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft)调用中文LLaMA或Alpaca LoRA模型。以下模型调用名称指的是使用`.from_pretrained()`中指定的模型名称。\n\n详细清单与模型下载地址：https:\u002F\u002Fhuggingface.co\u002Fhfl\n\n## 合并模型\n\n前面提到LoRA模型无法单独使用，必须与原版LLaMA进行合并才能转为完整模型，以便进行模型推理、量化或者进一步训练。请选择以下方法对模型进行转换合并。\n\n| 方式 | 适用场景 | 教程 |\n| :----------- | :--------------------------------------------------------- | :----------------------------------------------------------: |\n| **在线转换** | Colab用户可利用本项目提供的notebook进行在线转换并量化模型 | [链接](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F在线模型合并与转换) |\n| **手动转换** | 离线方式转换，生成不同格式的模型，以便进行量化或进一步精调 | [链接](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F手动模型合并与转换) |\n\n以下是合并模型后，FP16精度和4-bit量化后的大小，转换前确保本机有足够的内存和磁盘空间（最低要求）：\n\n| 模型版本 | 7B | 13B | 33B | 65B |\n| :------------------ | :----: | :-----: | :-----: | :-----: |\n| 原模型大小（FP16） | 13 GB | 24 GB | 60 GB | 120 GB |\n| 量化后大小（8-bit） | 7.8 GB | 14.9 GB | 32.4 GB | ~60 GB |\n| 量化后大小（4-bit） | 3.9 GB | 7.8 GB | 17.2 GB | 38.5 GB |\n\n具体内容请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F模型合并与转换)\n\n## 本地推理与快速部署\n\n本项目中的模型主要支持以下量化、推理和部署方式。\n\n| 推理和部署方式 | 特点 | 平台 | CPU | GPU | 量化加载 | 图形界面 | 教程 |\n| :----------------------------------------------------------- | -------------------------------------------- | :---: | :--: | :--: | :------: | :------: | :----------------------------------------------------------: |\n| [**llama.cpp**](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp) | 丰富的量化选项和高效本地推理 | 通用 | ✅ | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002Fllama.cpp量化部署) |\n| [**🤗Transformers**](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) | 原生transformers推理接口 | 通用 | ✅ | ✅ | ✅ | ✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用Transformers推理) |\n| [**text-generation-webui**](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui) | 前端Web UI界面的部署方式 | 通用 | ✅ | ✅ | ✅ | ✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用text-generation-webui搭建界面) |\n| [**LlamaChat**](https:\u002F\u002Fgithub.com\u002Falexrozanski\u002FLlamaChat) | macOS下的图形交互界面 | MacOS | ✅ | ❌ | ✅ | ✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用LlamaChat图形界面（macOS）) |\n| [**LangChain**](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain) | LLM应用开发框架，适用于进行二次开发 | 通用 | ✅\u003Csup>†\u003C\u002Fsup> | ✅ | ✅\u003Csup>†\u003C\u002Fsup> | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F与LangChain进行集成) |\n| [**privateGPT**](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT) | 基于LangChain的多文档本地问答框架 | 通用 | ✅ | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用privateGPT进行多文档问答) |\n| [**Colab Gradio Demo**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fnotebooks\u002Fgradio_web_demo.ipynb) | Colab中启动基于Gradio的交互式Web服务 | 通用 | ✅ | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fnotebooks\u002Fgradio_web_demo.ipynb) |\n| [**API调用**](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fapi-reference) | 仿OpenAI API接口的服务器Demo | 通用 | ✅ | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002FAPI调用) |\n\n\u003Csup>†\u003C\u002Fsup>: LangChain框架支持，但教程中未实现；详细说明请参考LangChain官方文档。\n\n具体内容请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F模型推理与部署)\n\n## 系统效果\n\n### 生成效果评测\n\n为了快速评测相关模型的实际文本生成表现，本项目在给定相同的prompt的情况下，在一些常见任务上对比测试了本项目的中文Alpaca-7B、中文Alpaca-13B、中文Alpaca-33B、中文Alpaca-Plus-7B、中文Alpaca-Plus-13B的效果。生成回复具有随机性，受解码超参、随机种子等因素影响。以下相关评测并非绝对严谨，测试结果仅供晾晒参考，欢迎自行体验。\n\n- 详细评测结果及生成样例请查看[examples目录](.\u002Fexamples)\n- 📊 Alpaca模型在线对战：[http:\u002F\u002Fllm-arena.ymcui.com](http:\u002F\u002Fllm-arena.ymcui.com\u002F)\n\n### 客观效果评测\n\n本项目还在“NLU”类客观评测集合上对相关模型进行了测试。这类评测的结果不具有主观性，只需要输出给定标签（需要设计标签mapping策略），因此可以从另外一个侧面了解大模型的能力。本项目在近期推出的[C-Eval评测数据集](https:\u002F\u002Fcevalbenchmark.com)上测试了相关模型效果，其中测试集包含12.3K个选择题，涵盖52个学科。以下是部分模型的valid和test集评测结果（Average），完整结果请参考[技术报告](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177)。\n\n| 模型 | Valid (zero-shot) | Valid (5-shot) | Test (zero-shot) | Test (5-shot) |\n| ----------------------- | :---------------: | :------------: | :--------------: | :-----------: |\n| Chinese-Alpaca-Plus-33B | 46.5 | 46.3 | 44.9 | 43.5 |\n| Chinese-Alpaca-33B | 43.3 | 42.6 | 41.6 | 40.4 |\n| Chinese-Alpaca-Plus-13B | 43.3 | 42.4 | 41.5 | 39.9 |\n| Chinese-Alpaca-Plus-7B | 36.7 | 32.9 | 36.4 | 32.3 |\n| Chinese-LLaMA-Plus-33B | 37.4 | 40.0 | 35.7 | 38.3 |\n| Chinese-LLaMA-33B | 34.9 | 38.4 | 34.6 | 39.5 |\n| Chinese-LLaMA-Plus-13B | 27.3 | 34.0 | 27.8 | 33.3 |\n| Chinese-LLaMA-Plus-7B | 27.3 | 28.3 | 26.9 | 28.4 |\n\n需要注意的是，综合评估大模型能力仍然是亟待解决的重要课题，合理辩证地看待大模型相关各种评测结果有助于大模型技术的良性发展。推荐用户在自己关注的任务上进行测试，选择适配相关任务的模型。\n\nC-Eval推理代码请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002FC-Eval评测结果与脚本)\n\n## 训练细节\n\n整个训练流程包括词表扩充、预训练和指令精调三部分。\n\n- 本项目的模型均在原LLaMA词表的基础上扩充了中文单词，代码请参考[merge_tokenizers.py](.\u002Fscripts\u002Fmerge_tokenizer\u002Fmerge_tokenizers.py)\n- 预训练和指令精调代码参考了🤗transformers中的[run_clm.py](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Fblob\u002Fmain\u002Fexamples\u002Fpytorch\u002Flanguage-modeling\u002Frun_clm.py)和[Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)项目中数据集处理的相关部分\n- 已开源用于预训练和指令精调的训练脚本：[预训练脚本Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F预训练脚本)、[指令精调脚本Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F指令精调脚本)\n\n\n具体内容请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F训练细节)\n\n## FAQ\n\nFAQ中给出了常见问题的解答，请在提Issue前务必先查看FAQ。\n\n```\n问题1：为什么不能放出完整版本权重？\n问题2：后面会有33B、65B的版本吗？\n问题3：一些任务上效果不好！\n问题4：为什么要扩充词表？直接在原版LLaMA上用中文预训练不行吗？\n问题5：回复内容很短\n问题6：Windows下，模型无法理解中文、生成速度很慢等问题\n问题7：Chinese-LLaMA 13B模型没法用llama.cpp启动，提示维度不一致\n问题8：Chinese-Alpaca-Plus效果很差\n问题9：模型在NLU类任务（文本分类等）上效果不好\n问题10：为什么叫33B，不应该是30B吗？\n问题11：模型合并之后SHA256不一致\n```\n\n具体问题和解答请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F常见问题)\n\n\n## 局限性\n\n虽然本项目中的模型具备一定的中文理解和生成能力，但也存在局限性，包括但不限于：\n\n- 可能会产生不可预测的有害内容以及不符合人类偏好和价值观的内容\n- 由于算力和数据问题，相关模型的训练并不充分，中文理解能力有待进一步提升\n- 暂时没有在线可互动的demo（注：用户仍然可以自行在本地部署）\n\n\n## 引用\n\n如果您觉得本项目对您的研究有所帮助或使用了本项目的代码或数据，请参考引用本项目的技术报告：https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177\n```\n@article{chinese-llama-alpaca,\n title={Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca}, \n author={Cui, Yiming and Yang, Ziqing and Yao, Xin},\n journal={arXiv preprint arXiv:2304.08177},\n url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177},\n year={2023}\n}\n```\n\n\n## 相关项目\n\n| 项目名称 | 简介 | 类型 |\n| :----------------------------------------------------------- | :----------------------------- | :----: |\n| [**Chinese-LLaMA-Alpaca-2**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)（官方项目） | 中文LLaMA-2、Alpaca-2大模型 | 文本 |\n| [**Visual-Chinese-LLaMA-Alpaca**](https:\u002F\u002Fgithub.com\u002Fairaria\u002FVisual-Chinese-LLaMA-Alpaca)（官方项目） | 多模态中文LLaMA & Alpaca大模型 | 多模态 |\n\n想要加入列表？>>> [提交申请](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions\u002F740)\n\n## 致谢\n\n本项目基于以下开源项目二次开发，在此对相关项目和研究开发人员表示感谢。\n\n| 基础模型、代码 | 量化、推理、部署 | 数据 |\n| :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |\n| [LLaMA by Facebook](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)\u003Cbr\u002F>[Alpaca by Stanford](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)\u003Cbr\u002F>[alpaca-lora by @tloen](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora) | [llama.cpp by @ggerganov](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)\u003Cbr\u002F>[LlamaChat by @alexrozanski]( https:\u002F\u002Fgithub.com\u002Falexrozanski\u002FLlamaChat)\u003Cbr\u002F>[text-generation-webui by @oobabooga](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui) | [pCLUE and MT data by @brightmart](https:\u002F\u002Fgithub.com\u002Fbrightmart\u002Fnlp_chinese_corpus)\u003Cbr\u002F>[oasst1 by OpenAssistant](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FOpenAssistant\u002Foasst1) |\n\n## 免责声明\n\n**本项目相关资源仅供学术研究之用，严禁用于商业用途。** 使用涉及第三方代码的部分时，请严格遵循相应的开源协议。模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目不对其准确性作出保证。对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。本项目由个人及协作者业余时间发起并维护，因此无法保证能及时回复解决相应问题。\n\n\n## 问题反馈\n如有问题，请在GitHub Issue中提交。礼貌地提出问题，构建和谐的讨论社区。\n\n- 在提交问题之前，请先查看FAQ能否解决问题，同时建议查阅以往的issue是否能解决你的问题。\n- 提交问题请使用本项目设置的Issue模板，以帮助快速定位具体问题。\n- 重复以及与本项目无关的issue会被[stable-bot](https:\u002F\u002Fgithub.com\u002Fmarketplace\u002Fstale)处理，敬请谅解。\n","# [Chinese-LLaMA-Alpaca-3](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-3) 项目启动！\n\n[**🇨🇳中文**](.\u002FREADME.md) | [**🌐English**](.\u002FREADME_EN.md) | [**📖文档\u002FDocs**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki) | [**❓提问\u002FIssues**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fissues) | [**💬讨论\u002FDiscussions**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions) | [**⚔️竞技场\u002FArena**](http:\u002F\u002Fllm-arena.ymcui.com\u002F)\n\n\u003Cp align=\"center\">\n \u003Cbr>\n \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_readme_bf05535a3a23.png\" width=\"700\"\u002F>\n \u003Cbr>\n\u003C\u002Fp>\n\u003Cp align=\"center\">\n \u003Cimg alt=\"GitHub\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fymcui\u002FChinese-LLaMA-Alpaca.svg?color=blue&style=flat-square\">\n \u003Cimg alt=\"GitHub release (latest by date)\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fv\u002Frelease\u002Fymcui\u002FChinese-LLaMA-Alpaca\">\n \u003Cimg alt=\"GitHub top language\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flanguages\u002Ftop\u002Fymcui\u002FChinese-LLaMA-Alpaca\">\n \u003Cimg alt=\"GitHub last commit\" src=\"https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flast-commit\u002Fymcui\u002FChinese-LLaMA-Alpaca\">\n \u003Ca href=\"https:\u002F\u002Fapp.codacy.com\u002Fgh\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdashboard?utm_source=gh&utm_medium=referral&utm_content=&utm_campaign=Badge_grade\">\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_readme_adaaa9495e23.png\"\u002F>\u003C\u002Fa>\n\u003C\u002Fp>\n\n\n\n本项目开源了**中文 LLaMA 模型**和**指令精调的 Alpaca 大模型**，以进一步促进大模型在中文 NLP 社区的开放研究。这些模型**在原版 LLaMA 的基础上扩充了中文词表**并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文 Alpaca 模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和执行能力。\n\n**技术报告（V2）**：[[Cui, Yang, and Yao] Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177)\n\n**本项目主要内容：**\n\n- 🚀 针对原版 LLaMA 模型扩充了中文词表，提升了中文编解码效率 \n- 🚀 开源了使用中文文本数据预训练的中文 LLaMA 以及经过指令精调的中文 Alpaca\n- 🚀 开源了预训练脚本、指令精调脚本，用户可根据需要进一步训练模型\n- 🚀 快速使用笔记本电脑（个人 PC）的 CPU\u002FGPU 本地量化和部署体验大模型\n- 🚀 支持 [🤗transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers), [llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp), [text-generation-webui](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui), [LlamaChat](https:\u002F\u002Fgithub.com\u002Falexrozanski\u002FLlamaChat), [LangChain](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain), [privateGPT](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT) 等生态\n- 目前已开源的模型版本：7B（基础版、**Plus 版**、**Pro 版**）、13B（基础版、**Plus 版**、**Pro 版**）、33B（基础版、**Plus 版**、**Pro 版**）\n\n💡 下图是中文 Alpaca-Plus-7B 模型在本地 CPU 量化部署后的实际体验速度和效果。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_readme_07d18aaed6e6.gif)\n\n----\n\n[**中文 LLaMA-2&Alpaca-2 大模型**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2) | [多模态中文 LLaMA&Alpaca 大模型](https:\u002F\u002Fgithub.com\u002Fairaria\u002FVisual-Chinese-LLaMA-Alpaca) | [多模态 VLE](https:\u002F\u002Fgithub.com\u002Fiflytek\u002FVLE) | [中文 MiniRBT](https:\u002F\u002Fgithub.com\u002Fiflytek\u002FMiniRBT) | [中文 LERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FLERT) | [中英文 PERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FPERT) | [中文 MacBERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FMacBERT) | [中文 ELECTRA](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-ELECTRA) | [中文 XLNet](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-XLNet) | [中文 BERT](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-BERT-wwm) | [知识蒸馏工具 TextBrewer](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextBrewer) | [模型裁剪工具 TextPruner](https:\u002F\u002Fgithub.com\u002Fairaria\u002FTextPruner)\n\n## 新闻\n\n**[2024\u002F04\u002F30] Chinese-LLaMA-Alpaca-3 已正式发布，开源基于 Llama-3 的 Llama-3-Chinese-8B 和 Llama-3-Chinese-8B-Instruct，推荐所有一期、二期项目用户升级至三代模型，请参阅：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-3**\n\n[2024\u002F03\u002F27] 本项目已入驻机器之心 SOTA! 模型平台，欢迎关注：https:\u002F\u002Fsota.jiqizhixin.com\u002Fproject\u002Fchinese-llama-alpaca\n\n[2023\u002F08\u002F14] Chinese-LLaMA-Alpaca-2 v2.0 版本已正式发布，开源 Chinese-LLaMA-2-13B 和 Chinese-Alpaca-2-13B，推荐所有一期用户升级至二代模型，请参阅：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\n\n[2023\u002F07\u002F31] Chinese-LLaMA-Alpaca-2 v1.0 版本已正式发布，请参阅：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2\n\n[2023\u002F07\u002F19] [v5.0 版本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Freleases\u002Ftag\u002Fv5.0): 发布 Alpaca-Pro 系列模型，显著提升回复长度和质量；同时发布 Plus-33B 系列模型。\n\n[2023\u002F07\u002F19] 🚀启动 [中文 LLaMA-2、Alpaca-2 开源大模型项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)，欢迎关注了解最新信息。\n\n[2023\u002F07\u002F10] Beta 测试预览，提前了解即将到来的更新：详见 [讨论区](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions\u002F732)\n\n[2023\u002F07\u002F07] Chinese-LLaMA-Alpaca 家族再添新成员，推出面向视觉问答与对话的 [多模态中文 LLaMA&Alpaca 大模型](https:\u002F\u002Fgithub.com\u002Fairaria\u002FVisual-Chinese-LLaMA-Alpaca)，发布了 7B 测试版本。\n\n[2023\u002F06\u002F30] llama.cpp 下 8K context 支持（无需对模型做出修改），相关方法和讨论见 [讨论区](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions\u002F696)；transformers 下支持 4K+ context 的代码请参考 [PR#705](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fpull\u002F705)\n\n[2023\u002F06\u002F16] [v4.1 版本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Freleases\u002Ftag\u002Fv4.1): 发布新版技术报告、添加 C-Eval 解码脚本、添加低资源模型合并脚本等。\n\n[2023\u002F06\u002F08] [v4.0 版本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Freleases\u002Ftag\u002Fv4.0): 发布中文 LLaMA\u002FAlpaca-33B、添加 privateGPT 使用示例、添加 C-Eval 结果等。\n\n## 内容导引\n| 章节 | 描述 |\n| ------------------------------------- | ------------------------------------------------------------ |\n| [⏬模型下载](#模型下载) | 中文 LLaMA、Alpaca 大模型下载地址 |\n| [🈴合并模型](#合并模型) | （重要）介绍如何将下载的 LoRA 模型与原版 LLaMA 合并 |\n| [💻本地推理与快速部署](#本地推理与快速部署) | 介绍了如何对模型进行量化并使用个人电脑部署并体验大模型 |\n| [💯系统效果](#系统效果) | 介绍了部分场景和任务下的使用体验效果 |\n| [📝训练细节](#训练细节) | 介绍了中文 LLaMA、Alpaca 大模型的训练细节 |\n| [❓FAQ](#FAQ) | 一些常见问题的回复 |\n| [⚠️局限性](#局限性) | 本项目涉及模型的局限性 |\n\n\n## 模型下载\n\n### 用户须知（必读）\n\nFacebook 官方发布的 [LLaMA 模型禁止商用](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)，并且官方没有正式开源模型权重（虽然网上已经有很多第三方的下载地址）。为了遵循相应的许可，**这里发布的是 LoRA 权重**，可以理解为原 LLaMA 模型上的一个“补丁”，两者合并即可获得完整版权重。以下中文 LLaMA\u002FAlpaca LoRA 模型无法单独使用，需要搭配 [原版 LLaMA 模型](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)。请参考本项目给出的 [合并模型](#合并模型) 步骤重构模型。\n\n### 模型列表\n\n下图展示了本项目以及 [二期项目](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2) 推出的所有大模型之间的关系。\n\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_readme_c1ac37031b2b.png)\n\n### 模型选择指引\n\n下面是中文 LLaMA 和 Alpaca 模型的基本对比以及建议使用场景（包括但不限于），更多内容见 [训练细节](#训练细节)。\n\n| 对比项 | 中文 LLaMA | 中文 Alpaca |\n| :-------------------- | ------------------------------------------------------ | ------------------------------------------------------------ |\n| 训练方式 | 传统 CLM（自回归语言模型） | 指令精调 |\n| 模型类型 | 基座模型 | 指令理解模型（类 ChatGPT） |\n| 训练语料 | 无标注通用语料 | 有标注指令数据 |\n| 词表大小\u003Csup>[3]\u003C\u002Fsup> | 4995**3** | 4995**4**=49953+1（pad token，填充 token） |\n| 输入模板 | 不需要 | 需要符合模板要求\u003Csup>[1]\u003C\u002Fsup> |\n| 适用场景 ✔️ | 文本续写：给定上文内容，让模型生成下文 | 指令理解（问答、写作、建议等）；多轮上下文理解（聊天等） |\n| 不适用场景 ❌ | 指令理解 、多轮聊天等 | 文本无限制自由生成 |\n| llama.cpp | 使用`-p`参数指定上文 | 使用`-ins`参数启动指令理解 + 聊天模式 |\n| text-generation-webui | 不适合 chat 模式 | 使用`--cpu`可在无显卡形式下运行 |\n| LlamaChat | 加载模型时选择\"LLaMA\" | 加载模型时选择\"Alpaca\" |\n| [HF（Hugging Face）推理代码](.\u002Fscripts\u002Finference\u002Finference_hf.py) | 无需添加额外启动参数 | 启动时添加参数 `--with_prompt` |\n| [web-demo 代码](.\u002Fscripts\u002Finference\u002Fgradio_demo.py) | 不适用 | 直接提供 Alpaca 模型位置即可；支持多轮对话 |\n| [LangChain 示例](.\u002Fscripts\u002Flangchain) \u002F privateGPT | 不适用 | 直接提供 Alpaca 模型位置即可 |\n| 已知问题 | 如果不控制终止，则会一直写下去，直到达到输出长度上限。\u003Csup>[2]\u003C\u002Fsup> | 请使用 Pro 版，以避免 Plus 版回复过短的问题。 |\n\n*[1] llama.cpp\u002FLlamaChat\u002F[HF（Hugging Face）推理代码](.\u002Fscripts\u002Finference\u002Finference_hf.py)\u002F[web-demo 代码](.\u002Fscripts\u002Finference\u002Fgradio_demo.py)\u002F[LangChain 示例](.\u002Fscripts\u002Flangchain) 等已内嵌，无需手动添加模板。*\u003Cbr\u002F>\n*[2] 如果出现模型回答质量特别低、胡言乱语、不理解问题等情况，请检查是否使用了正确的模型和启动参数。*\u003Cbr\u002F>\n*[3] 经过指令精调的 Alpaca 会比 LLaMA 多一个 pad token（填充 token），**因此请勿混用 LLaMA\u002FAlpaca 词表**。*\n\n### 推荐模型下载\n\n以下为本项目推荐使用的模型列表，通常使用了更多的训练数据和优化的模型训练方法和参数，请优先使用这些模型（其余模型请查看 [其他模型](#其他模型)）。**如希望体验类 ChatGPT 对话交互，请使用 Alpaca 模型，而不是 LLaMA 模型。** 对于 Alpaca 模型，Pro 版针对回复内容过短的问题进行改进，模型回复效果有明显提升；如果更偏好短回复，请选择 Plus 系列。\n\n| 模型名称 | 类型 | 训练数据 | 重构模型\u003Csup>[1]\u003C\u002Fsup> | 大小\u003Csup>[2]\u003C\u002Fsup> | LoRA（低秩自适应）下载\u003Csup>[3]\u003C\u002Fsup> |\n| :------------------------ | :------: | :------: | :--------------------------------------------------------: | :----------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-Plus-7B | 基座模型 | 通用 120G | 原版 LLaMA-7B | 790M | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-plus-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-plus-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1zvyX9FN-WSRDdrtMARxxfw?pwd=2gtr) |\n| Chinese-LLaMA-Plus-13B | 基座模型 | 通用 120G | 原版 LLaMA-13B | 1.0G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-plus-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-plus-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1VGpNlrLx5zHuNzLOcTG-xw?pwd=8cvd) |\n| Chinese-LLaMA-Plus-33B 🆕 | 基座模型 | 通用 120G | 原版 LLaMA-33B | 1.3G\u003Csup>[6]\u003C\u002Fsup> | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-plus-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-plus-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1v2WsSA0RFyVfy7FXY9A2NA?pwd=n8ws) |\n| Chinese-Alpaca-Pro-7B 🆕 | 指令模型 | 指令 4.3M | *原版 LLaMA-7B &\u003Cbr\u002F>LLaMA-Plus-7B*\u003Csup>[4]\u003C\u002Fsup> | 1.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-pro-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-pro-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1M7whRwG5DRRkzRXCH4aF3g?pwd=fqpd) |\n| Chinese-Alpaca-Pro-13B 🆕 | 指令模型 | 指令 4.3M | *原版 LLaMA-13B &\u003Cbr\u002F>LLaMA-Plus-13B\u003Csup>[4]\u003C\u002Fsup>* | 1.3G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-pro-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-pro-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1ok5Iiou-MovZa7bFLvt4uA?pwd=m79g) |\n| Chinese-Alpaca-Pro-33B 🆕 | 指令模型 | 指令 4.3M | *原版 LLaMA-33B &\u003Cbr\u002F>LLaMA-Plus-33B\u003Csup>[4]\u003C\u002Fsup>* | 2.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-pro-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-pro-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1u2TWZcsG_PZSTnmuu7vwww?pwd=8zj8) |\n\n*[1] 重构需要原版 LLaMA 模型，[去 LLaMA 项目申请使用](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama) 或参考这个 [PR](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama\u002Fpull\u002F73\u002Ffiles)。因版权问题本项目无法提供下载链接。*\u003Cbr\u002F>\n*[2] 经过重构后的模型大小比同等量级的原版 LLaMA 大一些（主要因为扩充了词表）。*\u003Cbr\u002F>\n*[3] 下载后务必检查压缩包中模型文件的 SHA256 是否一致，请查看 [SHA256.md](.\u002FSHA256.md)。*\u003Cbr\u002F>\n*[4] Alpaca-Plus 模型需要同时下载对应的 LLaMA-Plus 模型，请参考 [合并教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F手动模型合并与转换#多 lora 权重合并适用于 chinese-alpaca-plus)。*\u003Cbr\u002F>\n*[5] 有些地方称为 30B，实际上是 Facebook 在发布模型时写错了，论文里仍然写的是 33B。*\u003Cbr\u002F>*[6] 采用 FP16（半精度浮点数）存储，故模型体积较小。*\n\n压缩包内文件目录如下（以 Chinese-LLaMA-7B 为例）：\n\n```\nchinese_llama_lora_7b\u002F\n - adapter_config.json\t\t# LoRA 权重配置文件\n - adapter_model.bin\t\t# LoRA 权重文件\n - special_tokens_map.json\t# special_tokens_map 文件\n - tokenizer_config.json\t# tokenizer 配置文件\n - tokenizer.model\t\t# tokenizer 文件 \n```\n\n### 其他模型下载\n\n由于训练方式和训练数据等因素影响，**以下模型已不再推荐使用（特定场景下可能仍然有用）**，请优先使用上一节中的 [推荐模型](#推荐下载模型)。\n\n| 模型名称 | 类型 | 训练数据 | 重构模型 | 大小 | LoRA 下载 |\n| :---------------- | :------: | :------: | :--------------------: | :----------------: | :----------------------------------------------------------: |\n| Chinese-LLaMA-7B | 基座模型 | 通用 20G | 原版 LLaMA-7B | 770M | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1oORTdpr2TvlkxjpyWtb5Sw?pwd=33hb) |\n| Chinese-LLaMA-13B | 基座模型 | 通用 20G | 原版 LLaMA-13B | 1.0G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1BxFhYhDMipW7LwI58cGmQQ?pwd=ef3t) |\n| Chinese-LLaMA-33B | 基座模型 | 通用 20G | 原版 LLaMA-33B | 2.7G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-llama-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-llama-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1-ylGyeM70QZ5vbEug5RD-A?pwd=hp6f) |\n| Chinese-Alpaca-7B | 指令模型 | 指令 2M | 原版 LLaMA-7B | 790M | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1xV1UXjh1EPrPtXg6WyG7XQ?pwd=923e) |\n| Chinese-Alpaca-13B | 指令模型 | 指令 3M | 原版 LLaMA-13B | 1.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1wYoSF58SnU9k0Lndd5VEYg?pwd=mm8i) |\n| Chinese-Alpaca-33B | 指令模型 | 指令 4.3M | 原版 LLaMA-33B | 2.8G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1fey7lGMMw3GT982l8uJYMg?pwd=2f2s) |\n| Chinese-Alpaca-Plus-7B | 指令模型 | 指令 4M | *原版 LLaMA-7B &\u003Cbr\u002F>LLaMA-Plus-7B* | 1.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-plus-lora-7b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-plus-lora-7b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F12tjjxmDWwLBM8Tj_7FAjHg?pwd=32hc) |\n| Chinese-Alpaca-Plus-13B | 指令模型 | 指令 4.3M | *原版 LLaMA-13B &\u003Cbr\u002F>LLaMA-Plus-13B* | 1.3G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-plus-lora-13b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-plus-lora-13b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1Mew4EjBlejWBBB6_WW6vig?pwd=mf5w) |\n| Chinese-Alpaca-Plus-33B | 指令模型 | 指令 4.3M | *原版 LLaMA-33B &\u003Cbr\u002F>LLaMA-Plus-33B* | 2.1G | [[🤗HF]](https:\u002F\u002Fhuggingface.co\u002Fhfl\u002Fchinese-alpaca-plus-lora-33b) [[🤖ModelScope]](https:\u002F\u002Fmodelscope.cn\u002Fmodels\u002FChineseAlpacaGroup\u002Fchinese-alpaca-plus-lora-33b) [[Baidu]](https:\u002F\u002Fpan.baidu.com\u002Fs\u002F1j2prOjiQGB8S5x67Uj8XZw?pwd=3pac) |\n\n### 🤗transformers 调用\n\n可以在🤗Model Hub 下载以上所有模型，并且使用 [transformers](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) 和 [PEFT](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Fpeft) 调用中文 LLaMA 或 Alpaca LoRA 模型。以下模型调用名称指的是使用 `.from_pretrained()` 中指定的模型名称。\n\n详细清单与模型下载地址：https:\u002F\u002Fhuggingface.co\u002Fhfl\n\n## 合并模型\n\n前面提到 LoRA 模型无法单独使用，必须与原版 LLaMA 进行合并才能转为完整模型，以便进行模型推理、量化或者进一步训练。请选择以下方法对模型进行转换合并。\n\n| 方式 | 适用场景 | 教程 |\n| :----------- | :--------------------------------------------------------- | :----------------------------------------------------------: |\n| **在线转换** | Colab 用户可利用本项目提供的 notebook 进行在线转换并量化模型 | [链接](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F在线模型合并与转换) |\n| **手动转换** | 离线方式转换，生成不同格式的模型，以便进行量化或进一步精调 | [链接](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F手动模型合并与转换) |\n\n以下是合并模型后，FP16 精度和 4-bit 量化后的大小，转换前确保本机有足够的内存和磁盘空间（最低要求）：\n\n| 模型版本 | 7B | 13B | 33B | 65B |\n| :------------------ | :----: | :-----: | :-----: | :-----: |\n| 原模型大小（FP16） | 13 GB | 24 GB | 60 GB | 120 GB |\n| 量化后大小（8-bit） | 7.8 GB | 14.9 GB | 32.4 GB | ~60 GB |\n| 量化后大小（4-bit） | 3.9 GB | 7.8 GB | 17.2 GB | 38.5 GB |\n\n具体内容请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F模型合并与转换)\n\n## 本地推理与快速部署\n\n本项目中的模型主要支持以下量化、推理和部署方式。\n\n| 推理和部署方式 | 特点 | 平台 | CPU | GPU | 量化加载 | 图形界面 | 教程 |\n| :----------------------------------------------------------- | -------------------------------------------- | :---: | :--: | :--: | :------: | :------: | :----------------------------------------------------------: |\n| [**llama.cpp**](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp) | 丰富的量化选项和高效本地推理 | 通用 | ✅ | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002Fllama.cpp 量化部署) |\n| [**🤗Transformers**](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers) | 原生 transformers 推理接口 | 通用 | ✅ | ✅ | ✅ | ✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用 Transformers 推理) |\n| [**text-generation-webui**](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui) | 前端 Web UI 界面的部署方式 | 通用 | ✅ | ✅ | ✅ | ✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用 text-generation-webui 搭建界面) |\n| [**LlamaChat**](https:\u002F\u002Fgithub.com\u002Falexrozanski\u002FLlamaChat) | macOS 下的图形交互界面 | MacOS | ✅ | ❌ | ✅ | ✅ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用 LlamaChat 图形界面（macOS）) |\n| [**LangChain**](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain) | LLM 应用开发框架，适用于进行二次开发 | 通用 | ✅\u003Csup>†\u003C\u002Fsup> | ✅ | ✅\u003Csup>†\u003C\u002Fsup> | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F与 LangChain 进行集成) |\n| [**privateGPT**](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT) | 基于 LangChain 的多文档本地问答框架 | 通用 | ✅ | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用 privateGPT 进行多文档问答) |\n| [**Colab Gradio Demo**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fnotebooks\u002Fgradio_web_demo.ipynb) | Colab 中启动基于 Gradio 的交互式 Web 服务 | 通用 | ✅ | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fnotebooks\u002Fgradio_web_demo.ipynb) |\n| [**API 调用**](https:\u002F\u002Fplatform.openai.com\u002Fdocs\u002Fapi-reference) | 仿 OpenAI API 接口的服务器 Demo | 通用 | ✅ | ✅ | ✅ | ❌ | [link](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002FAPI 调用) |\n\n\u003Csup>†\u003C\u002Fsup>: LangChain 框架支持，但教程中未实现；详细说明请参考 LangChain 官方文档。\n\n具体内容请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F模型推理与部署)\n\n## 系统效果\n\n### 生成效果评测\n\n为了快速评测相关模型的实际文本生成表现，本项目在给定相同的 prompt 的情况下，在一些常见任务上对比测试了本项目的中文 Alpaca-7B、中文 Alpaca-13B、中文 Alpaca-33B、中文 Alpaca-Plus-7B、中文 Alpaca-Plus-13B 的效果。生成回复具有随机性，受解码超参、随机种子等因素影响。以下相关评测并非绝对严谨，测试结果仅供晾晒参考，欢迎自行体验。\n\n- 详细评测结果及生成样例请查看 [examples 目录](.\u002Fexamples)\n- 📊 Alpaca 模型在线对战：[http:\u002F\u002Fllm-arena.ymcui.com](http:\u002F\u002Fllm-arena.ymcui.com\u002F)\n\n### 客观效果评测\n\n本项目还在\"NLU\"类客观评测集合上对相关模型进行了测试。这类评测的结果不具有主观性，只需要输出给定标签（需要设计标签 mapping 策略），因此可以从另外一个侧面了解大模型的能力。本项目在近期推出的 [C-Eval 评测数据集](https:\u002F\u002Fcevalbenchmark.com) 上测试了相关模型效果，其中测试集包含 12.3K 个选择题，涵盖 52 个学科。以下是部分模型的 valid 和 test 集评测结果（Average），完整结果请参考 [技术报告](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177)。\n\n| 模型 | Valid (zero-shot) | Valid (5-shot) | Test (zero-shot) | Test (5-shot) |\n| ----------------------- | :---------------: | :------------: | :--------------: | :-----------: |\n| Chinese-Alpaca-Plus-33B | 46.5 | 46.3 | 44.9 | 43.5 |\n| Chinese-Alpaca-33B | 43.3 | 42.6 | 41.6 | 40.4 |\n| Chinese-Alpaca-Plus-13B | 43.3 | 42.4 | 41.5 | 39.9 |\n| Chinese-Alpaca-Plus-7B | 36.7 | 32.9 | 36.4 | 32.3 |\n| Chinese-LLaMA-Plus-33B | 37.4 | 40.0 | 35.7 | 38.3 |\n| Chinese-LLaMA-33B | 34.9 | 38.4 | 34.6 | 39.5 |\n| Chinese-LLaMA-Plus-13B | 27.3 | 34.0 | 27.8 | 33.3 |\n| Chinese-LLaMA-Plus-7B | 27.3 | 28.3 | 26.9 | 28.4 |\n\n需要注意的是，综合评估大模型能力仍然是亟待解决的重要课题，合理辩证地看待大模型相关各种评测结果有助于大模型技术的良性发展。推荐用户在自己关注的任务上进行测试，选择适配相关任务的模型。\n\nC-Eval 推理代码请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002FC-Eval 评测结果与脚本)\n\n## 训练细节\n\n整个训练流程包括词表扩充、预训练和指令精调三部分。\n\n- 本项目的模型均在原 LLaMA 词表的基础上扩充了中文单词，代码请参考 [merge_tokenizers.py](.\u002Fscripts\u002Fmerge_tokenizer\u002Fmerge_tokenizers.py)\n- 预训练和指令精调代码参考了🤗transformers 中的 [run_clm.py](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Fblob\u002Fmain\u002Fexamples\u002Fpytorch\u002Flanguage-modeling\u002Frun_clm.py) 和 [Stanford Alpaca](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca) 项目中数据集处理的相关部分\n- 已开源用于预训练和指令精调的训练脚本：[预训练脚本 Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F预训练脚本)、[指令精调脚本 Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F指令精调脚本)\n\n\n具体内容请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F训练细节)\n\n## FAQ\n\nFAQ 中给出了常见问题的解答，请在提 Issue 前务必先查看 FAQ。\n\n```\n问题 1：为什么不能放出完整版本权重？\n问题 2：后面会有 33B、65B 的版本吗？\n问题 3：一些任务上效果不好！\n问题 4：为什么要扩充词表？直接在原版 LLaMA 上用中文预训练不行吗？\n问题 5：回复内容很短\n问题 6：Windows 下，模型无法理解中文、生成速度很慢等问题\n问题 7：Chinese-LLaMA 13B 模型没法用 llama.cpp 启动，提示维度不一致\n问题 8：Chinese-Alpaca-Plus 效果很差\n问题 9：模型在 NLU 类任务（文本分类等）上效果不好\n问题 10：为什么叫 33B，不应该是 30B 吗？\n问题 11：模型合并之后 SHA256 不一致\n```\n\n具体问题和解答请参考本项目 >>> [📚 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F常见问题)\n\n\n## 局限性\n\n虽然本项目中的模型具备一定的中文理解和生成能力，但也存在局限性，包括但不限于：\n\n- 可能会产生不可预测的有害内容以及不符合人类偏好和价值观的内容\n- 由于算力和数据问题，相关模型的训练并不充分，中文理解能力有待进一步提升\n- 暂时没有在线可互动的 demo（注：用户仍然可以自行在本地部署）\n\n\n## 引用\n\n如果您觉得本项目对您的研究有所帮助或使用了本项目的代码或数据，请参考引用本项目的技术报告：https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177\n```\n@article{chinese-llama-alpaca,\n title={Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca}, \n author={Cui, Yiming and Yang, Ziqing and Yao, Xin},\n journal={arXiv preprint arXiv:2304.08177},\n url={https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177},\n year={2023}\n}\n```\n\n\n## 相关项目\n\n| 项目名称 | 简介 | 类型 |\n| :----------------------------------------------------------- | :----------------------------- | :----: |\n| [**Chinese-LLaMA-Alpaca-2**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)（官方项目） | 中文 LLaMA-2、Alpaca-2 大模型 | 文本 |\n| [**Visual-Chinese-LLaMA-Alpaca**](https:\u002F\u002Fgithub.com\u002Fairaria\u002FVisual-Chinese-LLaMA-Alpaca)（官方项目） | 多模态中文 LLaMA & Alpaca 大模型 | 多模态 |\n\n想要加入列表？>>> [提交申请](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions\u002F740)\n\n## 致谢\n\n本项目基于以下开源项目二次开发，在此对相关项目和研究开发人员表示感谢。\n\n| 基础模型、代码 | 量化、推理、部署 | 数据 |\n| :----------------------------------------------------------: | :----------------------------------------------------------: | :----------------------------------------------------------: |\n| [LLaMA by Facebook](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama)\u003Cbr\u002F>[Alpaca by Stanford](https:\u002F\u002Fgithub.com\u002Ftatsu-lab\u002Fstanford_alpaca)\u003Cbr\u002F>[alpaca-lora by @tloen](https:\u002F\u002Fgithub.com\u002Ftloen\u002Falpaca-lora) | [llama.cpp by @ggerganov](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)\u003Cbr\u002F>[LlamaChat by @alexrozanski]( https:\u002F\u002Fgithub.com\u002Falexrozanski\u002FLlamaChat)\u003Cbr\u002F>[text-generation-webui by @oobabooga](https:\u002F\u002Fgithub.com\u002Foobabooga\u002Ftext-generation-webui) | [pCLUE and MT data by @brightmart](https:\u002F\u002Fgithub.com\u002Fbrightmart\u002Fnlp_chinese_corpus)\u003Cbr\u002F>[oasst1 by OpenAssistant](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FOpenAssistant\u002Foasst1) |\n\n## 免责声明\n\n**本项目相关资源仅供学术研究之用，严禁用于商业用途。** 使用涉及第三方代码的部分时，请严格遵循相应的开源协议。模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目不对其准确性作出保证。对于模型输出的任何内容，本项目不承担任何法律责任，亦不对因使用相关资源和输出结果而可能产生的任何损失承担责任。本项目由个人及协作者业余时间发起并维护，因此无法保证能及时回复解决相应问题。\n\n\n## 问题反馈\n如有问题，请在 GitHub Issue 中提交。礼貌地提出问题，构建和谐的讨论社区。\n\n- 在提交问题之前，请先查看 FAQ 能否解决问题，同时建议查阅以往的 issue 是否能解决你的问题。\n- 提交问题请使用本项目设置的 Issue 模板，以帮助快速定位具体问题。\n- 重复以及与本项目无关的 issue 会被 [stable-bot](https:\u002F\u002Fgithub.com\u002Fmarketplace\u002Fstale) 处理，敬请谅解。","# Chinese-LLaMA-Alpaca 快速上手指南\n\n本项目开源了中文 LLaMA 模型和指令精调的 Alpaca 大模型，在原版 LLaMA 基础上扩充了中文词表并进行了二次预训练及指令微调。支持本地量化部署及多种生态（Transformers, llama.cpp 等）。\n\n## 环境准备\n\n* **操作系统**: Linux \u002F Windows \u002F macOS\n* **硬件要求**: \n * 推理：推荐 NVIDIA GPU；支持 CPU 量化部署（体验速度较慢）。\n * 训练：需要多卡 GPU 或高配置单机。\n* **软件依赖**:\n * Python >= 3.8\n * PyTorch (根据 CUDA 版本安装)\n * `transformers`, `accelerate`, `peft` 等库\n\n## 安装步骤\n\n### 1. 克隆项目\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca.git\ncd Chinese-LLaMA-Alpaca\n```\n\n### 2. 安装依赖\n```bash\npip install -r requirements.txt\n# 或者手动安装核心依赖\npip install transformers accelerate peft torch\n```\n\n### 3. 下载模型权重\n**重要提示**：本项目发布的是 **LoRA 权重**（补丁），需搭配 [原版 LLaMA 模型](https:\u002F\u002Fgithub.com\u002Ffacebookresearch\u002Fllama) 合并使用。\n\n1. **获取原版 LLaMA 模型**：需向 Meta 申请权限后下载（本项目不提供直接下载链接）。\n2. **获取中文 LoRA 权重**：推荐使用国内加速源。\n * **HuggingFace**: `hfl\u002Fchinese-alpaca-pro-lora-7b`\n * **ModelScope (推荐)**: `ChineseAlpacaGroup\u002Fchinese-alpaca-pro-lora-7b`\n * **百度网盘**: 见 README 中的下载链接\n\n示例下载命令（以 ModelScope 为例）：\n```bash\n# 确保已安装 modelscope\npip install modelscope\nmodelscope download --model ChineseAlpacaGroup\u002Fchinese-alpaca-pro-lora-7b --local_dir .\u002Fmodels\u002Fchinese-alpaca-pro-lora-7b\n```\n\n### 4. 合并模型\n由于 LoRA 无法单独运行，必须将下载的 LoRA 权重与原版 LLaMA 基座模型合并。请参考项目 Wiki 中的 [手动模型合并教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F手动模型合并与转换)。\n\n通常涉及以下文件操作：\n* `adapter_config.json`\n* `adapter_model.bin`\n* 原版 LLaMA 的 `config.json`, `pytorch_model.bin` 等\n\n## 基本使用\n\n### 命令行推理 (HF)\n\n#### 基座模型 (LLaMA)\n适用于文本续写，无需特殊启动参数。\n```bash\npython .\u002Fscripts\u002Finference\u002Finference_hf.py \\\n --base_model_path \u002Fpath\u002Fto\u002Foriginal_llama \\\n --lora_weights_path \u002Fpath\u002Fto\u002Fchinese_llama_lora\n```\n\n#### 指令模型 (Alpaca)\n适用于问答、写作等指令理解任务。**注意**：启动时需添加 `--with_prompt` 参数。\n```bash\npython .\u002Fscripts\u002Finference\u002Finference_hf.py \\\n --base_model_path \u002Fpath\u002Fto\u002Foriginal_llama \\\n --lora_weights_path \u002Fpath\u002Fto\u002Fchinese_alpaca_lora \\\n --with_prompt\n```\n\n### Web 界面演示 (Gradio)\n\n提供图形化交互界面，支持多轮对话。\n```bash\npython .\u002Fscripts\u002Finference\u002Fgradio_demo.py \\\n --model_path \u002Fpath\u002Fto\u002Fmerged_model\n```\n\n### 其他部署方式\n* **llama.cpp**: 支持 8K context，使用 `-ins` 参数启动指令模式。\n* **Text-Generation-WebUI**: 支持 `--cpu` 在无显卡环境下运行。\n* **LangChain \u002F privateGPT**: 直接提供合并后的模型路径即可集成。\n\n> **模型选择建议**：如需类 ChatGPT 对话交互，请使用 **Alpaca** 系列（如 `Chinese-Alpaca-Pro-7B`）；如需文本续写，请使用 **LLaMA** 系列。Pro 版针对回复长度和质量有显著优化。","某中型跨境电商运营团队计划搭建内部知识库助手，用于快速检索商品详情并生成多语言营销文案。\n\n### 没有 Chinese-LLaMA-Alpaca 时\n- 调用海外大模型 API 时，中文语义理解偏差大，常出现“机翻味”严重的回复\n- 敏感商品信息需上传至云端，企业担心核心数据泄露给第三方服务商\n- 按次付费模式导致高频查询成本失控，且网络波动影响响应速度\n- 通用模型缺乏垂直领域知识，无法准确识别内部特有的 SKU 编码规则\n\n### 使用 Chinese-LLaMA-Alpaca 后\n- 直接在本地服务器部署，断网环境下也能稳定运行，彻底消除数据外泄隐患\n- 基于中文语料预训练，对电商专业术语和口语化指令的理解显著提升\n- 支持 CPU\u002FGPU 量化技术，旧款显卡即可流畅推理，大幅降低硬件门槛\n- 通过官方提供的精调脚本，仅用少量内部文档即可完成模型定制化训练\n\n核心价值：让中小企业以极低成本实现安全可控的中文大模型私有化应用。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fymcui_Chinese-LLaMA-Alpaca_bf05535a.png","ymcui","Yiming Cui","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fymcui_27303d50.jpg","NLP Researcher. Mainly interested in Pre-trained Language Model, Machine Reading Comprehension, Question Answering, etc.",null,"Beijing, China","conandiy@vip.qq.com","KCrosner","http:\u002F\u002Fymcui.github.io","https:\u002F\u002Fgithub.com\u002Fymcui",[86,90],{"name":87,"color":88,"percentage":89},"Python","#3572A5",97.6,{"name":91,"color":92,"percentage":93},"Shell","#89e051",2.4,18958,1860,"2026-04-05T04:13:35","Apache-2.0","未说明","非必需，支持 CPU\u002FGPU 本地部署，具体型号及显存要求未说明",{"notes":101,"python":98,"dependencies":102},"1. 模型为 LoRA 权重，必须与原版 LLaMA 合并后才能使用（原版 LLaMA 需自行申请且禁止商用）；2. 支持 CPU 量化部署于个人电脑，无显卡亦可运行；3. 基座模型与指令模型（Alpaca）适用场景不同，需注意输入模板差异；4. 提供多种下载渠道（HuggingFace\u002FModelScope\u002F百度网盘）。",[103,104,105,106,107,108],"transformers","torch","peft","accelerate","gradio","langchain",[26,13],[111,112,113,114,115,116,117,118,119,120,121],"llm","plm","pre-trained-language-models","alpaca","llama","nlp","quantization","large-language-models","lora","alpaca-2","llama-2",31,"2026-03-27T02:49:30.150509","2026-04-05T22:27:34.291969",[126,131,135,139,143,148],{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},2792,"能否通过领域数据对模型进行微调？","可以。项目支持通过领域数据进行微调。增加的可训练参数可参见 adapter_config.json 内容，主要包括 embed_tokens、lm_head、attention 中的 qkvo 以及三个 mlp 矩阵的 lora 部分。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fissues\u002F146",{"id":132,"question_zh":133,"answer_zh":134,"source_url":130},2793,"微调时具体的 LoRA 可训练参数配置是什么？","在预训练或微调脚本中，可训练参数应配置为：lora_trainable=\"q_proj,v_proj,k_proj,o_proj,gate_proj,down_proj,up_proj\"。这涵盖了 Attention 中的 qkvo 和 MLP 矩阵的 LoRA 部分。",{"id":136,"question_zh":137,"answer_zh":138,"source_url":130},2794,"微调时需要保存哪些模块（modules_to_save）？","需要保存的模块配置为：modules_to_save=\"embed_tokens,lm_head\"。这是为了确保嵌入层和语言模型头在微调过程中被正确更新。",{"id":140,"question_zh":141,"answer_zh":142,"source_url":130},2795,"预训练（Pretrain）和微调（Finetune）使用的 LoRA 是同一套吗？","取决于模型类型。对于非 Plus 模型，Pretrain 的 LoRA 是基于 Fine Tune 的 LoRA 继续训练的；对于 Plus 模型，Pretrain 和 Fine Tune 使用的是两套不同的 LoRA。Fine Tune 的配置与预训练脚本一致。",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},2796,"Windows 本地部署量化后的模型无法理解中文 Prompt 怎么办？","该问题通常由 llama.cpp 版本过旧导致。请更新至最新的 llama.cpp 版本以解决此问题。若仍有问题，可考虑使用支持中文指令模式的 API 服务方案（如 selfhostedAI）。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fissues\u002F11",{"id":149,"question_zh":150,"answer_zh":151,"source_url":152},2797,"使用最新版 transformers 合并模型后无法正常生成 EOS 是什么原因？","新版 transformers 修改了 LlamaTokenizer，导致与旧版不完全兼容。这会导致转换后的模型生成内容异常且无法自行结束（直到达到 max length）。建议检查 tokenizer 兼容性或确认模型权重文件的 SHA256 哈希值是否正确。","https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fissues\u002F85",[154,159,164,169,174,179,184,189,194,199,204,209],{"id":155,"version":156,"summary_zh":157,"released_at":158},102267,"v4.2","本版本以功能性更新为主，包括新增8K上下文支持、支持Gradio Demo流式输出、支持仿OpenAI API形式调用等。\r\n\r\n### 🔬 新增8K+上下文支持\r\n\r\n新增8K+上下文支持方法，**无需对模型权重本身做出修改**。\r\n- transformers：提出自适应RoPE，动态适配4K~8K+上下文，已集成在 [`gradio_demo.py`](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Finference\u002Fgradio_demo.py), [`inference_hf.py`](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Finference\u002Finference_hf.py)等（#705）\r\n- llama.cpp：可支持8K+上下文，相关修改步骤详见讨论区（#696）\r\n\r\n### 🚀 支持Gradio Demo流式输出（#630）\r\n\r\n- Gradio Demo现已支持流式输出形式，参考[`gradio_demo.py`](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Finference\u002Fgradio_demo.py). *Contribued by @sunyuhan19981208* \r\n- 修复流式输出时速度过慢的问题（#707）. *Contributed by @GoGoJoestar*\r\n\r\n### 🤖 支持仿OpenAI API形式调用（#530）\r\n\r\n- 使用fastapi实现的仿OpenAI API风格的服务器Demo，[使用方法参考Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002FAPI调用). *Contribued by @sunyuhan19981208*\r\n- 修复一处system message相关错误（#684）. *Contribued by @bigbaldy1128* \r\n- 增加`do_sample`参数（#699）*Contribued by @sunyuhan19981208*\r\n\r\n### 其他更新、修复、新闻\r\n\r\n- 修复了训练脚本中training steps的问题（#669）\r\n- 修复了`build_dataset.py`和`run_clm_sft_with_peft.py`中的一处命名错误，优化log输出（#691、#692）\r\n- 修复了低资源模型合并脚本中`vocab_size`更新问题（#703）\r\n- llama.cpp已支持仿OpenAI API部署，还可以部署一个简单的web demo，感兴趣的可访问[llama.cpp#server](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp\u002Ftree\u002Fmaster\u002Fexamples\u002Fserver)\r\n\r\n#### For English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions).","2023-07-05T09:30:15",{"id":160,"version":161,"summary_zh":162,"released_at":163},102272,"v3.0","比假期先到来的是我们的最新模型😄，本次更新主要聚焦于以下几方面：\r\n\r\n### 🚀 发布中文LLaMA, Alpaca Plus版（7B）\r\n\r\n推出中文LLaMA, Alpaca Plus版（7B），相比基础版本的改进点如下：\r\n- 进一步扩充了训练数据，其中LLaMA扩充至120G文本（通用领域），Alpaca扩充至4M指令数据（重点增加了STEM相关数据）\r\n- Alpaca训练时采用了更大的rank，相比原版具有更低的验证集损失\r\n- 评测结果显示，Alpaca-Plus-7B相比基础版Alpaca-7B效果更优，部分任务接近或超过13B版本\r\n- 这一轮比拼：7B获得65.3分，13B获得70.9分，**Plus-7B效果75.3分**，具体评测结果请参考[效果评测](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fexamples\u002FREADME.md)\r\n\r\n*（Plus-13B在路上）*\r\n\r\n### 💯 完善了评测样例\r\n\r\n在原有的测试样例的基础上，进一步对评测样例、评测方法进行完善，请参考[效果评测](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fexamples\u002FREADME.md)。\r\n- 样例总量从160个扩充至200个，每个任务20个样例\r\n- 评测模型由Q4改为Q8，更接近于原始模型的效果，更具有参考价值\r\n- 修正了部分prompt，使得指令意图更明确\r\n\r\n### 📚 简化了模型合并脚本\r\n\r\n现在用户可以使用统一的[merge_llama_with_chinese_lora.py](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Fmerge_llama_with_chinese_lora.py)对模型进行合并和转换了。\r\n- 支持输出`.pth`格式模型：用于后续llama.cpp等的量化和部署\r\n- 支持输出`.bin`格式（huggingface）模型：用于进一步精调或其他训练目的\r\n- **Alpaca-Plus合并流程稍有不同，请务必参考最新[合并流程教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F手动模型合并与转换#多lora权重合并适用于chinese-alpaca-plus-)**\r\n\r\n### 📚 添加了预训练脚本\r\n\r\n提供了用于训练LLaMA的预训练脚本，基于🤗transformers中的[run_clm.py](https:\u002F\u002Fgithub.com\u002Fhuggingface\u002Ftransformers\u002Fblob\u002Fmain\u002Fexamples\u002Fpytorch\u002Flanguage-modeling\u002Frun_clm.py)。具体使用方法请参考Wiki中的[相关教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F训练细节)。\r\n\r\n### 预祝大家假期愉快~ 🎉🎉🎉","2023-04-28T06:39:39",{"id":165,"version":166,"summary_zh":167,"released_at":168},102273,"v2.2","本次更新主要聚焦于以下几方面：\r\n\r\n### 📚 添加了词表合并的脚本\r\n\r\n现在用户可以利用脚本[merge_tokenizers.py](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Ftree\u002Fmain\u002Fscripts\u002Fmerge_tokenizers.py)对原版LLaMA词表进行扩充。脚本使用说明：[链接](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F训练细节#准备工作词表扩充)\r\n\r\n### 🚀 添加了LlamaChat支持\r\n\r\nLlamaChat提供了一种面向macOS系统的类LLaMA模型的图形交互界面。macOS用户可以使用LlamaChat软件加载PyTorch以及GGML版本的模型了。LlamaChat使用说明：[链接](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用LlamaChat图形界面（macOS）)\r\n\r\n### 📚 文档转移至GitHub Wiki\r\n\r\n为了更系统地归档相关使用说明，从本版本起相关文档将在Wiki中进行更新。查看：[本项目 GitHub Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki)\r\n\r\n### 📝 添加了第一版技术文档\r\n\r\n- [Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca](https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177)\r\n- *Yiming Cui, Ziqing Yang, Xin Yao*","2023-04-18T03:15:18",{"id":170,"version":171,"summary_zh":172,"released_at":173},102274,"v2.1","- 🚀 合并脚本更新，支持从HF格式LLaMA权重+Chinese-LLaMA\u002FAlpaca LoRA权重合并到HF格式的模型权重\r\n- 🚀 添加了两种新的部署方式：\r\n - 添加了基于text-generation-WebUI的部署指南，无需合并模型即可本地化部署\r\n - 添加了直接使用Transformers进行推理的脚本，可方便快速体验模型效果，无需安装其他库或Python包，支持CPU\u002FGPU\r\n\r\n- ⚠️ 移除了权重合并脚本中的`--model_size`参数：合并模型时不再需要提供该参数，脚本将自动推测模型大小。\r\n","2023-04-13T04:58:24",{"id":175,"version":176,"summary_zh":177,"released_at":178},102275,"v2.0","### 🚀 重磅更新中文LLaMA、Alpaca 13B版本！\r\n- **综合评分：7B版本49分，13B版本71分👍🏻**\r\n- 优化了训练参数，13B模型相比7B模型具有更好的事实性\r\n- 尤其在知识问答、文学诗词、娱乐、翻译、伦理拒答等分类上获得显著提升\r\n- 实测在llama.cpp程序中，13B量化模型的推理速度仍然很快（M1 Max下测试）\r\n\r\n### 📝 完善了模型评测样例\r\n- 现在一共给出10大类评测样例，涵盖了多轮交互、问答、翻译、写信、代码、伦理等分类。\r\n- 以GPT-4为裁判，给出了中文Alpaca 7B和13B的全面对比评测\r\n- 用户可根据评测结果更快地找到适合自己的模型\r\n\r\n### 📚 添加了Colab在线转换脚本，转换更方便\r\n- 添加了[Google Colab在线转换脚本](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F1Eak6azD3MLeb-YsfbP8UZC8wrL1ddIMI?usp=sharing)\r\n- 优化了内存使用，现在免费用户也有机会轻松转换和量化7B和13B模型了","2023-04-07T07:35:10",{"id":180,"version":181,"summary_zh":182,"released_at":183},102276,"v1.1","- 🚀 进一步简化模型合并步骤，从原来的三步变为两步\r\n- 🚀 [知名LLaMA量化和部署工具llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)迎来大更新，官方称加载速度可提升10-100x，建议所有用户更新最新版本。特别说明：llama.cpp旧代码生成的量化模型不能在新代码上使用，因此需要以下二选一步骤：\r\n - 选项一：如果你还保存了合并模型后的`.pth`文件，可以使用llama.cpp最新代码进行重新量化，步骤与之前相同\r\n - 选项二：如果你已经删除了合并模型后的`.pth`文件，可以使用llama.cpp最新提供的`migrate-ggml-2023-03-30-pr613.py`脚本将旧模型直接转换为新模型\r\n- 📚 添加了数据爬取脚本（利用官方`gpt-3.5-turbo`API接口），用户可根据需要自行修改模板并爬取数据","2023-03-31T03:55:01",{"id":185,"version":186,"summary_zh":187,"released_at":188},102277,"v1.0","- 🦙 开源了经过中文文本数据预训练的中文LLaMA大模型\r\n- 🦙 开源了进一步经过指令精调的中文Alpaca大模型\r\n- 🚀 无缝衔接知名LLaMA量化和部署工具[llama.cpp](https:\u002F\u002Fgithub.com\u002Fggerganov\u002Fllama.cpp)\r\n- 🚀 快速地使用笔记本电脑（个人PC）本地部署和体验量化版大模型","2023-03-28T08:42:05",{"id":190,"version":191,"summary_zh":192,"released_at":193},102266,"v5.0","本版本针对模型回复较短的问题进行升级，同时推出Plus-33B系列模型。\r\n\r\n同时，我们也很高兴地向大家宣布新项目启动：[**中文LLaMA-2、Alpaca-2大模型🦙**](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca-2)\r\n\r\n### 🚀 推出中文Alpaca-Pro系列模型\r\n\r\n- 针对早期Alpaca相关模型回复较短的问题进行优化，使其回复长度接近GPT-3.5\u002FGPT-4\r\n- 推荐所有使用Alpaca系列模型的用户升级至Pro版本（7B\u002F13B\u002F33B），合并方式与Plus模型一致，需要同时融合LLaMA-Plus的LoRA\r\n- 如果更喜欢短回复，可以选择Plus系列模型\r\n\r\n在此特别感谢所有参与beta评测投票的各位社区成员。\r\n\r\n### 🚀 推出LLaMA-Plus-33B、Alpaca-Plus-33B\r\n\r\n- 在基础版33B之上将训练数据扩充至120G，得到LLaMA-Plus-33B；进一步通过指令精调得到Alpaca-Plus-33B\r\n- 在C-Eval、主观体验方面显著优于本项目其他模型\r\n- 本次不再提供GPT-4评价的结果，请通过接下来介绍的ChatBot Arena浏览对比相关模型输出\r\n\r\n### 📊 添加ChatBot Arena\r\n\r\n- 仿照fastchat的方式，添加了模型对战页面，题库进一步扩充至360题\r\n- 评测模型包括所有Alpaca-Plus和Alpaca-Pro系列模型，每个模型包含3个参考输出（随机显示其一）\r\n- 可实时查看总体胜率、Elo评分、两两对战胜率等信息\r\n\r\n对战地址：http:\u002F\u002Fchinese-alpaca-arena.ymcui.com\u002F\r\n\r\n### 🔬 升级NTK-scaling算法，添加Memory Efficient Attention（#743）\r\n\r\n- 升级了NTK-scaling算法，更好地支持长上下文条件下的文本生成\r\n- 可通过参数`alpha`控制上下文扩展长度，支持指定数值和auto两种方式\r\n- 添加了Memory Efficient Attention补丁，显著降低显存消耗，在单张24G显存的显卡上7B模型最大输入长度可达5K+\r\n\r\n具体使用方法见 #743 中的说明。\r\n\r\n### 其他更新与修复\r\n\r\n- 推理脚本inference_hf.py中添加了8比特量化推理支持（#756）\r\n- 修复了推理脚本`repeat_penalty`默认值过高的问题（#760）\r\n\r\n#### For English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions).","2023-07-19T08:21:15",{"id":195,"version":196,"summary_zh":197,"released_at":198},102268,"v4.1","本版本以功能性更新为主，包括更新技术报告、添加C-Eval预测脚本、添加低资源模型转换脚本等。\r\n\r\n### 📚 更新技术报告（arXiv-v2）\r\n\r\n- 更新模型构建的相关描述，添加Plus版本模型训练参数等\r\n- 生成效果评测部分替换为Alpaca-Plus-7B、Alpaca-Plus-13B、Alpaca-33B对比\r\n- 添加C-Eval完整评测结果，包括原版LLaMA以及本项目所有模型的结果与分析\r\n- 添加不同量化层级（2-bit ~ 8-bit, FP16）的效果对比和分析\r\n- 详细技术报告请查阅：https:\u002F\u002Farxiv.org\u002Fabs\u002F2304.08177\r\n\r\n### 🔬 添加C-Eval预测脚本（#601）\r\n\r\n- 添加了论文中使用的[C-Eval预测脚本](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Ftree\u002Fmain\u002Fscripts\u002Fceval)，轻松复现论文中相关模型效果\r\n- 提供了基于上述脚本的[Colab notebook](https:\u002F\u002Fcolab.research.google.com\u002Fdrive\u002F12YewimRT7JuqJGOejxN7YG8jq2de4DnF?usp=sharing)，用户可参考相关运行过程\r\n- 详细的介绍请参见[Wiki教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002FC-Eval评测结果与脚本)\r\n\r\n### 🚀 添加低资源模型转换脚本（#608）\r\n\r\n- 添加了新版低资源模型转换脚本`merge_llama_with_chinese_lora_low_mem.py`，大幅降低内存消耗\r\n- 7B需要15GB，13B需要18GB，33B需要22GB（不同机器可能略有不同）\r\n- 使用方法与旧脚本一致，后续将作为主要使用的模型合并脚本\r\n\r\n### 其他更新和修复\r\n\r\n- 修复了预训练脚本中文件名的一处错误（#540），Contribution by @alkaideemo\r\n- 修复了模型保存问题，支持LoRA权重和tokenizer的保存 （#555）\r\n- 在预训练和精调脚本中增加了检查项，避免后续模型合并出现异常问题（#595）\r\n\r\n#### For English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions).","2023-06-16T04:22:03",{"id":200,"version":201,"summary_zh":202,"released_at":203},102269,"v4.0","\u003Cimg width=\"800\" alt=\"image\" src=\"https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fassets\u002F16095339\u002F1042fea5-94be-4d38-ac07-2c425aca9a1d\">\r\n\r\n本次重点发布了33B版本中文LLaMA和Alpaca模型。\r\n\r\n### 🚀 发布中文LLaMA-33B、Alpaca-33B\r\n\r\n- 与其他基础版一致，中文LLaMA-33B使用了20G的中文语料进行预训练\r\n- 指令数据仍然是4M级别，并添加了OASST1数据（中文翻译，约10K）\r\n- 生成效果评价：Plus-7B获得75.3，Plus-13B获得79.4，**33B获得82.0👍🏻**\r\n- Alpaca-33B在数值计算、代码理解等7B\u002F13B不擅长的任务上获得了显著性能提升\r\n\r\n具体评测结果和生成示例请参考[效果评测](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Ftree\u002Fmain\u002Fexamples\u002Ff16-p7b-p13b-33b)。\r\n\r\n### 💯 提供了C-Eval客观评价指标结果\r\n\r\n[C-Eval](https:\u002F\u002Fgithub.com\u002FSJTU-LIT\u002Fceval)是近期推出的一个包含14K样本的选择型问答数据集，涵盖了52个不同的学科和四个难度级别。**中文Alpaca-Plus-13B和Alpaca-33B模型在该测试集上达到了较好水平，甚至超越了LLaMA-65B、Bloomz-mt等参数量大几倍甚至十几倍的千亿级模型。**\r\n\r\n\u003Cimg width=\"400\" alt=\"image\" src=\"https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fassets\u002F16095339\u002F339dc169-457f-4656-8119-f45f5608c111\">\r\n\r\n详细结果请参考：https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Ftree\u002Fmain#客观效果评测\r\n\r\n### 📚 功能性更新\r\n\r\n- **提供了privateGPT示例（#410）**：[privateGPT](https:\u002F\u002Fgithub.com\u002Fimartinez\u002FprivateGPT)是基于LangChain二次开发的项目，可以对本地文档进行分析并利用大模型进行交互问答。相关使用方法请查看[本项目Wiki](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用privateGPT进行多文档问答)\r\n- **提供了Colab上可运行的Gradio示例（#364、#536）**：在Colab上运行[notebook](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fnotebooks\u002Fgradio_web_demo.ipynb)，启动基于Gradio的交互式Web服务，可迅速进行部署与体验。Contribution by @sunyuhan19981208\r\n### 其他更新\r\n\r\n- 更新了训练脚本，提升了训练之后进一步合并模型的便利性\r\n- 重构了`scripts`文件夹，使目录结构更清晰\r\n- 更新了合并模型脚本，使之适配33B\u002F65B模型\r\n\r\n#### For English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions).","2023-06-08T06:36:35",{"id":205,"version":206,"summary_zh":207,"released_at":208},102270,"v3.2","\u003Cp align=\"center\">\r\n \u003Cbr>\r\n \u003Cimg alt=\"newlogo\" src=\"https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fraw\u002Fmain\u002Fpics\u002Fbanner.png\" width=\"700\"\u002F>\r\n \u003Cbr>\r\n\u003C\u002Fp>\r\n\r\n本次以功能性更新为主，包括添加指令精调脚本、LangChain支持、基于Gradio的本地Demo等。\r\n\r\n### 添加了指令精调脚本，优化实验启动流程（#322）\r\n\r\n- 添加了指令精调代码 [run_clm_sft_with_peft.py](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Frun_clm_sft_with_peft.py)\r\n- 优化了预训练和精调启动流程，现在可以更方便地运行实验了 \r\n * 添加了预训练启动脚本[run_pt.sh](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Frun_pt.sh)和精调启动脚本[run_sft.sh](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Frun_sft.sh)\r\n * 添加了[预训练notebook](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fnotebooks\u002Fpretrain_chinese_llama_lora.ipynb)和[指令精调notebook](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fnotebooks\u002Ffinetune_chinese_alpaca_lora.ipynb)，可直接在jupyter-notebook或Colab中执行\r\n- 详细使用方法请参考Wiki中的[相关教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F训练细节)\r\n\r\n### 添加了LangChain使用示例（#338）\r\n\r\n- Chinese-Alpaca可以轻松地与LLM应用程序开发框架[LangChain](https:\u002F\u002Fgithub.com\u002Fhwchase17\u002Flangchain)结合进行二次开发\r\n- 添加了使用Chinese-Alpaca和LangChain进行 **检索问答（Retrieval QA）** 和 **摘要生成（Summarization）** 的示例\r\n- 详细使用方法请参考Wiki中的[LangChain教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F与LangChain进行集成)\r\n\r\n### 添加了基于Gradio的本地Web Demo（#300）\r\n\r\n- 在本地浏览器中使用原生的🤗transformers进行推理，并且支持多轮对话\r\n- 请参考wiki中的[使用Transformers推理](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F使用Transformers推理)\r\n\r\n感谢@sunyuhan19981208 贡献的PR。\r\n\r\n### 其他更新\r\n\r\n- 🤗transformers推理脚本[inference_hf.py](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Finference_hf.py)现在支持使用多GPU进行推理（#272）\r\n- 修复了[alpaca_data_zh_51k.json](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fdata\u002Falpaca_data_zh_51k.json)指令精调数据\r\n- 修复了[merge_llama_with_chinese_lora.py](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fscripts\u002Fmerge_llama_with_chinese_lora.py)保存多个分块的一个问题\r\n\r\n#### For English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions).","2023-05-16T04:13:47",{"id":210,"version":211,"summary_zh":212,"released_at":213},102271,"v3.1","本次是针对Plus版本的更新，主要聚焦于以下几方面：\r\n\r\n### 🚀 发布中文LLaMA-Plus, Alpaca-Plus 13B版本\r\n\r\n发布中文LLaMA-Plus, Alpaca-Plus 13B版本，改进点如下：\r\n- 相比基础版进一步扩充了训练数据，其中LLaMA扩充至120G文本，Alpaca扩充至4.3M指令数据\r\n- 重点增加了**科学领域数据**，涵盖：物理、化学、生物、医学、地球科学等\r\n- Alpaca训练时采用了更大的rank，相比基础版具有更低的验证集损失\r\n- Alpaca评测结果：13B获得74.3分，Plus-7B获得78.2分，**Plus-13B获得80.8分**，具体评测结果请参考[效果评测](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fblob\u002Fmain\u002Fexamples)\r\n - **多轮回复长度相比旧模型提升明显**（可适当增大温度系数）\r\n - 知识问答、写作、翻译等方面效果显著提升\r\n\r\n⚠️ 注意：Alpaca-Plus-7B\u002F13B的模型合并流程稍有不同，请参考[合并教程](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002F手动模型合并与转换#多lora权重合并适用于chinese-alpaca-plus)。\r\n\r\n### 💯 完善了量化评测\r\n\r\nllama.cpp提供了多种量化方案，本次针对Alpaca-Plus-7B以及Alpaca-Plus-13B进行了综合评测。\r\n- 默认的量化方法为q4_0，虽然速度最快但损失也是最大的，其余方法各有利弊，按实际情况选择\r\n- 机器资源够用且对速度要求不是那么苛刻的情况下可以使用q8_0，接近F16模型的效果\r\n- 需要注意的是F16以及q8_0并不会因为增加线程数而提高太多速度\r\n- 线程数`-t`与物理核心数一致时速度最快，超过之后速度反而变慢\r\n\r\n详细结果见[关于量化方法选择及推理速度](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fwiki\u002Fllama.cpp量化部署#关于量化方法选择及推理速度)。\r\n\r\n#### For English release note, please refer to [Discussion](https:\u002F\u002Fgithub.com\u002Fymcui\u002FChinese-LLaMA-Alpaca\u002Fdiscussions).","2023-05-10T04:43:41"]