LocalAI 是一款开源的 AI 引擎。你可以在任何硬件上运行任意模型——LLM、视觉、语音、图像、视频等，无需 GPU。

• 即插即用的 API 兼容性 —— OpenAI、Anthropic、ElevenLabs 等 API
• 35+ 后端支持 —— llama.cpp、vLLM、transformers、whisper、diffusers、MLX…
• 兼容多种硬件 —— NVIDIA、AMD、Intel、Apple Silicon、Vulkan，甚至仅使用 CPU
• 多用户支持 —— API 密钥认证、用户配额、基于角色的访问控制
• 内置 AI 代理 —— 具备工具使用、RAG、MCP 和技能的自主代理
• 隐私优先 —— 您的数据绝不会离开您的基础设施

由 Ettore Di Giacinto 创建并维护。

:book: 文档 | :speech_balloon: Discord | 💻 快速入门 | 🖼️ 模型库 | ❓常见问题解答

截图

聊天与模型展示

https://github.com/user-attachments/assets/08cbb692-57da-48f7-963d-2e7b43883c18

代理

https://github.com/user-attachments/assets/6270b331-e21d-4087-a540-6290006b381a

快速入门

macOS

注意：该 DMG 文件未经过 Apple 签名。安装后，请运行：sudo xattr -d com.apple.quarantine /Applications/LocalAI.app。详情请参阅 #6268。

容器（Docker、podman 等）

已经运行过 LocalAI？使用 docker start -i local-ai 即可重启现有容器。

仅 CPU：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

NVIDIA GPU：

# CUDA 13
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13

# CUDA 12
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

# NVIDIA Jetson ARM64（CUDA 12，适用于 AGX Orin 等）
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64

# NVIDIA Jetson ARM64（CUDA 13，适用于 DGX Spark）
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64-cuda-13

AMD GPU（ROCm）：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

Intel GPU（oneAPI）：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intel

Vulkan GPU：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-gpu-vulkan

加载模型

# 从模型库加载（可通过 `local-ai models list` 查看可用模型，或访问 https://models.localai.io）
local-ai run llama-3.2-1b-instruct:q4_k_m
# 从 Hugging Face 加载
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
# 从 Ollama OCI 注册表加载
local-ai run ollama://gemma:2b
# 从 YAML 配置文件加载
local-ai run https://gist.githubusercontent.com/.../phi-2.yaml
# 从标准 OCI 注册表（如 Docker Hub）加载
local-ai run oci://localai/phi-2:latest

自动后端检测：LocalAI 会自动检测你的 GPU 性能并下载合适的后端。如需高级选项，请参阅 GPU 加速指南。

更多详细信息，请参阅 入门指南。

最新消息

• 2026年3月：代理管理、全新 React UI、WebRTC、MLX 通过 P2P 和 RDMA 分布式计算、MCP 应用程序与客户端支持
• 2026年2月：支持实时音频到音频的 API，并可调用工具、支持 ACE-Step 1.5
• 2026年1月：LocalAI 3.10.0 — 支持 Anthropic API、Open Responses API、视频与图像生成（LTX-2）、统一 GPU 后端、工具流媒体、Moonshine、Pocket-TTS。发布说明
• 2025年12月：动态内存资源回收器、自动多 GPU 模型适配（llama.cpp）、Vibevoice 后端
• 2025年11月：通过 URL 导入模型、多聊天窗口与历史记录
• 2025年10月：支持模型上下文协议（MCP）以实现代理功能
• 2025年9月：为 macOS 和 Linux 推出全新启动器，扩展对 Mac 和 Nvidia L4T 的后端支持，新增 MLX-Audio 和 WAN 2.2
• 2025年8月：MLX、MLX-VLM、Diffusers、llama.cpp 现已支持 Apple Silicon
• 2025年7月：所有后端均已迁出主二进制文件——轻量级、模块化架构

更多过往新闻及完整发布说明，请查看 GitHub 发布页面和 新闻页面。

功能

• 文本生成（llama.cpp、transformers、vllm……更多）
• 文本转语音
• 语音转文本
• 图像生成
• 与 OpenAI 兼容的工具 API
• 实时 API（语音到语音）
• 嵌入生成
• 约束语法
• 从 Hugging Face 下载模型
• 视觉 API
• 目标检测
• 重排序器 API
• P2P 推理
• 分布式模式——使用 PostgreSQL + NATS 实现水平扩展
• 模型上下文协议 (MCP)
• 内置智能体——具备工具使用、RAG、技能、SSE 流式传输等功能的自主 AI 智能体，以及 Agent Hub
• 后端库——通过 OCI 镜像即时安装或移除后端
• 语音活动检测（Silero-VAD）
• 集成 WebUI

支持的后端与加速

LocalAI 支持 35+ 后端，包括 llama.cpp、vLLM、transformers、whisper.cpp、diffusers、MLX、MLX-VLM 等。硬件加速适用于 NVIDIA（CUDA 12/13）、AMD（ROCm）、Intel（oneAPI/SYCL）、Apple Silicon（Metal）、Vulkan 以及 NVIDIA Jetson（L4T）。所有后端均可通过 后端库 即时安装。

请参阅完整的 后端与模型兼容性表 和 GPU 加速指南。

资源

• 文档
• LLM 微调指南
• 从源码构建
• Kubernetes 安装
• 集成与社区项目
• 媒体与博客文章
• 示例

自主开发团队

LocalAI 由一个以 AI Scrum 主管为首的自主 AI 智能体团队维护。

• 实时报告：reports.localai.io
• 项目看板：智能体任务跟踪
• 博客文章：了解实验详情

引用

如果您在下游项目中使用了本仓库或其中的数据，请考虑以下引用方式：

@misc{localai,
  author = {Ettore Di Giacinto},
  title = {LocalAI：免费的开源 OpenAI 替代方案},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/go-skynet/LocalAI}},

赞助商

您觉得 LocalAI 有用吗？

请通过成为 支持者或赞助商 来支持该项目。您的 logo 将在此处展示，并附上您网站的链接。

衷心感谢慷慨赞助我们项目的各位，他们为 CI 开支提供了支持，以下是我们的 赞助商名单：

个人赞助者

特别感谢各位个人赞助者，完整名单可在 GitHub 和 buymeacoffee 上查看。特别鸣谢 drikster80，感谢他的慷慨支持！谢谢大家！

星标历史

许可证

LocalAI 是由 Ettore Di Giacinto 创建的社区驱动项目。

MIT 许可证——作者 Ettore Di Giacinto mudler@localai.io

致谢

没有社区中已有的优秀软件的帮助，LocalAI 根本无法诞生。在此表示感谢！

• llama.cpp
• https://github.com/tatsu-lab/stanford_alpaca
• https://github.com/cornelk/llama-go 提供了最初的想法
• https://github.com/antimatter15/alpaca.cpp
• https://github.com/EdVince/Stable-Diffusion-NCNN
• https://github.com/ggerganov/whisper.cpp
• https://github.com/rhasspy/piper
• exo 提供了 MLX 分布式自动并行分片实现

贡献者

这是一个社区项目，特别感谢所有贡献者！

LocalAI 快速上手指南

LocalAI 是一个开源的 AI 引擎，允许你在任何硬件（包括 CPU）上本地运行各种模型（LLM、语音、图像、视频等），并提供与 OpenAI API 兼容的接口。

环境准备

系统要求

• 操作系统：Linux、macOS、Windows (通过 WSL2 或 Docker)
• 硬件：
  • CPU：任意现代 x86_64 或 ARM64 处理器（无需 GPU 即可运行）
  • GPU（可选加速）：NVIDIA (CUDA 12/13), AMD (ROCm), Intel (oneAPI), Apple Silicon (Metal), Vulkan
• 内存：建议至少 4GB RAM（运行大模型需更多）

前置依赖

• 容器方案（推荐）：安装 Docker 或 Podman
• 二进制方案：无特殊依赖，直接下载可执行文件
• 网络：首次运行需联网下载模型后端和模型文件

注意：国内用户若遇到 Docker 拉取缓慢，建议配置 Docker 镜像加速器。

---

安装步骤

方式一：使用 Docker（推荐）

LocalAI 提供针对不同硬件优化的镜像，请根据你的硬件选择对应命令。

1. 仅使用 CPU

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

2. NVIDIA GPU (CUDA)

根据你安装的 CUDA 版本选择（推荐 CUDA 12 或 13）：

# CUDA 12
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

# CUDA 13
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13

3. AMD GPU (ROCm)

docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

4. Intel GPU (oneAPI)

docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intel

5. macOS (DMG 安装包)

1. 下载最新版的 .dmg 文件：Download for macOS
2. 安装后，由于未签名，需在终端执行以下命令解除隔离限制：

   sudo xattr -d com.apple.quarantine /Applications/LocalAI.app
   

3. 启动应用程序即可。

---

基本使用

安装完成后，LocalAI 默认在 http://localhost:8080 运行。它内置了 WebUI 和兼容 OpenAI 的 API。

1. 加载并运行模型

你可以直接使用 local-ai 命令（如果在宿主机安装了二进制）或通过 API 动态加载。以下是通过命令行快速运行模型的示例（需确保在容器内或已安装 CLI）：

从官方模型库运行 (推荐):

local-ai run llama-3.2-1b-instruct:q4_k_m

从 HuggingFace 运行:

local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf

从 Ollama 注册表运行:

local-ai run ollama://gemma:2b

提示：LocalAI 会自动检测你的硬件并下载合适的后端（如 llama.cpp, vLLM 等）。

2. 调用 API (OpenAI 兼容)

LocalAI 完全兼容 OpenAI API 格式。你可以使用任何支持 OpenAI 的客户端工具（如 Python SDK, Curl, LangChain 等）。

使用 Curl 测试文本生成：

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.2-1b-instruct:q4_k_m",
    "messages": [{"role": "user", "content": "你好，请介绍一下你自己"}]
  }'

使用 Python SDK 测试：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8080/v1",
    api_key="not-needed" # 本地运行通常不需要真实的 API Key
)

response = client.chat.completions.create(
    model="llama-3.2-1b-instruct:q4_k_m",
    messages=[{"role": "user", "content": "写一首关于春天的短诗"}]
)

print(response.choices[0].message.content)

3. 访问内置 WebUI

直接在浏览器打开：

http://localhost:8080

你可以在界面中浏览模型画廊、管理对话历史记录以及配置 Agent。

---

下一步：

• 查看完整文档：https://localai.io/
• 浏览可用模型：https://models.localai.io/