跳转至

HEMY MOTES

配置指南

GPT4All 本地部署配置¶

跨平台 CPU/GPU 本地推理，支持 Windows/macOS/Linux，主打 CPU 推理

GitHub：https://github.com/nomic-ai/gpt4all
官网：https://gpt4all.io/
语言：C++/Python
许可证：MIT

系统要求¶

项目	最低要求	推荐
操作系统	Windows 10+ / macOS 12+ / Linux	—
内存	8 GB	16 GB+
CPU	4 核	8 核+，AVX2 支持
磁盘	5 GB	SSD 20 GB+

💡 GPT4All 主打 CPU 推理，无需 GPU

安装¶

GUI 客户端¶

下载桌面客户端：https://gpt4all.io/

Python SDK¶

Bash
1	`pip install gpt4all`

Python 使用¶

基本对话¶

Python
from gpt4all import GPT4All

model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf")
response = model.generate("你好，请自我介绍", max_tokens=512)
print(response)

流式输出¶

Python
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf")
for chunk in model.generate("你好", max_tokens=512, streaming=True):
    print(chunk, end="", flush=True)

Chat 模式¶

Python
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf")
with model.chat_session():
    response1 = model.generate("你好")
    response2 = model.generate("请详细介绍一下自己")

Embedding¶

Python
from gpt4all import Embed4All

embedder = Embed4All()
embedding = embedder.embed("你好世界")
print(len(embedding))  # 768

可用模型¶

模型	大小	下载
Llama 3 8B Instruct	~4.7 GB	自动下载
Qwen2 7B Instruct	~4.7 GB	自动下载
Mistral 7B Instruct	~4.4 GB	自动下载
Phi-3 Mini	~2.3 GB	自动下载

首次使用时自动下载模型到 ~/.cache/gpt4all/

练习清单¶