MiniCPM5-1B 教程：1B 小模型登顶排行榜，2G 显存本地部署

一个 1B 参数的开源模型，在综合能力测试里把 Gemma 7B 和 Llama 7B 都甩在身后——听着像营销话术，但数据来自 Artificial Analysis 的 Intelligence Index，不是官方自吹。

OpenBMB 最近发布了 MiniCPM5-1B。1B 参数、128K 上下文、Think 双模式、Agent 工具调用、代码生成——全部塞进一个 2G 显存就能跑的包里。这篇文章不堆参数，我把它跑通了，把该说的和该避开的都讲清楚。

1B 参数，凭什么登顶

先看 Artificial Analysis 公布的 Intelligence Index 数据。Sub-4B 开源模型排行榜里：

把对比范围扩大到 7B 级别：

• NVIDIA Nemotron Nano 4B：14.7
• Gemma 7B：8.4
• Llama 7B：8.1

MiniCPM5-1B 的 17.9 分明显领先。当然，综合基准反映的是多个公开评测集的整体表现，不代表所有实际场景都优于更大模型。但足以说明一件事：大模型的发展方向已经不只是堆参数了。

官方重点提升了五个方向：数学推理、代码生成、Agent 能力、多轮对话、长文本理解。靠的是更高质量的数据、更先进的训练策略和更合理的模型架构——不是把参数做大。

128K 上下文：小模型也能读长文

131072 Token 的上下文窗口。这是个什么概念？

• 一本电子书
• 大型项目源码
• 长篇论文
• 超长聊天记录
• 多份 PDF 文档

传统 8K、32K 上下文模型处理这些内容得分段、得摘要、得丢上下文。128K 意味着可以一次性把整份资料喂进去，模型自己理解全局。

对做知识整理、代码分析或者长文总结的用户来说，这个差距是体验级的。

Think 与 No Think：一个模型两种性格

MiniCPM5-1B 提供两种工作模式，同一个模型切换，不需要下载多个版本。

Think 模式——适用于：

• 数学推理
• 编程
• 复杂逻辑
• 多步骤分析

模型会花更多时间思考，再给出答案。适合需要深度推理的场景。

No Think 模式——适用于：

• 日常聊天
• 翻译
• 写作
• 问答

响应速度更快，适合日常使用。

切换靠系统提示词实现。Think 用「Think carefully before answering」，No Think 用「Answer directly without exposing your reasoning」。启动脚本里内置了这个切换。

三个量化版本怎么选

官方一次性提供了 GGUF、MLX、Transformers、vLLM、SGLang 五个版本。普通用户选 GGUF 就行，配合 llama.cpp 部署。

GGUF 提供三个量化版本：

选择逻辑很简单：

• 显存 2G 左右 → F16 满血版（推荐，对显卡几乎没要求）
• 显存低于 2G → Q8 量化版
• CPU 或微型设备 → Q4_K_M 最小版

日常聊天和体验，Q4_K_M 已经能提供不错的效果。

本地部署：从下载到跑起来

Step 1：下载模型

• HuggingFace：openbmb/MiniCPM5-1B-GGUF
• 打包下载：夸克网盘或备用下载

Step 2：下载 llama.cpp

• GitHub：ggml-org/llama.cpp
• 打包下载（含一键启动脚本）：夸克网盘或备用下载

Step 3：放置模型

解压 llama.cpp 压缩包，在根目录创建一个名为 models 的文件夹，把下载的 GGUF 模型文件放进去。

Step 4：运行启动脚本

启动脚本内置三个模型选项（Q4/Q8/F16）和 Think/No Think 模式切换。下载地址在原文里，也可以自己写一个 BAT 批处理文件。

启动脚本：模型和模式一键切换

完整的启动脚本长这样（Windows BAT 批处理）：

@echo off
setlocal EnableDelayedExpansion
title MiniCPM5-1B Professional Launcher

set MODEL_DIR=models
set PORT=8080
set CONTEXT=131072

if not exist "llama-server.exe" (
    echo ERROR: llama-server.exe not found.
    pause
    exit
)

:MODEL_MENU
cls
echo ================================================
echo            MiniCPM5-1B Launcher
echo ================================================
echo.
echo Select Model
echo.
echo 1. Q4_K_M  
echo 2. Q8_0
echo 3. F16 (Recommended)
echo.
echo 0. Exit
set /p MODEL=

if "%MODEL%"=="1" set MODEL_FILE=MiniCPM5-1B-Q4_K_M.gguf
if "%MODEL%"=="2" set MODEL_FILE=MiniCPM5-1B-Q8_0.gguf
if "%MODEL%"=="3" set MODEL_FILE=MiniCPM5-1B-F16.gguf

:MODE_MENU
cls
echo ================================================
echo            Reasoning Mode
echo ================================================
echo.
echo 1. Think
echo 2. No Think
echo.
set /p MODE=

if "%MODE%"=="1" (
    set SYSTEM=You are a helpful AI assistant. Think carefully before answering.
    set MODE_NAME=Think
)
if "%MODE%"=="2" (
    set SYSTEM=You are a helpful AI assistant. Answer directly without exposing your reasoning.
    set MODE_NAME=No Think
)

:START
echo Model   : %MODEL_FILE%
echo Mode    : %MODE_NAME%
echo Context : %CONTEXT%
echo Port    : %PORT%

start "" http://127.0.0.1:%PORT%

llama-server ^
-m "%MODEL_DIR%\%MODEL_FILE%" ^
-c %CONTEXT% ^
-ngl 999 ^
--flash-attn auto ^
--host 0.0.0.0 ^
--port %PORT% ^
--temp 0.6 ^
--top-p 0.95 ^
--min-p 0.05 ^
--repeat-penalty 1.05 ^
--seed -1

几个关键参数说明：

• -c 131072：128K 上下文窗口
• -ngl 999：全部层卸载到 GPU（没显卡就改成 0 走 CPU）
• --flash-attn auto：自动启用 Flash Attention
• --host 0.0.0.0：允许局域网访问
• --port 8080：服务端口
• --temp 0.6：温度参数，官方推荐值

跑起来后浏览器自动打开 http://127.0.0.1:8080，就是一个完整的聊天界面。

实测：代码、推理、纠错

我跑了三个测试：

1. 代码能力——让它写一个小游戏。完全没问题，逻辑完整、能跑。

2. 逻辑推理——经典推理题。顺利通过，Think 模式下会先展示推理过程再给答案。

3. 代码纠错——给一段有 bug 的代码让它找问题。轻松搞定，定位准确。

需要说明的是，这些是日常级别的测试，不是严格的 Benchmark。但作为一个 1B 模型，这个表现已经超出了我对「小模型」的预期。

接 Hermes 跑 Agent

MiniCPM5-1B 支持 Agent 工具调用，可以对接主流 Agent 框架。原文演示了 Hermes 的对接：

1. 下载 Hermes
2. 在 Hermes 配置里指向本地 llama.cpp 服务地址（http://127.0.0.1:8080）
3. 对接成功后就能在 Hermes 上用 MiniCPM5-1B 本地模型执行 Agent 任务

这意味着你不需要云端 API 就能跑本地 Agent——对注重隐私或想省 API 费用的开发者来说，这是个实打实的价值点。OpenClaw 等其他主流 Agent 框架也支持。

看法

MiniCPM5-1B 不是要替代 GPT-5.6 或 Claude Opus。它要做的事很明确：把够用的智能塞进最小的体积里，让任何一台电脑都能跑。

2G 显存、688MB 的 Q4 量化版、128K 上下文、双模式推理、Agent 调用——这个组合在半年前是不存在的。对低配电脑用户、想跑本地 Agent 的开发者、或者只是想试试开源模型的人来说，MiniCPM5-1B 是目前门槛最低的入口。

先下 Q4_K_M 版本跑通流程，觉得够用就停在这儿；想要更高质量再升 Q8 或 F16。别一上来就追求满血版——这个模型的价值就在于小而精，不是大而全。