推理服务 vLLM
vLLM = 高性能的大模型推理与服务引擎。它把模型权重装进显存，用上 GPU 的每一分算力，再开一个 HTTP 服务——接口和 OpenAI 一模一样，你的代码换个 base_url 就能连。
前置：大语言模型 LLM（知道 API 长什么样即可）、Linux 基础。 基线：vLLM 0.32.0（Python ≥3.11 且 <3.15）· PyTorch 2.14.1 · CUDA 12.x
为什么要自己部署
上一章讲过「学习阶段为什么用 API」。但一旦用量上来了，自建就有意义了：
| 场景 | 优势 |
|---|---|
| 数据不能出内网 | 模型和推理都在自己机器上 |
| 调用量巨大 | 自建的单位成本更低 |
| 需要专用模型 | 微调过的、或者自己蒸馏的模型，云上没有 |
| 延迟要自己掌控 | 不用排队、不受服务商限流 |
vLLM 的核心本事
| 能力 | 说明 |
|---|---|
| PagedAttention | 把 KV cache 分页管理，显存利用率大幅提升，显存不够的模型也能跑起来 |
| 连续批处理 | 有请求就调度、有请求完成就换下一个，GPU 不空转 |
| OpenAI 兼容接口 | vllm serve 起来就是标准 OpenAI API，官方 SDK 改个 base_url 就能用 |
| 量化支持 | FP16 / FP8 / INT4，多种精度可选 |
| 多模型多卡 | 张量并行、流水线并行，横向扩 |
学习目标
- 知道 vLLM 在整个推理链条上的位置
- 会装 vLLM、用
vllm serve起一个模型 - 会用 OpenAI 兼容接口连上自己的服务
- 会看显存占用、批处理参数，排查 OOM
技术路线
| 章节 | 核心内容 |
|---|---|
| 1. vLLM 是什么 | 定位、原理、与 Ollama 的差别 |
| 2. 环境搭建 | 装 CUDA、装 vLLM，跑起第一个模型 |
| 3. 启动服务 | vllm serve 与 OpenAI 兼容接口 |
| 4. 性能调优 | 显存、批处理、量化、并行 |
| 5. 部署与运维 | 健康检查、日志、多卡与容器 |
| 6. 综合练习 | 把自有模型接进你的应用 |
硬件门槛提醒：vLLM 是给有显卡的机器准备的。没有 NVIDIA 显卡的话，本教程的命令跑不起来——但第 1、3 章的原理和接口部分仍然可读，看完你就知道自建和调 API 到底差在哪。
从 1. vLLM 是什么 开始吧！