Qwen 的 Ollama 基准
该基准报告评估了在 Ollama 框架下运行的 Qwen 模型的性能，Ollama 框架是一个轻量级且开发人员友好的本地和基于云的 LLM 推理平台。
Qwen 托管：高效部署 Qwen 1B–72B (VL/AWQ/Instruct) 模型
Qwen Hosting 优化了服务器环境，用于部署和运行阿里巴巴开发的 Qwen 系列大型语言模型。这些模型（例如 Qwen-7B、Qwen-32B 和 Qwen-72B）广泛应用于自然语言处理 (NLP)、聊天机器人、代码生成和研究应用。Qwen Hosting 提供高性能 GPU 服务器，配备充足的 VRAM、快速存储（NVMe SSD），并支持 vLLM、Transformers 或 DeepSpeed 等推理框架。
Qwen Hosting with Ollama — GPU 推荐
Qwen Hosting with Ollama 为使用 Ollama 框架运行 Qwen 大型语言模型提供了一个简化的环境——这是一个简化本地 LLM 部署和推理的用户友好型平台。
| 型号名称 | 尺寸（4 位量化） | 推荐的 GPU | Tokens/秒 |
|---|---|---|---|
| qwen3:0.6b | 523MB | P1000 | ~54.78 |
| qwen3:1.7b | 1.4GB | P1000 < T1000 < GTX1650 < GTX1660 < RTX2060 | 25.3-43.12 |
| qwen3:4b | 2.6GB | T1000 < GTX1650 < GTX1660 < RTX2060 < RTX5060 | 26.70-90.65 |
| qwen2.5:7b | 4.7GB | T1000 < RTX3060 Ti < RTX4060 < RTX5060 | 21.08-62.32 |
| qwen3:8b | 5.2GB | T1000 < RTX3060 Ti < RTX4060 < A4000 < RTX5060 | 20.51-62.01 |
| qwen3:14b | 9.3GB | A4000 < A5000 < V100 | 30.05-49.38 |
| qwen3:30b | 19GB | A5000 < RTX4090 < A100-40gb < RTX5090 | 28.79-45.07 |
| qwen3:32b qwen2.5:32b | 20GB | A5000 < RTX4090 < A100-40gb < RTX5090 | 24.21-45.51 |
| qwen2.5:72b | 47GB | 2*A100-40gb < A100-80gb < H100 < 2*RTX5090 | 19.88-24.15 |
| qwen3:235b | 142GB | 4*A100-40gb < 2*H100 | ~10-20 |
Qwen Hosting with vLLM + Hugging Face — GPU 推荐
带有 vLLM + Hugging Face 的 Qwen Hosting提供了一个优化的服务器环境，用于使用高性能 vLLM 推理引擎运行 Qwen 大型语言模型，并与 Hugging Face Transformers 生态系统无缝集成。
| 型号名称 | 尺寸（16位量化） | 推荐的 GPU | 并发请求 | Tokens/秒 |
|---|---|---|---|---|
| Qwen/Qwen2-VL-2B-Instruct | ~5GB | A4000 < V100 | 50 | ~3000 |
| Qwen/Qwen2.5-VL-3B-Instruct | ~7GB | A5000 < RTX4090 | 50 | 2714.88-6980.31 |
| Qwen/Qwen2.5-VL-7B-Instruct, Qwen/Qwen2-VL-7B-Instruct | ~15GB | A5000 < RTX4090 | 50 | 1333.92-4009.29 |
| Qwen/Qwen2.5-VL-32B-Instruct, Qwen/Qwen2.5-VL-32B-Instruct-AWQ | ~65GB | 2*A100-40gb < H100 | 50 | 577.17-1481.62 |
| Qwen/Qwen2.5-VL-72B-Instruct, Qwen/QVQ-72B-Preview, Qwen/Qwen2.5-VL-72B-Instruct-AWQ | ~137GB | 4*A100-40gb < 2*H100 < 4*A6000 | 50 | 154.56-449.51 |
✅ 解释:
- 推荐的 GPU：从左到右，性能从低到高
- 代币/秒：来自基准数据.
为 Qwen 2B-72B 主机选择最佳 GPU 方案
- GPU卡分类 :
- GPU服务器价格:
- GPU使用场景:
- GPU内存:
- GPU卡型号:
GPU物理服务器 - P1000
￥ 459.00/月
月付季付年付两年付
立即订购- CPU： 8核E5-2690
- 内存： 32GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显：Nvidia P1000
- 显存： 4GB GDDR5
- CUDA核心： 640
- 单精度浮点： 1.894 TFLOPS
GPU物理服务器 - T1000
￥ 739.00/月
月付季付年付两年付
立即订购- CPU： 8核E5-2690
- 内存： 64GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia Quadro T1000
- 显存： 8GB GDDR6
- CUDA核心： 896
- 单精度浮点： 2.5 TFLOPS
GPU物理服务器 - GTX 1650
￥ 739.00/月
月付季付年付两年付
立即订购- CPU： 8核E5-2667v3
- 内存： 64GB DDR4
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia GTX 1650
- 显存： 4GB GDDR5
- CUDA核心： 896
- 单精度浮点： 3.0 TFLOPS
GPU物理服务器 - GTX 1660
￥ 989.00/月
月付季付年付两年付
立即订购- CPU： 16核E5-2660*2
- 内存： 64GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia GTX 1660
- 显存： 6GB GDDR6
- CUDA核心： 1408
- 单精度浮点： 5.0 TFLOPS
GPU物理服务器 - V100
￥ 1849.00/月
月付季付年付两年付
立即订购- CPU： 24核E5-2690v3*2
- 内存： 128GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia V100
- 显存： 16GB HBM2
- CUDA核心： 5120
- 单精度浮点： 14 TFLOPS
GPU物理服务器 - RTX 2060
￥ 1239.00/月
月付季付年付两年付
立即订购- CPU： 16核E5-2660*2
- 内存： 128GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia RTX 2060
- 显存： 6GB GDDR6
- CUDA核心： 1920
- 单精度浮点： 6.5 TFLOPS
畅销新品
GPU物理服务器 - RTX 2060升级款
￥ 1499.00/月
月付季付年付两年付
立即订购- CPU： 40核Gold 6148*2
- 内存： 128GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia RTX 2060
- 显存： 6GB GDDR6
- CUDA核心： 1920
- 单精度浮点： 6.5 TFLOPS
GPU物理服务器 - RTX 3060 Ti
￥ 1499.00/月
月付季付年付两年付
立即订购- CPU： 24核E5-2697v2*2
- 内存： 128GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显：RTX 3060 Ti
- 显存： 8GB GDDR6
- CUDA核心： 4864
- 单精度浮点： 16.2 TFLOPS
GPU云服务器 - A4000
￥ 1109.00/月
月付季付年付两年付
立即订购- 配置： 24核32GB, 独立IP
- 存储： 320GB SSD系统盘
- 带宽： 300Mbps 不限流
- 赠送： 每2周一次自动备份
- 系统： Win10/Linux
- 其他： 1个独立IP
- 独显： Nvidia RTX A4000
- 显存： 16GB GDDR6
- CUDA核心： 6144
- 单精度浮点： 19.2 TFLOPS
GPU物理服务器 - A5000
￥ 2159.00/月
月付季付年付两年付
立即订购- CPU： 24核E5-2697v2*2
- 内存： 128GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia RTX A5000
- 显存： 24GB GDDR6
- CUDA核心： 8192
- 单精度浮点： 27.8 TFLOPS
年中特惠
GPU物理服务器 - A40
￥ 2274.35/月
立省35% (原价￥3499.00)
月付季付年付两年付
立即订购- CPU： 36核E5-2697v4*2
- 内存： 256GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB NVMe + 8TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia A40
- 显存： 48GB GDDR6
- CUDA核心： 10752
- 单精度浮点： 37.48 TFLOPS
畅销新品
GPU物理服务器 - 2xRTX 3060 Ti
￥ 2598.00/月
月付季付年付两年付
立即订购- CPU： 24核E5-2697v2*2
- 内存： 128GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 2个独显： RTX 3060 Ti
- 显存： 8GB GDDR6
- CUDA核心： 4864
- 单精度浮点： 16.2 TFLOPS
畅销新品
GPU物理服务器 - 2xA5000
￥ 3758/月
月付季付年付两年付
立即订购- CPU： 24核E5-2697v2*2
- 内存： 128GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP,1G带宽
- 2个独显： Nvidia RTX A5000
- 显存： 24GB GDDR6
- CUDA核心： 8192
- 单精度浮点： 27.8 TFLOPS
GPU物理服务器 - 3xRTX 3060 Ti
￥ 3079.00/月
月付季付年付两年付
立即订购- CPU： 36核E5-2697v4*2
- 内存： 256GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB NVMe + 8TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 3个独显： RTX 3060 Ti
- 显存： 8GB GDDR6
- CUDA核心： 4,864
- 单精度浮点： 16.2 TFLOPS
GPU物理服务器 - 3xV100
￥ 3699.00/月
月付季付年付两年付
立即订购- CPU： 36核E5-2697v4*2
- 内存： 256GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB NVMe + 8TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 3个独显: Nvidia V100
- 显存： 16GB HBM2
- CUDA核心： 5,120
- 单精度浮点： 14 TFLOPS
GPU物理服务器 - 3xA5000
￥ 4299.00/月
月付季付年付两年付
立即订购- CPU： 36核E5-2697v4*2
- 内存： 256GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB NVMe + 8TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 3个独显： Nvidia RTX A5000
- 显存： 24GB GDDR6
- CUDA核心： 8,192
- 单精度浮点： 27.8 TFLOPS
GPU物理服务器 - 3xA6000
￥ 7399.00/月
月付季付年付两年付
立即订购- CPU： 36核E5-2697v4*2
- 内存： 256GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB NVMe + 8TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 3个独显： Nvidia RTX A6000
- 显存： 48GB GDDR6
- CUDA核心： 10,752
- 单精度浮点： 38.71 TFLOPS
GPU物理服务器 - 4xA6000
￥ 9899.00/月
月付季付年付两年付
立即订购- CPU： 44核E5-2699v4*2
- 内存： 512GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 4TB NVMe + 16TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 4个独显： Nvidia RTX A6000
- 显存： 48GB GDDR6
- CUDA核心： 10,752
- 单精度浮点： 38.71 TFLOPS
畅销新品
GPU物理服务器 - 8xA6000
￥ 17299.00/月
月付季付年付两年付
立即订购- CPU： 44核E5-2699v4*2
- 内存： 512GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 4TB NVMe + 16TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 8个独显： Nvidia RTX A6000
- 显存： 48GB GDDR6
- CUDA核心： 10,752
- 单精度浮点： 38.71 TFLOPS
Qwen Hosting是什么？
Qwen Hosting 是指专门针对阿里云 (AliNLP) 开发的 Qwen 系列大型语言模型进行优化的服务器托管环境。这些模型（例如 Qwen-7B、Qwen-14B、Qwen-72B 以及 Qwen-1.5B 等精简版本）是专为文本生成、问答、对话和代码理解等任务而设计的开源 LLM。
Qwen Hosting 提供在生产或研究环境中部署、运行、微调和扩展这些模型所需的硬件（通常是高端 GPU）和软件堆栈（推理框架，如 vLLM、Transformers 或 Ollama）。
Qwen 3/2.5/2 托管的 LLM 基准测试结果
该基准报告提供了在一系列 GPU 环境中托管 Qwen-3、Qwen-2.5 和 Qwen-2 大型语言模型的详细性能评估。
Qwen 的 vLLM 基准
该基准测试评估了在 vLLM 推理引擎上运行的 Qwen 大型语言模型的性能，该引擎专为高吞吐量、低延迟的 LLM 服务而设计。vLLM 利用 PagedAttention 和连续批处理，使其成为在聊天机器人、AI 助手和开发人员 API 等实时应用程序中部署 Qwen 模型的理想选择。
如何使用 Ollama/vLLM 部署 Qwen LLM
使用 Ollama 在本地安装并运行 qwen >
Ollama 是一种自托管 AI 解决方案，用于在本地或您自己的基础架构上运行开源大型语言模型，例如 DeepSeek、Gemma、Llama、Mistral 和其他 LLM。
Qwen 托管堆栈包括什么？
高效托管 Qwen 模型需要强大的软件和硬件堆栈。典型的 Qwen LLM 托管堆栈包含以下组件：
硬件堆栈
✅ GPU: NVIDIA RTX 4090 / 5090 / A100 / H100 （取决于型号大小）
✅ GPU 数量：多 GPU 托管需要 1-8 个 GPU（Qwen-72B 或 Qwen2/3，具有 100B+ 个参数）
✅ CPU: 16–64 个 vCores（例如 AMD EPYC / Intel Xeon）
✅ RAM: 64GB–512GB 系统内存（取决于并行性和模型大小）
✅ 存储：NVMe SSD（1TB 或更大，用于模型权重和检查点）
✅ 网络：1 Gbps（用于 API 使用或低延迟流令牌）
软件堆栈
✅ 操作系统：Ubuntu 20.04 / 22.04（ML 兼容性首选）
✅ 驱动程序：NVIDIA GPU 驱动程序（最新稳定版）、CUDA 工具包（例如 CUDA 11.8 / 12.x）
✅ 运行时：cuDNN、NCCL 和 Python（3.9 或 3.10）
✅ 推理引擎：vLLM、Ollama、Transformers
✅ 模型格式：Hugging Face 格式的 Qwen 模型（量化版本为 .safetensors、.bin 或 GGUF）
✅ API 服务器：FastAPI / Flask / OpenAI 兼容服务器包装器（用于推理端点）
✅ 容器化：Docker（可选，用于部署和可重复性）
✅ 可选工具：Triton 推理服务器、DeepSpeed、Hugging Face 文本生成推理 (TGI)、LMDeploy
为什么 Qwen Hosting 需要专门的硬件 + 软件堆栈
托管 Qwen 模型（例如 Qwen-1.5B、Qwen-7B、Qwen-14B 或 Qwen-72B）需要精心设计的硬件 + 软件堆栈，以确保快速、可扩展且经济高效的推理。这些模型功能强大，但资源密集，标准基础设施通常无法满足其性能和内存需求。
Qwen 模型很大，而且占用大量内存
在部署 Qwen 系列大型语言模型（例如 Qwen-7B、Qwen-14B 或 Qwen-72B）时，通用服务器和软件堆栈往往无法满足其高内存和高算力的运行需求。即使是 Qwen-7B 也需要至少 24GB 显存的 GPU 才能流畅推理，而 Qwen-72B 等更大规模的模型则需要多卡并行运行。
吞吐量和延迟优化
除了硬件需求外，Qwen 推理还需要专门的推理引擎支持，例如 vLLM、DeepSpeed、Ollama 或 Hugging Face Transformers。这些引擎提供高效的批处理、分页注意力（PagedAttention）、流式响应等功能，可以大幅提升多用户并发时的响应速度和系统稳定性。.
软件堆栈需要进行 LLM 优化
在软件层面，Qwen Hosting 还依赖一整套完整的 LLM 优化工具链，包括 CUDA、cuDNN、NCCL、PyTorch，以及支持量化（如 INT4、AWQ）的运行环境。系统还需要部署高性能的 tokenizer、兼容 OpenAI 的 API 接口，以及用于模型管理和上下文缓存的内存调度器。
基础设施必须支持大规模服务
Qwen 托管并非通用云主机能够胜任的任务。它需要定制的 GPU 硬件配置，并结合先进的 LLM 推理框架和优化的软件堆栈，以满足现代 AI 应用在响应速度、并发处理和部署效率方面的严苛要求。因此，必须采用专用的“硬件+软件”组合来部署 Qwen 模型。
自托管 Qwen 托管与 Qwen 即服务
除了基于GPU的专用服务器本身托管LLM模型外，市面上还有许多LLM API（Large Model as a Service）解决方案，这已成为使用模型的主流方式之一。
| 特征/方面 | 🖥️ 自托管 Qwen 主机 | ☁️ Qwen 即服务 |
|---|---|---|
| 控制与所有权 | 完全控制模型权重、部署环境和访问 | 由提供商管理；访问和定制有限 |
| 部署时间 | 需要设置硬件、环境和推理堆栈 | 可通过 API 立即使用；只需极少的设置 |
| 性能优化 | 可以微调推理堆栈（vLLM、Triton、量化、批处理） | 优化或更改后端堆栈的能力有限 |
| 可扩展性 | 可通过多 GPU、本地集群或本地设置实现完全扩展 | 受提供商配额、定价层级和吞吐量的限制 |
| 成本结构 | 前期投入较高（GPU 服务器 + 设置），每个代币的长期成本较低 | 按使用付费；使用量大时成本会快速增长 |
| 数据隐私和安全 | 在私人或本地环境中运行；完全控制数据 | 数据必须发送到外部服务；潜在的合规风险 |
| 模型灵活性 | 部署任何 Qwen 变体（7B、14B、72B 等），量化或微调 | 仅限于提供商提供的内容；通常是固定模型版本 |
| 用例适合 | 非常适合企业、人工智能初创公司、研究人员和隐私关键型应用程序 | 最适合原型设计、小批量使用、快速产品实验 |
常见问题解答：Qwen 1B–72B（VL / AWQ / Instruct）模型托管
可以托管哪些类型的 Qwen 模型？
我们支持完整 Qwen 模型系列的托管，包括：基础型号：Qwen-1B、7B、14B、72B 指令调整模型：Qwen-1.5-Instruct、Qwen2-Instruct、Qwen3-Instruct 量化模型：AWQ、GPTQ、INT4/INT8 变体 多模态模型：Qwen-VL 和 Qwen-VL-Chat
支持哪些推理后端？
我们支持多种部署堆栈，包括：vLLM（适用于高吞吐量和流媒体） Ollama（快速本地开发） Hugging Face Transformers + Accelerate / 文本生成推理 DeepSpeed、TGI 和 LMDeploy 用于精细控制和优化
我可以托管带有量化（AWQ / GPTQ）的 Qwen 模型吗？
是的。我们支持量化 Qwen 变体（例如 AWQ、GPTQ、INT4），并使用优化的推理引擎（例如支持 AWQ 的 vLLM、AutoAWQ 和 LMDeploy）。这使得大型模型可以在数量较少或低端的 GPU 上运行。
是否提供多用户 API 访问？
是的。我们提供与 OpenAI 兼容的 API 端点供共享使用，包括支持以下功能：API 密钥管理 速率限制 流式传输（/v1/chat/completions） 代币计数和使用情况跟踪
你们支持自定义微调的Qwen模型吗？
是的。您可以部署自己的经过微调或适配 LoRA 的 Qwen 检查点，包括 adapter_config.json 和 tokenizer 文件。
Instruct、VL 和 Base Qwen 型号之间有什么区别？
我可以在私人环境或本地部署 Qwen 吗？
是的。我们支持自托管部署（隔离或混合），包括本地推理堆栈和模型库的配置。