Ollma基准测试工具（适用于Deepseek）
每个模型——从轻量级的DeepSeek-R1 1.5B到更大的7B、14B和32B版本——都在RTX 3060、3090、4090和A100等主流GPU上进行了评估。这有助于用户在使用Ollama运行DeepSeek模型时，根据性能和成本效益选择最合适的GPU。
DeepSeek 托管服务：高效部署 R1、V2、V3 及 Distill 模型
DeepSeek 托管服务使您能够在高性能 GPU 环境中部署、运行和扩展 DeepSeek 的大型语言模型（LLMs），例如 DeepSeek R1、V2、V3、Coder 以及 Distill 变体。该服务使开发人员、研究人员和企业能够通过 API 或交互式应用程序高效运行 DeepSeek 模型。
DeepSeek 托管服务与 Ollama — GPU 推荐
使用DeepSeek模型进行部署 Ollama 是一种灵活且开发者友好的方式，可在本地或服务器上运行强大的大型语言模型（LLMs）。然而，选择合适的GPU对于确保顺畅的性能和快速的推理至关重要，尤其是在模型规模从轻量级的15亿参数扩展到庞大的700亿+参数时。
| 模型名称 | 大小（4位量化） | 推荐显卡（GPU） | 令牌/秒 |
|---|---|---|---|
| deepseek-coder:1.3b | 776MB | P1000 < T1000 < GTX1650 < GTX1660 < RTX2060 | 28.9-50.32 |
| deepSeek-r1:1.5B | 1.1GB | P1000 < T1000 < GTX1650 < GTX1660 < RTX2060 | 25.3-43.12 |
| deepseek-coder:6.7b | 3.8GB | T1000 < RTX3060 Ti < RTX4060 < A4000 < RTX5060 < V100 | 26.55-90.02 |
| deepSeek-r1:7B | 4.7GB | T1000 < RTX3060 Ti < RTX4060 < A4000 < RTX5060 < V100 | 26.70-87.10 |
| deepSeek-r1:8B | 5.2GB | T1000 < RTX3060 Ti < RTX4060 < A4000 < RTX5060 < V100 | 21.51-87.03 |
| deepSeek-r1:14B | 9.0GB | A4000 < A5000 < V100 | 30.2-48.63 |
| deepseek-v2:16B | 8.9GB | A4000 < A5000 < V100 | 22.89-69.16 |
| deepSeek-r1:32B | 20GB | A5000 < RTX4090 < A100-40gb < RTX5090 | 24.21-45.51 |
| deepseek-coder:33b | 19GB | A5000 < RTX4090 < A100-40gb < RTX5090 | 25.05-46.71 |
| deepSeek-r1:70B | 43GB | A40 < A6000 < 2*A100-40gb < A100-80gb < H100 < 2*RTX5090 | 13.65-27.03 |
| deepseek-v2:236B | 133GB | 2*A100-80gb < 2*H100 | -- |
| deepSeek-r1:671B | 404GB | 6*A100-80gb < 6*H100 | -- |
| deepseek-v3:671B | 404GB | 6*A100-80gb < 6*H100 | -- |
DeepSeek 托管服务，支持 vLLM + Hugging Face — GPU 推荐方案
使用vLLM and Hugging Face 托管deepseek 模型是一种高效的高性能推理解决方案，特别适用于需要低延迟、多轮对话和吞吐量优化的生产环境。vLLM专为可扩展且内存高效的大型语言模型（LLM）服务而设计，使其成为部署大型DeepSeek模型并实现更好GPU利用率的理想选择。
| 模型名称 | 大小（16位量化） | 推荐的显卡（GPU） | 并发请求 | 令牌/秒 |
|---|---|---|---|---|
| deepseek-ai/DeepSeek‑R1‑Distill‑Qwen‑1.5B | ~3GB | T1000 < RTX3060 < RTX4060 < 2*RTX3060 < 2*RTX4060 < A4000 < V100 | 50 | 1500-5000 |
| deepseek-ai/deepseek‑coder‑6.7b‑instruct | ~13.4GB | A5000 < RTX4090 | 50 | 1375-4120 |
| deepseek-ai/Janus‑Pro‑7B | ~14GB | A5000 < RTX4090 | 50 | 1333-4009 |
| deepseek-ai/DeepSeek‑R1‑Distill‑Qwen‑7B | ~14GB | A5000 < RTX4090 | 50 | 1333-4009 |
| deepseek-ai/DeepSeek‑R1‑Distill‑Llama‑8B | ~16GB | 2*A4000 < 2*V100 < A5000 < RTX4090 | 50 | 1450-2769 |
| deepseek-ai/DeepSeek‑R1‑Distill‑Qwen‑14B | ~28GB | 3*V100 < 2*A5000 < A40 < A6000 < A100-40gb < 2*RTX4090 | 50 | 449-861 |
| deepseek-ai/DeepSeek‑R1‑Distill‑Qwen‑32B | ~65GB | A100-80gb < 2*A100-40gb < 2*A6000 < H100 | 50 | 577-1480 |
| deepseek-ai/deepseek‑coder‑33b‑instruct | ~66GB | A100-80gb < 2*A100-40gb < 2*A6000 < H100 | 50 | 570-1470 |
| deepseek-ai/DeepSeek‑R1‑Distill‑Llama‑70B | ~135GB | 4*A6000 | 50 | 466 |
| deepseek-ai/DeepSeek‑Prover‑V2‑671B | ~1350GB | -- | -- | -- |
| deepseek-ai/DeepSeek‑V3 | ~1350GB | -- | -- | -- |
| deepseek-ai/DeepSeek‑R1 | ~1350GB | -- | -- | -- |
| deepseek-ai/DeepSeek‑R1‑0528 | ~1350GB | -- | -- | -- |
| deepseek-ai/DeepSeek‑V3‑0324 | ~1350GB | -- | -- | -- |
✅ 注释：
- 推荐显卡: 从左到右，性能从低到高
- 令牌/秒：来自基准数据.
Choose The Best GPU Plans for DeepSeek R1/V2/V3/Distill Hosting
- GPU 卡分类 :
- GPU 服务器价格:
- GPU使用场景:
- GPU 显存:
- GPU 型号:
GPU物理服务器 - P1000
￥ 459.00/月
月付季付年付两年付
立即订购- CPU： 8核E5-2690
- 内存： 32GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显：Nvidia P1000
- 显存： 4GB GDDR5
- CUDA核心： 640
- 单精度浮点： 1.894 TFLOPS
GPU物理服务器 - T1000
￥ 739.00/月
月付季付年付两年付
立即订购- CPU： 8核E5-2690
- 内存： 64GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia Quadro T1000
- 显存： 8GB GDDR6
- CUDA核心： 896
- 单精度浮点： 2.5 TFLOPS
GPU物理服务器 - GTX 1650
￥ 739.00/月
月付季付年付两年付
立即订购- CPU： 8核E5-2667v3
- 内存： 64GB DDR4
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia GTX 1650
- 显存： 4GB GDDR5
- CUDA核心： 896
- 单精度浮点： 3.0 TFLOPS
GPU物理服务器 - GTX 1660
￥ 989.00/月
月付季付年付两年付
立即订购- CPU： 16核E5-2660*2
- 内存： 64GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia GTX 1660
- 显存： 6GB GDDR6
- CUDA核心： 1408
- 单精度浮点： 5.0 TFLOPS
GPU云服务器 - A4000
￥ 1109.00/月
月付季付年付两年付
立即订购- 配置： 24核32GB, 独立IP
- 存储： 320GB SSD系统盘
- 带宽： 300Mbps 不限流
- 赠送： 每2周一次自动备份
- 系统： Win10/Linux
- 其他： 1个独立IP
- 独显： Nvidia RTX A4000
- 显存： 16GB GDDR6
- CUDA核心： 6144
- 单精度浮点： 19.2 TFLOPS
GPU物理服务器 - RTX 2060
￥ 1239.00/月
月付季付年付两年付
立即订购- CPU： 16核E5-2660*2
- 内存： 128GB DDR3
- 系统盘： 120GB SSD
- 数据盘： 960GB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia RTX 2060
- 显存： 6GB GDDR6
- CUDA核心： 1920
- 单精度浮点： 6.5 TFLOPS
年中特惠
GPU物理服务器 - RTX 3060 Ti
￥ 839.50/月
立省50% (原价￥1679.00)
月付季付年付两年付
立即订购- CPU： 24核E5-2697v2*2
- 内存： 128GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显：RTX 3060 Ti
- 显存： 8GB GDDR6
- CUDA核心： 4864
- 单精度浮点： 16.2 TFLOPS
GPU物理服务器 - V100
￥ 1849.00/月
月付季付年付两年付
立即订购- CPU： 24核E5-2690v3*2
- 内存： 128GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia V100
- 显存： 16GB HBM2
- CUDA核心： 5120
- 单精度浮点： 14 TFLOPS
GPU物理服务器 - A5000
￥ 2159.00/月
月付季付年付两年付
立即订购- CPU： 24核E5-2697v2*2
- 内存： 128GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia RTX A5000
- 显存： 24GB GDDR6
- CUDA核心： 8192
- 单精度浮点： 27.8 TFLOPS
畅销新品
GPU物理服务器 - 2xRTX 3060 Ti
￥ 2598.00/月
月付季付年付两年付
立即订购- CPU： 24核E5-2697v2*2
- 内存： 128GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 2个独显： RTX 3060 Ti
- 显存： 8GB GDDR6
- CUDA核心： 4864
- 单精度浮点： 16.2 TFLOPS
GPU物理服务器 - 3xRTX 3060 Ti
￥ 3079.00/月
月付季付年付两年付
立即订购- CPU： 36核E5-2697v4*2
- 内存： 256GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB NVMe + 8TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 3个独显： RTX 3060 Ti
- 显存： 8GB GDDR6
- CUDA核心： 4,864
- 单精度浮点： 16.2 TFLOPS
畅销新品
GPU物理服务器 - 2xA5000
￥ 3758/月
月付季付年付两年付
立即订购- CPU： 24核E5-2697v2*2
- 内存： 128GB DDR3
- 系统盘： 240GB SSD
- 数据盘： 2TB SSD
- 系统： Win10/Linux
- 其他： 独立IP,1G带宽
- 2个独显： Nvidia RTX A5000
- 显存： 24GB GDDR6
- CUDA核心： 8192
- 单精度浮点： 27.8 TFLOPS
年中特惠
GPU物理服务器 - A40
￥ 2274.35/月
立省35% (原价￥3499.00)
月付季付年付两年付
立即订购- CPU： 36核E5-2697v4*2
- 内存： 256GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB NVMe + 8TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，100M-1G带宽
- 独显： Nvidia A40
- 显存： 48GB GDDR6
- CUDA核心： 10752
- 单精度浮点： 37.48 TFLOPS
GPU物理服务器 - 3xA5000
￥ 4299.00/月
月付季付年付两年付
立即订购- CPU： 36核E5-2697v4*2
- 内存： 256GB DDR4
- 系统盘： 240GB SSD
- 数据盘： 2TB NVMe + 8TB SATA
- 系统： Win10/Linux
- 其他： 独立IP，1G带宽
- 3个独显： Nvidia RTX A5000
- 显存： 24GB GDDR6
- CUDA核心： 8,192
- 单精度浮点： 27.8 TFLOPS
什么是DeepSeek托管服务？
DeepSeek 托管服务允许用户通过自建环境或云端 API 部署、推理或微调 DeepSeek 模型（如 R1、V2、V3 或 Distill 变体）。DeepSeek 托管服务类型包括自建部署和大型语言模型即服务（LLMaaS）。
✅ S自托管部署指在GPU服务器（如A100、4090、H100）上使用推理引擎（如vLLM、TGI或Ollama）进行部署，用户可控制模型文件、批量处理、内存使用及API逻辑。
✅ 大型语言模型即服务（LLMaaS） 通过API提供商使用DeepSeek模型，无需部署，只需调用API即可。
DeepSeek R1、V2、V3 及 Distill Hosting 的 LLM 基准测试结果
每个DeepSeek变体均在多个部署后端（包括vLLM、Ollama和文本生成推理（TGI））以及不同GPU配置（如A100、RTX 4090、H100）下进行测试。该基准测试包含模型的高精度版本和量化版本（例如 int4/ggml），以模拟成本效益高的托管场景。
deepseek大型语言模型基准测试
T该基准测试评估了部署在vLLM上的DeepSeek模型的性能，涵盖了DeepSeek-R1、V2、V3和Distill系列中的模型，并使用了多种GPU类型，包括RTX 4090、A100和H100，以及用于大型模型（如DeepSeek-R1 32B+）的多GPU配置。
如何使用Ollama/vLLM部署DeepSeek大型语言模型（LLMs）
在本地安装并运行DeepSeek-R1，使用Ollama v1 >
Ollama 是一款自托管的人工智能解决方案，用于在本地或自有基础设施上运行开源大型语言模型（LLM），例如 DeepSeek、Gemma、Llama、Mistral 及其他 LLM。
DeepSeek 托管服务包含哪些内容？Click to apply
高效托管DeepSeek模型需要一个强大的软硬件架构。典型的DeepSeek大型语言模型（LLM）托管架构包含以下组件：
模型后端（推理引擎）
模型格式
服务支撑架构
硬件（GPU服务器）
为什么DeepSeek主机需要专门的硬件+软件组合
DeepSeek 模型是目前最先进的大型语言模型（LLMs），专为高性能推理、多轮对话和代码生成而设计。由于其规模、复杂性和计算需求，有效部署这些模型需要专门的硬件和软件组合。
DeepSeek 模型体积庞大且计算密集型。
模型规模从1.5B到70B+参数不等，FP16内存占用量可达100+ GB。较大规模的模型，如DeepSeek-R1-32B或236B，需要多GPU配置或配备大容量VRAM的高端GPU。
强大的图形处理单元（GPU）是必需的。
GPU 显存容量需大于模型大小的 1.2 倍，例如 RTX4090（24GB 显存）无法处理大于 20GB 的大型语言模型（LLMs）。
高效推理引擎至关重要
高效运行DeepSeek模型需要优化后的后端，例如：vLLM最适合高吞吐量和并发请求处理。TGI具有可扩展性并原生支持Hugging Face。Ollama非常适合本地测试和开发环境，而TensorRT-LLM/GGML则用于高级低级优化。
可扩展的基础设施是必不可少的。
对于生产或研究工作负载，DeepSeek 托管服务需要容器化（Docker、NVIDIA 运行时）、编排（Kubernetes、Helm）、API 网关和负载均衡（Nginx、Traefik）、监控和自动缩放（Prometheus、Grafana）。
自建部署的DeepSeek托管服务与DeepSeek大型语言模型即服务（LLM as a Service）
除了基于GPU的专用服务器用于托管大型语言模型（LLM）本身外，市场上还存在许多大型语言模型API（大型模型即服务）解决方案，这些解决方案已成为使用模型的主流方式之一。
| 功能 / 方面 | 🖥️ 自托管 DeepSeek 部署 | ☁️ DeepSeek LLM 即服务（LLMaaS） |
|---|---|---|
| 部署位置 | 运行在你自己的 GPU 服务器上（如 A100、4090、H100） | 云端部署，通过 API 平台访问 |
| 模型控制权 | ✅ 完全控制模型权重、版本、更新 | ❌ 受限 —— 只能使用服务商提供的模型 |
| 自定义能力 | 完全支持 —— 微调、LoRA、量化统统都行 | 几乎没有自定义选项 |
| 隐私与数据安全 | ✅ 数据本地处理 —— 适合敏感数据场景 | ❌ 数据需发送到第三方云 API |
| 性能调优 | 可自由调控：批处理大小、并发、缓存机制等 | 预设参数，调优空间有限 |
| 支持模型 | 任意 DeepSeek 模型（R1、V2、V3、Distill 等） | 仅限服务商提供的模型 |
| 推理引擎选择 | 可选用 vLLM、TGI、Ollama、llama.cpp、自定义栈等 | 引擎不可见 —— 由服务商决定 |
| 启动时间 | 启动慢 —— 需要自己部署配置 | 即刻使用 —— API 开箱即用 |
| 可扩展性 | 需自己管理基础设施 | 由服务商自动扩展 |
| 成本模式 | 前期成本高（买硬件），但长期规模化更省 | 按调用或 Token 收费 —— 成本可预期，但规模大时很贵 |
| 使用场景适配度 | 适合研发、私有部署、大规模负载 | 适合原型验证、演示、小规模使用 |
| 示例平台 | 专属 GPU 服务器、本地集群 | DBM、Together.ai、OpenRouter.ai、Fireworks.ai、Groq |