如何使用 Ollama AI 在本地运行LLMs

Ollama AI 是一个开源框架，允许您在计算机上本地运行大型语言模型 (LLM)。使用Ollama，用户可以根据自己的喜好轻松个性化和创建语言模型。如果您是开发人员或研究人员，它可以帮助您使用人工智能的力量，而无需依赖基于云的平台。

Ollama 还为运行多种类型的语言模型提供了高效、便捷的解决方案。如果您想要对人工智能模型进行控制和隐私，那么它非常适合您。体验 Ollama 并享受按照您的方式自由运行语言模型的好处。它可以在 MacOS 和 Linux 上下载。目前，您可以通过 WSL2 在 Windows 上安装 Ollama。

Ollama 允许您在本地运行开源大型语言模型，例如 Llama 2。Ollama 将模型权重、配置和数据捆绑到一个包中，由模型文件定义。它优化了设置和配置细节，包括 GPU 使用情况。

Ollama 是一种精美的 llama 包装纸。cpp 允许您使用您选择的模型在自己的硬件上运行大型语言模型。但 OLLAMA 的突出特点之一是它能够利用 GPU 加速。这是一个显着的优势，特别是对于需要大量计算的任务。与仅使用 CPU 的设置相比，通过利用 GPU，Ollama 可以将模型推理速度提高数倍。

易于使用：Ollama 简单的 API 使得加载、运行以及与 LLM 交互变得简单。您无需具备丰富的编码知识即可快速开始执行基本任务。

灵活性： Ollama 提供了一个多功能平台，用于探索LLMs的各种应用。您可以将其用于文本生成、语言翻译、创意写作等。

强大的LLMs： Ollama 包括预训练的LLMs，如 Llama 2，以其规模大和功能强大而闻名。它还支持根据您的特定需求定制培训定制LLMs。

本地执行： Ollama 使您能够在设备上本地运行 LLM，从而增强隐私性和对数据的控制。您不依赖基于云的服务并避免潜在的延迟问题。

社区支持：Ollama 积极参与 LLM 社区，提供文档、教程和开源代码以促进协作和知识共享。

总体而言，Ollama AI 对于研究人员、开发人员以及任何有兴趣探索大型语言模型潜力且无需复杂的云平台的人来说都是一个有价值的工具。它易于使用、灵活且功能强大的LLMs 使其可供广泛的用户使用。

根据 Ollama.ai 官方文档，运行 Ollama 的建议系统要求是：

操作系统： Linux：Ubuntu 18.04 或更高版本，macOS：macOS 11 Big Sur 或更高版本

RAM： 8GB 用于运行 3B 模型，16GB 用于运行 7B 模型，32GB 用于运行 13B 模型

磁盘空间： 12GB 用于安装 Ollama 和基本模型，存储模型数据所需的额外空间，具体取决于您使用的模型。

CPU： 建议使用至少 4 核的任何现代 CPU，对于运行 13B 模型，建议使用至少 8 核的 CPU。

GPU（可选）： 运行 Ollama 不需要 GPU，但它可以提高性能，尤其是运行较大的模型。如果您有 GPU，可以使用它来加速 定制模型的训练。

除了上述内容之外，Ollama 还需要有效的互联网连接来下载基本模型并安装更新。

请注意：截至 2024 年 2 月，Ollami.ai 仅支持 macOS 和 Linux。未来有针对 Windows 支持的计划。要在 Linux 上安装 Ollami.ai，只需运行一个命令：

curl https://ollama.ai/install.sh | sh

要与未经审查的 Llama 2 一起运行和聊天：

ollama run llama2-uncensored

>>> How to make the world free from war?
There is no simple answer to this question, but there are several steps that can be taken towards creating a more peaceful world. Firstly, governments should invest in diplomacy and conflict resolution instead of relying solely on military force for solving international conflicts. Secondly, education should focus on promoting tolerance, understanding and respect for different cultures and religions to reduce the likelihood of inter-group tensions and violence. Thirdly, there should be a concerted effort to address poverty and economic inequality which can lead to desperation and frustration that fuels conflict. Finally, individuals should strive to live in harmony with others by practicing nonviolence, respecting diversity and working together for the common good.

>>> Send a message (/? for help)

要运行并与Mistral聊天：

ollama run mistral --verbose

注意：您应该至少有 8 GB 可用 RAM 来运行 7B 模型，16 GB 来运行 13B 模型，32 GB 来运行 33B 模型。

下载一个模型举例：

ollama pull llama2

删除一个模型举例：

ollama rm llama2

列出您计算机上的模型

ollama list

启动 Ollama 服务器（当您想要启动 Ollama 而不运行桌面应用程序时）

ollama serve

有关如何使用 Ollama 的更多信息，请参阅 Ollama 帮助。

$ ollama -h
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v,--version   Show version information

Use "ollama [command] --help" for more information about a command.