如何使用 Ollama 运行 LLaMA 3

Meta Llama 3 是最先进的开源大模型之一,当前提供了 8B 和 70B 参数大小。让我们看看如何使用 Ollama 运行 Llama 3。

什么是 LLaMA 3?

Meta Llama 3:迄今为止最强的开源大模型之一

LLaMA 3 是 Meta AI 开发的一种人工智能 (AI) 模型,Meta AI 是一家专注于自然语言处理 (NLP) 和其他人工智能相关领域的研究实验室。LLaMA 3 的独特之处在于它能够理解并回答广泛的主题和问题,而且通常具有高度的准确性和连贯性。它接受过来自互联网的大量文本数据集的训练,可以适应不同的上下文和风格。

LLaMA 3 的主要特点

LLaMA 3 有许多潜在的应用,例如聊天机器人、虚拟助理、语言翻译和内容生成。这是人工智能领域令人兴奋的发展,我很高兴与您更多地讨论它!

对话交流: LLaMA 3 可以进行听起来自然的对话,利用上下文和理解来回答问题和陈述。

知识检索: 它可以访问庞大的知识库,提供有关广泛主题的准确信息。

常识理解: LLaMA 3 旨在理解常识和现实世界的概念,使其响应更具有相关性和人性化。

微调和优化: Llama 3 指令调整模型针对对话/聊天用例进行了微调和优化,并且在常见基准测试中优于许多可用的开源聊天模型。

Meta Llama 3 Instruct model performance
Meta Llama 3 Pre-trained model performance

最有能力的模型

Llama 3 比 Llama 2 和其他公开可用的模型有了很大的改进:

在比 Llama 2 大七倍的数据集上进行训练

Llama 2 的上下文长度是 8K 的两倍

使用具有 128K 标记的更大标记词汇表更有效地编码语言

与 Llama 2 相比,错误“拒绝”率不到 1⁄3

如何使用 Ollama 运行 LLaMA 3

Llama 3 现在可以使用 Ollama 运行。首先,下载安装 Ollama 并运行 Llama 3。

命令行界面CLI

打开终端并运行 llama run llama3

Llama 3初始版本包括8B和70B两种尺寸参数:

# 8B Parameters
ollama run llama3:8b

# 70B Parameters
ollama run llama3:70b

应用程序编程接口API

使用curl命令的示例:

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Why is the sky blue?"
 }'

使用模型变体

Instruct 针对聊天/对话用例进行了微调。例如:

ollama run llama3
ollama run llama3:70b

预训练是基础模型。例如:

ollama run llama3:text
ollama run llama3:70b-text

相关参考