中文版llama3-zh-inst，怎么在Ollama上安装？

1. 下载应用程序

根据操作系统（macOS、Windows、Linux）从 ollama官网 下载软件。确保下载版本为 v0.1.33 或更高，以避免无限生成问题。

2. 安装 Ollama

macOS：

• 下载后直接拖入“应用程序”。

Windows 预览版：

• 下载并运行 exe 文件。

Linux：

• 执行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

3. 创建 Modelfile 文件

首先你要到 Hugging Face 或 ModelScope 下载 GGUF 文件，然后才是下面的安装配置。

Chinese-LLaMA-Alpaca-3开源项目 ymcui/Chinese-LLaMA-Alpaca-3: 中文羊驼大模型三期项目 (Chinese Llama-3 LLMs) developed from Meta Llama 3 (github.com) 或

在文本编辑器中编写 Modelfile 文件，内容示例如下：

FROM /your-path-to-ggml/ggml-model-q8_0.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
SYSTEM """"""
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop assistant
PARAMETER stop Assistant

• FROM 字段指向 GGUF 文件的路径，使用的是 Instruct 模型。
• TEMPLATE 字段定义了指令模板格式。

4. 创建模型实例

在命令行中运行以下命令，创建一个名为 llama3-zh-inst（名称可自定义）的模型实例，加载 Modelfile 配置：

ollama create llama3-zh-inst -f Modelfile

比如我的 Modelfile 文件放在 D:\xiazai\edge\Modelfile，那我我要运行的就是 `ollama create llama3-zh-inst -f D:\xiazai\edge\Modelfile'

命令行将输出 "success"，表示创建成功。

5. 开始聊天

通过运行以下命令进入聊天程序：

ollama run llama3-zh-inst

在出现的 >>> 后输入用户指令；输入 /bye 结束聊天。