代码 - 开发笔记分享

最后修改人	果农
最后修改时间	2024-05-11 09:41:10
创建人	果农
创建时间	2024-05-11 09:41:10

该文档由果农创建于 2024-05-11 09:41:10 ，果农在 2024-05-11 09:41:10 修改了该文档。

[TOCM]

llama3的中文对话确实欠缺不少。经常看到一起奇怪的字符。  
也看到有人推荐[shenzhi-wang/Llama3-8B-Chinese-Chat](https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat) 这个版本，这个版本很奇怪回复内容总是啰唆几句，就pass了。

也巧啊，早上看到一篇[未闻code](https://mp.weixin.qq.com/s?__biz=MzI2MzEwNTY3OQ==&mid=2648988226&idx=1&sn=9487333527264435712d7aa1d91dbde7&chksm=f25007a2c5278eb4a18a68b7ce266f5bd8c391c4d358eb1f42a3c7becb7ec0a65b3f719328c2&scene=58&subscene=0#rd)文章，正好也是这个问题。他用一句话来解决此问题。

看到希望我就下载了shenzhi-wang模型的gguf，然后`FROM ./Llama3-8B-Chinese-Chat-q4_0-v2_1.gguf`开搞。结果是按照他的说法，发现不行啊该啰唆还是啰唆欸。自己一看哦~原来人家用的**原llama3模型**，那就好办了开整。

这是ollama使用的modelfile的内容，其实和ollama网站提供的llama3只有一句话区别，那就是SYSTEM那句。

具体操作步骤很简单，你电脑需要ollama，并且已经下载了llama3，我这里用的是8B版本。  
创建一个名字是Modelfile的文件，内容如图：

```
# Modelfile generated by "ollama show"
# To build a new Modelfile based on this one, replace the FROM line with:
# FROM llama3-CN:latest

FROM llama3:8b
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }} <|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
SYSTEM """尽你的最大可能和能力回答用户的问题。不要重复回答问题。不要说车轱辘话。>语言要通顺流畅。不要出现刚说一句话，过一会又重复一遍的愚蠢行为。RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be  very angry.
"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
```
有了这个文件后，执行创建自己的model：
```
ollama create llama3-CN -f ./Modelfile
```