～技术宅真可怕～ » 讨论
用夜羊社洛丽塔系列的脚本训练语言大模型：6B对话模型开放下载

上期回顾：开坑！用夜羊社洛丽塔系列的脚本训练语言大模型：数据集开源

6B 的模型语言能力还比较弱，驾驭不了剧情，不过好在夜羊社作品里也没太多剧情。

另外，按理说，夜羊社的脚本包含诗和睡觉，但是对于 6B 来说诗还是有点难，所以目前嘛，只擅长睡觉（逃

好，上图

（图片用 yuzutalk 制作的，用爱丽丝的头像只是因为她是机娘，邦邦咔邦！

“日常”



“非常的日常”（因为赶时间所以是速通版



虽然没有特别针对叙述描写训练，但算是能写一点吧





你先别急，使用技巧我只讲这一个

对于一些比较难开头的对话，可以为模型手动填充一些对话，就是修改对方的对话为自己期待的回应。比如在上面例子中标有“（手动填充）”的那些内容都是我给加上去的。把大型语言模型想象成一个学东西很快的小孩子，不要用说教的方式，而是要身体力行地示范。
另外，毕竟训练内容都是夜羊社的脚本，所以只要你的说话方式够夜羊，就能得到较好的回应。
还有一件事，重复多生成几次，总能抽到大保底。


快端上来罢

注意：GGUF 模型（相当于一种有损压缩）对生成质量有可见的负面影响，具体效果对比见我会发在回帖里

请问你是？

- （全平台，推荐）……你有没有那种，呃，Google Colab，我想白嫖 GPU……
  - 有！→ vLLM Colab
- 我是 Windows 用户，我有N卡或A卡 / 我是 macOS M系列芯片用户
  - → LM-Studio (GGUF 模型)
- 我用 iPhone/iPad，内存有 6GB 或以上
  - → LLMFarm (GGUF 模型)
- 统统闪开，我知道自己要做什么
  - → 为勇士准备的生肉



vLLM Colab

在 Google Colab 里加载模型作为服务端，然后用本地的客户端连接

服务端

戳这个 》》》https://colab.research.google.co ... FFY9qYL?usp=sharing

执行安装代码，再执行运行代码。在看见像这样的输出的时候就代表初始化完成，开始运行了。

等待的时候，去下载客户端吧。

客户端

Chatbox，从其官网下载：https://chatboxai.app （或者你有自己用着顺手的 OpenAI 客户端都可以，设置方法大同小异）

设置：

- AI 模型提供方：选 OpenAI API
- OpenAI API 密钥：留空不填
- API 域名：填你在服务端看到的那个
- 模型&Token
  - 模型：选 自定义模型
  - 自定义模型名：填 nenekochan/Yi-6B-yoruno

保存！

在聊天界面，把那个默认的 system prompt（齿轮图标的那条信息）删了。然后，嘿嘿，可以了哟。

Colab 有每天的 GPU 用量限制，不用的时候，记得先停止运行（点一下那个转动的播放图标）并右上角菜单内断开连接并删除运行时，再关标签页。


LM Studio

软件，从其官网下载：https://lmstudio.ai

网上能找到些教程，我这里就简单讲讲。

模型下载

如果你能前往城墙之外，可以在软件内下载模型，点左边栏🔍图标，搜“Yi-6B-yoruno-GGUF”。

按照自己设备的显存大小，选择一个最大的下载：

- .q8_0.gguf (≥8G显存)
- .q5_k_m.gguf (≥6G显存)
  - OneDrive 源：https://1drv.ms/u/s!AmDfq64kq3L9e5tLZm-PzRhfMcE?e=vRfcJE

如果你无法前往城墙之外，可以手动从我的OneDrive源下载
https://1drv.ms/u/s!AmDfq64kq3L9e5tLZm-PzRhfMcE?e=vRfcJE
软件内点左边栏📁图标，点“Reveal in ...”按钮，在这个存模型的目录里，新建“nenekochan”文件夹，再在里面新建“Yi-6B-yoruno-GGUF”文件夹，把下好的 GGUF 文件放在最内层。

开始对话

点左边栏💬图标，然后右边栏顶端 Preset 下拉选项选 Import Preset From file...，加载我的这个 JSON 配置文件：
https://1drv.ms/u/s!AmDfq64kq3L9fOnKvB5BkoAf0xU?e=0KomPy

顶端横幅下拉选项，选择模型来加载。其余的应该比较直观了。

就酱。

LM Studio 还是相对好用，bug 比较少，而且可以编辑对话历史。


LLMFarm

这个方案也就凑合能用，推荐先看看上面的 vLLM Colab

App：https://apps.apple.com/ru/app/llm-farm/id6461209867

模型按照自己设备的显存大小，选择一个最大的下载：
https://huggingface.co/nenekochan/Yi-6B-yoruno-GGUF/tree/main
- .q8_0.gguf (≥8G显存)
- .q5_k_m.gguf (≥6G显存)
  - OneDrive 源：https://1drv.ms/u/s!AmDfq64kq3L9e5tLZm-PzRhfMcE?e=vRfcJE

设置：

- Prompt format
  - Format：
  - Reverse prompt：
- Prediction options：这几个开关都是加速的，机器要是支持的话可以打开

保存！

因为不能编辑对话，得用奇技淫巧做手动填充，比如说，对话可以这么开始：





为勇士准备的生肉（误

- 嗯，这里是融合后的完整 f16 模型：https://huggingface.co/nenekochan/Yi-6B-yoruno
  这是“无损”的模型，能复现我贴出来的对话实例。
  Linux/Windows WSL + N卡/A卡 推理推荐使用 vLLM（我在上面 Colab 中用的就是 vLLM），速度极快且可转 OpenAI API
- 这里是融合前的 PEFT LoRA：https://huggingface.co/nenekochan/Yi-6B-yoruno-peft
- 如果对训练细节感兴趣，可以看看README



（兴奋地搓手手

6B 的模型终究上限很低，而我这业余的微调训练大家就看个乐吧。模型总是在发展更替，唯数据集长存。我总觉得，大型语言模型这个领域只要躺着等几个月就会生长出新的惊喜，所以接下来就是继续的等待。

最后，希望有好心人帮忙转发贴吧和Q群（我都没有账号）、帮忙转存模型和数据（我没有魔搭账号），注明来源即可。
最后的最后，还是希望在不久的将来见到有人用这个数据集训练出更好的模型。