基于LlaMa-Factory的高效微调流程

B站同步视频 -> 点击进入> 点击进入> B站同步视频> 点击进入> 点击进入> B站同步视频> 点击进入>

1. LLaMA-Factory项目介绍

LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致的看，该项目提供了从预训练、指令微调到RLHF阶段的开源微调解决方案。截止目前（2024年3月1日）支持约120+种不同的模型和内置了60+的数据集，同时封装出了非常高效和易用的开发者使用方法。而其中最让人喜欢的是其开发的LLaMA Board，这是一个零代码、可视化的一站式网页微调界面，它允许我们通过Web UI轻松设置各种微调过程中的超参数，且整个训练过程的实时进度都会在Web UI中进行同步更新。

简单理解，通过该项目我们只需下载相应的模型，并根据项目要求准备符合标准的微调数据集，即可快速开始微调过程，而这样的操作可以有效地将特定领域的知识注入到通用模型中，增强模型对特定知识领域的理解和认知能力，以达到“通用模型到垂直模型的快速转变”。

LLaMA-Factory目前支持微调的模型及对应的参数量：

Model	Sizes
Baichuan2	7B/13B
BLOOM	560M/1.1B/1.7B/3B/7.1B/176B
BLOOMZ	560M/1.1B/1.7B/3B/7.1B/176B
ChatGLM3	6B
DeepSeek (MoE)	7B/16B/67B
Falcon	7B/40B/180B
Gemma	2B/7B
InternLM2	7B/20B
LLaMA	7B/13B/33B/65B
LLaMA-2	7B/13B/70B
Mistral	7B
Mixtral	8x7B
Phi-1.5/2	1.3B/2.7B
Qwen	1.8B/7B/14B/72B
Qwen1.5	0.5B/1.8B/4B/7B/14B/72B
XVERSE	7B/13B/65B
Yi	6B/34B
Yuan	2B/51B/102B

可以看到，当前主流的开源大模型，包括ChatGLM3、Qwen的第一代以及最新的1.5测试版本，还有Biachuan2等，已经完全支持不同规模的参数量。针对LLaMA架构的系列模型，该项目已经基本实现了全面的适配。而其支持的训练方法，也主要围绕（增量）预训练、指令监督微调、奖励模型训练、PPO 训练和 DPO 训练展开，具体情况如下：

方法	全参数训练	部分参数训练	LoRA	QLoRA
预训练（Pre-Training）	✅	✅	✅	✅
指令监督微调（Supervised Fine-Tuning）	✅	✅	✅	✅
奖励模型训练（Reward Modeling）	✅	✅	✅	✅
PPO 训练（PPO Training）	✅	✅	✅	✅
DPO 训练（DPO Training）	✅	✅