Qwen3高效微调实战(第2节)

企业级AI落地项目系列课程详解 -> 点击进入

二、Qwen3模型高效微调环境准备

        接下来开始进行模型高效微调前的环境准备工作。需要注意的是，为了更好的复现企业级模型微调全流程，本次公开课将需要使用如下四项工具：

【必须】Unsloth：高效微调框架，必须安装使用；

【可选】vLLM：模型调度框架，用于验证微调后模型效果，也可以使用ollama或者其他调度框架进行模型微调后效果验证；

【可选】EvalScope：模型评测框架，用于对比微调前后模型性能，也可以通过人工观察进行评估；

【可选】wandb：模型训练数据在线记录工具，用于保存模型训练过程中损失之的变化情况，并监控服务器硬件数据；

若想尽快完成微调，可以只安装Unsloth即可，若希望完整执行完微调、过程监督和效果测试各环节，则需要完整安装完各框架工具。

1. Unsloth安装部署

        由于要安装多个项目，因此建议创建虚拟环境以避免依赖冲突。这里首先为Unsloth创建虚拟环境：

然后在虚拟环境中安装Jupyter及Jupyter Kernel：

然后使用如下命令安装Unsloth：

安装完成后在任意Jupyter中选择unsloth kernel，即可进入对应的虚拟环境进行代码编写：

可以输入如下代码进行测试

2. vLLM安装部署流程

2.1 vLLM安装部署

        接下来继续安装vLLM，若是在AutoDL上租赁的服务器，则可以在默认环境中进行安装，其他服务器上建议创建虚拟环境进行安装。虚拟环境创建流程如下（AutoDL不用）：

vllm主要提供后台的模型调用服务，因此不用安装Jupyter Kernel。

        接下来继续进行vllm安装：

注：bitsandbytes是为了适配4bit动态量化模型调用的库

2.2 Qwen3模型权重下载

接下来进行模型权重下载，更多Qwen3模型全尺寸模型本地ollama、vllm、llama.cpp调用及部署方法，要下载4bit动态量化的Unsloth模型，则可以在魔搭社区上搜索Qwen3-unsloth-bnb-4bit：

选择模型下载即可。需要注意的是，有时我们会遇到这两种不同的模型，其中带有Unsloth标志的是动态量化模型，而不带unsloth则是普通量化模型，需要注意区分。

注，目前最新版vLLM已支持Unsloth动态量化模型，目前Unsloth团队已完成dense模型优化，MoE模型兼容vLLM版目前还未上线。即目前vLLM只支持unsloth/Qwen3-1.7B-unsloth-bnb-4bit、nsloth/Qwen3-4B-unsloth-bnb-4bit、unsloth/Qwen3-8B-unsloth-bnb-4bit、unsloth/Qwen3-14B-unsloth-bnb-4bit