Hugging Face缓存目录设置到其他盘符

Hugging Face缓存目录设置到其他盘符

你可以通过以下几种方法将Hugging Face缓存目录设置到其他盘符:

方法一:设置环境变量(推荐)

1. 设置系统环境变量

  • 右键点击”此电脑” → “属性” → “高级系统设置”
  • 点击”环境变量”
  • 在”系统变量”中点击”新建”
  • 变量名:HF_HOME
  • 变量值:D:huggingface(或其他你想要的路径)

2. 或者设置用户环境变量

  • 变量名:HUGGINGFACE_HUB_CACHE
  • 变量值:D:huggingfacehub

方法二:通过代码设置

在Python代码中设置环境变量:

python

import os
os.environ['HF_HOME'] = 'D:huggingface'
os.environ['HUGGINGFACE_HUB_CACHE'] = 'D:huggingfacehub'

# 然后导入huggingface相关库
from transformers import pipeline

方法三:使用符号链接

如果已经有一些缓存文件,可以移动后创建符号链接:

cmd

# 1. 移动现有缓存
xcopy C:UsersAdministrator.cachehuggingface D:huggingface /E /I /H

# 2. 删除原目录
rmdir C:UsersAdministrator.cachehuggingface /S

# 3. 创建符号链接
mklink /J C:UsersAdministrator.cachehuggingface D:huggingface

方法四:在代码中指定缓存路径

python

from transformers import pipeline
from transformers import AutoTokenizer, AutoModel

# 在加载模型时指定缓存目录
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased", cache_dir="D:huggingface")
model = AutoModel.from_pretrained("bert-base-uncased", cache_dir="D:huggingface")

推荐的完整设置

提议同时设置以下环境变量:

bat

set HF_HOME=D:huggingface
set HUGGINGFACE_HUB_CACHE=D:huggingfacehub
set TRANSFORMERS_CACHE=D:huggingface	ransformers

注意: 设置完成后需要重启命令行或IDE才能生效。新的缓存文件将会保存到指定目录,但已下载的文件需要手动移动。

© 版权声明
THE END
如果内容对您有所帮助,就支持一下吧!
点赞0 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容