huggingface_hub CLIをインストール
pip install -U "huggingface_hub[cli]"
リポジトリの作成
New Model からリポジトリの作成
huggingfaceにlogin
loginをしていない場合は、以下でログインを行う.
この時にtokenは write 権限を付与したもので行う
huggingface-cli login
フォルダのアップロード
huggingface-cli upload [repo_id] [フォルダのパス] .
最後を .にすることで、リポジトリのルートにアップロードできる
データセットのリポジトリにアップロードする場合
後ろにオプションをつける
--repo-type dataset
大量にアップロードする場合
大きなフォルダをアップロードする場合、以下のコマンドを使用することができます
huggingface-cli upload-large-folder repo-name --repo-type=dataset /path/to/local/ --num-workers=16
--repo-type の指定は以下です
- モデルの場合は
--repo-type=model - データセットの場合は
--repo-type=dataset
スレッド数を指定は --num-workers です
参考
Upload an entire folder The default usage for this command is:
huggingface-cli upload [repo_id] [local_path] [path_in_repo]
