Train with a script
🤗 Transformersのnotebooksと一緒に、PyTorch、TensorFlow、またはJAX/Flaxを使用してモデルをトレーニングする方法を示すサンプルスクリプトもあります。
また、私たちの研究プロジェクトやレガシーの例で使用したスクリプトも見つかります。これらのスクリプトは現在メンテナンスされておらず、おそらく最新バージョンのライブラリと互換性がない特定の🤗 Transformersのバージョンが必要です。
サンプルスクリプトはすべての問題でそのまま動作することは期待されておらず、解決しようとしている問題にスクリプトを適応させる必要があるかもしれません。この点をサポートするために、ほとんどのスクリプトはデータがどのように前処理されているかを完全に公開し、必要に応じて編集できるようにしています。
サンプルスクリプトで実装したい機能がある場合は、フォーラムかイシュートラッカーで議論してからプルリクエストを提出してください。バグ修正は歓迎しますが、読みやすさのコストで機能を追加するプルリクエストはほとんどマージされない可能性が高いです。
このガイドでは、PyTorchとTensorFlowで実行するサマリゼーショントレーニングスクリプトの実行方法を示します。すべての例は、明示的に指定されていない限り、両方のフレームワークともに動作することが期待されています。
Setup
最新バージョンのサンプルスクリプトを正常に実行するには、新しい仮想環境に🤗 Transformersをソースからインストールする必要があります:
git clone https://github.com/huggingface/transformers
cd transformers
pip install .以前のスクリプトのバージョンについては、以下のトグルをクリックしてください：
以前の🤗 Transformersのバージョンに関する例
次に、現在の🤗 Transformersのクローンを特定のバージョンに切り替えてください。たとえば、v3.5.1などです。
git checkout tags/v3.5.1
適切なライブラリバージョンを設定したら、任意の例のフォルダに移動し、例固有の要件をインストールします：
pip install -r requirements.txt
Run a script
この例のスクリプトは、🤗 Datasets ライブラリからデータセットをダウンロードし、前処理を行います。次に、Trainer を使用して要約をサポートするアーキテクチャ上でデータセットをファインチューニングします。以下の例では、CNN/DailyMail データセット上で T5-small をファインチューニングする方法が示されています。T5 モデルは、そのトレーニング方法に起因して追加の source_prefix 引数が必要です。このプロンプトにより、T5 はこれが要約タスクであることを知ることができます。
python examples/pytorch/summarization/run_summarization.py \
--model_name_or_path t5-small \
--do_train \
--do_eval \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--source_prefix "summarize: " \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4 \
--overwrite_output_dir \
--predict_with_generateこの例のスクリプトは、🤗 Datasets ライブラリからデータセットをダウンロードして前処理します。その後、スクリプトは要約をサポートするアーキテクチャ上で Keras を使用してデータセットをファインチューニングします。以下の例では、T5-small を CNN/DailyMail データセットでファインチューニングする方法を示しています。T5 モデルは、そのトレーニング方法に起因して追加の source_prefix 引数が必要です。このプロンプトは、T5 にこれが要約タスクであることを知らせます。
python examples/tensorflow/summarization/run_summarization.py \
--model_name_or_path t5-small \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size 8 \
--per_device_eval_batch_size 16 \
--num_train_epochs 3 \
--do_train \
--do_evalDistributed training and mixed precision
Trainerは、分散トレーニングと混合精度をサポートしています。つまり、この機能をスクリプトで使用することができます。これらの機能を有効にするには、次の手順を実行します。
fp16引数を追加して混合精度を有効にします。nproc_per_node引数で使用するGPUの数を設定します。
以下は提供されたBashコードです。このコードの日本語訳をMarkdown形式で記載します。
torchrun \
--nproc_per_node 8 pytorch/summarization/run_summarization.py \
--fp16 \
--model_name_or_path t5-small \
--do_train \
--do_eval \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--source_prefix "summarize: " \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4 \
--overwrite_output_dir \
--predict_with_generateTensorFlowスクリプトは、分散トレーニングにMirroredStrategyを使用し、トレーニングスクリプトに追加の引数を追加する必要はありません。TensorFlowスクリプトは、デフォルトで複数のGPUが利用可能な場合にそれらを使用します。
Run a script on a TPU
Tensor Processing Units (TPUs)は、パフォーマンスを加速させるために特別に設計されています。PyTorchは、XLAディープラーニングコンパイラを使用してTPUsをサポートしており、詳細についてはこちらをご覧ください。TPUを使用するには、xla_spawn.pyスクリプトを起動し、num_cores引数を使用して使用するTPUコアの数を設定します。
python xla_spawn.py --num_cores 8 \
summarization/run_summarization.py \
--model_name_or_path t5-small \
--do_train \
--do_eval \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--source_prefix "summarize: " \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4 \
--overwrite_output_dir \
--predict_with_generateもちろん、Tensor Processing Units（TPUs）は性能を高速化するために特別に設計されています。TensorFlowスクリプトは、TPUsでトレーニングするためにTPUStrategyを利用します。TPUを使用するには、TPUリソースの名前をtpu引数に渡します。
python run_summarization.py \
--tpu name_of_tpu_resource \
--model_name_or_path t5-small \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size 8 \
--per_device_eval_batch_size 16 \
--num_train_epochs 3 \
--do_train \
--do_evalRun a script with 🤗 Accelerate
🤗 Accelerateは、PyTorch専用のライブラリで、CPUのみ、複数のGPU、TPUなど、さまざまなセットアップでモデルをトレーニングするための統一された方法を提供します。PyTorchのトレーニングループを完全に可視化しながら実行できます。まだインストールしていない場合は、🤗 Accelerateをインストールしてください：
注意：Accelerateは急速に開発が進行しているため、スクリプトを実行するにはaccelerateのgitバージョンをインストールする必要があります
pip install git+https://github.com/huggingface/accelerate
代わりに、run_summarization_no_trainer.py スクリプトを使用する必要があります。 🤗 Accelerate がサポートするスクリプトには、フォルダ内に task_no_trainer.py ファイルが含まれています。まず、次のコマンドを実行して設定ファイルを作成し、保存します：
accelerate config
テストを行い、設定が正しく構成されているか確認してください：
accelerate testNow you are ready to launch the training:
accelerate launch run_summarization_no_trainer.py \
--model_name_or_path t5-small \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--source_prefix "summarize: " \
--output_dir ~/tmp/tst-summarizationUse a custom dataset
要約スクリプトは、CSVまたはJSON Lineファイルであれば、カスタムデータセットをサポートしています。独自のデータセットを使用する場合、いくつかの追加の引数を指定する必要があります。
train_fileおよびvalidation_fileは、トレーニングとバリデーションのファイルへのパスを指定します。text_columnは要約するための入力テキストです。summary_columnは出力する対象テキストです。
カスタムデータセットを使用した要約スクリプトは、以下のようになります：
python examples/pytorch/summarization/run_summarization.py \
--model_name_or_path t5-small \
--do_train \
--do_eval \
--train_file path_to_csv_or_jsonlines_file \
--validation_file path_to_csv_or_jsonlines_file \
--text_column text_column_name \
--summary_column summary_column_name \
--source_prefix "summarize: " \
--output_dir /tmp/tst-summarization \
--overwrite_output_dir \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4 \
--predict_with_generateTest a script
すべてが予想通りに動作することを確認するために、データセット全体を処理する前に、データセットの一部の例でスクリプトを実行することは良いアイデアです。以下の引数を使用して、データセットを最大サンプル数に切り詰めます：
max_train_samplesmax_eval_samplesmax_predict_samples
python examples/pytorch/summarization/run_summarization.py \
--model_name_or_path t5-small \
--max_train_samples 50 \
--max_eval_samples 50 \
--max_predict_samples 50 \
--do_train \
--do_eval \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--source_prefix "summarize: " \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4 \
--overwrite_output_dir \
--predict_with_generate一部の例のスクリプトは、max_predict_samples引数をサポートしていないことがあります。この引数がサポートされているかどうかがわからない場合は、-h引数を追加して確認してください。
examples/pytorch/summarization/run_summarization.py -h
Resume training from checkpoint
以前のチェックポイントからトレーニングを再開するための役立つオプションもあります。これにより、トレーニングが中断された場合でも、最初からやり直すことなく、中断したところから再開できます。チェックポイントからトレーニングを再開するための2つの方法があります。
最初の方法は、output_dir previous_output_dir 引数を使用して、output_dir に保存された最新のチェックポイントからトレーニングを再開する方法です。この場合、overwrite_output_dir を削除する必要があります：
python examples/pytorch/summarization/run_summarization.py
--model_name_or_path t5-small \
--do_train \
--do_eval \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--source_prefix "summarize: " \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4 \
--output_dir previous_output_dir \
--predict_with_generate2番目の方法では、resume_from_checkpoint path_to_specific_checkpoint 引数を使用して、特定のチェックポイントフォルダからトレーニングを再開します。
python examples/pytorch/summarization/run_summarization.py
--model_name_or_path t5-small \
--do_train \
--do_eval \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--source_prefix "summarize: " \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4 \
--overwrite_output_dir \
--resume_from_checkpoint path_to_specific_checkpoint \
--predict_with_generateShare your model
すべてのスクリプトは、最終的なモデルを Model Hub にアップロードできます。開始する前に Hugging Face にログインしていることを確認してください。
huggingface-cli login
次に、スクリプトに push_to_hub 引数を追加します。この引数は、Hugging Face のユーザー名と output_dir で指定したフォルダ名でリポジトリを作成します。
特定の名前をリポジトリに付けるには、push_to_hub_model_id 引数を使用して追加します。このリポジトリは自動的にあなたの名前空間の下にリストされます。
以下の例は、特定のリポジトリ名でモデルをアップロードする方法を示しています:
python examples/pytorch/summarization/run_summarization.py
--model_name_or_path t5-small \
--do_train \
--do_eval \
--dataset_name cnn_dailymail \
--dataset_config "3.0.0" \
--source_prefix "summarize: " \
--push_to_hub \
--push_to_hub_model_id finetuned-t5-cnn_dailymail \
--output_dir /tmp/tst-summarization \
--per_device_train_batch_size=4 \
--per_device_eval_batch_size=4 \
--overwrite_output_dir \
--predict_with_generate