まとめ

この章では、🤗 Transformersが提供する高レベルなpipeline() 関数を用いて、異なるNLPタスクにアプローチする方法を学びました。また、同様にHubを用いてモデルを探す方法や、推論APIを使ってブラウザ上でモデルを直接テストする方法も学びました。

さらに、Transformerモデルがどのように動作するかを高いレベルで議論し、さらに転移学習やファインチューニングの重要性について話しました。一つの重要な観点は、解きたいタスクに応じてアーキテクチャ全体を用いることや、エンコーダーやデコーダーの一方だけを用いることができるという点です。以下の表はそのまとめです。

モデル	例	タスク
Encoder	ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa	文章分類, 固有表現抽出, 抽出型質問応答
Decoder	CTRL, GPT, GPT-2, Transformer XL	文章生成
Encoder-decoder	BART, T5, Marian, mBART	文章要約, 翻訳, 生成型質問応答