特徴量
特徴量はデータを変換することで生成される。この変換を特徴抽出(英: feature extraction)という。専門家の知見を用いた人手による変換規則の探求は特徴量エンジニアリング(英語版)と呼ばれ、機械学習による場合は表現学習と呼ばれる。
特徴抽出は観測値/生データを特徴量空間へと射影するというニュアンスから「埋め込み(英: embedding)」とも呼ばれる。自然言語処理では単語に対する特徴抽出が「単語の埋め込み(word embedding)」と呼ばれる。
表現学習とタスク学習は分離可能であるが、完全には分離せず段階的に進めることもできる。すなわち表現モデルをまず学習し (事前学習)、その上で表現モデルとタスクモデルを繋げて一体化した上でタスク学習をおこなう(fine-tuning approach)。事前学習とタスク学習で異なるデータを利用できるため、分離時と同じ利点を得られる。さらに表現モデル部分もタスクに最適化される特徴がある。言語モデルにおけるBERTはその顕著な例である。
特徴量には様々な評価指標が存在する。適切な指標は下流タスクにより異なる。以下は評価手法の例である。
線形判別(英: linear evaluation): 特徴量で線形判別器を学習しそのテスト精度をもって特徴量評価とする。下流分類タスクに適切。