損失関数とか類似度尺度とか。

# はじめに

損失関数とか類似度尺度とか。多すぎるのでまとめておきます。


### 回帰問題用の損失関数

| 名称 | 説明 |
|------|------|
| [平均二乗誤差（Mean Squared Error, MSE）](https://en.wikipedia.org/wiki/Mean_squared_error) | 予測値と実際の値の二乗誤差の平均を取る |
| [平均絶対誤差（Mean Absolute Error, MAE）](https://en.wikipedia.org/wiki/Mean_absolute_error) | 予測値と実際の値の絶対誤差の平均を取る |
| [平均絶対パーセント誤差（Mean Absolute Percentage Error, MAPE）](https://en.wikipedia.org/wiki/Mean_absolute_percentage_error) | 予測値と実際の値の絶対パーセント誤差の平均を取る |
| [Huber損失](https://en.wikipedia.org/wiki/Huber_loss) | 誤差が小さい場合は二乗誤差、大きい場合は絶対誤差を用いる |

### 分類問題用の損失関数

| 名称 | 説明 |
|------|------|
| [二値クロスエントロピー損失（Binary Cross-Entropy Loss）](https://en.wikipedia.org/wiki/Cross_entropy#Cross-entropy_loss_function_and_logistic_regression) | 二値分類問題用のクロスエントロピー損失 |
| [カテゴリカルクロスエントロピー損失（Categorical Cross-Entropy Loss）](https://en.wikipedia.org/wiki/Cross_entropy#Cross-entropy_loss_function_and_logistic_regression) | マルチクラス分類問題用のクロスエントロピー損失 |
| [ヒンジ損失（Hinge Loss）](https://en.wikipedia.org/wiki/Hinge_loss) | サポートベクターマシン（SVM）で使用される損失関数 |
| [focal loss](https://arxiv.org/abs/1708.02002) | 不均衡なデータセットにおける分類問題用の損失関数 |

### ランキング問題用の損失関数

| 名称 | 説明 |
|------|------|
| [順序ロジスティック回帰損失（Ordinal Logistic Regression Loss）](https://en.wikipedia.org/wiki/Ordinal_regression) | 順序ラベルを持つランキング問題用の損失関数 |
| [ランクネットロス（RankNet Loss）](https://www.microsoft.com/en-us/research/project/mslr/) | ペアワイズランキング問題用の損失関数 |
| [ペアワイズランキング損失（Pairwise Ranking Loss）](https://arxiv.org/abs/1901.07656) | ランキング問題用の損失関数 |

### 生成モデル用の損失関数

| 名称 | 説明 |
|------|------|
| [逆KLダイバージェンス損失（Reverse KL Divergence Loss）](https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence#Reverse_KL_divergence) | 生成モデルの学習に使用される損失関数 |
| [Wasserstein損失（Wasserstein Loss）](https://arxiv.org/abs/1701.07875) | ワッサースタイン距離に基づく生成モデル用の損失関数 |
| [最小二乗GAN損失（Least Squares GAN Loss）](https://arxiv.org/abs/1611.04076) | 生成モデルの学習に使用される損失関数 |

### 構造化予測用の損失関数

| 名称 | 説明 |
|------|------|
| [構造化SVM損失（Structured SVM Loss）](https://en.wikipedia.org/wiki/Structured_support_vector_machine) | 構造化された出力を持つ予測問題用の損失関数 |
| [条件付きランダムフィールド損失（Conditional Random Field Loss）](https://en.wikipedia.org/wiki/Conditional_random_field) | 系列ラベリングなどの構造化予測問題用の損失関数 |

### 点の距離尺度

| 名称 | 説明 |
|:--|:--|
| [ユークリッド距離](https://ja.wikipedia.org/wiki/%E3%83%A6%E3%83%BC%E3%82%AF%E3%83%AA%E3%83%83%E3%83%89%E8%B7%9D%E9%9B%A2) | 一般的によく使われる距離尺度。2点間の直線的な距離を表す。外れ値の影響を受けやすい。 |
| [マンハッタン距離](https://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%B3%E3%83%8F%E3%83%83%E3%82%BF%E3%83%B3%E8%B7%9D%E9%9B%A2) | 各次元の差の絶対値和で表される。ユークリッド距離よりも外れ値の影響を受けにくい。格子状の街路を移動する距離に例えられる。 |
| [ミンコフスキー距離](https://ja.wikipedia.org/wiki/%E3%83%9F%E3%83%B3%E3%82%B3%E3%83%95%E3%82%B9%E3%82%AD%E3%83%BC%E8%B7%9D%E9%9B%A2) | ユークリッド距離、マンハッタン距離、チェビシフ距離を一般化したもの。パラメータpの値で挙動が変わる。p=2でユークリッド距離、p=1でマンハッタン距離、p→∞でチェビシフ距離に一致。 |
| [チェビシフ距離](https://ja.wikipedia.org/wiki/%E3%83%81%E3%82%A7%E3%83%93%E3%82%B7%E3%83%A7%E3%83%95%E8%B7%9D%E9%9B%A2) | 各次元の差の絶対値の最大値で表される。成分の差が最も大きい次元のみに着目。ミンコフスキー距離のp→∞の極限に相当。 |
| [マハラノビス距離](https://ja.wikipedia.org/wiki/%E3%83%9E%E3%83%8F%E3%83%A9%E3%83%8E%E3%83%93%E3%82%B9%E8%B7%9D%E9%9B%A2) | データの分布（共分散行列）を考慮した距離尺度。変数間の相関を考慮でき、外れ値検知などに利用される。 |
| [ヘリンジャー距離](https://en.wikipedia.org/wiki/Hellinger_distance) | 2つの確率分布の類似度を測る距離尺度。外れ値の影響を受けにくい。機械学習での特徴量のヒストグラム比較などに用いられる。 |
| [ハミング距離](https://ja.wikipedia.org/wiki/%E3%83%8F%E3%83%9F%E3%83%B3%E3%82%B0%E8%B7%9D%E9%9B%A2) | 2つのベクトルで対応する要素が一致していない数で表される。カテゴリ変数のベクトル比較などに用いられる。 |

### 分布の距離尺度

| 名称 | 説明 |
|:--|:--|
| [Histogram Intersection](https://en.wikipedia.org/wiki/Histogram_intersection) | (距離じゃなくて類似度)ヒストグラムのような離散値に使う。2つの分布の共通領域。 |
| [KL divergence](https://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AB%E3%83%90%E3%83%83%E3%82%AF%E3%83%BB%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%BC%E6%83%85%E5%A0%B1%E9%87%8F) | 相対エントロピーの概念に基づいて、2分布間の距離を算出(非対称) |
| [JS divergence](https://en.wikipedia.org/wiki/Jensen%E2%80%93Shannon_divergence) | KLを改良して**p,q**に対称性をもたせたもの|
| [L1 norm](https://en.wikipedia.org/wiki/Taxicab_geometry) | 連続的な分布における誤差の絶対値の和|
| [L2 norm](https://en.wikipedia.org/wiki/Euclidean_distance) | 連続的な分布における二乗誤差の和|
| [相互情報量（Mutual Information）](https://en.wikipedia.org/wiki/Mutual_information) | 2つの確率変数の依存関係の強さを測る尺度 |


### 最適輸送に基づく尺度

| 名称 | 説明 |
|------|------|
| [Wasserstein距離（Wasserstein Distance）](https://en.wikipedia.org/wiki/Wasserstein_metric) | 2つの確率分布間の最適輸送コストに基づく距離 |
| [Sinkhorn divergence](https://arxiv.org/abs/1706.00292) | ワッサースタイン距離の正則化版 |
| [Gromov-Wasserstein距離（Gromov-Wasserstein Distance）](https://arxiv.org/abs/1809.02847) | 異なる空間上の確率分布間の距離 |