損失関数
多くの用途では、損失関数も含む目的関数は、問題の定式化によって決定される。あるいは、意思決定者の好みを引き出し、最適化に適した形のスカラー値関数(効用関数ともいう)で表現しなければならない場合がある。ラグナル・フリッシュは、ノーベル賞講演でこの問題を取り上げた。目的関数を構築するための既存の方法が、2つの専門会議の会報にまとめられている。特に、アンドラニク・タンジアン(英語版)は、最も有用な目的関数(二次関数と加法関数)が、少数の無差別点によって決定されることを示した。彼は、この性質を利用して、意思決定者とのコンピュータ支援インタビューを通じて得られた名義データや順序データ(英語版)から、これらの目的関数を構築するモデルを作成した。とりわけ、ウェストファーレン州の16大学への予算を配分するためや、ドイツの271地域間で失業率を均等化する欧州補助金のための目的関数を構築した。
二乗損失は、外れ値によって支配される傾向がある欠点がある。( ∑ i = 1 n L ( a i ) {\textstyle \sum _{i=1}^{n}L(a_{i})} のように)a の集合を合計すると、最終的な合計は平均的な a 値の表現ではなく、少数の特に大きな a 値の結果となる傾向がある。
損失関数の選択は恣意的なものではない。これは非常に制限的であり、ときには損失関数がその望ましい特性によって特徴付けられることもある。選択原理の中には、たとえば、独立同分布(i.i.d.)観測での対称統計のクラス完全性の必要条件、完備情報の原則、その他がある。
W・エドワーズ・デミングやナシム・ニコラス・タレブは、損失関数を選択する際には、優れた数学的特定ではなく経験的現実を唯一の根拠とすべきであり、実際の損失はしばしば数学的に優れたものでなく、微分可能、連続、対称などではない、と主張している。たとえば、飛行場の搭乗ゲートが閉まる前に到着した人は飛行機に乗れるが、その後に到着した人は乗れないという不連続性と非対称性があり、少し遅れて到着する方が少し早く到着するよりもはるかに高コストになる。薬物投与においては、投与量が少なすぎると効果が得られず、多すぎると耐容毒性になることがあるが、これも非対称性の例である。交通機関、導管、梁、生態系、気候などは、ある時点までは負荷やストレスの増加に耐え、ほとんど変化が見られないが、その後、過負荷になったり、壊滅的な破損を起こしたりすることがある。デミングとタレブは、このような状況は現実の問題によくあることで、おそらく古典的な平滑、連続、対称、微分的といった場合よりも多いだろうと主張している。