機械学習
教師なし学習(unsupervised learning)では、教師あり学習と違い、目的変数yに相当するものがそもそも存在しないか、あっても知る事ができない。
教師なし機械学習では、未知の確率分布 p ( x ) {\displaystyle p(\mathbf {x} )} に従う変数 x 1 , ... , x n {\displaystyle \mathbf {x} _{1},\ldots ,\mathbf {x} _{n}} が訓練データとしてアルゴリズムに与えられる。アルゴリズムが解くべきタスクは、確率分布 p ( x ) {\displaystyle p(\mathbf {x} )} やその重要な性質を何らかの形で学習し、 p ( x ) {\displaystyle p(\mathbf {x} )} の特性を直接推定する事である。教師あり学習と違い、明確な「正解」yが存在しないので、教師なし学習では出力の妥当性を直接評価する評価尺度は存在せず、妥当か否かの判断は主観的なものになり、ヒューリスティックな議論が必要となる。
機械学習システムによっては、人間の直観によるデータ解析の必要性を排除しようとしているが、人間と機械の協調的相互作用を取り入れたものもある。しかし、そもそもシステムのデータ表現方法やデータの特徴を探る機構は、人間が設計したものであり、人間の直観を完全に排除することはできない。
大規模データベースにおける変数間の興味深い関係を発見するための技法。
論者により定義が異なるものの、トム・M・ミッチェルによる下記の簡潔な定義は広く引用されている:
ここでタスクとは、プログラムが解くべき課題を指し、例えば売上予測タスクであれば「明日の売上を予測せよ」といったタスクである。
経験はなんらかのデータとしてプログラムに与えられる。このデータを訓練データもしくは学習データといい、売上予測タスクであれば例えば「過去の経験」である今日までの売上が訓練データとして与えられる。訓練データを使ってプログラムの性能を改善する過程を、「プログラムを訓練する」もしくは「プログラムを学習させる」という。またプログラムの訓練に用いられるデータ全体の集合を(訓練もしくは学習)データセット(データ集合とも)という。
最後に性能指標は、プログラムがタスクをどの程度の性能で達成したかを測る指標で、前述の売上予測タスクであれば、例えば実際の売上との誤差を性能指標として用いる事ができる。
周囲の環境を観測することでどう行動すべきかを学習する。行動によって必ず環境に影響を及ぼし、環境から報酬という形でフィードバックを得ることで学習アルゴリズムのガイドとする。例えばQ学習がある。