自己教師あり学習
自己教師あり学習(じこきょうしありがくしゅう、英: self-supervised learning、SSL)とは、ラベルのないデータを使用して、下流の学習タスクに有用な表現を得るための機械学習パラダイムとその手法である。SSL手法の最も顕著な特徴は、人間が注釈を付けたラベルを必要としないことにある。すなわち、ラベルが付いていないデータサンプルで構成されたデータセットを取り込むように設計されている。典型的なSSLパイプラインは、第一段階で教師信号(ラベルは自動的に生成される)を学習し、それを第二段階以降で何らかの教師あり学習タスクに利用する構成となっている。このような理由から、SSLは教師なし学習と教師あり学習の中間的な形態として説明できる。
典型的なSSL手法は、人工ニューラルネットワークや、決定リスト(英語版)のような他のモデルに基づいている。このモデルは2段階で学習する。まず、モデルのパラメータを初期化するのに有用な擬似ラベルを使用した補助的あるいはプレテキスト分類タスク(pretext classification task)に基づくタスク解決が行われる。次に、教師あり学習または教師なし学習によって、実際のタスクが行われる。他の補助タスクは、マスク化入力パターン(音声の無音一時停止や、部分的に黒塗りされた画像)からのパターン補完を含む。
自己教師あり学習は、近年有望な成果を上げており、音声処理で実用化され、Facebookなどの音声認識に使用されている。SSLの主な魅力は、最終結果を向上させることではなく、より低品質のデータで学習が可能なことである。自己教師あり学習は、人間が物事の分類を学習する方法をより忠実に模倣する。