自己教師あり学習
自己教師あり学習は、音声認識で特に適している。たとえば、Facebookは、音声認識のための自己教師ありアルゴリズムであるwav2vecを開発し、相互に構築し合う2つの深い畳み込みニューラルネットワークを使用している。
GoogleのBERTモデルは、検索クエリのコンテキストをよりよく理解するために使用されている。
OpenAIのGPTは、言語処理に使用できる自己回帰言語モデルである。テキストの翻訳や質問への回答などに使用することができる。
Bootstrap Your Own Latent(BYOL)はNCSSLであり、ImageNetや転位、半教師ありベンチマークで優れた結果を出した。
Yarowskyアルゴリズム(英語版)は、自然言語処理における自己教師あり学習の例である。ラベル付けされた少数の例から、多義語のどの語義がテキスト中の特定の部分で使用されているかを予測するように学習する。
FacebookのDirectPredは、勾配更新による学習の代わりに、予測器の重みを直接設定するNCSSLである。