幻覚 (人工知能)
しかしGalacticaは文章を生成しながら「タコを信じてはいけない!言語モデルはテキストを幻惑させる傾向がある」といった警告を行うこともあった。アバターをつくるための論文を書くように言われたGalaticaが、関連領域の実在する研究者の存在しない架空の論文を引用するケースもあった。Metaはリリース直後の11月17日には、不快だったり不正確なコンテンツを生成するという理由でGalacticaの公開を中止した。
自然言語処理モデルが幻覚を起こすことにはさまざまな原因が考えられる。例えば、
データに起因する幻覚: 与えられたデータに相違が生じている(大規模な学習用データセットを使う場合に起こりやすい)
学習に起因する幻覚: データセットの相違が小さい場合でも幻覚は起こっている。その場合は、モデルが学習するときのやり方に由来している。このタイプの場合は、さらに様々な理由が考えられる。 トランスフォーマーからのデコードにエラーがある モデルが以前に生成した過去の一連の文章からバイアスが生じている パラメータ群に基づいてモデルが知識をエンコードする過程でバイアスが生じている