幻覚 (人工知能)
「幻覚」という概念は、自然言語処理以外の分野でも幅広く使われており、あらゆるAIによる、学習データからは正当化できないように思われる、しかし自信にあふれた回答は、幻覚としてラベリングされる。2018年の雑誌WIREDの記事によれば、、研究者による概念実証(Proof of Concept)のための攻撃の範囲外での、「in the wild」(すでに出回った)状態の攻撃をうけた形跡が残らないにもかかわらず、コンシューマー向けのガジェットなどが、人工知能を幻覚状態にしうる敵対的な攻撃を受ける可能性があると「ちょっとした議論」になっている。自動運転システムでいうと、例えば、一時停止の標識をコンピューターが認識できないようにする。人間にとって当たり障りのない音声で構成されたオーディオ・クリップを、ソフトウェアが「悪のドットコム企業」と文字起こしする、などがありえる。 Google Cloud Platformは、二人の男性がスキーをしている画像を、91パーセントで「一匹の犬」として認識した。
アメリカの雑誌Wired によると、さまざな研究者が人工知能の幻覚を高次元統計または学習データの不備に由来する現象として位置付けている。物体検出を例にとり、人間が「間違った」人工知能の回答を「幻覚」に分類している場合でも、実際にはその回答は学習データ上は正当化されうる、と考えている研究者もいる。もっと言えば、人工知能は正しい回答を出していたのに人間のレビュワーはそれを見誤ってしまう可能性があるということである。例えば、人間には典型的な犬にしかみえない「敵対的」画像も、人工知能からみれば、本物の猫(の画像)にしか現れない微小なパターンが含まれているということがある。人工知能は人間には知覚することが不可能な、現実世界の視覚的パターンを検出しているからである。
一方で、こうした見方に対して異議を唱える研究者もいる。 例えば、言語モデルが表層的な相関に偏向してしまい、現実の世界のありように対して頑健(ロバスト)でなくなる敵対的学習をしてしまうことがあり得るという反論である。