本稿では、大規模言語モデルにおけるスペイン語の方言バイアスを調査する。モデルの有する方言認識能力の解明は、方言的多様性を反映したモデルの開発のためにも重要である。モデルを仮想インフォーマントとみなし、実際の方言調査を模した多肢選択問題形式の実験を行った。スペイン語圏21カ国における、934の語彙項目の地理的変異を扱った。実験の結果、モデルの方言認識能力は一様ではないことが判明した。モデルの方言認識能力は、モデルの訓練に利用されたと推定される方言ごとの学習データ量とは有意な相関を示さなかった。このことは、モデルの方言認識能力には、学習データ量以外の要因が影響している可能性を示唆している。

スペイン語は、環大西洋地域を中心に5.2億人以上の母語話者を擁する大言語である[1]。スペイン語圏21カ国には多種多様な地理的語彙変異が存在する[2,3,4,5,6,7,8,9,10,11,12]。例えば、「自動車」を表すのに、スペインではcocheが、中南米ではcarroが主に使用される[8]。実際のスペイン語の地理的語彙変異を大規模言語モデル(LargeLanguageModel;LLM)はどの程度認識できるのだろうか？方言間の平等性の観点から、LLMにおいても特定の方言のみが優遇されることは望ましくない[13,14,15]。また、モデルの有する方言認識能力の解明は、方言的多様性を反映したモデルの開発のためにも重要である[16]。しかしながら、このような調査は数少なく規模も小さい[17]。そこで、本稿では、LLMの有するスペイン語方言認識能力について大規模な調査を行う(図1)。LLMを仮想インフォーマントとみなし、実際の方言調査を模した多肢選択問題形式の実験を行う。934の語語のプロンプトは英訳したものを示している。彙項目の地理的変異を調査対象とする。LLMの方言認識能力は、国別・方言域別に検証する。簡単のために、方言の最小単位は国とする。方言域の分類は、付録Aを参照されたい。実験の結果、LLMのスペイン語方言認識能力は一様ではないことが判明した。スペイン、赤道ギニア、メキシコ・中米、ラプラタ川流域の方言に対するモデルの認識能力は高い反面、チリ方言に対する認識能力は顕著に低かった。興味深いことに、モデルの方言認識能力は、モデルの訓練に利用されたと推定される方言ごとの学習データ量と有意な相関を示さなかった。このことは、単に当該方言の学習データを増やしても、その方言に対するモデルの認識能力が向上するとは限らないこと、また、モデルの方言認識能力には学習データ量以外の要因が影響している可能性を示唆している。