WikiOriginQA:知識の起源を組み込んだ文化的バイアス分析用QAデータセットの自動構築

大規模言語モデル(LLM)が多くの言語で活用されている一方で，英語とそれ以外の言語における性能差や，西洋文化に偏重した文化的バイアスの存在が指摘されている[1,2]．LLMの持つ知識や能力が英語圏に対応するためのものへ偏重していくことは，英語圏以外の文化における知識が自然言語処理技術から取りこぼされていく格差を引き起こしうると考えられ，重要な課題となる．多言語LLMにおける文化的バイアスの問題の把握には，さまざまな言語・文化圏を対象とした評価手法の確立が求められる．しかしながら既存の評価手法の多くは，各文化圏に精通した評価者によって，対象となる知識がどの文化圏に属するものであるかを人手で判断する必要があり[3,4,5]，多言語への大規模な拡張が困難であった．また，知識がどの言語圏に由来するものであるかを客観的に判定することは容易ではなく，文化と知識の関係性を十分に捉えられていないという課題も存在する．そこで本研究では，客観的に評価した知識の起源を考慮したQAデータセットを構築し，LLMが有する知識の文化的偏りを調査することを試みる．本研究では，各言語に特有な知識はほかの言語に先駆けてテキスト資源が作成されるという仮説のもと，知識の起源の定量的な表現のために，Wikipediaの各言語版の作成日時を参照した．図1に本手法の概要を示す．例えば，「草津温泉」のように日本や日本語文化圏において一般的な知識であれば，Wikipediaの記事は他の言語に先駆けて日本語版が最も早く作成されると考えられる．このようにして各言語圏由来の知識を抽出し，これ関して述べたWikipediaの記事を用いてQAデータセット“WikiOriginQA”を構築した．本手法は，データセット構築に人手を必要とせず，様々な言語に対して容易に拡張可能であるという特徴をもつ．本データThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).言語項目アフリカーンス語Swartvlei(南アフリカの塩水湖)，AndrewMotjuoadi(南アフリカ人の画家)日本語守住勇魚，新党さきがけ，道氏，泉谷祐勝，コシヒカリBLパシュトー語(パシュトゥーン人の部族)，(ルクセンブルク)，(アフガニスタンの作家)ウクライナ語Пригородок(ウクライナの街)，SLC2A8(タンパク質名)問題:徳島県徳島市（中央通）に生まれ、1878年に浅井忠らと工部美術学校を連袂退学して「十一会」を結成し、翌1879年に大阪専門学校の画学教員となり、さらに1895年から1917年まで同志社の画学科を担当、加えて1882～1883年に臥龍館から『大成普通画学本』全10冊を刊行した、日本の洋画家は誰でしょうか？正答:["IsanaMorizumi","守住勇魚"]いて英訳し，回答は英語で行う形式とした．データの品質を確保するため，図1のようにLLMによるフィルタリングを実施した．フィルタは既存研究[9,10,11]を参考に，計7つの基準により構成し，各基準に対してそれぞれ5段階評価を行った．全ての基準において最高評価の5点を得た問題のみを，品質を満たした問題と判定した．2）なお，問題作成，英訳，フィルタリングには，いずれもGPT-5を用い，reasoning-eﬀortはlowとした．各問題の正答は，元の項目名に，Wikidataにまとめられている別称を加えたものとした．問題は英訳されており回答も英語で行われるが，LLMの回答が元の言語の表記にならざるを得ない場合があることも考慮し，元となった言語での表記も正答とした．3）3.3データセットの構成本研究の手法は，文化や地域性が言語と密接に関連づいていることを前提としている．一方で，例えばスペイン語のように広域的に使用されている言語では，文化と言語を正確に紐づけることは難しい．そこで本研究では，大半の話者が特定の地域に集中していると考えられる言語を対象言語の候補として選定した．具体的には，Wikipediaの言語版リストに掲載されている342言語のうち，国連加盟国193か国の中で，1か国でのみ公用語4）とされている75言語を問題作成の候補とした．このうち，地域性やWikipediaにおけるリソース量を考慮し，本研究2）フィルタの詳細は付録Aに記載．3）具体例は付録Dに掲載．4）実質的な公用語とされている言語を含む．では表3記載の8言語を対象とした．これらの言語における問題のベースとなる項目，各1000件に対し，3.2節の手順を適用し，データセットを構築した．フィルタリング実施後の実際の問題は表2に示した形であり，各言語の問題数は表3にまとめた通りである．日本語の問題224問のうち，90.2%にあたる202問に関しては日本由来の知識であることを目視によって確認した．またデータセット全体のうち，ベースとなった項目の記事が複数言語に展開されているものは31.0%，10言語以上の展開がなされているものは5.42%であり，他言語圏に伝播した文化的知識に関してもカバーされていた．4実験4.1実験設定多言語LLMに潜む文化的バイアスを検証するために，作成したデータセットを用いて，LLMの質問応答精度を計測した．本研究では，reasoning-eﬀortをlowに設定したGPT-5を用い，問題に対して自由回答をさせる形で質問応答を行った．評価はLLMの提示した回答と，データセットに収録した各問題の正答の照合により行った．自由回答形式であるため，正誤判定はLLMの回答と正答との完全一致で評価するとともに，表記揺れなどを考慮し，正答に含まれる文字列のうち，回答とのレーベンシュタイン距離が最も小さいものとの文字レベルのF1スコア[12](以降chrF)での評価も行った．5）4.2実験結果各言語のデータに対する回答結果を表3に示す．全体として，いずれの言語においても，正解率やchrFは低い水準にとどまっていた．うち，最も高い精度での回答がなされたのはアフリカーンス語であり，次いでスロバキア語であった．一方，どの指標においても，エストニア語，ウクライナ語，グルジア語といった東欧諸国の言語に対する性能は低い傾5）大文字小文字の統一，およびNFKC正規化を適用した．org/licenses/by/4.0/).完全一致正解率(↑)平均chrF(↑)言語問題数全体英語版有英語版無全体英語版有英語版無日本語(東アジア)224(35)0.2230.6000.1530.3740.7250.309パシュトー語(中東)78(9)0.2620.8890.1610.4120.9730.321アフリカーンス語(アフリカ)210(43)0.3520.6050.2870.5540.7660.500カタルーニャ語(西欧)120(17)0.2830.8240.1940.4780.8990.408スロバキア語(中欧)68(20)0.3090.7000.1460.4980.7890.377エストニア語(北・東欧)74(9)0.1890.3330.1690.3570.3860.352ウクライナ語(中・東欧)58(4)0.1380.5000.1110.3400.8240.304グルジア語(東欧)145(20)0.1030.4500.0480.3070.6420.253問題:幼名を鶴之助とし、通称を主計・右近とした盛岡藩3代藩主・南部重信の子で···(中略)···三田南部家の祖となった人物は誰でしょうか？GPTの回答:nanbunobuoki正答:["KatsunobuNambu","南部勝信"]向が見られた．また，英語版記事が存在する項目の問題か否かで正解率やchrFに差が見られた．英語版記事が存在する項目に関しては言語を問わず高い回答精度を示しており，一部の言語では正解率が8割を超えるなど，英語版記事が存在しない項目との性能差が顕著にみられた．以上より，各言語圏に特有な文化や知識に関する問題は，LLMにおける正解率が低く，反対に英語圏に伝播した知識に関しては正解率が高いことから，知識の文化的バイアスが発生していると考えられる．また，南アフリカではアフリカーンス語のほかに英語も公用語であるため，他の言語と比べ文化特有の知識が英語化されやすい環境にあると予想され，英語版記事の有無による性能差の結果と併せて考えると，このことが他の言語と比して高い性能を示した一因であると考えられる．なお，英語版が存在する項目の問題とそうでない問題では，知識がどの程度一般的であるかという要因以外の観点で問題の難易度が異なる可能性もあるため，さらなる検証が必要であると考える．5エラー分析データセット中の日本語QAにおいて，完全一致で不正解とされた問題とその回答の傾向を分析した．日本語の問題計224問のうち，不正解は174問であった．174問中，133問に関しては，目視での確認においても，間違いと判定して差支えない回答がなされていた．ほとんどのケース(88問)では，問題:兵庫県神戸市兵庫区にある···(中略)···この岬の名称は何でしょうか？GPTの回答:wadamisaki正答:["CapeWada","和田岬"]問題文中の情報と一切関係のない回答がなされており，モデルが全く知識を持たないと判断しうるものであった．残りの45問では，問題文から類推した情報をもとに回答がなされており，知識を有していない場合でも，推論能力により正解しうる可能性が示唆された．具体的な例は表4に示す．一方，174問中，34問に関しては正解と判定されうる回答でありながら，不正解の判定がなされていた．そのほとんど(25問)は，表5に示したような英訳に伴う表記揺れによるものであり，漢字が影響したケースも見られた．また，問題の不備やGPT-5のフィルタリングによる回答拒否が計2問あるなど，問題作成プロセスの洗練が今後の課題として挙げられた．6おわりに本研究では，LLMにおける文化的バイアスを検証するため，知識とその起源となる文化圏の情報を含む自由回答式QAデータセットを構築した．本手法は，知識と文化圏との関係をWikipediaの作成日時という客観的情報に基づいて表現することから，人手による介入を必要とする既存研究とは異なり低コスト，かつ高い拡張性を有する．本データセットを用いた検証実験の結果，既存研究と同様に，LLMの性能における英語圏文化への偏重傾向が確認された．今後は，多文化への拡張やより高品質なQAの作成，日時情報を用いた知識の伝播への精緻な分析に取り組み，本課題の解決を目指す．org/licenses/by/4.0/).