英日翻訳の話者個性保持に関する調査

近年、大規模言語モデル（LLM）の発展により、機械翻訳（MT）の性能は飛躍的に向上している。BLEU[1]やCOMET[2]といった自動評価指標において高い翻訳精度が達成され、継続事前学習（CPT）や教師ありファインチューニング（SFT）、DPOやGRPOなどの強化学習[3,4]の適用により、流暢性や意味的忠実度はさらに向上を続けている。しかし、これらの指標は翻訳における意味的な忠実性を測定するものであり、原文に含まれる話者の性格特性や固有の言語スタイルの保持については十分に評価し得ない。映画字幕、アニメ、漫画、ゲームのローカライズといった、登場人物の個性表現が不可欠な翻訳タスクにおいて、こうした限界は実用上の大きな懸念点となっている。機械翻訳における著者属性の保持に関する研究は限られている。Mirkinら[5]は、翻訳（原言語から原⾔語⽂翻訳⽂Wewereonabreak!...Mysandwich?Mysandwich?!...YouthinkIdidn'tfeelthat?Iwasfeelingreallybad!俺たちは別れてたんだ︕...俺のサンドイッチ︖俺のサンドイッチだぞ︕︖...私が平気だったとでも︖私だって⾟かったのよ︕翻訳個性推定モデル個性:外向性:70神経質性:31誠実性:82協調性:80開放性:46個性:外向性:75神経質性:30誠実性:85協調性:80開放性:60⼀貫性目的言語、およびその逆）が性格特性や社会人口学的特徴の予測精度に対して有害な影響を与えることを実証的に示した。彼らの実験では、BigFive（外向性、情緒安定性、協調性、誠実性、開放性）の全次元が調査対象となっており、機械翻訳モデルはユーザーに対して一般的であるため、原文に含まれる個別の言語的シグナルが保持されない可能性を指摘している。Rabinovichら[6]はこの知見を拡張し、特に英語等の記述言語では形態論的に明示されにくい性別シグナルの減衰を定量的に分析した。しかし、これらの研究は統計的機械翻訳時代のものであり、LLMベースの翻訳における著者属性保持は未検証である。また、これらの先行研究は主に欧州言語間を対象としており、英日翻訳への適用は検討されていない。言語使用は性格特性や社会人口学的特徴に影響されるが、英語で顕著な性格指標が他言語へ自然に翻訳されるとは限らない。特に日本語には、話者の属性を示す「役割語」[7]や、英語には存在しなThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).適用後、BigFiveの各次元に対応する独立した回帰ヘッド（768→1の全結合層）へ入力する構造を採用した。訓練時は正解ラベルのZ-score正規化を行い、推論時に元のスケール（0–99）へと逆変換を行う。損失関数には、BigFiveの各次元の平均二乗誤差（MSE）の平均値を用いる：∑L=1𝑖∈{𝑁,𝐸,𝑂,𝐴,𝐶}(ˆ𝑦𝑖−𝑦𝑖)2(1)5mmBERTでは、同一話者の全発話を[SEP]トークンで連結した長文テキストを入力とする。テキストがモデルの最大長（8192トークン）を超える場合、重複を持たせたチャンク分割を行い、各チャンクの予測値を平均化する「話者レベル・チャンク分割推論」方式を採用した。3.2.2Qwen3-30B（LLMベースモデル）最新の多言語LLMであるQwen3-30B-A3B-Thinking-25072）をゼロショットで性格特性の推定を行う。LLMはmmBERTと比較して十分なコンテキスト長(32K)を持つため、チャンク分割なしで全発話を一括入力できる。また、本モデルは推論（thinking）機能を備えており、対話内容から話者の性格を推論する能力を検証する。推論効率向上のためvLLMフレームワークを用い、GuidedDecoding機能により出力を特定のJSON形式に制約する。評価方式として、同一話者の全発話を連結して一括処理する「話者レベル推論」を検証する。3.3評価指標翻訳一貫性指標（主要評価）本研究の主目的は、翻訳プロセスにおける性格情報の保持度合いを定量化することである。翻訳一貫性の評価では、英語原文と日本語翻訳から得られた性格予測値の差異を、ベクトル間平均絶対誤差（MAE）、線形相関（Pearson𝑟）、順位相関（Spearman𝜌）によって測定する。MAEは予測値の絶対的なズレを、Pearson𝑟は数値的な比例関係を、Spearman𝜌はサンプル間の相対的順序の保持度を評価する。高い一貫性は、翻訳モデルが性格特性に関連する言語的特徴を目標言語の適切な表現へと変換・保持できていることを示唆する。予測精度指標（補助評価）性格予測モデルの基礎的な能力を検証するため、GroundTruthが存2）https://huggingface.co/Qwen/Qwen3-30B-A3B-Thinking-2507在するデータに対して翻訳一貫性と同様にMAE、Pearson𝑟、Spearman𝜌を評価し、補助的に報告する。4実験設定4.1データセット訓練および予測精度評価データ英日間の性格予測の一貫性を評価するには、両言語に対応した予測モデルが必要となる。そのため、性格予測モデルの訓練には、英語と日本語の2つのデータセットを統合して使用した。訓練データは、英語データとしてPANDORA[13]（Reddit由来、102,523件）を、日本語データとしてRealPersonaChat（RPC）[17]（8,544件、233話者）を使用した3）。開発データはPANDORA12,803件、RPC1,265件を使用し、早期終了の判定に用いた。RPCの1–7尺度の自己評価スコアは、以下の線形変換により0–99尺度に正規化した：𝑦norm=𝑦orig−16×99(2)全てのデータは話者単位で分割し、テストセットへの話者情報のリークを厳密に排除した。予測精度の評価には、PANDORAテストセット（12,803件）およびRPCテストセット（2,304件、47話者）を使用した。PANDORAテストセットでの評価は、提案モデルが性格特性を抽出する基礎能力を検証するためのベンチマークとして位置づける。一方、RPCテストセットでの評価は、訓練データが限られる日本語におけるモデルの汎化性能を検証する目的で実施する。翻訳一貫性評価データ英日対訳コーパスMELD-ST[8]を使用する。MELD-STは、アメリカのドラマ「Friends」に基づく感情ラベル付き音声翻訳データセットであり、以下Friendsデータセットと呼ぶ。本研究では、性格情報の蓄積を確保するため、テストデータから16発話以上を持つ話者34名を選定した。このうち主要な主人公6名については、クラウドソーシング型性格評価データベースPersonalityDatabase4）から性格特性のGroundTruthを取得した。各キャラクターのBigFiveスコアは、ユーザー投票（0%,25%,50%,75%,100%の5段階）の投票数による加重平均として算出されている。一貫性評価では、同一発話の英語原文と日本語翻訳に3）各サンプルは同一ユーザー/話者の複数投稿・発話を[SEP]で連結したテキスト。4）https://www.personality-database.comorg/licenses/by/4.0/).モデルPearsonSpearmanMAEmmBERT0.2170.20417.6Qwen30.5590.55029.0データセットモデルPearsonSpearmanMAEPANDORA(英語)mmBERT0.4330.41523.9PANDORA(英語)Qwen30.1240.11726.9RPC(日本語)mmBERT−0.059−0.06513.5RPC(日本語)Qwen30.0760.07214.9対してそれぞれ性格予測を行い、両者の予測値の一貫性を測定する。実験で使用したハイパーパラメータを付録Aに示す。5結果5.1翻訳一貫性す。相関係数（PearsonおよびSpearman）に着目すると、Qwen3はmmBERTと比較して大幅に高い値を示している。一方で、MAEに関してはQwen3の方が大きな値（29.0）となっている。これは、相関は高いものの、Qwen3が予測するスコアの分散がmmBERTよりも広くなりやすいため、絶対値としての誤差が拡大した可能性がある。BigFive次元別の結果と分析を付録B.1に示す。5.2性格予測精度示す。PANDORAテストセット（英語）において、mmBERTは平均Pearson相関0.433を達成した。これは先行研究であるFuら[12]の報告値（BigFive平均:0.133）を大幅に上回る結果であり、ファインチューニングによる性格予測能力の向上を示している。Qwen3は同データセットで0.124にとどまり、先行研究と同程度の精度であった。一方、RPCテストセット（日本語）では、mmBERT・Qwen3ともに平均Pearson相関が0付近となり、有意な予測性能を示さなかった。この結果の解釈については考察で議論する。BigFive次元別の結果を付録B.2に示す。5.3GroundTruthとの比較るGroundTruthとの比較を示す。サンプル数が少ないため（n=6）、相関係数ではなくMAEで評価した。キャラクターGT-ENGT-JAEN-JARachel26.022.417.8Monica30.424.415.8Phoebe25.326.922.1Ross35.119.919.7Chandler20.87.720.6Joey33.421.018.8平均28.520.419.1なお、GroundTruthはクラウドソーシングによる投票の加重平均であり、参考値として位置づける。興味深いことに、日本語翻訳からの予測（GT-JA:MAE=20.4）が英語原文からの予測（GT-EN:MAE=28.5）よりもGroundTruthに近い値を示した。ただし、GroundTruth自体がキャラクターのステレオタイプに基づく可能性があるため、この結果の解釈には注意が必要である。より重要な知見は、英日間の予測一貫性（EN-JAMAE=19.1）が高いことであり、これは翻訳プロセスにおける性格情報の保持を示唆している。5.4mmBERTとQwen3の比較mmBERTは英日間でMAE=17.6を達成し、多言語エンコーダが言語を越えて共通の性格空間を学習している可能性を示唆する。一方、Qwen3の話者レベル推論は次元別Pearson相関（平均0.559）においてmmBERT（平均0.217）を上回り、LLMが高い推論能力に基づき、特定の次元における話者間の相対的な順位関係を捉えることに長けていることを示した。両アプローチの相補的な活用が、より頑健な評価に寄与する可能性がある。6おわりに本研究では、英日翻訳における性格特性の保持能力を定量的に評価した。実験の結果、英日間で一定の予測一貫性が確認された（mmBERT:MAE=17.6、Qwen3:Pearson𝑟=0.56）。mmBERTは絶対的な予測値の近さにおいて、Qwen3は話者間の相対的な順位関係において優れた一貫性を示した。また、日本語翻訳からの予測が英語原文よりもGroundTruthに近いという結果が得られ、役割語による性格シグナルの増幅効果が示唆された。今後は日本語性格予測の精度向上に向け、より高品質なデータセットの構築が課題である。org/licenses/by/4.0/).