ミーム画像に対する自己スコアリング選別による推論根拠付き回答の検証

ソーシャルメディア上のミームは，図1中の画像のように，テキストと視覚的要素の組み合わせであり，文脈依存性が高く，また急速に拡散しやすい[1]．一方，この性質により，人種，ジェンダー，宗教などに関する差別的含意を伝達するため，自動検出の必要性が高まっている[2,3]．ミームにおけるヘイトは画像–テキスト間の相互作用から生じることが知られている[4]．しかし，マルチモダリティに基づく手法には，このような相互作用の扱いの難しさから依然として課題が残る[5]．また，特に視覚言語モデル（VLM）では，検出過程の説明生成において，自身の回答の正当化のために幻覚や事学習⽤データ正解の分類背景情報：虹色はLGBTQ＋が掲げる色画像の文章：精神疾患は自分で選択できる説明（最⼤4種）A〜DVLM分類正解のみ質問＋ミーム画像＋テキスト↓⽣成説明最⼤4種類説明A説明B説明C説明D分類＋説明分類正解のみVLM質問→スコア付説明B説明C説明D説明A説明スコア(0〜100)75908060説明の妥当性でスコアリングスコアの最も⾼い説明を選択説明C分類スコアが最⼤の組み合わせ画像＋モデル学習習用データセットの作成手順，及び推論手順．後的な根拠を生成し得るため[6,7,8]，意思決定過程の観測可能性が低い．本研究では，RationaleEnhancementthroughPairwiseSelection（REPS）[9]を参考に，複数のVQA候補を生成し，最も妥当性の高いものを学習データとして選択する．このデータを用いて学習することで，モデルの説明性能を向上を試みる．なお，本研究の選別はREPSでの生成モデルが評価も兼ねる，という自己評価を忠実に再現するものではなく，外部の選別モデルによって候補を評価するREPS-inspiredﬁlteringとして位置付ける．また比較対象として，生成された回答とその根拠を選好せずにそのまま学習したモデルと，回答とその根拠をランダムに一つ選別したモデルによりベースラインを作成する．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).る．本選別はREPS[9]から着想を得ているが，REPSとは異なり外部モデルを評価器に用いる．Qwen2.5-VL-7B-Instruct[13]を使用する．•学習対象モデル(𝑀stu):学習対象モデルには，llava-1.5-7B-hf[14]を学習対象として固定し，データ構築手法の差分のみが性能差として現れるようにした．•最終評価用モデル(𝑀eval)：各手法で学習したモデルが生成した「説明の質」を，定性的に評価を行うモデルである．人手評価では，評価の再現性や評価者確保が難しいため，InternVL2-8B[15]を使用した自動評価を行う．3.3データ構築および比較手法本研究では，REPS[9]の着想を取り入れた候補生成・選別に基づく学習データ構築（REPS-inspiredselection）を検証するため，まず𝑀genを用いて，学習用データ8,500件に対するQA候補の生成を行った．一つの画像に対し図1の流れで，分類とその根拠の組み合わせを，QA形式で生成する．このとき，1画像あたり最大4つのQA候補を確保することを目標に，最大で10回の生成を試行した．その結果，モデルによる生成が困難であった一部の画像（約3%）を除く8,245枚のユニーク画像に対し，合計29,886件のQAペアが得られた．本実験ではこの候補プールを基に，以下の3つの基準で構築した学習データを使用する．1.Baseline(Random):各画像に対して生成されたQA候補の中から，ランダムに1つを選択して学習データとする（データ数:𝑁=8,245）．これは，選別を行わずに教師モデルの出力をそのまま蒸留した場合のベースラインに相当する．