タスク分割とサッカードメイン知識の統合による試合映像からのテキスト速報自動生成

スポーツメディアにおいて，データ会社等によって配信されているライブテキスト（以下，テキスト速報）は，試合の動向をリアルタイムに言語化して伝える独自のメディア形式である．テキスト速報は，リアルタイムでの試合の放送映像の視聴が困難な状況においても，試合展開を把握できる点で大きな利点を持つほか，試合後の振り返りとしての活用にも適している．一方で，テキスト速報の作成は現在も人手で行われており，高い専門性と多大な工数を要することが課題となっている．そのため，配信対象は注目度の高い一部の試合に留まっており，他の多くの試合では利用することができない．試合映像から自動的にテキスト速報を生成する代表的な既存手法[1,2]では，映像特徴を大規模言語モデル（LLM）へ入力し，テキストを直接生成するエンドツーエンド（E2E）型手法を採用している．しかし，スポーツ映像の認識においては，種目特有のアクション認識に加え，プレーへの関与選手の同定や位置の把握など複合的な情報を整合的に扱う必要がある．E2E型手法では，これらの根拠情報が明示的に保持・制御されない場合があり，生成文中で重要箇所の取り違えや事実誤りが生じ得る．とりわけサッカーは，選手数が多く関与選手が頻繁に切り替わるうえ，プレーが連続して進行し区切りが曖昧である．そのため，イベントの言語化において情報の漏れや誤認識（誰が・どこで・何を）が起きやすく，高い事実性を担保したテキスト速報生成は依然として困難である．そこで本研究では，サッカーの試合映像から，事実性の高いテキスト速報を自動生成することを目的とし，TaskDecompositionandSoccerDomainKnowledge-basedSystem（TD-SDKs）を提案する．図1に示すように，TD-SDKsはテキスト速報生成を(i)イベント情報特定と(ii)文章生成に分割し，段階的に実行する．特に(i)イベント情報特定は，(i-a)イベント検出，(i-b)関与選手の同定，(i-c)位置情報の推定の3つのタスクに分割し，生成文の構成要素となる情報（以下，根拠情報）を個別に抽出する．続いて，抽出されたこれらの根拠情報に対し，サッカー固有のドメイン知識に基づく整合性制約を用いて，イベントの流れにおける矛盾の補正や欠落した情報の補完を行う．(ii)文章生成では，補正後のイベント情報列と試合映像に基づき視覚言語モデルThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).列𝐸を次ステップの入力とする．(2)ボール保持者特定本ステップでは，(1)で得たイベント列𝐸とGSRによる試合状態を入力とし，ム，保持選手，および位置情報を付与した構造化イベント列˜𝐸={(𝑡𝑖,𝑐𝑖,team𝑖,player𝑖,loc𝑖)}𝑀𝑖=1を出力する．まず，BASデータセットに付随するイベントごとの保持チーム（left/right）および時間情報を用いて，ボール保持側のサイドを特定するように学習したチーム認識モデルを用い，イベント時刻𝑡𝑖周辺の映像から保持チームteam𝑖を推定する（図2(2.1)）．次に，同チーム内でボールに最も近い選手を保持者player𝑖として特定する．図2(2.2)に示すように，前後𝐾フレーム（𝐾は奇数）における保持者推定結果の多数決を用いることで，選手遮蔽による誤判定を抑制する．距離計算については，足元のプレーではピッチ上の座標距離を，ヘディング等の空中プレーでは画像上のBBox間距離を用いることで，浮いているボールのピッチ平面への投影に伴う座標の歪みに対応する．最後に，ピッチ座標を「敵陣中央」等の領域名loc𝑖へ写像し，背番号等の属性情報とともに統合する．(3)イベントフロー補正・補完本ステップでは，前段で生成された構造化イベント列˜𝐸に対し，サッカードメイン知識に基づく遷移整合性制約を適用し，補正・補完を行う．少数のフレーム特徴のみから個別に検出されたイベントには，誤検出や欠落，あるいはサッカーの競技特性上不自然な遷移が含まれ得る．そこで本研究では，イベントフローの整合性を担保するため，以下の4つの処理を定義し適用する．(i)イベント変換：特定の状況下で発生したイベントを，文脈に即したより適切なイベント名へと置換する（例：自陣ボックス内でのハイパスをクリアに変換）．(ii)イベント補完：特定のイベント間に介在すべきイベントを補完する（例：相手のパスと味方のドリブルの間にインターセプトを補完）．(iii)イベント削除：サッカーの流れにおいて不整合なイベントを排除する（例：ボールアウト後はセットプレーのみ）．(iv)イベント結果加筆：後続イベントのボール保持チームや位置情報を参照し，アクションの成否情報を付与する．これらの処理を通じて，イベント列ˆ𝐸を，最終的な文章生成における根拠情報として用いる．(4)VLMによるテキスト速報生成図2(4)に示す最終ステップでは，(3)で精緻化された構造化イベント列ˆ𝐸と，元の試合映像をVLM（Gemini3.0ProPreview）への入力とする．プロンプトでは，ˆ𝐸に含まれる「誰が・どこで・何をしたか」という根拠情報に基づき，得点につながる可能性が高い重要シーンを優先的に記述するよう指示する．また，ファウル，交代，オフサイドについては，VLMの映像理解能力を活かして補完的に記述するよう誘導することで，時間的文脈の理解を要するイベントも反映した，事実整合性の高いテキスト速報を出力する．4実験目的と設定TD-SDKsが事実性において既存のE2E型手法より向上するかを，自動評価により検証org/licenses/by/4.0/).R-1:ROUGE-1,BS-F1:BERTScoreF1,QE:Qwen3-emb,LM-F1:LabelMatchF1）MethodB-1R-1BS-F1QELM-F1MatchVision0.230.230.840.640.57Gemini3.0ProPrev0.260.310.870.730.78TD-SDKsw/o映像0.310.3580.8820.7680.67TD-SDKs0.290.3620.8840.7730.79フロー補正・補完ありが多数決で勝った割合を示す．VLM入力#Fleiss’𝜅勝率95%CI𝑝値イベント列のみ400.2070.400.26–0.550.27イベント列と映像400.1940.580.42–0.710.43する．加えて，イベントフロー補正・補完および映像入力の寄与を，人手によるアブレーション評価により確認する．評価には，2019–20スイスリーグのスタンド俯瞰映像（テロップなし）から切り出した30秒クリップ（25FPS，164本）と，GSRデータ[6]のフレーム単位トラッキングアノテーションを用いた．対応する既存テキスト速報がないため，サッカー経験者が参照テキスト速報を新規作成した（英語1–3文，重要イベント優先，チームは色で言及，背番号は#12形式，中立表現）．初期検証として，画像認識で得られる情報に基づきテキスト速報が生成可能かを評価するため，根拠情報にはGSRのアノテーションを入力に用いた．比較対象は，Gemini3.0ProPreview，MatchVision[2]，および映像をVLMに入力しないTD-SDKsw/o映像である．自動評価には，BLEU-1[7]，ROUGE-1[8]，BERTScoreF1[9]，Qwen3-emb[10]（文章埋め込み類似度），LabelMatchF1を用いた．LabelMatchF1では参照文および生成文から抽出されたイベント種別集合の一致度をF1として算出した．一方，人手によるアブレーション評価では，イベントフロー補正・補完の寄与を検証するため，TD-SDKsの補正・補完あり／なしの2設定を比較し，VLM入力を「イベント列のみ」または「イベント列と映像」とする2条件で，各条件につき同一クリップに対する2出力を提示して3名が一対比較した．評価者には映像を参照して，どちらがより妥当（事実性が高い）かを選択する．結果多くの指標でE2E型手法を上回り，タスク分割に基づく段階的生成手法が事実性向上に寄与する可能性が示唆される．また，映像情報を統合した設定ではLabelMatchF1が大きく向上した．この結果は，構造化データのみでは捉えにくい試合状況の手掛かりを映像入力が補完し得ることを示唆している．表