対照学習をはじめとする深層学習手法により，クロスモーダル関係をEnd-to-Endに定量化する研究が広く行われている．しかし，これらの手法は，学習時に正例・負例ペアが既知であることを前提としている．一方で，実データにおいては，どのペアが正例または負例に該当するかを事前に定義できない場合が多い．本研究では，正例・負例ペアを定義せずに，クロスモーダル関係をデータ駆動的に定量化する手法を提案する．歌詞とダンスのペアデータを対象とした分析により，多様な関係性を明らかにするとともに，歌詞に基づくダンス検索タスクにおいて，従来手法を大幅に上回る性能を達成した．

近年，対照学習やVision–LanguageModelなどに代表される深層学習手法の発展により，テキスト・画像・動画・音声・身体情報といった異なるモダリティ間の関係性をEnd-to-Endに学習するクロスモーダル学習が盛んに研究されている[1]．これらの手法は，複数モダリティを共通の表現空間に写像することで，高精度な検索や対応付けを実現してきた．一方で，これらの手法は学習時にモデルへ与えられるペアが，何らかの意味的関係を持つ「正例のペア」であることを前提としている．しかし，実世界に存在するクロスモーダルなペアデータにおいては，全てのペアが正例であるとは限らない．たとえば，「商品の紹介文と購買ログ」や「動画概要文と動画本編」といった性質の異なるクロスモーダルデータでは，一部のペアは関係性を持つ可能性はあるものの，すべてのペアが一様に関係性を持つとは考えにくい．また，どのペアが関係性を持つかは手がかりなしに自動推定することは容易ではない．そこで本研究では，データ中に局所的に存在するモダリティ１：歌詞モダリティ２：ダンスフレーム1フレームTフレーム1フレームTあなた好きがダンスエンコーダSentence-BERTK-meansクラスタリングK-meansクラスタリングy=4y=5y=5y=7y=7y=7y=2x=3x=3x=3x=3x=9x=1x=1PMI(x,y)=logP(x,y)P(x)P(y)PointwiseMutualInformationクロスモーダルペアの関係性を，正例・負例ペアを事前に定義せずに定量化する手法の構築を目的とする．その代表例として，関係性がデータ中の一部にしか存在しないと思われる「歌詞とダンス」のペアデータに着目する．ダンスの振り付けは歌詞から影響を受けることが指摘されており，たとえば「天国」という単語が歌われる際に，腕を天に向けて伸ばす動作が用いられる場合がある[2]．一方で，全てのダンスが歌詞に由来するわけではなく，多くのリズミカルな動作は歌詞よりも音楽の音響的特徴に誘発されていると考えられる．このように，歌詞とダンスの関係性は局所的にしか存在せず，どの歌詞とダンスが対応関係を持つかはデータ中で自明ではないため，これらの関係性を単純なEnd-to-End学習で捉えることは困難である．この技術的困難に対して，我々は歌詞とダンスの関係性を数値化するデータ駆動型手法[3]を提案する．本手法の根幹は，我々独自の「複数の楽曲にわたり同じ歌詞表現と同じダンスが繰り返し共起すれば，両者は意味的に対応している」とみなす考え方であり，本研究ではこれを「横断共起仮定」と名付ける．たとえば異なる楽曲で「ジャンプ」と歌われる瞬間にジャンプ動作が観測されるなら，この歌詞とダンスは対応しているとみなせる（ただし，「ジャンプ」に対して必ずジャンプ動作をするわけではなく，対応の強さは共起の度合いで評価する）．この横断共起仮定を実装に落とし込むために，Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).フレーム1フレームTダンス1歌詞NPMIダンス2歌詞NPMI評価する指標である．本研究では，横断共起仮定を反映するため，これら確率の計算に「共起が観測された楽曲数」を用いる．全楽曲数を𝑆とすると，𝑃(𝑥,𝑦)=#(𝑥,𝑦)𝑆,𝑃(𝑥)=#(𝑥)𝑆,𝑃(𝑦)=#(𝑦)𝑆と定義する．ここで#(𝑥,𝑦)は，同一フレーム内でコードブック𝑥と𝑦が共起した楽曲の数を表し，#(𝑥)および#(𝑦)は，それぞれ𝑥または𝑦が少なくとも一度出現した楽曲の数を表す．なお，共起が1曲でしか観測されない場合（#(𝑥,𝑦)=1）は，「複数楽曲にわたって繰り返し共起するペアのみを対応とみなす」という横断共起仮定を満たさないため，そのペアのNPMIは0として扱う．このNPMIに基づき，歌詞コードブック𝑥とダンスコードブック𝑦の置換コストを1−(1+NPMI(𝑥,𝑦))/2と定義する．挿入および削除のコストを1に固定した上で，この置換コストを用いて編集距離を計算したものをXMIEDとすることで，歌詞系列とダンス系列のクロスモーダルな関係性を，系列レベルで定量化することが可能となる．以上のようにXMIEDは，各モダリティのエンコーダの共同学習や追加学習を必要とせず，既存の学習済みエンコーダをそのまま利用できる点に特長がある．また，コードブックの頻度計算という単純な枠組みでありながら，正例・負例ペアを事前に定義できないクロスモーダルデータにも適用可能であり，高い汎用性と再利用性を備えた手法である．は青色のボックスおよびプラス記号で示される．図中の歌詞は，研究目的の引用として，ダンス1は「エイリアンエイリアン（作詞：ナユタン星人）」，ダンス2は「LoveTimer（作詞：emon(Tes.)）」より引用．4実験実験では，1,000曲分のペアデータを，訓練・開発・評価用に8:1:1の比率で分割した．歌詞の特徴ベクトルとして，多言語対応のsentence-BERT[9]の最終層から出力される単語ベクトルを用いた．これにより，部分的に英語を含む日本語楽曲の歌詞も扱うことができる．ダンスの特徴ベクトルの算出には，本研究が独自に設計したダンスエンコーダを用いた．このエンコーダは，人体骨格の関節をノードとするグラフ構造として表現し，GraphTransformer[10]を用いたオートエンコーダとして学習される．本研究で用いたエンコーダの構造および学習パラメータは付録Aに示す．4.1歌詞とダンスの関係性分析本節では，フレーム単位のクロスモーダル関係を表すNPMIが，実際のデータにおいてどのような関係を捉えているかを定性的・定量的に分析する．を示しており，歌詞とダンスの対応関係を視覚的に確認できる．たとえばダンス1では，感情語「好き」が歌われる瞬間に，複数の楽曲においてハート形のジェスチャーが観測されている．またダンス2では，「時計」など時間に関連する単語に対して，腕を用いて時計の針を模す動きが対応している．その他の対応例については付録Bに示す．これらの事例org/licenses/by/4.0/).分析単位件数割合(%)曲78178.10小節2,671