正例・負例ペアの定義不要なクロスモーダル関係の定量化–歌詞とダンスのペアデータを対象として–

対照学習をはじめとする深層学習手法により，クロスモーダル関係をEnd-to-Endに定量化する研究が広く行われている．しかし，これらの手法は，学習時に正例・負例ペアが既知であることを前提としている．一方で，実データにおいては，どのペアが正例または負例に該当するかを事前に定義できない場合が多い．本研究では，正例・負例ペアを定義せずに，クロスモーダル関係をデータ駆動的に定量化する手法を提案する．歌詞とダンスのペアデータを対象とした分析により，多様な関係性を明らかにするとともに，歌詞に基づくダンス検索タスクにおいて，従来手法を大幅に上回る性能を達成した．