実フィールドでの野鳥観測は自然環境理解や環境モニタリングのために重要である．本研究では，野鳥の観測を補助するための野鳥検索システムの構築を目指し，キーワード検索に加え，知識グラフ，音響情報での検索を可能とするためのマルチモーダルな埋込みからなる知識ベースを構築する．これらの複数のモダリティを組み合わせることで，単一モダリティでは見つけることが困難な関係性を互いに補うことで，より柔軟な検索システムの構築が期待できる．本研究では，その第一歩として，個別のモダリティ間のから得られる埋め込みベクトルの違いを分析し可視化することで，複数のモダリティを鳥種検索に用いることの重要性を確認した．

自然環境の理解や環境モニタリングのためには、周囲の動物や鳥の行動やコミュニケーションについて理解することが重要である。フィールドでの観測において野鳥の検索は，観測の補助を目的として古くから研究されており，有用なツールとして利用されている[1,2]．野鳥の検索には主にキーワードをベースとした一般的な検索のほかに，野鳥の写真から検索を行う画像ベースのものと鳴き声から検査奥を行う音響ベースにした検索が存在している．特に，フィールドでの野鳥の検索においては，木などの障害物によって実際に写真等を取るのが難しい場合においても，実際に聞こえた鳴き声を録音し，その録音音声から検索をするといったアプリケーションが有用であるため，音響ベースでの検索や識別が広く研究されている．これまでの既存の検索システムの多くは単一モダリティによる検索であり，複数のモダリティを用いた研究は限定的である．例えば，野鳥の画像識別においては，鳥種の検索をする際に，鳥種間の階層性や類似度を多面的に表現することの重要性が指摘されている[3]．そこで，画像識別のタスク以外の音声の検索においても分類系統やキーワード検索など複数のモダリティを統合した検索が重要であると期待できる．これを踏まえ本研究では野鳥の知識グラフ・自然言語によるキーワード・音響の観点からの三種類の埋込みを統合し，鳥種ごとにマルチモーダルな埋込みを用いた検索システムを提案する．まず，一つ目のモダリティでは，知識グラフから取得したグラフ埋め込みを利用しており，カテゴリ間の関係が階層的な構造を持つ場合，より近縁関係にあるもの同士の類似度が高いことが期待される．Wuらは「シェパード」のラベルの判別ミスの例として「プードル」と「高層ビル」を挙げ，後者がより深刻であると述べている[4]．犬種と同様に鳥種も階層構造を保持しており，同様のアナロジーによってイエスズメとスズメのペアは，カラスとスズメのペアより近いと言える．従って系統樹による鳥種間の類似関係を議論することは重要である．二つ目のモダリティは，英語および日本語表記の鳥種の名称をBERTに入力し得られる単語埋込みを用いる．これは，近縁に属する鳥種の名称同士は部分的に同じ表記を含んでいたり，同じようなコンテキストで単語が出現する場合が多いということを利用している．例えばイ.エスズメとスズメは，同じスズメ科スズメ属に属する近縁種である．最後のモダリティは，鳥の鳴き声の音響データを用いて学習したwav2vec21）によって得られた音声埋込みを用いる．鳥を含む生物全般の鳴き声の性質の要因として，体の大きさや構造，生息する環境が挙げられている[5]．音声埋込みを用いることで，こういった要因をもとにした類似関係の抽出が期待できる．これらのことで，単一モダリティでは見つけることが困難な関係性を互いに補うことで，より柔軟な検索システムの構築が期待できる．本研究では，その第一歩として，個別のモダリティ間のから得られる埋め込みベクトルの違いを分析し可視化することで，複数のモダリティを鳥種検索に用いることの重要性を確認したさらに本研究では複数のモダリティを組み合わせることの有効性を確かめるために，各モダリティごとに獲得した埋め込みベクトルの分析を行った．具体的には各モダリティごとに埋込みベクトルを作成し、鳥種間の類似度行列を作成した．この類似度を利用して，複数モダリティを複合した統合グラフを構築し，検索時に到達可能な情報のモダリティごとの違いについて考察を行った．この考察をもとにして，日英の単語埋込み・鳴き声の音声埋込み・知識グラフの埋込みを結合してマルチモーダルな埋込みを作成し，どのモダリティからでも検索可能な野鳥のマルチモーダル検索のための知識ベースを整備した．また，この知識ベースを用いて鳥種の検索システムのプロトタイプ実装を行った．