jh220056

CT 画像と深層学習を用いた骨格標本上の形態学的変異の可視化と発見
森田 尭（大阪大学）

概要
骨格標本は形態学・進化生物学・考古学における重要なデータであり、性・生物種・生活環境等に起因する骨格上の変異を発見することは大きな学術的意義を持つ。本研究の究極目的は、骨格標本を分析するニューラルネットワークの「着目点」を可視化し、これまで人間の研究者が見落としていた未知の形態学的変異を発見することである。その実現のための基盤技術として、2022 年度は骨格標本の効果的観測視点の学習手法の開発を実施した。微分可能レンダリング技術を活用し、標本分類に最適な仮想カメラの位置と向き (焦点) の機械学習を試行した。形態学における教科書的問題であるニホンザルの下顎の雌雄分類課題で学習を実行したところ、164 検体という限られた訓練データから、各カメラで 73.43–99.94% の分類正答率を達成し、さらに形態学的に妥当な観測視点を自動抽出した。

1 共同研究に関する情報
1.1

2 研究の目的と意義

共同研究を実施した拠点名

骨格標本は形態学・進化生物学・考古学にお• 大阪大学 サイバーメディアセンター
1.2

ける重要なデータであり、性・生物種・生活環境等に起因する骨格上の変異を発見することは大課題分野

きな学術的意義を持つ。既存の骨格標本分析手• データ科学・データ利活用課題分野
1.3

法では、専門家が骨格標本上で同定した特徴的共同研究分野 (HPCI 資源利用課題のみ)

領域やランドマーク点に基づいて変異を検出してきた (図 1 左)。しかし、人間の目視に依存し• 超大規模データ処理系応用分野
1.4

た分析は常に客観性・再現性の担保の問題がつ参加研究者の役割分担

きまとい、新たな形態学的発見をもたらす独創• 森田尭 (大阪大学産業科学研究所・代表者)的な視点との両立は容易ではない。

役割: 研究総括。機械学習技術の開発。

本研究の究極目的は骨格標本を分析するニ• 西村剛 (京都大学・副代表者)

ューラルネットワークの「着目点」を可視化し、役割: 機械学習結果の形態学的考察。

これまで人間の研究者が見落としていた未知の形態学的変異を発見することである (図 1 右)。
専門家が持つ知見 (変異を含む箇所の位置情報1既存手法

提案手法

人間の目視に基づく...

研究項目1「どこに変異？」

変異検出に最適な分類器

カメラ位置
特徴的領域

ランドマーク

同定

設置

例：性別分類を自動学習(性差検出の場合)

研究項目2「どのような変異？」
画像翻訳器
オス検体

測量→差異の検出

変異をメス風に変換

差分で表現

未知の形態学的変異の発見

図 1: 既存の分析手法 (左) と提案手法 (右)。

等) をニューラルネットワークの訓練に用いず、 学的変異なのかについては可視化できない。後ニューラルネットワーク自身が独自の根拠に基者の問いに答えるためには、形態学的変異をシづいて標本を分析するように設計する。究極目ミュレートし、人工的に骨格標本を生成するこ的達成に向け、最新の画像処理技術を応用したとが有効である。このシミュレーション・標本

骨格標本分析用ニューラルネットワークを構築

生成を、実データからの画像翻訳によって実現し、既に形態学的変異に関する知見が蓄積されする (Zhu et al., 2017, ICCV )。変換前後の標ているデータを用いて当該手法の性能評価を行本を比較することで、形態学的変異の質的可視うことが本研究における至近目的である。

化が可能となる。

2022 年度は、2 つの研究項目を設定した (図3 当拠点公募型研究として実施した

1 右上)。第 1 に、骨格標本の効果的観測視点の意義学習手法の開発を主要目的に設定した。研究代
表者らの先行研究では事前設定した複数視点を本研究は形態学的新発見をもたらす機械学習用いたモデルを採用したが、この手法では不要技術を開発する学際的研究である。また、研究な視点の画像処理にも計算資源 (GPU メモリ)体制も、機械学習を専門とする代表・森田と形態を割くため探求可能なモデルの選択肢が狭まる。 学の専門家である西村が協力する、学際性の高この問題を解決すべく、本研究では微分可能レいものである。したがって、本研究は、情報科ンダリング技術 (Kato et al., 2018, CVPR 等)

学分野と応用分野の研究者による学際共同研究を応用した視点最適化学習を試みた。の推進を目指す学際大規模情報基盤共同利用・さらに、画像翻訳技術を用いた骨格標本分析 共同研究拠点の公募課題趣旨に合致している。
手法の探求を第 2 の目的として設定した (図 1

また、本研究では 3D データを用いた画像処右中)。第 1 の目的である観測視点の最適化学習 理の機械学習を行うため、大規模な GPU メモ
では、骨格標本上の「どこに」形態学的変異が存 リを必要とする。今年度使用した大阪大学の在するのかを人間が理解可能な形で可視化する SQUID システムでは、40GB の GPU を 8 枚搭ことが可能となるが、それが「どのような」形態 載した計算ノードが提供されており、本研究実2施に最適であった。

標本上の特徴領域が移らない視点が多く選択されてしまい、形質変換がなされない恒等写像に4 前年度までに得られた研究成果の陥ってしまった (変換なしでも分類器を騙すこ概要とができる状態になってしまった)。これらの失本研究に先立ち、研究代表者らは畳み込み 敗を受け、敵対的形質変換以前に観測視点の学ニューラルネットワーク (CNN, 具体的には 18

習技術開発 (本研究項目 2) が急務であると判断

層 ResNet; He et al., 2016, CVPR) を用いたし、2022 年度主要課題に設定した。

マカク属の下顎の骨格標本をデータとして用

5 今年度の研究成果の詳細

いた性別分類 (図 2)、及び分類時の CNN の着目領域の可視化を行った (Morita et al., 2022,

骨格標本上の「どこに」形態学的変異が存在すAJBA)。当該手法は未知のデータに対して 90% るのかの自動同定 (研究項目 1) について、微分可以上の分類精度を達成し、また可視化された着能レンダリング技術 (Kato et al., 2018, CVPR

目領域は専門家のそれと同様に犬歯や筋突起・ 等) を応用し、骨格標本上の変異検出に最適な仮下顎枝部分に分布していた (図 3)。以上のこと

想カメラの位置・焦点の自動学習技術を開発しから機械学習を用いた形態解析が一定の実用性た。3 次元空間上設置された 3 台の仮想カメラを秘めていることが分かった。一方で、CNN の の位置と向き (焦点) の座標をそれぞれ学習可能
着目領域可視化手法は解像度を著しく落としたパラメータとして設定し、このパラメータを基形でしか得られず、将来的に細部の分析が必要に骨格標本のレンダリング画像を得た。このレとなった際に適用できないことが予見される。 ンダリング画像を入力として、CNN にニホンザ(例えば、標準的な解像度である 224 × 224 ピク ルの下顎の雌雄分類課題を解かせ、分類学習のセルを入力した場合、可視化される着目領域は一環として、カメラの位置と向きを最適化した。

7 × 7 ピクセルの出力をアップサンプルして得

本研究のデータには、京都大学 Digital Mor-ることになる。) また離散的分類に特化した手phology Museum で公開されているニホンザ法であるため、年齢や各種生理学的指標等の連ルの下顎の骨格標本の Computed Tomography続量の変化が骨格標本上でどのように反映され(CT) を使用した。CT データをポリゴンメッるかを可視化するには新たな手法の開発が必要シュデータに変換し、このメッシュデータに対となる。本研究が探求する新手法は、分析解像して微分可能レンダリング技術による視点学習度・連続量分析双方の問題を解決する可能性をを行った。使用可能な標本が全 178 検体 (内訓秘めている。

練用データ 164 検体) と、深層学習用データと2021 年度の萌芽課題では、本研究項目 2 に しては極めて少ないため、過学習防止のためのあたる敵対的骨格標本形質変換を、複数視点及データ拡張が必要であった。研究代表者らの先びランダム視点を用いた形で取り組んだ。当初

行研究 (Morita et al., 2022, AJBA) では、仮想取り組んだ複数視点学習では申請時に見積もっカメラの位置に ±5 度程度の水平摂動を与える

たよりも GPU メモリの消費量が大きく、大阪ことで過学習を防いだが、本研究はカメラの位大学 SQUID システムを用いてもメモリ不足と置の学習を目的とするため、当該手法は利用でなった。この結果を受けて単一のランダム視点きない。そのため、標本の表面色や背景色 (グを用いた手法に切り替えたところ、今度は骨格レースケールでの白さ)、標本への光の当て方

3

Azimuthal Noise-5°≤ ε ≤ 5°

CNNCombine

ForM

図 2: 先行研究で用いた多視点モデル (Morita et al., 2022, AJBA)。

AI推論時の空間重要度情報

低解像度

7x7~14x14 pxs

引き伸ばし(内挿)
入力画像との重ね合わせ

図 3: 図 2 のモデルによる雌雄分類時の着目領域の可視化 (Morita et al., 2022, AJBA)。

等、レンダリング時のパラメータをランダムに設定するデータ拡張を試行した。また、カメラ位置と焦点を結ぶ直線に対する直行面での回転

図 4: Class Activation Map (CAM; Zhou et al.,は、理論的には分類精度に影響しないはずであ2016, CVPR 他) を用いる CNN 着目領域可視化手るため、この回転をランダムに行うデータ拡張法の概要。圧縮された空間特徴量を内挿して元の画も実施した。

像サイズに引き伸ばすため、可視化結果はぼやける。

骨格標本上には複数箇所の形態学的変異が存在する可能性があるため、本研究では 3 台の仮想カメラの同時学習を試みた。しかし、3 台のを学習した際に、特徴的領域が中心に来るとはカメラに自由な学習を許すと、着目領域が重複限らない。そのため、着目領域可視化で用いらする可能性があるため、他のカメラの方が近いれる Class Activation Map(CAM; Zhou et al.,距離にある標本部分をマスクする実装を行った。 2016, CVPR) を算出し、中央部分が周辺よりもまた、CNN はレンダリング画像の角の情報も大きくならないよう制御する損失関数を加えた捉えることができるため、単に分類精度の向上(CNN には影響せず、カメラのみに影響するよ4図 5: 微分可能レンダリングによる仮想カメラの位置・向きの学習結果。橙色で示した点はカメラの焦点 (=画像中心点)。上段：犬歯への着目結果の例。下段：筋突起への着目結果の例。

うに設計)。

検体を観測した場合に近い画像の学習が可能と機械学習プログラムの実装には、PyTorch (深 なり、テスト時の頑健性向上が期待される。
層学習基盤; Paszke et al., 2017, NIPS )、及び

6 今年度の進捗状況と今後の展望

PyTorch3D (微分可能レンダリング; Ravi etal., 2020, arXiv ; Jognson et al., 2020, SIG- 今年度の進捗状況
GRAPH ) を採用した。

研究項目 1 として設定した骨格標本上の「ど全 178 検体中 14 検体をテストデータに、残こに」形態学的変異が存在するのかの自動同定

り 164 検体を訓練データに使用する cross vali-については、技術開発が概ね完了し、先述の非dation を 10 回実施した結果、各カメラあたり 近傍標本面のぼかし処理学習を試行しつつ、論73.43–99.94% の正答率を達成した。さらに、カ 文発表に向けて考察をまとめている状況である。
メラの位置・向きの学習結果は、犬歯や筋突起、 進捗状況は、90% である。
下顎枝といった、形態学的に妥当な結果が多く一方で、研究項目 2 として設定した「どのよ見られた (図 5)。このことから、微分可能レンうな」変異が存在するのかの可視化については、

ダリングによる骨格標本の観測視点学習は、形2022 年度後期 (11 月以降) の実施を計画してい態学特徴領域の同定に有用性を持つことが示唆たが、電気代高騰の影響で後期の利用可能計算資された。

源が実質 1/3 になった影響で、当該研究項目の一方で、3 台のカメラの相補学習のために導入 実施に至る前に配分された計算資源を使い切っした標本マスキングの結果、テスト時にマスクてしまった。そのため、研究項目 2 はコード開を外した際の分類精度が約 45–75% 程度まで著発のみの実施となり、進捗状況は 10% である。

しく低下する結果を得た。この結果を受け、マ

今後の展望

スク部分を完全に不可視とせず、ガウシアンぼ2022 年度実施に至らなかった研究項目 2(「どかしで曖昧にする手法を現在試行中である。ぼのような」変異が存在するのかの可視化) についかし具合をランダムに変更することで、完全なて、2023 年度学際大規模情報基盤共同利用・共5

Male

学習済

Real or Fake

GAN
(敵対的)

CycleGAN"ToFemale"

分類器

CycleGAN
形質変換器

正確な復元を目指す

MaleorFemale

Female-ish

無変換・変換後の分類"To Male"(例：Male) を当てる

Male-ish(協調的)学習後–変換前 (Male)「どのような」=変換後 (Female-ish)

変異かを差分可視化

図 6: CycleGAN による骨格標本分析。

同研究拠点公募研究の継続課題として採択され、 国際会議プロシーディングス
画像翻訳技術を応用した骨格標本分析技術の開（査読あり）• T. Morita, R. O. Tachibana, K. Okanoya,

発を進めている。

H. Koda. “On the relation between con-

具体的な画像翻訳技術には、CycleGan を採用

text dependency and vocabulary in hu-

する方針で実装を進めている (Zhu et al., 2017,

man language and birdsong”, Proceedings

ICCV )。当該手法は、入力となる骨格標本の形

of the Joint Conference on Language Evo-

質を変換するモジュール (図内青色) と、変換

lution 2022, pp. 517–524, 5 September,

前後の標本の形質及び変換の有無を推定するモ

2022.

ジュール (図内橙色) からなる ANN を訓練す

国際会議発表る。形質変換モジュールは入力標本の分析対象（査読なし）該当なし。

形質を任意のカテゴリに変換する (図ではオス

国内会議発表→ メス)。このとき、(1) 変換後の標本画像は無（査読なし）• “CT 画像と深層学習を用いた骨格標本上変換画像と区別不可能となるほど現実的なものの形態学的変異の可視化と発見”, 第 14 回となり、且つ (2) 個体差等の分析対象形質に無JHPCN シンポジウム, 東京, 7 July, 2022.

関係な要素は保持していることが望ましい。(1)• “Towards biological discoveries throughの学習目標達成には敵対的学習 (GAN) の枠組

the eyes of AI”, 室蘭工業大学異分野研究みを用いる。(2) の学習目標については、変換後セミナー, 室蘭, 25 May, 2022.の画像を再変換し (図ではメス → オス)、元の入力の復元を目指すことで実装する。

公開したライブラリ等該当なし。

7 研究業績一覧（発表予定も含む）

その他（特許，プレス発表，著書等）• “CT 画像と深層学習を用いた骨格標本上の学術論文 （査読あり）

形態学的変異の可視化と発見”, サイバーメ該当なし。

ディア HPC ジャーナル, 12, pp. 33–36,September, 2022.

6

• “動物音声認識のための教師なし機械学習”,
生産と技術, 74 (3), pp. 45–47, June, 2022.

7