深層学習を用いた歯科パノラマX線写真
からの動脈硬化検出
関西大学 システム理工学部 電気電子情報工学科教授 棟安 実治2024年2月29日

研究背景と動機• 歯科医で撮影される歯科パノラマX線写真に石灰化が発見されることがある• 患者に動脈硬化の兆候があることを告知できる• 医科への受診を促し、早期治療につなげる• 歯科医はこのような読図を専門とするわけではない
歯科医への支援となる
石灰化領域検出システムが必要
2024年2月29日

新技術説明会1

歯科パノラマX線写真

顎骨歯科医への支援となる石灰化領域検出システムが必要
石灰化

咽頭

2024年2月29日

新技術説明会

脊椎
背骨

頸動脈
頸動脈
石灰化

2

石灰化のある画像の例

2024年2月29日

新技術説明会3従来手法とその問題点（特徴量ベースのアプローチと問題点）

250

200

150

輝度値

石灰化の特徴と考えられるもの• 石灰化領域上の輝度値は極大となっている• 画像の下部25％の中にあることが多い• 画像の右端あるいは左端にある• 比較的に円に近い形状を持つ

10050• あいまいな手がかりしかないので、有効な特徴量がわからない

0050

100150200250
座標300350400450• 石灰化候補領域の検出（輝度極大のみ）• 誤検出の排除（形状の仮定が正しいかどうかも疑問の余地がある）• パラメータが多すぎる• 事前実験によるチューニングが必要• 汎用性があるかどうかがよくわからない• 誤検出が減らない、検出精度が向上しない
2024年2月29日

新技術説明会4従来手法とその問題点（深層学習を用いたアプローチ）• 物体検出器を適用• YOLOV3[1]を適用• SSD[2]とYOLOV3を同時に適用
物体の形状という有用な特徴を利用できないた
め性能向上に限界• セマンティックセグメンテーションを適用• Enhanced-PraNetを用いた手法[3]• U-PraNetを用いた手法[4]
物体の正確な形状を利用できるため認識の精度を上げられる
物体検出器の例
2024年2月29日

新技術説明会セマンティックセグメンテーションの例
5

従来手法とその問題点（深層学習ベースのアプローチの問題点）••

検出器の構造の問題• 物体検出器やセマンティックセグメンテーション単体では、人為的に決定するパラメータの導入が避けられない• セマンティックセグメンテーションに用いるネットワークの性能も必ずしも高くない

学習用データの問題• 学習に利用できるデータ量が少ない• 健常者（石灰化を含まない）と非健常者（石灰化を含む）の2種類のデータがある• タスクによって有効なデータが異なる• 石灰化領域は画像全体に対してかなり小さい• 頸動脈の相対的な位置などの情報をうまく使えているかどうかが疑問

以上の問題から実用的なシステムは存在しない
2024年2月29日

新技術説明会6

提案手法の概要

1. セグメンテーションモデルと深層学習を用いた識別器を組み合わせた新たな石灰化領域の検出手法の開発
2. 高性能なセグメンテーションモデル（TransCaraNet）の開発• 健常者（石灰化を含まない）データの有効利用• 小さな石灰化領域の発見に対応した手法の開発• 頸動脈の相対的な位置などの大域的な情報を有効利用する手法の開発

3. 学習において、タスクによって有効なデータが異なるという問題の解決
以上から、85%の検出精度（従来は76%）を達成
2024年2月29日

新技術説明会7

提案手法（新たな検出器の構造）
セグメンテーションモデルと深層学習を用いた識別器を組み合わせた
新たな石灰化領域の検出手法
出力画像

前処
理

セマンティック
セグメンテーション（TransCaraNet）

識別器（Res2Net）

石灰化あり石灰化なし

入力画像
2024年2月29日

新技術説明会8解決法（TransCaraNet）①初期ガイダンス領域推定機構

初期ガイダンス領域推定機構
1. Transformer[7]とCNNを併用
2. Transformerの大域的な特徴量とCNNの局所的な特徴量を融合
3. 健常者データを用いたMasked
Autoencoder(MAE)[8]の適用②境界推定機構

境界推定機構1. 脳腫瘍セグメンテーションに用いられるCaraNet[9]の機構を導入
2. 非常に小さい対象物体に対して正確な境界を求めることが可能
2024年2月29日

新技術説明会9

提案手法（タスクによって有効なデータが異なる）
タスク1

タスク2

Semantic Segmentation

識別器

パラメータを共有
勾配が競合

形状情報を学習

石灰化の有無を学習
石灰化なしも含むデータ
石灰化なしも含むデータ

石灰化ありのみのデータ

少なくともどちらか一方の性能が向上しない方向に更新ベクトルが決定され、汎化性能を下げる
2024年2月29日

新技術説明会10提案手法（マルチタスク学習の適用）

前処理

segmentation Loss

Discriminator Loss

Semantic Segmentation

識別器( TransFuse )Res2NetNash-MTL

Nash-MTL[10]① タスクごとの勾配を求める② 集約アルゴリズムを用いて勾配を結合（N人協力型交渉問題として定式化）③ 結合された勾配を用いてSingle-Task Learningとしてパラメータを更新
2024年2月29日

新技術説明会11

実験条件1(データセット）
データセット1（セグメンテーションの評価用）

データセット2（識別の評価用）

1141(491)

1141(491)

訓練データ

491831検証用データ

6193

テストデータ141232(141)

データセット*MAEの事前訓練用データ

括弧（）内は石灰化ありの画像枚数* 画像は松本歯科大学から提供されたもの

2024年2月29日

新技術説明会12実験条件2(その他）
タスク

セグメンテーション

画像解像度

352×352

データ拡張

ランダム回転，水平反転，Color Jitter

評価尺度

mDice, mIoU

エポック数
バッチサイズ

2024年2月29日

識別

Accuracy, F値, AUC
10016

新技術説明会413

実験結果 TransCaraNetの評価
データセット1を使用（石灰化領域が存在するデータのみ）
model

mDice mIoU

PraNet [11]

0.6

0.48

CaraNet [9]

0.604

0.481

U-PraNet [4]

0.616

0.491

TransFuse (w/o MAE) [12]

0.618

0.489

TransFuse(w/ MAE)

0.637

0.514

TransCaraNet (w/o MAE)

0.639

0.517

提案手法 TransCaraNet (w/ MAE)

0.658

0.534

CNNベースTransformerベース

2024年2月29日

新技術説明会14

実験結果 検出器の評価
データセット2を使用
U-PraNet（従来手法）

TransCaraNet（提案手法）

Accuracy

0.759

0.849

F-measure

0.796

0.875

Specificity

0.736

0.813

AUC

0.756

0.879

• 従来手法（U-PraNet)に対して優位• Accuracyが9.5%，F値が8.5%，AUCが8.6%向上
2024年2月29日

新技術説明会15

実験結果 MTLの評価
データセット2を使用
識別器のみ学習

MTLの適用U-PraNet
TransCaraNet
U-PraNet
TransCaraNet（従来手法） （提案手法） （従来手法） （提案手法）
Accuracy

0.668

0.763

0.759

0.849

F-measure

0.645

0.791

0.778

0.875

Specificity

0.934

0.802

0.857

0.813

AUC

0.785

0.822

0.811

0.879

MTLによる全体のチューニングの有効性を確認
2024年2月29日

新技術説明会

16

まとめ• 歯科パノラマX線写真の石灰化領域検出に関する新技術を紹介• 新しい検出器のアーキテクチャの提案• セグメンテーションモデルと識別器を結合したモデル• Transformerを用いた新たなセグメンテーションモデルTransCaraNetを提案し、適用• 検出器の学習方法としてMTL（Nash-MTL）を適用• 従来手法よりAccuracyが9.5%，F値が8.5%，AUCが8.6%向上

2024年2月29日

新技術説明会17

想定される用途• 本技術の特徴を生かすためには、歯科パノラマX線撮影装置製造に適用することで、大きな付加価値を与えられると考えられる• 上記以外に、一般的な画像診断装置についても性能向上が得られることも期待される• また、達成された結果に着目すると、一般的な物体検出器として様々な分野に展開することも可能と思われる

2024年2月29日

新技術説明会18実用化に向けた課題• 検出精度を可能な限り100%に近づけていく必要がある• 今後、より多くの歯科パノラマ写真による実験データを取得し、実用化に必要なパラメータチューニングを行っていく必
要がある• 実用化に向けて、現在必要とされる計算量、メモリ量を低減して、一般の歯科パノラマ撮影装置に搭載可能な技術を確立する必要もある

2024年2月29日

新技術説明会19

企業への期待• 検出精度の向上については、より多くのデータによる学習を行うことにより克服できると考えている• 医用画像に関する研究開発を行っている企業との共同研
究を希望する• また、深層学習を非破壊検査などへ展開しようと考えている企業にとっても本技術の導入が有効と思われる

2024年2月29日

新技術説明会20

本技術に関する知的財産権• 発明の名称 ：識別装置、学習装置、識別方法、学習方法、識別プログラム、および学習プログラム• 出願番号 ：特願2023-190310• 出願人：学校法人関西大学、学校法人松本歯科大学• 発明者：棟安実治、吉田壮、内田啓一

2024年2月29日

新技術説明会21参考文献•

[1] Y. Yamazaki, M. Muneyasu, S. Yoshida, A. Asano, K. Uchida, Y. Ishioka, N, Yoshinari, and A. Taguchi, “Improvement of detection accuracy ofcalcified area from dental panoramic radiograph using deep learning,” IEICE Tech. Report, SIS2019-24, pp. 5–10, 2019.

•[2] Liu, Wei, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng Yang Fu, and Alexander C. Berg. "SSD: Single shot multibox
detector." In 14th European Conference on Computer Vision, ECCV 2016. Springer Verlag, 2016.

•[3] T. Murano, M. Muneyasu, S. Yoshida, K. Chamnongthai, A. Asano, K. Uchida, N. Dewake, Y. Ishioka, and N. Yoshinari, “Detection of Calcification
Regions from Dental Panoramic Radiographs Based on Semantic Segmentation Using Deep Learning,” Proc. 2021 International Workshop on Smart
Info-Media Systems in Asia, online, Sept.20–22, pp.122-127, 2021.

•[4] T. Murano, M. Muneyasu, S. Yoshida, K. Chamnongthai, A. Asano, and K. Uchida, “New Method of Detecting Calcification Regions in Dental
Panoramic Radiographs Based on U-PraNet,” Proc. 2021 20th International Symposium on Communication and Information Technologies (ISCIT),Tottori, Japan, Oct.20–22, W1-3, pp.11-14, 2021.

•[5] T. Murano, M. Muneyasu, S. Yoshida, A. Asano, and K. Uchida, “Detection of Calcification Regions from Dental Panoramic Radiograph Based onSemantic Segmentation Using Transformers,” IEICE Tech. Report, 2023.

•[6] Gao, Shang-Hua, et al. "Res2net: A new multi-scale backbone architecture." IEEE transactions on pattern analysis and machine intelligence 43.2
(2019): 652-662.

•[7] ] A. Vaswani et al., “Attention Is All You Need,” Adv. Neural Inf. Process. Syst., vol. 2017-Decem, pp. 5999–6009, Jun. 2017, Accessed: Jun. 03,2021. [Online]. Available: http://arxiv.org/abs/1706.03762.

•[8] K. He, X. Chen, S. Xie, Y. Li, P. Doll’ar, and R. B. Girshick, “Masked autoencoders are scalable vision learners,” in Proc. IEEE/CVF Conference on
Computer Vision and Pattern Recognition (CVPR), pp. 15979–15988, 2022.[9] A. Lou, S. Guan, H. Ko, and M. H. Loew, “CaraNet: context axial
reverse attention network for segmentation of small medical objects,” arXiv: 2108.07368v3, 2022•

[10] A. Navon, A. Shamsian, I. Achituve, H. Maron, K. Kawaguchi, G. Chechik, and E. Fetaya, “Multi-task learning as a bargaining game,”
arXiv:2202.01017, 2022.

•[11] ] D.-P. Fan, G.-P. Ji, T. Zhou, G. Chen, H. Fu, J. Shen, and L. Shao, “PraNet: Parallel Reverse Attention Network for Polyp Segmentation,”
arXiv:2006.11392, 2020.

•[12] Y. Zhang, H. Liu, and Q. Hu, “TransFuse: Fusing Transformers and CNNs for Medical Image Segmentation,” Lect. Notes Comput. Sci.., vol.
12901 LNCS, pp. 14–24, 2021, doi: 10.1007/978-3-030-87193-2_2

2024年2月29日

新技術説明会22

お問い合わせ先
関西大学
産学官連携センター
Mail：sangakukan-mm@ml.kandai.jp

2024年2月29日

新技術説明会23