遠隔歯科診療に向けた
自撮り口腔内写真の利用可否判定手法
片山 洋平1

松井 智一1

松田 裕貴1

諏訪 博彦1,2

安本 慶一1

上田 啓太3

竹山 旭3

概要：口腔ケアは健康寿命の延伸に重要である．一方で，自身で口腔内の衛生状態を判断するのは難しく，歯科医師の支援が必要である．近年のオンライン診療の普及に伴い、歯科においても口腔内診断に関する研究がなされている．歯科のオンライン診療では，患者がスマートフォンで自身の口腔内を撮影し，歯科医師が遠隔で診療を行うことが望まれる．一方で患者にとって診断利用可能な画像かを判断することは困難であり，撮り直しが多発した結果としてオンライン診療を断念するおそれがある．そこで，本研究では患者の 5 枚撮影法によるスマートフォンでの自撮り撮影を想定し，口腔領域の検出および診断利用可否判定モデルを提案する．
キーワード：口腔健康管理，口腔内写真，オンライン診療支援

Abstract: Oral care is important for extending healthy life expectancy. On the other hand, it is diﬃcult tomanage oral hygiene on one’s own and requires the support of a dentist. In recent years, with the spread of
remote treatment, research has been conducted on online oral diagnosis. In online oral diagnosis, patientstake pictures of their own oral photo with a smartphone, and the dentist performs the examination remotely.
It is diﬃcult for the patient to determine whether the images are diagnostic and usable, and there is a riskthat the images may have to be retaken frequently. In this study, we propose a method for detecting oral
regions and determining whether or not they can be used for diagnosis, based on the assumption that patientstake selﬁes with their smartphones using the 5 angles image method.
Keywords: Oral health care, Oral cavity photo, Online diagnosis support system

1. はじめに第 44 回国家戦略特別諮問会議ではコロナ収束後もオンライン診療をあらゆる分野で積極的に活用する検討をしてい口腔ケアは健康寿命の延伸に重要であることが近年わるとの報告がされた [3]．一般的に歯科の診療は、歯科医かってきている．また，厚生労働省の提唱する「健康 21」で師が目視で行われるため、歯科のオンライン診療では、口は歯科疾患は自覚症状が伴わず発生することが多く，早期腔内の画像で口腔内の状況を伝えることが最も効果的とい診断・定期的な検診をすることが重要と記されている [1]．

える。そのためには、写真撮影や動画撮影などを患者自ら全身の健康を保つためには歯の状態を清潔に維持することが行う必要があるものの，奥歯や咬合面の撮影は患者が直は重要である一方で，自分で衛生状態を判断するのは難し接目視することができないため，容易ではない．また，患く，歯科医師や歯科衛生士の支援が必要である．さらに、者は歯科分野に関する専門知識は備えていないため，撮影

新型コロナウイルス感染症などの影響を受け、実際に歯科された口腔内写真が歯科医師が診療を行う上で十分な画像医院に赴き歯科医師の診断を受けることへのハードルが高であるか否か判断できない．場合によっては，撮り直しがまっている。このような背景から，歯科においてもオンラ発生し、オンライン診療を離脱してしまうという機会損失イン診療の需要が高まっている．日本国内でも政府が時限につながることが想定される．したがって，歯科のオンラ的に初診からのオンライン診療を解禁している [2]．また，イン診療を実現するためには，歯科医師が診断を行うこと

123

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
理化学研究所 革新知能統合研究センター
RIKEN Center for Advanced Intelligence Project
株式会社 NOVENINENOVENINE inc.

にあたって十分な画像を患者自身が撮影することを支援するシステムが必要であると考えられる．
遠隔で歯科診療を行う際には，複数の角度から撮影された口腔内写真が必要となる．熊谷ら [4] は歯科医師に対し

1

(a)

(b)

(c)(d)
図 1(e)

5 枚撮影法 [4] により得られる画像群て診断や治療経過の観察のための口腔内規格写真を提案しリスク判定を行なっている [7]．このように実際に患者が撮ている．これらの規格写真では 5 枚撮影法や 12 枚撮影法

影した画像をもとに，ある特定の口腔疾患やその予兆を自といったように写真組みを定義している．各撮影法では，動判定する研究はいくつか存在する [8, 9]．しかし，AI に側方面や咬合面といった多様な角度からの撮影を組み合わよる自動画像診断は研究としては存在するものの，あくませることで，口腔内の状態を網羅的に写真として保存する．

でも歯科医師等の診断をサポートするものであり，実用化

本研究では，患者の負担を最小限にするため，図 1 に示すには至っていない．またこれらの研究では「スマートフォような 5 枚撮影法を対象として自撮りで撮影する際の支援ンを用いた口腔内の撮影」が正しく行われることを前提とを行う．歯科の臨床現場においては、口を大きく開けるたしているが，自身の口腔内を自ら撮影することは日常的なめ、口角鉤を用いて撮影を行っており，道具を使わずに患撮影とは大きく異なり，正しく撮影することは非常に困難

者自身で十分に口を広げるのは困難である．アングルワイといえる．歯科の臨床現場にて診断等に活用されている 5ダーと呼ばれる開口器具は安価に入手可能であり、このア枚撮影法などに基づく撮影は，奥歯の側面の撮影なども含ングルワイダーを用いることで，不慣れな患者自身でも十まれ，患者が撮影することは容易ではない．また正しく撮分に広がった口腔内の撮影ができるようになると考えた．

影されていない画像に基づく診断は判断のあやまりを招く本研究では，患者が 5 枚撮影法の各角度に関して撮影時ため，歯科医師は適切な画像を共有してもらうために，何にスマートフォンを口にかざすことで，診断利用可能な画度も患者と画像をやり取りする恐れがある．現時点で，歯像を自動撮影する手法を提案する．提案手法ではアングル

科医師に診断を行ってもらう上で十分な口腔内画像を患者ワイダーにマーカを取り付け自動的に口腔領域の位置検出が容易に撮影できるように支援するシステムはなく，患者・を行い，深層学習により歯科診断可否判定を行うモデルを歯科医師・ネットワークの全てにおいて負荷の軽い仕組み構築する．提案手法は患者に対して撮影の補助，撮り直しが望まれている．の減少を提供し，歯科医師に対しては真に診断利用可能な画像のみを提供することが可能となる．したがって，本手法により患者・歯科医師のいずれに対しても負荷の少ないシステムを提供することができる．

2.2 自撮り支援に関する研究
自 撮 り 撮 影 を 補 助 し て い る シ ス テ ム と し て ，oh myteeth [10] では歯列矯正を遠隔で受ける患者のため，ス構築した診断利用可否判定モデルの性能評価実験では，マートフォンでの撮影時の画面に歯形を表示し，手振れ補21 人の口腔内画像を収集し，構築した診断利用可否判定モ正を行っている．これにより歯科医師が経過を確認できるデルの精度を検証した．

写真の撮影の補助を行っている．しかし，患者が画面を確

2. 関連研究2.1 歯科診療に関する研究認しながら正しい角度に近づけて行く必要があるため咬合面のように撮影時にスマートフォンの画面が見えない場合には適していない．より一般的な自撮り撮影の補助機能と近年，スマートフォンの普及や高画質化の影響により，してスマイルシャッター [11] がある．これは画像認識によ

患者の自撮り写真を口腔内疾患の診断やスクリーニング検り被撮影者の笑顔を検出することで，最も適したタイミン査に用いる研究が為されている．Liang らの OralCam [5]グで自動的にシャッターを切る機能としてデジタルカメラ

ではスマートフォンのインカメラで撮影された口腔内画像やスマートフォンに搭載されている．本研究でも同様に，に対して，深層学習により疾患の有無や場所を自動で画像患者がかざすスマートフォンから歯科医師の診断利用可能認識するシステムを提案している．東北大学と NTT ドコな画像をリアルタイムに検出し撮影を行う手法を提案する．

モは共同でスマートフォンで自撮りされた正面観の口腔画像から歯周病の自動検知の研究を行なっている [6]．また，ライオン株式会社は自撮り画像の舌に映る舌苔から口臭の3. 診断利用可否判定手法
本章では 5 枚撮影法を患者が撮影する支援をするため，

2

図 2 口腔内写真撮影フロー

図 3 AR マーカーを付与したアングルワイダーと正面観の検出結果

スマートフォン上で各角度に関して診断利用可能な画像か否かをリアルタイムに判断する手法を提案する．と，検出結果を示す．マーカーは 5 枚撮影法の各角度において少なくとも 2 枚が映り込むように 8 枚配置する．検3.1 口腔内写真撮影フロー

出は OpenCV の ArUco ライブラリ [15] を用いてスマート

図 2 に提案する口腔内写真撮影フローを示す．初めに患フォン上で各 AR マーカーを識別するための ID および位者は 5 枚撮影法の各角度で，背面カメラを自分の口にか置情報を取得する．正面観はアングルワイダーの表面に付ざす．初めにマーカーを用いて口領域の検出を行う．続いいている 4 枚から口領域を検出し，左右側方面観および上て，検出された口領域に対して深層学習モデルを用いて歯下顎咬合面観では口領域の縦横比率を定め，検出される 2科医師が診断利用可能な画像かを判定する．ここで診断利枚のマーカーの距離から抽出する口領域を算出する．ここ用可能とされた画像が現れた際にシャッターを切り，デーで検出された口領域画像を，続く診断利用可否判定モデルタベース上に保存する．これにより，患者は短時間で口腔の入力とする．

内の画像を撮影し，歯科医師は必要最小限の写真から診断を行うことが可能となる．写真の解像度は口腔内診断に影響すると考えられるため，スマートフォンの背面カメラで取得する．

3.3 診断利用の可否判定
患者が撮影した口腔内写真が診断に使えるか否かは，歯・歯肉の見え方や照明および画像の解像度など様々な要因が影響する．また，歯科医師は診療のため全ての歯について3.2 口領域の検出確認する必要がある．そこで本研究では，深層学習モデルリアルタイムに口腔内写真が診断利用可否か判定するである CNN [16] を用いて歯科医師が診断利用可能な口腔ため予め口領域を検出する．口領域の Bounding Box を画像か否かを判定するモデルを構築する．スマートフォン

抽出することは，後の診断利用の可否判定モデルの性能上での動作を行うため，2 層の畳み込み・プーリング層おを向上させるためにも重要である．昨今では高速かつ高よび 1 層の全結合層から成る 3 層で構成する．また，モデ精度なオブジェクト検出モデルとして YOLOv3 [12] やル学習時の過学習の抑制，学習の最適化を行うため，中間YOLOv3-tiny [13] が提案されている．これらのモデルは層にバッチ正規化層，ドロップアウト層を追加する．なお，ファインチューニングすることにより様々なタスクに適CNN のユニット数などのパラメータは経験的に設定して用できる一方で，モデル構成が複雑でありスマートフォンいる．利用可否の正解ラベルには，歯科医師が 5 枚撮影法上で十分な速度や精度を保って動作させることは難しい．の各角度について撮影要件を定め，歯科医師と歯科助手にそこで，本研究ではアングルワイダーにマーカーを設置より判定を行う．

し，マーカーの位置から口領域の検出を行う．マーカーに

CNN の学習において，歯列は個人差があるためデータは AR マーカーを用いる．早川らの研究 [14] では，複数のセットを擬似的に拡張することが有効であると考えられ

AR マーカーを歯ブラシの後端に付与してスマートフォンる．深層学習においてデータ拡張は有効性であるとされてのカメラで位置推定を行い歯磨き動作を検出している．こいる [17] が，本研究では拡張手法によっては診断利用可能のように，AR マーカーは従来の拡張現実を提示する目的であった画像が利用不可になる可能性があり，その都度正に限らず位置を取得する用途でも用いられることがある．

解ラベルを設定するのはコストが高い．したがって各角度

図 3 に本研究でアングルワイダーに付与した AR マーカーにおけるデータ拡張手法を提案する．

3

図 5図 4 ガウシアンフィルターを用いた学習用のぼかし画像の生成

各角度での交差検証の模式図

験では手動により口領域の切り出しを行い，それらの画像を用いた．ここで明らかに口領域が判断できない画像に関してはデータセットから除外する．同じ環境で撮影された

正面観・咬合面観のデータ拡張

データ同士を学習・テストデータに含めることは実際には正面観および上下顎咬合面観で利用可能な画像を拡張す不可能なため，図 5 に示すような，Leave-one-session-outる方法として左右反転を行う．また，利用可能な画像から，交差検証を行い適合率，再現率，F 値により評価する．1

不可な画像を拡張する方法としてぼかし・クロップ処理をセッションでは，すべての被験者が少なくとも 1 回は 5 枚行う．ぼかし処理の例を図 4 に示す．ここでマスク画像の撮影法における各角度で，口腔内を撮影する．本実験では，黒色部分は各角度において歯科医師が注目する場所を示す．

学習・評価に利用できる十分なデータ数を確保するため，この注目する部分にがウシアンフィルタをもちいてぼかし

21 名の被験者のうち 3 名が 2 度セッションを行っている処理を加えることで，利用不可な画像を擬似的に生成する．

ことから，合計で 24 セッションの交差検証によりモデル

またクロップ処理も同様に注目する場所が全て入らないよを評価する．

う左右にクロップを行い利用不可な画像を生成する．
側方面観のデータ拡張

4.2 実験結果

左右側方面観では歯科医師は奥歯を注目しているため，表 1 に本実験で用いたデータ，ならびに提案手法によるそのまま反転画像を用いることはできない．そこで反対側推定結果を示す．また，図 6 に各角度における推定結果のの側方面観の利用可能画像を反転したものラベルを変更せ混同行列を表示する．結果より，正面観が最も高い 84.3%ずに用いる．ぼかし処理では奥歯にぼかしを入れるマスクの F 値で判定可能であり，左側側方面観が最も低い 67.6%画像を作成し，利用不可な画像を擬似定に生成する．また，の F 値で判定可能であった．したがって，撮影方向によクロップでは奥歯を含むように切り出した際には利用可能

り，判定精度が異なることがわかった．に，奥歯が映り込まないように切り出した際には利用不可になるようにラベルを修正する．

4. 診断可否判定モデルの評価実験
提案する診断利用可否判定モデルの性能を評価するための実験を実施する．

全角度における精度として，適合率が高く，再現率が低い結果となった．実際のオンライン診療では，患者の所持するスマートフォンで連続的に画像を読み込み，診断可能と高いスコアで推定された画像のみをサーバへアップロードすることが想定される．一般に，適合率と再現率はトレードオフの関係である．適合率を向上させたシステムは，患者に長時間の撮影を求め，再現率を向上させたシステムは，4.1 実験内容歯科医師に不要な画像を確認させることとなる．ここで，評価実験では，5 枚撮影法により男女 21 名の口腔内画像

患者はスマートフォンで連続的に画像を取得するため，診を収集する．8 名は自宅で自撮りにより撮影を行い，13 名断利用可能な画像が取得できるまで撮影することはある程は歯科医院にて他撮りにより撮影された．すべての画像は度の許容が可能である．一方で，医師は受信した画像につスマートフォンの背面カメラを用いて撮影を行う．また，

いて 1 枚ずつ確認を行うため，そこで判定不可として却下

診断利用可否のラベルは歯科医師 1 名と歯科衛生士 1 名がするリスクを考慮すると，再現率よりも確実に診断に利用それぞれ行った．2 名の判定が異なる際には再度確認し，可能な確率を示す適合率の向上が求められる．また，適合双方の同意が得られる判定を取得した．実験結果にはこの率を向上させることは，不必要な画像データを判定用デー

2 名の判定の一致率についても表記する．

タプールへアップロードすることを防ぎ，トラフィックを診断利用可否判定モデルに関する評価を行うため，本実軽減することにも繋がる．

4

5 枚撮影法

正解ラベル

交差検証

一致率

適合率

再現率

F値

86.9%

81.9%

84.3%

88.8%

80.5%

58.3%

67.6%

右側側方面観

126 枚

83 枚

21 人

8.7 枚

5枚

25 枚

88.5%

87.4%

65.9%

75.1%

上顎咬合面観98 枚

80 枚

21 人

7.7 枚

1枚

27 枚

85.6%

82.5%

67.3%

74.2%

下顎咬合面観

105 枚

95 枚

21 人

8.3 枚

2枚

25 枚

89.7%

82.5%

76.2%

79.2%

0.76
(80)

0.24(25)

0.18
(17)

0.82
(78)

pos

neg

neg

(a) 正面観

0.19(17)

0.81
(73)

pos

neg

1.00
0.75
0.50
0.25
0.00

0.66
(83)

0.34(43)0.14(12)

0.86
(71)

Estimated Label

pos

neg

(b) 左側側方面観

1.00
0.75
0.50
0.25
0.00

0.67
(66)

0.33(32)0.17(14)

0.82
(66)

Estimated Label

pos

neg

(c) 右側側方面観Estimated Label

1.00
0.75
0.50
0.25
0.00

True Labelpos

Estimated Label

0.42(50)

True Label

0.86(81)0.58(70)

True Label

0.14(13)

1.00
0.75
0.50
0.25
0.00

True Label

0.18(19)

pos

95.3%

25 枚

neg

29 枚

3枚

pos

4枚

8.7 枚

neg

8.3 枚

21 人

pos

21 人

90 枚

neg

94 枚

120 枚

pos

105 枚

neg

正面観

pos

利用不可

neg

利用可
左側側方面観0.82(86)

True Label

表 1 データセットの内訳と交差検証結果
被撮影者数
平均枚数
最少枚数
最多枚数

撮影枚数

(d) 上顎咬合面観Estimated Label

1.00
0.75
0.50
0.25
0.00

(e) 下顎咬合面観図 6 5 枚撮影法における各角度の混同行列

4.3 考察よりモデルの評価を行った．その結果，F 値では正面観が診断利用可否判定モデルの評価では正面観が最も高い精最も高く 84.3%となり，左側側方面観が最も低く 67.6%と度を得た．正面観は利用可否のアノテーションに関して最なった．この要因として，正面観では正解ラベルの一致率も一致率が高く，どのような画像が利用可能か定義が明確が最も高いことから利用可否の判断を行う上で個人差が少であることが確認できる．一方で他の角度に関してはアノないためであると考えられる．今後の課題としては，被験テーションの一致率も 90%程度であり，診断利用の可否者数および各被験者のデータ数を拡張し学習することで汎判断における個人差が確認できる．このことは側方面や咬用的な可否判断モデルを構築するとともに，複数の歯科医合面の精度が正面観と比較して，低下している原因の 1 つ師のアノテーションを取得することにより多数の歯科医師として考えられる．本研究において，出力される診断利用が診療を行う上で診断利用可能であるというラベルを更新可能な画像は多くの歯科医師にとって利用可能であることする必要がある．また，スマートフォン上でマーカー検出が望ましい．アノテーションを行う歯科医師の人数を増やから口領域の切り出し，利用可否判断を行った際の認識精し，多数決によるアンサンブル学習 [18] を行うことでこれ度および認識速度を評価する必要がある．

らの課題を解決可能であると考えられる．
今回のデータセットでは，前歯が抜けている患者が 1 名含まれた．この患者から得られた画像は，他の患者の歯型と大きく離れているため，学習におけるノイズになったと謝辞 データ収集にあたり協力いただきました株式会社

NOVENINE のみなさま，画像のアノテーションにあたりご協力いただきました歯科医師の竹山先生，歯科衛生士の川口様に心より感謝申し上げます．

考えられる．他にも治療に FCK(銀歯) を利用している場
合や歯列が他の患者と比べて大きく異なる患者のように個人差が大きい画像が存在し，精度に影響した．これらの精度低下に関しては被験者数を増やすことにより改善可能で

参考文献[1]あると考えられる．
今後は，AR マーカーによる画像切り出しから構築した[2]

診断利用可否判定モデルまでのパイプラインを通した評価により，実際に患者が自宅で自撮りを撮影する際の運用における利用可否を評価する必要がある．

5. まとめ

[3]
[4]
[5]

本論文では，歯科のオンライン診療に向けた自撮り口腔内写真の利用可否判定手法の提案を行った．提案手法ではマーカーによる口領域の検出，CNN による診断利用可否判定のモデルの構築を行った．利用可否判定モデルの性能を評価するため，21 名を対象に 5 枚撮影法にもとづいたデータセットを収集し，Leave-one-session-out 交差検証に[6]

厚生労働省. 健康日本 21(歯の健康). 2000. https://www.
mhlw.go.jp/www1/topics/kenko21_11/pdf/b6.pdf(accessed on 18 Feb. 2021).
厚生労働省医政局医事課. 事務連絡「新型コロナウイルス感染症の拡大に際しての電話や情報通信機器を用いた診療等の時限的・特例的な取扱いについて」. 2020.
国家戦略特区. 第 44 回 国家戦略特別諮問会議. 2020.
熊谷崇, 熊谷ふじ子, 鈴木昇一. 新口腔内写真の撮り方. 東京 医歯薬出版, 2007.
Yuan Liang, Hsuan Wei Fan, Zhujun Fang, Leiying Miao,Wen Li, Xuan Zhang, Weibin Sun, Kun Wang, Lei He,
and Xiang’Anthony’ Chen. Oralcam: Enabling selfexamination and awareness of oral health using a smartphone camera. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp.
1–13, 2020.
東 北 大 学 大 学 院 歯 学 研 究 科 プ レ ス リ リ ー ス. 東 北大 学 と ド コ モ 、歯 周 病 発 見 Ａ Ｉ の 共 同 研 究 を 開 始,2019.
https://www.tohoku.ac.jp/japanese/2019/

5

[7]
[8]

[9]
[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

02/press-20190221-02-docomo.html (accessed on 18Feb. 2021).
ライオン株式会社. Repero, 2018. https://repero.
lion.co.jp/ (accessed on 18 Feb. 2021).
Guy Tobias and Assaf B Spanier. Modiﬁed gingival index(mgi) classiﬁcation using dental selﬁes. Applied Sciences,Vol. 10, No. 24, p. 8923, 2020.
歯っぴー. 歯っぴー, 2019. https://plaque-detection.
jimdofree.com/ (accessed on 18 Feb. 2021).
oh my teeth. oh my teeth, 2020. https://prtimes.
jp/main/html/rd/p/000000006.000048884.html (accessed on 18 Feb. 2021).
ソ ニ ー 株 式 会 社.
ス マ イ ル シ ャ ッ タ ー.
2007.
https://www.sony.jp/cyber-shot/products/
DSC-T70/feature_1.html (accessed on 18 Feb. 2021).
Joseph Redmon and Ali Farhadi. Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767,2018.
Pranav Adarsh, Pratibha Rathi, and Manoj Kumar.
Yolo v3-tiny: Object detection and recognition using one
stage improved model. In 2020 6th International Conference on Advanced Computing and Communication
Systems (ICACCS), pp. 687–694. IEEE, 2020.
早川修平, 吉田孝博, 半谷精一郎ほか. Ar マーカを装着した歯ブラシによる歯磨き位置測定手法の検討. 研究報告
コンピュータビジョンとイメージメディア (CVIM), Vol.
2019, No. 5, pp. 1–4, 2019.
Sergio Garrido-Jurado, Rafael Muñoz-Salinas, Francisco José Madrid-Cuevas, and Manuel Jesús Marı́nJiménez. Automatic generation and detection of highly
reliable ﬁducial markers under occlusion. Pattern Recognition, Vol. 47, No. 6, pp. 2280–2292, 2014.
Yann LeCun, Léon Bottou, Yoshua Bengio, and PatrickHaﬀner. Gradient-based learning applied to document
recognition. Proceedings of the IEEE, Vol. 86, No. 11,pp. 2278–2324, 1998.
Luke Taylor and Geoﬀ Nitschke. Improving deep learning using generic data augmentation. arXiv preprint
arXiv:1708.06020, 2017.
Maryam Sabzevari, Gonzalo Martı́nez-Muñoz, and Alberto Suárez. Vote-boosting ensembles. Pattern Recognition, Vol. 83, pp. 119–133, 2018.

6