口腔内画像撮影支援システムの提案
片山 洋平1,a)

松井 智一1

佐藤 佑磨1

中岡 黎1

Chang Xin1

Dang Chenyu1

松田 裕貴1

概要：口腔ケアは健康寿命の延伸に重要である．一方で，自身で口腔内の衛生状態を管理するのは難しく，専門の医師の支援が必要である．近年のリモート診療の普及に伴いオンラインでの口腔内診断に関する研究がなされている．これらの研究では，ユーザがスマートフォンで自身の口腔内を撮影した画像から診断を行っている．撮影に慣れていないユーザにとって診断利用可能な画像かを判断することは困難であり撮り直しが多発する．そこで本稿では口腔内画像撮影支援システムについての提案を行う．予備調査として9 名の被験者に対し支援が無い場合に 5 枚撮影法の各角度の撮り直し回数や，ユーザの主観による撮影困難な角度について調査した．アンケートから最も撮影が困難な角度は上顎咬合面間であり上下咬合面では4 名の被験者が 5 回以上の撮り直しを行ったとの回答を得た．この結果により本提案システムの必要性が確認された．そこで，本稿では 5 枚撮影法によるスマートフォンでの撮影を想定し，「1. 歯領域の有無判定」，「2. 診断利用の可否判定」，「3. アシスト」の 3 ステップの支援フローからなるシステムを提案する．

1. はじめに
近年，オンラインによるリモート診療が盛んである．日
本でも COVID-19 の影響で政府が時限的に初診からのオンライン診療を解禁している [1]．また，第 44 回国家戦略

ステムでは，そうした撮影に不慣れな利用者の撮影時の負担を軽減するとともに，歯科医師の手元に診断可能な画像を正確に提供することを目指す．

2. 関連研究特別諮問会議ではコロナ禍の収束後もオンライン診療を積Liang らの OralCam [4] ではスマートフォンのインカメ極的に活用する検討がされた [2]．オンライン診療の普及

ラで口腔内を撮影し，疾患の有無や場所を画像認識しユーにより患者が医師の診断を受ける機会が増えることが予測ザに認識させるシステムを提案している．しかし，スマーされる．健康寿命の延伸において口腔ケアが重要であるこ

トフォンで口腔内を撮影する際にアシストする機能がないとが近年わかってきている．また，厚生労働省の提唱するためユーザの負担が大きい．またインカメラで撮影される「健康 21」では歯科疾患は自覚症状が伴わず発生することため低画質により診断に影響する可能性が考えられる．

が多く，早期診断・定期的な検診をすることが必要と記さ

口腔内疾患の画像認識についての研究は多数あり，東北れている [3]．このように健康であるために口腔内を清潔大学と NTT ドコモが共同でスマホの口腔画像から歯周病に維持することは重要である一方で，自身で衛生状態を管の自動検知の研究を行なっている [5]．また，ライオン株式理するのは難しく，専門の医師の支援が必要である．以上

会社が口腔内の舌画像に映る舌苔から口臭のリスク判定をより，遠隔で歯科医師が患者の口腔診断が可能なシステム行なっている [6]．これらの研究はスマートフォンで撮影が求められている．

された画像からの自動診断を行っており，システムの利用

本研究では，オンライン診断を実施する上で診断に利用者が撮影する際の負担については考慮されていない．

可能な画像の撮影を支援するシステムを提案する．予備調

熊谷ら [7] は口腔内画像の撮影方法として 5 枚撮影法や査の結果，遠隔診療のためにユーザが自身の口腔内がス12 枚撮影法など複数の角度から撮影する方法を提案していマートフォンの画角に収まっているかを確認しながら，撮る．提案システムではユーザの負担を最小限にするため 5影を行うことは難しいことが明らかとなった．特に撮影に枚撮影法を採用する．この手法により実際に撮影されるそ

不慣れな利用者の場合，写真の撮り直しが多発するため，れぞれの画像を図 1 に示す．被撮影者のプライバシーの保撮影時にはアシストが必要であると考えられる．本提案シ護のため一部トリミングを行っている．正面と左右側方面の撮影にはマウスオープナーを使用する．この利用により

1a)

奈良先端科学技術大学院大学
Nara Institute of Science and Technology
katayama.yohei.kr7@is.naist.jp

撮影に不慣れな利用者でも十分に口を広げることが可能となる．

(a)

(b)

(c)
(d)
図 1(e)5 枚撮影法により得られる画像群
表 1 5 枚撮影法における各角度の撮り直し回数

鏡

マウス
オープナー
スマートフォン

撮り直し回数

0回

1回

2回3回

4回

5 回以上

正面観

2人

3人

2人

0人

0人

2人

右側側方面観0人

4人

2人

1人

1人

1人

左側側方面観0人

3人

3人

2人

0人

1人

上顎咬合面観0人

2人

0人

2人

1人

4人

下顎咬合面観

0人

3人

1人

1人

0人

4人

※マウスオープナー無し

正面観図 2右側側方面観上顎咬合面観予備調査における写真撮影中の被験者例

面観では口を広げた状態で後頭部を下げた姿勢で撮影するためスマートフォンのディスプレイを鏡越しに確認することが難しいことが考えられる．また，左側側方面観が挙げられた要因として，利き手が右手のユーザでは画面を見な

本研究では、熊谷らの 5 枚撮影法に基づき口腔内画像をがらの微調整が難しいためであると考えられる．表 1 に各撮影することを想定し，ユーザが各角度の撮影を行う際に角度での「撮り直し回数」を示す．最も撮影が困難であるリアルタイムな撮影アシストを行う口腔内画像撮影支援シと回答された上顎咬合面観について 7 名が 3 回以上と回答ステムを構築する．

した．また，上顎咬合面観と下顎咬合面観について 4 名が3. 予備調査

5 回以上の撮り直しを行ったと回答した．この結果より，主観的に困難と感じられる角度は正しく撮影できず再撮影

予備調査として，撮影アシストが無い状態での口腔画像の回数が増加した．ユーザの撮り直しを減らし，負担を軽の撮影がどの程度難しいのかを，20 代の男女 9 名を対象減させるためにも提案システムによる撮影支援が必要であとした実験により調査した．実験の際にはあらかじめ 1 時ると考えられる．

間程度のインストラクションを被験者に対して実施し，5枚撮影法の各角度の撮影方法と診断利用可能な画像がどの4. 口腔内画像撮影支援システムようなものかについて教示した．被験者はスマートフォン

予備調査から，不慣れなユーザにとって口腔内の撮影をのビデオモードを用いて各角度の写真を撮影する．図 2 に正確に行うことは難しいことが明らかとなったため，本章撮影中の被験者例を示す．正面観，左側（右側）側方面観

では撮影に用いるスマートフォンを用いてユーザをアシスの撮影時にはマウスオープナーを使用し撮影するが，上顎トする口腔内画像撮影支援システムを提案する．

（下顎）咬合面観の撮影時にはマウスオープナーは使用せずに撮影を行う．

4.1 システム要件

アシストがない状態での撮影がどの程度難しかったかの提案システムの要件は次の 2 点である．1 点目は歯科医フィードバックを得るため，実験終了後に被験者アンケー師が口腔内を診断するのに必要十分な画像群を撮影できるトを行った．アンケート項目には「最も撮影が簡単な角ことである．2 点目はユーザに対する撮影中のリアルタイ度」，「最も撮影が困難な角度」とそれぞれの角度についてムな支援を提供できることである．まず，医師が診断を行「撮り直し回数」を設定した．

うのに必要十分な画像群について説明する．熊谷らは診断アンケートの結果，「最も撮影が簡単な角度」についてを行う際に口腔内画像の多様性と品質が重要であるとしては 8 名が正面観と回答し，1 名が左側側方面観と回答した．

いる．ここで多様性がある画像は口腔内の状態について複これは目の前にスマートフォンをかざすため，微調整が容数の角度から捉えており，診断する上で十分な情報量を持易であったためであると考えられる．一方で「最も撮影がつものを示す．また，品質が高い画像とは鮮明で判断に支困難な角度」については，7 名が上顎咬合面観と回答し，2障がない画像であることを示す．提案システムでは，多様名が左側側方面観と回答した．この要因として，上顎咬合性のある画像を取得するため熊谷らの提案する 5 枚撮影法

を利用する．また，画像の品質を高めるため深層学習により診断利用の可否を自動判定を行う．

4.2 口腔内画像撮影支援フロー
口腔内画像撮影支援システムの構成を図 3 に示す．撮影はユーザがフラッシュを起動したスマートフォンの外カメラを自身の口に向け，鏡越しにディスプレイを確認することで画角を調整することを想定する．5 枚撮影法のそれぞれの角度について，診断利用可能な画像が捉えられた際図 3に撮影を終了する．診断利用が不可能な画像が続く場合は口腔画像撮影支援システムの構成図ユーザに対してアシストを行う．以下ではリアルタイムアシストのための「1. 歯領域の有無判定」，「2. 診断利用の可詳細な情報を伝達するのに適していないと考えられる．こ否判定」，「3. アシスト」の 3 ステップを説明する．

れらの 3 種類の方法についてユーザ評価を用いて最適な方リアルタイムな処理を実現するため，「1. 歯領域の有無法を検討する．

判定」をスマートフォン上で行う．提案システムでは，オ提案システムではこれらの 3 ステップをリアルタイムにブジェクト検出のタスクで高速かつ高精度なモデルである処理することで短時間にユーザが診断利用可能な画像を取YOLOv5 をファインチューニングする．ここで学習には得する支援を行う．

予備調査により得られた歯の Bounding Box を利用する．5

5. おわりに*1枚撮影法のそれぞれの角度に対して個別の検出モデルを構築する．ユーザに対しては検出された歯の Bounding Box

本稿ではオンライン診断のための口腔内画像撮影支援シをスマートフォンのディスプレイに表示することでフィーステムについての提案を行った．予備調査として，撮影アドバックを行う．

シストが無い状態での口腔画像の撮影を 9 名の被験者で実「2. 診断利用の可否判定」は歯や歯茎の見え方により決施した．調査では 5 枚撮影法での各角度についての撮り直定される．そこで画像に対する歯の有無だけでなくより詳し回数やユーザの主観による困難な角度について回答を取細な識別が可能なモデルが求められる．提案システムでは得した．アンケート結果から最も撮影が困難な角度は上顎「1. 歯領域の有無判定」により歯が検出された画像に対し咬合面観であり，上下咬合面観では 4 名の被験者が 5 回以て，サーバ側で CNN を利用し判定を行う．画像に加えて上の撮り直しを行ったとの回答を得た．これらからユーザYOLOv5 で検出された Bounding Box の情報も特徴量とに対してリアルタイムな撮影アシストが必要とされることして利用する．正解データには実際の歯科医師が判定したが示された．そこで，本稿では 5 枚撮影法によるスマートラベルを利用する．

フォンでの撮影を想定し，「1. 歯領域の有無判定」，「2. 診診断利用可能な画像が捉えられない場合は「3. アシスト」
が必要となる．ユーザは鏡越しにスマートフォンのディス断利用の可否判定」，「3. アシスト」の 3 ステップの支援フローからなる提案システムを提案した．

プレイを確認するため，動かす向きが反転し通常よりも口オンラインでの口腔診断はまだ一般的ではなく，現状でを画像内に収めることが困難となる．提案システムではは利用者と医師の双方の負担が大きい．本提案システムで「ディスプレイ表示」，「音声ガイド」，「バイブレーション」

は，リアルタイムアシストにより利用者の撮影の負担を減の 3 種類のアシスト方法を検討する．ここで指示内容とらし，診断利用の可否判定により医師の負担を軽減するこ

しては顔に対する平行移動，顔に対する垂直移動（近づけとができるため，今後のオンライン口腔診断の基礎になるる），回転が考えられる．
「ディスプレイ表示」では端的にと考える．今後は本稿で提案した様々なアシスト方法につ正確な情報が伝えられる一方で，上顎咬合面観や下顎咬合いて，実際に構築したシステムによる被験者実験により効面観を撮影している場合はユーザが鏡越しに画面を確認し果を調査する．

にくい問題がある．「音声ガイド」ではユーザが画面を見る必要なくアシスト内容を伝えることができる一方で，ガ参考文献

イドの読み上げが開始した際に，他の情報を割り込ませる[1]ことができないためリアルタイムなアシストができない可能性がある．「バイブレーション」ではユーザに対し直感的に画像が診断利用不可であることを伝えられる一方で，*1

Ultralytics LLC, YOLOv5, available on https://github.
com/ultralytics/yolov5

[2]
[3]
[4]

厚生労働省医政局医事課. 事務連絡「新型コロナウイルス感染症の拡大に際しての電話や情報通信機器を用いた診療等の時限的・特例的な取扱いについて」. 2020.
国家戦略特区. 第 44 回 国家戦略特別諮問会議. 2020.
厚生労働省. 健康日本 21(歯の健康). 2000.
Yuan Liang, Hsuan Wei Fan, Zhujun Fang, Leiying Miao,Wen Li, Xuan Zhang, Weibin Sun, Kun Wang, Lei
He, and Xiang’Anthony’ Chen. Oralcam: Enabling self-[5]

[6]
[7]

examination and awareness of oral health using a smartphone camera. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1–13,
2020.
東 北 大 学 大 学 院 歯 学 研 究 科 プ レ ス リ リ ー ス. 東 北大 学 と ド コ モ 、歯 周 病 発 見 Ａ Ｉ の 共 同 研 究 を 開 始,
2019. https://www.tohoku.ac.jp/japanese/2019/02/
press-20190221-02-docomo.html.
ライオン株式会社. Repero, 2018. https://repero.lion.
co.jp/.
熊谷崇, 熊谷ふじ子, 鈴木昇一. 新口腔内写真の撮り方. 東
京 医歯薬出版, 2007.