(57)【要約】【課題】口腔内写真に基づく口腔癌の診断において、誤診断の可能性を低減させる。【解決手段】口腔癌診断装置１０は、口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の口腔癌に関する疾患を診断する装置であって、ユーザの口腔内の部分を撮像した部分画像を複数取得する取得部１１と、部分画像における反射部分の除去または反射部分を含まない部分画像の抽出により、反射部分を含まない部分画像を取得する除去部１３と、除去部１３により取得された部分画像を含む複数の部分画像を合成して口腔内写真を生成する生成部１５と、口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定する判定部１６と、口腔癌に関する疾患の有無及び状態に関する判定情報を出力する出力部１７と、を備える。【選択図】図２
2020054444.tif 000002
【特許請求の範囲】
【請求項１】
口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の口腔癌に関する疾患を診断する口腔癌診断システムであって、
前記ユーザの口腔内の部分を撮像した部分画像を複数取得する取得部と、
前記部分画像において反射が生じている領域である反射部分の除去または前記反射部分を含まない部分画像の抽出により、前記反射部分を含まない部分画像を取得する除去部と、
前記除去部により取得された部分画像を含む複数の部分画像を合成して前記口腔内写真を生成する生成部と、
前記口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定する判定部と、
前記判定部により判定された、口腔癌に関する疾患の有無及び状態に関する判定情報を出力する出力部と、
を備える口腔癌診断システム。
【請求項２】
前記除去部は、前記部分画像に含まれる各画素の画素値に基づいて当該部分画像が前記反射部分を含むか否かを判定し、前記取得部により取得された複数の部分画像から、前記反射部分を含まない部分画像を抽出する、
請求項１に記載の口腔癌診断システム。
【請求項３】
前記除去部は、前記部分画像における前記反射部分を所定の画像処理技術により除去する、請求項１に記載の口腔癌診断システム。
【請求項４】
前記取得部は、口腔内における同一の部分を異なる方向から撮像した複数の部分画像を取得し、
前記除去部は、前記部分画像に表されている前記部分の射影方向を所定の方向に合わせるように複数の前記部分画像を変換し、口腔内における同じ部分を表す画素が互いに対応付けられるように位置合わせをして前記複数の部分画像を加算平均合成することにより、前記反射部分が除去された部分画像を取得する、
請求項３に記載の口腔癌診断システム。
【請求項５】
前記生成部は、前記口腔内写真から、歯が表された領域である歯領域を所定の画像処理技術により除去し、
前記判定部は、前記生成部により前記歯領域が除去された前記口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定する、
請求項１〜４のいずれか一項に記載の口腔癌診断システム。
【請求項６】
前記出力部は、前記判定情報を、前記ユーザとは異なる医師の第１の端末において出力させ、
前記判定情報の出力に応じて前記第１の端末に対して入力された、疾患の診断に関する診断情報が、前記ユーザの第２の端末において出力される、
請求項１〜５のいずれか一項に記載の口腔癌診断システム。
【請求項７】
前記出力部は、前記判定情報を、前記第２の端末において出力させる、
請求項６に記載の口腔癌診断システム。
【請求項８】
前記取得部は、前記部分画像の撮像時における、当該部分画像を撮像した装置において検出された角速度及び加速度のうちの少なくとも一方の検出値が関連付けられている前記部分画像を取得し、
前記口腔癌診断システムは、
所定値以上の前記検出値が関連付けられた前記部分画像を、前記生成部による口腔内写真の生成に用いられる部分画像から除外する前処理部、をさらに含む、
請求項１〜７のいずれか一項に記載の口腔癌診断システム。
【請求項９】
前記取得部は、１以上の画素からなる領域ごとに撮像対象までの距離を示す深度が関連付けられている前記部分画像を取得し、
前記口腔癌診断システムは、
深度に基づいて前記部分画像の各領域の輝度を補正する補正部、をさらに含む、
請求項１〜８のいずれか一項に記載の口腔癌診断システム。
【請求項１０】
コンピュータを、口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の口腔癌に関する疾患を診断する口腔癌診断システムとして機能させるための口腔癌診断プログラムであって、
前記コンピュータに、
前記ユーザの口腔内の部分を撮像した部分画像を複数取得する取得機能と、
前記部分画像において反射が生じている領域である反射部分の除去または前記反射部分を含まない部分画像の抽出により、前記反射部分を含まない部分画像を取得する除去機能と、
前記除去機能により取得された部分画像を含む複数の部分画像を合成して前記口腔内写真を生成する生成機能と、
前記口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定する判定機能と、
前記判定機能により判定された、口腔癌に関する疾患の有無及び状態に関する判定情報を出力する出力機能と、
を実現させる口腔癌診断プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、口腔癌診断システム及び口腔癌診断プログラムに関する。
【背景技術】
【０００２】
口腔内の画像に基づいて、種々の疾患が診断されている。疾患の診断は、例えば、医師による画像の目視及び画像解析等により行われる。疾患の診断には、主として口腔内写真が用いられる。口腔内写真は、口腔内の所定の領域を表した複数の画像からなる。なお、口腔内写真の一例として、所定の口腔内規格写真が用いられる場合がある。口腔内写真を構成する各画像は、口腔内の部分を表した複数の画像を重畳領域に基づいて合成する、いわゆるパノラマ画像として生成される。また、口腔内画像に基づいて、う蝕検出のために歯の表面の画像の分類をする技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１４−５０９９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
口腔内の疾患の１つである口腔癌の診断は、診断の対象部分の色及び形状等に基づいて行われる。精度の高い診断を行うためには、口腔内写真において対象部位が正しく表されている必要がある。しかしながら、通常に撮影された口腔内の画像では、唾液により反射が発生する場合がある。このような画像において、反射が発生した箇所は、色等が実際の状態と異なって表される。反射が生じている部分を含む画像に基づいて口腔癌の診断が行われると、誤診断が発生する可能性がある。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、口腔内写真に基づく口腔癌の診断において、誤診断の可能性を低減させることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一形態に係る口腔癌診断システムは、口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の口腔癌に関する疾患を診断する口腔癌診断システムであって、ユーザの口腔内の部分を撮像した部分画像を複数取得する取得部と、部分画像において反射が生じている領域である反射部分の除去または反射部分を含まない部分画像の抽出により、反射部分を含まない部分画像を取得する除去部と、除去部により取得された部分画像を含む複数の部分画像を合成して口腔内写真を生成する生成部と、口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定する判定部と、判定部により判定された、口腔癌に関する疾患の有無及び状態に関する判定情報を出力する出力部と、を備える。
【０００７】
また、本発明の一形態に係る口腔癌診断プログラムは、コンピュータを、口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の口腔癌に関する疾患を診断する口腔癌診断システムとして機能させるための口腔癌診断プログラムであって、コンピュータに、ユーザの口腔内の部分を撮像した部分画像を複数取得する取得機能と、部分画像において反射が生じている領域である反射部分の除去または反射部分を含まない部分画像の抽出により、反射部分を含まない部分画像を取得する除去機能と、除去機能により取得された部分画像を含む複数の部分画像を合成して口腔内写真を生成する生成機能と、口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定する判定機能と、判定機能により判定された、口腔癌に関する疾患の有無及び状態に関する判定情報を出力する出力機能と、を実現させる。
【０００８】
上記の形態によれば、反射部分が含まれない部分画像に基づいて口腔内写真が生成される。このように生成された口腔内写真に基づいて口腔癌の診断が行われることにより、誤診断の可能性を低減できる。
【発明の効果】
【０００９】
口腔内写真に基づく口腔癌の診断において、誤診断の可能性を低減させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る口腔癌診断システムの装置構成を示す図である。
【図２】本実施形態の口腔癌診断装置の機能的構成を示すブロック図である。
【図３】口腔癌診断装置のハードブロック図である。
【図４】ユーザの端末の機能的構成を示す図である。
【図５】医師の端末の機能的構成を示す図である。
【図６】診断の対象となる口腔内の各部分を模式的に示す図である。
【図７】部分画像及び複数の部分画像に基づいて合成されたパノラマ画像の例を示す図である。
【図８】除去部による、反射部分を含まない部分画像の抽出処理の例を示す図である。
【図９】反射部分を含む複数の部分画像及び反射部分が除去された部分画像の例を模式的に示す図である。
【図１０】除去部による反射部分の除去の処理内容を示すフローチャートである。
【図１１】生成部により生成される口腔内写真の例を示す図である。
【図１２】歯領域が除去された口腔内写真を示す図である。
【図１３】判定部による口腔癌の有無及び状態の判定処理のフローチャートを示す図である。
【図１４】口腔癌の進行レベルの判定の結果の情報の例を示す図であって、口腔癌の可能性のある箇所がマークされた口腔内写真を模式的に示す図である。
【図１５】本実施形態の口腔癌診断方法の処理内容の例を示すフローチャートである。
【図１６】ユーザの端末における処理内容の例を示すフローチャートである。
【図１７】医師の端末における処理内容の例を示すフローチャートである。
【図１８】口腔癌診断プログラムの構成を示す図である。
【発明を実施するための形態】
【００１１】
本発明に係る口腔癌診断システムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１２】
図１は、本実施形態に係る口腔癌診断システムの装置構成を示す図である。口腔癌診断システム１は、口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の口腔癌に関する疾患を診断するシステムである。図１に示す口腔癌診断システム１は、口腔癌診断装置１０並びにユーザの端末２０及び医師の端末３０を含み、口腔癌診断装置１０及び端末２０，３０は、ネットワークＮを介して互いに通信可能である。
【００１３】
口腔癌診断装置１０は、例えば、サーバ等のコンピュータにより構成されるが、口腔癌診断装置１０を構成する装置は限定されない。端末２０，３０は、例えば、据置型又は携帯型のパーソナルコンピュータ、高機能携帯電話機（スマートフォン）等により構成されるが、端末２０，３０を構成する装置は限定されず、例えば携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末でもよい。なお、図１では、例として各１台の端末２０及び端末３０が示されているが、その数はこれに限定されない。
【００１４】
図２は、本実施形態に係る口腔癌診断装置１０の機能的構成を示す図である。本実施形態の口腔癌診断装置１０は、口腔内写真に基づいてユーザの口腔内の口腔癌に関する疾患を診断する装置である。口腔内写真は、口腔内の疾患を診断するために取得される口腔内を撮像した写真である。口腔内写真は、例えば、口腔内の所定の領域を表した複数の画像からなる。
【００１５】
図２に示すように、口腔癌診断装置１０は、機能的には、取得部１１、前処理部１２、除去部１３、補正部１４、生成部１５、判定部１６及び出力部１７を備える。なお、本実施形態では、口腔癌診断装置１０は、図２に示すような１つの装置により構成されているが、口腔癌診断装置１０に含まれる各機能部が複数の装置に分散されて構成されてもよい。口腔癌診断装置１０の各機能部については後に詳細に説明する。
【００１６】
なお、図２に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
【００１７】
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting  unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
【００１８】
例えば、本発明の一実施の形態における口腔癌診断装置１０は、コンピュータとして機能してもよい。図３は、本実施形態に係る口腔癌診断装置１０のハードウェア構成の一例を示す図である。口腔癌診断装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
【００１９】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。口腔癌診断装置１０のハードウェア構成は、図２に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００２０】
口腔癌診断装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
【００２１】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central  Processing  Unit）で構成されてもよい。例えば、図１に示した各機能部１１〜１７などは、プロセッサ１００１で実現されてもよい。
【００２２】
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、口腔癌診断装置１０の各機能部１１〜１７は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【００２３】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random  Access  Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る棚割情報生成方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【００２４】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact  Disc  ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
【００２５】
通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【００２６】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
【００２７】
また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
【００２８】
また、口腔癌診断装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＰＬＤ（Programmable  Logic  Device）、ＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
【００２９】
図４は、本実施形態のユーザの端末２０の機能的構成を示す図である。図４に示すように、端末２０は、画像取得部２１、画像送信部２２、判定結果受信部２３及び判定結果提示部２４を備える。また、端末２０は、画像センサ２５及びディスプレイ２９を含む。
【００３０】
画像センサ２５は、撮像対象の画像を光学的に取得するセンサである。また、端末２０は、深度センサ２６を含んでもよい。深度センサ２６は、赤外線により、対象までの距離を示す深度を取得するセンサである。
【００３１】
また、端末２０は、加速度センサ２７及び角速度センサ２８を含んでもよい。加速度センサ２７は、端末２０において生じた加速度を検出するセンサである。角速度センサ２８は、端末２０において生じた角速度を検出するセンサである。
【００３２】
画像取得部２１は、画像センサ２５により撮像された部分画像を取得する。部分画像は、口腔内の部分を撮像した画像である。画像取得部２１は、複数の部分画像を取得する。
【００３３】
画像取得部２１は、部分画像の取得時において深度センサ２６により検出された、撮像対象までの距離を示す深度を取得できる。これにより、画像取得部２１は、１以上の画素からなる領域ごとに深度が関連付けられた部分画像を取得できる。
【００３４】
また、端末２０は、部分画像の取得時の加速度を加速度センサ２７により検出し、検出値を部分画像に関連付けて送出できる。また、端末２０は、部分画像の取得時の角速度を角速度センサ２８により検出し、検出値を部分画像に関連付けて送出できる。
【００３５】
複数の部分画像は、それぞれが静止画として取得されてもよいし、動画像として取得された各フレームから抽出されたものであってもよい。これにより、画像取得部２１は、口腔内における同一の部分を撮像した複数の部分画像を取得できる。さらに、画像取得部２１は、口腔内における同一の部分を異なる方向から撮像した複数の部分画像を取得できる。本実施形態では、ユーザが、端末２０を用いて、自らの口腔内の画像を撮像することができる。
【００３６】
画像送信部２２は、画像取得部２１により取得された複数の部分画像を口腔癌診断装置１０に送信する。画像送信部２２は、各部分画像の取得時にセンサにより検出された検出値を、部分画像に関連付けて送信できる。検出値は、加速度センサ２７により検出された加速度及び角速度センサ２８により検出された角速度の少なくとも１つを含むことができる。
【００３７】
判定結果受信部２３は、判定情報を口腔癌診断装置１０から受信する。判定情報は、口腔癌に関する疾患の有無及び状態に関して口腔癌診断装置の判定部１６により判定された結果を示す情報である。口腔内の口腔癌に関する疾患の判定は、画像送信部２２により送信された複数の部分画像に基づいて口腔癌診断装置１０の判定部１６において実施される。判定の結果は、例えば、疾患の箇所がマークされた口腔内写真及び発見された疾患に関するコメント等を含む。また、判定結果受信部２３は、口腔癌診断装置１０から端末３０に送信された判定情報を、端末３０を介して受信してもよい。
【００３８】
また、判定結果受信部２３は、診断情報を端末３０から受信する。診断情報は、医師による口腔癌に関する疾患の診断の結果を示す情報であって、口腔癌診断装置１０から端末３０に送信された判定情報及び口腔内写真を参照した医師により端末３０において入力された情報である。なお、診断情報は、ユーザの受診の要否に関する受診要否情報を含んでもよい。また、判定結果受信部２３は、端末３０から口腔癌診断装置１０に送信された診断情報を、口腔癌診断装置１０を介して受信してもよい。
【００３９】
判定結果提示部２４は、判定結果受信部２３により受信された、診断情報をディスプレイ２９に表示させる。また、判定結果提示部２４は、判定情報をディスプレイ２９に表示させてもよい。
【００４０】
図５は、本実施形態の医師の端末３０の機能的構成を示す図である。図５に示すように、端末３０は、受信部３１、提示部３２、受付部３３及び送信部３４を備える。また、端末３０は、ディスプレイ３５を含む。
【００４１】
受信部３１は、口腔癌に関する疾患に関する判定の結果を示す判定情報を口腔癌診断装置１０から受信する。判定情報は、例えば、疾患の箇所がマークされた口腔内写真及び発見された疾患に関するコメント等を判定の結果として含むことができる。
【００４２】
提示部３２は、受信部３１により受信された判定情報をディスプレイ３５に表示させる。これにより、判定情報を医師に提示することができる。
【００４３】
受付部３３は、端末３０に対して医師により入力された診断情報を受け付ける。即ち、医師は、提示部３２により提示された判定情報及び口腔内写真等を参照できるので、これらの参照に基づいて、医師は自らの知見及び経験に基づく診断の結果を端末３０に入力できる。受付部３３は、このように入力された診断の結果を診断情報として受け付ける。なお、医師は、判定情報及び口腔内写真等の参照に基づいて、ユーザの受診の要否を検討できる。そして、医師は、ユーザに受診を促すための受診の要否に関する受信要否情報を診断情報に含めさせて入力できる。
【００４４】
送信部３４は、診断情報をユーザの端末２０に送信する。これにより、診断情報は、ユーザの端末２０において提示されることができる。また、送信部３４は、診断情報を、口腔癌診断装置１０を介して端末２０に送信してもよい。この場合には、口腔癌診断装置１０の出力部１７が、送信部３４からの診断情報を端末２０に転送し、診断情報を端末２０において出力させる。
【００４５】
再び図２を参照して、口腔癌診断装置１０の各機能部について説明する。取得部１１は、ユーザの口腔内の部分を撮像した部分画像を複数取得する。具体的には、取得部１１は、端末２０の画像センサ２５により撮像された部分画像を取得する。
【００４６】
図６は、本実施形態の口腔癌診断システム１において診断の対象となる口腔内の各部分を模式的に示す図である。本実施形態において、診断の対象となる部分は、いわゆる口腔内規格写真に表される部分並びに図６に示される舌ｄ１、頬粘膜ｄ２、硬口蓋ｄ３、臼後三角ｄ４及び歯肉ｄ５である。頬粘膜ｄ２は、頬の内側を覆っている組織である。硬口蓋ｄ３は、口腔の天井部分である。臼後三角ｄ４は、親知らずの後方の領域である。取得部１１は、これらの診断対象となる部分が表された部分画像を取得する。
【００４７】
図７は、部分画像及び複数の部分画像に基づいて合成されたパノラマ画像の例を示す図である。図７に示すように、取得部１１は、例えば、歯列の正面右側の部分画像Ａ０１、正面中央の部分画像Ａ０２及び正面左側の部分画像Ａ０３を取得する。これらの部分画像は、それぞれが静止画として取得されてもよいし、動画像として取得された各フレームから抽出されたものであってもよい。
【００４８】
後述するように、本実施形態では、各部分画像Ａ０１〜Ａ０３における口腔内の同じ部分が表された重畳領域に基づいて、複数の部分画像Ａ０１〜Ａ０３を合成することにより、パノラマ画像Ｂが生成される。図７に示すパノラマ画像Ｂは、口腔内写真における正面画像を構成する。部分画像の重畳領域に基づくパノラマ画像の合成には、種々の周知技術を適用できる。
【００４９】
前処理部１２は、所定の条件に該当する部分画像を、口腔内写真を構成するための部分画像から除外する。具体的には、取得部１１が、撮像時における角速度センサ２８及び加速度センサ２７のうちの少なくとも一方の検出値が関連付けられている部分画像を取得した場合に、前処理部１２は、所定値以上の検出値が関連付けられた部分画像を、口腔内写真の生成に用いないこととする。
【００５０】
部分画像の取得時において大きい角速度または加速度が生じていた場合には、その部分画像にぶれが生じている可能性が高い。前処理部１２は、所定値以上の検出値が関連付けられた部分画像を、口腔内写真を構成するための部分画像から除外することにより、ぶれが生じている部分画像が口腔内写真の生成に用いられないようにすることができる。
【００５１】
除去部１３は、部分画像において反射が生じている領域である反射部分の除去または反射部分を含まない部分画像の抽出により、反射部分を含まない部分画像を取得する。口腔内を撮像した画像では、口腔内に存在する唾液に起因して反射が生じる場合がある。口腔癌の診断を高精度に実施するためには、口腔内写真において口腔内の状態が正しく表されている必要があるところ、反射が発生した箇所の画像は、色等が実際の状態と異なって表される。本実施形態では、反射部分を含まない部分画像が取得されることにより、高精度の診断を実現させる。
【００５２】
具体的には、除去部１３は、取得部１１により取得された部分画像から反射部分を含まない部分画像を抽出できる。図８は、除去部１３による、反射部分を含まない部分画像の抽出処理の例を示す図である。図８に示されるように、部分画像のセットａｓ０は、取得部１１により取得された複数の部分画像であって、部分画像ａ１，ａ２，ａ３・・・を含む。
【００５３】
例えば、除去部１３は、周知の画像解析技術により、反射部分の特有の画像的特徴（例えば、所定値以上の輝度を有すること等）を有する部分画像を抽出する。具体的には、まず、除去部１３は、部分画像ａ１，ａ２，ａ３・・・に対してグレースケール変換を実施する。続いて、除去部１３は、各部分画像ａ１，ａ２，ａ３・・・の画素毎の輝度値を取得する。そして、除去部１３は、所定の閾値以上の輝度値の画素を有する部分画像を、反射部分を含む部分画像として抽出する。
【００５４】
図８に示す例では、除去部１３は、セットａｓ０に含まれる部分画像のうち、所定の閾値以上の輝度値を有する部分ｒｆ０を含む部分画像ａ２を、反射部分を含む部分画像として抽出する。そして、除去部１３は、部分画像ａ２以外の部分画像ａ１、ａ３・・・を含む部分画像のセットａｓ１を、口腔内写真の生成に用いるための部分画像として抽出する。また、除去部１３は、その他の種々の周知技術により、反射部分を含まない部分画像を抽出できる。
【００５５】
また、除去部１３は、部分画像において反射が生じている領域である反射部分を除去することにより、反射部分を含まない部分画像を取得できる。さらに具体的には、除去部１３は、部分画像に表されている部分の射影方向を所定の方向に合わせるように複数の部分画像を変換し、口腔内における同じ部分を表す画素が互いに対応付けられるように位置合わせをして複数の部分画像を加算平均合成することにより、反射部分が除去された部分画像を取得する。
【００５６】
図９及び図１０を参照して、除去部１３による反射部分の除去の処理を詳細に説明する。図９は、反射部分を含む複数の部分画像及び反射部分が除去された部分画像の例を模式的に示す図である。図１０は、除去部１３による反射部分の除去の処理内容を示すフローチャートである。
【００５７】
ステップＳ２１において、除去部１３は、一の部分画像を取得する。図９に示す例においては、除去部１３は、部分画像Ａ１１を取得する。部分画像Ａ１１には、反射部分ｒｆ１が含まれている。
【００５８】
続いて、ステップＳ２２において、除去部１３は、部分画像に表されている部分の射影方向を所定の方向に合わせるように複数の部分画像を変換する。具体的には、除去部１３は、例えば、口腔内写真を構成する各画像の規格に合うように、部分画像に対してホモグラフィ変換を実施する。ホモグラフィ変換は、周知の画像の変換技術であって、ある平面に三次元の対象物を射影して表した二次元画像を、射影変換を用いて、別の平面に射影された二次元画像を生成する技術である。除去部１３は、部分画像Ａ１１に対して、口腔内写真における正面画像の規格に合うようにホモグラフィ変換を実施して、変換された部分画像Ａ２１を得る。
【００５９】
ステップＳ２３において、除去部１３は、全ての部分画像の処理が完了したか否かを判定する。全ての部分画像の処理が完了したと判定された場合には、処理はステップＳ２４に進む。一方、全ての部分画像の処理が完了したと判定されなかった場合には、処理はステップＳ２１に進む。
【００６０】
図９を参照して説明する例においては、部分画像Ａ１２，Ａ１３の処理が完了していないので、これらの部分画像Ａ１２，Ａ１３に対するステップＳ３１，Ｓ３２の処理が繰り返される。即ち、除去部１３は、反射部分ｒｆ２を含む部分画像Ａ１２に対してホモグラフィ変換を実施して、部分画像Ａ２２を得る。さらに、除去部１３は、反射部分ｒｆ３を含む部分画像Ａ１３に対してホモグラフィ変換を実施して、部分画像Ａ２３を得る。
【００６１】
ステップＳ２４において、除去部１３は、口腔内における同じ部分を表す画素が互いに対応付けられるように位置合わせをして複数の部分画像を加算平均合成する。図９を参照して説明する例では、除去部１３は、変換された部分画像Ａ２１〜Ａ２３に対して、口腔内における同じ部分を表す画素が対応付けられるように位置合わせをして、加算平均合成する。なお、加算平均合成は、画像処理の分野において周知の技術である。
【００６２】
部分画像Ａ１１〜Ａ１３のそれぞれは、口腔内における同一の部分を互いに異なる方向から撮像した画像である。このため、部分画像Ａ２２及び部分画像Ａ２３では、部分画像Ａ２１における反射部分ｒｆ１の位置に、反射は生じていない。また、部分画像Ａ２１及び部分画像Ａ２３では、部分画像Ａ２２における反射部分ｒｆ２の位置に、反射は生じていない。また、部分画像Ａ２１及び部分画像Ａ２２では、部分画像Ａ２３における反射部分ｒｆ３の位置に、反射は生じていない。
【００６３】
一の部分画像のある部分において反射が生じていても、当該部分に反射が生じていない複数の他の部分画像と当該一の部分画像とを加算平均合成することにより、反射が除去された合成画像を得ることができる。図９を参照して説明する例においては、除去部１３は、部分画像Ａ２１〜Ａ２３を位置合わせして加算平均合成することにより、反射部分が除去された部分画像Ｃ１を取得できる。
【００６４】
再び図２を参照して、補正部１４は、部分画像の各領域に関連付けられた深度に基づいて、各領域の輝度を補正する。口腔内の撮像においては、深度が深い領域ほど光量が少ないため、深度が深い領域ほど、輝度値が小さくなりやすいという傾向がある。補正部１４は、この光量の差異を是正すべく輝度値を補正する。
【００６５】
具体的には、補正部１４は、各領域の深度を取得し、予め設定された深度と輝度補正値との対応関係に基づいて、取得した深度に関連付けられた輝度補正値を当該領域の輝度値に加算することにより、各領域の輝度を補正する。以下に、この補正の例を説明する。
【００６６】
例えば、ある領域の深度をＤ、補正前の画素のＲＧＢ値を（ｒ０，ｇ０，ｂ０）、画素補正値を（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）として、以下のような、深度Ｄと画素補正値との対応関係が予め設定されているとする。なお、この例では、各領域を構成する画素のＲＧＢ値の各色の値を減少させることにより、輝度値を増加させる補正を実現させる。即ち、画素補正値は、輝度補正値に相当する。
【００６７】
深度Ｄと画素補正値との対応関係：
深度Ｄがｎ未満の場合  画素のＲＧＢ値を補正しない。
深度Ｄがｎ以上ｍ未満の場合  画素のＲＧＢ値を補正（ｒ０−ｒ１，ｇ０−ｇ１，ｂ０−ｂ１）
深度Ｄがｍ以上の場合  画素のＲＧＢ値を補正（ｒ０−ｒ２，ｇ０−ｇ２，ｂ０−ｂ２）
【００６８】
補正部１４は、上記対応関係を参照して、各領域の深度に応じて、各領域の画素のＲＧＢ値を補正する。なお、上記対応関係において、ｎ、ｍの値及び画素補正値の各値は、設計的に設定してもよい。このように、各領域の画素の輝度が深度に応じて適切に補正される。これにより、口腔内の状態が一様に認識容易な口腔内写真を得ることが可能となる。
【００６９】
また、補正部１４は、複数の部分画像の各領域のうちの第１の領域が、第１の領域とは異なる第２の領域の深度より深い深度を有する場合に、第１の領域の輝度を、補正前より大きい値に補正することとしてもよい。
【００７０】
前述のとおり、口腔内の部分を表した部分画像の深度が深い領域の光量は少なくなる傾向があり、その領域の画像が暗いものになりやすい。そこで、本実施形態の口腔癌診断装置１０では、補正部１４は、他の領域よりも深度が深い領域の輝度値を、より大きい値に補正する。
【００７１】
生成部１５は、除去部１３により取得された部分画像を含む複数の部分画像を合成して口腔内写真を生成する。口腔内写真の生成に用いられる部分画像は、前処理部１２及び補正部１４による前処理及び補正処理を経たものであってもよい。
【００７２】
具体的には、生成部１５は、図７に示したように、口腔内の同じ部分が表された重畳領域に基づいて部分画像を合成してパノラマ画像を生成することにより、口腔内写真の規格に従った複数の画像を生成する。部分画像の合成による口腔内写真の生成には、いわゆるパノラマ画像の生成に関する周知の手法を適用することができる。
【００７３】
具体的には、生成部１５は、取得した複数の部分画像の向き及び配列を調整する。続いて、生成部１５は、口腔内の同じ部分が表された重畳領域に基づいて、互いに隣接する部分画像を重畳合成することにより、一のパノラマ画像を生成する。一のパノラマ画像は、口腔内写真を構成する複数の画像のうちの一つを構成する。
【００７４】
歯が表された部分画像に基づいて口腔内写真を生成する場合には、生成部１５は、歯が表された重畳領域に基づいて各部分画像を重畳して口腔内写真を生成する。また、舌、頬粘膜、硬口蓋及び臼後三角が表された口腔内写真を生成する場合には、生成部１５は、歯、唇、口蓋垂等が表された領域を重畳領域として各部分画像を重畳して口腔内写真を生成できる。
【００７５】
図１１は、生成部１５により生成される口腔内写真の例を示す図である。口腔内写真ＭＰは、口腔内の所定の領域を表した複数の画像からなる。図１１に示す例は、いわゆる５枚撮影法による口腔内規格写真である。口腔内規格写真の撮影法には、構成する画像の数及び各画像の撮像部分に応じて、５枚撮影法、９枚撮影法、１２枚撮影法及び１４枚撮影法等がある。図１１に示すように、生成部１５は、例えば、５枚撮影法により撮影された口腔内写真ＭＰを生成できる。口腔内写真ＭＰは、口蓋側画像ｍｐ１、右側画像ｍｐ２、正面画像ｍｐ３、左側画像ｍｐ４及び舌側画像ｍｐ５を含む。
【００７６】
また、生成部１５は、口腔内写真から、歯が表された領域である歯領域を所定の画像処理技術により除去する。本実施形態の口腔癌診断システムは、口腔癌の診断を実施するシステムである。従って、歯領域は、診断対象領域ではない。生成部１５は、歯領域を除去することにより、診断対象領域が表された口腔内写真を生成できる。
【００７７】
具体的には、生成部１５は、部分画像を重畳して生成した口腔内写真を取得する。続いて、生成部１５は、口腔内写真に対して２値化処理を実施して、２値化画像を得る。２値化画像において、歯領域は、例えば、白色により表され、歯領域以外の領域は、黒色により表されることとなる。そして、生成部１５は、２値化画像に対してブロブ解析を実施して、歯領域と歯領域以外の領域とを認識して、歯領域を除去する。なお、口腔内写真からの歯領域の認識及び除去のための手法には、これらの手法には限定されず、周知の種々の画像処理技術を適用できる。
【００７８】
図１２は、歯領域が除去された口腔内写真ＭＰ１を示す図である。口腔内写真ＭＰ１は、図１１に示される口腔内写真ＭＰから歯領域が除去されたものである。図１２に示されるように、口腔内写真ＭＰ１は、歯領域が除去された口蓋側画像ｍｐ１１、右側画像ｍｐ１２、正面画像ｍｐ１３、左側画像ｍｐ１４及び舌側画像ｍｐ１５を含む。
【００７９】
口蓋側画像ｍｐ１１は、口蓋側画像ｍｐ１から歯領域ｔ１１が除去された画像であって、判定対象領域ｒ１１からなる。判定対象領域ｒ１１は、例えば、歯肉が表された領域を含む。右側画像ｍｐ１２、正面画像ｍｐ１３、左側画像ｍｐ１４及び舌側画像ｍｐ１５のそれぞれは、右側画像ｍｐ２、正面画像ｍｐ３、左側画像ｍｐ４及び舌側画像ｍｐ５のそれぞれから、歯領域ｔ１２，ｔ１３，ｔ１４，ｔ１５が除去された画像であって、判定対象領域ｒ１２，ｒ１３，ｒ１４，ｒ１５のそれぞれからなる。
【００８０】
判定部１６は、口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定する。具体的には、判定部１６は、歯領域が除去された口腔内写真に基づいて判定を実施する。即ち、判定部１６は、口腔内写真に表された領域のうちの歯領域以外の領域を判定対象領域として口腔癌の有無及び状態を判定する。口腔癌が発生している箇所では、白斑等の色の変化及び凸状になる等の形状の変化等が発生する場合があるので、判定部１６は、これらの変化を示す画像の特徴を口腔内写真から検出する。
【００８１】
口腔癌に関する疾患の判定について、図１３及び図１４を参照して説明する。図１３は、判定部１６による口腔癌の有無及び状態の判定処理のフローチャートを示す図である。
【００８２】
ステップＳ３１において、判定部１６は、生成部１５により生成された口腔内写真を取得する。前述のとおり、判定部１６は、歯領域が除去された口腔内写真を取得できる。
【００８３】
ステップＳ３２において、判定部１６は、ステップＳ３１において取得された口腔内写真を入力データとして、口腔癌判定モデルに入力する。口腔癌判定モデルは、口腔内写真の画像データを入力値として、口腔癌の有無及び進行レベルを判定するためのモデルであって、事前に機械学習により構築される。
【００８４】
口腔癌判定モデルは、例えば、癌の箇所をマスクした口腔内写真を学習データとして、いわゆるサポートベクターマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：ＳＶＭ）といった分類器として構築される。口腔癌判定モデルから出力される判定結果は、例えば、健全、進行レベルＴ１，Ｔ２，Ｔ３，Ｔ４（低：Ｔ１→高：Ｔ４）といった口腔癌の有無及び進行の程度の段階の分類の情報及び口腔癌の箇所を示す情報として出力される。
【００８５】
また、口腔癌判定モデルは、ニューラルネットワークにより構築されてもよい。ニューラルネットワークを含む口腔癌判定モデルは、学習用の口腔内写真を入力して得られる口腔癌の進行レベルの判定値に基づいて誤差計算（誤差逆伝搬）を含む機械学習を行うことにより生成される。誤差計算には、種々の損失関数を適用できる。
【００８６】
また、判定部１６は、モデルによらず、口腔内写真の画素値に関して部位毎に設定された閾値に基づいて、口腔癌が発生している領域及び進行レベルを判定してもよい。
【００８７】
ステップＳ３３において、判定部１６は、ステップＳ３２において出力された、モデルによる分類結果、即ち、口腔癌の有無及び進行レベルを示す情報を出力する。図１４は、口腔癌の進行レベルの判定の結果の情報の例を示す図であって、口腔癌の可能性のある箇所がマークされた口腔内写真を模式的に示す図である。図１４に示すように、判定部１６により出力された口腔内写真ｍｐ２０は、口腔癌の箇所のマークＤを含む。口腔癌の箇所のマークＤに関連付けられて、当該箇所の進行レベルの情報が例えば、「マークされた箇所は、口腔癌の進行レベルＴ０の疑いがあります」というようなテキスト等により出力されてもよい。
【００８８】
再び図２を参照して、出力部１７は、判定部１６により判定された、口腔癌に関する疾患の有無及び状態に関する判定情報を出力する。具体的には、出力部１７は、判定情報として出力された、口腔癌の箇所がマークされた口腔内写真及びテキストを医師の端末３０において出力させる。さらに具体的には、出力部１７は、医師の端末３０のディスプレイ３５に判定情報を表示させる。また、出力部１７は、判定情報をユーザの端末２０に出力させてもよい。また、出力部１７は、判定情報を所定の記憶手段に記憶させてもよい。
【００８９】
次に、図１５を参照して、口腔癌診断システム１及び口腔癌診断装置１０における口腔癌診断方法について説明する。図１５は、本実施形態の口腔癌診断方法の処理内容の例を示すフローチャートである。
【００９０】
ステップＳ１において、取得部１１は、ユーザの口腔内の部分を撮像した部分画像を複数取得する。次に、ステップＳ２において、前処理部１２は、部分画像における所定の検出値に基づいて、ぶれを有する可能性のある部分画像を、口腔内写真を生成する部分画像から除外する。ここで判定に用いられる検出値は、例えば、部分画像の撮像時に取得された、撮像する装置において発生した加速度及び角速度等である。
【００９１】
ステップＳ３において、除去部１３は、部分画像において反射が生じている領域である反射部分の除去または反射部分を含まない部分画像の抽出により、反射部分を含まない部分画像を取得する。反射部分の除去処理は、例えば、図１０を参照して説明したとおりである。
【００９２】
ステップＳ４において、補正部１４は、部分画像の各領域に関連付けられた深度に基づいて、各領域の輝度を補正する。
【００９３】
ステップＳ５において、生成部１５は、複数の部分画像を合成して口腔内写真を生成する。続いて、ステップＳ６において、生成部１５は、ステップＳ５において生成された口腔内写真から、所定の画像処理技術により歯領域を除去する。
【００９４】
ステップＳ７において、判定部１６は、口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定する。具体的には、判定部１６は、ステップＳ６において歯領域が除去された口腔内写真に基づいて判定を実施する。判定処理は、例えば、図１３を参照して説明したとおりである。
【００９５】
ステップＳ８において、判定部１６は、判定処理の判定結果において、口腔癌に関する疾患の有無を判定する。口腔癌に関する疾患があると判定された場合には、処理はステップＳ９に進む。一方、口腔癌に関する疾患があると判定されなかった場合には、処理はステップＳ１０に進む。
【００９６】
ステップＳ９において、判定部１６は、口腔癌に関する疾患の箇所にマークされた口腔内写真を判定情報として生成する。判定部１６は、当該箇所の進行レベルを示すテキスト情報を併せて生成及び出力してもよい。
【００９７】
ステップＳ１０において、出力部１７は、判定部１６により判定された、口腔癌に関する疾患の有無及び状態に関する判定情報を出力する。出力部１７は、判定情報を、医師の端末３０において出力させてもよいし、ユーザの端末２０において出力させてもよい。
【００９８】
次に、図１６を参照して、口腔癌診断システム１の医師の端末３０における処理を説明する。図１６は、医師の端末３０における処理内容の例を示すフローチャートである。
【００９９】
ステップＳ４１において、受信部３１は、口腔内における口腔癌に関する疾患に関する判定の結果を示す判定情報を口腔癌診断装置１０から受信する。判定情報は、口腔癌の箇所がマークされた口腔内写真及び発見された疾患に関するコメント等を含んでもよい。
【０１００】
ステップＳ４２において、提示部３２は、ステップＳ４１において受信部３１により受診された判定情報を医師に対して提示する。提示部３２は、例えば、判定情報をディスプレイ２９に表示させる。
【０１０１】
ステップＳ４３において、受付部３３は、判定情報の提示に応じて医師により入力された診断情報を受け付ける。診断情報は、ユーザの受診の要否に関する受診要否情報を含んでもよい。
【０１０２】
ステップＳ４４において、送信部３４は、ステップＳ４３において受け付けられた診断情報をユーザの端末２０に送信する。また、送信部３４は、診断情報を、口腔癌診断装置１０を介して端末２０に送信してもよい。
【０１０３】
次に、図１７を参照して、口腔癌診断システム１のユーザの端末２０における処理を説明する。図１７は、ユーザの端末２０における処理内容の例を示すフローチャートである。
【０１０４】
ステップＳ５１において、画像センサ２５は複数の部分画像を撮像する。そして、画像取得部２１は、画像センサ２５により撮像された複数の部分画像を取得する。
【０１０５】
ステップＳ５２において、画像送信部２２は、ステップＳ５１において画像取得部２１により取得された複数の部分画像を口腔癌診断装置１０に送信する。
【０１０６】
ステップＳ５３において、判定結果受信部２３は、口腔癌に関する疾患の判定の結果である診断情報を、医師の端末３０から受信する。判定結果受信部２３は、口腔癌診断装置１０を介して送信された診断情報を受信してもよい。
【０１０７】
ステップＳ５４において、判定結果提示部２４は、ステップＳ５３において判定結果受信部２３により受診された診断情報をユーザに対して提示する。判定結果提示部２４は、例えば、診断情報をディスプレイ２９に表示させる。
【０１０８】
次に、コンピュータを、本実施形態の口腔癌診断装置１０として機能させるための口腔癌診断プログラムについて説明する。図１８は、口腔癌診断プログラムＰ１の構成を示す図である。
【０１０９】
口腔癌診断プログラムＰ１は、口腔癌診断装置１０における口腔疾患診断処理を統括的に制御するメインモジュールｍ１０、取得モジュールｍ１１、前処理モジュールｍ１２、除去モジュールｍ１３、補正モジュールｍ１４、生成モジュールｍ１５、判定モジュールｍ１６及び出力モジュールｍ１７を備えて構成される。そして、各モジュールｍ１１〜ｍ１７により、口腔癌診断装置１０における取得部１１、前処理部１２、除去部１３、補正部１４、生成部１５、判定部１６及び出力部１７のための各機能が実現される。なお、口腔癌診断プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図８に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。
【０１１０】
以上説明した本実施形態の口腔癌診断システム１、口腔癌診断装置１０、口腔癌診断方法及び口腔癌診断プログラムＰ１では、反射部分が含まれない部分画像に基づいて口腔内写真が生成される。このように生成された口腔内写真に基づいて口腔癌の診断が行われることにより、誤診断の可能性を低減できる。
【０１１１】
また、別の形態に係る口腔癌診断システムでは、除去部は、部分画像に含まれる各画素の画素値に基づいて当該部分画像が反射部分を含むか否かを判定し、取得部により取得された複数の部分画像から、反射部分を含まない部分画像を抽出することとしてもよい。
【０１１２】
上記形態によれば、反射部分を含まない部分画像のみを、口腔内写真の生成に供することができる。
【０１１３】
また、別の形態に係る口腔癌診断システムでは、除去部は、部分画像における反射部分を所定の画像処理技術により除去することとしてもよい。
【０１１４】
上記形態によれば、取得された部分画像に基づいて、反射部分を含まない部分画像を得ることが可能となる。
【０１１５】
また、別の形態に係る口腔癌診断システムでは、取得部は、口腔内における同一の部分を異なる方向から撮像した複数の部分画像を取得し、除去部は、部分画像に表されている部分の射影方向を所定の方向に合わせるように複数の部分画像を変換し、口腔内における同じ部分を表す画素が互いに対応付けられるように位置合わせをして複数の部分画像を加算平均合成することにより、反射部分が除去された部分画像を取得することとしてもよい。
【０１１６】
上記形態によれば、同一の部分を異なる方向から撮像した複数の部分画像が取得される。このように取得された複数の部分画像においては、一つの部分画像において特定の箇所に反射が生じていたとしても、他の部分画像においては、反射箇所及び反射状態が異なる可能性が高い。ある部分の射影方向が所定の方向に揃えられるように変換された複数の部分画像が、位置合わせされた上で加算平均合成されるので、反射部分が除去された部分画像を得ることが可能となる。
【０１１７】
また、別の形態に係る口腔癌診断システムでは、生成部は、口腔内写真から、歯が表された領域である歯領域を所定の画像処理技術により除去し、判定部は、生成部により歯領域が除去された口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔癌に関する疾患の有無及び状態を判定することとしてもよい。
【０１１８】
上記形態によれば、口腔癌の診断対象ではない歯の領域が除去された口腔内写真に基づいて口腔癌に関する判定が行われるので、口腔癌に関する診断が適切に実施される。
【０１１９】
また、別の形態に係る口腔癌診断システムでは、出力部は、判定情報を、ユーザとは異なる医師の第１の端末において出力させ、判定情報の出力に応じて第１の端末に対して入力された、疾患の診断に関する診断情報が、ユーザの第２の端末において出力されることとしてもよい。
【０１２０】
上記形態によれば、口腔癌に関する判定の結果が医師の端末において出力されるので、医師に対してユーザの口腔癌に関する判定結果を容易に通知できる。さらに、通知された判定の結果に応じて医師により入力された、診断情報をユーザに通知できるので、ユーザに診断結果を適切に認識させることが可能となる。
【０１２１】
また、別の形態に係る口腔癌診断システムでは、出力部は、判定情報を、第２の端末において出力させることとしてもよい。
【０１２２】
上記形態によれば、口腔癌に関する判定の結果がユーザの端末において出力されるので、ユーザに対して、ユーザ自身の口腔癌に関する判定の結果を容易に通知できる。
【０１２３】
また、別の形態に係る口腔癌診断システムでは、取得部は、部分画像の撮像時における、当該部分画像を撮像した装置において検出された角速度及び加速度のうちの少なくとも一方の検出値が関連付けられている部分画像を取得し、口腔癌診断システムは、所定値以上の検出値が関連付けられた部分画像を、生成部による口腔内写真の生成に用いられる部分画像から除外する前処理部、をさらに含むこととしてもよい。
【０１２４】
上記形態によれば、角速度センサまたは加速度センサの所定値以上の検出値が関連付けられた部分画像が口腔内写真の生成に用いる画像から除外される。これにより、口腔内写真の合成に、ぶれが生じた部分画像が用いられないこととなる。従って、口腔内の状態の認識が容易な口腔内写真を得ることが可能となる。
【０１２５】
また、別の形態に係る口腔癌診断システムでは、取得部は、１以上の画素からなる領域ごとに撮像対象までの距離を示す深度が関連付けられている部分画像を取得し、口腔癌診断システムは、深度に基づいて部分画像の各領域の輝度を補正する補正部、をさらに含むこととしてもよい。
【０１２６】
上記形態によれば、口腔内を撮像した画像において、深度が深い領域ほど光源からの光が当たりにくいという知見のもと、深度に基づいて各領域の輝度が補正された部分画像の合成により口腔内写真が生成されるので、口腔内の状態が一様に把握可能な口腔内写真に基づく診断が可能となる。
【０１２７】
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
【０１２８】
本開示において説明した各態様／実施形態は、ＬＴＥ（Long  Term  Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ  ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future  Radio  Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra  Mobile  Broadband）、ＩＥＥＥ  ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ  ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ  ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【０１２９】
本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【０１３０】
情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
【０１３１】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【０１３２】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【０１３３】
本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【０１３４】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【０１３５】
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【０１３６】
本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【０１３７】
なお、本開示において説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【０１３８】
本開示において使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
【０１３９】
また、本開示において説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
【０１４０】
本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking  up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【０１４１】
「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【０１４２】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【０１４３】
本開示において「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【０１４４】
「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
【０１４５】
本開示において、例えば、英語でのa,  an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【０１４６】
本開示において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
【０１４７】
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
【符号の説明】
【０１４８】
１…口腔癌診断システム、１０…口腔癌診断装置、１１…取得部、１２…前処理部、１３…除去部、１４…補正部、１５…生成部、１６…判定部、１７…出力部、２０…端末、２１…画像取得部、２２…画像送信部、２３…判定結果受信部、２４…判定結果提示部、２５…画像センサ、２６…深度センサ、２７…加速度センサ、２８…角速度センサ、２９…ディスプレイ、３０…端末、３１…受信部、３２…提示部、３３…受付部、３４…送信部、３５…ディスプレイ、Ｍ１…記録媒体、ｍ１０…メインモジュール、ｍ１１…取得モジュール、ｍ１２…前処理モジュール、ｍ１３…除去モジュール、ｍ１４…補正モジュール、ｍ１５…生成モジュール、ｍ１６…判定モジュール、ｍ１７…出力モジュール、Ｎ…ネットワーク、Ｐ１…口腔癌診断プログラム。
【図１】
2020054444.tif 000003
【図２】
2020054444.tif 000004
【図３】
2020054444.tif 000005
【図４】
2020054444.tif 000006
【図５】
2020054444.tif 000007
【図６】
2020054444.tif 000008
【図７】
2020054444.tif 000009
【図８】
2020054444.tif 000010
【図９】
2020054444.tif 000011
【図１０】
2020054444.tif 000012
【図１１】
2020054444.tif 000013
【図１２】
2020054444.tif 000014
【図１３】
2020054444.tif 000015
【図１４】
2020054444.tif 000016
【図１５】
2020054444.tif 000017
【図１６】
2020054444.tif 000018
【図１７】
2020054444.tif 000019
【図１８】
2020054444.tif 000020