(57)【要約】【課題】腔内写真に基づく疾患の診断において、疾患の誤検出及び誤診断の可能性を低減させる。【解決手段】口腔内写真生成装置１０は、口腔内の所定の領域を表した複画像からなる口腔内写真を生成しる装置であって、口腔内の部分を撮像した部分画像であって、１以上の画素からなる領域ごとに撮像対象までの距離を示す深度が関連付けられている、部分画像を取得する取得部１１と、深度に基づいて、部分画像の各領域の輝度を補正する補正部１３と、補正部により補正された少なくとも一つの部分画像に基づく口腔内写真を生成する生成部１４と、生成部１４により生成された口腔内写真を出力する出力部１５と、を備える。【選択図】図１
2019155026.tif 000002
【特許請求の範囲】
【請求項１】
人体における表面に開口を有する空洞部の腔内を表す腔内写真を生成する腔内写真生成装置であって、
腔内の部分を撮像した部分画像であって、１以上の画素からなる領域ごとに撮像対象までの距離を示す深度が関連付けられている、部分画像を取得する取得部と、
深度に基づいて前記部分画像の各領域の輝度を補正する補正部と、
前記補正部により補正された少なくとも一つの部分画像に基づく前記腔内写真を生成する生成部と、
前記生成部により生成された前記腔内写真を出力する出力部と、
を備える腔内写真生成装置。
【請求項２】
前記取得部は、複数の前記部分画像を取得し、
前記生成部は、各部分画像における腔内の同じ部分が表された重畳領域に基づいて、前記補正部により補正された部分画像を含む複数の部分画像を合成して、前記腔内写真を生成する、
請求項１に記載の腔内写真生成装置。
【請求項３】
前記補正部は、各領域の深度を取得し、予め設定された深度と輝度補正値との対応関係に基づいて、取得した深度に関連付けられた輝度補正値を当該領域の輝度値に加算する、
請求項１または２に記載の腔内写真生成装置。
【請求項４】
前記補正部は、複数の前記部分画像の各領域のうちの第１の領域が、前記第１の領域とは異なる第２の領域の深度より深い深度を有する場合に、前記第１の領域の輝度を、補正前より大きい値に補正する、
請求項１または２に記載の腔内写真生成装置。
【請求項５】
前記補正部は、前記第１の領域の輝度と前記第２の領域の輝度との差分を、前記第１の領域の輝度に加算することにより、前記第１の領域の輝度を補正する、
請求項４に記載の腔内写真生成装置。
【請求項６】
前記取得部は、前記部分画像の撮像時における角速度センサ及び加速度センサのうちの少なくとも一方の検出値が関連付けられている前記部分画像を取得し、
当該腔内写真生成装置は、所定値以上の前記検出値が関連付けられた前記部分画像を、前記腔内写真を構成するための部分画像から除外する前処理部をさらに含む、
請求項１〜５のいずれか一項に記載の腔内写真生成装置。
【請求項７】
前記腔内は、口腔内である、請求項１〜６のいずれか一項に記載の腔内写真生成装置。
【請求項８】
コンピュータを、人体における表面に開口を有する空洞部の腔内を表す腔内写真を生成する腔内写真生成装置として機能させるための腔内写真生成プログラムであって、
前記コンピュータに、
腔内の部分を撮像した部分画像であって、１以上の画素からなる領域ごとに撮像対象までの距離を示す深度が関連付けられている、部分画像を取得する取得機能と、
深度に基づいて、前記部分画像の各領域の輝度を補正する補正機能と、
前記補正機能により補正された少なくとも一つの部分画像に基づく前記腔内写真を生成する生成機能と、
前記生成機能により生成された前記腔内写真を出力する出力機能と、
を実現させる腔内写真生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、腔内写真生成装置及び腔内写真生成プログラムに関する。
【背景技術】
【０００２】
人体における腔部の一つである口腔内の画像に基づいて、齲蝕、歯周病等の疾患を診断することが行われている。疾患の診断は、例えば、医師による画像の目視及び画像解析等により行われる。疾患の診断には、腔内を撮像した画像である腔内写真が用いられる。口腔内の診断には口腔内写真が用いられる。口腔内写真は、口腔内の所定の領域を表した複数の画像からなる。なお、口腔内写真の一例として、所定の口腔内規格写真が用いられる場合がある。口腔内写真を構成する各画像は、口腔内の部分を表した複数の画像を重畳領域に基づいて合成する、いわゆるパノラマ画像として生成される。また、狭範囲の三次元画像情報を合成して口腔内の三次元画像を生成する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２０９３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
腔内写真に基づいて精度の高い診断を行うためには、腔内全体の状態の把握が容易な画像が得られることが好ましい。腔内写真を生成する場合には、撮像状況及び各画像が表す部位の状況により画像の画素値（例えば、輝度値）に偏りが生じ、腔内の全体において一様に好適な画像が得られない場合がある。また、腔内の部分画像を、専用の撮像装置ではなく、いわゆるスマートホン等の携帯端末装置等により撮像した場合には、部分画像の領域ごとの画素値の偏りが生じやすい。このような画像に基づき診断が行われると、疾患の誤検出及び誤診断が発生する可能性がある。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、腔内写真に基づく疾患の診断において、疾患の誤検出及び誤診断の可能性を低減させることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一形態に係る腔内写真生成装置は、人体における表面に開口を有する空洞部の腔内を表す腔内写真を生成する腔内写真生成装置であって、腔内の部分を撮像した部分画像であって、１以上の画素からなる領域ごとに撮像対象までの距離を示す深度が関連付けられている、部分画像を取得する取得部と、深度に基づいて部分画像の各領域の輝度を補正する補正部と、補正部により補正された少なくとも一つの部分画像に基づく腔内写真を生成する生成部と、生成部により生成された腔内写真を出力する出力部と、を備える。
【０００７】
また、本発明の一形態に係る口腔内写真生成プログラムは、コンピュータを、人体における表面に開口を有する空洞部の腔内を表す腔内写真を生成する腔内写真生成装置として機能させるための腔内写真生成プログラムであって、コンピュータに、腔内の部分を撮像した部分画像であって、１以上の画素からなる領域ごとに撮像対象までの距離を示す深度が関連付けられている、部分画像を取得する取得機能と、深度に基づいて、部分画像の各領域の輝度を補正する補正機能と、補正機能により補正された少なくとも一つの部分画像に基づく腔内写真を生成する生成機能と、生成機能により生成された腔内写真を出力する出力機能と、を実現させる。
【０００８】
上記の形態によれば、領域ごとに深度が関連付けられた部分画像に基づいて腔内写真が生成される。腔内を撮像した画像において、深度が深い領域ほど光源からの光が当たりにくいという知見のもと、深度に基づいて各領域の輝度が補正された部分画像に基づいて腔内写真が生成されるので、腔内の状態が一様に把握可能な腔内写真に基づく診断が可能となる。従って、疾患の誤検出及び誤診断の可能性を低減できる。
【発明の効果】
【０００９】
腔内写真に基づく疾患の診断において、疾患の誤検出及び誤診断の可能性を低減させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の口腔内写真生成装置の機能的構成を示すブロック図である。
【図２】口腔内写真生成装置のハードブロック図である。
【図３】本実施形態の口腔内写真生成装置により取得する口腔内写真の例を示す図である。
【図４】部分画像及び複数の部分画像に基づいて合成されたパノラマ画像の例を示す図である。
【図５】光の当たり方の差異に起因して、領域ごとに偏った輝度値を有する部分画像の例を模式的に示す図である。
【図６】輝度値が補正された部分画像の例を示す図である。
【図７】図７（ａ）は、補正部による補正がされていない部分画像に基づいて生成された合成画像の例を模式的に示す図である。図７（ｂ）は、補正部による補正がされた部分画像に基づいて生成された合成画像の例を模式的に示す図である。
【図８】本実施形態の口腔内写真生成方法の処理内容を示すフローチャートである。
【図９】口腔内写真生成プログラムの構成を示す図である。
【発明を実施するための形態】
【００１１】
本発明に係る腔内写真生成装置の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１２】
腔内写真生成装置は、人体における表面に開口を有する空洞部の腔内を表す腔内写真を生成する装置である。図１は、本実施形態に係る腔内写真生成装置の一例としての口腔内写真生成装置１０の機能的構成を示す図である。本実施形態の口腔内写真生成装置１０は、口腔内写真を生成する装置である。口腔内写真は、口腔内の齲蝕、歯周病等の疾患を診断するために取得される口腔内を撮像した写真である。口腔内写真は、口腔内の所定の領域を表した複数の画像からなる。なお、本実施形態では、腔内写真生成装置の一例として、口腔内写真を生成する装置を示しているが、腔内写真生成装置は、この例に限定されない。腔内写真生成装置は、鼻腔内の写真を生成する装置及び耳腔内の写真を生成する装置に適用できる。
【００１３】
口腔内写真生成装置１０を構成する装置は限定されないが、例えば、携帯端末及びパーソナルコンピュータ等の装置により構成されることとしてもよい。本実施形態の口腔内写真生成装置１０は、例えば、ユーザが所有する携帯端末により構成されてもよい。本実施形態の口腔内写真生成装置によれば、専用の撮像装置によらずとも、好適な口腔内写真を生成できる。
【００１４】
図１に示すように、口腔内写真生成装置１０は、機能的には、取得部１１、前処理部１２、補正部１３、生成部１４及び出力部１５を備える。また、口腔内写真生成装置１０は、画像センサ２１及び深度センサ２２並びに角速度センサ３１及び加速度センサ３２を含む。これらの各機能部及びセンサについては後に詳述する。
【００１５】
なお、本実施形態では、口腔内写真生成装置１０は、図１に示すような１つの装置により構成されているが、口腔内写真生成装置１０に含まれる各機能部及び各センサが複数の装置に分散されて構成されてもよい。
【００１６】
なお、図１に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
【００１７】
例えば、本発明の一実施の形態における口腔内写真生成装置１０は、コンピュータとして機能してもよい。図２は、本実施形態に係る口腔内写真生成装置１０のハードウェア構成の一例を示す図である。口腔内写真生成装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
【００１８】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。口腔内写真生成装置１０のハードウェア構成は、図２に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００１９】
口腔内写真生成装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
【００２０】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central  Processing  Unit）で構成されてもよい。例えば、図１に示した各機能部１１〜１５などは、プロセッサ１００１で実現されてもよい。
【００２１】
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、口腔内写真生成装置１０の各機能部１１〜１５は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【００２２】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random  Access  Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る棚割情報生成方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【００２３】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact  Disc  ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
【００２４】
通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【００２５】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
【００２６】
また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
【００２７】
また、口腔内写真生成装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＰＬＤ（Programmable  Logic  Device）、ＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
【００２８】
図３は、本実施形態の口腔内写真生成装置１０により取得する口腔内写真の例を示す図である。口腔内写真は、口腔内の所定の領域を表した複数の画像からなる。本実施形態の口腔内写真は、例えば、いわゆる口腔内規格写真である。口腔内規格写真の撮影法には、構成する画像の数及び各画像の撮像部分に応じて、５枚撮影法、９枚撮影法、１２枚撮影法及び１４枚撮影法等がある。本実施形態では、５枚撮影法の例で説明する。図３は、５枚撮影法により撮影された口腔内写真であり、口蓋側画像ｍｐ１、右側画像ｍｐ２、正面画像ｍｐ３、左側画像ｍｐ４及び舌側画像ｍｐ５を含む。
【００２９】
続いて、口腔内写真生成装置１０の各機能部について説明する。取得部１１は、口腔内の部分を撮像した一以上の部分画像を取得する。部分画像は、１以上の画素からなる領域ごとに関連付けられた、撮像対象までの距離を示す深度を有している。
【００３０】
具体的には、取得部１１は、画像センサ２１により撮像された部分画像を取得する。また、各部分画像は、深度センサ２２により取得された深度を１以上の画素からなる領域ごとに有している。画像センサ２１は、撮像対象の画像を光学的に取得するセンサである。深度センサ２２は、赤外線により、対象までの距離を示す深度を取得するセンサである。
【００３１】
図４は、部分画像及び複数の部分画像に基づいて合成されたパノラマ画像の例を示す図である。図４に示すように、取得部１１は、例えば、歯列の正面右側の部分画像Ａ０１、正面中央の部分画像Ａ０２及び正面左側の部分画像Ａ０３を取得する。これらの部分画像は、それぞれが静止画として取得されてもよいし、動画像として取得された各フレームから抽出されたものであってもよい。
【００３２】
後述するように、本実施形態では、各部分画像Ａ０１〜Ａ０３における口腔内の同じ部分が表された重畳領域に基づいて、複数の部分画像Ａ０１〜Ａ０３を合成することにより、パノラマ画像Ｂが生成される。図４に示すパノラマ画像Ｂは、口腔内写真における正面画像（例えば、図３における正面画像ｍｐ３）を構成する。
【００３３】
図５は、光の当たり方の差異に起因して、領域ごとに偏った輝度値を有する部分画像の例を模式的に示す図である。口腔内の撮像においては、深度が深い領域ほど光量が少ないため、深度が深い領域ほど、輝度値が小さくなりやすいという傾向がある。
【００３４】
例えば、部分画像Ａ１１では、領域ｄ１１には、ある深度が関連付けられており、一定の明るさを有している。領域ｄ１２は、領域ｄ１１より深い深度を有しているため、領域ｄ１１より光量が少ない。このため、領域ｄ１２は、領域ｄ１１より暗い。領域ｄ１３は、領域ｄ１２より深い深度を有しているため、領域ｄ１２より光量が少ない。このため、領域ｄ１３は、領域ｄ１２より暗い。
【００３５】
また、部分画像Ａ１２の領域ｄ２１は、部分画像Ａ１１の領域ｄ１１と同程度の深度を有している。
【００３６】
また、部分画像Ａ１３では、領域ｄ３１は、領域ｄ１１及び領域ｄ２１と同程度の深度が関連付けられており、領域ｄ１１及び領域ｄ２１と同程度の光量により撮像されている。領域ｄ３２は、領域ｄ３１より深い深度を有しているため、領域ｄ３１より光量が少ない。このため、領域ｄ３２は、領域ｄ３１より暗い。領域ｄ３３は、領域ｄ３２より深い深度を有しているため、領域ｄ３２より光量が少ない。このため、領域ｄ３３は、領域ｄ３２より暗い。
【００３７】
口腔内写真が、専用の撮像装置及び専門家により撮像される場合には、図５に示すような輝度（明るさ）の偏りは生じにくいが、本実施形態のように、ユーザの携帯端末によりユーザ自らが撮像する場合には、図５に示すような輝度の偏りが生じやすい。
【００３８】
再び図１を参照して、前処理部１２は、所定の条件に該当する部分画像を、口腔内写真を構成するための部分画像から除外する。具体的には、取得部１１が、撮像時における角速度センサ３１及び加速度センサ３２のうちの少なくとも一方の検出値が関連付けられている部分画像を取得した場合に、前処理部１２は、所定値以上の検出値が関連付けられた部分画像を、口腔内写真の生成に用いないこととする。
【００３９】
角速度センサ３１は、口腔内写真生成装置１０において生じた角速度を検出するセンサであって、部分画像の取得時の角速度を検出し、検出値を部分画像に関連付けて送出する。
【００４０】
加速度センサ３２は、口腔内写真生成装置１０において生じた加速度を検出するセンサであって、部分画像の取得時の加速度を検出し、検出値を部分画像に関連付けて送出する。
【００４１】
部分画像の取得時において大きい角速度または加速度が生じていた場合には、その部分画像にぶれが生じている可能性が高い。前処理部１２は、所定値以上の検出値が関連付けられた部分画像を、口腔内写真を構成するための部分画像から除外することにより、ぶれが生じている部分画像が口腔内写真の生成に用いられないようにすることができる。
【００４２】
補正部１３は、部分画像の各領域に関連付けられた深度に基づいて、各領域の輝度を補正する。具体的には、補正部１３は、各領域の深度を取得し、予め設定された深度と輝度補正値との対応関係に基づいて、取得した深度に関連付けられた輝度補正値を当該領域の輝度値に加算することにより、各領域の輝度を補正する。以下に、この補正の例を説明する。
【００４３】
例えば、ある領域の深度をＤ、補正前の画素のＲＧＢ値を（ｒ０，ｇ０，ｂ０）、画素補正値を（ｒ１，ｇ１，ｂ１）、（ｒ２，ｇ２，ｂ２）として、以下のような、深度Ｄと画素補正値との対応関係が予め設定されているとする。なお、この例では、各領域を構成する画素のＲＧＢ値の各色の値を減少させることにより、輝度値を増加させる補正を実現させる。即ち、画素補正値は、輝度補正値に相当する。
【００４４】
深度Ｄと画素補正値との対応関係：
深度Ｄがｎ未満の場合  画素のＲＧＢ値を補正しない。
深度Ｄがｎ以上ｍ未満の場合  画素のＲＧＢ値を補正（ｒ０−ｒ１，ｇ０−ｇ１，ｂ０−ｂ１）
深度Ｄがｍ以上の場合  画素のＲＧＢ値を補正（ｒ０−ｒ２，ｇ０−ｇ２，ｂ０−ｂ２）
【００４５】
補正部１３は、上記対応関係を参照して、各領域の深度に応じて、各領域の画素のＲＧＢ値を補正する。なお、上記対応関係において、ｎ、ｍの値及び画素補正値の各値は、設計的に設定してもよい。このように、各領域の画素の輝度が深度に応じて適切に補正される。これにより、口腔内の状態が一様に認識容易な口腔内写真を得ることが可能となる。
【００４６】
また、補正部１３は、複数の部分画像の各領域のうちの第１の領域が、第１の領域とは異なる第２の領域の深度より深い深度を有する場合に、第１の領域の輝度を、補正前より大きい値に補正することとしてもよい。
【００４７】
前述のとおり、口腔内の部分を表した部分画像の深度が深い領域の光量は少なくなる傾向があり、その領域の画像が暗いものになりやすい。そこで、本実施形態の口腔内写真生成装置１０では、補正部１３は、他の領域よりも深度が深い領域の輝度値を、より大きい値に補正する。
【００４８】
図６は、輝度値が補正された部分画像の例を示す図である。具体的には、図６に示す部分画像Ａ２１〜Ａ２３は、図５に示した部分画像Ａ１１〜Ａ１３の各領域の輝度値が補正されたものである。
【００４９】
図５に示す例では、領域ｄ１１、領域ｄ２１及び領域ｄ３１の深度は同程度である。領域ｄ１２の深度は、領域ｄ１１の深度より深い。このような場合には、補正部１３は、領域ｄ１２の輝度値を、より大きい値に補正する。例えば、補正部１３は、領域ｄ１１の各画素の輝度値（例えば平均値）と、領域ｄ１２の各画素の輝度値（例えば平均値）との差分を算出し、算出した差分を領域ｄ１２の各画素の輝度値に加算することにより、領域ｄ１２の輝度を補正する。
【００５０】
また、領域ｄ１３の深度は、領域ｄ１２の深度よりさらに深い。このような場合には、補正部１３は、領域ｄ１３の輝度値を、より大きい値に補正する。例えば、補正部１３は、領域ｄ１１の各画素の輝度値（例えば平均値）と、領域ｄ１３の各画素の輝度値（例えば平均値）との差分を算出し、算出した差分を領域ｄ１３の各画素の輝度値に加算することにより、領域ｄ１３の輝度を補正する。
【００５１】
領域ｄ３２の深度は、領域ｄ３１の深度より深い。このような場合には、補正部１３は、領域ｄ３２の輝度値を、より大きい値に補正する。例えば、補正部１３は、領域ｄ３１の各画素の輝度値（例えば平均値）と、領域ｄ３２の各画素の輝度値（例えば平均値）との差分を算出し、算出した差分を領域ｄ３２の各画素の輝度値に加算することにより、領域ｄ３２の輝度を補正する。
【００５２】
また、領域ｄ３３の深度は、領域ｄ３２の深度よりさらに深い。このような場合には、補正部１３は、領域ｄ３３の輝度値を、より大きい値に補正する。例えば、補正部１３は、領域ｄ３１の各画素の輝度値（例えば平均値）と、領域ｄ３３の各画素の輝度値（例えば平均値）との差分を算出し、算出した差分を領域ｄ３３の各画素の輝度値に加算することにより、領域ｄ３３の輝度を補正する。
【００５３】
このような補正部１３による部分画像Ａ１１〜Ａ１３の輝度値の補正により、補正後の部分画像Ａ２１〜Ａ２３が得られる。なお、補正部１３による輝度値の補正は、合成対象の複数の部分画像において相対的に深い深度を有する領域の輝度値を、より大きい値に補正することにより、一様な明るさを有する合成画像が生成されれば、上述の具体例に限定されない。
【００５４】
生成部１４は、補正部１３により補正された少なくとも一つの部分画像に基づく口腔内写真を生成する。具体的には、例えば、生成部１４は、一つの部分画像からなる口腔内写真を生成できる。
【００５５】
また、生成部１４は、口腔内の同じ部分が表された重畳領域に基づいて部分画像を合成して、口腔内写真を生成する。口腔内写真の生成に用いられる部分画像は、補正部１３により補正された部分画像を含む。部分画像の合成による口腔内写真の生成には、いわゆるパノラマ画像の生成に関する周知の手法を適用することができる。
【００５６】
具体的には、生成部１４は、複数の部分画像を、各画像取得時における角速度センサの検出値及び深度と共に取得し、各部分画像の向き及び複数の部分画像の配列を調整する。続いて、生成部１４は、口腔内の同じ部分が表された重畳領域に基づいて、互いに隣接する部分画像を重畳合成することにより、一の合成画像を生成する。一の合成画像は、口腔内写真を構成する複数の画像のうちの一つを構成する。そして、生成部１４は、図３に示すような、口腔内写真を構成する各画像ｍｐを合成し、所定の数の画像により構成される口腔内写真ＭＰを生成する。
【００５７】
図７は、部分画像を合成して得られた合成画像の例を示す図である。図７（ａ）は、補正部１３による補正がされていない部分画像に基づいて生成された合成画像の例を模式的に示す図であって、部分画像Ａ１１〜Ａ１３に基づいて得られた合成画像Ｂ１を示す。図７（ａ）に示すように、合成画像Ｂ１は、輝度（明るさ）の偏りを含む。このような合成画像Ｂ１を含む口腔内写真に基づき診断が行われると、疾患の誤検出及び誤診断が発生する可能性がある。
【００５８】
一方、図７（ｂ）は、補正部１３による補正がされた部分画像に基づいて生成された合成画像の例を模式的に示す図であって、部分画像Ａ２１〜Ａ２３に基づいて得られた合成画像Ｂ２を示す。図７（ｂ）に示すように、合成画像Ｂ２は、一様な輝度（明るさ）を有する。このような合成画像Ｂ２を含む口腔内写真に基づく診断では、合成画像Ｂ１を含む口腔内写真に基づく診断に比べて、疾患の誤検出及び誤診断が発生する可能性を低減できる。
【００５９】
出力部１５は、生成部１４により生成された口腔内写真を出力する。出力部１５は、例えば、生成された口腔内写真をディスプレイに表示させる。また、出力部１５は、例えば、生成された口腔内写真のデータを記憶手段に記憶させる。
【００６０】
次に、図８を参照して、口腔内写真生成装置１０における口腔内写真生成方法について説明する。図８は、本実施形態の口腔内写真生成方法の処理内容の例を示すフローチャートである。
【００６１】
ステップＳ１において、取得部１１は、口腔内の部分を撮像した部分画像を複数取得する。ステップＳ２において、前処理部１２は、所定値以上の角速度または加速度の検出値が関連付けられた部分画像を、口腔内写真を構成するための部分画像から除外する。
【００６２】
ステップＳ３において、補正部１３は、部分画像の各領域に関連付けられた深度に基づいて、各領域の輝度値を補正する。
【００６３】
ステップＳ４において、生成部１４は、複数の部分画像を、各部分画像取得時において検出された角速度情報及び深度に基づいて、各部分画像の向き及び複数の部分画像の配列を調整する。
【００６４】
ステップＳ５において、生成部１４は、口腔内の同じ部分が表された重畳領域に基づいて、互いに隣接する部分画像を重畳合成する。そして、ステップＳ６において、生成部１４は、所定の数の合成画像により構成される口腔内写真を生成する。
【００６５】
ステップＳ７において、出力部１５は、ステップＳ６において生成部１４により生成された口腔内写真を出力する。
【００６６】
次に、コンピュータを、本実施形態の口腔内写真生成装置１０として機能させるための口腔内写真生成プログラムについて説明する。図９は、口腔内写真生成プログラムＰ１の構成を示す図である。
【００６７】
口腔内写真生成プログラムＰ１は、口腔内写真生成装置１０における口腔内写真生成処理を統括的に制御するメインモジュールｍ１０、取得モジュールｍ１１、前処理モジュールｍ１２、補正モジュールｍ１３、生成モジュールｍ１４及び出力モジュールｍ１５を備えて構成される。そして、各モジュールｍ１１〜ｍ１５により、口腔内写真生成装置１０における取得部１１、前処理部１２、補正部１３、生成部１４及び出力部１５のための各機能が実現される。なお、口腔内写真生成プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図９に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。
【００６８】
以上説明した本実施形態の口腔内写真生成装置１０、口腔内写真生成方法及び口腔内写真生成プログラムＰ１では、１以上の画素からなる領域ごとに深度が関連付けられた部分画像を合成することにより口腔内写真が生成される。口腔内を撮像した画像において、深度が深い領域ほど光源からの光が当たりにくいという知見のもと、深度に基づいて各領域の輝度が補正された部分画像の合成により口腔内写真が生成されるので、口腔内の状態が一様に把握可能な口腔内写真に基づく診断が可能となる。従って、疾患の誤検出及び誤診断の可能性を低減できる。
【００６９】
また、別の形態に係る腔内写真生成装置では、取得部は、複数の部分画像を取得し、生成部は、各部分画像における腔内の同じ部分が表された重畳領域に基づいて、補正部により補正された部分画像を含む複数の部分画像を合成して、腔内写真を生成することとしてもよい。
【００７０】
上記形態によれば、補正された複数の部分画像に基づいて、腔内の全体を一様に認識可能な腔内写真を得ることができる。
【００７１】
また、別の形態に係る腔内写真生成装置では、補正部は、各領域の深度を取得し、予め設定された深度と輝度補正値との対応関係に基づいて、取得した深度に関連付けられた輝度補正値を当該領域の輝度値に加算することとしてもよい。
【００７２】
上記形態によれば、深度に応じて、各領域の輝度が適切に補正される。これにより、腔内の状態が一様に認識容易な腔内写真を得ることが可能となる。
【００７３】
また、別の形態に係る腔内写真生成装置では、補正部は、複数の部分画像の各領域のうちの第１の領域が、第１の領域とは異なる第２の領域の深度より深い深度を有する場合に、第１の領域の輝度を、補正前より大きい値に補正することとしてもよい。
【００７４】
上記形態によれば、深度が深い領域の輝度値が、より大きい値に補正されるので、光が当たりにくい可能性の高い領域の輝度値が補正されることとなる。これにより、合成された腔内写真において、光量が少ない状況で撮像された部分が、より光量が多い状況で撮像されたように表される。従って、腔内の状態の認識が容易な腔内写真を得ることが可能となる。
【００７５】
また、別の形態に係る腔内写真生成装置では、補正部は、第１の領域の輝度と第２の領域の輝度との差分を、第１の領域の輝度に加算することにより、第１の領域の輝度を補正することとしてもよい。
【００７６】
上記形態によれば、深い深度を有する領域の輝度値が、深度が浅い領域の輝度値と一致するように補正されるので、一様な明るさを有する腔内写真が生成される。
【００７７】
また、別の形態に係る腔内写真生成装置では、取得部は、部分画像の撮像時における角速度センサ及び加速度センサのうちの少なくとも一方の検出値が関連付けられている部分画像を取得し、当該腔内写真生成装置は、所定値以上の検出値が関連付けられた部分画像を、腔内写真を構成するための部分画像から除外する前処理部をさらに含むこととしてもよい。
【００７８】
上記形態によれば、角速度センサまたは加速度センサの所定値以上の検出値が関連付けられた部分画像が腔内写真の生成に用いる画像から除外される。これにより、腔内写真の合成に、ぶれが生じた部分画像が用いられないこととなる。従って、腔内の状態の認識が容易な腔内写真を得ることが可能となる。
【００７９】
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
【００８０】
本明細書で説明した各態様／実施形態は、ＬＴＥ（Long  Term  Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ  ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future  Radio  Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra  Mobile  Broadband）、ＩＥＥＥ  ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ  ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ  ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【００８１】
本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【００８２】
情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。
【００８３】
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【００８４】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【００８５】
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【００８６】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【００８７】
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【００８８】
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【００８９】
なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【００９０】
本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
【００９１】
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
【００９２】
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【００９３】
本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【００９４】
「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
【００９５】
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
【００９６】
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
【符号の説明】
【００９７】
１０…口腔内写真生成装置、１１…取得部、１２…前処理部、１３…補正部、１４…生成部、１５…出力部、２１…画像センサ、２２…深度センサ、３１…角速度センサ、３２…加速度センサ、ｍ１０…メインモジュール、ｍ１１…取得モジュール、ｍ１２…前処理モジュール、ｍ１３…補正モジュール、ｍ１４…生成モジュール、ｍ１５…出力モジュール、Ｐ１…口腔内写真生成プログラム。
【図１】
2019155026.tif 000003
【図２】
2019155026.tif 000004
【図３】
2019155026.tif 000005
【図４】
2019155026.tif 000006
【図５】
2019155026.tif 000007
【図６】
2019155026.tif 000008
【図７】
2019155026.tif 000009
【図８】
2019155026.tif 000010
【図９】
2019155026.tif 000011