(57)【要約】  撮像部におけるデータ処理量や撮像部との間のデータ通信量を大幅に増加させることなく、高精度な深度情報を取得することができる画像処理装置等を提供する。撮像部から出力された被写体の像を表す画像データ及び被写体までの距離を表す測距データに基づいて画像処理を行う画像処理装置であって、上記測距データに基づいて、被写体に照射された照明光のパラメータを算出する照明光配光特性算出部３３２と、上記測距データから算出される被写体上の点における深度の勾配に基づいて、被写体により反射された照明光の反射光のパラメータを算出する反射光配光特性算出部３３４と、上記画像データと、照明光配光特性算出部３３２が算出した照明光のパラメータと、反射光配光特性算出部３３４が算出した反射光のパラメータとに基づいて、集光光学系の光軸方向における撮像部から被写体までの深度を算出する被写体距離算出部３４０とを備える。
2017002388.tif 000002
【特許請求の範囲】
【請求項１】
被写体を照射する照明光を発生する照明部と、前記被写体により反射された前記照明光を集光する集光光学系と、該集光光学系により集光された前記照明光を受光し、該照明光に基づき、前記被写体の像を表す画像データを出力すると共に前記被写体までの距離を表す測距データを出力するイメージセンサと、を有する撮像部から出力された前記画像データ及び前記測距データに基づいて画像処理を行う画像処理装置であって、
前記測距データに基づいて、前記被写体上の点に照射された前記照明光のパラメータを算出する照明光配光特性算出部と、
前記測距データから算出される前記被写体上の点における深度の勾配に基づいて、前記被写体により反射された前記照明光の反射光のパラメータを算出する反射光配光特性算出部と、
前記画像データと、前記照明光のパラメータと、前記反射光のパラメータとに基づいて、前記集光光学系の光軸方向における前記撮像部から前記被写体までの距離を算出する被写体距離算出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記測距データに基づき、前記画像データに基づいて作成される前記被写体の画像内の各画素位置に対応する前記被写体上の点までの深度を各画素の画素値とする深度画像を作成する深度画像作成部をさらに備え、
前記照明光配光特性算出部は、前記深度画像に基づいて、前記照明光における配光特性の放射角方向の値を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記深度画像作成部は、前記被写体の画像内の画素位置のうち、前記測距データが得られていない画素位置における前記深度を、前記測距データが得られている画素位置における測距データを用いて補間する、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記深度画像作成部が算出した前記深度に基づいて、前記被写体の画像内の画素位置ごとに前記深度の勾配を算出する深度勾配算出部をさらに備え、
前記反射光配光特性算出部は、前記深度勾配算出部が算出した前記深度の勾配に基づいて、前記反射光の配光特性における反射角方向の値を算出する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像データに基づいて表示用の画像を作成する画像処理部と、
前記表示用の画像を表示する表示部と、
前記表示用の画像上の任意の２点を指定する信号を入力する操作入力部と、
前記表示用の画像上の任意の２点に対応する前記被写体上の２点間の距離を算出する２点間距離算出部と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
請求項１に記載の画像処理装置と、
前記撮像部と、
を備えることを特徴とする測距システム。
【請求項７】
請求項１に記載の画像処理装置と、
カプセル形状をなす筐体に前記撮像部を収容したカプセル型内視鏡と、
を備えることを特徴とする内視鏡システム。
【請求項８】
請求項１に記載の画像処理装置と、
前記被検体に挿入される挿入部の先端部に前記撮像部が設けられたビデオスコープと、
を備えることを特徴とする内視鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体内を撮像することにより取得されたデータに基づいて画像処理を行う画像処理装置、測距システム、及び内視鏡システムに関する。
【背景技術】
【０００２】
生体内に内視鏡を導入し、内視鏡が撮像した被写体の画像を観察することにより生体の診断を行う内視鏡システムが広く普及している。近年では、内視鏡から被写体までの距離（深度）を測定する測距システムが組み込まれた内視鏡システムの開発も行われている。【０００３】
測距システムの例として、例えば特許文献１には、像面位相差オートフォーカス（ＡＦ）に用いられるイメージセンサを撮像部に設け、このイメージセンサに配置された測距用画素からの出力信号をもとに被写体までの深度を測定するシステムが開示されている。【０００４】
また、例えば特許文献２には、被写体の画像生成用のイメージセンサとは別にＴＯＦ(Time  of  Flight)方式の測距用センサを撮像部に設け、測距用センサからの出力信号をもとに被写体までの深度を測定するシステムが開示されている。【０００５】
さらに、特許文献３には、被写体を照明する照明部と撮像部との位置関係をもとに、被写体の画像から深度を算出する技術が開示されている。具体的には、照明部から出射し、被写体上の注目点に入射した光の照射角（照明部の光軸に対する角度）と、注目点において反射され、集光光学系を介して撮像部に入射した光の撮像角（集光光学系の光軸に対する角度）とを用いて被写体までの深度を算出する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−２３２７５１号公報
【特許文献２】特開２００９−２６７４３６号公報
【特許文献３】特開２００９−４１９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画像に写った被写体までの深度の測定精度を高めることは、被写体の立体的な構造を把握したり、三角測量の原理により画像内の２点間に対応する被写体上の２点間の距離を算出したりする上で重要である。【０００８】
しかしながら、特許文献１の場合、イメージセンサにまばらに配置された測距用画素の位置における深度しか実測しないため、被写体の画像を構成する全ての画素位置について精度の良い深度情報が得られるわけではない。【０００９】
また、特許文献２の場合、画像内の全領域における深度を実測するため、精度の良い深度情報が得られるものの、１フレームあたりに生成されるデータ量が大幅に増加する。そのため、測距用センサにおけるデータ処理や、測距用センサから画像処理装置へのデータ通信に長時間を要してしまう。その結果、撮像フレームレートが低下するという問題が生じてしまう。【００１０】
さらに、特許文献３の場合、被写体の画像から照射角を求めることができないため、推定値を使用せざるを得ない。そのため、深度の測定精度が照射角の推定精度に依存することになり、高精度な深度情報を取得できるとは限らない。【００１１】
本発明は、上記に鑑みてなされたものであって、撮像部におけるデータ処理量や撮像部と画像処理装置との間のデータ通信量を大幅に増加させることなく、高精度な深度情報を取得することができる画像処理装置、測距システム、及び内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体を照射する照明光を発生する照明部と、前記被写体により反射された前記照明光を集光する集光光学系と、該集光光学系により集光された前記照明光を受光し、該照明光に基づき、前記被写体の像を表す画像データを出力すると共に前記被写体までの距離を表す測距データを出力するイメージセンサと、を有する撮像部から出力された前記画像データ及び前記測距データに基づいて画像処理を行う画像処理装置であって、前記測距データに基づいて、前記被写体上の点に照射された前記照明光のパラメータを算出する照明光配光特性算出部と、前記測距データから算出される前記被写体上の点における深度の勾配に基づいて、前記被写体により反射された前記照明光の反射光のパラメータを算出する反射光配光特性算出部と、前記画像データと、前記照明光のパラメータと、前記反射光のパラメータとに基づいて、前記集光光学系の光軸方向における前記撮像部から前記被写体までの距離を算出する被写体距離算出部と、を備えることを特徴とする。【００１３】
上記画像処理装置は、前記測距データに基づき、前記画像データに基づいて作成される前記被写体の画像内の各画素位置に対応する前記被写体上の点までの深度を各画素の画素値とする深度画像を作成する深度画像作成部をさらに備え、前記照明光配光特性算出部は、前記深度画像に基づいて、前記照明光における配光特性の放射角方向の値を算出する、ことを特徴とする。【００１４】
上記画像処理装置において、前記深度画像作成部は、前記被写体の画像内の画素位置のうち、前記測距データが得られていない画素位置における前記深度を、前記測距データが得られている画素位置における測距データを用いて補間する、ことを特徴とする。【００１５】
上記画像処理装置は、前記深度画像作成部が算出した前記深度に基づいて、前記被写体の画像内の画素位置ごとに前記深度の勾配を算出する深度勾配算出部をさらに備え、前記反射光配光特性算出部は、前記深度勾配算出部が算出した前記深度の勾配に基づいて、前記反射光の配光特性における反射角方向の値を算出する、ことを特徴とする。【００１６】
上記画像処理装置は、前記画像データに基づいて表示用の画像を作成する画像処理部と、前記表示用の画像を表示する表示部と、前記表示用の画像上の任意の２点を指定する信号を入力する操作入力部と、前記表示用の画像上の任意の２点に対応する前記被写体上の２点間の距離を算出する２点間距離算出部と、をさらに備えることを特徴とする。【００１７】
本発明に係る測距システムは、前記画像処理装置と、前記撮像部と、を備えることを特徴とする。【００１８】
本発明に係る内視鏡システムは、前記画像処理装置と、カプセル形状をなす筐体に前記撮像部を収容したカプセル型内視鏡と、を備えることを特徴とする。【００１９】
本発明に係る内視鏡システムは、前記画像処理装置と、前記被検体に挿入される挿入部の先端部に前記撮像部が設けられたビデオスコープと、を備えることを特徴とする。【００２０】
本発明によれば、被写体までの距離を表す測距データに基づいて算出された照明光のパラメータ及び反射光のパラメータと、被写体の像を表す画像データとを用いることにより、撮像部から被写体までの深度を高精度に算出することができる。それにより、被写体の画像を構成する全ての画素の位置について深度を実測する必要がなくなるので、データ処理量やデータ通信量を大幅に増加させることなく、高精度な深度情報を取得することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の実施の形態１に係る測距システムの構成例を示す模式図である。
【図２】図２は、図１に示すイメージセンサの受光面を示す模式図である。
【図３】図３は、図１に示す深度算出部の構成を示すブロック図である。
【図４】図４は、被写体距離の測定原理を説明するための模式図である。
【図５】図５は、照明光の配光特性を説明するための模式図である。
【図６】図６は、図４に示すイメージセンサの受光面に対応する深度画像の画像領域を示す模式図である。
【図７】図７は、深度勾配の算出方法を説明するための模式図である。
【図８】図８は、深度勾配の算出方法を説明するための模式図である。
【図９】図９は、反射光の配光特性を説明するための模式図である。
【図１０】図１０は、本発明の実施の形態２に係る測距システムの構成例を示す模式図である。
【図１１】図１１は、図１０に示す表示部に表示される画面の例を示す模式図である。
【図１２】図１２は、画像内の２点間に対応する被写体上の距離を測定する原理を説明するための模式図である。
【図１３】図１３は、画像内の２点間に対応する被写体上の距離を測定する原理を説明するための模式図である。
【図１４】図１４は、本発明の実施の形態３に係る内視鏡システムの構成例を示す模式図である。
【図１５】図１５は、図１４に示すカプセル型内視鏡の内部構造の一例を示す模式図である。
【図１６】図１６は、本発明の実施の形態４に係る内視鏡システムの構成例を示す模式図である。
【発明を実施するための形態】
【００２２】
以下に、本発明の実施の形態に係る画像処理装置、測距システム、及び内視鏡システムについて、図面を参照しながら説明する。以下の説明において、各図は本発明の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。従って、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。なお、図面の記載において、同一部分には同一の符号を付している。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１に係る測距システムの構成例を示す模式図である。本実施の形態１に係る測距システム１は、生体内に導入されて撮像を行う内視鏡システム等に適用され、粘膜等の被写体までの距離（深度）を測定するシステムである。内視鏡システムとしては、被検体に挿入される挿入部の先端部に撮像部を設けたビデオスコープを備える一般的な内視鏡システムであっても良いし、カプセル形状をなす筐体に撮像部及び無線通信部を収容したカプセル型内視鏡を生体内に導入して撮像を実行させるカプセル型内視鏡システムであっても良い。
【００２４】
図１に示すように、測距システム１は、被写体Ｓを撮像することにより画像データを生成して出力すると共に、被写体Ｓまでの距離を実測することにより測距データを生成して出力する撮像部２と、撮像部２から出力された画像データ及び測距データを取得し、画像データに基づいて被写体Ｓの画像を作成すると共に、画像データ及び測距データを用いて被写体Ｓまでの深度マップを作成する画像処理装置３とを備える。
【００２５】
撮像部２は、被写体Ｓを照明する照明光を発生する１つ以上の照明部２１と、集光レンズ等の集光光学系２２と、イメージセンサ２３とを備える。
【００２６】
照明部２１は、ＬＥＤ（Light  Emitting  Diode）等の発光素子及び該発光素子を駆動する駆動回路を含み、白色光あるいは特定の周波数帯域の照明光を発生して被写体Ｓに照射する。
【００２７】
イメージセンサ２３は、被写体Ｓの視覚的な情報を表す画像データと、被写体Ｓまでの深度を表す測距データとを取得可能なセンサであり、照明部２１から出射し、被写体Ｓにより反射され、集光光学系２２により集光された照明光（即ち、反射光）を受光する受光面２３ａを有する。本実施の形態１においては、イメージセンサ２３として、像面位相差ＡＦ用のセンサを用いている。
【００２８】
図２は、イメージセンサ２３の構成を説明するための模式図である。図２に示すように、イメージセンサ２３は、受光面２３ａに配列された複数の撮像用画素２３ｂ及び測距用画素２３ｃと、これらの画素から出力された電気信号を処理する信号処理回路２３ｄとを備える。受光面２３ａには、複数の撮像用画素２３ｂがマトリックス状に配置され、このマトリックスの一部を置き換えるように、複数の測距用画素２３ｃが配置されている。図２においては、測距用画素２３ｃの位置に「×」印を記して、撮像用画素２３ｂと区別している。
【００２９】
各撮像用画素２３ｂは、フォトダイオード等の光電変換部上に、マイクロレンズと、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタとを積層した構造を有し、光電変換部に入射した光の光量に応じた電荷を発生させる。撮像用画素２３ｂは、各々が有するカラーフィルタの色に応じて、ベイヤー配列等の所定の並び順で配列されている。信号処理回路２３ｄは、各撮像用画素２３ｂが発生した電荷を電圧信号に変換し、さらにデジタル信号に変換することにより、画像データとして出力する。
【００３０】
各測距用画素２３ｃは、２つの光電変換部を同一平面上に並べて配置し、さらに、これらの光電変換部上に跨るように１つのマイクロレンズを配置した構造を有する。マイクロレンズに入射した光は、マイクロレンズへの入射位置に応じた配分で２つの光電変換部に入射する。２つの光電変換部の各々は入射した光の光量に応じた電荷を発生させる。信号処理回路２３ｄは、各測距用画素２３ｃの２つの光電変換部においてそれぞれ発生した電荷を電圧信号に変換し、これらの電圧信号間の位相差（距離に関する情報）をもとに、撮像部２から被写体Ｓまでの距離（深度）を表す測距データを生成して出力する。
【００３１】
画像処理装置３は、撮像部２から出力された画像データ及び測距データを取得するデータ取得部３１と、データ取得部３１が取得した画像データ及び測距データ並びに当該画像処理装置３において用いられる各種プログラムやパラメータ等を記憶する記憶部３２と、画像データ及び測距データをもとに各種演算処理を行う演算部３３と、被写体Ｓの画像等を表示する表示部３４と、当該画像処理装置３に対する種々の情報や命令の入力に用いられる操作入力部３５と、これらの各部を統括的に制御する制御部３６とを備える。
【００３２】
データ取得部３１は、当該測距システム１が適用される内視鏡システムの態様に応じて適宜構成される。例えば、ビデオスコープを体内に挿入する一般的な内視鏡システムの場合、データ取得部３１は、ビデオスコープに設けられた撮像部２が生成した画像データ及び測距データを取り込むインタフェースによって構成される。また、カプセル型内視鏡システムの場合、データ取得部３１は、カプセル型内視鏡から無線送信された信号を、アンテナを介して受信する受信部によって構成される。或いは、カプセル型内視鏡との間で可搬型の記憶媒体を用いて画像データ及び測距データを受け渡ししても良く、この場合、データ取得部３１は、可搬型の記憶媒体を着脱自在に装着し、記憶された画像データ及び測距データを読み出すリーダ装置によって構成される。或いは、内視鏡システムにおいて生成された画像データ及び測距データを保存するサーバを設置する場合、データ取得部３１は、サーバと接続される通信装置等で構成され、サーバとの間でデータ通信を行って各種データを取得する。
【００３３】
記憶部３２は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）といった各種ＩＣ（Integrated  Circuit）メモリ、内蔵若しくはデータ通信端子で接続されたハードディスク若しくはＣＤ−ＲＯＭ（Compact  Disc  Read  Only  Memory）等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部３２は、画像処理装置３を動作させると共に、種々の機能を画像処理装置３に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ、具体的には、データ取得部３１によって取得された画像データ及び測距データや、各種パラメータ等を格納する。
【００３４】
演算部３３は、ＣＰＵ（Central  Processing  Unit）等の汎用プロセッサやＡＳＩＣ（Application  Specific  Integrated  Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部３３が汎用プロセッサである場合、記憶部３２が記憶する各種演算プログラムを読み込むことにより演算処理を実行する。また、演算部３３が専用プロセッサである場合、プロセッサが単独で種々の演算処理を実行してもよいし、記憶部３２が記憶する各種データ等を用いることで、プロセッサと記憶部３２が協働又は結合して演算処理を実行してもよい。
【００３５】
具体的には、演算部３３は、画像データに対してホワイトバランス処理、デモザイキング、ガンマ変換、平滑化（ノイズ除去等）等の所定の画像処理を施すことにより、表示用の画像を作成する画像処理部３３ａと、画像データ及び測距データをもとに、画像処理部３３ａが作成した表示用の画像内の各画素位置に対応する被写体Ｓまでの深度（集光光学系２２からの距離）を算出する深度算出部３３ｂとを備える。深度算出部３３ｂの詳細な構成及び動作については後述する。
【００３６】
表示部３４は、液晶や有機ＥＬ（Electro  Luminescence）等の各種ディスプレイを含み、画像処理部３３ａが作成した表示用の画像や、深度算出部３３ｂが算出した距離等の情報を表示する。
【００３７】
制御部３６は、ＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部３６が汎用プロセッサである場合、記憶部３２が記憶する制御プログラムを読み込むことによって画像処理装置３を構成する各部への指示やデータの転送等を行い、画像処理装置３全体の動作を統括して制御する。また、制御部３６が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部３２が記憶する各種データ等を用いることで、プロセッサと記憶部３２が協働又は結合して種々の処理を実行してもよい。
【００３８】
図３は、深度算出部３３ｂの詳細な構成を示すブロック図である。図３に示すように、深度算出部３３ｂは、深度画像作成部３３１と、照明光配光特性算出部３３２と、深度勾配算出部３３３と、反射光配光特性算出部３３４と、輝度画像作成部３３５と、像面照度算出部３３６と、物体面輝度算出部３３７と、照射照度算出部３３８と、照射距離算出部３３９と、被写体距離算出部３４０とを備える。
【００３９】
深度画像作成部３３１は、記憶部３２から読み出された測距データに基づいて、画像処理部３３ａが作成する表示用の画像内の各画素位置に対応する被写体Ｓ上の点と集光光学系２２との間の深度を各画素の画素値とする深度画像を作成する。上述したように、測距用画素２３ｃは、受光面２３ａにまばらに配置されているので、深度画像作成部３３１は、測距用画素２３ｃが配置されていない画素位置については、近傍に配置されている測距用画素２３ｃから出力された測距データを用いて補間演算により深度を算出する。
【００４０】
照明光配光特性算出部３３２は、深度画像作成部３３１が作成した深度画像に基づいて、被写体Ｓに照射された照明光のパラメータとして配光特性における放射角方向の値を算出する。
【００４１】
深度勾配算出部３３３は、深度画像作成部３３１が作成した深度画像に基づいて、被写体Ｓ上の点における深度の勾配（以下、深度勾配という）を算出する。
【００４２】
反射光配光特性算出部３３４は、深度勾配算出部３３３が算出した深度勾配に基づいて、被写体Ｓにより反射された照明光（即ち、反射光）のパラメータとして配光特性における反射角方向の値を算出する。
【００４３】
輝度画像作成部３３５は、記憶部３２から読み出された画像データに基づいて、被写体Ｓの画像の輝度を各画素の画素値とする輝度画像を作成する。
【００４４】
像面照度算出部３３６は、輝度画像作成部３３５が作成した輝度画像に基づいて、イメージセンサ２３の像面における照度を算出する。
【００４５】
物体面輝度算出部３３７は、像面照度算出部３３６が算出した像面における照度に基づいて、被写体Ｓの表面における輝度を算出する。
【００４６】
照射照度算出部３３８は、物体面輝度算出部３３７が算出した物体面の輝度と、反射光配光特性算出部３３４が算出した反射光の配光特性における反射角方向の値とに基づいて、被写体Ｓに照射された照明光の照射照度を算出する。
【００４７】
照射距離算出部３３９は、被写体Ｓに照射された照明光の照射照度と、照明光配光特性算出部３３２が算出した照明光の配光特性における放射角方向の値とに基づいて、集光光学系２２から被写体Ｓまでの照射距離を算出する。
【００４８】
被写体距離算出部３４０は、照射距離算出部３３９が算出した照射距離を集光光学系２２の光軸ＺLに投影した距離である被写体距離を算出する。
【００４９】
次に、本実施の形態１における測距方法を、図１〜図８を参照しながら詳細に説明する。図４は、撮像部２内の各部と被写体Ｓとの位置及び角度の関係を示す模式図である。
【００５０】
まず、測距システム１は、照明部２１を発光させることにより、被写体Ｓに照明光Ｌ１を照射する。それにより、被写体Ｓによって反射された照明光（即ち、反射光）が集光光学系２２によって集光され、イメージセンサ２３の受光面２３ａに入射する。信号処理回路２３ｄ（図２参照）は、受光面２３ａに配置された撮像用画素２３ｂ及び測距用画素２３ｃからそれぞれ出力された電気信号に基づき、各撮像用画素２３ｂの位置における画像データを出力すると共に、各測距用画素２３ｃの位置における測距データを出力する。画像処理装置３のデータ取得部３１は、これらの画像データ及び測距データを取り込み、記憶部３２に記憶させる。
【００５１】
図３に示すように、深度算出部３３ｂは、記憶部３２から測距データ及び画像データを取り込み、測距データを深度画像作成部３３１に入力すると共に、画像データを輝度画像作成部３３５に入力する。
【００５２】
深度画像作成部３３１は、入力された測距データに基づいて、集光光学系２２から被写体Ｓまでの距離ｄS（図４参照）を各画素の画素値とし、受光面２３ａ全体に対応するサイズの深度画像を作成する。ここで、図２に示すように、イメージセンサ２３の受光面２３ａには、測距用画素２３ｃがまばらにしか配置されていない。そこで、深度画像作成部３３１は、測距用画素２３ｃの位置に対応する深度画像内の画素については、測距用画素２３ｃからの出力値に基づく測距データを用い、それ以外の深度画像内の画素については測距データを用いた補間により算出する。従って、深度画像において、測距用画素２３ｃからの出力値に基づく測定値が得られていない画素位置における距離ｄSは、被写体Ｓの表面の凹凸等が反映されていない概算値である。
【００５３】
続いて、照明光配光特性算出部３３２は、深度画像作成部３３１が作成した深度画像をもとに、被写体Ｓ上の各点（例えば注目点Ｐ）に照射された照明光Ｌ１の配光特性における放射角方向の値を算出する。
【００５４】
図５は、照明部２１の光軸ＺEに対する照明光Ｌ１の放射方向のなす角度である放射角θEと、放射角θEに対応する配光特性における放射角方向の値α（θE）との関係を示している。なお、図５においては、放射面における最大光度、即ち放射角θE＝０°のときの光度を基準に正規化されている。照明光配光特性算出部３３２は、図５に例示する配光特性を表す関数又はテーブルを記憶部３２から読み出し、照明部２１と注目点Ｐとの位置関係から放射角θEを算出し、この放射角θEに対応する配光特性における放射角方向の値α（θE）を算出する。
【００５５】
なお、一般的なＬＥＤでは配光特性がコサインとなるため、例えば放射角θE＝４５°である場合、放射角方向の光度α（４５°）は、放射角θE＝０°における値α（０°）にｃｏｓ（４５°）をかけた値となる。
【００５６】
ここで、放射角θEの算出方法を説明する。図６は、イメージセンサ２３の受光面２３ａに対応する深度画像の画像領域を示す模式図である。まず、照明光配光特性算出部３３２は、深度画像Ｍ内の注目画素Ａ（ｘ0，ｙ0）に対応する受光面２３ａ上の画素Ａ’（図４参照）を抽出し、イメージセンサ２３の画素数（ピクセル）及びセンササイズｄsen（ｍｍ）を用いて、この画素Ａ’の座標値をピクセルから距離（ｍｍ）に換算する。また、照明光配光特性算出部３３２は、距離に換算された画素Ａ’の座標値を用いて、集光光学系２２の光軸ＺLから画素Ａ’までの距離、即ち像高ｄAを算出する。そして、集光光学系２２と受光面２３ａまでの距離（設計値）ｄ0と像高ｄAとから、次式（１）により、画角φを算出する。
φ＝ｔａｎ-1（ｄA／ｄ0）  …（１）
なお、図６においては、像高ｄAに対応する深度画像Ｍ内の長さｌ（ｄA）を破線で示している。
【００５７】
照明光配光特性算出部３３２は、この画角φと、深度画像Ｍにおける注目画素Ａの画素値、即ち、深度ｄSとに基づき、次式（２）を用いて注目画素Ａに対応する被写体Ｓ上の注目点Ｐと光軸ＺLとの距離、即ち被写体の高さｄPを算出する。
ｄP＝ｄSｔａｎφ  …（２）
【００５８】
続いて、照明光配光特性算出部３３２は、照明部２１が備える発光素子の位置に対応する深度画像Ｍ内の座標を算出する。ここで、撮像部２において、照明部２１が備える発光素子の光軸ＺEと集光光学系２２の光軸ＺLとの間の距離ｄLEDや、発光素子とイメージセンサ２３の受光面２３ａとの位置関係は、設計値として決まっている。そこで、照明光配光特性算出部３３２は、イメージセンサ２３の画素数及びセンササイズｄsen（ｍｍ）を用いて深度画像Ｍの像高を求め、求めた像高から、照明部２１が備える発光素子の位置に対応する深度画像Ｍ内の画素の座標ＡLEDを算出する。
【００５９】
続いて、照明光配光特性算出部３３２は、注目画素Ａの座標と発光素子の位置に対応する画素ＡLEDの座標とから、これらの画素間の間隔ｄpixを算出する。そして、この間隔ｄpixを、イメージセンサ２３の画素数及びセンササイズｄsen（ｍｍ）を用いて、被写体Ｓにおける距離（ｍｍ）に換算する。この距離が、注目点Ｐから発光素子の光軸ＺEまでの距離ｄEである。照明光配光特性算出部３３２は、この距離ｄEと、注目点Ｐの深度ｄSとから、次式（３）を用いて放射角θEを算出する。
θE＝ｔａｎ-1（ｄE／ｄS）  …（３）
【００６０】
照明光配光特性算出部３３２は、このようにして算出した放射角θEに基づいて、照明光Ｌ１の配光特性における放射角方向の値α（θE）（図５）を算出する。
【００６１】
なお、照明部２１が複数の発光素子を備える場合、照明光配光特性算出部３３２は、複数の発光素子の各々について、上述した方法により放射角θEを算出し、算出した複数の放射角θEに基づいて配光特性における放射角方向の値を算出すれば良い。この場合、配光特性としても、複数の発光素子の配置に応じた特性を表す関数又はテーブルを、照明光配光特性算出部３３２に記憶部３２から読み出す。例えば、照明部２１が４つの発光素子を有し、ある注目点Ｐに対してそれぞれの発光素子の放射角θE1、θE2、θE3、θE4が算出された場合、これらの放射角に基づく配光特性における放射角方向の値α（θE1、θE2、θE3、θE4）が算出される。
【００６２】
再び図３を参照すると、深度勾配算出部３３３は、深度画像作成部３３１が作成した深度画像Ｍ（図６参照）をもとに、被写体Ｓ上の点における深度勾配を算出する。深度勾配は、深度画像内の各画素の画素値（即ち、深度）の微分を取ることにより算出される。図４に示すように、深度勾配は、集光光学系２２の光軸ＺLと直交する面に対する注目点Ｐにおける接面の勾配（勾配角θ）を与える。
【００６３】
ここで、深度勾配算出部３３３による深度勾配の算出方法を詳しく説明する。図７及び図８は、勾配画像の算出方法を説明するための模式図であり、図７及び図８に示す矩形の領域は、深度画像Ｍ内の注目画素Ａ（ｘ0，ｙ0）及びその周辺画素を示している。
【００６４】
注目画素Ａの深度勾配は、基本的に、深度画像Ｍの中心Ｃと注目画素Ａとを結ぶ直線上において注目画素Ａと隣接する画素の画素値（深度）を用いて算出される。例えば、図７に示すように、深度画像Ｍの中心Ｃと注目画素Ａとを結ぶ直線上に、注目画素Ａと隣接する画素Ａ1、Ａ2の中心が乗っている場合、注目画素Ａにおける深度勾配Ｇは、中心Ｃから画素Ａ1、Ａ2にそれぞれ向かうベクトルＣＡ1、ＣＡ2を用いて、次式（４）によって与えられる。
【数１】
2017002388.tif 000003
式（４）において、符号Ｘ（  ）は、括弧内に示すベクトルのｘ成分を示し、符号Ｙ（  ）は、括弧内に示すベクトルのｙ成分を示す。また、符号Ｚ（  ）は、括弧内に示す画素の画素値、即ち深度を示す。
【００６５】
一方、図８に示すように、深度画像Ｍの中心Ｃと注目画素Ａとを結ぶ直線上に、注目画素Ａと隣接する画素の中心が乗っていない場合、隣接画素の座標及び深度を、周辺画素を用いた線形補間により算出する。
【００６６】
例えば、深度画像Ｍの中心Ｃを原点とし、中心Ｃ及び注目画素Ａを通る直線がｙ＝（１／３）ｘと表される場合を考える。この場合、（ｘ0−１）列の画素と直線ｙ＝（１／３）ｘとの交点Ａ4の座標を与えるベクトルＣＡ4は、中心Ｃから画素Ａ2、Ａ3にそれぞれ向かうベクトルＣＡ2、ＣＡ3とを用いて、式（５−１）によって算出される。また、交点Ａ4における深度Ｚ（Ａ4）は、画素Ａ2、Ａ3における深度Ｚ（Ａ2）、Ｚ（Ａ3）を用いて、式（５−２）によって与えられる。
【数２】
2017002388.tif 000004
【００６７】
同様に、（ｘ0＋１）列の画素と直線ｙ＝（１／３）ｘとの交点Ａ6の座標を与えるベクトルＣＡ6は、中心Ｃから画素Ａ1、Ａ5にそれぞれ向かうベクトルＣＡ1、ＣＡ5とを用いて、式（６−１）によって算出される。また、交点Ａ6における深度Ｚ（Ａ6）は、画素Ａ1、Ａ5における深度Ｚ（Ａ1）、Ｚ（Ａ6）を用いて、式（６−２）によって与えられる。
【数３】
2017002388.tif 000005
【００６８】
この場合、注目画素Ａの深度勾配Ｇは、補間により算出した交点Ａ4、Ａ6の座標及び該交点Ａ4、Ａ6における深度Ｚ（Ａ4）、Ｚ（Ａ6）を用いて、式（４）と同様にして算出される。
深度勾配算出部３３３は、このようにして深度画像Ｍ内の全画素における深度勾配を算出する。
【００６９】
続いて、反射光配光特性算出部３３４は、深度勾配算出部３３３が算出した深度勾配をもとに、被写体Ｓ上の各点（例えば注目点Ｐ）において反射された照明光（即ち、反射光）の配光特性における反射角方向の値を算出する。
【００７０】
図９は、反射光の配光特性の一例を示す模式図である。反射光の配光特性とは、被写体Ｓの表面における反射角θRに応じた反射率のことである。なお、図９に示す配光特性は、反射率が最大、即ち反射角θR＝０°のときの反射率Ｒ（θR＝０）を基準に正規化されている。反射光配光特性算出部３３４は、図９に例示する配光特性を表す関数又はテーブルを記憶部３２から読み出し、照明部２１から注目点Ｐに入射する照明光Ｌ１と、注目点Ｐから集光光学系２２に向けて反射される反射光Ｌ２との関係から反射角θRを算出し、配光特性を表す関数又はテーブルを適用することにより配光特性における反射角方向の値Ｒ（θR）を算出する。
【００７１】
例えば、反射角θR＝４５°のとき、配光特性における反射角方向の値Ｒ（４５°）＝０．８であった場合、注目点Ｐからイメージセンサ２３の方向に放射される反射光Ｌ２の光度は、反射角θR＝０°の場合の０．８倍となる。
【００７２】
ここで、反射角θRの算出方法を説明する。まず、反射光配光特性算出部３３４は、照明光配光特性算出部３３２と同様の手法により、深度画像Ｍ内の注目画素Ａ（図６参照）に対応する受光面２３ａ上の画素Ａ’から見た画角φを算出する。また、深度勾配算出部３３３が算出した深度勾配から、注目画素Ａにおける深度勾配（勾配角θ）を算出する。そして、画角φ及び深度勾配（勾配角θ）から反射角θRを算出する。
【００７３】
再び図３を参照すると、輝度画像作成部３３５は、入力された画像データに基づいて、被写体Ｓの画像の輝度を画素値とする輝度画像を作成する。ここで、図２に示すように、イメージセンサ２３の受光面２３ａには測距用画素２３ｃがまばらに配置されているため、測距用画素２３ｃが配置されている画素位置においては画像データが取得されていない。そこで、輝度画像作成部３３５は、測距用画素２３ｃの近傍に位置する撮像用画素２３ｂからの出力値に基づく画像データを用いて、当該測距用画素２３ｃの位置における輝度を補間により算出する。
【００７４】
続いて、像面照度算出部３３６は、輝度画像作成部３３５が作成した輝度画像に基づいて、集光光学系２２の像面における照度（像面照度）Ｅf［ｌｘ］を算出する。ここで、像面照度とは、集光光学系２２を照明系と捉えた時、この集光光学系２２を通過した反射光Ｌ２がイメージセンサ２３に入射する際の照度のことである。
【００７５】
像面照度Ｅfは、イメージセンサ２３の各撮像用画素２３ｂ（図２参照）からの出力値Ｖoutと、係数Ｋと、露光時間ｔとを用いて、次式（７）により与えられる。係数Ｋは、各撮像用画素２３ｂにおける光の吸収係数、電荷から電圧への変換係数、ＡＤ変換や増幅器等の回路におけるゲインや損失等を考慮したトータルの係数であり、イメージセンサ２３のスペックによって予め設定されている。なお、各測距用画素２３ｃの位置における像面照度Ｅfについては、当該測距用画素２３ｃの近傍の撮像用画素２３ｂからの出力値Ｖoutを用いた補間により算出する。
【数４】
2017002388.tif 000006
【００７６】
続いて、物体面輝度算出部３３７は、像面照度Ｅfに基づいて、被写体Ｓの表面における輝度である物体面輝度ＬS［ｃｄ／ｍ2］を算出する。物体面輝度ＬSは、像面照度Ｅfと、集光光学系２２の口径Ｄ、焦点距離ｂ、及び強度透過率Ｔ（ｈ）とを用いて、次式（８）により与えられる。
【数５】
2017002388.tif 000007
【００７７】
続いて、照射照度算出部３３８は、物体面輝度ＬSに基づいて、被写体Ｓを照射した照明光Ｌ１の照射照度Ｅ0［ｌｘ］を算出する。照明光Ｌ１は、被写体Ｓの注目点Ｐにおいて反射されることにより、被写体Ｓの表面における反射率Ｒ0の分だけ減衰すると共に、反射角θRに応じた配光特性の分だけ減衰する。従って、照射照度Ｅ0は、物体面輝度ＬSと、被写体Ｓの反射率Ｒ0と、反射光配光特性算出部３３４が算出した反射光Ｌ２の配光特性における反射角方向の値Ｒ（θR）とを用いて、次式（９）により逆算することができる。
【数６】
2017002388.tif 000008
【００７８】
ここで、反射率Ｒ0は、被写体Ｓの表面性状に応じて決まる値であり、記憶部３２に予め格納されている。記憶部３２は、胃粘膜や大腸粘膜といった観察対象の被写体の種類に応じた反射率Ｒ0を複数格納しても良く、この場合、照射照度算出部３３８は、操作入力部３５（図１参照）から入力される信号に応じた反射率Ｒ0を選択して用いる。
【００７９】
このようにして算出された照射照度Ｅ0は、照明部２１から出射した照明光Ｌ１が被写体Ｓの注目点Ｐに到達して生じたものである。この間、照明部２１から出射した照明光Ｌ１は、注目点Ｐまでの照射距離ｄL及び放射角θEに応じた配光特性における放射角方向の値α（θE）の分だけ減衰する。従って、照明部２１の輝度ＬLEDと注目点Ｐにおける照射照度Ｅ0との間には、次式（１０）の関係が成り立つ。
【数７】
2017002388.tif 000009
式（１０）において、符号ＳLEDは、照明部２１から照明光Ｌ１が放射される領域の表面積を示す。また、符号ＥｍSPEは、照明光Ｌ１の分光特性係数である。
【００８０】
そこで、照射距離算出部３３９は、照明光配光特性算出部３３２から照明光の配光特性における放射角方向の値α（θE）を取得し、この配光特性における放射角方向の値α（θE）と照射照度Ｅ0とを用いて、次式（１１）により与えられる照射距離ｄL［ｍ］を算出する。
【数８】
2017002388.tif 000010
【００８１】
続いて、被写体距離算出部３４０は、放射角θEを用いて、次式（１２）により照射距離ｄLを光軸ＺLに投影した被写体距離ｄS［ｍ］を算出する。
ｄS＝ｄL・ｃｏｓθE  …（１２）
【００８２】
深度算出部３３ｂは、上述した一連の処理を深度画像Ｍ内の各画素について実行し、算出した被写体距離ｄSを、画像処理部３３ａが作成した表示用の画像内の各画素と関連付けた距離マップを作成して記憶部３２に記憶させる。それにより、撮像部２から取得された画像データと測距データに対する処理が終了する。
【００８３】
以上説明したように、本実施の形態１によれば、測距用画素２３ｃにより測定された測距データに基づいて深度画像を作成すると共に深度勾配を算出し、これらの深度画像及び深度勾配をもとに照明光の配光特性における放射角方向の値及び反射光の配光特性における反射角方向の値をそれぞれ算出し、これらの配光特性の値を用いて画像の輝度から被写体距離を算出するので、配光特性の値を用いない場合と比較して被写体距離の精度を大幅に向上させることができる。
【００８４】
また、本実施の形態１によれば、イメージセンサ２３の受光面２３ａにまばらに配置された測距用画素２３ｃから測距データを取得するので、イメージセンサ２３におけるデータ処理量や、撮像部２から画像処理装置３へのデータ通信量を大幅に削減することができる。従って、イメージセンサ２３における撮像フレームレートの低下を抑制することが可能となる。
【００８５】
（変形例）
上記実施の形態１においては、イメージセンサ２３として、複数の撮像用画素２３ｂと複数の測距用画素２３ｃとが同一の受光面２３ａ上に配置された像面位相差ＡＦ用のセンサを用いたが、イメージセンサ２３の構成はこれに限定されない。例えば、ＣＭＯＳ又はＣＣＤ等の一般的な撮像素子と、ＴＯＦ方式の測距用センサとを組み合わせて使用しても良い。
【００８６】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１０は、本発明の実施の形態２に係る測距システムの構成を示すブロック図である。図１０に示すように、本実施の形態２に係る測距システム４は、図１に示す画像処理装置３の代わりに画像処理装置５を備える。なお、撮像部２の構成及び動作は、実施の形態１と同様である。
【００８７】
画像処理装置５は、図１に示す演算部３３に対し、２点間距離算出部５１ａをさらに備える演算部５１を備える。演算部５１以外の画像処理装置５の各部の構成及び動作、並びに、演算部５１が備える画像処理部３３ａ及び深度算出部３３ｂの動作は、実施の形態１と同様である。
【００８８】
２点間距離算出部５１ａは、画像処理部３３ａが作成した被写体Ｓの表示用の画像に対し、操作入力部３５から入力された信号により指定された２点間の距離を算出する。
【００８９】
次に、画像内の２点間に対応する被写体Ｓ上の距離の測定方法を、図１１〜図１３を参照しながら説明する。図１１は、表示部３４に表示される画面の例を示す模式図である。図１２及び図１３は、２点間の距離の測定原理を説明するための模式図である。以下においては、被写体Ｓに関する距離マップ（実施の形態１参照）が作成され、記憶部３２に記憶されているものとする。
【００９０】
まず、制御部３６は、図１１に例示するように、画像処理部３３ａが作成した被写体Ｓの表示用の画像ｍ１０を含む画面Ｍ１を表示部３４に表示させる。この画面Ｍ１は、画像ｍ１０に加えて、該画像ｍ１０上においてユーザが選択した任意の２点（始点及び終点）の座標を表示する座標表示欄ｍ１１と、画像ｍ１０上においてユーザが選択した任意の２点間に対応する被写体Ｓ上の２点間の距離を表示する距離表示欄ｍ１２とを含んでいる。
【００９１】
この画面Ｍ１に対する操作入力部３５を用いた所定のポインタ操作（例えばクリック操作）により、画像ｍ１０上の任意の２点Ｑ１、Ｑ２が指定されると、操作入力部３５は、指定された２点Ｑ１、Ｑ２の画像ｍ１０上における座標値を制御部３６に入力する。
【００９２】
ここで、上述したように、被写体Ｓに関する距離マップは既に得られているため、画像ｍ１０内の各画素位置に対応する被写体Ｓ上の点から撮像部２までの距離は既知である。また、図１２に示すように、センササイズｄsen及び集光光学系２２から受光面２３ａまでの距離ｄ0も設計値として与えられている。
【００９３】
そこで、２点間距離算出部５１ａは、画像ｍ１０上の２点Ｑ１、Ｑ２の座標値を制御部３６から取得すると、記憶部３２から距離マップを読み出し、これらの２点Ｑ１、Ｑ２にそれぞれ対応する被写体Ｓ上の２点Ｐ１、Ｐ２から撮像部２（集光光学系２２）までの距離ｄs1、ｄs2を取得する。
【００９４】
また、２点間距離算出部５１ａは、図１３に示すように、画像ｍ１０上の２点Ｑ１、Ｑ２に対応するイメージセンサ２３の受光面２３ａ上の２点Ｑ１’、Ｑ２’の座標値（ｑx1、ｑy1）、（ｑx2、ｑy2）を取得し、これらの座標値とセンササイズｄsenと距離ｄ0とを用いて、像高（光軸ＺLとの距離）ｄ1、ｄ2を算出する。ここで、座標値（ｑx1、ｑy1）、（ｑx2、ｑy2）は、光軸ＺLが通る受光面２３ａ上の点Ｃ’を原点としたときの座標である。
【００９５】
さらに、２点間距離算出部５１ａは、点Ｃ’から点Ｑ１’、Ｑ２’にそれぞれ向かうベクトルに対する所定の軸からの回転角ψ1、ψ2を求める。
【００９６】
続いて、２点間距離算出部５１ａは、像高ｄ1、ｄ2と、集光光学系２２から受光面２３ａまでの距離ｄ0と、被写体Ｓ上の点Ｐ１、Ｐ２から集光光学系２２までの距離ｄs1、ｄs2とから、点Ｐ１、Ｐ２における被写体の高さ（光軸ＺLとの距離）ｄ1’、ｄ2’をそれぞれ算出する。
【００９７】
図１３に示す回転角ψ1、ψ2と、被写体の高さｄ1’、ｄ2’とを用いると、被写体Ｓ上の点Ｐ１、Ｐ２の座標（ｐx1，ｐy1，ｄS1）、（ｐx2，ｐy2，ｄS2）は、それぞれ次式（１３）、（１４）によって与えられる。
（ｐx1，ｐy1，ｄS1）＝（ｄ1’cosψ1，ｄ1’sinψ1，ｄS1）  …（１３）
（ｐx2，ｐy2，ｄS2）＝（ｄ2’cosψ2，ｄ2’sinψ2，ｄS2）  …（１４）
【００９８】
２点間距離算出部５１ａは、これらの座標（ｐx1，ｐy1，ｄS1）、（ｐx2，ｐy2，ｄS2）の間の距離ｄを算出して表示部３４に出力し、画面Ｍ１の例えば距離表示欄ｍ１２に表示させる。なお、距離ｄとしては、２次元座標（ｐx1，ｐy1）、（ｐx2，ｐy2）から算出した光軸ＺLと直交する面上における距離であっても良いし、３次元座標（ｐx1，ｐy1，ｄS1）、（ｐx2，ｐy2，ｄS2）から算出した３次元空間における距離であっても良い。
【００９９】
以上説明したように、本発明の実施の形態２によれば、画像ｍ１０内の各画素と関連付けられた距離マップを用いることにより、画像ｍ１０上で指定された任意の２点間に対応する被写体Ｓ上の距離を正確に算出することが可能となる。
【０１００】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１４は、本発明の実施の形態３に係る内視鏡システムの構成を示す模式図である。図１４に示すように、本実施の形態３に係る内視鏡システム６は、患者等の被検体６０内に導入されて撮像を行い、画像信号を生成して無線送信するカプセル型内視鏡６１と、カプセル型内視鏡６１から無線送信された画像信号を、被検体６０に装着された受信アンテナユニット６２を介して受信する受信装置６３と、画像処理装置３とを備える。画像処理装置３の構成及び動作は実施の形態１と同様であり（図１参照）、受信装置６３から画像データを取得して所定の画像処理を施し、被検体６０内の画像を表示する。或いは、画像処理装置３の代わりに、実施の形態２における画像処理装置５を適用しても良い。
【０１０１】
図１５は、カプセル型内視鏡６１の構成例を示す模式図である。カプセル型内視鏡６１は、経口摂取等によって被検体６０内に導入された後、消化管内部を移動し、最終的に被検体６０の外部に排出される。その間、カプセル型内視鏡６１は、臓器（消化管）内部を蠕動運動によって移動しつつ、被検体６０内を撮像して画像信号を順次生成し、無線送信する。
【０１０２】
図１５に示すように、カプセル型内視鏡６１は、照明部２１、集光光学系２２、及びイメージセンサ２３を含む撮像部２を収容するカプセル型筐体６１１を備える。カプセル型筐体６１１は、被検体６０の臓器内部に導入し易い大きさに形成された外装ケースである。また、カプセル型筐体６１１内には、カプセル型内視鏡６１の各構成部を制御する制御部６１５と、制御部６１５によって処理された信号をカプセル型内視鏡６１の外部に無線送信する無線通信部６１６と、カプセル型内視鏡６１の各構成部に電力を供給する電源部６１７とが設けられている。
【０１０３】
カプセル型筐体６１１は、筒状筐体６１２とドーム状筐体６１３、６１４とから成り、この筒状筐体６１２の両側開口端をドーム状筐体６１３、６１４によって塞ぐことによって実現される。筒状筐体６１２及びドーム状筐体６１４は、可視光に対して略不透明な有色の筐体である。一方、ドーム状筐体６１３は、可視光等の所定波長帯域の光に対して透明な、ドーム形状をなす光学部材である。このようなカプセル型筐体６１１は、撮像部２と、制御部６１５と、無線通信部６１６、電源部６１７とを液密に内包する。
【０１０４】
制御部６１５は、カプセル型内視鏡６１内の各構成部の動作を制御すると共に、これらの構成部間における信号の入出力を制御する。詳細には、制御部６１５は、撮像部２が備えるイメージセンサ２３の撮像フレームレートを制御すると共に、この撮像フレームレートと同期して照明部２１を発光させる。また、制御部６１５は、イメージセンサ２３から出力された画像信号に所定の信号処理を施し、無線通信部６１６から無線送信させる。
【０１０５】
無線通信部６１６は、制御部６１５から画像信号を取得し、該画像信号に対して変調処理等を施して無線信号を生成し、受信装置６３に送信する。
【０１０６】
電源部６１７は、ボタン型電池やキャパシタ等の蓄電部であり、カプセル型内視鏡６１の各構成部（撮像部２、制御部６１５、及び無線通信部６１６）に電力を供給する。
【０１０７】
再び図１４を参照すると、受信アンテナユニット６２は、複数（図１４においては８個）の受信アンテナ６２ａを有する。各受信アンテナ６２ａは、例えばループアンテナを用いて実現され、被検体６０の体外表面上の所定位置（例えば、カプセル型内視鏡６１の通過領域である被検体６０内の各臓器に対応した位置）に配置される。
【０１０８】
受信装置６３は、これらの受信アンテナ６２ａを介して、カプセル型内視鏡６１から無線送信された画像信号を受信し、受信した画像信号に所定の処理を施した上で、内蔵するメモリに画像信号及びその関連情報を記憶する。受信装置６３には、カプセル型内視鏡６１から無線送信された画像信号の受信状態を表示する表示部や、受信装置６３を操作するための操作ボタン等の入力部を設けても良い。受信装置６３に記憶された画像信号は、画像処理装置３に接続されたクレードル６４に受信装置６３をセットすることにより、画像処理装置３に転送される。
【０１０９】
（実施の形態４）
次に、本発明の実施の形態４について説明する。図１６は、本発明の実施の形態４に係る内視鏡システムの構成を示す模式図である。図１６に示すように、本実施の形態４に係る内視鏡システム７は、被検体の体内に挿入されて撮像を行い、画像を生成して出力する内視鏡７１と、内視鏡７１の先端から出射する照明光を発生する光源装置７２と、画像処理装置３とを備える。画像処理装置３の構成及び動作は実施の形態１と同様であり（図１参照）、内視鏡７１が生成した画像データを取得して各種画像処理を施し、被検体内の画像を表示部３４に表示する。或いは、画像処理装置３の代わりに、実施の形態２における画像処理装置５を適用しても良い。
【０１１０】
内視鏡７１は、可撓性を有する細長形状をなす挿入部７３と、挿入部７３の基端側に接続され、各種の操作信号の入力を受け付ける操作部７４と、操作部７４から挿入部７３が延びる方向と異なる方向に延び、画像処理装置３及び光源装置７２と接続する各種ケーブルを内蔵するユニバーサルコード７５とを備える。
【０１１１】
挿入部７３は、先端部７３１と、複数の湾曲駒によって構成された湾曲自在な湾曲部７３２と、湾曲部７３２の基端側に接続され、可撓性を有する長尺状の可撓針管７３３とを有する。この挿入部７３の先端部７３１に、光源装置７２が発生した照明光により被検体内を照射する照明部２１と、被検体内において反射された照明光を集光する集光光学系２２と、イメージセンサ２３とを備える撮像部２（図１参照）が設けられる。
【０１１２】
操作部７４と先端部７３１との間には、画像処理装置３との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルと、光を伝送するライトガイドとが接続されている。複数の信号線には、撮像素子が出力した画像信号を画像処理装置３に伝送する信号線及び画像処理装置３が出力する制御信号を撮像素子に伝送する信号線等が含まれる。
【０１１３】
操作部７４は、湾曲部７３２を上下方向及び左右方向に湾曲させる湾曲ノブや、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部と、画像処理装置３及び光源装置７２等の周辺機器に操作指示信号を入力するための複数のスイッチが設けられている。
【０１１４】
ユニバーサルコード７５は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード７５の操作部７４に連なる側と異なる側の端部には、光源装置７２に着脱自在なコネクタ部７６と、コイル状をなすコイルケーブル７７を介してコネクタ部７６と電気的に接続され、画像処理装置３と着脱自在な電気コネクタ部７８とが設けられている。撮像素子から出力された画像信号は、コイルケーブル７７及び電気コネクタ部７８を介して画像処理装置３に入力される。
【０１１５】
以上説明した本発明の実施の形態１〜４は、本発明を実施するための例にすぎず、本発明はこれらに限定されるものではない。また、本発明は、上記実施の形態１〜４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を生成することができる。本発明は、仕様等に応じて種々変形することが可能であり、さらに本発明の範囲内において、他の様々な実施の形態が可能であることは、上記記載から自明である。
【符号の説明】
【０１１６】
１、４  測距システム
２  撮像部
３、５  画像処理装置
７  内視鏡システム
２１  照明部
２２  集光光学系
２３  イメージセンサ
２３ａ  受光面
２３ｂ  撮像用画素
２３ｃ  測距用画素
２３ｄ  信号処理回路
３１  データ取得部
３２  記憶部
３３、５１  演算部
３３ａ  画像処理部
３３ｂ  深度算出部
３４  表示部
３５  操作入力部
３６  制御部
５１ａ  ２点間距離算出部
６０  被検体
６１  カプセル型内視鏡
６２  受信アンテナユニット
６２ａ  受信アンテナ
６３  受信装置
６４  クレードル
７１  内視鏡
７２  光源装置
７３  挿入部
７４  操作部
７５  ユニバーサルコード
７６  コネクタ部
７７  コイルケーブル
７８  電気コネクタ部
３３１  深度画像作成部
３３２  照明光配光特性算出部
３３３  深度勾配算出部
３３４  反射光配光特性算出部
３３５  輝度画像作成部
３３６  像面照度算出部
３３７  物体面輝度算出部
３３８  照射照度算出部
３３９  照射距離算出部
３４０  被写体距離算出部
６１１  カプセル型筐体
６１２  筒状筐体
６１３、６１４  ドーム状筐体
６１５  制御部
６１６  無線通信部
６１７  電源部
７３１  先端部
７３２  湾曲部
７３３  可撓針管
【図１】
2017002388.tif 000011
【図２】
2017002388.tif 000012
【図３】
2017002388.tif 000013
【図４】
2017002388.tif 000014
【図５】
2017002388.tif 000015
【図６】
2017002388.tif 000016
【図７】
2017002388.tif 000017
【図８】
2017002388.tif 000018
【図９】
2017002388.tif 000019
【図１０】
2017002388.tif 000020
【図１１】
2017002388.tif 000021
【図１２】
2017002388.tif 000022
【図１３】
2017002388.tif 000023
【図１４】
2017002388.tif 000024
【図１５】
2017002388.tif 000025
【図１６】
2017002388.tif 000026
【手続補正書】
【提出日】平成28年9月27日(2016.9.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体から反射された照明光の反射光をイメージセンサが受光することにより前記イメージセンサから出力された画像データ及び前記被写体までの距離を表す測距データに基づいて画像処理を行う画像処理装置であって、
前記測距データに基づいて、前記被写体上の点に照射された前記照明光のパラメータを算出する照明光配光特性算出部と、
前記測距データから算出される前記被写体上の点における深度の勾配に基づいて、前記反射光のパラメータを算出する反射光配光特性算出部と、
前記画像データと、前記照明光のパラメータと、前記反射光のパラメータとに基づいて、前記イメージセンサの撮像面と垂直な方向における前記イメージセンサから前記被写体までの距離を算出する被写体距離算出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記測距データに基づき、前記画像データに基づいて作成される画像内の各画素位置に対応する前記被写体上の点までの深度を各画素の画素値とする深度画像を作成する深度画像作成部をさらに備え、
前記照明光配光特性算出部は、前記深度画像に基づいて、前記照明光における配光特性の放射角方向の値を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記深度画像作成部は、前記画像内の画素位置のうち、前記測距データが得られていない画素位置における前記深度を、前記測距データが得られている画素位置における測距データを用いて補間する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記深度画像作成部が算出した前記深度に基づいて、前記画像内の画素位置ごとに前記深度の勾配を算出する深度勾配算出部をさらに備え、
前記反射光配光特性算出部は、前記深度勾配算出部が算出した前記深度の勾配に基づいて、前記反射光の配光特性における反射角方向の値を算出する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像データに基づいて画像を作成する画像処理部と、
前記画像を表示する表示部と、
前記表示部に表示された前記画像上の任意の２点を指定する操作入力部と、
前記任意の２点に対応する前記被写体上の２点間の距離を算出する２点間距離算出部と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
請求項１に記載の画像処理装置と、
被検体内に導入されるカプセル型内視鏡と、
を備えることを特徴とするカプセル型内視鏡システム。
【請求項７】
請求項１に記載の画像処理装置と、
被検体に挿入される内視鏡と、
を備えることを特徴とする内視鏡システム。
【国際調査報告】
2017002388.tif 000027
2017002388.tif 000028