(57)【要約】【課題】  コントラストの低い画像信号でも、アーチファクトの発生を抑制して画像合成処理を行うことができる画像処理装置、撮像装置等の提供。【解決手段】  画像処理装置１００は、複数の画像信号の取得処理を行う画像取得部１１０と、取得した画像信号に基づき評価値の算出処理を行う評価値算出部１２０と、評価値に基づき複数の画像信号の合成処理を行う画像合成部１３０を含む。画像取得部１１０は、合焦物体位置の異なる複数の画像信号を取得すると共に、被写体に幾何パターンを投影して撮像された合焦物体位置の異なる複数のパターン画像信号を取得する。評価値算出部１２０は、複数のパターン画像信号に基づき第１評価値を算出すると共に、複数の画像信号に基づき第２評価値を算出する。画像合成部１３０は、第１評価値と第２評価値の比較処理を行い、比較処理の結果に基づき複数の画像信号の合成処理を行う。【選択図】  図１
2013228798.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像信号の取得処理を行う画像取得部と、
取得した前記画像信号に基づいて評価値の算出処理を行う評価値算出部と、
前記評価値に基づいて前記複数の画像信号の合成処理を行う画像合成部と、
を含み、
前記画像取得部は、
合焦物体位置の異なる前記複数の画像信号を撮像部から取得すると共に、被写体に幾何パターンを投影して撮像された前記合焦物体位置の異なる複数のパターン画像信号を前記撮像部から取得し、
前記評価値算出部は、
前記複数のパターン画像信号に基づいて第１評価値を算出すると共に、前記複数の画像信号に基づいて第２評価値を算出し、
前記画像合成部は、
前記第１評価値と前記第２評価値との比較処理を行い、前記比較処理の結果に基づいて、前記複数の画像信号の前記合成処理を行うことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記評価値算出部は、
前記複数のパターン画像信号において前記合成処理の対象となる画素である合成対象画素毎に前記第１評価値を算出すると共に、前記複数の画像信号の前記合成対象画素毎に前記第２評価値を算出し、
前記画像合成部は、
前記合成対象画素毎に前記第１評価値と前記第２評価値との比較処理を行って、前記比較処理結果に基づいて、前記複数の画像信号の前記合成処理を前記合成対象画素毎に行うことを特徴とする画像処理装置。
【請求項３】
請求項１又は２において、
前記評価値算出部は、
前記複数のパターン画像信号において前記合成処理の対象となる画素である合成対象画素毎に、算出した前記第１評価値が所与の閾値以下であるか否かの判定処理を行い、前記第１評価値が前記所与の閾値以下であると判定した場合には、前記第１評価値に対して補間処理を行うことを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記評価値算出部は、
前記第１評価値が前記所与の閾値以下であると判定した場合に、前記補間処理として、０次補間処理及び線形補間処理、モルフォロジー膨張処理のうちのいずれかの処理を前記第１評価値に対して行うことを特徴とする画像処理装置。
【請求項５】
請求項３又は４において、
前記画像取得部は、
前記複数のパターン画像信号を前記撮像部から取得すると共に、先に投影した前記幾何パターンと異なる幾何パターンを前記被写体に投影して撮像された複数の相補パターン画像信号を前記撮像部から取得し、
前記評価値算出部は、
前記複数のパターン画像信号から算出した前記第１評価値が、前記所与の閾値以下であると判定した前記合成対象画素に対して、前記複数の相補パターン画像に基づいて前記第１評価値を算出し直す処理を前記補間処理として行うことを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記画像合成部は、
前記複数のパターン画像信号において前記合成処理の対象となる画素である合成対象画素毎に、算出した前記第２評価値が所与の閾値以下であるか否かの判定処理を行い、
前記第２評価値が前記所与の閾値以下であると判定した場合には、前記第１評価値に基づいて前記合成処理を行い、
前記第２評価値が前記所与の閾値よりも大きいと判定した場合には、前記第２評価値に基づいて前記合成処理を行うことを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記画像合成部は、
前記第２評価値が前記所与の閾値以下であると判定した場合には、前記第１評価値に基づいて画像合成係数を算出し、前記画像合成係数を用いて前記合成対象画素毎に前記合成処理を行い、
前記第２評価値が前記所与の閾値よりも大きいと判定した場合には、前記第２評価値に基づいて前記画像合成係数を算出し、前記画像合成係数を用いて前記合成対象画素毎に前記合成処理を行うことを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記画像取得部は、
第１の画像信号と、前記第１の画像信号と前記合焦物体位置の異なる第２の画像信号とを前記撮像部から取得すると共に、被写体に幾何パターンを投影して撮像された第１のパターン画像信号と、前記第１のパターン画像信号と前記合焦物体位置の異なる第２のパターン画像信号とを前記撮像部から取得し、
前記評価値算出部は、
前記合成処理の対象となる画素である合成対象画素毎に、前記第１のパターン画像信号と前記第２のパターン画像信号についての前記第１評価値を算出すると共に、前記第１の画像信号と前記第２の画像信号についての前記第２評価値を算出し、
前記画像合成部は、
前記合成対象画素毎に、前記第１の画像信号と前記第２の画像信号についての前記第２評価値が共に所与の閾値以下であるか否かの判定処理を行い、
前記第２評価値が共に前記所与の閾値以下であると判定した場合には、前記第１評価値に基づいて前記第１の画像信号と前記第２の画像信号の前記合成処理を行い、
前記第２評価値が共に前記所与の閾値よりも大きいと判定した場合には、前記第２評価値に基づいて前記第１の画像信号と前記第２の画像信号の前記合成処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記評価値算出部は、
前記複数のパターン画像信号の輝度値を前記第１評価値として算出することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記評価値算出部は、
前記複数の画像信号のコントラスト又はエッジ成分を表す前記第２評価値を算出することを特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記画像取得部は、
光学劣化関数に基づいて設定された前記幾何パターンを投影して撮像された前記複数のパターン画像信号を前記撮像部から取得することを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記画像取得部は、
前記光学劣化関数に基づいて、ぼけ半径Ｒに対してドット間距離ｄがｄ≧２Ｒ（ｄ及びＲは正の整数）となるように設定されたドットパターンを投影して撮像された前記複数のパターン画像信号を取得することを特徴とする画像処理装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記画像取得部は、
コヒーレント光源と光空間変調器とを用いて前記幾何パターンを投影して撮像された前記複数のパターン画像信号を前記撮像部から取得することを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記画像取得部は、
非可視波長の前記コヒーレント光源と前記光空間変調器とを用いて前記幾何パターンを投影して撮像された前記複数のパターン画像信号を前記撮像部から取得することを特徴とする画像処理装置。
【請求項１５】
請求項１乃至１４のいずれかに記載の画像処理装置と、
前記撮像部と、
前記被写体に対して前記幾何パターンを投影するパターン投影部と、
を含むことを特徴とする撮像装置。
【請求項１６】
請求項１乃至１４のいずれかに記載の画像処理装置と、
前記撮像部と、
前記被写体に対して前記幾何パターンを投影するパターン投影部と、
を含むことを特徴とする内視鏡。
【請求項１７】
複数の画像信号の取得処理を行う画像取得部と、
取得した前記画像信号に基づいて評価値の算出処理を行う評価値算出部と、
前記評価値に基づいて前記複数の画像信号の合成処理を行う画像合成部として、
コンピューターを機能させ、
前記画像取得部は、
合焦物体位置の異なる前記複数の画像信号を撮像部から取得すると共に、被写体に幾何パターンを投影して撮像された前記合焦物体位置の異なる複数のパターン画像信号を前記撮像部から取得し、
前記評価値算出部は、
前記複数のパターン画像信号に基づいて第１評価値を算出すると共に、前記複数の画像信号に基づいて第２評価値を算出し、
前記画像合成部は、
前記第１評価値と前記第２評価値との比較処理を行って、前記比較処理結果に基づいて、前記複数の画像信号の前記合成処理を行うことを特徴とするプログラム。
【請求項１８】
合焦物体位置の異なる複数の画像信号を撮像部から取得すると共に、被写体に幾何パターンを投影して撮像された前記合焦物体位置の異なる複数のパターン画像信号を前記撮像部から取得し、
前記複数のパターン画像信号に基づいて第１評価値を算出すると共に、前記複数の画像信号に基づいて第２評価値を算出し、
前記第１評価値と前記第２評価値との比較処理を行い、前記比較処理の結果に基づいて、前記複数の画像信号の合成処理を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、内視鏡、プログラム及び画像処理方法等に関係する。
【背景技術】
【０００２】
撮像装置を用いて、離れた位置に位置する２つの被写体を撮像した場合に、一方の被写体だけが合焦状態にあり、もう一方の被写体は合焦状態ではない場合がある。例えば、患部を発見又は観察するために内視鏡を用いる場面において、合焦状態ではない部分が映っていると、医師が患部を見逃す可能性が高くなる。そのため、このような場合には、撮像された画像に映る被写体が全て合焦状態にあることが望ましい。
【０００３】
この時、撮像装置の絞りを調節することによって、被写界深度を調整する等して、両方の被写体を合焦状態とすることができる場合もある。しかし、２つの被写体の距離によっては、単純に被写界深度を調整しただけでは、両方の被写体を合焦状態とすることができないことがある。
【０００４】
このような場合でも、全焦点画像を取得するための手法として、例えば特許文献１に示される手法が開示されている。特許文献１に示される手法では、複数の画像信号の各画素に関して鮮鋭度（シャープネス）を算出し、その鮮鋭度から得られる第１の参照値を空間平滑化して第２の参照値を算出し、算出した第２の参照値に基づいて画像合成処理を行い、全焦点画像を取得する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２０７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した特許文献１において示される従来技術では、複数の画像信号から鮮鋭度を算出し、その鮮鋭度から得られる参照値により合成画像を生成する。そのため、画像信号内のテクスチャが少ない領域、すなわちコントラストの低い被写体では、鮮鋭度や鮮鋭度から得られる合成画像を生成するための参照値が安定して算出できず、合成画像にアーチファクトが発生する場合がある。
【０００７】
本発明の幾つかの態様によれば、コントラストの低い画像信号でも、アーチファクトの発生を抑制して画像合成処理を行うことができる画像処理装置、撮像装置、内視鏡、プログラム及び画像処理方法等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、複数の画像信号の取得処理を行う画像取得部と、取得した前記画像信号に基づいて評価値の算出処理を行う評価値算出部と、前記評価値に基づいて前記複数の画像信号の合成処理を行う画像合成部と、を含み、前記画像取得部は、合焦物体位置の異なる前記複数の画像信号を撮像部から取得すると共に、被写体に幾何パターンを投影して撮像された前記合焦物体位置の異なる複数のパターン画像信号を前記撮像部から取得し、前記評価値算出部は、前記複数のパターン画像信号に基づいて第１評価値を算出すると共に、前記複数の画像信号に基づいて第２評価値を算出し、前記画像合成部は、前記第１評価値と前記第２評価値との比較処理を行い、前記比較処理の結果に基づいて、前記複数の画像信号の前記合成処理を行うことを特徴とする画像処理装置に関係する。
【０００９】
本発明の一態様では、幾何パターンを投影して撮像された画像の信号から第１評価値を算出し、幾何パターンを投影せずに撮像された画像の信号から第２評価値を算出する。そして、算出した第１評価値及び第２評価値に基づいて、画像合成処理を行う。
【００１０】
これにより、コントラストの低い画像信号でも、アーチファクトの発生を抑制して画像合成処理を行うことができる。
【００１１】
また、本発明の一態様では、前記評価値算出部は、前記複数のパターン画像信号において前記合成処理の対象となる画素である合成対象画素毎に前記第１評価値を算出すると共に、前記複数の画像信号の前記合成対象画素毎に前記第２評価値を算出し、前記画像合成部は、前記合成対象画素毎に前記第１評価値と前記第２評価値との比較処理を行って、前記比較処理結果に基づいて、前記複数の画像信号の前記合成処理を前記合成対象画素毎に行ってもよい。
【００１２】
これにより、画像合成の対象となる画素に対して、第１評価値と第２評価値を算出することができ、全ての合成対象画素に対して比較処理を行って、例えば、画像の合焦状態等を判定して、より正確な画像合成処理を行うこと等が可能になる。
【００１３】
また、本発明の一態様では、前記評価値算出部は、前記複数のパターン画像信号において前記合成処理の対象となる画素である合成対象画素毎に、算出した前記第１評価値が所与の閾値以下であるか否かの判定処理を行い、前記第１評価値が前記所与の閾値以下であると判定した場合には、前記第１評価値に対して補間処理を行ってもよい。
【００１４】
これにより、例えばドットパターンが疎となる場合であっても、全ての合成対象画素について、画像合成処理の評価値として有効な第１評価値を求めること等が可能になる。
【００１５】
また、本発明の一態様では、前記評価値算出部は、前記第１評価値が前記所与の閾値以下であると判定した場合に、前記補間処理として、０次補間処理及び線形補間処理、モルフォロジー膨張処理のうちのいずれかの処理を前記第１評価値に対して行ってもよい。
【００１６】
これにより、画像合成処理の評価値として有効でないと判定された第１評価値を、同一のパターン画像信号から算出された他の第１評価値に基づいて補間すること等が可能になる。
【００１７】
また、本発明の一態様では、前記画像取得部は、前記複数のパターン画像信号を前記撮像部から取得すると共に、先に投影した前記幾何パターンと異なる幾何パターンを前記被写体に投影して撮像された複数の相補パターン画像信号を前記撮像部から取得し、前記評価値算出部は、前記複数のパターン画像信号から算出した前記第１評価値が、前記所与の閾値以下であると判定した前記合成対象画素に対して、前記複数の相補パターン画像に基づいて前記第１評価値を算出し直す処理を前記補間処理として行ってもよい。
【００１８】
これにより、画像合成処理の評価値として有効でないと判定された第１評価値を、相補パターン画像信号から算出された同一の合成対象画素に対応する第１評価値に置換すること等が可能になる。
【００１９】
また、本発明の一態様では、前記画像合成部は、前記複数のパターン画像信号において前記合成処理の対象となる画素である合成対象画素毎に、算出した前記第２評価値が所与の閾値以下であるか否かの判定処理を行い、前記第２評価値が前記所与の閾値以下であると判定した場合には、前記第１評価値に基づいて前記合成処理を行い、前記第２評価値が前記所与の閾値よりも大きいと判定した場合には、前記第２評価値に基づいて前記合成処理を行ってもよい。
【００２０】
これにより、第１評価値と第２評価値の中から有効な評価値を選択して、画像合成処理を行うこと等が可能になる。
【００２１】
また、本発明の一態様では、前記画像合成部は、前記第２評価値が前記所与の閾値以下であると判定した場合には、前記第１評価値に基づいて画像合成係数を算出し、前記画像合成係数を用いて前記合成対象画素毎に前記合成処理を行い、前記第２評価値が前記所与の閾値よりも大きいと判定した場合には、前記第２評価値に基づいて前記画像合成係数を算出し、前記画像合成係数を用いて前記合成対象画素毎に前記合成処理を行ってもよい。
【００２２】
これにより、例えば合焦領域と非合焦領域の切り替わり部分を滑らかに合成すること等が可能になる。
【００２３】
また、本発明の一態様では、前記画像取得部は、第１の画像信号と、前記第１の画像信号と前記合焦物体位置の異なる第２の画像信号とを前記撮像部から取得すると共に、被写体に幾何パターンを投影して撮像された第１のパターン画像信号と、前記第１のパターン画像信号と前記合焦物体位置の異なる第２のパターン画像信号とを前記撮像部から取得し、前記評価値算出部は、前記合成処理の対象となる画素である合成対象画素毎に、前記第１のパターン画像信号と前記第２のパターン画像信号についての前記第１評価値を算出すると共に、前記第１の画像信号と前記第２の画像信号についての前記第２評価値を算出し、前記画像合成部は、前記合成対象画素毎に、前記第１の画像信号と前記第２の画像信号についての前記第２評価値が共に所与の閾値以下であるか否かの判定処理を行い、前記第２評価値が共に前記所与の閾値以下であると判定した場合には、前記第１評価値に基づいて前記第１の画像信号と前記第２の画像信号の前記合成処理を行い、前記第２評価値が共に前記所与の閾値よりも大きいと判定した場合には、前記第２評価値に基づいて前記第１の画像信号と前記第２の画像信号の前記合成処理を行ってもよい。
【００２４】
これにより、２つの画像信号と２つのパターン画像信号を取得する場合にも、第１評価値と第２評価値の中から有効な評価値を選択して、画像合成処理を行うこと等が可能になる。
【００２５】
また、本発明の一態様では、前記評価値算出部は、前記複数のパターン画像信号の輝度値を前記第１評価値として算出してもよい。
【００２６】
これにより、例えば画像合成処理において有効なコントラスト等を算出できない場合であっても、画像合成処理に用いる他の評価値を算出すること等が可能になる。
【００２７】
また、本発明の一態様では、前記評価値算出部は、前記複数の画像信号のコントラスト又はエッジ成分を表す前記第２評価値を算出してもよい。
【００２８】
これにより、画像のコントラスト又はエッジ成分に基づいて、画像合成処理を行うこと等が可能になる。
【００２９】
また、本発明の一態様では、前記画像取得部は、光学劣化関数に基づいて設定された前記幾何パターンを投影して撮像された前記複数のパターン画像信号を前記撮像部から取得してもよい。
【００３０】
これにより、幾何パターンが投影されている各画素位置の合焦状態を、パターン画像の輝度値に基づいて評価すること等が可能になる。
【００３１】
また、本発明の一態様では、前記画像取得部は、前記光学劣化関数に基づいて、ぼけ半径Ｒに対してドット間距離ｄがｄ≧２Ｒ（ｄ及びＲは正の整数）となるように設定されたドットパターンを投影して撮像された前記複数のパターン画像信号を取得してもよい。
【００３２】
これにより、ドットが重ならないように被写体にドットパターンを投影すること等が可能になる。
【００３３】
また、本発明の一態様では、前記画像取得部は、コヒーレント光源と光空間変調器とを用いて前記幾何パターンを投影して撮像された前記複数のパターン画像信号を前記撮像部から取得してもよい。
【００３４】
これにより、明瞭な任意の幾何パターンが映されたパターン画像信号を取得すること等が可能になる。
【００３５】
また、本発明の一態様では、前記画像取得部は、非可視波長の前記コヒーレント光源と前記光空間変調器とを用いて前記幾何パターンを投影して撮像された前記複数のパターン画像信号を前記撮像部から取得してもよい。
【００３６】
これにより、近点画像と同じタイミングに撮像された近点パターン画像のパターン画像信号と、遠点画像と同じタイミングに撮像された遠点パターン画像のパターン画像信号とを取得すること等が可能になる。
【００３７】
また、本発明の他の態様は、前記画像処理装置と、前記撮像部と、前記被写体に対して前記幾何パターンを投影するパターン投影部と、を含む撮像装置に関係する。
【００３８】
また、本発明の他の態様は、前記画像処理装置と、前記撮像部と、前記被写体に対して前記幾何パターンを投影するパターン投影部と、を含む内視鏡に関係する。
【００３９】
また、本発明の他の態様は、上記各部としてコンピューターを機能させるプログラムに関係する。
【００４０】
また、本発明の他の態様は、合焦物体位置の異なる複数の画像信号を撮像部から取得すると共に、被写体に幾何パターンを投影して撮像された前記合焦物体位置の異なる複数のパターン画像信号を前記撮像部から取得し、前記複数のパターン画像信号に基づいて第１評価値を算出すると共に、前記複数の画像信号に基づいて第２評価値を算出し、前記第１評価値と前記第２評価値との比較処理を行い、前記比較処理の結果に基づいて、前記複数の画像信号の合成処理を行うことを特徴とする画像処理方法に関係する。
【図面の簡単な説明】
【００４１】
【図１】本実施形態のシステム構成例。
【図２】図２（Ａ）〜図２（Ｃ）は、画像信号の説明図。
【図３】図３（Ａ）〜図３（Ｃ）は、パターン画像信号の説明図。
【図４】図４（Ａ）〜図４（Ｃ）は、幾何パターンの説明図。
【図５】図５（Ａ）〜図５（Ｃ）は、画像合成処理の説明図。
【図６】画像合成処理結果の一例。
【図７】本実施形態の処理の流れを説明するフローチャート。
【図８】補間処理の流れを詳細に説明するフローチャート。
【図９】画像合成処理の流れを詳細に説明するフローチャート。
【発明を実施するための形態】
【００４２】
以下、本実施形態について説明する。まず、本実施形態の概要を説明し、次にシステム構成例について説明する。そして、フローチャート等を用いて本実施形態で行う処理の詳細について詳細に説明する。最後に、本実施形態の手法についてまとめる。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４３】
１．概要
撮像装置を用いて、離れた位置に位置する２つの被写体を撮像した場合に、一方の被写体だけが合焦状態にあり、もう一方の被写体は合焦状態ではない場合がある。例えば、患部を発見又は観察するために内視鏡を用いる場面において、合焦状態ではない部分が映っていると、医師が患部を見逃す可能性が高くなる。そのため、このような場合には、撮像された画像に映る被写体が全て合焦状態にあることが望ましい。
【００４４】
この時、撮像装置の絞りを調節することによって、被写界深度を調整する等して、両方の被写体を合焦状態とすることができる場合もある。しかし、２つの被写体の距離によっては、単純に被写界深度を調整しただけでは、両方の被写体を合焦状態とすることができないことがある。具体的には、２つの被写体の距離が所定の閾値以下であれば、被写界深度を調整するだけでも対応することができるが、所定の閾値よりも距離が離れている場合には、被写界深度を調整するだけでは対応しきれなくなる。
【００４５】
このような場合でも、全焦点画像を取得するための手法として、例えば上述の特許文献１に示される手法が開示されている。特許文献１に示される手法では、複数の画像信号の各画素に関して鮮鋭度（シャープネス）を算出し、その鮮鋭度から得られる第１の参照値を空間平滑化して第２の参照値を算出し、算出した第２の参照値に基づいて画像合成処理を行い、全焦点画像を取得する。
【００４６】
しかし、前述した特許文献１において示される従来技術では、画像信号内のテクスチャが少ない領域、すなわちコントラストの低い被写体では、鮮鋭度や第１の参照値、第２の参照値が安定して算出できず、合成画像にアーチファクトが発生する場合がある。ここで、アーチファクトとは、画像信号の生成（合成）段階で発生したデータの歪みやノイズ等を指す。
【００４７】
そこで、本実施形態の画像処理装置等は、被写体に幾何パターンを投影し、パターン投影された画像（パターン画像）の輝度値に基づいて、合成画像を生成するための評価値を算出する。すなわち、被写体に幾何パターンを投影して、意図的に輝度変化を発生させたパターン画像を用いて画像合成処理を行う。以上のような処理を行うことで、テクスチャが少ない領域、すなわちコントラストの低い被写体においても安定して合成画像を生成するための評価値が算出でき、より高品位な合成画像を生成することができる。
【００４８】
さらに具体的に言えば、例えば前述した内視鏡を用いて患部を発見又は観察する場面に本実施形態を適用する場合には、合成画像として全焦点画像を生成すること等ができる。これによれば、医師等が体内をより観察しやすい画像を生成することができ、患部の見落とし等を防止すること等が可能になる。
【００４９】
２．システム構成例
次に、図１に本実施形態の画像処理装置１００及びこれを含む撮像装置（内視鏡）４００の構成例を示す。
【００５０】
画像処理装置１００は、画像取得部１１０と、評価値算出部１２０と、画像合成部１３０と、を含む。また、画像処理装置１００を含む撮像装置４００の例としては、撮像部２００や、パターン投影部３００などを含む内視鏡４００などが挙げられる。なお、画像処理装置１００及びこれを含む撮像装置（内視鏡）４００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００５１】
次に各部の接続について説明する。画像取得部１１０は、評価値算出部１２０と画像合成部１３０とに接続されている。評価値算出部１２０は、画像合成部１３０に接続されている。撮像部２００は、画像取得部１１０に接続されている。
【００５２】
次に各部で行われる処理の概要と構成について説明する。
【００５３】
まず、画像取得部１１０は、撮像部２００から複数の画像信号を取得する処理を行う。画像取得部１１０は、画像信号としてアナログ信号を取得してもよいし、デジタル信号を取得してもよい。また、画像取得部１１０は、撮像部２００とのＩ／Ｆ部（通信部）であってもよい。Ｉ／Ｆ部（通信部）は、有線又は内部バスにより通信を行うものであってもよく、無線により通信を行うものであってもよい。
【００５４】
次に、評価値算出部１２０は、取得した画像信号に基づいて評価値の算出処理を行う。
【００５５】
そして、画像合成部１３０は、評価値に基づいて複数の画像信号の合成処理を行う。
【００５６】
なお、評価値算出部１２０と、画像合成部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。また、画像処理装置１００は、上記の構成要素の他にも、図示しないバッファや記憶部、出力部（提示部）等を含んでも良い。
【００５７】
また撮像部２００は、図示しない光学系、絞り、撮像素子、合焦物体位置制御部等から構成される。撮像部２００では、合焦物体位置制御部により、光学系、絞り及び撮像素子を制御して、合焦物体位置の異なる複数の画像を撮像する。さらに、撮像部２００は、図示しない前処理部等を含んでもよい。前処理部は、撮像した画像をデジタル信号に変換する処理等を行ってもよい。
【００５８】
さらに、パターン投影部３００は、被写体に対して幾何パターン（パターン光）を投影する。パターン投影部３００は、図示しないコヒーレント光源と光空間変調器から構成されていてもよい。コヒーレント光源は、例えばレーザ光であり、干渉性が高く、回折格子を通過すると明瞭な回折格子に基づくパターンが形成される。光空間変調器は、例えばＬＣＤ（Liquid Crystal Display）であり、回折格子として作用する任意の幾何パターンを瞬時に形成することができる。パターン投影部３００を前記のように構成することで明瞭な任意の幾何パターンを瞬時に投影することができる。なお、コヒーレント光源に非可視光波長を用い、撮像素子に非可視光用の受光部を付加する構成としてもよい。
【００５９】
３．処理の詳細
以下では、図７のフローチャートを参照しながら、本実施形態の処理の流れについて説明する。
【００６０】
まず、画像取得部１１０は、撮像部２００から複数の画像信号を取得する（Ｓ１０１）。画像取得部１１０が取得する画像信号は、本実施形態では２つとするが、３つ以上の任意の数の画像信号を取得してもよい。これらの画像信号は画角が変化しないよう、光学系にテレセントリック光学系を用いたり、幾何変換処理等を行って画角を合わせたりすることが望ましい。後述するステップＳ１０２のパターン画像信号についても同様である。
【００６１】
また、ステップＳ１０１では、画像取得部１１０は、互いに合焦物体位置が異なる画像信号を取得する。具体的に、画像取得部１１０は、図２（Ａ）に示すようにして撮像部２００が撮像した画像を取得する。
【００６２】
まず前提として、図２（Ａ）に示すように、被写体ＳＢ１と被写体ＳＢ２が異なる位置にある。この時に、撮像部２００は、合焦物体位置制御部にて光学系、絞り及び撮像素子を制御して、合焦物体位置を被写体ＳＢ１に合わせて、図２（Ｂ）に示すような画像を取得し、さらに合焦物体位置を被写体ＳＢ２に合わせて、図２（Ｃ）に示すような画像を取得する。
【００６３】
以下では、図２（Ｂ）の画像ＩＭ１を近点画像（第１の画像）ＩＭ１と呼び、図２（Ｃ）の画像ＩＭ２を遠点画像（第２の画像）ＩＭ２と呼ぶ。近点画像（第１の画像）ＩＭ１は、図２（Ｃ）の画像ＩＭ２が撮像された時よりも、撮像部２００と近い位置（被写体ＳＢ１の位置）に合焦物体位置が合わせられた時に撮像された画像である。一方、遠点画像（第２の画像）ＩＭ２は、図２（Ｂ）の画像ＩＭ１が撮像された時よりも、撮像部２００と遠い位置（被写体ＳＢ２の位置）に合焦物体位置が合わせられた時に撮像された画像である。
【００６４】
また、図２（Ｂ）及び図２（Ｃ）に示すように、近点画像ＩＭ１及び遠点画像ＩＭ２内には、光学系による被写界深度の制限により、合焦領域と非合焦領域が存在している。合焦領域では、被写体ＳＢ１及び被写体ＳＢ２に記載された文字「Ａ」がはっきり映し出されており（図２（Ｂ）では右側領域）、非合焦領域では、文字「Ａ」がぼやけて映し出されている（図２（Ｂ）では左側領域）。本来であれば、被写体ＳＢ１と被写体ＳＢ２に記載された文字「Ａ」がどちらもはっきりと映し出された全焦点画像を取得できることが望ましいが、本例では、前述した被写界深度の制限により、被写界深度や合焦物体位置等を調整しただけでは、全焦点画像を取得することができない。そのため、以下の方法により、全焦点画像を画像合成処理によって生成する。
【００６５】
次に、画像取得部１１０は、互いに合焦物体位置が異なる複数のパターン画像信号を取得する（Ｓ１０２）。具体的に、画像取得部１１０は、図３（Ａ）に示すようにして撮像部２００が撮像した画像を取得する。
【００６６】
図３（Ａ）の被写体ＳＢ１及び被写体ＳＢ２の位置等は、図２（Ａ）と同様であるが、被写体ＳＢ１及び被写体ＳＢ２に対してパターン投影部３００が幾何パターンを投影した時に、撮像部２００が被写体を撮像する点が図２（Ａ）と異なる。その結果、撮像されたパターン画像は、図３（Ｂ）及び図３（Ｃ）のようになる。また本来であれば、ステップＳ１０２では、ステップＳ１０１において画像を撮像した時と同じタイミングで、かつ同じ被写体を映したパターン画像、すなわち同じシーンを映したパターン画像を取得できることが望ましい。そのため、ステップＳ１０１の処理後できるだけ早くステップＳ１０２の処理を行うことが望ましい。
【００６７】
以下では、図３（Ｂ）の画像ＩＭ３を近点パターン画像（第１のパターン画像）ＩＭ３と呼び、図３（Ｃ）の画像ＩＭ４を遠点パターン画像（第２のパターン画像）ＩＭ４と呼ぶ。近点パターン画像（第１のパターン画像）ＩＭ３は、図３（Ｃ）の画像ＩＭ４が撮像された時よりも、撮像部２００と近い位置（被写体ＳＢ１の位置）に合焦物体位置が合わせられた時に撮像された画像である。一方、遠点パターン画像（第２のパターン画像）ＩＭ４は、図３（Ｂ）の画像ＩＭ３が撮像された時よりも、撮像部２００と遠い位置（被写体ＳＢ２の位置）に合焦物体位置が合わせられた時に撮像された画像である。
【００６８】
さらに、図３（Ｂ）及び図３（Ｃ）に示すように、近点パターン画像ＩＭ３及び遠点パターン画像ＩＭ４内には、近点画像及び遠点画像と同様に、合焦領域と非合焦領域が存在している。合焦領域では、投影された幾何パターンがはっきり映し出されており（図３（Ｂ）では右側領域）、非合焦領域では、投影された幾何パターンがぼやけて映し出されている（図３（Ｂ）では左側領域）。そのため、パターンの投影されている各画素位置が被写界深度内か否か、つまり各画素位置の合焦状態を、パターン画像の輝度値に基づいて評価（判定）できる。なお、実際には、被写体ＳＢ１及び被写体ＳＢ２に記載された文字「Ａ」に幾何パターンが投影された部分では、文字「Ａ」の一部分も映し出されるが、図３（Ｂ）及び図３（Ｃ）では、図示の都合上省略している。
【００６９】
また、具体的に内視鏡で上記のパターン画像を撮像するシーンでは、外光の影響がないため、撮像時に幾何パターンのみを投影した場合、明瞭なパターン画像信号が得られる。内視鏡での撮像シーンにはコントラストの低い被写体、テクスチャの少ない領域が含まれる場合も多く、暗闇での撮像となることが多い。そのため投影した幾何パターンが明瞭に得られ、本実施形態の手法が特に有効なシーンである。
【００７０】
ここで、投影する幾何パターンの一例としてドットパターンＰＩＭを図４（Ａ）に示す。前述した図２（Ａ）〜図２（Ｃ）及び図３（Ａ）〜図３（Ｃ）の例においても、ドットパターンを投影している。なお、投影する幾何パターンは、ドットパターンに限ったものではなく、格子パターンや図４（Ｂ）に示すようなラインパターンＰＩＭ２、図４（Ｃ）に示すようなランダムパターンＰＩＭ３等の任意の幾何パターンを投影してもよい。また、幾何パターンの決定方法については、後述する。
【００７１】
次に、評価値算出部１２０は、近点パターン画像信号及び遠点パターン画像信号に基づいて、各合成対象画素について第１評価値を算出する（Ｓ１０３）。具体的に第１評価値は、近点パターン画像信号及び遠点パターン画像信号の輝度値とする。
【００７２】
同様に、評価値算出部１２０は、近点画像信号及び遠点画像信号に基づいて、各合成対象画素について第２評価値を算出する（Ｓ１０４）。具体的に第２評価値は、画像信号のコントラスト又はエッジ成分とする。
【００７３】
例えば、第２評価値としてコントラストを用いる場合には、算出対象の画素位置を中心とした所定の領域内において式（１）を用いて算出する。
【００７４】
【数１】
2013228798.tif 000003
【００７５】
なお、Ｃはコントラスト、Ｉｍａｘは所定の領域内の最大の輝度値（画素値）、Ｉｍｉｎは所定領域内の最小の輝度値（画素値）である。また、第２評価値としてエッジ成分を用いる場合は、例えばソーベルフィルタやラプラシアンフィルタといった既存のエッジ抽出フィルタによるエッジ成分を算出する。
【００７６】
ここで、近点パターン画像及び遠点パターン画像の各画素の輝度値である第１評価値は、光学劣化関数に従って、各画像の合焦領域では非合焦領域に比べて高い値となり、非合焦領域では合焦領域に比べて低い値となる。また、投影する幾何パターンが疎であるため、近点パターン画像及び遠点パターン画像も疎となり、幾何パターンの影響がない画素（例えば、図３（Ｂ）の近点パターン画像ＩＭ３の黒色部分の画素Ｐ１）が存在する。
【００７７】
このような幾何パターンの影響がない画素では、近点パターン画像と遠点パターン画像とで、第１評価値が（ほぼ）同じ値になってしまい、算出した第１評価値を用いても、当該画素が合焦状態であるか、非合焦状態であるか判断することができない。
【００７８】
具体例を挙げて説明する。例えば、図３（Ｂ）の近点パターン画像ＩＭ３の黒色部分の画素Ｐ１と白色部分の画素Ｐ３は、どちらも非合焦状態である。一方、図３（Ｃ）の遠点パターン画像ＩＭ４の黒色部分において、画素Ｐ１に対応する位置にある画素Ｐ２と、画素Ｐ３に対応する位置にある画素Ｐ４は、どちらも合焦状態である。この時に、画素Ｐ３から求められた第１評価値ｖＰ３と、画素Ｐ４から求められた第１評価値ｖＰ４とを比較すると、ｖＰ３≦Ｔｈ≦ｖＰ４（Ｔｈは所定の閾値）となり、画素Ｐ４が合焦状態であり、画素Ｐ３が非合焦状態であると判定できる。しかし、画素Ｐ１から求められた第１評価値ｖＰ１と、画素Ｐ２から求められた第１評価値ｖＰ２は（ほぼ）同じ値になってしまい、これらの値を比較しても、画素Ｐ１と画素Ｐ２が合焦状態であるか、非合焦状態であるか判断することができない。
【００７９】
従って、幾何パターンの影響がない画素については、合成対象画素毎に第１評価値を再算出する（第１評価値の補間処理を行う）必要がある（Ｓ１０５）。内視鏡のような暗闇での撮像の場合、幾何パターンの影響がない画素は、非常に低輝度となるため、第１評価値に対して所与の閾値を設けることで識別が可能である。
【００８０】
ここで、第１評価値の補間処理の詳細な処理の流れを図８のフローチャートに示す。図８の処理は、ある１つの合成対象画素に対して行う補間処理の流れを示したものであるため、図７のステップＳ１０５では、全ての合成対象画素に対して図８の処理を行う必要がある。
【００８１】
まず、近点パターン画像信号（第１のパターン画像信号）についての第１評価値が所与の閾値以下であるか否かを判定する（Ｓ２０１）。
【００８２】
近点パターン画像信号についての第１評価値が所与の閾値よりも大きいと判定した場合には、補間処理を行わずに処理を終了する。
【００８３】
一方、近点パターン画像信号についての第１評価値が所与の閾値以下であると判定した場合には、遠点パターン画像信号（第２のパターン画像信号）についての第１評価値が所与の閾値以下であるか否かを判定する（Ｓ２０２）。なお本実施形態では、ステップＳ２０２において用いる所与の閾値は、ステップＳ２０１において用いる閾値と同じ値であるが、異なる値を用いてもよい。
【００８４】
ステップＳ２０２において、遠点パターン画像信号についての第１評価値が所与の閾値よりも大きいと判定した場合には、補間処理を行わずに処理を終了する。
【００８５】
一方、近点パターン画像信号（第１のパターン画像信号）についての第１評価値が所与の閾値以下であると判定した場合には、第１評価値の補間処理を実行する（Ｓ２０３）。ここでは、例えば、既存の０次補間、線形補間、モルフォロジー膨張処理等により周辺の閾値以上の画素から補間処理した値を新たな第１評価値とする。あるいは後述するように、幾何パターンの位置等を変えて得られる相補パターン画像に基づいて補間処理を行ってもよい。以上により、第１評価値の補間処理を終了する。
【００８６】
そして、画像合成部１３０は、合成対象画素毎に画像合成処理を行う（Ｓ１０６）。近点画像及び遠点画像から得られる第２評価値が共に所定の閾値以下である場合は、コントラストやエッジ成分が安定して算出できていない画素であるため、第１評価値に基づいて画像合成処理を行う。一方、近点画像及び遠点画像から得られる第２評価値が共に所定の閾値よりも大きい場合には、コントラストやエッジ成分が安定して算出できている画素であるため、第２評価値に基づいて画像合成処理を行う。
【００８７】
ここで、画像合成処理の詳細な処理の流れを図９のフローチャートに示す。図９の処理は、ある１つの合成対象画素に対して行う画像合成処理の流れを示したものであるため、図７のステップＳ１０６では、全ての合成対象画素に対して図９の処理を行う必要がある。
【００８８】
まず、近点画像信号（第１の画像信号）についての第２評価値が所与の閾値以下であるか否かを判定する（Ｓ３０１）。
【００８９】
近点画像信号（第１の画像信号）についての第２評価値が所与の閾値以下であると判定した場合には、遠点画像信号（第２の画像信号）についての第２評価値も所与の閾値以下であるか否かを判定する（Ｓ３０２）。なお本実施形態では、ステップＳ３０２において用いる所与の閾値は、ステップＳ３０１において用いる閾値と同じ値であるが、異なる値を用いてもよい。
【００９０】
そして、遠点画像信号（第２の画像信号）についての第２評価値が所与の閾値以下であると判定した場合には、第１評価値を用いて画像合成係数を算出する（Ｓ３０３）。
【００９１】
ここで、画像合成係数ｃ（ｘ，ｙ）は、例えば下式（２）により求められる。なお、下式（２）において、ｖｎｅａｒは近点パターン画像から得られる第１評価値であり、ｖｆａｒは遠点パターン画像から得られる第１評価値である。
【００９２】
【数２】
2013228798.tif 000004
【００９３】
他にも、画像合成係数ｃ（ｘ，ｙ）は、例えば下式（３）により求めてもよい。なお、下式（３）において、αは正規化係数である。
【００９４】
【数３】
2013228798.tif 000005
【００９５】
これによれば、０と１の２値判定（近点画像か遠点画像のどちらか）ではなく、近点画像と遠点画像をブレンドする係数を画像合成係数として算出して、合焦領域と非合焦領域の切り替わる部分を滑らかにすることが可能になる。
【００９６】
一方、ステップＳ３０１において、近点画像信号（第１の画像信号）についての第２評価値が所与の閾値よりも大きいと判定した場合、又はステップＳ３０２において、遠点画像信号（第２の画像信号）についての第２評価値が所与の閾値よりも大きいと判定した場合には、第２評価値を用いて画像合成係数を算出する（Ｓ３０４）。
【００９７】
ステップＳ３０４においても、画像合成係数は、上式（２）や上式（３）などにより求められる。ただし、第２評価値を用いて画像合成係数を求める場合には、上式（２）と上式（３）において、ｖｎｅａｒは近点画像から得られる第２評価値に置き換えられ、ｖｆａｒは遠点画像から得られる第２評価値に置き換えられるものとする。
【００９８】
そして、ステップＳ３０３又はステップＳ３０４後に、算出した画像合成係数を用いて画像合成処理を行う（Ｓ３０５）。具体的に画像合成処理は、下式（４）に従って行う。なお、式（４）において、ａ（ｘ，ｙ）は、合成画像の座標（ｘ，ｙ）の画素値、ａ１（ｘ，ｙ）は、近点画像の座標（ｘ，ｙ）の画素値、ａ２（ｘ，ｙ）は、遠点画像の座標（ｘ，ｙ）の画素値を表す。
【００９９】
【数４】
2013228798.tif 000006
【０１００】
ここで、図５（Ａ）〜図５（Ｃ）を用いて画像合成処理の具体例を示す。まず、図５（Ａ）の画像ＳＩＭ１は、図２（Ａ）の近点画像の一部分を拡大した図であり、図５（Ｂ）の画像ＳＩＭ２は、図２（Ｂ）の遠点画像の一部分を拡大した図である。そして、図５（Ｃ）の画像ＳＣＩＭは、式（２）により求められる画像合成係数と式（４）に従って、図５（Ａ）の画像ＳＩＭ１と図５（Ｂ）の画像ＳＩＭ２を合成した結果得られる画像である。なお、図５（Ａ）〜図５（Ｃ）において、Ａ１〜Ａ１６、Ｂ１〜Ｂ１６は、それぞれ合成対象画素を表している。さらに、斜線が掛けられている合成対象画素（具体的には、Ａ１〜Ａ７、Ａ９、Ａ１０、Ａ１３、Ｂ８、Ｂ１１、Ｂ１２、Ｂ１４〜Ｂ１６）は、非合焦状態にあり、それ以外の斜線が掛けられていない合成対象画素は、合焦状態にあるものとする。なお、実際には、一部分が合焦状態であり、他の一部分が非合焦状態である合成対象画素も存在し得るが、ここでは説明の簡略化のため、合成対象画素は、合焦状態又は非合焦状態のどちらかであるものとして説明する。
【０１０１】
まず、合成画像ＳＣＩＭの座標（１、１）の画素に着目する。前述したように、合成画像ＳＣＩＭの座標（１、１）の画素を求めるには、近点画像ＳＩＭ１の同位置の画素Ａ１と、遠点画像ＳＩＭ２の同位置の画素Ｂ１とを比較して、どちらの画素を用いるか決定する。この時、画像ＳＩＭ１の画素Ａ１から求められた第１評価値（又は第２評価値）ｖｎｅａｒは、画像ＳＩＭ２の画素Ｂ１から求められた第１評価値（又は第２評価値）ｖｆａｒよりも小さくなる。従って、式（２）により、画像合成係数ｃ（１，１）＝０となるため、式（４）により、ａ（１，１）＝ａ２（１，１）となる。よって、合成画像ＳＣＩＭの座標（１，１）の画素には、画像ＳＩＭ２の画素Ｂ１が選択される。その他の画素についても同様の処理を行うと、図５（Ｃ）のような合成画像ＳＣＩＭが求められる。
【０１０２】
以上により、画像合成処理を終了し、これらの処理を全ての合成対象画素について実行して、本実施形態の処理を終了する。
【０１０３】
そして、図２（Ｂ）に示した近点画像ＩＭ１と図２（Ｃ）に示した遠点画像ＩＭ２を、前述した第１評価値と第２評価値を用いて、式（４）に従って合成した画像ＡＦＩＭを図６に示す。図５（Ａ）〜図５（Ｃ）を用いて説明したように、近点画像ＩＭ１及び遠点画像ＩＭ２のそれぞれの合焦領域を合成すると、画像全体で合焦している画像ＡＦＩＭが得られる。
【０１０４】
その後、合成画像ＡＦＩＭを、例えば図示しない出力部（提示部）に転送して、ディスプレイ等に出力してもよい。
【０１０５】
４．本実施形態の手法
以上の本実施形態の画像処理装置１００は、複数の画像信号の取得処理を行う画像取得部１１０と、取得した画像信号に基づいて評価値の算出処理を行う評価値算出部１２０と、評価値に基づいて複数の画像信号の合成処理を行う画像合成部１３０と、を含む。まず、画像取得部１１０は、合焦物体位置の異なる複数の画像信号を撮像部２００から取得すると共に、被写体に幾何パターンを投影して撮像された合焦物体位置の異なる複数のパターン画像信号を撮像部２００から取得する。次に、評価値算出部１２０は、複数のパターン画像信号に基づいて第１評価値を算出すると共に、複数の画像信号に基づいて第２評価値を算出する。そして、画像合成部１３０は、第１評価値と第２評価値との比較処理を行い、比較処理の結果に基づいて、複数の画像信号の合成処理を行う。
【０１０６】
ここで、画像信号とは、被写体を撮像した画像を表す信号のことをいう。また、画像信号は、アナログ信号であってもよいし、デジタル信号であってもよい。
【０１０７】
また、評価値とは、画像合成処理において、第１の画像信号と第２の画像信号をどの割合で使うかを評価するための値のことをいう。また、評価値は、画像が合焦状態であるか否かを評価するために用いる値、すなわち画像の合焦の度合いを評価するために用いる値とも言える。さらに、評価値は、後述する光学劣化関数に基づいて変化する値であるとも言える。
【０１０８】
ここで、評価値算出部１２０は、複数の画像信号のコントラスト又はエッジ成分を表す第２評価値を算出してもよい。
【０１０９】
すなわち、第２評価値は、コントラスト又はエッジ成分そのものであってもよいし、コントラスト又はエッジ成分を表す他の値であってもよい。
【０１１０】
ここで、コントラスト（コントラスト値）は、例えば前述した式（１）により求められる値等であってもよい。
【０１１１】
また、エッジ成分は、前述したように、例えばソーベルフィルタやラプラシアンフィルタといった既存のエッジ抽出フィルタによって算出する値であってもよい。
【０１１２】
これにより、画像のコントラスト又はエッジ成分に基づいて、画像合成処理を行うこと等が可能になる。
【０１１３】
また、評価値算出部１２０は、複数のパターン画像信号の輝度値を第１評価値として算出してもよい。
【０１１４】
パターン画像信号の輝度値を第１評価値として用いる場合には、合焦状態である場合に、非合焦状態である場合よりも第１評価値が大きくなり、非合焦状態である場合に、合焦状態である場合よりも第１評価値が小さくなる。すなわち、画像の合焦の度合いが強くなればなるほど、第１評価値は大きくなる。
【０１１５】
また、幾何パターン（パターン光）を投影するため、幾何パターンを投影された画素の輝度値が、算出できない程小さくなるということもない。
【０１１６】
これにより、例えば画像合成処理において有効なコントラスト等を算出できない場合であっても、画像合成処理に用いる他の評価値を算出すること等が可能になる。
【０１１７】
さて、このような第１評価値は、パターン画像信号から求められるが、パターン画像信号とは、幾何パターンを投影して、撮像された画像の信号のことをいう。本実施形態では、合焦物体位置の異なるパターン画像信号を取得する。具体例としては、図３（Ｂ）の近点パターン画像ＩＭ３の信号及び図３（Ｃ）の遠点パターン画像ＩＭ４の信号などが挙げられる。
【０１１８】
また、幾何パターンとしては、図４（Ａ）〜図４（Ｃ）を用いて説明したようなパターンが挙げられる。但し、幾何パターンは、図４（Ａ）〜図４（Ｃ）の例に限定されず、他のパターンを用いてもよい。
【０１１９】
さらに、合焦物体位置とは、レンズを通して撮像される画像に映る被写体が合焦状態となる被写体側の位置のことをいう。すなわち、合焦物体位置は、現在合焦している被写体側の位置である。
【０１２０】
以上のように本実施形態では、幾何パターンを投影して撮像された画像の信号から第１評価値を算出し、幾何パターンを投影せずに撮像された画像の信号から第２評価値を算出する。そして、算出した第１評価値及び第２評価値に基づいて、画像合成処理を行う。
【０１２１】
第１評価値は、被写体のコントラストやテクスチャ等に影響されないため、コントラストが低い被写体や、テクスチャが少ない被写体でも、画像合成処理に対して有効な評価値を算出することができる。すなわち、テクスチャが少ない領域、コントラストの低い被写体においても安定して合成画像を生成するための評価値が算出できる。
【０１２２】
これにより、コントラストの低い画像信号でも、アーチファクトの発生を抑制して画像合成処理を行うことができる。
【０１２３】
また、このような処理を行うことで、複数の画像信号から画像全体で焦点の合った全焦点画像を生成することも可能となる。
【０１２４】
また、評価値算出部１２０は、複数のパターン画像信号において合成処理の対象となる画素である合成対象画素毎に第１評価値を算出すると共に、複数の画像信号の合成対象画素毎に第２評価値を算出してもよい。そして、画像合成部１３０は、合成対象画素毎に第１評価値と第２評価値との比較処理を行って、比較処理結果に基づいて、複数の画像信号の合成処理を合成対象画素毎に行ってもよい。
【０１２５】
ここで、合成対象画素とは、画像合成処理の対象となる少なくとも一つの画素のことをいう。合成対象画素は、１画素であってもよいし、複数画素から構成される画素のまとまりであってもよい。例えば、縦２画素、横２画素の４画素をひとまとまりに、合成対象画素として扱っても良い。
【０１２６】
これにより、画像合成の対象となる画素に対して、第１評価値と第２評価値を算出することができ、全ての合成対象画素に対して比較処理を行って、例えば、画像の合焦状態等を判定して、より正確な画像合成処理を行うこと等が可能になる。
【０１２７】
さて次に、図４（Ａ）に示すようなドットパターンＰＩＭのドット間距離ｄの決定方法について具体的に説明する。まず、図３（Ｂ）又は図３（Ｃ）に示すように、投影されたドットは、光学系の光学劣化関数に従って被写界深度内では明瞭な形で撮像されるが、被写界深度外ではぼけて撮像される。なお、光学劣化関数とは、例えば点拡がり関数（PSF：Point Spread Function）であり、光学系の点光源に対する応答を表す関数のことをいう。
【０１２８】
すなわち、投影されたドットのぼけ具合を判定すれば、幾何パターンが投影されている各画素位置が被写界深度内か否かを判定することができる。一般的には、明瞭に撮像された部分は、ぼけている部分に比べて輝度が高く、ぼけている部分は明瞭に撮像された部分に比べて輝度が低くなるため、輝度等を用いれば、画像のぼけ具合を判定することも可能である。
【０１２９】
よって、画像取得部１１０は、光学劣化関数に基づいて設定された幾何パターンを投影して撮像された複数のパターン画像信号を撮像部２００から取得してもよい。
【０１３０】
これにより、幾何パターンが投影されている各画素位置が被写界深度内か否か、つまり各画素位置の合焦状態をパターン画像の輝度値に基づいて評価（判定）すること等が可能になる。
【０１３１】
しかし、投影されたドットが重なる場合には、光学劣化関数による輝度値の変化が正確に算出できない。よって、光学系の光学劣化関数による所定の被写体距離においての、ぼけ半径がＲとすると、投影されたドットが重ならないように、ドット間距離ｄが２Ｒ以上となるように設定する必要がある。
【０１３２】
すなわち、画像取得部１１０は、光学劣化関数に基づいて、ぼけ半径Ｒに対してドット間距離ｄがｄ≧２Ｒ（ｄ及びＲは正の整数）となるように設定されたドットパターンを投影して撮像された複数のパターン画像信号を取得してもよい。
【０１３３】
これにより、ドットが重ならないように被写体にドットパターンを投影すること等が可能になる。
【０１３４】
しかし、このようにしてドット間距離ｄを定めると、投影するドットパターンが疎となる。ここで、ドットパターンが疎となるとは、パターン画像内にドットが投影されていない画素があることを指す。前述したようにｄ≧２Ｒとすると、必ず疎となる。
【０１３５】
例えば、本実施形態を内視鏡に適用する場面では、暗い体内の画像を撮像するため、ドットが投影されていない部分の輝度は非常に小さくなり、このような値を求めても、画像合成処理の評価値として有効に使えない場合がある。
【０１３６】
そこで、本実施形態では、算出した第１評価値が所与の閾値以下の場合には、その第１評価値を補間（再算出）してもよい。
【０１３７】
すなわち、評価値算出部１２０は、複数のパターン画像信号において合成処理の対象となる画素である合成対象画素毎に、算出した第１評価値が所与の閾値以下であるか否かの判定処理を行い、第１評価値が所与の閾値以下であると判定した場合には、第１評価値に対して補間処理を行ってもよい。
【０１３８】
なお、第１評価値と所与の閾値との比較処理において、符号を反転する等の変形を加えることも可能であり、このような変形も本発明の範囲内であるものとする。
【０１３９】
これにより、ドットパターンが疎となる場合であっても、全ての合成対象画素について、画像合成処理の評価値として有効な第１評価値を求めること等が可能になる。
【０１４０】
また、評価値算出部１２０は、第１評価値が所与の閾値以下であると判定した場合に、補間処理として、０次補間処理及び線形補間処理、モルフォロジー膨張処理のうちのいずれかの処理を第１評価値に対して行ってもよい。
【０１４１】
これにより、画像合成処理の評価値として有効でないと判定された第１評価値を、同一のパターン画像信号から算出された他の第１評価値に基づいて補間すること等が可能になる。
【０１４２】
また補間処理の他の方法として、光空間変調器を制御し、投影パターンを水平垂直方向に移動する、あるいは明暗を反転させる等、幾何パターンを変更し複数回投影し、近点パターン画像（第１パターン画像）及び遠点パターン画像（第２パターン画像）を複数回撮像することで、疎な領域を補間する相補パターン画像を取得することも可能である。
【０１４３】
すなわち、画像取得部１１０は、複数のパターン画像信号を撮像部２００から取得すると共に、先に投影した幾何パターンと異なる幾何パターンを被写体に投影して撮像された複数の相補パターン画像信号を撮像部２００から取得してもよい。そして、評価値算出部１２０は、複数のパターン画像信号から算出した第１評価値が、所与の閾値以下であると判定した合成対象画素に対して、複数の相補パターン画像に基づいて第１評価値を算出し直す処理を補間処理として行ってもよい。
【０１４４】
ここで、先に投影した幾何パターンと異なる幾何パターン（以下では、相補幾何パターンと呼ぶ）とは、先に投影した幾何パターンと、今回投影した相補幾何パターンとを組み合わせると、全ての合成対象画素に対して、パターン光が投影されるような幾何パターンをいう。例えば、先に投影した幾何パターンが図４（Ｂ）のようなラインパターンＰＩＭ２である場合には、ＰＩＭ２の白いラインを全て所定距離だけ下に移動させたラインパターンなどを指す。但し、必ずしも２つの幾何パターンで、全ての合成対象画素に対して、パターン光が投影されなければならない訳ではなく、３つ以上の幾何パターン、例えば幾何パターンＡ〜Ｃを組み合わせると、全ての合成対象画素にパターン光が投影されるものであっても良い。この場合には、幾何パターンＡにとっては、幾何パターンＢ及びＣが相補幾何パターンとなる。
【０１４５】
また、相補パターン画像信号とは、相補幾何パターンを投影して撮像された画像信号のことをいう。
【０１４６】
これにより、画像合成処理の評価値として有効でないと判定された第１評価値を、相補パターン画像信号から算出された同一の合成対象画素に対応する第１評価値に置換すること等が可能になる。
【０１４７】
さらに、使用した幾何パターンを全て組み合わせても、パターン光が投影されない合成対象画素があっても良い。この場合には、補間処理として、０次補間処理及び線形補間処理、モルフォロジー膨張処理のうちのいずれかの処理をさらに行っても良い。すなわち、０次補間処理等と相補パターン画像を用いた補間処理の両方の処理を行っても良い。
【０１４８】
さて、以上のようにして第１評価値と第２評価値を求めるが、基本的には第２評価値に基づいて画像合成処理を行う。ただし、第２評価値が画像合成処理の評価値として有効でない場合には、第１評価値に基づいて画像合成処理を行う。第２評価値が有効でない場合とは、前述したように、被写体のコントラストが低かったり、テクスチャが少なかったりするために、第２評価値が非常に小さい値となってしまう場合である。
【０１４９】
そこで、本実施形態では、第２評価値が所与の閾値以下であるか否かの判定処理を行うことにより、第２評価値が画像合成処理の評価値として有効であるか否かを判定し、第２評価値が画像合成処理の評価値として有効であると判定した場合には、第２評価値を用いて画像合成処理を行い、第２評価値が画像合成処理の評価値として有効ではないと判定した場合には、第１評価値を用いて画像合成処理を行ってもよい。
【０１５０】
すなわち、画像合成部１３０は、複数のパターン画像信号において合成処理の対象となる画素である合成対象画素毎に、算出した第２評価値が所与の閾値以下であるか否かの判定処理を行い、第２評価値が所与の閾値以下であると判定した場合には、第１評価値に基づいて合成処理を行い、第２評価値が所与の閾値よりも大きいと判定した場合には、第２評価値に基づいて合成処理を行ってもよい。
【０１５１】
なお、第２評価値と所与の閾値との比較処理において、符号を反転する等の変形を加えることも可能であり、このような変形も本発明の範囲内であるものとする。
【０１５２】
これにより、第２評価値が画像合成処理の評価値として有効であると判定した場合には、第２評価値を用いて画像合成処理を行い、第２評価値が画像合成処理の評価値として有効ではないと判定した場合には、第１評価値を用いて画像合成処理を行うこと等が可能になる。
【０１５３】
また、画像合成処理では、第１評価値や第２評価値から画像合成係数を算出してもよい。
【０１５４】
すなわち、画像合成部１３０は、第２評価値が所与の閾値以下であると判定した場合には、第１評価値に基づいて画像合成係数を算出し、画像合成係数を用いて合成対象画素毎に合成処理を行い、第２評価値が所与の閾値よりも大きいと判定した場合には、第２評価値に基づいて画像合成係数を算出し、画像合成係数を用いて合成対象画素毎に合成処理を行ってもよい。
【０１５５】
ここで、画像合成係数とは、具体的には前述した式（４）におけるｃ（ｘ，ｙ）のことを指し、前述した式（２）や式（３）等により求められる。但し、画像合成係数は、式（２）や式（３）により算出される値に限定されず、任意の方法により算出してもよい。
【０１５６】
これにより、例えば式（３）により算出される画像合成係数を用いれば、合焦領域と非合焦領域の切り替わり部分を滑らかに合成すること等が可能になる。
【０１５７】
以上のように説明してきた本実施形態の手法を、前述した２つ画像信号と、２つのパターン画像信号を用いる例に適用して、言い換えると次のようになる。
【０１５８】
画像取得部１１０は、第１の画像信号と、第１の画像信号と合焦物体位置の異なる第２の画像信号とを撮像部２００から取得すると共に、被写体に幾何パターンを投影して撮像された第１のパターン画像信号と、第１のパターン画像信号と合焦物体位置の異なる第２のパターン画像信号とを撮像部２００から取得してもよい。そして、評価値算出部１２０は、合成処理の対象となる画素である合成対象画素毎に、第１のパターン画像信号と第２のパターン画像信号についての第１評価値を算出すると共に、第１の画像信号と第２の画像信号についての第２評価値を算出してもよい。さらに、画像合成部１３０は、合成対象画素毎に、第１の画像信号と第２の画像信号についての第２評価値が共に所与の閾値以下であるか否かの判定処理を行い、第２評価値が共に所与の閾値以下であると判定した場合には、第１評価値に基づいて第１の画像信号と第２の画像信号の合成処理を行い、第２評価値が共に所与の閾値よりも大きいと判定した場合には、第２評価値に基づいて第１の画像信号と第２の画像信号の合成処理を行ってもよい。
【０１５９】
ここで、第１の画像信号とは、前述した近点画像を表す信号のことをいい、例えば図２（Ｂ）の画像ＩＭ１を表す信号のことをいう。一方、第２の画像信号とは、前述した遠点画像を表す信号のことをいい、例えば図２（Ｃ）の画像ＩＭ２を表す信号のことをいう。
【０１６０】
またここで、第１のパターン画像信号とは、前述した近点パターン画像を表す信号のことをいい、例えば図３（Ｂ）の画像ＩＭ３を表す信号のことをいう。一方、第２のパターン画像信号とは、前述した遠点パターン画像を表す信号のことをいい、例えば図３（Ｃ）の画像ＩＭ４を表す信号のことをいう。
【０１６１】
これにより、第１の画像信号と第２の画像信号についての第２評価値が共に所与の閾値以下であると判定した場合には、画像合成処理に有効な第２評価値が算出されていないと判定し、第１評価値に基づいて第１の画像信号と第２の画像信号の合成処理を行うこと等が可能になる。また、第１の画像信号と第２の画像信号についての第２評価値が共に所与の閾値よりも大きいと判定した場合には、画像合成処理に有効な第２評価値が算出されていると判定し、第２評価値に基づいて第１の画像信号と第２の画像信号の合成処理を行うこと等が可能になる。
【０１６２】
すなわち、２つの画像信号と２つのパターン画像信号を取得する場合にも、第１評価値と第２評価値の中から有効な評価値を選択して、画像合成処理を行うこと等が可能になる。なお、この場合にも、第１評価値の補間処理等を行っても良い。
【０１６３】
また、画像取得部１１０は、コヒーレント光源と光空間変調器とを用いて幾何パターンを投影して撮像された複数のパターン画像信号を撮像部２００から取得してもよい。
【０１６４】
これにより、明瞭な任意の幾何パターンが映されたパターン画像信号を取得すること等が可能になる。
【０１６５】
また、画像取得部１１０は、非可視波長のコヒーレント光源と光空間変調器とを用いて幾何パターンを投影して撮像された複数のパターン画像信号を撮像部２００から取得してもよい。
【０１６６】
これにより、近点画像と同じタイミングに撮像された近点パターン画像のパターン画像信号と、遠点画像と同じタイミングに撮像された遠点パターン画像のパターン画像信号とを取得すること等が可能になる。
【０１６７】
また、本実施形態の画像処理装置１００は、撮像装置４００や内視鏡４００の構成要素としてもよい。これらの撮像装置４００や内視鏡４００は、画像処理装置１００と、撮像部２００と、被写体に対して幾何パターンを投影するパターン投影部３００と、を含んでもよい。
【０１６８】
なお、本実施形態の画像処理装置１００等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理装置１００等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１６９】
以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像処理装置１００、撮像装置４００、内視鏡４００等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１７０】
１００  画像処理装置、１１０  画像取得部、１２０  評価値算出部、
１３０  画像合成部、２００  撮像部、３００  パターン投影部、
４００  撮像装置（内視鏡）
【図１】
2013228798.tif 000007
【図４】
2013228798.tif 000008
【図５】
2013228798.tif 000009
【図６】
2013228798.tif 000010
【図７】
2013228798.tif 000011
【図８】
2013228798.tif 000012
【図９】
2013228798.tif 000013
【図２】
2013228798.tif 000014
【図３】
2013228798.tif 000015