(57)【特許請求の範囲】
【請求項１】
フォーカス位置の異なる複数の画像を異なるタイミングにおいて取得する撮像部と、
前記フォーカス位置の異なる複数の画像を位置合わせする位置合わせ部と、
前記位置合わせ部が位置合わせした前記フォーカス位置の異なる複数の画像から、１枚の深度拡大画像を合成することによって、被写界深度を拡大する深度拡大部と、
前記深度拡大画像にアーチファクトが発生するリスクの度合いを表すリスク指標を求めるリスク指標算出部と、
前記リスク指標に基づいて、前記深度拡大画像を補正するアーチファクト補正部と、
を含むことを特徴とする内視鏡装置。
【請求項２】
請求項１において、
前記リスク指標算出部は、
前記フォーカス位置の異なる複数の画像間の動きベクトルに基づいて、前記リスク指標を求めることを特徴とする内視鏡装置。
【請求項３】
請求項２において、
前記位置合わせ部は、
前記フォーカス位置の異なる複数の画像に基づいて前記動きベクトルを検出し、
前記リスク指標算出部は、
前記位置合わせ部が検出した前記動きベクトルに基づいて、前記リスク指標を求めることを特徴とする内視鏡装置。
【請求項４】
請求項２において、
前記リスク指標算出部は、
前記フォーカス位置の異なる複数の画像に基づいて前記動きベクトルを検出し、検出した前記動きベクトルに基づいて、前記リスク指標を求めることを特徴とする内視鏡装置。
【請求項５】
請求項２において、
前記位置合わせ部は、位置合わせ可能な最大範囲が設定され、
前記リスク指標算出部は、
前記動きベクトルによって表される動き量が前記最大範囲よりも大きい場合、前記リスクが高いと判定される前記リスク指標を算出することを特徴とする内視鏡装置。
【請求項６】
請求項２において、
前記動きベクトルは前記画像に対して複数検出され、
前記リスク指標算出部は、
複数の前記動きベクトルの間の相関に基づいて、前記リスク指標を算出することを特徴とする内視鏡装置。
【請求項７】
請求項２において、
前記動きベクトルは、探索範囲内において、前記フォーカス位置の異なる複数の画像間の相関を表す探索評価値を求め、前記相関が最大となる前記探索評価値を探索することによって検出されるベクトルであり、
前記リスク指標算出部は、
前記相関が最大となる前記探索評価値と、前記相関が２番目に大きい前記探索評価値との差分情報又は比率情報に基づいて、前記リスク指標を算出することを特徴とする内視鏡装置。
【請求項８】
請求項１において、
前記リスク指標算出部は、
前記フォーカス位置の異なる複数の画像のコントラスト値を算出するコントラスト算出部を更に含み、
前記リスク指標算出部は、
前記コントラスト値が所与の閾値よりも小さい場合、前記リスクが高いと判定される前記リスク指標を算出することを特徴とする内視鏡装置。
【請求項９】
請求項１において、
前記リスク指標算出部は、
前記深度拡大画像の一部の領域を対象として、前記リスク指標を求めることを特徴とする内視鏡装置。
【請求項１０】
請求項１において、
前記リスク指標算出部は、
前記深度拡大画像の全体を対象として、前記リスク指標を求めることを特徴とする内視鏡装置。
【請求項１１】
請求項１において、
前記アーチファクト補正部は、
前記リスク指標に基づいて、前記深度拡大画像の少なくとも１画素以上を、前記フォーカス位置の異なる複数の画像のいずれかの画像と置換する補正処理を行うことを特徴とする内視鏡装置。
【請求項１２】
請求項１において、
前記アーチファクト補正部は、
前記リスク指標に基づいて、前記深度拡大画像の少なくとも１画素以上を、前記フォーカス位置の異なる複数の画像のいずれかの画像とブレンドする補正処理を行うことを特徴とする内視鏡装置。
【請求項１３】
請求項１１において、
前記アーチファクト補正部は、
前記フォーカス位置の異なる複数の画像のいずれかの画像のうち、少なくとも前記深度拡大画像との置換対象となる領域を強調処理する強調部を更に含み、
前記アーチファクト補正部は、
前記リスク指標に基づいて、前記深度拡大画像の少なくとも１画素以上を、前記強調処理が行われた画像と置換する補正処理を行うことを特徴とする内視鏡装置。
【請求項１４】
フォーカス位置の異なる複数の画像を異なるタイミングにおいて取得し、
前記フォーカス位置の異なる複数の画像を位置合わせし、
位置合わせした前記フォーカス位置の異なる複数の画像から、１枚の深度拡大画像を合成することによって、被写界深度を拡大し、
前記深度拡大画像にアーチファクトが発生するリスクの度合いを表すリスク指標を求め、
前記リスク指標に基づいて、前記深度拡大画像を補正する、
ことを特徴とする内視鏡装置の作動方法。
【請求項１５】
フォーカス位置の異なる複数の画像を異なるタイミングにおいて取得し、
前記フォーカス位置の異なる複数の画像を位置合わせし、
位置合わせした前記フォーカス位置の異なる複数の画像から、１枚の深度拡大画像を合成することによって、被写界深度を拡大し、
前記深度拡大画像にアーチファクトが発生するリスクの度合いを表すリスク指標を求め、
前記リスク指標に基づいて、前記深度拡大画像を補正する、
ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
【背景技術】
【０００２】
内視鏡装置においては、ユーザが行う診断と処置に支障をきたさないように、可能な限り深い被写界深度が要求される。しかし近年では、内視鏡装置において多画素数の撮像素子が使用され、それに伴って被写界深度が浅くなっている。【０００３】
浅い被写界深度を補う技術として、被写界深度を拡大するＥＤＯＦ（Extended Depth Of Field）技術の導入が提案されている。例えば特許文献１では、フォーカス位置を変化させて撮像した複数の画像を位置合わせした上でピントの合った領域を合成することによって、被写界深度を拡大する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１３−５１３３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＥＤＯＦを用いた場合、複数の画像を合成するため、実際の被写体には存在しないアーチファクトが発生するおそれがある。しかし、特許文献１に記載の技術では、アーチファクトの発生リスクが考慮されていない。そのため、例えば低コントラストな被写体に対して位置合わせができず、そのまま合成することによって、アーチファクトが発生するおそれがある。【０００６】
本発明の幾つかの態様によれば、アーチファクトの発生リスクに応じた画像を出力する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、フォーカス位置の異なる複数の画像を異なるタイミングにおいて取得する撮像部と、前記フォーカス位置の異なる複数の画像を位置合わせする位置合わせ部と、前記位置合わせ部が位置合わせした前記フォーカス位置の異なる複数の画像から、１枚の深度拡大画像を合成することによって、被写界深度を拡大する深度拡大部と、前記深度拡大画像にアーチファクトが発生するリスクの度合いを表すリスク指標を求めるリスク指標算出部と、前記リスク指標に基づいて、前記深度拡大画像を補正するアーチファクト補正部と、を含む内視鏡装置に関係する。【０００８】
また本発明の他の態様は、フォーカス位置の異なる複数の画像を異なるタイミングにおいて取得し、前記フォーカス位置の異なる複数の画像を位置合わせし、位置合わせした前記フォーカス位置の異なる複数の画像から、１枚の深度拡大画像を合成することによって、被写界深度を拡大し、前記深度拡大画像にアーチファクトが発生するリスクの度合いを表すリスク指標を求め、前記リスク指標に基づいて、前記深度拡大画像を補正する内視鏡装置の作動方法に関係する。【０００９】
また本発明のさらに他の態様は、フォーカス位置の異なる複数の画像を異なるタイミングにおいて取得し、前記フォーカス位置の異なる複数の画像を位置合わせし、位置合わせした前記フォーカス位置の異なる複数の画像から、１枚の深度拡大画像を合成することによって、被写界深度を拡大し、前記深度拡大画像にアーチファクトが発生するリスクの度合いを表すリスク指標を求め、前記リスク指標に基づいて、前記深度拡大画像を補正するステップをコンピュータに実行させるプログラムに関係する。
【図面の簡単な説明】
【００１０】
【図１】内視鏡装置の構成例。
【図２】リスク指標算出部の構成例。
【図３】動き量とリスク指標との関係例。
【図４】高速動きリスク指標算出処理を説明するフローチャート。
【図５】ランダム動きリスク指標算出処理を説明する図。
【図６】ランダム動きリスク指標算出処理を説明するフローチャート。
【図７】評価値のピーク値を求める処理を説明するフローチャート。
【図８】平坦領域リスク指標又は周期構造リスク指標の算出処理を説明するフローチャート。
【図９】リスク指標算出部の他の構成例。
【図１０】リスク指標とブレンド率の関係を説明する図。
【図１１】アーチファクト補正部の構成例。
【発明を実施するための形態】
【００１１】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態において説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１２】
１．内視鏡装置
図１は、内視鏡装置１２の構成例である。内視鏡装置１２は、挿入部１００と処理部３００と表示部４００と外部Ｉ／Ｆ部５００と照明部６００とを含む。挿入部１００は例えばスコープであり、表示部４００は例えば表示装置であり、外部Ｉ／Ｆ部５００は例えばインターフェース、又は操作部、又は操作装置であり、照明部６００は照明装置、又は光源である。内視鏡装置１２は、例えば消化管等に用いられる軟性鏡、又は腹腔鏡等に用いられる硬性鏡である。
【００１３】
挿入部１００は、体内へ挿入される部分である。挿入部１００は、ライトガイド１１０と撮像部２００とを含む。
【００１４】
ライトガイド１１０は、照明部６００からの出射光を、挿入部１００の先端まで導光する。照明部６００は、例えば白色光源６１０を含み、白色光の照明光を出射する。白色光源６１０は、例えばＬＥＤ、又はキセノンランプである。なお、照明光は白色光に限定されず、内視鏡装置１２に用いられる種々の帯域の照明光を採用できる。
【００１５】
撮像部２００は、被写体からの反射光を結像し、被写体の画像を撮像する。撮像部２００は、対物光学系２１０と撮像素子２２０とＡ／Ｄ変換部２３０とを含む。Ａ／Ｄ変換部２３０は例えばＡ／Ｄ変換回路である。なお、Ａ／Ｄ変換部２３０はイメージセンサに内蔵されてもよい。
【００１６】
ライトガイド１１０からの出射光が被写体に照射される。対物光学系２１０は、被写体から反射した反射光を、被写体像として結像する。対物光学系２１０のフォーカス位置は変更可能であり、後述するフォーカス制御部３９０によって制御される。
【００１７】
撮像素子２２０は、対物光学系２１０によって結像された被写体像を光電変換して画像を撮像する。Ａ／Ｄ変換部２３０は、撮像素子２２０から順次出力されるアナログ信号をデジタルの画像に変換し、そのデジタルの画像を前処理部３１０に順次出力する。具体的には、撮像素子２２０が被写体の動画を撮像する。Ａ／Ｄ変換部２３０は、その動画の各フレームの画像をＡ／Ｄ変換し、デジタルの画像を前処理部３１０へ出力する。前処理部３１０は、デジタルの動画を出力する。
【００１８】
処理部３００は、画像処理を含む信号処理と、内視鏡装置１２の制御とを行う。処理部３００は、前処理部３１０と、フレームメモリ３２０と、位置合わせ部３３０と、深度拡大部３４０と、リスク指標算出部３５０と、アーチファクト補正部３６０と、後処理部３７０と、制御部３８０と、フォーカス制御部３９０と、を含む。
【００１９】
前処理部３１０は例えば前処理回路であり、後処理部３７０は例えば後処理回路である。フレームメモリ３２０は例えばＲＡＭ等のメモリである。位置合わせ部３３０は、動きベクトルの算出を行う位置合わせ回路である。深度拡大部３４０は例えば画像合成回路である。リスク指標算出部３５０は例えばリスク指標算出回路である。アーチファクト補正部３６０は例えば画像補正回路である。制御部３８０は例えば制御回路又はコントローラであり、フォーカス制御部３９０は例えばフォーカス制御回路又はフォーカスコントローラである。
【００２０】
前処理部３１０は、Ａ／Ｄ変換部２３０から順次出力された画像に対して、種々の画像処理を施し、その処理後の画像をフレームメモリ３２０と深度拡大部３４０に順次出力する。画像処理は、例えばホワイトバランス処理、補間処理等である。
【００２１】
フレームメモリ３２０は、前処理部３１０から出力されたＭ−１枚の画像を記憶し、その画像を深度拡大部３４０へ出力する。Ｍは、深度拡大画像の合成に用いられる画像の枚数を表し、２以上の整数である。
【００２２】
位置合わせ部３３０は、フレームメモリ３２０が記憶するＭ−１枚の画像と、前処理部３１０が出力する１枚の画像とに基づいて、画像間の位置合わせを行う。具体的には、位置合わせ部３３０は、Ｍ枚の画像のうちの１枚を位置合わせの基準画像に設定した後、他の画像を当該基準画像に対して位置合わせする。位置合わせは、例えば公知のブロックマッチング手法によって実現可能である。ここでの位置合わせの基準画像は、例えば前処理部３１０から出力される最新の画像である。
【００２３】
深度拡大部３４０は、前処理部３１０から出力される画像と、位置合わせ部３３０から出力される位置合わせ後のＭ−１枚の画像とを、１枚の深度拡大画像へ合成する。即ち、深度拡大部３４０はＭ枚の画像から１枚の深度拡大画像を生成する。深度拡大部３４０は、深度拡大画像の各局所領域において、Ｍ枚の画像のうち最もフォーカスが合っている画像を選択し、その選択した画像の局所領域を抽出し、抽出した局所領域から深度拡大画像を合成する。撮像部２００が撮影した動画から深度拡大画像を順次に生成することによって、深度拡大画像をフレーム画像とする動画が得られる。深度拡大画像はアーチファクト補正部３６０に出力される。
【００２４】
リスク指標算出部３５０は、深度拡大画像にアーチファクトが発生するリスクを表すリスク指標を算出する。リスク指標とは、アーチファクトの発生リスクの度合いを表す指標である。リスク指標は例えば数値で表現され、以下ではリスク指標の値が大きいほど、アーチファクトの発生リスクが高い場合の例について説明を行う。ただし、リスク指標の値が小さいほど、アーチファクトの発生リスクが高いことを表す等、リスク指標と当該リスク指標により表されるリスクとの関係は種々の変形実施が可能である。ここでのリスク指標は、具体的には位置合わせ部３３０における位置合わせが適切でないことを表す指標である。即ち、リスク指標によって表されるリスクが高いとは、具体的には位置合わせが適切でないことによってアーチファクトが発生するおそれが大きいことを表す。リスク指標算出部３５０の詳細は後述する。
【００２５】
アーチファクト補正部３６０は、リスク指標算出部３５０が算出したリスク指標に基づき、深度拡大部３４０から出力される深度拡大画像を、前処理部３１０から出力される画像を用いて補正する。アーチファクト補正部３６０の詳細は後述する。
【００２６】
後処理部３７０は、アーチファクト補正部３６０から出力される補正画像にガンマ処理等の画像処理を施した後、表示部４００に出力する。
【００２７】
制御部３８０は、撮像素子２２０、前処理部３１０、フレームメモリ３２０、位置合わせ部３３０、深度拡大部３４０、リスク指標算出部３５０、アーチファクト補正部３６０、後処理部３７０、及びフォーカス制御部３９０と双方向に接続しており、これらを制御する。
【００２８】
フォーカス制御部３９０は、フォーカス位置を制御するフォーカス制御信号を対物光学系２１０へ出力する。撮像部２００は、互いにフォーカス位置が異なるＭフレームで画像を撮像し、深度拡大部３４０は、そのＭ枚の画像を１枚の画像に合成する。これにより、被写界深度が拡大された深度拡大画像が得られる。
【００２９】
表示部４００は、深度拡大部３４０から出力される深度拡大画像を順次表示する。即ち、深度拡大画像をフレーム画像とする動画を表示する。ただし、本実施形態の手法は動画像を対象とするものに限定されず、表示部４００は静止画像を表示してもよい。表示部４００は、例えば液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等である。
【００３０】
外部Ｉ／Ｆ部５００は、ユーザが内視鏡装置１２に対して入力等を行うためのインターフェースである。即ち、内視鏡装置１２を操作するためのインターフェース、或いは内視鏡装置の動作設定を行うためのインターフェース等である。例えば、外部Ｉ／Ｆ部５００は、画像処理のパラメータを調整するための調整ボタン等を含む。
【００３１】
図１に示したとおり、本実施形態の内視鏡装置１２は、フォーカス位置の異なる複数の画像を異なるタイミングにおいて取得する撮像部２００と、フォーカス位置の異なる複数の画像を位置合わせする位置合わせ部３３０と、位置合わせ部３３０が位置合わせしたフォーカス位置の異なる複数の画像から、１枚の深度拡大画像を合成することによって、被写界深度を拡大する深度拡大部３４０と、深度拡大画像にアーチファクトが発生するリスクを表すリスク指標を求めるリスク指標算出部３５０と、リスク指標に基づいて深度拡大画像を補正するアーチファクト補正部３６０と、を含む。
【００３２】
ここで、フォーカス位置とは、被写体側においてフォーカスが合う位置である。即ち、合焦面の位置、又は合焦面と光軸の交点の位置である。フォーカス位置は、撮像部２００の基準位置から、被写体側においてフォーカスが合う位置までの距離によって表される。撮像部２００の基準位置は、例えば撮像素子２２０の位置、又は対物レンズ先端の位置である。対物光学系２１０においてフォーカスレンズを動かすことによってフォーカス位置を調整する。即ち、フォーカス位置とフォーカスレンズの位置は互いに対応しており、フォーカス位置はフォーカスレンズの位置とも言える。
【００３３】
また、深度拡大画像とは、撮像画像の被写体深度よりも被写界深度を拡大した画像である。具体的には、互いにフォーカス位置が異なる複数の画像に基づいて被写界深度が疑似的に拡大された画像である。例えば、画像の各局所領域において、Ｍ枚の画像の中から、その局所領域での合焦度合いが最も高い画像を選択し、その選択した各局所領域の画像によって深度拡大画像を構成する。局所領域は例えば画素である。１フレームの深度拡大画像を合成する際に用いるＭ枚の画像は、撮像素子２２０が順次に撮像した画像である。
【００３４】
被写界深度を拡大するＥＤＯＦ技術は広く知られている。異なるタイミングにおいて撮像される画像を合成することによって深度拡大画像を合成する場合、画像間の位置合わせが重要となる。しかし特許文献１等の従来手法は、位置合わせが適切にできる状況であるか否かを考慮していない。そのため、被写体自体が平坦である場合、或いは被写体と撮像部２００の相対的な動きが非常に大きい場合等、位置合わせが難しい状況においては、深度拡大によってアーチファクトが発生してしまう。また、内視鏡装置では送水が行われる場合、或いは電気メスの使用によって煙が発生する場合がある。これらの場合も精度の高い位置合わせは困難であり、深度拡大画像にアーチファクトが発生するおそれがある。
【００３５】
これに対して、本実施形態の内視鏡装置１２は、位置合わせに起因するアーチファクトの発生リスクを表すリスク指標を算出し、リスク指標に応じて深度拡大画像を補正する。このようにすれば、被写界深度の拡大を重視するか、アーチファクトの発生抑制を重視するかを、リスク指標に応じて切り替えることが可能になる。即ち、状況に応じた画像を出力することによって、ユーザに対して適切な観察或いは処置を実行させることが可能になる。
【００３６】
なお、本実施形態の内視鏡装置１２は以下のように構成されてもよい。即ち、処理部３００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。プロセッサは、フォーカス制御処理と画像取得処理と画像処理とを行う。フォーカス制御処理は、被写体像を撮像素子に結像する対物光学系のフォーカス位置を制御する。画像取得処理は、撮像素子が撮像した画像を取得する。画像処理は、フォーカス位置の異なる複数の画像を位置合わせする処理、位置合わせした複数の画像から１枚の深度拡大画像を合成する処理、リスク指標算出処理、及びリスク指標に基づく深度拡大画像の補正処理を含む。
【００３７】
プロセッサは、例えば各部の機能が個別のハードウェアを用いて実現されてもよいし、或いは各部の機能が一体のハードウェアを用いて実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子を用いて構成することができる。回路装置は例えばＩＣ等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部３００の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。処理部３００の各部は、位置合わせ部３３０、深度拡大部３４０、リスク指標算出部３５０、アーチファクト補正部３６０である。また処理部３００の各部には、制御部３８０、フォーカス制御部３９０、前処理部３１０、後処理部３７０が含まれてもよい。
【００３８】
また、本実施形態の処理部３００の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、位置合わせ部３３０は位置合わせモジュールとして実現され、深度拡大部３４０は画像合成モジュールとして実現され、リスク指標算出部３５０はリスク指標算出モジュールとして実現され、アーチファクト補正部３６０は画像補正モジュールとして実現される。
【００３９】
また、本実施形態の処理部３００の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。処理部３００は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部３００の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部３００の各部の処理をコンピュータに実行させるためのプログラムである。具体的には本実施形態に係るプログラムは、図４、図６〜図８に示した各ステップを、コンピュータに実行させるためのプログラムである。
【００４０】
また、本実施形態の手法は、フォーカス位置の異なる複数の画像に基づいて深度拡大画像を取得する他の撮像装置に適用可能である。例えば、本実施形態の手法は顕微鏡等の撮像装置に適用可能である。
【００４１】
２．リスク指標算出
次にリスク指標算出部３５０の詳細について説明する。まずリスク指標算出に用いられる動きベクトルについて説明し、次に３つの具体的なリスク指標について説明する。その後、リスク指標算出に関するいくつかの変形例を説明する。
【００４２】
２．１  動きベクトルの算出
本実施形態のリスク指標算出部３５０は、フォーカス位置の異なる複数の画像間の動きベクトルに基づいて、リスク指標を求める。ここでの動きベクトルは、位置合わせの基準画像上における所与の被写体の位置と、基準画像とはフォーカス位置の異なる画像における当該所与の被写体の位置の差分を表す情報である。位置合わせ部３３０における位置合わせは、動きベクトルに基づいて行われる。動きベクトルを精度よく検出できない場合、複数の画像の合成を適切な位置関係で実行できないため、深度拡大画像にアーチファクトが発生するリスクが高い。即ち、動きベクトルに基づいてリスク指標を求めることによって、位置合わせが適切に実行できないことに起因するアーチファクトの発生リスクを適切に求めることが可能になる。
【００４３】
ここで、位置合わせ部３３０は、フォーカス位置の異なる複数の画像に基づいて動きベクトルを検出し、リスク指標算出部３５０は、位置合わせ部３３０の検出した動きベクトルに基づいてリスク指標を求めてもよい。位置合わせ部３３０は、位置合わせを行うためにフォーカス位置の異なる複数の画像に基づいて動きベクトルを検出する処理を実行する。動きベクトルを検出する処理とは、ブロックマッチング等の種々の手法が知られており、本実施形態ではそれらを広く適用可能である。リスク指標算出に用いる位置ベクトルを位置合わせ部３３０において検出することによって、効率的な構成を用いて内視鏡装置１２を実現することが可能になる。
【００４４】
なお、位置合わせ部３３０は、位置合わせとリスク指標算出の両方に適用可能な動きベクトルを検出してもよい。即ち、位置合わせ用の動きベクトルを、リスク指標算出に流用することが可能である。或いは位置合わせ部３３０は、位置合わせ用の第１の動きベクトルと、リスク指標算出用の第２の動きベクトルを別々に検出してもよい。
【００４５】
或いは、リスク指標算出部３５０は、フォーカス位置の異なる複数の画像に基づいて動きベクトルを検出し、検出した動きベクトルに基づいてリスク指標を求めてもよい。即ち、位置合わせ部３３０における位置合わせ用の動きベクトル検出とは別に、リスク指標算出部３５０において、リスク指標算出用の動きベクトル検出を行ってもよい。
【００４６】
位置合わせにおいては、アーチファクトの発生を抑制する観点から、精度の高い動きベクトル検出が必要となる。例えば、位置合わせ部３３０は、画素単位で動きベクトルを検出する。一方、リスク指標算出においては、位置合わせが十分な精度によって行われたか否かを判定可能であればよく、位置合わせに比べて動きベクトルの精度が必要にならない場合がある。よってリスク指標算出部３５０において動きベクトルを検出することによって、用途に応じた動きベクトル検出処理を実現することが可能になる。
【００４７】
２．２  高速動きリスク指標
リスク指標算出部３５０は、被写体と撮像部２００の相対的な移動が高速である場合に、精度の高い位置合わせが困難であると判定し、リスクが高くなるようなリスク指標を算出する。
【００４８】
図２は、リスク指標算出部３５０の構成例を示す図である。リスク指標算出部３５０は、第１画像縮小部３５１と、第２画像縮小部３５２と、高速動きベクトル検出部３５３と、高速動きリスク指標算出部３５４を含む。第１画像縮小部３５１は、前処理部３１０から出力される画像を縮小する。縮小した画像は高速動きベクトル検出部３５３に出力される。第２画像縮小部３５２は、フレームメモリ３２０から出力される画像を縮小する。縮小した画像は高速動きベクトル検出部３５３に出力される。
【００４９】
高速動きベクトル検出部３５３は、第１画像縮小部３５１から出力される縮小画像と、第２画像縮小部３５２から出力される縮小画像とに基づいて、動きベクトルを検出する。高速動きベクトル検出部３５３における動きベクトル検出は縮小画像が用いられるため、縮小前の画像を用いた位置合わせ部３３０における動きベクトル検出に比べて大域的な動きが検出される。例えば、ブロックマッチングにおけるブロックサイズが等しい場合、高速動きベクトル検出部３５３は、位置合わせ部３３０に比べて、相対的に広い被写体領域を対象としてマッチング処理を行う。また、縮小画像上においてブロックを１画素単位で移動させてマッチング処理を行った場合、当該処理は、縮小前の画像においてブロックを複数画素単位で移動させる処理に相当する。即ち、高速動きベクトル検出部３５３は、位置合わせ部３３０に比べて、粗い単位でマッチング処理を行う。高速動きベクトル検出部３５３は、検出した動きベクトルの情報を、高速動きリスク指標算出部３５４に出力する。
【００５０】
ここで、位置合わせ部３３０では、検出可能な動き量に上限があることが想定される。検出可能な動き量の上限とは、位置合わせを実行する被写体の動きの上限と考えてもよい。例えば、ブロックマッチングであれば、ブロック間の相関（評価値）を求める範囲である探索範囲によって検出可能な動き量が決定される。
【００５１】
即ち、位置合わせ部３３０は、位置合わせ可能な最大範囲が設定される。そしてリスク指標算出部３５０は、動きベクトルによって表される動き量が最大範囲よりも大きい場合、リスクが高いリスク指標を算出する。具体的には、動きベクトルによって表される動き量が最大範囲よりも大きい場合、動き量が最大範囲以下の場合に比べて、リスクが高くなるようなリスク指標を算出する。ただし図２の例のように縮小画像を用いて動きベクトルの算出が行われる場合、「位置合わせ可能な最大範囲」と「動きベクトルによって表される動き量」との比較において、縮小率を考慮する必要がある。例えば、第１画像縮小部３５１及び第２画像縮小部３５２が画像の各辺の長さを１／２に縮小する場合、位置合わせ可能な最大範囲（単位：画素）と、動きベクトルの大きさ（単位：画素）を直接比較するのではなく、例えば動きベクトルの大きさを２倍することによって動き量を求める。なお前提として、高速動きベクトル検出部３５３においては、検出可能な動き量の最大値が、位置合わせ可能な最大範囲を超えるように、動きベクトルの探索範囲が設定される。
【００５２】
高速動きリスク指標算出部３５４は、高速動きリスク指標を“０”と“１”の二値の情報として求めてもよい。例えば、高速動きリスク指標算出部３５４は、検出された動きベクトルの大きさが、位置合わせ部３３０において検出可能な動きよりも大きな動きを表す場合、高速動きリスク指標を“１”と算出する。そうでない場合、高速動きリスク指標算出部３５４は、高速動きリスク指標を“０”と算出する。上述した通り、ここでは高速動きリスク指標が“１”の場合にアーチファクトの発生リスクが高く、高速動きリスク指標が“０”の場合にアーチファクトの発生リスクが低いことを表す。
【００５３】
ただし、高速動きリスク指標は二値ではなく、多値の情報として算出されてもよい。図３は、多値の情報である高速動きリスク指標を算出する例を説明する図である。図３の横軸は、高速動きベクトル検出部３５３において検出された動きベクトルに対応する動き量の大きさＭを表す。図３の縦軸は、高速動きリスク指標の大きさを表す。また横軸のＴｈ１は、位置合わせ部３３０において検出可能な動きの最大値、即ち位置合わせ可能な最大範囲を表す値である。
【００５４】
図３の例においては、高速動きリスク指標算出部３５４は、Ｍ≦Ｔｈ１である場合、高速動きリスク指標を“０”と算出する。また高速動きリスク指標算出部３５４は、Ｍ＞Ｔｈ１である場合、高速動きリスク指標をａ×（Ｍ−Ｔｈ１）とする。ここでａはａ＞０の係数であり、ａの具体的な値は種々の変形実施が可能である。また図３の例においては、リスク指標は所与の最大値が設定されており、リスク指標の値は当該最大値を超えない。図３に示す関係を用いて高速動きリスク指標を算出することによって、位置合わせ部３３０において検出可能な最大動き量を超える動き量に対して、当該動き量に応じたリスク指標を算出できる。なお、図３は高速動きリスク指標算出の一例であり、Ｍが大きいほど高速動きリスク指標が大きくなれば、他の関係を用いて高速動きリスク指標が算出されてもよい。
【００５５】
以上のように、本実施形態では、位置合わせ部３３０における位置合わせ可能な最大範囲を基準として、リスク指標が算出される。位置合わせ可能な最大範囲が過剰に狭い場合、位置合わせができないと判断される蓋然性が高くなり、ＥＤＯＦによる被写界深度の拡大効果が損なわれる。一方、最大範囲が過剰に広い場合、動きが高速の場合も位置合わせ、及び深度拡大画像の合成が実行されてしまうため、アーチファクトの発生につながる。また、最大範囲が過剰に広い場合、探索範囲が広いため計算負荷も大きい。即ち、位置合わせ可能な最大範囲は、種々の条件を考慮した合理的な値として設定されていると考えられる。そのため、リスク指標の算出においても当該最大範囲を基準とすることによって、適切に高速動きリスク指標を算出することが可能になる。なお、本実施形態の高速動きベクトル検出部３５３は、位置合わせ部３３０に比べて大きな動きを検出する必要がある。しかし高速動きリスク指標算出用の動きベクトルは、位置合わせに比べて精度が必要とならないため、縮小画像を処理対象とすること等によって、処理負荷の軽減が可能である。
【００５６】
なお、高速動きリスク指標を二値で求める場合と多値で求める場合のいずれにおいても、１つの動きベクトルから１つの高速動きリスク指標を算出可能である。本実施形態では、高速動きベクトル検出部３５３は縮小画像全体に対して１つの動きベクトルを求め、高速動きリスク指標算出部３５４は当該動きベクトルから１つの高速動きリスク指標を算出してもよい。これはブロックマッチングのブロックサイズが縮小画像のサイズと等しい場合に相当する。この場合、１枚の深度拡大画像に対して１つの高速動きリスク指標が算出される。
【００５７】
或いは高速動きベクトル検出部３５３は縮小画像に対して複数の動きベクトルを求め、高速動きリスク指標算出部３５４は当該複数の動きベクトルのそれぞれから高速動きリスク指標を算出することによって、１フレーム当たり複数の高速動きリスク指標を算出してもよい。換言すれば、１つの深度拡大画像に複数の局所領域が設定され、各局所領域において高速動きリスク指標が算出される。或いは、高速動きリスク指標算出部３５４は、複数の高速動きリスク指標を算出し、それらの平均値等の統計値を求めることによって、１フレーム当たり１つの高速動きリスク指標を算出してもよい。
【００５８】
図４は高速動きリスク指標算出処理を説明するフローチャートである。この処理が開始されると、第１画像縮小部３５１は、前処理部３１０からの画像を縮小する（Ｓ１０１）。第２画像縮小部３５２は、フレームメモリ３２０からの画像を縮小する（Ｓ１０２）。高速動きベクトル検出部３５３は、Ｓ１０１において取得された縮小画像とＳ１０２において取得された縮小画像に基づいて、動きベクトルを検出する（Ｓ１０３）。高速動きリスク指標算出部３５４は、動きベクトルによって表される動き量Ｍが、位置合わせにおいて検出可能な最大動き量Ｔｈ１よりも大きいか否かを判定する（Ｓ１０４）。
【００５９】
Ｍ≦Ｔｈ１の場合（Ｓ１０４でＮｏ）、高速動きリスク指標算出部３５４は、リスク指標を“０”と算出する（Ｓ１０５）。Ｍ＞Ｔｈ１の場合（Ｓ１０４でＹｅｓ）、高速動きリスク指標算出部３５４は、リスク指標を“１”、或いは図３を用いて説明した値とする（Ｓ１０６）。
【００６０】
また図２では、リスク指標算出部３５０がリスク指標算出用の動きベクトル検出を行う構成を示したが、上述した通り、動きベクトルは位置合わせ部３３０において検出されてもよい。リスク指標算出部３５０は、図２の構成のうち、第１画像縮小部３５１、第２画像縮小部３５２及び高速動きベクトル検出部３５３が省略される。位置合わせ部３３０は、位置合わせ用の動きベクトルを検出する処理と、第１画像縮小部３５１、第２画像縮小部３５２及び高速動きベクトル検出部３５３に相当する処理を行う。即ち、位置合わせ部３３０は、前処理部３１０から出力される画像及びフレームメモリ３２０から出力される画像を縮小し、縮小画像とに基づいて動きベクトルを検出する。縮小画像に基づいて検出された動きベクトルは、リスク指標算出部３５０の高速動きリスク指標算出部３５４に出力される。例えば位置合わせ部３３０は、ウェーブレット変換等の多重解像度解析を行うことによって、位置合わせとリスク指標算出部３５０への動きベクトルの出力とを行ってもよい。
【００６１】
或いは、位置合わせ部３３０は、画像縮小を行わずに、位置合わせが可能な最大範囲を超える範囲を探索範囲として動きベクトルを検出する処理を行ってもよい。そして位置合わせ部３３０は、検出された動きベクトルが最大範囲以下の場合に位置合わせを行う。また位置合わせ部３３０は、動きベクトルの情報をリスク指標算出部３５０の高速動きリスク指標算出部３５４に出力する。
【００６２】
２．３  ランダム動きリスク指標
内視鏡装置１２を用いて撮像される画像においては、被写体の動きは、挿入部１００の動きに起因するものが主と考えられる。挿入部１００の動きは、被写体との距離を変化させる光軸方向における移動、並進移動、回転移動等、種々の動きが考えられる。いずれの移動であっても、画像上の被写体は挿入部１００の移動に応じた方向に動く。即ち、画像に対して複数の動きベクトルが検出される場合、所与の動きベクトルは、その周辺の動きベクトルとある程度の相関を有すると考えられる。
【００６３】
よって、動きベクトルが画像に対して複数検出される場合、リスク指標算出部３５０は、複数の動きベクトルの間の相関に基づいて、リスク指標を算出する。より具体的には、リスク指標算出部３５０は、複数の動きベクトルの間の相関が低いほど、リスクが高くなるようなリスク指標を算出する。ここでのリスク指標をランダム動きリスク指標と表記する。動きベクトル間の相関が低い場合とは、各動きベクトルの精度が低い場合に対応する。例えば、送水や発煙のように、被写体の視認性が著しく低下した場合等に、動きベクトルの相関が低下すると考えられる。
【００６４】
図５は、ランダム動きリスク指標算出処理を説明する図である。図５の例では、画像上に複数の動きベクトルが検出されている。リスク指標算出部３５０は、所与の動きベクトルを注目ベクトルに設定した上で、当該注目ベクトルとその周辺の動きベクトルとの相関が低い場合、ランダム動きリスク指標を“１”と算出する。注目ベクトルと周辺の動きベクトルの相関が高い場合、リスク指標算出部３５０は、ランダム動きリスク指標を“０”と算出する。リスク指標算出部３５０は、例えば相関を表す値と所与の閾値との比較処理に基づいて、当該相関が高いか否かを判定する。また、周辺の動きベクトルとは、上下左右の４つであってもよいし、周囲８つであってもよいし、他の組み合わせであってもよい。例えばＶ０を注目ベクトルに設定した場合、Ｖ２，Ｖ４，Ｖ５，Ｖ７との相関を用いてもよいし、Ｖ１〜Ｖ８との相関を用いてもよい。
【００６５】
より具体的には、リスク指標算出部３５０は、周辺の動きベクトルとの差分ベクトルの大きさＶＤが閾値Ｔｈ２よりも大きければ、ランダム動きリスク指標を“１”と算出する。なお、周辺の動きベクトルとして４つ或いは８つ等の複数の動きベクトルを用いる場合、注目ベクトルとの差分ベクトルも複数求められる。閾値との比較に用いられる差分ベクトルの大きさとは、複数の差分ベクトルの大きさの総和、平均値、最大値等の種々の統計値を用いることが可能である。このようにすることで、送水シーンなどの状況に起因して位置合わせができない場合のリスク指標を算出することができる。
【００６６】
図６は、ランダム動きリスク指標算出処理を説明するフローチャートである。この処理が開始されると、リスク指標算出部３５０は、注目ベクトルを設定し（Ｓ２０１）、注目ベクトルと周辺の動きベクトルとの差分ベクトルを求める（Ｓ２０２）。そしてリスク指標算出部３５０は、差分ベクトルの大きさＶＤが所与の閾値Ｔｈ２よりも大きいか否かを判定する（Ｓ２０３）。
【００６７】
ＶＤ≦Ｔｈ２の場合（Ｓ２０３でＮｏ）、リスク指標算出部３５０は、リスク指標を“０”と算出する（Ｓ２０４）。ＶＤ＞Ｔｈ２の場合（Ｓ２０３でＹｅｓ）、高速動きリスク指標算出部３５４は、リスク指標を“１”と算出する（Ｓ２０５）。
【００６８】
なお、動きベクトルがリスク指標算出部３５０において算出されてもよいし、位置合わせ部３３０において算出されてもよい点は上述した通りである。また、送水シーンや発煙シーンは、画像全体において位置合わせが困難な状況と考えられる。よってリスク指標算出部３５０は、画像全体に対して１つのランダム動きリスク指標を求める。ただし、本実施形態の手法はこれに限定されず、画像を複数の領域に区分し、リスク指標算出部３５０は、領域ごとにランダム動きリスク指標を求めてもよい。例えばリスク指標算出部３５０は、注目ベクトルを複数設定することによって、差分ベクトルを複数求めてもよい。そしてリスク指標算出部３５０は、注目ベクトルごとにランダム動きリスク指標を求めてもよいし、複数の注目ベクトルに基づいて１つのランダム動きリスク指標を求めてもよい。
【００６９】
また、送水シーンや発煙シーンにおいては位置合わせが非常に困難であり、“０”と“１”の間の中間的なリスク指標は想定しづらい。よって図６では、リスク指標算出部３５０が、ランダム動きリスク指標を二値で求める例を説明した。ただし、リスク指標算出部３５０が、ランダム動きリスク指標を多値で求めることも妨げられない。
【００７０】
２．４  平坦領域リスク指標、周期構造リスク指標
また、動きベクトルは、探索範囲内において、フォーカス位置の異なる複数の画像間の相関を表す探索評価値を求め、相関が最大となる探索評価値を探索することによって検出されるベクトルである。ここでの探索評価値は、例えばＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross Correlation）等、種々の評価値を適用可能である。ＳＡＤ又はＳＳＤを用いる場合、探索評価値が小さいほど、画像間の相関が高くなる。ＮＮＣを用いる場合、探索評価値が大きいほど、より具体的には１に近いほど、画像間の相関が高くなる。
【００７１】
探索評価値が１つの明確なピークを有する場合、当該探索評価値によって決定される動きベクトルの信頼性は高いと判定可能である。一方、探索評価値に明確なピークが存在しない場合、当該探索評価値によって決定される動きベクトルの信頼性は低い。明確なピークが存在しない場合とは、具体的には、撮像対象の被写体が平坦な被写体である場合に対応する。被写体に特徴的な構造が少ないため、位置合わせが適切に行われず、深度拡大画像にアーチファクトが発生するリスクが高い。
【００７２】
また、探索評価値にピークが存在する場合であっても、同程度のピークが複数存在する場合も、当該探索評価値によって決定される動きベクトルの信頼性は低い。ピークが複数存在する場合とは、具体的には、被写体が周期的な構造を有する場合に対応する。内視鏡装置１２であれば、処置具等の人工物が撮像される場合があり、処置具の根元部分等が周期的な構造を有する場合がある。この場合、複数のピークのうち、いずれを選択すればよいかの判断は難しいため、位置合わせが適切に行われず、深度拡大画像にアーチファクトが発生するリスクが高い。
【００７３】
よってリスク指標算出部３５０は、相関が最大となる探索評価値と、相関が２番目に大きい探索評価値との差に基づいて、リスク指標を算出する。具体的には相関が最大となる探索評価値と、相関が２番目に大きい探索評価値との差が小さいと判定されるほど、リスクが高くなるようなリスク指標を算出する。リスク指標算出部３５０は、差分情報によって表される差分が小さい場合に、差が小さいと判定する。或いはリスク指標算出部３５０は、比率情報によって表される比率が１に近い場合に、差が小さいと判定する。なお、ここでの差分情報は、差分そのものであってもよいがこれには限定されず、差分に基づく種々の情報を含んでもよい。例えば、差分値に対して正規化処理或いは補正処理等の種々の処理が行われた情報を差分情報としてもよい。比率情報についても同様であり、比率そのものであってもよいし、比率に基づき求められる情報であってもよい。
【００７４】
図７は、探索評価値のピーク値を求める処理を説明するフローチャートである。この処理が開始されると、まず位置合わせ部３３０は、最小評価値及び第２評価値の値を０を用いて初期化する（Ｓ３０１）。ここではＳＡＤ或いはＳＳＤのように、探索評価値が小さいほど相関が高い例を考えている。即ち、最小評価値とは、相関が最も高いと判定される探索評価値である。また第２評価値とは２番目に値が小さい探索評価値であり、相関が２番目に高いと判定される探索評価値である。
【００７５】
位置合わせ部３３０は、探索範囲内の所与の位置を探索位置として決定し（Ｓ３０２）、その後、決定された探索位置における探索評価値を算出する（Ｓ３０３）。探索評価値がＳＡＤである場合、Ｓ３０３は、テンプレートとなる画像領域（ブロック）と、探索位置における画像領域との差分絶対値和を演算する処理である。
【００７６】
次に位置合わせ部３３０は、Ｓ３０３で求めた探索評価値と最小評価値を比較し、最小評価値＞探索評価値であるか否かを判定する（Ｓ３０４）。探索評価値が最小評価値よりも小さい場合（Ｓ３０４でＹｅｓ）、第２評価値を最小評価値で置き換えるとともに、最小評価値の値をＳ３０３で求めた探索評価値の値に置き換える（Ｓ３０５）。
【００７７】
探索評価値が最小評価値以上である場合（Ｓ３０４でＮｏ）、第２評価値＞探索評価値であるか否かを判定する（Ｓ３０６）。探索評価値が第２評価値よりも小さい場合（Ｓ３０６でＹｅｓ）、第２評価値の値をＳ３０３で求めた探索評価値の値に置き換える（Ｓ３０７）。探索評価値が第２評価値以上である場合（Ｓ３０６でＮｏ）、最小評価値と第２評価値の値を維持する。
【００７８】
位置合わせ部３３０は、探索範囲内の探索が完了したか否かを判定し（Ｓ３０８）、Ｎｏの場合はＳ３０２に戻り処理を継続する。探索範囲内の探索が完了したら、探索評価値のピークを求める処理を終了する。なお動きベクトルを求める場合、位置合わせ部３３０は、最小評価値に対応する探索位置を記憶しておき、基準位置と当該探索位置とを結ぶベクトルを動きベクトルとして位置合わせを行う。
【００７９】
なお、以上では位置合わせ部３３０において探索評価値のピーク値を求める処理が行われる例を説明したが、図７の処理は動きベクトルを求める処理と重複する部分が多い。即ち、リスク指標算出部３５０において動きベクトルが検出される場合、リスク指標算出部３５０が図７を用いて説明した処理を実行してもよい。
【００８０】
図８は、平坦領域リスク指標又は周期構造リスク指標の算出処理を説明するフローチャートである。この処理が開始されると、リスク指標算出部３５０は、最小評価値及び第２評価値を取得し（Ｓ４０１）、最小評価値と第２評価値の差分を求める（Ｓ４０２）。そしてリスク指標算出部３５０は、差分の大きさＤｉｆが所与の閾値Ｔｈ３より小さいか否かを判定する（Ｓ４０３）。Ｄｉｆ≧Ｔｈ３の場合（Ｓ４０３でＮｏ）、リスク指標算出部３５０は、リスク指標を“０”と算出する（Ｓ４０４）。Ｄｉｆ＜Ｔｈ３の場合（Ｓ４０３でＹｅｓ）、リスク指標算出部３５０は、リスク指標を“１”と算出する（Ｓ４０５）。
【００８１】
このようにすることで、処置具の根元のような繰り返しパターンや平坦な被写体に対してリスク指標を算出できる。
【００８２】
なお、平坦領域リスク指標又は周期構造リスク指標は、画像全体を対象として１つの値が求められてもよいし、領域ごとに求められてもよい。また図８では、リスク指標算出部３５０が、平坦領域リスク指標又は周期構造リスク指標を二値で求める例を説明したが、リスク指標算出部３５０が、平坦領域リスク指標又は周期構造リスク指標を多値で求めることも妨げられない。
【００８３】
２．５  リスク指標算出の変形例
以上では平坦領域リスク指標の算出に動きベクトルの探索評価値を用いる例を説明した。ただし、平坦領域リスク指標は、被写体が平坦であるか否かの判定結果に基づいて算出できるため、上記探索評価値以外を用いても算出可能である。
【００８４】
図９は、リスク指標算出部３５０の他の構成例を説明する図である。リスク指標算出部３５０は、フォーカス位置の異なる複数の画像のコントラスト値を算出するコントラスト算出部３５５を更に含む。コントラスト算出部３５５は、前処理部３１０から出力される画像のコントラスト値と、フレームメモリ３２０から出力される画像のコントラスト値を算出する。コントラスト算出部３５５は、算出したコントラスト値を、平坦領域リスク指標算出部３５６に出力する。
【００８５】
平坦領域リスク指標算出部３５６は、コントラスト値が所与の閾値よりも小さい場合、リスクが高くなるようなリスク指標を算出する。ここでのコントラスト値は、フォーカス位置の異なる複数の画像から求められる複数のコントラスト値のいずれか１つであってもよいし、平均値或いは最小値等の統計値であってもよい。またコントラスト値は、例えば公知のバンドパスフィルタ出力である。ここでのバンドパスフィルタは、内視鏡装置１２によって撮像される典型的な構造を抽出可能な周波数特性を有する。典型的な構造とは、例えば血管構造である。なお、画像からコントラスト値を検出する手法は広く知られており、本実施形態ではそれらを広く適用可能である。
【００８６】
平坦領域リスク指標算出部３５６は、コントラスト値Ｃｔと所与の閾値Ｔｈ４とを比較する。平坦領域リスク指標算出部３５６は、Ｃｔ＜Ｔｈ４であればリスク指標を“１”と算出し、Ｃｔ≧Ｔｈ４であればリスク指標を“０”と算出する。
【００８７】
また以上では、リスク指標算出部３５０は、深度拡大画像の全体を対象として、リスク指標を求めることを想定していた。即ち、深度拡大画像全体から１つのリスク指標が求められるにせよ、深度拡大画像の局所領域ごとにリスク指標が求められるにせよ、深度拡大画像の任意の位置において、当該位置に対応するリスク指標を特定可能である状況を想定していた。このようにすれば、画像の広い範囲において深度拡大とアーチファクトの抑制のバランスを取ることが可能になる。
【００８８】
ただし、リスク指標算出部３５０は、深度拡大画像の一部の領域を対象として、リスク指標を求めてもよい。換言すれば、リスク指標算出の対象領域を深度拡大画像の一部に限定してもよい。
【００８９】
例えば、挿入部１００の先端から電気メスや鉗子等の処置具を出して処置を行う場合、処置具の周辺領域ではアーチファクトの発生リスクが高い。例えば、挿入部１００の先端から処置具を出し入れする場合、画像上での処置具の位置が変化する。或いは、処置具を出したまま挿入部１００を移動させた場合、画像上での処置具の位置が固定であるものの、背景に相当する被写体が移動する。いずれにせよ、被写体の一部が処置具によって遮られて撮像されなくなる等の要因によって、位置合わせが適切に行われず、アーチファクトが発生するおそれがある。
【００９０】
このような場合、リスク指標算出部３５０は、深度拡大画像のうち、処置具が撮像される領域周辺の一部領域を、リスク指標算出の対象とする。これにより、重要度の高い領域に絞った効率的なリスク指標算出が可能になる。処置具が画像のどの領域に撮像されるかは、挿入部１００や処置具の構造に基づいて決定可能である。よってリスク指標算出の対象となる一部領域は、予め決定された領域であってもよい。或いは、処置具は生体に比べて彩度が低く、画像処理による検出が可能である。よって処理部３００は、撮像される画像から処置具領域を検出する処理を行い、検出された処置具領域を含む領域を、リスク指標算出の対象領域として設定してもよい。
【００９１】
３．アーチファクト補正
次に、算出されたリスク指標に基づく深度拡大画像の補正処理について説明する。補正処理は、具体的には深度拡大画像と元画像のブレンド又は置換である。なお、以下で説明するリスク指標は、上述した種々のリスク指標のうちのいずれか１つであってもよいし、２以上の組み合わせであってもよい。２以上のリスク指標が入力される場合、例えばアーチファクト補正部３６０は、アーチファクトの抑制を重視する観点から、複数のリスク指標のうちの最大値を用いて後述する補正処理を行う。ただし、複数のリスク指標の平均値を用いる等、具体的な処理は種々の変形実施が可能である。
【００９２】
３．１  ブレンド処理
アーチファクト補正部３６０は、リスク指標に基づいて、深度拡大画像の少なくとも１画素以上を、フォーカス位置の異なる複数の画像のいずれかの画像とブレンドする補正処理を行う。ここで２つの画像のブレンドとは、一方の画像の画素値と、他方の画像の画素値を重み付け加算することによって、補正画像の画素値を求める処理に相当する。具体的には、アーチファクト補正部３６０は、下式（１）を用いて、補正画像の各画素の画素値を決定する。下式（１）のαは、リスク指標に基づいて決定されるブレンド率である。
補正画像＝（１．０−α）×深度拡大画像＋α×元画像  …（１）
【００９３】
図１０は、リスク指標とブレンド率αの関係を説明する図である。図１０の横軸はリスク指標の値を表し、縦軸はブレンド率αを表す。アーチファクト補正部３６０は、許容可能なリスク指標の上限値である許容リスクを設定しておく。許容リスクとは、アーチファクトが発生する可能性が低く、深度拡大画像をそのまま表示しても問題が発生しにくいと考えられるリスク指標の上限値である。許容リスクは、固定値であってもよい。或いは許容リスクは、観察対象となる被写体、或いは過去に算出されたリスク指標の履歴等に基づいて、動的に値が設定されてもよい。図１０に示したように、算出されたリスク指標が許容リスク以下の範囲においては、ブレンド率αは０に設定される。即ち、補正画像として深度拡大画像がそのまま出力される。算出されたリスク指標が許容リスクよりも大きい場合、リスク指標が大きくなるほど、ブレンド率αが大きくなり、補正画像における元画像の寄与度が高くなる。ただし、上式（１）を用いる場合、ブレンド率αの最大値は１である。
【００９４】
ここでの元画像とは、深度拡大画像の合成に用いられたフォーカス位置の異なるＭ枚の画像のうちの、いずれかの画像である。深度拡大画像が、位置合わせの基準画像に対して、他のＭ−１枚の画像を位置合わせすることによって合成される画像であることに鑑みれば、ブレンド対象となる元画像とは、位置合わせの基準画像であることが望ましい。位置合わせの基準画像は、上述したように前処理部３１０から出力される最新の画像である。
【００９５】
ただし、位置合わせの基準画像を、フレームメモリ３２０から出力される画像とすることは妨げられない。また、ブレンド対象となる元画像として、位置合わせの基準画像以外の画像が用いられることも妨げられない。例えばアーチファクト補正部３６０は、複数のフォーカス位置のそれぞれについて、選択評価値を設定しておき、当該選択評価値の高いフォーカス位置において撮像された画像をブレンド対象として選択してもよい。選択評価値は、合焦していると判定された領域の広さ等から求めてもよいし、過去にブレンド対象として選択された回数等から求めてもよい。
【００９６】
なお、上式（１）からわかるように、ブレンドによる補正処理はリスク指標が多値で求められている場合との親和性が高い。リスク指標が多値であれば、リスク指標の値に応じて、ブレンド率を柔軟に設定可能なためである。また、上式（１）による補正処理は、深度拡大画像に対して複数のリスク指標が求められている場合との親和性が高い。画像内にリスク指標の高い領域とそうでない領域が混在する場合、上式（１）を用いてリスク指標に応じたブレンド率を設定することによって、領域の境界を目立たせることなく自然な補正画像を得ることが可能なためである。
【００９７】
ただし、本実施形態では、リスク指標が二値で求められる場合に、ブレンドによる補正処理を行うことは妨げられない。例えばアーチファクト補正部３６０は、リスク指標が“０”の場合に深度拡大画像をそのまま補正画像として出力し、リスク指標が“１”の場合に、深度拡大画像と元画像が所与のブレンド率を用いてブレンドされた補正画像を出力する。
【００９８】
また、本実施形態では、深度拡大画像に対して１つのリスク指標が求められる場合に、ブレンドによる補正処理を行うことも妨げられない。例えばアーチファクト補正部３６０は、画像全体において同じブレンド率を用いて、深度拡大画像と元画像をブレンドした画像を、補正画像として出力する。
【００９９】
３．２  置換処理
アーチファクト補正部３６０は、リスク指標に基づいて、深度拡大画像の少なくとも１画素以上を、フォーカス位置の異なる複数の画像のいずれかの画像と置換する補正処理を行ってもよい。置換対象となる画像についても、ブレンドの場合と同様に種々の変形実施が可能である。
【０１００】
置換による補正処理はリスク指標が二値で求められている場合との親和性が高い。アーチファクト補正部３６０は、リスク指標が“０”であれば深度拡大を優先して、深度拡大画像の画素値を補正画像の画素値とする。アーチファクト補正部３６０は、リスク指標が“１”であればアーチファクトの抑制を優先して、深度拡大画像を元画像によって置換する。置換とは、元画像の画素値を補正画像の画素値とする処理に相当する。
【０１０１】
ただし、リスク指標が多値で求められる場合に、置換による補正処理を行うことは妨げられない。例えばアーチファクト補正部３６０は、リスク指標が所与の閾値以下の場合に深度拡大画像をそのまま補正画像として出力し、リスク指標が当該所与の閾値よりも大きい場合に、深度拡大画像を元画像によって置換する。ここでの閾値は、例えば図１０に示した許容リスクである。
【０１０２】
また置換の場合、ブレンドと異なり、深度拡大画像と元画像の中間的な画像が生成されない。領域の境界を目立たせないという観点からすれば、置換を用いた補正処理は、深度拡大画像に対して複数のリスク指標が求められている場合よりも、深度拡大画像に対して１つのリスク指標が求められている場合との親和性が高い。ただし、深度拡大画像に対して複数のリスク指標が求められる場合に、置換を用いた補正処理を行うことも妨げられない。
【０１０３】
なお、画像全体においてリスク指標によって表されるリスクが高い場合、一部でも深度拡大画像を出力するとアーチファクトが目立つ場合が多いため、アーチファクト抑制を優先して元画像をそのまま出力することが望ましい。
【０１０４】
ただし、深度拡大画像が元画像によって置換された場合、補正画像に深度拡大画像が寄与しないため、被写界深度が狭く被写体がぼけて撮像されているおそれがある。よって、アーチファクト補正部３６０は、フォーカス位置の異なる複数の画像のいずれかの画像のうち、少なくとも深度拡大画像との置換対象となる領域を強調処理する強調部３６１を更に含んでもよい。アーチファクト補正部３６０（置換処理部３６２）は、リスク指標に基づいて、深度拡大画像の少なくとも１画素以上を、強調処理が行われた画像と置換する補正処理を行う。
【０１０５】
図１１は、アーチファクト補正部３６０の構成例を説明する図である。アーチファクト補正部３６０は、強調部３６１と、置換処理部３６２を含む。強調部３６１は、前処理部３１０からの画像を、置換処理の元画像として取得し、強調処理を行う。ここでの強調処理は、元画像の構造を強調する処理であり、具体的にはエッジ強調処理である。置換処理部３６２には、強調部３６１からの強調処理後の元画像と、深度拡大部３４０からの深度拡大画像と、リスク指標算出部３５０からのリスク指標が入力される。置換処理部３６２は、リスク指標に基づいて、深度拡大画像を強調処理後の元画像を用いて置換する処理を行う。このようにすれば、置換によって被写界深度が拡大されなくなる場合であっても、被写体の構造の視認性を高めることが可能になる。
【０１０６】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１０７】
１２…内視鏡装置、１００…挿入部、１１０…ライトガイド、２００…撮像部、２１０…対物光学系、２２０…撮像素子、２３０…Ａ／Ｄ変換部、３００…処理部、３１０…前処理部、３２０…フレームメモリ、３３０…位置合わせ部、３４０…深度拡大部、３５０…リスク指標算出部、３５１…第１画像縮小部、３５２…第２画像縮小部、３５３…高速動きベクトル検出部、３５４…高速動きリスク指標算出部、３５５…コントラスト算出部、３５６…平坦領域リスク指標算出部、３６０…アーチファクト補正部、３６１…強調部、３６２…置換処理部、３７０…後処理部、３８０…制御部、３９０…フォーカス制御部、４００…表示部、５００…外部Ｉ／Ｆ部、６００…照明部、６１０…白色光源
【図１】
0006942892.tif 000002
【図２】
0006942892.tif 000003
【図３】
0006942892.tif 000004
【図４】
0006942892.tif 000005
【図５】
0006942892.tif 000006
【図６】
0006942892.tif 000007
【図７】
0006942892.tif 000008
【図８】
0006942892.tif 000009
【図９】
0006942892.tif 000010
【図１０】
0006942892.tif 000011
【図１１】
0006942892.tif 000012