(57)【要約】【課題】拡大率に応じたブレ補正が可能な画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法等を提供すること。【解決手段】画像処理装置は、拡大観察が可能な撮像部２００により取得された画像を処理する。この画像処理装置は、被写体に対する撮像部２００の相対的な動きを表す情報である動き情報を取得する動き情報取得部３２０，３３０ａと、撮像部２００の撮像倍率を算出する撮像倍率算出部３４０ａと、撮像部２００により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部３５０ａを含む。そして、画像抽出部３５０ａは、撮像画像における特定領域の位置を、動き情報に基づいて設定するとともに、撮像画像から特定領域を除く領域の大きさであるマージン領域の大きさを、撮像倍率に基づいて設定する。【選択図】図５
2012055498.tif 000002
【特許請求の範囲】
【請求項１】
拡大観察が可能な撮像部により取得された画像を処理する画像処理装置であって、
被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得する動き情報取得部と、
前記撮像部の撮像倍率を算出する撮像倍率算出部と、
前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部と、
を含み、
前記画像抽出部は、
前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率に基づいて設定することを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記画像抽出部は、
前記マージン領域の大きさを、前記撮像倍率に比例した大きさに設定することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記画像抽出部は、
前記マージン領域の大きさを、前記マージン領域の大きさの基準となる基準サイズに対して前記撮像倍率を乗じたサイズに設定することを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記画像抽出部は、
前記基準サイズに対して前記撮像倍率を乗じたサイズに設定された前記マージン領域の大きさを、前記動き情報に基づいて更新することを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記画像抽出部は、
所定期間における前記動き情報の平均値に基づいて前記マージン領域の大きさを更新することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記画像抽出部は、
前記動き情報の平均値が第１の閾値より大きい場合には、前記マージン領域の大きさを、前記撮像倍率に基づいて設定された大きさより大きいサイズに更新し、
前記動き情報の平均値が第２の閾値より小さい場合には、前記マージン領域の大きさを、前記撮像倍率に基づいて設定された大きさより小さいサイズに更新することを特徴とする画像処理装置。
【請求項７】
請求項１において、
前記画像抽出部は、
前記撮像倍率に基づいて設定された前記マージン領域の大きさを、前記動き情報に基づいて更新することを特徴とする画像処理装置。
【請求項８】
請求項７において、
前記動き情報は、
前記撮像画像における前記被写体の動きを表す動きベクトルであり、
前記画像抽出部は、
所定期間における前記動きベクトルの絶対値の平均値に基づいて前記マージン領域の大きさを更新することを特徴とする画像処理装置。
【請求項９】
請求項１において、
前記画像抽出部は、
前記特定領域の少なくとも一部が前記撮像画像の外側に出たと判定した場合に、前記特定領域を前記撮像画像内に再設定することを特徴とする画像処理装置。
【請求項１０】
請求項９において、
前記動き情報は、
前記撮像画像における前記被写体の動きを表す動きベクトルであり、
前記画像抽出部は、
前記動きベクトルの大きさが前記マージン領域の大きさを超えた場合に、前記特定領域の位置を前記マージン領域内に再設定することを特徴とする画像処理装置。
【請求項１１】
請求項１において、
前記撮像部の焦点位置情報を取得する焦点位置情報取得部を含み、
前記撮像部と前記被写体との距離が変更されることで前記撮像倍率が変更される場合に、
前記撮像倍率算出部は、
前記焦点位置情報に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記撮像倍率算出部は、
基準焦点位置と、前記焦点位置情報が表す焦点位置との比に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記撮像部の画角情報を取得する画角情報取得部を含み、
前記撮像倍率算出部は、
前記画角情報に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
【請求項１４】
請求項１３において、
前記撮像倍率算出部は、
基準画角をφｎとし、前記画角情報が表す画角をφとする場合に、ｔａｎ（φｎ／２）とｔａｎ（φ／２）との比に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記撮像部の移動量情報を取得する移動量情報取得部を含み、
前記撮像倍率算出部は、
前記動き情報と前記移動量情報に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
【請求項１６】
請求項１５において、
前記撮像倍率算出部は、
前記動き情報と前記移動量情報に基づいて前記撮像部と前記被写体との距離を算出し、算出した距離と基準距離との比に基づいて前記撮像倍率を算出することを特徴とする画像処理装置。
【請求項１７】
請求項１において、
前記動き情報取得部は、
異なる時間において取得された少なくとも２つの前記撮像画像に基づいて、前記撮像画像における前記被写体の動きを表す動きベクトルを取得することを特徴とする画像処理装置。
【請求項１８】
請求項１７において、
前記撮像部は、
前記撮像画像として、第１〜第３色信号の画像を時系列に順次取得し、
前記動き情報取得部は、
前記第１〜第３色信号の画像の間での被写体の動きを表す動きベクトルをチャネル間動きベクトルとして取得し、
前記画像抽出部は、
前記チャネル間動きベクトルに基づいて、前記第１〜第３色信号の画像から前記抽出画像を抽出することを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記抽出画像の画像サイズが前記撮像倍率に応じて変化する場合に、前記抽出画像の画像サイズを、表示部に表示可能な所定の画像サイズに変換するサイズ変換部を含むことを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記撮像部は、
前記撮像画像として一連の動画画像を取得し、
前記サイズ変換部は、
前記一連の動画画像から抽出された一連の抽出画像を同一の画像サイズに変換することを特徴とする画像処理装置。
【請求項２１】
請求項１に記載の画像処理装置を含むことを特徴とする内視鏡装置。
【請求項２２】
請求項２１において、
前記抽出画像の画像サイズが前記撮像倍率に応じて変化する場合に、前記抽出画像の画像サイズを、表示部に表示可能な所定の画像サイズに変換するサイズ変換部と、
前記所定の画像サイズに変換された抽出画像を表示する表示部と、
を含むことを特徴とする内視鏡装置。
【請求項２３】
被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得する動き情報取得部と、
前記撮像部の撮像倍率を算出する撮像倍率算出部と、
前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部として、
コンピュータを機能させ、
前記画像抽出部は、
前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率に基づいて設定することを特徴とする画像処理プログラム。
【請求項２４】
被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得し、
前記撮像部の撮像倍率を算出し、
前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出し、
前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率に基づいて設定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法等に関する。
【背景技術】
【０００２】
内視鏡診断においては、生体を顕微鏡相当の拡大率で観察可能な内視鏡（以下、拡大内視鏡と呼ぶ）が一般的に用いられている。拡大内視鏡は、通常の内視鏡に比べて数十倍から数百倍の拡大率を有している。
【０００３】
この拡大内視鏡を用いると、生体の粘膜表層のピットパターン（微細構造）を観察することが可能である。この生体の粘膜表層のピットパターンは、病変部と正常部とで異なるパターンを有することが知られている。そのため、拡大内視鏡を用いることで、病変部と正常部を容易に識別することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平３−１６４７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、拡大内視鏡を用いて拡大観察を行う場合には、内視鏡先端の撮像部と観察対象である生体との間の相対的な動きの影響を大きく受けるという課題がある。すなわち、その動きが微小なものであっても、内視鏡モニタ上では、大きなブレとして認識されてしまい、そのブレが診断の妨げとなってしまう。
【０００６】
またブレの影響により、注目している領域（例えば病変領域）を見失ってしまう場合もある。拡大観察時は、非常に視野が狭くなるため、見失った領域を再発見することは困難である。そのため、このような場合には、医師は拡大観察から通常観察に切り替えて視野を広くした状態で見失った領域を探索し、その後再び拡大観察に切り替えて該領域の観察を行うという作業を繰り返す必要がある。このような作業の繰り返しは、医師の負担となり、さらに診断時間を長引かせる要因にもなる。
【０００７】
このようなブレを補正する手法として、例えば特許文献１には、時系列で撮像された複数の画像から算出した動きベクトルを用いて、ブレを補正する手法が開示されている。しかしながら、この手法では、拡大率によるブレの増大の影響を考慮していないため、拡大率が大きくなった場合にブレ補正が十分に機能しないという課題がある。
【０００８】
本発明の幾つかの態様によれば、拡大率に応じたブレ補正が可能な画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、拡大観察が可能な撮像部により取得された画像を処理する画像処理装置であって、被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得する動き情報取得部と、前記撮像部の撮像倍率を算出する撮像倍率算出部と、前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部と、を含み、前記画像抽出部は、前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率に基づいて設定する画像処理装置に関係する。
【００１０】
本発明の一態様によれば、被写体と撮像部の間の相対的な動き情報が取得され、撮像部の撮像倍率が算出される。その動き情報に基づいて撮像画像における特定領域の位置が設定され、その撮像倍率に基づいてマージン領域の大きさが設定される。そして、設定された特定領域の位置とマージン領域の大きさに基づいて撮像画像から抽出画像が抽出される。これにより、撮像倍率に応じたブレ補正等が可能になる。
【００１１】
また、本発明の他の態様は、上記に記載の画像処理装置を含む内視鏡装置に関係する。
【００１２】
また、本発明のさらに他の態様は、被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得する動き情報取得部と、前記撮像部の撮像倍率を算出する撮像倍率算出部と、前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出する画像抽出部として、コンピュータを機能させ、前記画像抽出部は、前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率に基づいて設定する画像処理プログラムに関係する。
【００１３】
また、本発明のさらに他の態様は、被写体に対する前記撮像部の相対的な動きを表す情報である動き情報を取得し、前記撮像部の撮像倍率を算出し、前記撮像部により取得された撮像画像から特定領域における画像を抽出画像として抽出し、前記撮像画像における前記特定領域の位置を、前記動き情報に基づいて設定するとともに、前記撮像画像から前記特定領域を除く領域の大きさであるマージン領域の大きさを、前記撮像倍率に基づいて設定する画像処理方法に関係する。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の手法についての説明図。
【図２】本実施形態の手法についての説明図。
【図３】本実施形態の手法についての説明図。
【図４】本実施形態の手法についての説明図。
【図５】内視鏡装置の構成例。
【図６】光源部の色フィルタの構成例。
【図７】光源部の色フィルタの分光透過率特性の例。
【図８】撮像素子の分光感度特性の例。
【図９】同時化処理部の詳細な構成例。
【図１０】撮像部により取得される画像の例。
【図１１】同時化処理部から出力される画像の例。
【図１２】チャネル間動きベクトル検出部の詳細な構成例。
【図１３】ブロックマッチング処理における局所領域の設定例。
【図１４】フレーム間動きベクトル検出部の詳細な構成例。
【図１５】拡大率の算出手法についての説明図。
【図１６】画像抽出部の詳細な構成例。
【図１７】図１７（Ａ）は、マージン領域の大きさについての説明図である。図１７（Ｂ）は、マージン領域の始点座標についての説明図である。
【図１８】クリップ処理についての説明図。
【図１９】内視鏡装置の第２の構成例。
【図２０】撮像素子の色フィルタの分光透過特性の例。
【図２１】拡大率の第２の算出手法についての説明図。
【図２２】画像抽出部の第２の詳細な構成例。
【図２３】内視鏡装置の第３の構成例。
【図２４】フレーム間動きベクトル検出部の第２の詳細な構成例。
【図２５】拡大率算出部の詳細な構成例。
【図２６】撮像部先端の移動方向の定義についての説明図。
【図２７】図２７（Ａ）、図２７（Ｂ）は、拡大率の第３の算出手法についての説明図である。
【図２８】コンピュータシステムの構成を示すシステム構成図。
【図２９】コンピュータシステムにおける本体部の構成を示すブロック図。
【図３０】本実施形態が行う処理のフローチャート例。
【発明を実施するための形態】
【００１５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００１６】
１．本実施形態の手法
まず、図１を用いてブレ補正の手法について説明する。本実施形態が行うブレ補正では、図１のＢ１に示すように、動画撮影された画像から一部の領域を抽出し、Ｂ２に示すように、その抽出した領域の画像を表示する。そして、Ｂ３に示すように、次のフレームで撮像部が右下方向にブレた場合、画像を抽出する領域を左上にずらし、Ｂ４に示すように、前のフレームと同じ領域を表示させる。このように、画像を抽出する領域をブレを打ち消す方向に動かすことで、撮像部と被写体との間の相対的なブレを補正する。
【００１７】
次に、図２〜図４を用いて上記ブレ補正の課題について説明する。なお説明を簡単にするために、以下ではＧ画像のみに着目して説明する。
【００１８】
図２に示すように、ある時間ｔ−１（時刻）において、撮像部２００の先端がＰ１に示す位置にあるとする。このとき、図３のＲ１に示すように、画像中央部に注目領域が撮影されたＧ画像が撮像素子２４０ａにより取得される。そして、Ａ１に示す領域の画像を表示画像として利用する。
【００１９】
次に図２に示すように、時間ｔにおいて、撮像部２００の先端がＰ２に示す位置に移動したとする。このとき、図３のＲ２に示すように、Ｑ１だけずれた位置に注目領域が撮影されたＧ画像が撮像素子２４０ａにより取得される。そして、Ａ１に示す領域から変位量Ｑ１だけずれたＡ２に示す領域の画像を表示画像として利用する。この変位量Ｑ１は、時間ｔ−１と時間ｔで取得されたＧ画像を用いて、例えば公知のブロックマッチング処理により検出される。
【００２０】
以上の処理により、ブレ補正された表示画像を表示することが可能である。しかしながら、この手法では、変位量Ｑ１が大きい場合にブレ補正が困難となるという課題がある。例えば、図４に示すように、Ｒ３に示す時間ｔ−１での注目領域に対して、Ｒ４に示す時間ｔでの注目領域が変位量Ｑ２だけ大きくずれたとする。この場合、Ａ３に示すように、表示画像を抽出する領域が撮像画像の外にはみ出てしまい、その領域の右端には画像の信号値が存在しないため、表示画像を抽出できなくなってしまう。
【００２１】
このような状況は、例えば内視鏡診断における拡大観察時に生じる。すなわち、拡大観察時には、拡大率（撮像倍率）に比例して上記変位量が大きくなる傾向にあるため、上述のブレ補正手法をそのまま内視鏡装置に適用すると、補正可能なブレの大きさが制限されるという課題がある。
【００２２】
そこで本実施形態では、図４のＡ４に示すように、表示画像として利用する領域を拡大率に応じて小さくする。これは、表示画像として利用しない領域（マージン領域）を拡大率に応じて大きくすることに相当する。本実施形態では、このようにマージン領域を大きくすることで、より大きな変位量に対しても抽出領域が画像内に収まり、拡大観察時においても安定してブレ補正が可能となる。
【００２３】
２．内視鏡装置
図５に、拡大率に応じてマージン領域のサイズを変更する内視鏡装置の構成例を示す。この内視鏡装置（内視鏡システム）は、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。
【００２４】
光源部１００は、白色光を発生する白色光源１１０と、その白色光から所定の帯域の光を抽出する回転フィルタ１２０と、その回転フィルタ１２０を駆動するためのモータ１２０ａと、回転フィルタ１２０で抽出された光をライトガイドファイバ２１０に集光するためのレンズ１３０を含む。
【００２５】
回転フィルタ１２０は、例えば図６に示すように、透過率の異なる３種類の色フィルタＦｒ，Ｆｇ，Ｆｂから構成されている。この３種類の色フィルタは、例えば図７に示すように、Ｆｒフィルタが５８０〜７００ｎｍ、Ｆｇフィルタが４８０〜６００ｎｍ、Ｆｂフィルタが４００〜５００ｎｍの光を透過させる特性を有する。
【００２６】
モータ１２０ａは、制御部３８０と双方向に接続されている。そして、制御部３８０からの制御信号に応じてモータ１２０ａを駆動することで、回転フィルタ１２０が回転し、白色光源１１０とレンズ１３０との間の光路に挿入される色フィルタＦｇ，Ｆｒ，Ｆｂが順次切り替えられる。モータ１２０ａは、白色光源１１０とレンズ１３０との間の光路に挿入されている色フィルタの情報を制御部３８０に出力する。例えば、その色フィルタの情報は、以下に示す識別情報である。制御部３８０は、この識別情報を、後述する同時化処理部３１０に出力する。
光路中に挿入されている色フィルタ    ：識別情報
Ｆｇ                ：      １
Ｆｒ                ：      ２
Ｆｂ                ：      ３
【００２７】
このように回転フィルタ１２０が回転することで色フィルタが切り替えられ、後述するモノクロの撮像素子２４０ａにより各色フィルタに対応する画像が撮影される。すなわち、Ｒ，Ｇ，Ｂの各画像が時系列で取得される。ここで、Ｒ画像は、色フィルタＦｒが上述の光路に挿入されている期間に取得される画像である。また、Ｇ画像とＢ画像は、それぞれ色フィルタＦｇと色フィルタＦｂが上述の光路に挿入されている期間に取得される画像である。
【００２８】
撮像部２００は、体腔への挿入を可能にするため、細長く且つ湾曲可能に形成されている。また撮像部２００は、観察する部位等により異なる撮像部２００が用いられるため、着脱可能な構造をしている。なお、内視鏡分野において、撮像部２００は一般的にスコープと呼ばれているため、以下の説明では、撮像部２００を適宜スコープと呼ぶ。
【００２９】
撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０を含む。また、撮像部２００は、被写体からの反射光を集光する集光レンズ２３０と、その集光レンズ２３０により集光された反射光を検出するための撮像素子２４０ａを含む。撮像素子２４０ａは、例えば図８に示す分光感度特性を有するモノクロの撮像素子である。
【００３０】
さらに撮像部２００は、内部にメモリ２５０を有しており、このメモリ２５０には各スコープ固有の識別番号が保持されている。また、メモリ２５０は、制御部３８０に接続されている。そして、制御部３８０は、メモリ２５０に保持されている識別番号を参照することで、接続されているスコープの種類を識別することが可能である。
【００３１】
集光レンズ２３０は、焦点位置を可変制御することが可能であり、例えば焦点位置をｄｍｉｎ〜ｄｍａｘ［ｍｍ］まで制御できるものとする。例えば、焦点位置ｄは、外部Ｉ／Ｆ部５００を介してユーザによりｄｍｉｎ〜ｄｍａｘ［ｍｍ］の範囲の任意の値が設定される。そして、外部Ｉ／Ｆ部５００によりユーザが設定した焦点位置ｄは、制御部３８０に送られ、制御部３８０は、ユーザが設定した焦点位置ｄに応じて集光レンズ２３０を制御し、焦点位置を変更する。なお以下では、通常（非拡大）観察時の焦点位置をｄｎ＝ｄｍａｘ［ｍｍ］とする。
【００３２】
ここで、焦点位置とは、集光レンズ２３０のピントが合う場合における、集光レンズ２３０と被写体との間を距離を表す。また、通常観察とは、例えば設定可能な焦点位置の範囲において最大距離に焦点位置を設定して被写体を観察することである。
【００３３】
上述の焦点位置の制御範囲は、接続されるスコープにより異なるものである。上述したように、制御部３８０は、メモリ２５０に保持されている各スコープ固有の識別番号を参照することで、接続されているスコープの種類を識別することが可能である。そのため、制御部３８０は、接続されているスコープの焦点位置の制御範囲ｄｍｉｎ〜ｄｍａｘ［ｍｍ］や、通常観察時における焦点位置ｄｎの情報を取得可能である。
【００３４】
制御部３８０は、焦点位置に関する情報を後述する拡大率算出部３４０ａに出力する。この出力する情報は、上述のユーザが設定した焦点位置ｄや、通常観察時における焦点位置ｄｎの情報、焦点位置の最小値ｄｍｉｎである。
【００３５】
画像処理部３００は、同時化処理部３１０と、チャネル間動きベクトル検出部３２０と、フレーム間動きベクトル検出部３３０ａと、拡大率算出部３４０ａと、画像抽出部３５０ａと、通常光画像生成部３６０と、サイズ変換部３７０と、制御部３８０を含む。制御部３８０は、同時化処理部３１０、チャネル間動きベクトル検出部３２０、フレーム間動きベクトル検出部３３０ａ、拡大率算出部３４０ａ、画像抽出部３５０ａ、通常光画像生成部３６０及びサイズ変換部３７０に接続されており、これらの制御を行う。
【００３６】
同時化処理部３１０は、撮像素子２４０ａにおいて時系列で取得されるＲ，Ｇ，Ｂの各画像より、後述する手法によりＲＧＢ画像を生成する。チャネル間動きベクトル検出部３２０は、同時化処理部３１０で生成されたＲＧＢ画像の、各画像間における動きベクトル検出する。このチャネル間の動きベクトルは、Ｇ画像を基準とした場合における、Ｒ画像の動きベクトルとＢ画像の動きベクトルである。
【００３７】
フレーム間動きベクトル検出部３３０ａは、図１４を用いて後述するように、フレームメモリ３３１に記憶された１フレーム前のＲＧＢ画像と、同時化処理部３１０から出力されるＲＧＢ画像に基づいて、フレーム間の動きベクトルを検出する。
【００３８】
拡大率算出部３４０ａは、制御部３８０から出力される焦点位置の情報を用いて、拡大率を算出する。ここで、拡大率（撮像倍率）とは、撮像画像における被写体の拡大率であり、例えば被写体上における撮像領域サイズの相対的なサイズ比により表される。すなわち、基準となる撮像領域サイズを１倍とする場合に、その１／２サイズの撮像領域を撮像した画像の拡大率は２倍となる。
【００３９】
画像抽出部３５０ａは、チャネル間動きベクトル検出部３２０とフレーム間動きベクトル検出部３３０ａと拡大率算出部３４０ａから出力される情報に基づいて、同時化処理部３１０からのＲＧＢ画像から画像を抽出してブレ補正を行う。そして、画像抽出部３５０ａは、抽出した画像をＲ’Ｇ’Ｂ’画像として出力する。また、画像抽出部３５０ａは、ＲＧＢ画像とＲ’Ｇ’Ｂ’画像との大きさの比率をサイズ変換部３７０に出力する。なお、チャネル間動きベクトル検出部３２０、フレーム間動きベクトル検出部３３０ａ、拡大率算出部３４０ａ及び画像抽出部３５０ａの詳細は後述する。
【００４０】
通常光画像生成部３６０は、画像抽出部３５０ａにおいて抽出されたＲ’Ｇ’Ｂ’画像に対して、例えば既知のホワイトバランス処理や色変換処理、階調変換処理を施すことで、通常光画像を生成する。
【００４１】
サイズ変換部３７０は、通常光画像生成部３６０で取得された通常光画像を、抽出前のＲＧＢ画像と同じサイズになるようにサイズ変換処理を施し、処理後の画像を表示部４００に出力する。具体的には、サイズ変換部３７０は、画像抽出部３５０ａから出力される、ＲＧＢ画像とＲ’Ｇ’Ｂ’画像との大きさの比率に基づいて、拡大・縮小処理を施す。拡大・縮小処理は、例えば既存のバイキュービック補間処理により実現できる。
【００４２】
３．同時化処理部
図９に、上述の同時化処理部３１０の詳細な構成例を示す。この同時化処理部３１０は、Ｇ画像記憶部３１１と、Ｒ画像記憶部３１２と、Ｂ画像記憶部３１３と、ＲＧＢ画像生成部３１４を含む。そして、Ｇ画像記憶部３１１とＲ画像記憶部３１２とＢ画像記憶部３１３のそれぞれは、制御部３８０に接続されている。
【００４３】
Ｇ画像記憶部３１１は、制御部３８０から出力される識別情報を参照し、光路中にフィルタＦｇが挿入されている期間を識別する。具体的には、Ｇ画像記憶部３１１は、識別情報が“１”の場合に、フィルタＦｇが挿入されている期間と識別し、その期間中に撮像素子２４０ａから出力される信号をＧ画像として記憶する。
【００４４】
Ｒ画像記憶部３１２は、制御部３８０から出力される識別情報を参照し、光路中にフィルタＦｒが挿入されている期間を識別する。具体的には、Ｒ画像記憶部３１２は、識別情報が“２”の場合に、フィルタＦｒが挿入されている期間と識別し、その期間中に撮像素子２４０ａから出力される信号をＲ画像として記憶する。
【００４５】
Ｂ画像記憶部３１３は、制御部３８０から出力される識別情報を参照し、光路中にフィルタＦｂが挿入されている期間を識別する。具体的には、Ｂ画像記憶部３１３は、識別情報が“３”の場合に、フィルタＦｂが挿入されている期間と識別し、その期間中に撮像素子２４０ａから出力される信号をＢ画像として記憶する。そして、Ｇ画像記憶部３１１とＲ画像記憶部３１２とＢ画像記憶部３１３のそれぞれは、画像を記憶した後、ＲＧＢ画像生成部３１４にトリガ信号を出力する。
【００４６】
ＲＧＢ画像生成部３１４は、Ｇ画像記憶部３１１とＲ画像記憶部３１２とＢ画像記憶部３１３のいずれかからトリガ信号が出力された際に、Ｇ画像記憶部３１１とＲ画像記憶部３１２とＢ画像記憶部３１３に記憶されている全ての画像を読み出し、ＲＧＢ画像を生成する。ＲＧＢ画像生成部３１４は、生成したＲＧＢ画像を、チャネル間動きベクトル検出部３２０や、フレーム間動きベクトル検出部３３０ａ、画像抽出部３５０ａに出力する。
【００４７】
４．チャネル間動きベクトル検出部
次に、チャネル間動きベクトル検出部３２０について詳細に説明する。チャネル間動きベクトル検出部３２０は、同時化処理部３１０から出力されるＲＧＢ画像に基づいて、Ｇ画像を基準とした場合におけるＢ画像とＲ画像の動きベクトルを検出する。
【００４８】
上述のように、本実施形態ではＲ，Ｇ，Ｂの各画像が時系列で取得されるため、同時化処理部３１０において取得されるＲＧＢ画像には、色ズレを生じる。そのため、本実施形態では、Ｇ画像を基準とした場合のＢ画像及びＲ画像の動きベクトルを、ブロックマッチング処理により検出する。そして、検出した動きベクトルに応じて、画像抽出部３５０ａがＲＧＢの画像毎に抽出する画像の座標を制御することで、色ズレの問題を解消することができる。
【００４９】
さて、内視鏡画像において、Ｒ画像は血管等の構造情報に乏しいことが分かっている。そのため、ブロックマッチング処理によりＲ画像の動きベクトルを検出することは困難である。そこで本実施形態では、後述するようにＢ画像の動きベクトルについてはブロックマッチング処理を用いて検出し、Ｒ画像の動きベクトルに関しては、Ｂ画像の動きベクトルから推定する手法を用いる。
【００５０】
図１０〜図１３を用いて、チャネル間動きベクトル検出部３２０について詳細に説明する。図１０に示すように、時間ｔ−３〜時間ｔ＋３の各時間において、撮像部２００により各画像が取得されるとする。この場合、図１５に示すＲ画像，Ｇ画像，Ｂ画像が、各時間において同時化処理部３１０から出力されるＲＧＢ画像として出力される。
【００５１】
図１２に、チャネル間動きベクトル検出部３２０の詳細な構成例を示す。このチャネル間動きベクトル検出部３２０は、Ｇ画像選出部３２１ａと、Ｂ画像選出部３２２と、ゲイン乗算部３２３ａと、ブロックマッチング処理部３２４ａと、動きベクトル補間部３２５を含む。ブロックマッチング処理部３２４ａは、制御部３８０に接続されている。
【００５２】
Ｇ画像選出部３２１ａは、同時化処理部３１０から出力されるＲＧＢ画像よりＧ画像を選出し、ゲイン乗算部３２３ａ及びブロックマッチング処理部３２４ａに出力する。Ｂ画像選出部３２２は、同時化処理部３１０から出力されるＲＧＢ画像よりＢ画像を選出し、ゲイン乗算部３２３ａに出力する。
【００５３】
ゲイン乗算部３２３ａは、Ｂ画像の平均信号値が、Ｇ画像の平均信号値と等価になるように、Ｂ画像の全ての画素に対してゲインを乗じる処理を行う。そして、ゲイン乗算部３２３ａは、ゲインを乗じた後のＢ画像をブロックマッチング処理部３２４ａに出力する。具体的には、ゲイン乗算部３２３ａは、乗じるゲインｇａｉｎの値を下式（１）により算出する。ここで、Ｇ＿ａｖｅはＧ画像の画像全体の平均信号値を表し、Ｂ＿ａｖｅはＢ画像の画像全体の平均信号値を表す。
【数１】
2012055498.tif 000003
【００５４】
ブロックマッチング処理部３２４ａは、まず、ゲイン乗算部３２３ａから出力されるＢ画像に対して複数の局所領域を設定する。図１３に、局所領域の設定例を示す。なお、本実施形態では、画像の座標系として、図１３に示すｘ，ｙ座標系を用いる。ｘ，ｙ座標は、画像における２軸の直交座標であり、例えばｘ座標は水平走査方向の座標であり、ｙ座標は垂直方向の座標である。ここで、設定する局所領域の大きさや数は、予め一定の値を設定しておくこともできるし、外部Ｉ／Ｆ部５００によりユーザが任意の値を設定できる構成としてもよい。
【００５５】
次に、ブロックマッチング処理部３２４ａは、設定された全ての局所領域について、例えば公知のブロックマッチング処理を用いて動きベクトルを算出する。そして、ブロックマッチング処理部３２４ａは、全ての局所領域において算出された動きベクトルの平均値を、Ｂ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｂｘ，Ｖｅｃ＿Ｂｙ）として画像抽出部３５０ａに出力する。
【００５６】
例えば、上記のブロックマッチング処理は、基準画像の任意のブロックに対して、相関が高いブロックの位置を対象画像内で探索する手法により実現できる。この場合、ブロック間の相対的なズレ量が、そのブロックの動きベクトルに対応する。本実施形態においては、Ｂ画像が基準画像であり、Ｇ画像がブロックマッチングの対象画像に相当する。
【００５７】
このブロックマッチングで相関の高いブロックを探索する手法として、例えば二乗誤差ＳＳＤや、絶対誤差ＳＡＤ等を用いればよい。これらの手法では、基準画像におけるブロック領域をＩとし、対象画像におけるブロック領域をＩ’として、Ｉと相関が高いＩ’の位置を求める。各ブロック領域での画素位置をｐ∈Ｉ及びｑ∈Ｉ’として、各画素の信号値をＬｐ，Ｌｑとすると、ＳＳＤ，ＳＡＤは、それぞれ下式（２），（３）で定義される。そして、これらの値が小さいほど相関が高いと評価する。
【数２】
2012055498.tif 000004
【数３】
2012055498.tif 000005
【００５８】
ここで、ｐ及びｑはそれぞれ２次元の値を持ち、Ｉ及びＩ’は２次元の領域を持つものとする。ｐ∈Ｉは、座標ｐが領域Ｉに含まれていることを表す。また“‖ｍ‖”は実数値ｍの絶対値を取得する処理を表すものとする。
【００５９】
動きベクトル補間部３２５は、ブロックマッチング処理部３２４ａから出力されるＢ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｂｘ，Ｖｅｃ＿Ｂｙ）に基づいて、Ｒ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を推定し、画像抽出部３５０ａに出力する。
【００６０】
上述の図１０を用いて、動きベクトル補間部３２５が行う処理について具体的に説明する。動きベクトル補間部３２５の処理は、時間によって異なるため、図１０に示す時間ｔ及び時間ｔ＋１、及び時間ｔ＋２の時点における処理を例に説明する。
【００６１】
図１０に示すように、まず時間ｔにおいて、同時化処理部３１０から出力されるＲＧＢ画像は、Ｒ画像（Ｒｔ−２）→Ｂ画像（Ｂｔ−１）→Ｇ画像（Ｇｔ）の順に取得される。そのため、Ｒ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を、例えば下式（４）により推定する。
【数４】
2012055498.tif 000006
【００６２】
次に、時間ｔ＋１においては、Ｂ画像（Ｂｔ−１）→Ｇ画像（Ｇｔ）→Ｒ画像（Ｒｔ＋１）の順に画像が取得されるため、Ｒ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を例えば下式（５）により推定する。
【数５】
2012055498.tif 000007
【００６３】
次に、時間ｔ＋２においては、Ｇ画像（Ｇｔ）→Ｒ画像（Ｒｔ＋１）→Ｂ画像（Ｂｔ＋２）の順に画像が取得されるため、Ｒ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を例えば下式（６）により推定する。
【数６】
2012055498.tif 000008
【００６４】
そして、チャネル間動きベクトル検出部３２０は、上記のようにして求めたＢ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｂｘ，Ｖｅｃ＿Ｂｙ）とＲ画像のチャネル間動きベクトル（Ｖｅｃ＿Ｒｘ，Ｖｅｃ＿Ｒｙ）を、画像抽出部３５０ａに出力する。
【００６５】
５．フレーム間動きベクトル検出部
次に、図１４にフレーム間動きベクトル検出部３３０ａの詳細な構成例を示す。このフレーム間動きベクトル検出部３３０ａは、Ｇ画像選出部３２１ｂと、フレームメモリ３３１とゲイン乗算部３２３ｂと、ブロックマッチング処理部３２４ａを含む。ブロックマッチング処理部３２４ａは制御部３８０に接続されている。
【００６６】
このフレーム間動きベクトル検出部３３０ａは、同時化処理部３１０から出力されるＲＧＢ画像のうち、Ｇ画像のフレーム間における動きベクトルを算出する。なお以下では、図１１に示す時間ｔにおいて取得されたＲＧＢ画像のＧ画像についてのフレーム間動きベクトルを算出する場合を例に説明する。
【００６７】
Ｇ画像選出部３２１ｂは、まず、同時化処理部３１０から出力されるＲＧＢ画像から、Ｇ画像Ｇｔを選出する。次に、Ｇ画像選出部３２１ｂは、フレームメモリ３３１に保持されているＧ画像を抽出する。フレームメモリ３３１には、後述するように時間ｔ−１に取得されたＧ画像Ｇｔ−３が保持されている。そして、Ｇ画像選出部３２１ｂは、Ｇｔ及びＧｔ−３をゲイン乗算部３２３ｂに出力する。次に、Ｇ画像選出部３２１ｂは、フレームメモリ３３１に保持されている内容をリセットし、Ｇｔをフレームメモリ３３１に出力する。すなわち、時間ｔ＋１においては、フレームメモリ３３１に保持されているＧｔが１フレーム前の画像として扱われる。
【００６８】
ゲイン乗算部３２３ｂは、Ｇ画像Ｇｔの平均信号値がＧ画像Ｇｔ−３の平均信号値と等価になるように、Ｇｔの各画素に対し、ゲインを乗じる処理を行う。例えば、そのゲインは、上述の式（１）と同様の手法により算出すればよい。
【００６９】
ブロックマッチング処理部３２４ａは、Ｇ画像ＧｔとＧ画像Ｇｔ−３とのブロックマッチング処理を行う。なお、このブロックマッチング処理は、チャネル間動きベクトル検出部３２０におけるブロックマッチング処理部３２４ａと同様であるため、適宜説明を省略する。このブロックマッチング処理において、Ｇ画像Ｇｔが基準画像に対応し、Ｇ画像Ｇｔ−３が対象画像に対応する。そして、ブロックマッチング処理部３２４ａは、求めた動きベクトルを、Ｇ画像のフレーム間動きベクトル（Ｖｅｃ＿Ｇｘ，Ｖｅｃ＿Ｇｙ）として画像抽出部３５０ａに出力する。なお、図１１に示すように、時間ｔ＋１、時間ｔ＋２においてはＧ画像が更新されないため、Ｇ画像のフレーム間動きベクトルは“ゼロ”となる。
【００７０】
６．拡大率算出部
次に、図１５を用いて拡大率算出部３４０ａについて詳細に説明する。拡大率算出部３４０ａは、制御部３８０から出力されるユーザが設定した焦点位置ｄの情報と、通常観察時における焦点位置ｄｎの情報とに基づいて拡大率Ｚを算出し、その拡大率Ｚを画像抽出部３５０ａに出力する。
【００７１】
上述したように、本実施形態で用いられる撮像部２００は、焦点位置をｄｍｉｎ〜ｄｍａｘ［ｍｍ］の範囲で制御することができる。また、通常観察時における焦点位置ｄｎは、上述したようにｄｎ＝ｄｍａｘ［ｍｍ］である。さて図１５に示すように、被写体からの距離ｄｎにおいて撮影した場合に、撮像領域サイズがＲｎであるとする。また、撮像部２００の画角が焦点位置に依らず一定であるとする。この場合に、例えば焦点位置ｄをｄｎ／２［ｍｍ］に変更した場合には、通常観察時と比較して、撮像部２００の先端部と被写体との距離を１／２とするとピントが合うことになる。このとき、撮像領域サイズＲはＲｎ／２となるため、通常撮影時に対して拡大率は２倍となる。
【００７２】
すなわち、拡大率Ｚは、ユーザが設定した焦点位置ｄ及び通常観察時における焦点位置ｄｎを用いて、下式（７）により算出される。本実施形態では、拡大率Ｚは１倍〜（ｄｍａｘ／ｄｍｉｎ）倍の範囲の値となる。
【数７】
2012055498.tif 000009
【００７３】
７．画像抽出部
次に、図１６に画像抽出部３５０ａの詳細な構成例を示す。画像抽出部３５０ａは、領域抽出部３５１ａと、抽出領域制御部３５２ａと、マージン領域算出部３５３と、動きベクトル積算部３５４と、動きベクトル記憶部３５５を含む。そして、マージン領域算出部３５３と動きベクトル積算部３５４は、制御部３８０に接続されている。
【００７４】
この画像抽出部３５０ａは、チャネル間動きベクトル検出部３２０とフレーム間動きベクトル検出部３３０ａと拡大率算出部３４０ａから出力される情報に基づいて、同時化処理部３１０から出力されるＲＧＢ画像から抽出する領域の大きさや座標を決定し、Ｒ’Ｇ’Ｂ’画像を抽出する。抽出したＲ’Ｇ’Ｂ’画像は通常光画像生成部３６０に出力される。
【００７５】
具体的には、動きベクトル積算部３５４は、フレーム間動きベクトル検出部３３０ａから出力されるＧ画像のフレーム間動きベクトル（Ｖｅｃ＿Ｇｘ，Ｖｅｃ＿Ｇｙ）と、動きベクトル記憶部３５５に保持されている動きベクトルを用いて、動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）と動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒを算出する。なお、ここではある時間ｔにおける処理を例に説明する。
【００７６】
動きベクトル記憶部３５５には、初期フレームから時間ｔ−１までのＧ画像のフレーム間動きベクトルの積算値（Ｓｕｍ＿Ｇｘ＿Ｍ，Ｓｕｍ＿Ｇｙ＿Ｍ）と、Ｇ画像のフレーム間動きベクトルの絶対値の積算値（Ａｂｓ＿Ｇｘ＿Ｍ，Ａｂｓ＿Ｇｙ＿Ｍ）と、動きベクトルの積算回数Ｔ＿Ｍの情報が保持されている。時間ｔにおける動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）は、下式（８）により算出される。また、時間ｔにおける動きベクトルの積算回数Ｔは、下式（９）により算出される。また、時間ｔにおける動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒは、下式（１０）により算出される。
【数８】
2012055498.tif 000010
【数９】
2012055498.tif 000011
【数１０】
2012055498.tif 000012
【００７７】
ここで、上式（１０）のＡｂｓ＿Ｇｘ，Ａｂｓ＿Ｇｙは、動きベクトルの絶対値の積算値であり、下式（１１）を用いて算出する。
【数１１】
2012055498.tif 000013
【００７８】
そして、動きベクトル積算部３５４は、上式（８）で算出した動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）を抽出領域制御部３５２ａに出力し、上式（１０）で算出した動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒをマージン領域算出部３５３に出力する。また、動きベクトル積算部３５４は、動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）と、上式（１１）で算出した動きベクトルの絶対値の積算値（Ａｂｓ＿Ｇｘ，Ａｂｓ＿Ｇｙ）と、動きベクトルの積算回数Ｔを、動きベクトル記憶部３５５に出力する。なお、出力する際には、動きベクトル記憶部３５５に予め保持されていた内容をリセットする。
【００７９】
マージン領域算出部３５３は、拡大率算出部３４０ａから出力される拡大率Ｚの情報に基づいて、ＲＧＢ画像からＲ’Ｇ’Ｂ’画像を抽出する際のマージン領域の大きさを算出する。具体的には、ｘ，ｙの各方向におけるマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを、式（１２）を用いて算出する。
【数１２】
2012055498.tif 000014
【００８０】
ここで、Ｓｐａｃｅ＿ＸｍｉｎとＳｐａｃｅ＿Ｙｍｉｎは、通常観察時におけるマージン領域の大きさである。Ｓｐａｃｅ＿Ｘｍｉｎ及びＳｐａｃｅ＿Ｙｍｉｎは、予め一定の値を設定しておくことも可能であるし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としてもよい。
【００８１】
このようにして、例えば拡大率Ｚ＝１０の拡大観察時には、拡大率Ｚ＝１の通常観察時に比べて１０倍の大きさのマージン領域が設定される。すなわち、拡大率に比例してマージン領域が設定されることとなり、拡大観察時においてもブレ補正処理を安定的に機能させることが可能である。
【００８２】
また、マージン領域算出部３５３は、動きベクトル積算部３５４から出力される動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒを参照し、その値が閾値Ｖｍａｘよりも大きい場合には、上式（１２）により算出されたマージン領域の値を、下式（１３）を用いて更新する。
【数１３】
2012055498.tif 000015
【００８３】
一方、動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒが、閾値Ｖｍｉｎよりも小さい場合には、上式（１２）により算出したマージン領域の値を、下式（１４）を用いて更新する。
【数１４】
2012055498.tif 000016
【００８４】
ここで、Ｃｏｍａｘは１より大きな値を持つ任意の実数値であり、Ｃｏｍｉｎは１より小さい値を持つ任意の実数値である。すなわち、動きベクトルの平均値Ａｖｅ＿Ｇｒが閾値Ｖｍａｘよりも大きい場合には、上式（１３）によりマージン領域がより大きい値に更新される。一方、動きベクトルの平均値Ａｖｅ＿Ｇｒが閾値Ｖｍｉｎよりも小さい場合には、上式（１４）によりマージン領域がより小さい値に更新される。
【００８５】
なお、閾値Ｖｍａｘ，Ｖｍｉｎと係数Ｃｏｍａｘ，Ｃｏｍｉｎは、予め一定の値を設定しておいてもよいし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としてもよい。
【００８６】
上記の処理によれば、動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒの大きさに応じて、マージン領域を制御することが可能になる。これにより、ブレの大小に応じて適正なブレ補正が可能になる。
【００８７】
例えば、食道部位においては、心臓の拍動による影響を強く受け、被写体である食道粘膜の位置が大きく変動する特徴がある。このような場合、フレーム間の動きベクトルが大きくなるため、ブレ補正の効果が十分に得られないことが予想される。そこで、上式（１３）に示したように、動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒが閾値Ｖｍａｘより大きい場合に、マージン領域を大きく設定することで、ブレ補正を安定的に機能させることが可能となる。
【００８８】
一方、拡大観察時においては、ブレの影響を軽減するために、撮像部２００先端にフードを取り付け、該フードを被写体と密着させた状態で、観察が行われることがある。この場合、撮像部２００と被写体の位置関係が固定されるため、ブレの影響は軽減される。このような場合には、動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒは小さくなる。従って、上式（１４）に示したようにマージン領域を小さくすることで、表示に利用される領域を大きくすることができる。これにより、より広い領域を撮影した表示画像をユーザに提示することが可能になる。
【００８９】
次に、抽出領域制御部３５２ａは、マージン領域算出部３５３から出力されるマージン領域と、動きベクトル積算部３５４から出力される動きベクトルの積算値と、チャネル間動きベクトル検出部３２０から出力されるチャネル間動きベクトルの情報に基づいて、同時化処理部３１０から出力されるＲＧＢ画像からＲ’Ｇ’Ｂ’画像を抽出する際の条件を決定する。具体的には、抽出する際の条件として、Ｒ’Ｇ’Ｂ画像を抽出する際の始点座標と、Ｒ’Ｇ’Ｂ’画像のｘ，ｙ方向の画素数ｉｍｘ，ｉｍｙを決定する。
【００９０】
抽出領域制御部３５２ａは、Ｒ’Ｇ’Ｂ’画像の画素数ｉｍｘ，ｉｍｙを、下式（１５）を用いて算出する。ここで、図１７（Ａ）に示すように、ＸＷは、撮像部２００で取得される画像のｘ方向における画素数であり、ＹＨは、撮像部２００で取得される画像のｙ方向における画素数である。
【数１５】
2012055498.tif 000017
【００９１】
また抽出領域制御部３５２ａは、始点座標を、下式（１６）を用いて算出する。本実施形態においては、Ｒ’Ｇ’Ｂ’の各画像で始点座標が異なるため、下式（１６）に示したように、Ｒ’Ｇ’Ｂ’の各画像について始点座標が算出される。ここで、図１７（Ｂ）に示すように、Ｒ’ｓ＿ｘ，Ｒ’ｓ＿ｙは、撮像部２００により取得される画像におけるＲ’画像の始点座標である。また、Ｇ’ｓ＿ｘ，Ｇ’ｓ＿ｙはＧ’画像の始点座標であり、Ｂ’ｓ＿ｘ，Ｂ’ｓ＿ｙはＢ’画像の始点座標である。
【数１６】
2012055498.tif 000018
【００９２】
また、抽出領域制御部３５２ａは、上式（１６）で算出した始点座標に対し、下式（１７）に示すクリップ処理を行う。これは、図１８のＡ５に示すように、抽出領域が撮像画像からはみ出て画像を抽出できない場合に、始点座標をシフトさせる処理に相当する。すなわち、Ａ６に示すように、クリップ処理後の抽出領域は、撮像画像内の領域となる。なお、このクリップ処理はＧ’画像やＢ’画像についても同様であるため説明を省略する。
【数１７】
2012055498.tif 000019
【００９３】
そして、抽出領域制御部３５２ａは、クリップ処理後の始点座標と、Ｒ’Ｇ’Ｂ’画像の画素数を、領域抽出部３５１ａに出力する。また、抽出領域制御部３５２ａは、ＲＧＢ画像の画素数とＲ’Ｇ’Ｂ’画像の画素数の比率ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙを、サイズ変換部３７０に出力する。この比率ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙは、下式（１８）を用いて算出する。
【数１８】
2012055498.tif 000020
【００９４】
領域抽出部３５１ａは、抽出領域制御部３５２ａから出力される始点座標とＲ’Ｇ’Ｂ’画像の画素数の情報を用いて、ＲＧＢ画像よりＲ’Ｇ’Ｂ’画像を抽出し、そのＲ’Ｇ’Ｂ’画像を通常光画像生成部３６０に出力する。
【００９５】
以上の処理を行うことで、焦点位置を変更する光学系を用いた拡大観察時において、安定的にブレを補正することが可能となる。これにより、拡大観察時において、ブレ補正できずに注目領域が視野から外れることを抑制し、注目領域を見失う課題を改善できる。
【００９６】
なお、本実施形態では、上述のブレ補正処理の“ＯＮ／ＯＦＦ”を、外部Ｉ／Ｆ部５００により切り替えてもよい。すなわち、外部Ｉ／Ｆ部５００において、ブレ補正機能が“ＯＦＦ”に設定された場合、その情報が制御部３８０に送られる。このとき制御部３８０は、ブレ補正処理が“ＯＦＦ”に設定されたことを示すトリガ信号を、動きベクトル積算部３５４とマージン領域算出部３５３に出力する。なお、このトリガ信号は、ブレ補正処理が“ＯＦＦ”に設定されている期間中は常に出力し続けるものとする。
【００９７】
そして、動きベクトル積算部３５４は、“ＯＦＦ”のトリガ信号が出力された場合、動きベクトル記憶部３５５に保持されている動きベクトル及び積算回数の情報を全て“０”にセットする。また、“ＯＦＦ”のトリガ信号が出力されている期間中において、動きベクトル積算部３５４から出力される、動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）と動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒの情報は“ゼロ”にセットされる。また、上式（９）に示した積算回数のカウントも行われない。また、“ＯＦＦ”のトリガ信号が出力された場合、マージン領域算出部３５３から出力されるマージン領域Ｓｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙは“ゼロ”にセットされる。
【００９８】
さて上述のように、内視鏡診断における拡大観察では、拡大率に比例してブレが大きくなる傾向にあるため、拡大率が大きくなるほどブレ補正が困難になるという課題がある。また、ブレを補正できないと観察対象を見失う可能性が高くなり、観察対象を見失うと再び低倍率から倍率を上げる作業を繰り返す負担が生じてしまう。
【００９９】
この点、本実施形態によれば、図５に示すように、拡大観察が可能な撮像部２００により取得された画像を処理する画像処理装置（画像処理部３００）であって、動き情報取得部（チャネル間動きベクトル検出部３２０、フレーム間動きベクトル検出部３３０ａ）と、撮像倍率算出部（拡大率算出部３４０ａ）と、画像抽出部３５０ａを含む。
【０１００】
そして、動き情報取得部は、被写体に対する撮像部２００の相対的な動きを表す情報である動き情報を取得する。撮像倍率算出部は、撮像部２００の撮像倍率Ｚ（拡大率）を算出する。画像抽出部３５０ａは、撮像部２００により取得された撮像画像から特定領域における画像を抽出画像として抽出する。図１７（Ｂ）で上述のように、画像抽出部３５０ａは、撮像画像における特定領域の位置（Ｒ’ｓ＿ｘ，Ｒ’ｓ＿ｙ等）を、動き情報に基づいて設定する。また図１７（Ａ）で上述のように、画像抽出部３５０ａは、撮像画像から特定領域を除く領域の大きさであるマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを、撮像倍率Ｚに基づいて設定する。
【０１０１】
このようにすれば、拡大率に応じてマージン領域が設定されることで、撮像画像における特定領域の位置を設定する際のマージンを拡大率に応じて変えることができる。これにより、拡大観察においてブレに対する追従性を向上させ、ブレ補正を安定的に機能させることが可能になる。そして、ブレ補正の追従性が向上することで、観察対象を見失う可能性を軽減できる。
【０１０２】
ここで、動き情報とは、異なるタイミング間における被写体と撮像部２００との相対的な動きを表す情報であり、例えば相対的な位置や移動距離、速度、動きベクトル等を表す情報である。本実施形態では、例えばＧ画像の撮影タイミングとＢ画像の撮影タイミングの間における動き情報として、そのＧ画像とＢ画像の間のチャネル間動きベクトルが取得される。なお本実施形態では、このような画像から求めた動き情報に限定されず、モーションセンサ等を用いてセンシングした移動距離や速度等の動き情報を用いてもよい。
【０１０３】
また本実施形態では、上式（１２）で上述のように、画像抽出部３５０ａは、マージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを撮像倍率Ｚに比例した大きさに設定する。より具体的には、画像抽出部３５０ａは、マージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを、マージン領域の大きさの基準となる基準サイズＳｐａｃｅ＿Ｘｍｉｎ，Ｓｐａｃｅ＿Ｙｍｉｎに対して撮像倍率Ｚを乗じたサイズに設定する。
【０１０４】
このようにすれば、拡大率が大きくなるほどマージン領域を大きいサイズに設定できるため、拡大率が大きくなるほど大きなブレに追従できる。これにより、図４等で上述したマージン領域サイズが一定の比較例と比べて、拡大観察においてより大きなブレを補正できる。
【０１０５】
なお、本実施形態では、マージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙが撮像倍率Ｚにリニアに比例する場合を例に説明したが、本実施形態はこれに限定されない。例えば、本実施形態では、撮像倍率Ｚが増加するに従ってマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙが非リニアに増加してもよい。
【０１０６】
また本実施形態では、上式（１３）、（１４）で上述したように、画像抽出部３５０ａは、基準サイズＳｐａｃｅ＿Ｘｍｉｎ，Ｓｐａｃｅ＿Ｙｍｉｎに対して撮像倍率Ｚを乗じたサイズに設定されたマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを、動き情報に基づいて更新する。ここで、更新とは、変数の値を新しい値に再設定することであり、例えば図１６に示すマージン領域算出部３５３が図示しない記憶部を含み、その記憶部におけるマージン領域の大きさの記憶領域に記憶された値を上書きすることである。
【０１０７】
このようにすれば、被写体と撮像部２００との相対的な動きに応じてマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを調整できる。これにより、ブレ量が増加した場合にマージン領域を増加させてブレ補正の追従性を向上することが可能になる。
【０１０８】
具体的には、本実施形態では、画像抽出部３５０ａは、所定期間（例えば上式（９）に示す積算回数Ｔに対応する期間）における動き情報の平均値Ａｖｅ＿Ｇｒに基づいてマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを更新する。
【０１０９】
より具体的には、画像抽出部３５０ａは、動き情報の平均値Ａｖｅ＿Ｇｒが第１の閾値Ｖｍａｘより大きい場合には、マージン領域の大きさを、撮像倍率Ｚに基づいて設定された大きさより大きいサイズＣｏｍａｘ×Ｓｐａｃｅ＿Ｘ，Ｃｏｍａｘ×Ｓｐａｃｅ＿Ｙに更新する。一方、動き情報の平均値Ａｖｅ＿Ｇｒが第２の閾値Ｖｍｉｎより小さい場合には、マージン領域の大きさを、撮像倍率Ｚに基づいて設定された大きさより小さいサイズＣｏｍｉｎ×Ｓｐａｃｅ＿Ｘ，Ｃｏｍｉｎ×Ｓｐａｃｅ＿Ｙに更新する。
【０１１０】
このようにすれば、ブレ量に応じてマージン領域の大きさを調整できる。すなわち、ブレ量が閾値より大きい場合にマージン領域のサイズを大きくすることで、補正可能なブレ量を増加できる。一方、ブレ量が閾値より小さい場合にマージン領域のサイズの小さくすることで、表示領域を拡大してユーザに提示する情報量を増やすことができる。
【０１１１】
また本実施形態では、動き情報は、撮像画像における被写体の動きを表す動きベクトルＶｅｃ＿Ｇｘ，Ｖｅｃ＿Ｇｙである。そして、上式（１０）、（１１）で上述のように、画像抽出部３５０ａは、所定期間における動きベクトルの絶対値の平均値Ａｖｅ＿Ｇｒに基づいてマージン領域の大きさＳｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙを更新する。
【０１１２】
このように動きベクトルの絶対値を用いることで、動きベクトルの大きさをブレ量とし、そのブレ量の大小に応じてマージン領域サイズを設定できる。
【０１１３】
また本実施形態では、図１８で上述のように、画像抽出部３５０ａは、特定領域の少なくとも一部が撮像画像の外側に出たと判定した場合に、その特定領域を撮像画像内に再設定する。より具体的には、画像抽出部３５０ａは、動きベクトルの大きさがマージン領域の大きさを超えた場合に、特定領域の位置をマージン領域内に再設定する。例えばＲ’ｓ＿ｘを例にすると、上式（１７）に示すように、Ｒ’ｓ＿ｘ＜０となり領域左端がはみ出る場合には、Ｒ’ｓ＿ｘ＝０に設定する。一方、Ｒ’ｓ＿ｘ＞２×Ｓｐａｃｅ＿Ｘ（＝ＸＷ−ｉｍｘ）となり領域右端がはみ出る場合には、Ｒ’ｓ＿ｘ＝２×Ｓｐａｃｅ＿Ｘに設定する。
【０１１４】
このようにすれば、抽出する領域が撮像画像外にはみ出た場合にクリップ処理を行うことができる。すなわち、ブレ補正できないブレ量となった場合であっても表示画像を抽出可能な位置に特定領域を設定し、画像表示を行うことができる。
【０１１５】
また本実施形態の画像処理装置は、図５に示すように、撮像部２００（集光レンズ２３０）の焦点位置情報を取得する焦点位置情報取得部（制御部３８０）を含む。図１５で上述のように、撮像倍率Ｚは、撮像部２００と被写体との距離が変更されることで変更される。この場合に、撮像倍率算出部は、焦点位置情報に基づいて撮像倍率Ｚを算出する。具体的には、撮像倍率算出部は、基準焦点位置ｄｎと、焦点位置情報が表す焦点位置ｄとの比ｄｎ／ｄに基づいて撮像倍率Ｚを算出する。
【０１１６】
このようにすれば、撮像部２００先端を被写体に接近させることで被写体を拡大観察するタイプの内視鏡装置において、撮像部２００の焦点位置情報からその撮像倍率Ｚを求めることができる。
【０１１７】
また本実施形態では、図１０や図１１で上述したように、動き情報取得部は、異なる時間（ｔ−１，ｔ、ｔ＋１，・・・）において取得された少なくとも２つの撮像画像に基づいて、その撮像画像における被写体の動きを表す動きベクトル（フレーム間動きベクトル、チャネル間動きベクトル）を取得する。
【０１１８】
具体的には、撮像部２００は撮像画像として、第１〜第３色信号の画像（Ｒ画像、Ｇ画像、Ｂ画像）を時系列に順次取得する。そして、動き情報取得部は、その第１〜第３色信号の画像の間での被写体の動きを表す動きベクトルをチャネル間動きベクトル（例えばＶｅｃ＿Ｂｘ，Ｖｅｃ＿Ｂｙ）として取得する。画像抽出部３５０ａは、そのチャネル間動きベクトルに基づいて、第１〜第３色信号の画像から抽出画像を抽出する。
【０１１９】
このようにすれば、撮像部２００と被写体の間の相対的な動き情報として、撮像画像間の動きベクトルを用いてブレ補正を行うことができる。また、面順次方式の内視鏡装置において、チャネル間のブレを補正して面順次による色ズレを抑制できる。
【０１２０】
また本実施形態の画像処理装置は、図５に示すように、抽出画像の画像サイズが撮像倍率に応じて変化する場合に、その抽出画像の画像サイズを、表示部４００に表示可能な所定の画像サイズ（所定の画素数。例えば撮像画像と同じサイズ）に変換するサイズ変換部３７０を含む。具体的には、撮像部２００は、撮像画像として一連の動画画像を取得し、サイズ変換部３７０は、その一連の動画画像から抽出された一連の抽出画像を同一の画像サイズに変換する。
【０１２１】
このようにすれば、拡大率に応じてサイズが変動する抽出画像を一定の画像サイズに変換できるため、拡大率に依らず一定の画像サイズの表示画像を表示できる。
【０１２２】
８．内視鏡装置の第２の構成例
図１９に、撮像部２００の視野角に基づいて拡大率を算出する場合の構成例として、内視鏡装置の第２の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、図５等で上述した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１２３】
光源部１００は、白色光を発生する白色光源１１０と、その白色色をライトガイドファイバ２１０に集光するためのレンズ１３０を含む。
【０１２４】
撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、集光レンズ２７０と、撮像素子２４０ｂと、メモリ２５０を含む。撮像素子２４０ｂは、ベイヤ配列の色フィルタｒ，ｇ，ｂを持つ撮像素子である。図２０に示すように、ｒフィルタは５８０〜７００ｎｍの光を透過させる分光特性を有し、ｇフィルタは４８０〜６００ｎｍの光を透過させる分光特性を有し、ｂフィルタは４００〜５００ｎｍの光を透過させる分光特性を有する。
【０１２５】
集光レンズ２７０は、画角を可変制御することが可能であり、例えば画角をφｍｉｎ〜φｍａｘ［°］の範囲で制御できる。例えば、通常観察時の画角はφｎ＝φｍａｘ［°］である。この画角は、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定できる。そして、外部Ｉ／Ｆ部５００によりユーザが設定した画角φの情報は、制御部３８０に送られ、制御部３８０は、その画角情報に応じて集光レンズ２７０を制御して画角を変更する。
【０１２６】
なお、この画角の制御範囲φｍｉｎ〜φｍａｘ［°］は、接続されるスコープにより異なる。上述したように制御部３８０は、メモリ２５０に保持されている各スコープ固有の識別番号を参照することで、接続されているスコープの種類を識別し、画角の制御範囲φｍｉｎ〜φｍａｘ［°］と通常観察時における画角φｎ［°］の情報を取得可能である。
【０１２７】
制御部３８０は、拡大率に関する情報を、後述する拡大率算出部３４０ｂに出力する。この情報は、ユーザが設定した画角φの情報や、通常観察時における画角φｎの情報、画角の最小値φｍｉｎの情報である。
【０１２８】
画像処理部３００は、補間処理部３９０と、フレーム間動きベクトル検出部３３０ａと、拡大率算出部３４０ｂと、画像抽出部３５０ｂと、通常光画像生成部３６０と、サイズ変換部３７０と、制御部３８０を含む。そして、補間処理部３９０、フレーム間動きベクトル検出部３３０ａ、拡大率算出部３４０ｂ、画像抽出部３５０ｂ、通常光画像生成部３６０、サイズ変換部３７０は、それぞれ制御部３８０に接続されている。なお、フレーム間動きベクトル検出部３３０ａ、通常光画像生成部３６０、サイズ変換部３７０の処理は、図５等で説明した処理と同様であるため、説明を省略する。
【０１２９】
補間処理部３９０は、撮像素子２４０ｂで取得されるベイヤ画像に対し、補間処理を施すことでＲＧＢ画像を生成する。例えば、補間処理として、公知のバイキュービック補間処理を用いればよい。そして、補間処理部３９０は、生成したＲＧＢ画像を、画像抽出部３５０ｂ及びフレーム間動きベクトル検出部３３０ａに出力する。
【０１３０】
拡大率算出部３４０ｂは、制御部３８０から出力される、ユーザが設定した画角φの情報と通常観察時の画角φｎの情報を用いて拡大率Ｚ’を算出し、その拡大率Ｚ’を画像抽出部３５０ｂに出力する。具体的には、図２１に示すように、被写体から撮像部２００までの距離が同一の場合に、画角φｎでの撮像領域サイズと画角φでの撮像領域サイズの比が拡大率Ｚ’となる。すなわち、拡大率Ｚ’は、下式（１９）により算出される。本実施形態では、拡大率Ｚ’の範囲は、１倍〜｛ｔａｎ（φｎ／２）／ｔａｎ（φｍｉｎ／２）｝倍となる。
【数１９】
2012055498.tif 000021
【０１３１】
画像抽出部３５０ｂは、フレーム間動きベクトル検出部３３０ａと拡大率算出部３４０ｂから出力される情報に基づいて、補間処理部３９０から出力されるＲＧＢ画像から特定の領域（抽出領域）における画像をＲ’Ｇ’Ｂ’画像として抽出する。
【０１３２】
図２２に、画像抽出部３５０ｂの詳細な構成例を示す。この画像抽出部３５０ｂは、領域抽出部３５１ｂと、抽出領域制御部３５２ｂと、マージン領域算出部３５３と、動きベクトル積算部３５４と、動きベクトル記憶部３５５を含む。マージン領域算出部３５３と動きベクトル積算部３５４は、制御部３８０に接続されている。なお、マージン領域算出部３５３と動きベクトル積算部３５４と動きベクトル記憶部３５５の処理は、図１６等で上述した処理と同一であるため、説明を省略する。
【０１３３】
抽出領域制御部３５２ｂは、マージン領域Ｓｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙと、動きベクトルの積算値（Ｓｕｍ＿Ｇｘ，Ｓｕｍ＿Ｇｙ）の情報に基づいて、ＲＧＢ画像からＲ’Ｇ’Ｂ’画像を抽出する際の始点座標と画素数ｉｍｘ，ｉｍｙを決定する。Ｒ’Ｇ’Ｂ’画像の画素数ｉｍｘ，ｉｍｙは、図１６等で上述の手法と同様に上式（１５）を用いて算出する。
【０１３４】
始点座標は、下式（２０）を用いて算出する。本実施形態ではＲＧＢの各画像が同時に取得されるため、上述のような色ズレの問題は発生しない。従って、本実施形態ではＲ’Ｇ’Ｂ’の画像毎に始点座標を算出する必要はなく、算出される始点座標は１種類のみ（Ｉ’ｓ＿ｘ，Ｉ’ｓ＿ｙ）である。
【数２０】
2012055498.tif 000022
【０１３５】
なお、クリップ処理は、上式（１７）と同様の手法により、上式（２０）で算出した始点座標（Ｉ’ｓ＿ｘ，Ｉ’ｓ＿ｙ）に対して行われる。また、抽出領域制御部３５２ｂは、上式（１８）と同様の手法によりＲＧＢ画像の画素数とＲ’Ｇ’Ｂ’画像の画素数の比率ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙを算出し、その比率ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙをサイズ変換部３７０に出力する。
【０１３６】
以上の処理を行うことで、画角を変更する光学系を用いた拡大観察時においても、安定的にブレを補正することが可能となる。さらに、拡大観察時において、注目領域を見失う課題も改善することが可能である。また、本実施形態では、ＲＧＢの各画像が同時に取得される。これにより、図５等で上述した色ズレの問題を考慮する必要がないため、処理を簡素化できる。また、チャネル間動きベクトルを算出する必要がないため、フレームメモリを少なくできる。
【０１３７】
上記の実施形態によれば、図１９に示すように、撮像部２００の画角情報を取得する画角情報取得部（制御部３８０）を含む。そして、撮像倍率算出部（拡大率算出部３４０ｂ）は、その画角情報に基づいて撮像倍率Ｚ’を算出する。より具体的には、図２１で上述のように、撮像倍率算出部は、基準画角をφｎとし、画角情報が表す画角をφとする場合に、ｔａｎ（φｎ／２）とｔａｎ（φ／２）との比に基づいて撮像倍率Ｚ’を算出する。
【０１３８】
このようにすれば、撮像部２００のズーム機能（例えば光学ズーム）により被写体を拡大観察可能な内視鏡装置において、撮影時の画角情報から撮像部２００の撮像倍率Ｚ’を求めることができる。
【０１３９】
９．内視鏡装置の第３の構成例
図２３に、位置センサからの情報と動きベクトルに基づいて拡大率を算出する場合の構成例として、内視鏡装置の第３の構成例を示す。この内視鏡装置は、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を含む。なお以下では、図５等で上述した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。
【０１４０】
撮像部２００は、ライトガイドファイバ２１０と、照明レンズ２２０と、集光レンズ２９０と、撮像素子２４０ｂと、メモリ２５０と、位置センサ２８０を含む。なお、撮像素子２４０ｂとメモリ２５０は、図１９等で説明した構成要素と同一である。
【０１４１】
位置センサ２８０は、撮像部先端の移動量を検出するためのセンサである。例えば、位置センサ２８０は、３方向の並進移動量をセンシングする加速度センサで構成され、被写体表面に対して並進する撮像部先端の移動量を出力する。例えば、移動量は、撮像部先端の移動距離や、動きベクトルである。そして、位置センサ２８０は、制御部３８０に接続されており、位置センサ２８０で検出された移動量に関する情報が制御部３８０に出力される。なお、本実施形態では、位置センサ２８０が３軸のジャイロセンサを含み、移動量として撮像部先端の回転角度を出力してもよい。
【０１４２】
画像処理部３００は、補間処理部３９０と、フレーム間動きベクトル検出部３３０ｂと、拡大率算出部３４０ｃと、画像抽出部３５０ｂと、通常光画像生成部３６０と、サイズ変換部３７０と、制御部３８０を含む。なお、画像抽出部３５０ｂや、通常光画像生成部３６０、サイズ変換部３７０、補間処理部３９０の処理は、図１９等で上述した処理と同様であるため説明を省略する。
【０１４３】
図２４に、フレーム間動きベクトル検出部３３０ｂの詳細な構成例を示す。このフレーム間動きベクトル検出部３３０ｂは、Ｇ画像選出部３２１ｂと、フレームメモリ３３１と、ゲイン乗算部３２３ｂと、ブロックマッチング処理部３２４ｂを含む。ブロックマッチング処理部３２４ｂ以外の処理は、図５等で上述の処理と同様である。
【０１４４】
ブロックマッチング処理部３２４ｂは、図１３等で上述の手法と同様にして、全ての局所領域の動きベクトルを検出し、その局所領域の動きベクトルの平均値を画像抽出部３５０ｂに出力する。また、ブロックマッチング処理部３２４ｂは、全ての局所領域座標と動きベクトルの情報を、拡大率算出部３４０ｃに出力する。例えば、局所領域座標は、各局所領域の中心座標とすればよい。
【０１４５】
次に拡大率算出部３４０ｃについて説明する。内視鏡診断の拡大観察では、スコープを被写体である生体に近接させることで拡大率を上げる手法が一般的である。この場合、撮像部２００の先端と、被写体との間の距離が分かれば拡大率を算出することが可能である。
【０１４６】
そこで、拡大率算出部３４０ｃは、制御部３８０から出力される撮像部２００先端の移動量（例えば動きベクトル）と、フレーム間動きベクトル検出部３３０ｂから出力される局所領域座標とその局所領域の動きベクトルの情報に基づいて、撮像部２００の先端と被写体との間の平均距離を推定し、拡大率を算出する。
【０１４７】
図２５に、拡大率算出部３４０ｃの詳細な構成例を示す。この拡大率算出部３４０ｃは、平均距離推定部３４１と、拡大率推定部３４２と、拡大率記憶部３４３を含む。
【０１４８】
平均距離推定部３４１は、制御部３８０から出力される撮像部２００先端の移動量と、フレーム間動きベクトル検出部３３０ｂから出力される局所領域座標とその局所領域の動きベクトルの情報に基づいて、撮像部２００の先端と被写体との間の平均距離を推定する。以下では、ある時間ｔにおいて、平均距離を算出する場合を例に説明する。
【０１４９】
フレーム間動きベクトル検出部３３０ｂからは、時間ｔと時間ｔの１フレーム前の時間時間ｔ−１において取得された画像より算出した動きベクトルと局所領域座標が出力される。また、制御部３８０からは、時間ｔと時間ｔ−１の間における撮像部２００先端の移動量が出力される。具体的には、移動量として、図２６に示すようにＸ，Ｙの２軸の移動量が出力される。
【０１５０】
さて、制御部３８０から出力される移動量の情報を（ＴＸ，ＴＹ）とする。（ＴＸ，ＴＹ）は、時間ｔ−１から時間ｔまでの撮像部２００先端の移動量である。この移動量により、各時間（時間ｔ、時間ｔ−１）における撮像部２００先端の相対的な位置関係が定まる。また、時間ｔ及び時間ｔ−１で取得された各画像間の動きベクトルが取得される。
【０１５１】
このように、各時間における撮像部２００先端の相対的な位置関係と、各時間において取得された画像の対応関係が求まっているため、公知の三角測量の原理を用いて、撮像部２００の先端と被写体との平均距離ｄｉｆｆ＿ｖａｌを推定することが可能である。
【０１５２】
図２７（Ａ）、図２７（Ｂ）を用いて、平均距離ｄｉｆｆ＿ｖａｌの推定について詳細に説明する。なお、簡単のためＴＹ＝０である場合を例に説明する。また、焦点位置に依らず画角は一定であり、撮像部２００先端と被写体との距離により拡大率が変化するものとする。
【０１５３】
図２７（Ａ）に示すように、時間ｔ−１において、被写体上の点ＰＴが画像上の対応点ＰＴ’に写っているとする。図２７（Ｂ）のＥ１に示すように、時間ｔ−１からｔまでの間に画像上において対応点ＰＴ’が距離ＴＸ’だけ移動したとする。撮像部２００の画角φは既知であるから、画像上の距離ＴＸ’からＥ２に示す角度θが求まる。そうすると、Ｅ３に示すように、被写体上の距離ＴＸを底辺とする直角三角形が定まり、撮像部２００先端から被写体までの距離ｄｉｆｆ＿ｖａｌが求まる。
【０１５４】
なお、制御部３８０から出力される移動量の情報が（ＴＸ，ＴＹ）＝（０，０）の場合には、撮像部２００の先端と被写体との平均距離ｄｉｆｆ＿ｖａｌを推定できない。この場合には、平均距離を推定できないことを示すトリガ信号を、拡大率推定部３４２に出力する。
【０１５５】
拡大率推定部３４２は、平均距離推定部３４１の出力する情報により、処理が異なる。すなわち、平均距離推定部３４１から平均距離ｄｉｆｆ＿ｖａｌが出力されている場合には、拡大率推定部４４２は、下式（２１）を用いて拡大率Ｚ”を推定する。
【数２１】
2012055498.tif 000023
【０１５６】
なお、距離ｄｉｆｆ＿ｏｒｇは、通常観察時における撮像部２００の先端と被写体間の平均的な距離である。例えば、ｄｉｆｆ＿ｏｒｇは、通常観察時における焦点位置ｄｎとしてもよいし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定してもよい。
【０１５７】
そして、拡大率推定部３４２は、上式（２１）を用いて算出した拡大率Ｚ”を、画像抽出部３５０ｃと拡大率記憶部３４３に出力する。拡大率記憶部３４３には、１フレーム前の時点における拡大率Ｚ”が保持されることになる。
【０１５８】
一方、平均距離推定部３４１よりトリガ信号が出力されている場合、拡大率推定部３４２は、拡大率記憶部３４３に保持されている内容を拡大率Ｚ”として、画像抽出部３５０ｃに出力する。
【０１５９】
以上の処理を行うことで、焦点位置を変更する光学系を用いた拡大観察時において、第１の実施形態で示したような焦点位置の検出手段がない場合においても、安定的にブレを補正することが可能となる。さらに、拡大観察時において、注目領域を見失う問題も改善することが可能である。
【０１６０】
上記の実施形態によれば、図２３に示すように、撮像部２００の移動量情報を取得する移動量情報取得部（位置センサ２８０からの移動量情報を取得する制御部３８０）を含む。そして、撮像倍率算出部（拡大率算出部３４０ｃ）は、その移動量情報と動き情報に基づいて撮像倍率Ｚ”を算出する。より具体的には、図２７（Ｂ）で上述のように、撮像倍率算出部は、動き情報（距離ＴＸ’）と移動量情報（距離ＴＸ）に基づいて撮像部２００と被写体との距離ｄｉｆｆ＿ｖａｌを算出し、その距離ｄｉｆｆ＿ｖａｌと基準距離ｄｉｆｆ＿ｏｒｇとの比に基づいて撮像倍率Ｚ”を算出する。
【０１６１】
このようにすれば、撮像部２００先端を被写体に接近させることで被写体を拡大観察するタイプの内視鏡装置において、モーションセンサによりセンシングした撮像部２００の移動量から撮像部２００の撮像倍率Ｚ”を求めることができる。
【０１６２】
１０．ソフトウェア
上記の本実施形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。なお、本実施形態では、リアルタイムに撮影された動画のブレ補正だけでなく、カプセル内視鏡等の撮像装置を用いて予め取得された画像に対してソフトウェア処理を行ってもよい。
【０１６３】
撮像部を別体とし、画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。
【０１６４】
図２８は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図２９は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図２８に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【０１６５】
また、このコンピュータシステム６００における本体部６１０は、図２９に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。
【０１６６】
さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【０１６７】
そして、このコンピュータシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図３０）を参照して、後述する処理手順を実現するための画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【０１６８】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【０１６９】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、撮像部により取得された画像に対して、画像処理部３００の処理をソフトウェアで実現する場合の処理手順を、図３０のフローチャートを用いて説明する。
【０１７０】
図３０に示すように、この処理が開始されると、時系列に撮影されたＲ画像，Ｇ画像，Ｂ画像を取得する（ステップＳ１）。次に、それらの画像に対して同時化処理を行い（ステップＳ２）、同時化処理後の画像からチャネル間動きベクトルを検出する（ステップＳ３）。次に、フレーム間動きベクトルを検出し（ステップＳ４）、拡大率を算出する（ステップＳ５）。次に、チャネル間動きベクトルとフレーム間動きベクトルと拡大率からマージン領域のサイズと抽出領域の始点座標を算出し（ステップＳ６）、Ｒ’Ｇ’Ｂ’画像を抽出する（ステップＳ７）。次に、抽出したＲ’Ｇ’Ｂ’画像から通常光画像を生成し（ステップＳ８）、その通常光画像に対してサイズ変換処理を行い、処理後の画像を表示部に表示する制御を行い（ステップＳ９）、処理を終了する。
【０１７１】
また本実施形態は、本実施形態の各部（チャネル間動きベクトル検出部、フレーム間動きベクトル検出部、拡大率算出部、画像抽出部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１７２】
例えば、コンピュータプログラムプロダクトは、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）等、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１７３】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０１７４】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（撮像倍率、移動量、抽出領域等）と共に記載された用語（拡大率、並進移動量、特定領域等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１７５】
１００  光源部、１１０  白色光源、１２０  回転フィルタ、１２０ａ  モータ、
１３０  レンズ、２００  撮像部、２１０  ライトガイドファイバ、
２２０  照明レンズ、２３０  集光レンズ、２４０ａ，２４０ｂ  撮像素子、
２５０  メモリ、２７０  集光レンズ、２８０  位置センサ、２９０  集光レンズ、
３００  画像処理部、３１０  同時化処理部、３１１〜３１３  画像記憶部、
３１４  画像生成部、３２０  チャネル間動きベクトル検出部、
３２１ａ，３２１ｂ  Ｇ画像選出部、３２２  Ｂ画像選出部、
３２３ａ，３２３ｂ  ゲイン乗算部、
３２４ａ，３２４ｂ  ブロックマッチング処理部、３２５  動きベクトル補間部、
３３０ａ，３３０ｂ  フレーム間動きベクトル検出部、３３１  フレームメモリ、
３４０ａ，３４０ｂ，３４０ｃ  拡大率算出部、３４１  平均距離推定部、
３４２  拡大率推定部、３４３  拡大率記憶部、
３５０ａ，３５０ｂ，３５０ｃ  画像抽出部、３５１ａ，３５１ｂ  領域抽出部、
３５２ａ，３５２ｂ  抽出領域制御部、３５３  マージン領域算出部、
３５４  動きベクトル積算部、３５５  動きベクトル記憶部、
３６０  通常光画像生成部、３７０  サイズ変換部、３８０  制御部、
３９０  補間処理部、４００  表示部、４４２  拡大率推定部、
５００  外部Ｉ／Ｆ部、６００  コンピュータシステム、６１０  本体部、
６１１  ＣＰＵ、６１２  ＲＡＭ、６１３  ＲＯＭ、６１４  ＨＤＤ、
６１５  ＣＤ−ＲＯＭドライブ、６１６  ＵＳＢポート、
６１７  Ｉ／Ｏインターフェース、６１８  ＬＡＮインターフェース、
６２０  ディスプレイ、６２１  表示画面、６３０  キーボード、６４０  マウス、
６５０  モデム、６６０  ＣＤ−ＲＯＭ、６７０  ＵＳＢメモリ、６８１  ＰＣ、
６８２  サーバ、６８３  プリンタ、
Ａｖｅ＿Ｇｒ  動きベクトルの絶対値の平均値、Ｃｏｍａｘ，Ｃｏｍｉｎ  係数、
Ｆｒ，Ｆｇ，Ｆｂ  色フィルタ、Ｇｔ  Ｇ画像、Ｎ１  広域エリアネットワーク、
Ｎ３  公衆回線、Ｑ１，Ｑ２  変位量、Ｒ，Ｒｎ  撮像領域サイズ、
Ｓｐａｃｅ＿Ｘ，Ｓｐａｃｅ＿Ｙ  マージン領域の大きさ、
Ｓｐａｃｅ＿Ｘｍｉｎ，Ｓｐａｃｅ＿Ｙｍｉｎ  基準サイズ、
Ｔ  積算回数、ＴＸ  移動量、Ｖｅｃ＿Ｇｘ，Ｖｅｃ＿Ｇｙ  フレーム間動きベクトル、
Ｖｍａｘ  第１の閾値、Ｖｍｉｎ  第２の閾値、Ｚ，Ｚ’，Ｚ”  拡大率、
ｄ  焦点位置、ｄｉｆｆ＿ｏｒｇ  基準距離、ｄｉｆｆ＿ｖａｌ  平均距離、
ｄｍｉｎ〜ｄｍａｘ  焦点位置の設定範囲、ｄｎ  基準焦点位置、
ｒ，ｇ，ｂ  撮像素子の色フィルタ、ｔ  時間、ｚｏｏｍ＿ｘ，ｚｏｏｍ＿ｙ  比率、
φ  画角、φｍｉｎ-φｍａｘ  画角の設定範囲、φｎ  基準画角
【図２】
2012055498.tif 000024
【図３】
2012055498.tif 000025
【図４】
2012055498.tif 000026
【図５】
2012055498.tif 000027
【図６】
2012055498.tif 000028
【図７】
2012055498.tif 000029
【図８】
2012055498.tif 000030
【図９】
2012055498.tif 000031
【図１０】
2012055498.tif 000032
【図１１】
2012055498.tif 000033
【図１２】
2012055498.tif 000034
【図１３】
2012055498.tif 000035
【図１４】
2012055498.tif 000036
【図１５】
2012055498.tif 000037
【図１６】
2012055498.tif 000038
【図１７】
2012055498.tif 000039
【図１８】
2012055498.tif 000040
【図１９】
2012055498.tif 000041
【図２０】
2012055498.tif 000042
【図２１】
2012055498.tif 000043
【図２２】
2012055498.tif 000044
【図２３】
2012055498.tif 000045
【図２４】
2012055498.tif 000046
【図２５】
2012055498.tif 000047
【図２６】
2012055498.tif 000048
【図２７】
2012055498.tif 000049
【図２８】
2012055498.tif 000050
【図２９】
2012055498.tif 000051
【図３０】
2012055498.tif 000052
【図１】
2012055498.tif 000053