(57)【要約】【課題】ぶれを低減した静止画像を得ることができる内視鏡装置を提供する。【解決手段】画像記憶部３０は、プログレッシブスキャン方式で撮像を行うことにより生成された、連続した複数フレームの撮像画像を記憶する。ぶれ評価値生成部３１は、各フレームの撮像画像から、撮像画像のぶれを示す各フレームの評価値を生成する。ぶれ評価値選択部３３は、他のフレームの評価値と比較して、相対的にぶれが少ないことを示している評価値を選択する。静止画像選択部３４は、ぶれ評価値選択部３３によって選択された評価値に対応するフレームの撮像画像を画像記憶部３０から読み出して静止画像として出力する。【選択図】図３
2013128723.tif 000002
【特許請求の範囲】
【請求項１】
プログレッシブスキャン方式で撮像を行い、撮像画像を出力する撮像部と、
連続した複数フレームの前記撮像画像を記憶する画像記憶部と、
前記撮像部から出力された各フレームの前記撮像画像から、前記撮像画像のぶれを示す各フレームの評価値を生成する評価値生成部と、
他のフレームの前記評価値と比較して、相対的にぶれが少ないことを示している前記評価値を選択する評価値選択部と、
前記評価値選択部によって選択された前記評価値に対応するフレームの前記撮像画像を前記画像記憶部から読み出して静止画像として出力する静止画像選択部と、
を有することを特徴とする内視鏡装置。
【請求項２】
前記評価値生成部は、前記撮像部から出力された各フレームの前記撮像画像に含まれる高周波成分を検出し、検出した高周波成分に基づく各フレームの前記評価値を生成し、
前記評価値選択部は、他のフレームの前記評価値と比較して、前記撮像画像が相対的に高周波成分を多く含むことを示している前記評価値を選択する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項３】
前記評価値生成部は、
前記撮像部から出力された第１フレームの撮像画像を記憶するフレーム画像記憶部と、
前記フレーム画像記憶部から前記第１フレームの撮像画像を読み出し、前記第１フレームの撮像画像と、前記撮像部から出力された、前記第１フレームよりも後の第２フレームの撮像画像とのフレーム間の動きを示す、前記第２フレームに対応する前記評価値を生成する動き評価値生成部と、
を有し、
前記評価値選択部は、他の前記評価値と比較して、動きが相対的に少ないことを示している前記評価値を選択し、
前記静止画像選択部は、前記評価値選択部によって選択された前記評価値に対応する前記第２フレームの前記撮像画像を前記画像記憶部から読み出して静止画像として出力する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項４】
前記動き評価値生成部は、
前記フレーム画像記憶部から前記第１フレームの撮像画像を読み出し、読み出した前記第１フレームの撮像画像の画素値と、前記第２フレームの撮像画像の画素値との差分が所定の範囲内にあるかどうかを判定する画素値判定部と、
１フレームの撮像画像の範囲内で前記差分が所定の範囲内にある画素の数をカウントし、カウントした画素数に対応する前記評価値を出力する画素数カウンタと、
を有し、
前記評価値選択部は、他の前記評価値と比較して、前記画素数が多いことを示している前記評価値を選択する
ことを特徴とする請求項３に記載の内視鏡装置。
【請求項５】
前記動き評価値生成部は、
前記フレーム画像記憶部から前記第１フレームの撮像画像を読み出し、読み出した前記第１フレームの撮像画像の複数の領域のそれぞれについて、前記第２フレームの撮像画像において前記複数の領域のそれぞれに対応する領域とのフレーム間の動き量を検出し、当該動き量に基づいて、前記第２フレームに対応する前記評価値を生成する動き量検出部を有する
ことを特徴とする請求項３に記載の内視鏡装置。
【請求項６】
前記動き評価値生成部は、
前記フレーム画像記憶部から前記第１フレームの撮像画像を読み出し、読み出した前記第１フレームの撮像画像の複数の領域のそれぞれについて、前記第２フレームの撮像画像において前記複数の領域のそれぞれに対応する領域とのフレーム間の動き量を検出する動き量検出部と、
前記動き量を保持する動き量保持部と、
前記動き量保持部に保持された第１の動き量と、前記動き量検出部が検出した、前記第１の動き量に係るフレームよりも後のフレームに係る第２の動き量との絶対値の和を算出し、算出した和に対応する前記評価値を出力する動き量加算部と、
を有する
ことを特徴とする請求項３に記載の内視鏡装置。
【請求項７】
前記撮像部は、２系統の光学系によって結像された２つの像を同一フレームタイミングで撮像して２枚の前記撮像画像を生成し、
前記評価値生成部は、
前記撮像部から出力された各フレームの２枚の前記撮像画像の一方から、当該一方の撮像画像のぶれを示す第１のぶれ評価値を生成し、２枚の前記撮像画像の他方から、当該他方の撮像画像のぶれを示す第２のぶれ評価値を生成する第１の生成部と、
各フレームの前記第１のぶれ評価値と前記第２のぶれ評価値から各フレームの前記評価値を生成する第２の生成部と、
を有する
ことを特徴とする請求項１に記載の内視鏡装置。
【請求項８】
前記第２の生成部は、各フレームの前記第１のぶれ評価値と前記第２のぶれ評価値のうち、よりぶれが大きいことを示すぶれ評価値を前記評価値として出力することを特徴とする請求項７に記載の内視鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログレッシブスキャン方式で撮像を行い、撮像画像を出力する内視鏡装置に関する。
【背景技術】
【０００２】
一般に、内視鏡で撮影した病変部等の画像を記録として残すために、画像を静止（フリーズ）させて、写真撮影装置や画像ファイリング装置に静止画像を記録することが行われている。たとえば面順次方式の内視鏡では、異なるタイミングで撮像した各色の画像を合成してカラー画像を得ているため、画像に動きがある場合には色ずれが発生し、記録時に所望の画質の静止画像が得られない場合があった。この課題に対し、たとえば特許文献１では、色ずれ最小検出回路により色ずれが最も少ない画像を検出し、検出した画像を静止画像として出力することにより、所望の画質の静止画像を得る方法が開示されている。
【０００３】
同様の方法は、モザイクフィルタを使用するインタレース方式の内視鏡にも適用可能である。インタレース方式の内視鏡では、偶数ライン、奇数ラインのそれぞれから構成される２つのフィールド画像から、１つのフレームが構成されている。各フィールド画像間のずれは、色ずれと同様に画質の低下をもたらすため、このずれを防ぐことにより、高画質の静止画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2001-169300号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、フレーム単位で画像を出力するプログレッシブスキャン方式の撮像素子が搭載された内視鏡が提案されている。上記の面順次方式やインタレース方式では、複数の画像を合成して静止画像を得ているため、これら複数の画像のずれを検出することにより、動きすなわちぶれを検出している。しかし、プログレッシブスキャン方式では１フレーム単位で画像を取得するため、上記の面順次方式やインタレース方式と同様の方式でぶれを検出することができない。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、ぶれを低減した静止画像を得ることができる内視鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するためになされたもので、プログレッシブスキャン方式で撮像を行い、撮像画像を出力する撮像部と、連続した複数フレームの前記撮像画像を記憶する画像記憶部と、前記撮像部から出力された各フレームの前記撮像画像から、前記撮像画像のぶれを示す各フレームの評価値を生成する評価値生成部と、他のフレームの前記評価値と比較して、相対的にぶれが少ないことを示している前記評価値を選択する評価値選択部と、前記評価値選択部によって選択された前記評価値に対応するフレームの前記撮像画像を前記画像記憶部から読み出して静止画像として出力する静止画像選択部と、を有することを特徴とする内視鏡装置である。
【０００８】
また、本発明の内視鏡装置において、前記評価値生成部は、前記撮像部から出力された各フレームの前記撮像画像に含まれる高周波成分を検出し、検出した高周波成分に基づく各フレームの前記評価値を生成し、前記評価値選択部は、他のフレームの前記評価値と比較して、前記撮像画像が相対的に高周波成分を多く含むことを示している前記評価値を選択することを特徴とする。
【０００９】
また、本発明の内視鏡装置において、前記評価値生成部は、前記撮像部から出力された第１フレームの撮像画像を記憶するフレーム画像記憶部と、前記フレーム画像記憶部から前記第１フレームの撮像画像を読み出し、前記第１フレームの撮像画像と、前記撮像部から出力された、前記第１フレームよりも後の第２フレームの撮像画像とのフレーム間の動きを示す、前記第２フレームに対応する前記評価値を生成する動き評価値生成部と、を有し、前記評価値選択部は、他の前記評価値と比較して、動きが相対的に少ないことを示している前記評価値を選択し、前記静止画像選択部は、前記評価値選択部によって選択された前記評価値に対応する前記第２フレームの前記撮像画像を前記画像記憶部から読み出して静止画像として出力することを特徴とする。
【００１０】
また、本発明の内視鏡装置において、前記動き評価値生成部は、前記フレーム画像記憶部から前記第１フレームの撮像画像を読み出し、読み出した前記第１フレームの撮像画像の画素値と、前記第２フレームの撮像画像の画素値との差分が所定の範囲内にあるかどうかを判定する画素値判定部と、１フレームの撮像画像の範囲内で前記差分が所定の範囲内にある画素の数をカウントし、カウントした画素数に対応する前記評価値を出力する画素数カウンタと、を有し、前記評価値選択部は、他の前記評価値と比較して、前記画素数が多いことを示している前記評価値を選択することを特徴とする。
【００１１】
また、本発明の内視鏡装置において、前記動き評価値生成部は、前記フレーム画像記憶部から前記第１フレームの撮像画像を読み出し、読み出した前記第１フレームの撮像画像の複数の領域のそれぞれについて、前記第２フレームの撮像画像において前記複数の領域のそれぞれに対応する領域とのフレーム間の動き量を検出し、当該動き量に基づいて、前記第２フレームに対応する前記評価値を生成する動き量検出部を有することを特徴とする。
【００１２】
また、本発明の内視鏡装置において、前記動き評価値生成部は、前記フレーム画像記憶部から前記第１フレームの撮像画像を読み出し、読み出した前記第１フレームの撮像画像の複数の領域のそれぞれについて、前記第２フレームの撮像画像において前記複数の領域のそれぞれに対応する領域とのフレーム間の動き量を検出する動き量検出部と、前記動き量を保持する動き量保持部と、前記動き量保持部に保持された第１の動き量と、前記動き量検出部が検出した、前記第１の動き量に係るフレームよりも後のフレームに係る第２の動き量との絶対値の和を算出し、算出した和に対応する前記評価値を出力する動き量加算部と、を有することを特徴とする。
【００１３】
また、本発明の内視鏡装置において、前記撮像部は、２系統の光学系によって結像された２つの像を同一フレームタイミングで撮像して２枚の前記撮像画像を生成し、前記評価値生成部は、前記撮像部から出力された各フレームの２枚の前記撮像画像の一方から、当該一方の撮像画像のぶれを示す第１のぶれ評価値を生成し、２枚の前記撮像画像の他方から、当該他方の撮像画像のぶれを示す第２のぶれ評価値を生成する第１の生成部と、各フレームの前記第１のぶれ評価値と前記第２のぶれ評価値から各フレームの前記評価値を生成する第２の生成部と、を有することを特徴とする。
【００１４】
また、本発明の内視鏡装置において、前記第２の生成部は、各フレームの前記第１のぶれ評価値と前記第２のぶれ評価値のうち、よりぶれが大きいことを示すぶれ評価値を前記評価値として出力することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、プログレッシブスキャン方式の撮像により得られた各フレームの撮像画像から各フレームの評価値を生成し、他のフレームの評価値と比較して、相対的にぶれが少ないことを示している評価値を選択し、選択された評価値に対応するフレームの撮像画像を静止画像として出力することによって、ぶれを低減した静止画像を得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態による内視鏡装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態による内視鏡装置が備える画像処理プロセッサ装置の構成を示すブロック図である。
【図３】本発明の第１の実施形態による内視鏡装置が備える静止画像出力部の構成を示すブロック図である。
【図４】本発明の第１の実施形態による内視鏡装置が備える静止画像出力部の構成を示すブロック図である。
【図５】本発明の第２の実施形態による内視鏡装置が備える静止画像出力部の構成を示すブロック図である。
【図６】本発明の第２の実施形態による内視鏡装置が備える動き評価値生成部の構成を示すブロック図である。
【図７】本発明の第２の実施形態による内視鏡装置が備える画素値比較部の構成を示すブロック図である。
【図８】本発明の第２の実施形態による内視鏡装置が備える画素値比較部の構成を示すブロック図である。
【図９】本発明の第３の実施形態による内視鏡装置が備える動き評価値生成部の構成を示すブロック図である。
【図１０】本発明の第３の実施形態における特定領域を示す参考図である。
【図１１】本発明の第３の実施形態による内視鏡装置が備える動き評価値生成部の構成を示すブロック図である。
【図１２】本発明の第３の実施形態による内視鏡装置が備える動き評価値生成部の構成を示すブロック図である。
【図１３】本発明の第４の実施形態による内視鏡装置が備える撮像部の構成を示すブロック図である。
【図１４】本発明の第４の実施形態による内視鏡装置が備える撮像素子の動作を示すタイミングチャートである。
【図１５】本発明の第４の実施形態による内視鏡装置が備える静止画像出力部の構成を示すブロック図である。
【図１６】本発明の第４の実施形態による内視鏡装置が備えるぶれ評価値生成部の構成を示すブロック図である。
【図１７】本発明の第４の実施形態による内視鏡装置が備える代表評価値生成部の構成を示すブロック図である。
【図１８】本発明の第４の実施形態による内視鏡装置が備える画像処理プロセッサ装置の構成を示すブロック図である。
【図１９】本発明の第４の実施形態による内視鏡装置が備える画像合成部の構成を示すブロック図である。
【図２０】本発明の第４の実施形態における所定の領域を示す参考図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照し、本発明の実施形態を説明する。
【００１８】
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。図１は、本実施形態による内視鏡装置の構成を示している。本実施形態の内視鏡装置は、撮像部１０を内蔵する内視鏡スコープ１１、光源装置１２、画像処理プロセッサ装置１３、表示装置１４、記録装置１５を有する。
【００１９】
撮像部１０は、プログレッシブスキャン方式で撮像を行い、撮像画像を出力する撮像素子を内蔵する。内視鏡スコープ１１は、体腔内に挿入され、撮像部１０から出力された撮像画像を画像処理プロセッサ装置１３に伝送する。光源装置１２は、内視鏡スコープ１１に照明光を供給する。画像処理プロセッサ装置１３は、内視鏡スコープから入力される撮像画像に各種画像処理を施し、画像処理後の撮像画像を表示・記録画像として出力する。表示装置１４は、画像処理プロセッサ装置１３から出力される表示・記録画像を表示する。記録装置１５は、画像処理プロセッサ装置１３から出力される表示・記録画像を媒体に記録する。
【００２０】
次に、内視鏡装置の概略動作を説明する。内視鏡スコープ１１は光源装置１２からの照明光を導光して体腔内の部位を照明する。撮像部１０は、対象部位を撮像し、フレーム毎に撮像画像を出力する。撮像画像は画像処理プロセッサ装置１３に入力され、診断等で必要とされる各種の画像処理が行われる。画像処理が施された後、表示・記録画像が表示装置１４や記録装置１５に出力される。また、診断や病変部の記録を残すために静止画像の表示や記録も行われる。
【００２１】
図２は画像処理プロセッサ装置１３の構成を示している。画像処理プロセッサ装置１３は、静止画像出力部２０、画像切替部２１、画像処理部２２を有する。
【００２２】
静止画像出力部２０は、内視鏡スコープ１１から入力される撮像画像から静止画像を選択して出力する。画像切替部２１は、操作者の操作に基づいて、出力する画像を、内視鏡スコープ１１から入力される撮像画像（動画像）と、静止画像出力部２０から出力される静止画像との間で切り替える。画像処理部２２は、診断等のためのノイズ軽減、色補正、色強調、輪郭強調等の画像処理を行う。
【００２３】
図３は静止画像出力部２０の構成を示している。静止画像出力部２０は、画像記憶部３０、ぶれ評価値生成部３１、ぶれ評価値記憶部３２、ぶれ評価値選択部３３、静止画像選択部３４を有する。
【００２４】
画像記憶部３０は、図示しない操作者からの静止画像の取得指示によって指示された所定の枚数の撮像画像（連続する２以上のフレームの撮像画像）を記憶する。ぶれ評価値生成部３１は、各フレームの撮像画像から、撮像画像のぶれを示すぶれ評価値を生成する。ぶれ評価値記憶部３２は、ぶれ評価値生成部３１によって生成された各フレームのぶれ評価値を記憶する。ぶれ評価値選択部３３は、ぶれ評価値記憶部３２に格納された各フレームのぶれ評価値を比較して、相対的にぶれが少ないことを示しているぶれ評価値を選択し、このぶれ評価値に対応する撮像画像を選択するための画像選択信号を出力する。静止画像選択部３４は、ぶれ評価値選択部３３からの画像選択信号に対応する撮像画像を画像記憶部３０から読み出して静止画像として出力する。
【００２５】
次に、静止画像出力部２０の動作を説明する。撮像画像は画像記憶部３０に格納されると共にぶれ評価値生成部３１に入力される。ぶれ評価値生成部３１は、各フレームの撮像画像について、ぶれ評価値を生成する。生成された各フレームのぶれ評価値はぶれ評価値記憶部３２に格納される。ここで、ぶれ評価値記憶部３２に格納されるぶれ評価値は、画像記憶部３０に格納される撮像画像と関連付けられている。具体的には、それぞれの撮像画像とぶれ評価値に対して、フレーム毎に異なる共通のインデックスが付加される。
【００２６】
ぶれ評価値選択部３３は、ぶれ評価値記憶部３２に蓄積された各フレームのぶれ評価値を読み出して比較し、最もぶれが小さいことを示すぶれ評価値を選択する。ぶれ評価値選択部３３は、選択したぶれ評価値に付加されているインデックス値を画像選択信号として出力する。静止画像選択部３４は、画像選択信号が示すインデックス値に対応する撮像画像を画像記憶部３０から読み出し、静止画像として出力する。
【００２７】
本実施形態では、撮像画像に高周波成分がどの程度含まれているかを検出し、検出結果をぶれ評価値として用いるものとする。図４は、高周波成分をぶれ評価値とした場合のぶれ評価値生成部３１、ぶれ評価値記憶部３２、ぶれ評価値選択部３３周辺の構成を示している。ぶれ評価値生成部３１は高周波成分検出部４０を有し、撮像画像から高周波成分を取り出す。たとえば高周波成分検出部４０は、撮像画像をハイパスフィルタに通し、その結果を１フレームにわたって積算することにより、１フレームの撮像画像内に含まれる高周波成分を抽出する。フレーム毎に抽出された高周波成分は、ぶれ評価値であるフレーム積算値として、ぶれ評価値記憶部３２内の高周波成分積算値記憶部４１に格納される。
【００２８】
ぶれ評価値選択部３３は高周波成分積算値比較部４２を有し、高周波成分積算値記憶部４１に蓄積された各フレームの高周波成分積算値を比較する。一般に、画像がぶれていない場合には画像がぶれている場合に比べ高周波成分が多い、すなわち同じシーンを撮影した画像は高周波成分積算値が高いほどぶれていないと考えられる。そこで、高周波成分積算値比較部４２は、他の高周波成分積算値よりも相対的に高い高周波成分積算値（たとえば高周波成分積算値記憶部４１に蓄積された高周波成分積算値の中で最も高い高周波成分積算値）を選択し、選択した高周波成分積算値に対応する画像選択信号を出力する。これにより、静止画像選択部３４がぶれの少ない撮像画像を選択することができる。
【００２９】
上述したように、本実施形態によれば、各フレームの撮像画像の高周波成分を検出し、高周波成分がより多く含まれる撮像画像を選択することにより、ぶれの少ない静止画像を得ることができる。したがって、症例画像の記録や診断等に適した高画質な静止画像を得ることができる。
【００３０】
本実施形態ではハイパスフィルタにより高周波成分を抽出したが、当然各種変形により、高周波成分を抽出することが可能である。たとえば、ハイパスフィルタを用いる代わりにエッジ抽出を行い、その結果を用いても良い。また、ぶれ評価値を一旦ぶれ評価値記憶部３２に蓄積してからぶれ評価値の比較を行っているが、ぶれ評価値の蓄積時に、現フレームのぶれ評価値と、過去に蓄積したぶれ評価値とを比較し、現フレームのぶれ評価値のほうがよりぶれの少ないことを示している場合のみ、過去に蓄積したぶれ評価値を現フレームのぶれ評価値に置き換えても良い。
【００３１】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。本実施形態による内視鏡装置の全体構成は、第１の実施形態で説明した図１に示す構成と同様であるため、説明を省略する。また、画像処理プロセッサ装置１３内の静止画像出力部２０の全体構成も、第１の実施形態で説明した図３に示す構成と同様となる。
【００３２】
本実施形態ではぶれ評価値として、第１の実施形態と異なり、連続する２フレーム間の動き量を検出する。連続する２フレームのうち、ぶれ評価値の算出の対象となるフレームを対象フレームとし、対象フレームの１つ前のフレームを前フレームとする。図５は、フレーム間の動き量をぶれ評価値とした場合のぶれ評価値生成部３１、ぶれ評価値記憶部３２、ぶれ評価値選択部３３周辺の構成を示している。
【００３３】
ぶれ評価値生成部３１は、フレーム画像記憶部５０、動き評価値生成部５１を有する。フレーム画像記憶部５０は、前フレームの撮像画像を記憶する。動き評価値生成部５１は、フレーム画像記憶部５０から前フレームの撮像画像を読み出し、前フレームの撮像画像と、ぶれ評価値生成部３１に入力された対象フレームの撮像画像とのフレーム間の動きを示す、対象フレームに対応するぶれ評価値である動き評価値を生成する。対象フレーム毎に抽出された動き評価値はぶれ評価値記憶部３２内の動き評価値記憶部５２に格納される。
【００３４】
ぶれ評価値選択部３３は動き評価値比較部５３を有し、動き評価値記憶部５２に蓄積された各対象フレームの動き評価値を比較する。一般に、画像がぶれていない場合には画像がぶれている場合に比べ動き量が少ない、すなわち同じシーンを撮影した画像は動き量が少ないほどぶれていないと考えられる。本実施形態の動き評価値は、動き量が少ないほど大きくなる。そこで、動き評価値比較部５３は、他の動き評価値よりも相対的に大きい動き評価値（たとえば動き評価値記憶部５２に蓄積された動き評価値の中で最も大きい動き評価値）を選択し、選択した動き評価値に対応する画像選択信号を出力する。これにより、静止画像選択部３４がぶれの少ない撮像画像を選択することができる。
【００３５】
本実施形態における動き評価値生成部５１は、前フレームの撮像画像と対象フレームの撮像画像との画素毎の比較によりフレーム間の動きを検出する。図６は動き評価値生成部５１の構成を示している。動き評価値生成部５１は、画素値比較部５１０、画素数カウンタ５１１を有する。
【００３６】
画素値比較部５１０は、前フレームの撮像画像と対象フレームの撮像画像との画素を比較し、両画素の値の差が所定の範囲内にあるかどうかを判定する。図７は画素値比較部５１０の構成を示している。画素値比較部５１０は、差分演算部５１００、差分比較部５１０１を有する。
【００３７】
差分演算部５１００は、前フレームの撮像画像と対象フレームの撮像画像との差分をとった値の絶対値（差分値とする）を画素毎に算出する。差分比較部５１０１は、差分値を所定の閾値と比較する。差分比較部５１０１は、差分値が閾値よりも小さい場合は、差分値を算出した画素を動きのない画素と判定する。差分比較部５１０１は１フレームの撮像画像の所定の範囲内（たとえば１フレームの撮像画像の全体）で画素毎に差分値を算出して判定を行い、画素毎の判定結果を出力する。なお、閾値は固定値でも良いが、たとえば、対象フレームの画素値に比例した値を閾値に設定することにより、より精度の高い検出を行うことも可能である。
【００３８】
再び図６を参照して動き評価値生成部５１の構成を説明する。画素値比較部５１０により、画素毎に動きの有無が検出され、その結果（差分比較部５１０１による画素毎の判定結果）が画素数カウンタ５１１に入力される。画素数カウンタ５１１は、差分値が閾値よりも小さい画素の数すなわち動きのない画素の数をカウントする。つまり、画素数カウンタ５１１は、対象フレーム毎に撮像画像を前フレームの撮像画像と比較した結果に基づき、動きの少ない画素の数をカウントする。このカウント値が動き評価値となる。
【００３９】
上記では、差分値が閾値よりも小さい画素の数をカウントし、この数がより大きいフレームに対応する撮像画像を選択しているが、差分値が閾値よりも大きい画素の数をカウントし、この数がより小さいフレームに対応する撮像画像を選択してもよい。
【００４０】
次に、画素値比較部５１０の変形例を説明する。図８は画素値比較部５１０の構成を示している。画素値比較部５１０は、隣接画素比較部５１０２，５１０３、注目画素判定部５１０４を有する。
【００４１】
この例では、画素値比較部５１０は、対象フレームの注目画素ａ（ｘ，ｙ）に対し、前フレームの左右の隣接画素ａ’（ｘ−１，ｙ）とａ’(ｘ＋１，ｙ)と、前フレームの同位置の画素ａ’（ｘ，ｙ）とから、画素の動きの有無を検出する。なお、ａ（ｘ，ｙ）は、対象フレームの撮像画像における画素位置（ｘは水平位置、ｙは垂直位置）を示している。また、ａ’（ｘ，ｙ）は、前フレームの撮像画像における画素位置（ｘは水平位置、ｙは垂直位置）を示している。
【００４２】
以下では、対象フレームの撮像画像において、動き評価値を算出する画素を注目画素とする。また、前フレームの撮像画像において、対象フレームの注目画素と同一位置の画素を同位置画素とし、同位置画素の左側に隣接する画素を左隣接画素とし、同位置画素の右側に隣接する画素を右隣接画素とする。
【００４３】
隣接画素比較部５１０２は、前フレームの同位置画素と、前フレームの左右の隣接画素との画素値の比較を行う。具体的には、隣接画素比較部５１０２は、前フレームの同位置画素の画素値が左隣接画素の画素値と右隣接画素の画素値との間に入っているかどうか、すなわち以下の（１）式または（２）式の条件が満たされるかどうかを判定する。
ａ’（ｘ＋１，ｙ）＞ａ’（ｘ，ｙ）＞ａ’（ｘ−１，ｙ）  ・・・（１）
ａ’（ｘ−１，ｙ）＞ａ’（ｘ，ｙ）＞ａ’（ｘ＋１，ｙ）  ・・・（２）
【００４４】
すなわち、隣接画素比較部５１０２は、前フレームの同位置画素が左右の隣接画素と連続しているかどうかの判定を行う。ぶれがない画像では、被写体の輪郭等を除いて、水平方向または垂直方向に連続する複数の画素の画素値は、水平方向または垂直方向に見て単調に増加または減少することが多い。つまり、（１）または（２）式を満たす画素が多いほど、撮像画像のぶれは小さくなる。
【００４５】
隣接画素比較部５１０３は、上記と同様に、対象フレームの注目画素と、前フレームの左右の隣接画素との画素値の比較を行う。具体的には、隣接画素比較部５１０３は、対象フレームの注目画素の画素値が前フレームの左隣接画素の画素値と右隣接画素の画素値との間に入っているかどうか、すなわち以下の（３）式または（４）式の条件が満たされるかどうかを判定する。
ａ’（ｘ＋１，ｙ）＞ａ（ｘ，ｙ）＞ａ’（ｘ−１，ｙ）   ・・・（３）
ａ’（ｘ−１，ｙ）＞ａ（ｘ，ｙ）＞ａ’（ｘ＋１，ｙ）   ・・・（４）
【００４６】
前フレームの同位置画素についての比較結果と対象フレームの注目画素についての比較結果とが注目画素判定部５１０４に入力される。前フレームの同位置画素の画素値が左右の隣接画素の画素値の間にない場合（（１）式と（２）式の条件が満たされない場合）には、注目画素判定部５１０４は判定結果を無効として出力する。前フレームの同位置画素の画素値が左右の隣接画素の画素値の間にあり、対象フレームの注目画素の画素値が前フレームの左右の隣接画素の画素値の間にある場合（（１）式または（２）式の条件が満たされ、かつ、（３）式または（４）式の条件が満たされる場合）には、注目画素判定部５１０４は、動きがない画素であることを示す判定結果を出力する。また、前フレームの同位置画素値が左右の隣接画素の画素値の間にあり、対象フレームの注目画素の画素値が前フレームの左右の隣接画素の画素値の間にない場合（（１）式または（２）式の条件が満たされ、かつ、（３）式と（４）式の条件が満たされない場合）には、注目画素判定部５１０４は、動きがある画素であることを示す判定結果を出力する。以上により、注目画素判定部５１０４は、注目画素が動きのある画素かどうかの判定を行う。
【００４７】
以上の変形例によれば、閾値等の設定を行うことなく動きを検出することが可能となる。上記の変形例では左右の隣接画素との比較を行ったが、上下の画素、すなわち１ライン上の画素と１ライン下の画素との比較を行っても良いし、両方を組み合わせることも可能である。
【００４８】
上述したように、本実施形態によれば、各フレームの撮像画像の動き量を検出し、検出した動き量がより少ない撮像画像を選択することにより、ぶれの少ない静止画像を得ることができる。したがって、症例画像の記録や診断等に適した高画質な静止画像を得ることができる。
【００４９】
また、フレーム間で撮像画像の動きを検出し比較することで、各フレームのぶれを予測し、ぶれのない高画質な静止画像を簡易に得ることができる。さらに、フレーム間で撮像画像を比較し、前フレームの撮像画像との差を検出し比較することで、ぶれ量を簡易に検出することができる。
【００５０】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。本実施形態による内視鏡装置の全体構成は、第１の実施形態で説明した図１に示す構成と同様であるため、説明を省略する。また、画像処理プロセッサ装置１３内の静止画像出力部２０の全体構成も、第１の実施形態で説明した図３に示す構成と同様となる。また、静止画像出力部２０内のぶれ評価値生成部３１、ぶれ評価値記憶部３２、ぶれ評価値選択部３３の周辺構成も、第２の実施形態で説明した図５に示す構成と同様となる。
【００５１】
動き評価値生成部５１は、第２の実施形態では前フレームの撮像画像と対象フレームの撮像画像との画素毎の比較によりフレーム間の動きを検出していたが、本実施形態では画像のマッチングによりフレーム間の動き量を検出する。
【００５２】
図９は動き評価値生成部５１の構成を示している。動き評価値生成部５１は動き量検出部５１２を有する。動き量検出部５１２は、対象フレームの撮像画像の複数の特定領域について、前フレームの撮像画像とのブロックマッチングを行い、それぞれの特定領域の動き量（動きベクトル）を検出し、それぞれの動き量の絶対値の平均（加算平均）値を対象フレームの動き量として出力する。
【００５３】
本実施形態の特定領域は撮像画像内の固定位置の画素とその周辺画素を含む。図１０は特定領域の例を示している。たとえば、対象フレームの撮像画像Ｆ１の中央部２カ所に特定領域Ｓ１０，Ｓ１１が設定される。また、前フレームの撮像画像Ｆ２において、対象フレームの撮像画像Ｆ１の特定領域Ｓ１０，Ｓ１１に対応して探索領域Ｓ２０，Ｓ２１が設定される。
【００５４】
動き量検出部５１２は、特定領域１０１と探索領域２０１とのブロックマッチングおよび特定領域１０２と探索領域２０２とのブロックマッチングを行い、各特定領域の動き量を検出し、それらの動き量の絶対値の加算平均値を対象フレームの動き量として出力する。ぶれ評価値選択部３３は、各フレームの動き量を比較し、他の動き量よりも相対的に小さい動き量（たとえば、ぶれ評価値記憶部３２に蓄積された動き量の中で最も小さい動き量）を選択し、選択した動き量に対応する画像選択信号を出力する。これにより、静止画像選択部３４がぶれの少ない撮像画像を選択することができる。
【００５５】
次に、動き評価値生成部５１の第１の変形例を説明する。第１の変形例では動き評価値生成部５１は、動き量を検出する特定領域を適応的に変化させる。図１１は動き評価値生成部５１の構成を示している。動き評価値生成部５１は動き量検出部５１２、特定領域検出部５１３を有する。
【００５６】
動き量検出部５１２は図９の動き量検出部５１２と同様である。対象フレームの撮像画像は特定領域検出部５１３に入力される。特定領域検出部５１３は、対象フレームの撮像画像内から複数の特定領域を検出し、検出した特定領域の情報を動き量検出部５１２に出力する。たとえば、ブロックマッチングにより動きを検出するためには特定領域内にエッジや高周波成分が含まれている必要があるため、特定領域検出部５１３は撮像画像内の高周波成分を検出し、その高周波成分の量が多い領域を特定領域として検出する。また、高周波成分ではなく、患部かどうかの検出を行っても良い。この場合は、患部である可能性が高い、出血や発赤等が領域内にあるかどうかを色情報から検出する方法が考えられる。
【００５７】
次に、動き評価値生成部５１の第２の変形例を説明する。第２の変形例では、動き評価値生成部５１は、対象フレームと前フレーム（第１フレームとする）のフレーム間の動き量だけではなく、対象フレームとその１つ後のフレーム（第２フレームとする）との動き量を検出する。図１２は動き評価値生成部５１の構成を示している。動き評価値生成部５１は、動き量検出部５１２、動き量保持部５１４、動き量加算部５１５を有する。
【００５８】
動き量検出部５１２は図９の動き量検出部５１２と同様である。対象フレームの撮像画像が入力されるとき、動き量検出部５１２が検出した動き量（対象フレームと第１フレームのフレーム間の動き量）は動き量保持部５１４に保持される。ｎ（ｎは自然数）番目のフレームが対象フレームのとき、動き量保持部５１４に保持された動き量は対象フレームと第１フレームのフレーム間の動き量である。ｎ＋１番目のフレームすなわち第２フレームの撮像画像が入力されるとき、動き量検出部５１２が検出した動き量は対象フレームと第２フレームのフレーム間の動き量である。。
【００５９】
動き量加算部５１５は、動き量検出部５１２から出力された、対象フレームと第２フレームのフレーム間の動き量と、動き量保持部５１４に保持された、対象フレームと第１フレームのフレーム間の動き量とを加算し、対象フレームの動き量として出力する。ぶれ評価値選択部３３は、各フレームの動き量を比較し、他の動き量よりも相対的に小さい動き量（たとえば、ぶれ評価値記憶部３２に蓄積された動き量の中で最も小さい動き量）を選択し、選択した動き量に対応する画像選択信号を出力する。これにより、静止画像選択部３４がぶれの少ない撮像画像を選択することができる。
【００６０】
上述したように、本実施形態によれば、各フレームの撮像画像の動き量を検出し、検出した動き量がより少ない撮像画像を選択することにより、ぶれの少ない静止画像を得ることができる。したがって、症例画像の記録や診断等に適した高画質な静止画像を得ることができる。
【００６１】
また、対象フレームの撮像画像と、対象フレームの１つ前の第１フレームの撮像画像と、対象フレームの１つ後の第２フレームの撮像画像とを使用してフレーム間の動き量を検出し比較することで、ぶれが少ないフレームを精度良く検出することができる。
【００６２】
（第４の実施形態）
次に、本発明の第４の実施形態を説明する。本実施形態は、複数の画像を取得する内視鏡に関する。同一フレームで複数の画像を取得する内視鏡として、たとえば、２系統の光学系により取得した画像を合成し、明るさ（ダイナミックレンジ）や、解像度、被写界深度などを拡大したり、視差のある左右の画像を取得し立体画像を取得したりするものが提案されている。本実施形態では、２系統の光学系により、視差のある左右の立体画像を取得する例について説明する。
【００６３】
本実施形態による内視鏡装置の全体構成は、第１の実施形態で説明した図１に示す構成と同様であるため、説明を省略する。第１の実施形態の構成と大きく異なるのは撮像部１０の構成である。図１３は撮像部１０の構成を模式的に示している。撮像部１０は、２系統の光学系１００，１０１、撮像素子１０２を有する。
【００６４】
本実施形態では、視差のある２系統の光学系１００，１０１によって左右の像が１つの撮像素子１０２上の異なる領域に結像される。撮像素子１０２は、２系統の光学系１００，１０１によって結像された２つの像を同一フレームのタイミングで撮像して左右の２枚の撮像画像を生成する。
【００６５】
図１４は、撮像素子１０２が撮像画像を取得するタイミングを示している。垂直同期信号に同期して、フレーム単位で撮像画像が出力される。撮像素子１０２からは、１フレームの前半で左画像が出力され、１フレームの後半で右画像が出力される。
【００６６】
図１５は静止画像出力部２０の構成を示している。静止画像出力部２０は、画像記憶部３５、ぶれ評価値生成部３６、ぶれ評価値記憶部３７、ぶれ評価値選択部３８、静止画像選択部３９を有する。基本的には第１の実施形態の図３に示した構成と同様であるが、画像が２系統となっている。
【００６７】
画像記憶部３５は、フレーム単位で左画像と右画像をセットにして記憶する。ぶれ評価値生成部３６は、各フレームの左画像、右画像のそれぞれについてぶれ評価値を生成し、それらのぶれ評価値から各フレームの代表評価値を生成する。ぶれ評価値記憶部３７は、ぶれ評価値生成部３６によって生成された各フレームの代表評価値を記憶する。ぶれ評価値選択部３８は、ぶれ評価値記憶部３７に格納された各フレームの代表評価値を比較して、相対的にぶれが少ないことを示している代表評価値を選択し、この代表評価値に対応する画像を選択するための画像選択信号を出力する。静止画像選択部３９は、ぶれ評価値選択部３３からの画像選択信号に対応する同一フレームの左画像と右画像を画像記憶部３５から読み出して静止画像として出力する。
【００６８】
図１６はぶれ評価値生成部３６の構成を示している。ぶれ評価値生成部３６は左右評価値生成部５４、代表評価値生成部５５を有する。ぶれ評価値生成部３６に入力された左画像と右画像は左右ぶれ評価値生成部５４に入力される。左右ぶれ評価値生成部５４は、左画像および右画像それぞれのぶれ評価値を生成する。ぶれ評価値の生成方法としては、第１〜第３の実施形態で示したいずれの方法を使ってもよい。左画像から生成されたぶれ評価値と右画像から生成されたぶれ評価値は代表評価値生成部５５に入力される。代表評価値生成部５５は、左画像のぶれ評価値と右画像のぶれ評価値から代表評価値を生成する。本実施形態では、左画像のぶれ評価値と右画像のぶれ評価値のうち、悪いほう（よりぶれが大きいことを示しているほう）を代表評価値として選択する。これは、左右のぶれ評価値が異なる場合に、左右どちらかのぶれ評価値が低い画像が選択されてしまうことを防止するためである。
【００６９】
図１７は代表評価値生成部５５の構成を示している。代表評価値生成部５５はぶれ評価値比較部５５０、代表評価値選択部５５１を有する。ぶれ評価値比較部５５０は左画像および右画像のそれぞれのぶれ評価値を比較し、選択信号を出力する。たとえば、ぶれ評価値として画像内の高周波成分を用いる場合、ぶれ評価値比較部５５０は高周波成分の大小を比較し、ぶれが多いと考えられる、高周波成分が少ない画像に対応するぶれ評価値を選択し、そのぶれ評価値に対応する選択信号を出力する。代表評価値選択部５５１は、選択信号に基づき、左画像および右画像のそれぞれのぶれ評価値のいずれかを代表評価値として出力する。ぶれ評価値選択部３８は、各フレームの代表評価値を比較し、他の代表評価値よりも相対的に大きい代表評価値（たとえば、ぶれ評価値記憶部３７に蓄積された代表評価値の中で最も大きい代表評価値）を選択し、選択した代表評価値に対応する画像選択信号を出力する。これにより、静止画像選択部３９がぶれの少ない左画像および右画像を選択することができる。
【００７０】
次に、本実施形態の変形例を説明する。上記では、２画像から構成される立体画像を取得する内視鏡について説明したが、本変形例では焦点位置の異なる２画像を合成し、被写界深度を拡大した画像を得る内視鏡に本発明を適用する例について説明する。この例は、焦点位置をより近点に合わせた近点画像と、より遠点に合わせた遠点画像とを取得する例である。撮像部１０の全体構成は、図１３に示す構成と同様であるが、本変形例では、画角は同じであるが焦点位置が異なる２系統の像を撮像素子１０２に結像させ、２枚の画像を取得する。
【００７１】
図１８は画像処理プロセッサ装置１３の構成を示している。画像処理プロセッサ装置１３は、静止画像出力部２０、画像切替部２１、画像処理部２２、画像合成部２３を有する。画像処理プロセッサ装置１３に入力された近点画像と遠点画像は、画像合成部２３によって、被写界深度を拡大した画像として合成される。以降の処理は第１の実施形態と同様であり、静止画像出力部２０によって、ぶれの少ない静止画像が出力される。
【００７２】
図１９は画像合成部２３の構成を示している。画像合成部２３は遠近切替検出部６０、遠近画像選択部６１を有する。遠近切替検出部６０には近点画像および遠点画像が入力される。遠近切替検出部６０は、所定の領域毎に、近点画像および遠点画像のどちらが、より焦点が合っているかを検出する。たとえば、画像の高周波成分を検出し、より多くの高周波成分を含む画像を、より焦点が合っている画像とすればよい。検出結果は、より焦点が合っているほうの画像を示す切替信号として出力される。切替信号は所定の領域毎に出力される。出力された切替信号は遠近画像選択部６１に入力される。遠近画像選択部６１は、それぞれ領域毎に、より焦点が合っている画像を選択し、合成画像として出力する。
【００７３】
図２０は、近点画像および遠点画像に設定される所定の領域を示している。近点画像および遠点画像に複数の領域Ｓ３０が設定され、領域Ｓ３０毎に、近点画像および遠点画像のどちらが、より焦点が合っているかが検出され、切替信号が出力される。遠近画像選択部６１は、領域Ｓ３０毎に、切替信号に基づいて、近点画像および遠点画像のうち、より焦点が合っているほうの画像（領域Ｓ３０の画像）を選択し、選択した各領域Ｓ３０の画像を合成することにより合成画像を生成する。
【００７４】
上述したように、本実施形態によれば、１つのフレームの撮像画像が２つの画像で構成される場合や、別々に取得した２つの画像を合成して１つのフレームの撮像画像を生成する場合でも、２つの画像のそれぞれからぶれを検出することで、精度良く、ぶれの少ない静止画像を得ることができる。したがって、症例画像の記録や診断等に適した高画質な静止画像を得ることができる。
【００７５】
また、１つのフレームの撮像画像が２つの画像で構成される場合、２つの画像のぶれ評価値のうち、よりぶれが大きいことを示すぶれ評価値を代表評価値とすることにより、精度良く、２つの画像のいずれについても、ぶれが少ない画像を選択することができる。また、別々に取得した２つの画像を合成して１つのフレームの撮像画像を生成する場合、合成した画像からぶれを検出することにより、精度の高いぶれ検出を行うことができる。
【００７６】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００７７】
１０・・・撮像部、１１・・・内視鏡スコープ、１２・・・光源装置、１３・・・画像処理プロセッサ装置、１４・・・表示装置、１５・・・記録装置、２０・・・静止画像出力部、２１・・・画像切替部、２２・・・画像処理部、２３・・・画像合成部、３０，３５・・・画像記憶部、３１，３６・・・ぶれ評価値生成部（評価値生成部）、３２，３７・・・ぶれ評価値記憶部、３３，３８・・・ぶれ評価値選択部（評価値選択部）、３４，３９・・・静止画像選択部、４０・・・高周波成分検出部、４１・・・高周波成分積算値記憶部、４２・・・高周波成分積算値比較部、５０・・・フレーム画像記憶部、５１・・・動き評価値生成部、５２・・・動き評価値記憶部、５３・・・動き評価値比較部、５４・・・左右評価値生成部（第１の生成部）、５５・・・代表評価値生成部（第２の生成部）、６０・・・遠近切替検出部、６１・・・遠近画像選択部、１００，１０１・・・光学系、１０２・・・撮像素子、５１０・・・画素値比較部（画素値判定部）、５１１・・・画素数カウンタ、５１２・・・動き量検出部、５１３・・・特定領域検出部、５１４・・・動き量保持部、５１５・・・動き量加算部、５５０・・・ぶれ評価値比較部、５５１・・・代表評価値選択部、５１００・・・差分演算部、５１０１・・・差分比較部、５１０２，５０１３・・・隣接画素比較部、５１０４・・・注目画素判定部
【図１】
2013128723.tif 000003
【図２】
2013128723.tif 000004
【図３】
2013128723.tif 000005
【図４】
2013128723.tif 000006
【図５】
2013128723.tif 000007
【図６】
2013128723.tif 000008
【図７】
2013128723.tif 000009
【図８】
2013128723.tif 000010
【図９】
2013128723.tif 000011
【図１０】
2013128723.tif 000012
【図１１】
2013128723.tif 000013
【図１２】
2013128723.tif 000014
【図１３】
2013128723.tif 000015
【図１４】
2013128723.tif 000016
【図１５】
2013128723.tif 000017
【図１６】
2013128723.tif 000018
【図１７】
2013128723.tif 000019
【図１８】
2013128723.tif 000020
【図１９】
2013128723.tif 000021
【図２０】
2013128723.tif 000022