(57)【要約】【課題】より合成に適した画像を用いて合成画像を生成することができる。【解決手段】フレームメモリ１２は、撮影された複数の画像を記憶する。画像選択部１３は、フレームメモリ１２内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択し、複数の画像のうち基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する。合成処理部１４は、画像選択部１３が選択した基準画像に対して、画像選択部１３が選択した合成対象画像を合成して合成画像を生成する。【選択図】図１
2015041924.tif 000002
【特許請求の範囲】
【請求項１】
撮影された複数の画像が記憶されるメモリと、
前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する画像選択部と、
前記画像選択部が選択した前記基準画像に対して、前記画像選択部が選択した前記合成対象画像を合成して合成画像を生成する合成処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、前記合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像の撮影時刻と、撮影時刻が最も新しい画像の撮影時刻との中間の撮影時刻に最も近い画像を前記基準画像として選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻の前に撮影された画像の枚数と、前記基準画像の撮影時刻の後に撮影された画像の枚数とが、最も近づくように、前記基準画像を選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像内の被写体の動き量を推定する動き量推定部
をさらに備え、
前記画像選択部は、前記動き量推定部が推定する推定動き量に基づいて前記基準画像を選択する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記動き量推定部は、複数の画像を比較することで、画像内の被写体の動き量を推定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記動き量推定部は、前記複数の画像を撮影する撮像素子の動き量を検出することで、画像内の被写体の動き量を推定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像の中から、前記基準画像を選択する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像の中から、撮影時刻が最も古い画像と、撮影時刻が最も新しい画像とを、前記基準画像の選択肢から除外する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記画像選択部は、前記メモリ内に記憶される画像の枚数よりも少ない枚数であって、かつ撮影時刻順に連続する所定枚数の画像によって構成される画像区間から前記基準画像を選択するものであって、
前記画像区間は、当該画像区間を構成する複数の画像における、前記推定動き量の積算値が最小となる区間である
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１１】
前記画像選択部は、前記画像区間を構成する複数の画像のうち、撮影時刻が最も古い画像と、撮影時刻が最も新しい画像とを、前記基準画像の選択肢から除外する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記画像選択部は、前記推定動き量が最低となる画像を前記基準画像として選択する
ことを特徴とする請求項５から請求項１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画像選択部は、所定枚数の画像を連続して前記合成対象画像として用いないと判定した場合、前記合成対象画像の判定処理を終了する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１４】
前記メモリ内に記憶される前記複数の画像のノイズ量を推定するノイズ量推定部
を備え、
前記画像選択部は、前記ノイズ量推定部が推定した前記ノイズ量に基づいて、前記合成画像を生成するために必要な画像の枚数である必要合成枚数を決定する
ことを特徴とする請求項１から請求項１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記画像選択部は、選択した基準画像の枚数と選択した合成対象画像の枚数との合計を計数し、その計数結果が前記必要合成枚数に達したならば、合成対象画像の判定処理を終了する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記画像選択部は、前記合成対象画像の枚数を予め決めておき、選択した合成対象画像の枚数が、予め決めた合成対象画像の枚数に到達したかどうかを判定し、予め決めた合成対象画像の枚数に到達したならば、合成対象画像の判定処理を終了する
ことを特徴とする請求項１から請求項１３のいずれか１項に記載の画像処理装置。
【請求項１７】
前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像から、前記合成対象画像を選択する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項１８】
メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、
前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択する基準画像選択ステップと、
前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する合成対象画像選択ステップと、
前記基準画像選択ステップにて選択された基準画像に対して、前記合成対象画像選択ステップにて選択された合成対象画像を合成することで、前記合成画像を生成する合成処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１９】
前記合成対象画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択する
ことを特徴とする請求項１８に記載の画像処理方法。
【請求項２０】
前記基準画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像の撮影時刻と、撮影時刻が最も新しい画像の撮影時刻との中間の撮影時刻に最も近い画像を前記基準画像として選択する
ことを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
前記基準画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻の前に撮影された画像の枚数と、前記基準画像の撮影時刻の後に撮影された画像の枚数とが、最も近づくように前記基準画像を選択する
ことを特徴とする請求項１９に記載の画像処理方法。
【請求項２２】
さらに、他の画像と本画像とを比較することで、前記本画像内の被写体の動き量を推定する動き量推定ステップを含み、
前記基準画像選択ステップでは、前記動き量推定ステップで推定された推定動き量に基づいて前記基準画像を選択する
ことを特徴とする請求項１９に記載の画像処理方法。
【請求項２３】
前記基準画像選択ステップでは、前記動き量推定ステップで推定された動き量が最低の画像を前記基準画像として選択する
ことを特徴とする請求項２２に記載の画像処理方法。
【請求項２４】
前記合成対象画像選択ステップでは、前記推定動き量が予め定めた閾値以下の複数の画像から前記合成対象画像を選択する
ことを特徴とする請求項２２に記載の画像処理方法。
【請求項２５】
メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、
前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択する基準画像選択ステップと、
前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する合成対象画像選択ステップと、
前記基準画像選択ステップにて選択された基準画像に対して、前記合成対象画像選択ステップにて選択された合成対象画像を合成することで、前記合成画像を生成する合成処理ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来より、複数の画像を合成して時間方向のノイズを除去する処理において、フレームメモリに記憶された画像のうち、最初の画像または最後の画像である基準画像に対して後続の画像のみ、もしくは先行の画像のみを順番に合成する方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１８６５９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、基準画像に対して、時間的に前に撮影した画像のみ、もしくは後に撮影した画像のみを使用している。そのため、基準画像に対して時間的に近い画像のうち、使用することができない画像がある。従って、合成に適する画像が少なく、必要な合成枚数（必要なノイズ低減効果）を得ることができない場合がある。また、必要な合成枚数の画像を得るために必要な処理時間が増大する可能性がある。
【０００５】
そこで、本発明の幾つかの態様は、より合成に適した画像を用いて合成画像を生成することができる画像処理装置、画像処理方法およびプログラムを提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様は、撮影された複数の画像が記憶されるメモリと、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択し、前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する画像選択部と、前記画像選択部が選択した前記基準画像に対して、前記画像選択部が選択した前記合成対象画像を合成して合成画像を生成する合成処理部と、を備えることを特徴とする画像処理装置である。
【０００７】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、前記合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択することを特徴とする。
【０００８】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像の撮影時刻と、撮影時刻が最も新しい画像の撮影時刻との中間の撮影時刻に最も近い画像を前記基準画像として選択することを特徴とする。
【０００９】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻の前に撮影された画像の枚数と、前記基準画像の撮影時刻の後に撮影された画像の枚数とが、最も近づくように、前記基準画像を選択することを特徴とする。
【００１０】
また、本発明の他の態様の画像処理装置において、前記画像内の被写体の動き量を推定する動き量推定部をさらに備え、前記画像選択部は、前記動き量推定部が推定する推定動き量に基づいて前記基準画像を選択することを特徴とする。
【００１１】
また、本発明の他の態様の画像処理装置において、前記動き量推定部は、複数の画像を比較することで、画像内の被写体の動き量を推定することを特徴とする。
【００１２】
また、本発明の他の態様の画像処理装置において、前記動き量推定部は、前記複数の画像を撮影する撮像素子の動き量を検出することで、画像内の被写体の動き量を推定することを特徴とする。
【００１３】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像の中から、前記基準画像を選択することを特徴とする。
【００１４】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像の中から、撮影時刻が最も古い画像と、撮影時刻が最も新しい画像とを、前記基準画像の選択肢から除外することを特徴とする。
【００１５】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記メモリ内に記憶される画像の枚数よりも少ない枚数であって、かつ撮影時刻順に連続する所定枚数の画像によって構成される画像区間から前記基準画像を選択するものであって、前記画像区間は、当該画像区間を構成する複数の画像における、前記推定動き量の積算値が最小となる区間であることを特徴とする。
【００１６】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記画像区間を構成する複数の画像のうち、撮影時刻が最も古い画像と、撮影時刻が最も新しい画像とを、前記基準画像の選択肢から除外することを特徴とする。
【００１７】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記推定動き量が最低となる画像を前記基準画像として選択することを特徴とする。
【００１８】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、所定枚数の画像を連続して前記合成対象画像として用いないと判定した場合、前記合成対象画像の判定処理を終了することを特徴とする。
【００１９】
また、本発明の他の態様は、前記メモリ内に記憶される前記複数の画像のノイズ量を推定するノイズ量推定部を備え、前記画像選択部は、前記ノイズ量推定部が推定した前記ノイズ量に基づいて、前記合成画像を生成するために必要な画像の枚数である必要合成枚数を決定することを特徴とする画像処理装置である。
【００２０】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、選択した基準画像の枚数と選択した合成対象画像の枚数との合計を計数し、その計数結果が前記必要合成枚数に達したならば、合成対象画像の判定処理を終了することを特徴とする。
【００２１】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記合成対象画像の枚数を予め決めておき、選択した合成対象画像の枚数が、予め決めた合成対象画像の枚数に到達したかどうかを判定し、予め決めた合成対象画像の枚数に到達したならば、合成対象画像の判定処理を終了することを特徴とする。
【００２２】
また、本発明の他の態様の画像処理装置において、前記画像選択部は、前記推定動き量が予め定めた閾値以下の複数の画像から、前記合成対象画像を選択することを特徴とする。
【００２３】
また、本発明の他の態様は、メモリ内に記憶された複数の画像を合成して合成画像を生成する画像処理方法において、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択する基準画像選択ステップと、前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する合成対象画像選択ステップと、前記基準画像選択ステップにて選択された基準画像に対して、前記合成対象画像選択ステップにて選択された合成対象画像を合成することで、前記合成画像を生成する合成処理ステップと、を含むことを特徴とする画像処理方法である。
【００２４】
また、本発明の他の態様の画像処理方法において、前記合成対象画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻に近い時刻に撮影された画像から順に、合成対象画像として用いるか否かを判定し、前記合成対象画像として用いると判定した画像を前記合成対象画像として選択することを特徴とする。
【００２５】
また、本発明の他の態様の画像処理方法において、前記基準画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像の撮影時刻と、撮影時刻が最も新しい画像の撮影時刻との中間の撮影時刻に最も近い画像を前記基準画像として選択することを特徴とする。
【００２６】
また、本発明の他の態様の画像処理方法において、前記基準画像選択ステップでは、前記メモリ内に記憶された複数の画像のうち、前記基準画像の撮影時刻の前に撮影された画像の枚数と、前記基準画像の撮影時刻の後に撮影された画像の枚数とが、最も近づくように前記基準画像を選択することを特徴とする。
【００２７】
また、本発明の他の態様は、さらに、他の画像と本画像とを比較することで、前記本画像内の被写体の動き量を推定する動き量推定ステップを含み、前記基準画像選択ステップでは、前記動き量推定ステップで推定された推定動き量に基づいて前記基準画像を選択することを特徴とする画像処理方法である。
【００２８】
また、本発明の他の態様の画像処理方法において、前記合成対象画像選択ステップでは、前記推定動き量が予め定めた閾値以下の複数の画像から前記合成対象画像を選択することを特徴とする。
【００２９】
また、本発明は、メモリ内に記憶された複数の画像を合成して合成画像を生成するプログラムにおいて、前記メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択する基準画像選択ステップと、前記複数の画像のうち前記基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する合成対象画像選択ステップと、前記基準画像選択ステップにて選択された基準画像に対して、前記合成対象画像選択ステップにて選択された合成対象画像を合成することで、前記合成画像を生成する合成処理ステップと、をコンピュータに実行させることを特徴とするプログラムである。
【発明の効果】
【００３０】
本発明の幾つかの態様によれば、メモリには、撮影された複数の画像が記憶される。また、画像選択部は、メモリ内に記憶された複数の画像のうち、撮影時刻が最も古い画像および最も新しい画像以外から合成の基準となる基準画像を選択し、複数枚の画像のうち基準画像より撮影時刻が前および後の画像群から、当該基準画像に対して合成する合成対象画像を選択する。また、合成処理部は、画像選択部が選択した基準画像に対して、画像選択部が選択した合成対象画像を合成して合成画像を生成する。これにより、より合成に適した画像を用いて合成画像を生成することができる。
【図面の簡単な説明】
【００３１】
【図１】第１の実施形態における画像処理装置の構成を示したブロック図である。
【図２】第１の実施形態におけるフレームメモリが記憶するフレームの例を示した概略図である。
【図３】第１の実施形態において、撮像素子が画像を撮像するタイミングと撮像素子の位置との関係を示した概略図である。
【図４】従来知られている、フレームＦ０とフレームＦＮとを合成し、合成画像を生成する際の処理手順を示した概略図である。
【図５】第１の実施形態において、時刻ｔ０に撮影したフレームＦ０を基準画像とした場合での、許容される撮像素子の動き量Ｘを示したグラフである。
【図６】第１の実施形態において、時刻ｔＮ／２に撮影したフレームＦＮ／２を基準画像とした場合での、許容される撮像素子の動き量Ｘを示したグラフである。
【図７】第１の実施形態における画像処理装置が合成画像を生成する手順を示したフローチャートである。
【図８】第２の実施形態における画像処理装置の構成を示したブロック図である。
【図９】第２の実施形態における画像処理装置が合成画像を生成する手順を示したフローチャートである。
【図１０】第２の実施形態において、撮像素子の動きの一例を示した概略図である。
【図１１】第２の実施形態において、撮像素子の動き量と、時刻ｔとの関係の一例を示したグラフである。
【図１２】第２の実施形態において、撮像素子の動きの一例を示した概略図である。
【図１３】第２の実施形態において、撮像素子の動き量と、時刻ｔとの関係の一例を示したグラフである。
【図１４】第３の実施形態における画像処理装置の構成を示したブロック図である。
【図１５】第３の実施形態における画像処理装置が合成画像を生成する手順を示したフローチャートである。
【図１６】第４の実施形態における画像処理装置の構成を示したブロック図である。
【図１７】第４の実施形態における画像処理装置が合成画像を生成する手順を示したフローチャートである。
【図１８】第４の実施形態において、フレームメモリ内の各フレームにおける撮像素子の動き量と時刻ｔとの関係の一例を示したグラフである。
【図１９】第４の実施形態において、撮像素子の動き量と、時刻ｔとの関係の一例を示したグラフである。
【図２０】第４の実施形態において、基準画像の選択例を示した概略図である。
【図２１】第５の実施形態における内視鏡装置の構成を示したブロック図である。
【発明を実施するための形態】
【００３２】
（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本実施形態における画像処理装置１０の構成を示したブロック図である。図示する例では、画像処理装置１０は、合成制御部１１とフレームメモリ１２とを備えている。合成制御部１１は、画像選択部１３と合成処理部１４とを備えており、合成画像を生成する。フレームメモリ１２は、入力された映像信号を記憶する。映像信号は、例えば動画像であり、連続して撮影されたフレームを含んでいる。
【００３３】
画像選択部１３は、合成指示が入力されると、フレームメモリ１２が記憶している映像信号に含まれるフレームの中から合成の基準となる基準画像と、基準画像に対して合成する複数の合成対象画像とを選択する。合成処理部１４は、画像選択部１３が選択した基準画像に対して合成対象画像を合成し、合成画像を生成する。合成処理部１４が生成する合成画像は、基準画像の時間方向のノイズを除去した画像である。すなわち、合成処理部１４は、基準画像に対して合成対象画像を合成することにより、基準画像のノイズ除去処理を行う。
【００３４】
次に、フレームメモリ１２が記憶するフレームの例について説明する。図２は、本実施形態におけるフレームメモリ１２が記憶するフレームの例を示した概略図である。図示する例では、フレームメモリ１２は、撮影時刻ｔが異なるＮ枚のフレームＦ０，Ｆ１，Ｆ２・・・ＦＭ−１，ＦＭ，ＦＭ＋１・・・ＦＮ−２，ＦＮ−１，ＦＮを記憶している（Ｎは自然数、Ｍは０以上Ｎ以下の整数）。また、図示する例では、フレームＦ０からフレームＦＮまで順に撮影されており、フレームＦ０の撮影時刻が最も古く、フレームＦＮの撮影時刻が最も新しい。例えば、フレームＦ０の撮影時刻はｔ０であり、フレームＦ１の撮影時刻はｔ１である。その他のフレームＦ２〜ＦＮの撮影時刻も同様にｔ２〜ｔＮである。
【００３５】
次に、フレームメモリ１２に入力される映像信号について説明する。例えば、フレームメモリ１２に入力される映像信号は、内視鏡装置の先端部が備える撮像素子が撮像した映像信号である。図３は、内視鏡装置の先端部に設けられた撮像素子１０４が画像を撮像するタイミングと撮像素子１０４の位置との関係を示した概略図である。図示する例では、撮像素子１０４は、時刻ｔ０から時刻ｔＮまでの間、被写体を撮像する。そして、撮像素子１０４は、時刻ｔ０でフレームＦ０を出力し、時刻ＴＮでフレームＦＮを出力する（図２参照）。また、時刻ｔ０と時刻ｔＮとでは撮像素子１０４の位置が異なっている。この撮像素子１０４の位置の変化量を動き量Ｘとする。図示する例では、時刻ｔ０における撮像素子１０４と時刻ｔＮにおける撮像素子１０４との間の動き量ＸはＸＮである。
【００３６】
従って、被写体が静止している場合には、撮像素子１０４が動いているため、フレームＦ０での被写体の位置とフレームＦＮでの被写体の位置とは異なる。従って、フレームＦ０とフレームＦＮとを合成して合成画像を生成する場合には、フレームＦ０の被写体の位置とフレームＦＮの被写体の位置とが同じ位置となるように位置合わせを行った後に合成処理を行う必要がある。
【００３７】
図４は、フレームＦ０とフレームＦＮとを合成し、合成画像を生成する際の、既知の処理手順を示した概略図である。図示する例では、図３に示した撮像素子１０４が出力したフレームＦ０を基準画像とし、フレームＦＮを合成対象画像としている（フレームについては図２を参照のこと）。また、被写体として「Ａ」という文字を撮影している。また、フレームＦ０とフレームＦＮには共にノイズが含まれている。
【００３８】
図４（Ａ）は、フレームＦ０とフレームＦＮとを重ね合わせた画像を示した概略図である。フレームＦ０を撮影した時刻ｔ０と、フレームＦＮを撮影した時刻ｔＮとでは撮像素子１０４の位置が異なっている。そのため、図示する例では、フレームＦ０における被写体「Ａ」４０１の位置と、フレームＦＮにおける被写体「Ａ」４０２の位置とは、動き量ＸＮだけ異なる。なお、合成対象画像（フレームＦＮ）における被写体「Ａ」が、基準画像（フレームＦ０）における被写体「Ａ」からずれている量をぶれ量とする。
【００３９】
図４（Ｂ）は、フレームＦ０の被写体「Ａ」と、フレームＦＮの被写体「Ａ」の位置を合わせた状態の、互いのフレームを示した概略図である。図示する例では、フレームＦ０が基準画像であるため、合成処理部１４では合成対象画像であるフレームＦＮにおける被写体「Ａ」４０２の位置を、フレームＦ０における被写体「Ａ」４０１の位置に合わせる処理を行う。このようにフレームＦＮの位置を移動させるため、被写体の位置合わせを行った場合には、フレームＦ０とフレームＦＮが重複する領域と、重複しない領域とが生じる。
【００４０】
図４（Ｃ）は、位置合わせを行ったフレームＦ０とフレームＦＮとを加重平均して生成した合成画像５００を示した概略図である。合成画像５００の領域は、基準画像であるフレームＦ０の領域と同一である。図示する例では、フレームＦ０とフレームＦＮとが重複する領域のノイズは低減されている。しかしながら、合成画像５００は、フレームＦ０とフレームＦＮとを加重平均することにより生成されるため、フレームＦ０とフレームＦＮとが重複しない領域５０１は、その輝度が暗くなる。
【００４１】
従って、領域５０１の許容範囲に応じて、許容される合成対象画像の最大ぶれ量が決まる。つまり、合成画像５００を生成する際に用いる合成対象画像には最大ぶれ量が規定される。例えば、領域５０１の許容範囲が広い場合には、合成画像５００を生成する際にぶれ量が大きい合成対象画像を用いることができる。また、領域５０１の許容範囲が狭い場合には、合成画像５００を生成する際にぶれ量が大きい合成対象画像を用いることができない。なお、撮像素子１０４の動き量Ｘが大きくなると合成対象画像のぶれ量が大きくなる。従って、領域５０１の許容範囲に応じて、許容される撮像素子１０４の動き量Ｘが決まる。
【００４２】
次に、基準画像と、許容される撮像素子１０４の動き量Ｘと、合成対象画像として選択が許容される範囲との関係について説明する。
図５は、フレームメモリ１２内に記憶されている複数のフレームのうち、最も撮影時刻が古い時刻ｔ０に撮影したフレームＦ０を基準画像に設定した場合での、許容される撮像素子１０４の動き量Ｘを示したグラフである。図示するグラフの縦軸は、撮像素子１０４の動き量であり、横軸は時刻ｔである。なお、撮像素子１０４は、等速直線運動している。また、許容される撮像素子１０４の動き量ＸをＸａとする。
【００４３】
図示する例では、撮像素子１０４の動き量Ｘは、時刻ｔＭの時点で許容される動き量Ｘａを超える。従って、合成画像５００を生成する際に合成対象画像として用いることができるフレームＦは、時刻ｔ０から時刻ｔＭまでに撮影されたフレームＦ０〜ＦＭである（図２参照）。すなわち、フレームＦ０を基準画像に設定した場合には、時刻ｔＭより後に撮影されたフレームＦＭ＋１〜ＦＮは、合成対象画像として用いることができない。
【００４４】
図６は、本実施形態において、時刻ｔＮ／２に撮影したフレームＦＮ／２を基準画像に設定した場合での、許容される撮像素子１０４の動き量Ｘを示したグラフである。なお、図示するグラフの縦軸、横軸、許容される撮像素子１０４の動き量Ｘａについては図５と同様である。
本実施形態においては、基準画像としては、フレームメモリ１２内において、撮影時刻が最も古い撮影時刻ｔ０にときに撮影したフレームＦ０、及び撮影時刻が最も新しい撮影時刻ｔＮにときに撮影したフレームＦＮを除き、残ったフレームの中から選択される。より具体的には、フレームＦ０の撮影時刻とフレームＦＮの撮影時刻との中間の時刻に最も近い時刻ｔＮ／２に撮影したフレームＦＮ／２が基準画像として選択されている。
【００４５】
図示する例では、時刻ｔＮ／２に撮影したフレームＦＮ／２が基準画像に設定されている。そのため、基準画像であるフレームＦＮ／２を撮影した際の撮像素子１０４の位置と、時刻ｔ０での撮像素子１０４の位置とに基づいた動き量Ｘ、及び、基準画像であるフレームＦＮ／２を撮影した際の撮像素子１０４の位置と、時刻ｔＮでの撮像素子１０４の位置とに基づいた動き量Ｘは、共に許容される動き量Ｘａを超えない。従って、合成画像５００を生成する際には、基準画像であるフレームＦＮ／２より前のフレームのすべて、及び基準画像であるフレームＦＮ／２より後のフレームのすべてを、合成対象画像として用いることができる。すなわち、時刻ｔ０から時刻ｔＮまでに撮影された全てのフレームＦ０〜ＦＮを合成対象画像として用いることができる。
【００４６】
このように、撮影時刻が最も古いフレームＦ０の撮影時刻ｔ０と、撮影時刻が最も新しいフレームＦＮの撮影時刻ｔＮとの中間の時刻ｔＮ／２に最も近い時刻に撮影したフレームＦＮ／２を基準画像として用いることで、フレームメモリ１２が記憶している、より多くのフレームを合成対象画像として用いることができ、これにより高いノイズ低減効果が期待できる。特に、フレームメモリ１２内において、基準画像の撮影時刻よりも古い撮影時刻のフレーム群及びその基準画像の撮影時刻よりも新しい撮影時刻のフレーム群の両方から合成対象画像を選択することで、より多くのフレームを合成対象画像として用いることができる。
【００４７】
なお、本実施形態では、時刻ｔＮ／２に最も近い時刻に撮影したフレームＦＮ／２を基準画像として用いたが、これに限られることはなく、フレームメモリ１２内において、撮影時刻が最も古い撮影時刻ｔ０にときに撮影したフレームＦ０、及び撮影時刻が最も新しい撮影時刻ｔＮにときに撮影したフレームＦＮを除き、残ったフレームの中から基準画像を選択してもよい。
【００４８】
次に、画像処理装置１０が、合成画像を生成する手順について説明する。図７は、本実施形態における画像処理装置１０が合成画像を生成する手順を示したフローチャートである。なお、本実施形態では、フレームメモリ１２には、外部からフレームが一枚ずつ入力される。
【００４９】
（ステップＳ１０１）フレームメモリ１２は、入力されたフレーム（映像信号）を記憶する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）合成制御部１１は、合成指示の入力を受け付けたか否かを判定する。合成指示の入力を受け付けたと合成制御部１１が判定した場合にはステップＳ１０３の処理に進み、それ以外の場合にはステップＳ１０１の処理に戻る。なお、以降の説明では、フレームメモリ１２には複数のフレームが記憶されているものとして説明する。
【００５０】
（ステップＳ１０３）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームのうち、まず、撮影時刻が最も古い撮影時刻に撮影したフレーム、及び撮影時刻が最も新しい撮影時刻に撮影したフレームＦＮを除き、残ったフレーム群の中から基準画像を選択する。なお、本実施形態では、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影したフレームを基準画像として選択する。その後、ステップＳ１０４の処理に進む。
【００５１】
（ステップＳ１０４）画像選択部１３は、基準画像として選択されたフレーム以外の複数のフレームの中から、基準画像として選択したフレームの撮影時刻に最も近いフレームを１つ、参照画像として選択する。参照画像は、合成対象画像を選択する際の合成対象画像の候補となる画像である。その後、ステップＳ１０５の処理に進む。なお、後述するステップＳ１０６の処理を経て再びステップＳ１０４の処理を行う場合には、画像選択部１３は、まだステップＳ１０６の判定処理を行っていないフレームの中から、基準画像として選択したフレームの撮影時刻に最も近いフレームを１つ選択する。なお、画像選択部１３は、基準画像に対して、撮影時刻が古いフレーム及び撮影時刻が新しいフレームの両方から参照画像を順次選択していく。
【００５２】
（ステップＳ１０５）画像選択部１３は、ステップＳ１０４の処理で選択した参照画像としてのフレームを、合成対象画像として用いることができるか否かを判定する。画像選択部１３は、合成対象画像として用いることができると判定したフレームを合成対象画像として設定する。その後、ステップＳ１０６の処理に進む。なお、合成対象画像として用いることができるか否かの判定は、例えば、以下の方法で行われる。画像選択部１３は、基準画像における被写体と参照画像における被写体との位置合わせを行い、基準画像の被写体に対する参照画像における被写体のぶれ量を算出する。そして、算出したぶれ量が閾値未満である場合には合成対象画像として用いることができると判定し、算出したぶれ量が閾値以上である場合には合成対象画像として用いることができないと判定する。なお、閾値は、例えば図４に示した領域５０１の許容範囲に応じて設定する。また、閾値は予め決められていてもよく、任意に設定できるようにしてもよい。
【００５３】
（ステップＳ１０６）画像選択部１３は、フレームメモリ１２が記憶するフレームのうち、基準画像として選択されたフレームを除いた全てのフレームに対して、ステップＳ１０５の判定処理を行ったか否かを判定する。基準画像として選択されたフレームを除く全てのフレームに対して、ステップＳ１０５の処理を行ったと画像選択部１３が判定した場合には、ステップＳ１０７の処理に進み、それ以外の場合にはステップＳ１０４の処理に戻る。
【００５４】
（ステップＳ１０７）合成処理部１４は、ステップＳ１０３の処理で選択した基準画像に対して、ステップＳ１０５の処理で設定した全ての合成対象画像を合成し、合成画像を生成する。その後、処理を終了する。
【００５５】
上述したとおり、本実施形態では、画像選択部１３は、フレームメモリ１２に記憶された複数のフレームの中から、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影されたフレームを基準画像として選択する。また、画像選択部１３は、基準画像の撮影時刻よりも撮影時刻が前のフレーム群および後のフレーム群の両方から、参照画像としてのフレームを選択することが可能となる。そして、画像選択部１３は、参照画像として選択されたフレームのうち、合成対象画像として用いることができるフレームを合成対象画像として設定する。すなわち、基準画像の撮影時刻よりも撮影時刻が前のフレーム群および後のフレーム群の両方から、合成対象画像としてのフレームを選択することが可能となる。このため、本実施形態によれば、画像処理装置１０は、フレームメモリ１２が記憶している、より多くのフレームを合成対象画像として用いて合成画像を生成することができるため、より高いノイズ低減効果が期待できる。
【００５６】
なお、本実施形態では、フレームメモリ１２内において、撮影時刻が最も古い撮影時刻ｔ０にときに撮影したフレームＦ０、及び撮影時刻が最も新しい撮影時刻ｔＮにときに撮影したフレームＦＮを除き、残ったフレームの中から基準画像を選択する好適な例として、フレームメモリ１２に記憶された複数のフレームの中から、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影されたフレームを基準画像として選択したが、これに限定されない。例えば、基準画像として設定するフレームの撮影時刻よりも前に撮影され記憶されたフレームの枚数と、基準画像として設定するフレームの撮影時刻よりも後に撮影され記憶されたフレームの枚数とが、最も近づくように、より好ましくは同一になるように、基準画像を選択してもよい。
【００５７】
なお、上述した例では、画像選択部１３がフレームメモリ１２に記憶されている全てのフレーム（基準画像を除く）を参照画像として選択・設定し、その参照画像のすべてを合成対象画像として用いることができるか否かを判定しているが、これに限らない。例えば、合成対象画像の枚数を予め決めておくこともできる。この場合、ステップＳ１０６では、合成対象画像として設定された枚数を計数し、その計数結果が予め決められた合成対象画像枚数に到達したかどうかを判定する。そして、まだ合成対象画像として用いるか否かの判定を行っていない参照画像が残っていたとしても、合成対象画像として設定された枚数が予め決められた枚数に到達した時点で、ステップＳ１０７の処理に進むようにすればよい。
【００５８】
また、このように、合成対象画像の枚数を予め決めておく場合では、特に、基準画像の撮影時刻と撮影時刻が近いフレームから順に参照画像を選択することは、後段の合成処理の効率化の点で有用である。基準画像の撮影時刻と撮影時刻が近い参照画像は、基準画像に対してぶれ量が小さいフレームである可能性が極めて高いため、設定される合成対象画像は、基準画像とのぶれ量が小さいフレームから優先的に設定される可能性が高くなるからである。よって、合成画像を生成するにあたり効率化を図ることができる。
【００５９】
（第２の実施形態）
次に、本発明の第２の実施形態について図面を参照して説明する。なお、本実施形態では、後述する動き量推定部２１が推定する被写体の動き量に基づいて基準画像を選定する。
図８は、本実施形態における画像処理装置２０の構成を示したブロック図である。図示する例では、画像処理装置２０は、合成制御部１１と、フレームメモリ１２と、動き量推定部２１とを備えている。合成制御部１１と、フレームメモリ１２とは、第１の実施形態における各部と同様である。動き量推定部２１は、被写体の動き量Ｘを推定する。なお、被写体の動き量の推定方法はいくつかある。例えば、新たに入力されたフレームと、このフレームの１つ前に入力されたフレームとの輝度値を比較することで、新たに入力されたフレーム内の被写体の動き量を推定する方法や、被写体そのものの動きがほとんど無い環境においては撮像素子１０４の動き量Ｘをセンサで検出し、検出された撮像素子の動き量Ｘでもって被写体の動き量としてみなす方法など考えられるが、本実施形態における動き量推定部２１はいずれの推定方法を採用しても良い。
なお、ここではフレーム処理として説明しているが、インターレースで処理する場合においては、新たに入力されたインターレース画像と１つ前に入力されたインターレース画像を用いて被写体の動き量Ｘを推定してもよい。
【００６０】
以下、本実施形態における合成画像の生成手順について説明する。図９は、本実施形態における画像処理装置２０が合成画像を生成する手順を示したフローチャートである。なお、ぶれ量については、前述した実施形態の説明と重複するため、極力説明を割愛することとする。
（ステップＳ２０１）フレームメモリ１２は、外部から一枚ずつ入力されるフレーム（映像信号）を記憶する。その後、ステップＳ２０２の処理に進む。
【００６１】
（ステップＳ２０２）動き量推定部２１は、ステップＳ２０１の処理でフレームメモリ１２が記憶したフレームを撮影した際の被写体の動き量Ｘを推定する。その後、ステップＳ２０２の処理に進む。なお、被写体の動き量Ｘは、例えば上述したとおり、ステップＳ２０１の処理でフレームメモリ１２が記憶したフレームと、このフレームの１つ前のフレームとを比較することで推定できる。
【００６２】
（ステップＳ２０３）フレームメモリ１２は、ステップＳ２０２の処理で動き量推定部２１が推定した動き量Ｘを、ステップＳ２０１の処理で記憶したフレームに関連付けて記憶する。その後、ステップＳ２０４の処理に進む。
【００６３】
（ステップＳ２０４）合成制御部１１は、合成指示の入力を受け付けたか否かを判定する。合成指示の入力を受け付けたと合成制御部１１が判定した場合にはステップＳ２０５の処理に進み、それ以外の場合にはステップＳ２０１の処理に戻る。
【００６４】
（ステップＳ２０５）画像選択部１３は、被写体の動き量Ｘが閾値としての規定動き量Ｘａ以下のときに撮影された複数のフレームの中から基準画像を選択する。本実施形態では、画像選択部１３は、被写体の動き量Ｘが規定動き量Ｘａ以下のときに撮影された複数のフレームのうち、撮影時刻が最も古いフレームＦ０と撮影時刻が最も新しいフレームＦＮとを除き、さらに、その残った複数のフレームから被写体の動き量Ｘが最低のときに撮影されたフレームを基準画像として選択する。なお、上記の条件に当てはまるフレームが複数存在する場合には、撮影時刻が最も古いフレームＦ０の撮影時刻ｔ０と、撮影時刻が最も新しいフレームＦＮの撮影時刻ｔＮとの中間の時刻ｔＮ／２に最も近い時刻に撮影したフレームを基準画像として用いる。その後、ステップＳ２０６の処理に進む。
【００６５】
（ステップＳ２０６）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームの中から参照画像を１つ選択する。詳細には、画像選択部１３は、基準画像として選択されたフレーム及びステップＳ２０７の処理を既に行ったフレームを除き、残ったフレームの中から基準画像の撮影時刻に最も近いフレームを選択し、その選択したフレームの推定動き量Ｘが後述する閾値となる既定の規定動き量Ｘａ未満であれば、その選択したフレームを参照画像として選択する。つまり、合成対象画像は、推定動き量Ｘが規定動き量Ｘａ未満のフレーム群から選択されることになる。言い換えると、画像選択部１３は、各フレームに関連付けて記憶されている推定動き量Ｘを読み出し、その推定動き量Ｘが規定動き量Ｘａ以上のフレームを参照画像、すなわち合成対象画像として選択しないようにしている。この処理により、後述する合成対象画像か否かの判定の処理の負荷を軽減することが可能となる。その後、ステップＳ２０７の処理に進む。
【００６６】
（ステップＳ２０７）画像選択部１３は、ステップＳ２０６の処理で選択した参照画像を合成対象画像として用いることができるか否かを判定する。合成対象画像として用いることができるか否かの判定及び合成対象画像の設定の処理は、第１の実施形態と同様であるので説明を割愛する。その後、ステップＳ２０８の処理に進む。
【００６７】
（ステップＳ２０８）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームのうち基準画像として選択されたフレーム及び推定動き量Ｘが規定動き量Ｘａ以上のフレームを除く全てのフレームに対して、ステップＳ２０７の処理を行ったか否かを判定する。画像選択部１３が、全てのフレームに対して、ステップＳ２０７の処理を行ったと判定した場合にはステップＳ２０８の処理に進み、それ以外の場合にはステップＳ２０６の処理に戻る。
【００６８】
（ステップＳ２０９）合成処理部１４は、選択された基準画像に対して、ステップＳ２０７の処理で設定した合成対象画像を合成することで、合成画像を生成する。その後、処理を終了する。
【００６９】
なお、被写体の動き量Ｘが規定動き量Ｘａ以上の場合、被写体のぶれ量が許容値を超えて撮影される。そのため、被写体の動き量Ｘが規定動き量Ｘａ以上のときに撮影されたフレームを、参照画像に用いないことが、合成処理の効率化の観点で望ましい。つまり、画像処理装置２０は、被写体の動き量Ｘが規定動き量Ｘａ未満の時に撮影されたフレームのみを用いて合成対象画像として用いるか否かを判定することが、合成処理の効率化の観点で望ましいといえる。さらに言い換えると、画像処理装置２０は、被写体の動き量Ｘが規定動き量Ｘａ未満の時に撮影されたフレームから合成対象画像を選択することになるので、合成処理の効率化の観点で望ましいといえる。
このため、本実施形態では、被写体の動き量Ｘが規定動き量Ｘａ以上のときに撮影されたフレームを参照画像として選択しないことで、合成対象画像か否かの判定の処理の負荷を軽減している。
【００７０】
なお、閾値としての規定動き量Ｘａは、予め決められていてもよく、任意に設定できるようにしてもよい。例えば、シャッター速度が速い場合には、撮像素子１０４の速度が速くても被写体の動き量は小さくぶれにくい。また、シャッター速度が遅い場合には、撮像素子１０４の速度が遅くても被写体の動き量は大きくなりぶれやすい。そのため、シャッター速度が速い場合には規定動き量Ｘａをより遅い速度に設定し、シャッター速度が遅い場合には規定動き量Ｘａをより速い速度に設定するようにしてもよい。このように、フレームを撮影する際のシャッター速度によって規定動き量Ｘａは異なるため、規定動き量Ｘａは、シャッター速度に応じて変更するようにしてもよい。
【００７１】
本実施形態の理解を促進する上で、被写体の動きの要因が撮像素子の動きにあるものと捉え、撮像素子１０４の動き方に応じて、本実施形態がどのように適用されるかを、以下参考例を用いて説明する。
まず、撮像素子１０４が規則的な振動をしている参考例１について説明する。図１０は撮像素子１０４の動きの一例を示した概略図、図１１は撮像素子１０４が図１０に図示するような振動運動を行った場合の、各フレームの撮影時における撮像素子１０４の動き量Ｘと、撮影時刻ｔとの関係を示したグラフである。図示する例では、撮像素子１０４は時刻ｔ０〜ｔＮまでの間、規則的な振動を行っている。
【００７２】
図示する例では、時刻ｔ０から時刻ｔＮまで撮像素子１０４の動き量Ｘは、常に規定動き量Ｘａ未満である。従って、画像選択部１３は、時刻ｔ０から時刻ｔＮまでに撮影された全てのフレームＦ０〜ＦＮを基準画像および参照画像として用いることができると判定する。
【００７３】
次に、本参考例１における基準画像の選択方法について説明する。画像選択部１３は、図９のステップＳ２０５にて説明したように、まず、撮像素子１０４の動き量Ｘが規定動き量Ｘａ以下のときに撮影されたフレームのうち、撮影時刻が最も古いフレームＦ０と撮影時刻が最も新しいフレームＦＮとを除く。そして画像選択部１３は、残ったフレームの中から、撮像素子１０４の動き量が最低のときに撮影されたフレームＦＸとフレームＦＺとを選択し、これらを基準画像の候補フレームとする。
【００７４】
このように、基準画像の選定条件に当てはまるフレームが複数存在する場合には、撮影時刻が最も古いフレームＦ０の撮影時刻ｔ０と、撮影時刻が最も新しいフレームＦＮの撮影時刻ｔＮとの中間の時刻ｔＮ／２に最も近い時刻に撮影したフレームを基準画像として用いる。従って、本参考例１では、画像選択部１３は、フレームＦＺを基準画像として選択する。そして、時刻ｔ０から時刻ｔＮまでに撮影された全てのフレームＦ０〜ＦＮから基準画像を除いたフレーム群が参照画像の候補となる。
【００７５】
次に参照画像の選択方法について説明する。本参考例１では、図１１に示すように、参照画像の候補となる全てのフレームが、規定動き量Ｘａを下回る動き量のときに撮影されている。このため、基準画像を除くフレームメモリ１２内のすべてのフレームが参照画像として選択されうる。
【００７６】
次に、撮像素子１０４が不規則に動く参考例２について説明する。図１２は、撮像素子１０４の動きの一例を示した概略図、図１３は、撮像素子１０４が図１２に図示するような不規則な運動を行った場合の、各フレームの撮影時における撮像素子１０４の動き量Ｘと、撮影時刻ｔとの関係を示したグラフである。図示する例では、撮像素子１０４は時刻ｔ０〜ｔＮまでの間、不規則に動いている。
【００７７】
図示する例では、撮像素子１０４の動き量が規定動き量Ｘａ以上のときに撮影されたフレームが存在する。例えば、フレームＦＹがそうであり、図示するように、フレームＦＹにおける被写体「Ａ」４０３のぶれは大きい。
また、例えば、フレームＦＸとフレームＦＺとは、撮像素子１０４の動き量Ｘが規定動き量Ｘａ未満のときに撮影されたフレームである。従って、画像選択部１３は、撮像素子１０４の動き量Ｘが規定動き量Ｘａ未満のときに撮影されたフレーム群（フレームＦＸとフレームＦＺとを含む）を、基準画像および参照画像として用いることができると判定する。
【００７８】
次に、本参考例２における基準画像の選択方法について説明する。画像選択部１３は、図９のステップＳ２０５にて説明したように、まず、撮像素子１０４の動き量Ｘが規定動き量Ｘａ未満のときに撮影されたフレームのうち、撮影時刻が最も古いフレームＦ０と撮影時刻が最も新しいフレームＦＮとを除く。そして画像選択部１３は、残ったフレームの中から、撮像素子１０４の動き量Ｘが最低のときに撮影されたフレームＦＸを選択し、これを基準画像として選択し、設定する。
【００７９】
次に、参照画像の選択方法について説明する。画像選択部１３は、基準画像の撮影時刻に近いフレームから順に、推定動き量Ｘが規定動き量Ｘａ未満かどうかを判断しながら参照画像を選択していく。本参考例２では、図１３に示すように、フレームメモリ１２内の複数のフレームの中には、推定動き量Ｘが規定動き量Ｘａ以上のフレームが存在している。例えばフレームＦＹである。
【００８０】
画像選択部１３は、各フレームに関連付けてフレームメモリ１２内に記憶された各フレームの推定動き量Ｘを読み出し、フレームＦＹのような推定動き量Ｘが既定動き量Ｘａ以上のフレームをそもそも参照画像として選択せず、次あるいは別のフレームを確認しにいく。この結果、画像選択部１３は、推定動き量Ｘが既定動き量Ｘａ未満のフレームのみを参照画像として選択することになる。このため、本参考例２の場合、参照画像として選択されるフレームの枚数が、上述した参考例１に比して少なくなる。しかしながら、推定動き量Ｘが規定動き量Ｘａ以上のフレームは、そもそも合成対象画像にはなり得ないことが明白である故、そのようなフレームを合成対象画像か否かの判定処理にまわすことは、処理速度の低下や処理の高負荷を招くことになる。よって、そのような不適格フレームを合成対象画像か否かの判定処理にまわすことなく、その前段の処理である参照画像の選択処理の際に参照画像として選択しないことで、合成対象画像か否かの判定処理の負荷軽減につながり、処理の効率化が図れる。
【００８１】
上述したとおり、本実施形態では、画像選択部１３は、被写体の動き量Ｘが規定動き量Ｘａ以下のときに撮影された複数のフレームの中から、基準画像を選択する。より好ましくは、被写体の動き量Ｘが規定動き量Ｘａ以下のときに撮影された複数のフレームの中から、撮影時刻が最も古いフレームＦ０と撮影時刻が最も新しいフレームＦＮとを除くと共に、残った複数のフレームの中から被写体の動き量Ｘが最低のときに撮影されたフレームを基準画像として選択する。もし被写体の動き量Ｘが最低のときに撮影されたフレームが複数ある場合には、画像選択部１３は、撮影時刻が最も古いフレームＦ０の撮影時刻ｔ０と、撮影時刻が最も新しいフレームＦＮの撮影時刻ｔＮとの中間の時刻ｔＮ／２に最も近い時刻に撮影したフレームを基準画像として選択する。
【００８２】
また、画像選択部１３は、基準画像よりも撮影時刻が前および後のフレームの両方から、被写体の動き量Ｘが規定動き量Ｘａ未満のときに撮影されたフレームのみを参照画像として選択する。つまり、合成対象画像として不適切であることが明らかなフレームを、合成対象画像か否かを判定する処理にまわさない、即ち合成対象画像として選択することができないようにすることで、当該処理の負荷を軽減することができる。
【００８３】
なお、上述した例では、参照画像として選択された全てのフレームに対して合成対象画像として用いることができるか否かを判定しているが、これに限らない。例えば、あらかじめ所定の枚数を設定しておき、合成対象画像として設定されたフレーム数がその所定枚数に達した時点で、まだ未判断の参照画像が残っていたとしても、ステップＳ２０９の処理に進むようにしてもよい。特に、この場合、合成対象画像か否かの判断処理を、基準画像の撮影時刻により近い参照画像から優先的に行うことで、より合成画像の生成処理を効率的に行うことが可能となる。
【００８４】
なお、被写体の動き量を推定する方法は、既知の技術を用いても良い。例えば、連続する２枚のフレームのそれぞれの輝度値を比較することで、あるいは、撮像素子の動き量をセンサで検出することで、被写体の動きを推定しても良い。さらに、被写体の動き量を直接求めもよいし、また被写体の動き量に代えられる他の動き量含めた要素を求めてもよい。例えば、フレームの撮影間隔がわかっている場合には、動き量の代わりに速度、即ち被写体や撮像素子の速度を求めてもよい。
【００８５】
（第３の実施形態）
次に、本発明の第３の実施形態について図面を参照して説明する。本実施形態では、各フレームに含まれるノイズ量に基づいて、基準画像と合成対象画像との合計の必要最低限枚数（以下、必要合成枚数と称する）を設定する。
図１４は、本実施形態における画像処理装置３０の構成を示したブロック図である。図示する例では、画像処理装置３０は、合成制御部１１と、フレームメモリ１２と、ノイズ量推定部３１とを備えている。合成制御部１１と、フレームメモリ１２とは、第２の実施形態における各部と同様である。
【００８６】
ノイズ量推定部３１は、フレームのノイズ量を推定する。ノイズ量の推定方法としては、例えば、ゲイン値に基づいて推定する。ノイズ量推定部３１は、ＡＥ制御等により決定されるゲイン値を用いる。一般的にゲイン値が高いほどノイズ量は増え、ゲイン値が低いほどノイズ量は減る。よって、例えば、ゲイン値が高い場合にはノイズ量推定部３１が推定するノイズ量はより多くなり、ゲイン値が低い場合にはノイズ量推定部３１が推定するノイズ量はより少なくなる。なお、フレームのノイズ量を推定することができる方法であれば、どのような方法を用いてもよい。
【００８７】
一般的には、合成するフレーム（合成対象画像）の枚数が多くなるほど、ノイズの除去量も多くなる。従って、本実施形態では、ノイズ量推定部３１が推定したノイズ量が多い場合には、画像選択部１３は合成対象画像の枚数を多く設定する。また、ノイズ量推定部３１が推定したノイズ量が少ない場合には、画像選択部１３は合成対象画像の枚数を少なく設定する。以下では、ノイズ量に応じて必要とする合成対象画像の枚数に、基準画像の枚数（１枚）を加えた枚数を、必要合成枚数Ｋと呼ぶことにする。
【００８８】
次に、本実施形態における合成画像の生成手順について説明する。図１５は、本実施形態における画像処理装置３０が合成画像を生成する手順を示したフローチャートである。なお、第１，２の実施形態で説明した内容と重複する場合には、極力説明を割愛することとする。
（ステップＳ３０１）フレームメモリ１２は、外部から一枚ずつ入力されるフレーム（映像信号）を記憶する。
【００８９】
（ステップＳ３０２）ノイズ量推定部３１は、フレームメモリ１２が記憶する各フレームのノイズ量を推定する。その後、ステップＳ３０３の処理に進む。
（ステップＳ３０３）フレームメモリ１２は、ステップＳ３０２の処理でノイズ量推定部２１が推定したノイズ量を、ステップＳ３０１の処理で記憶したフレームに関連付けて記憶する。その後、ステップＳ３０４の処理に進む。
（ステップＳ３０４）合成制御部１１は、合成指示の入力を受け付けたか否かを判定する。合成指示の入力を受け付けたと合成制御部１１が判定した場合にはステップＳ３０５の処理に進み、それ以外の場合にはステップＳ３０１の処理に戻る。
【００９０】
（ステップＳ３０５）ノイズ量推定部３１は、フレームメモリ１２に記憶された各フレームのノイズ量に基づき、フレームメモリ１２に記憶されたフレームのノイズ量の平均値を算出する。その後、ステップＳ３０６の処理に進む。
（ステップＳ３０６）画像選択部１３は、ステップＳ３０５の処理で算出されたノイズ量の平均値に基づいて、必要合成枚数Ｋを算出する。その後、ステップＳ３０７の処理に進む。
【００９１】
（ステップＳ３０７）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームのうち、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影したフレームを基準画像として選択する。この処理は、図７のステップＳ１０３と同様である。その後、ステップＳ３０８の処理に進む。
【００９２】
（ステップＳ３０８）画像選択部１３は、フレームメモリ１２が記憶する複数のフレームの中から参照画像を１つ選択する。詳細には、参照画像は、基準画像として選択されたフレーム及びステップＳ３０９の処理を既に行ったフレームを除き、残ったフレームの中から、基準画像の撮影時刻に最も近いフレームから優先的に選択される。この処理は、図９のステップＳ２０６と同様である。すなわち、後述する合成対象画像の選択は、基準画像の撮影時刻に最も近いフレームから優先的に選択される。その後、ステップＳ３０９の処理に進む。
【００９３】
（ステップＳ３０９）画像選択部１３は、ステップＳ３０８の処理で選択した参照画像を合成対象画像として用いることができるか否かを判定する。判定処理の方法は図７のステップＳ１０５と同様であるので、ここでは説明を割愛する。画像選択部１３は、合成対象画像として用いることができると判定した参照画像を、合成対象画像として設定する。その後、ステップＳ３１０の処理に進む。
【００９４】
（ステップＳ３１０）画像選択部１３は、基準画像の枚数と、設定された合成対象画像の枚数との合計が、ステップＳ３０６の処理で求めた必要合成枚数Ｋと同じか否かを判定する。画像選択部１３が「同じ」であると判定した場合には、まだ参照画像として選択していないフレームが残っていたとしても、合成対象画像として用いることができるか否かを判定する処理を終了する。そしてステップＳ３１１の処理に進む。また、画像選択部１３が「同じでない（Ｋに達していない）」と判定した場合には、ステップＳ３０８の処理に戻り、基準画像の枚数と、設定された合成対象画像の枚数との合計が、必要合成枚数Ｋに達するまでステップＳ３０８、Ｓ３０９の処理を繰り返す。
【００９５】
（ステップＳ３１１）合成処理部１４は、ステップＳ３０７の処理で選択された基準画像に対して、ステップＳ３０９の処理で選択された合成対象画像（（Ｋ−１）枚）を合成し、合成画像を生成する。その後、処理を終了する。
【００９６】
上述したとおり、本実施形態によれば、画像選択部１３は、フレームメモリ１２が記憶する複数のフレームのうち、撮影時刻が最も古いフレームの撮影時刻と、撮影時刻が最も新しいフレームの撮影時刻との中間の時刻に最も近い時刻に撮影したフレームを基準画像として選択する。
また、ノイズ量推定部３１は、各フレームのノイズ量を推定し、その平均値を求める。また、画像選択部１３は、ノイズ量推定部３１が求めたノイズ量の平均値に基づいて、合成画像の生成に用いるフレームの枚数（必要合成枚数Ｋ）を決定する。そして、この必要合成枚数Ｋ分だけ用いて合成処理を行う。従って、合成処理部１４は、ノイズ量に応じた枚数のフレームのみ、即ち必要最低限の枚数のフレームを用いて合成画像を生成するため、合成処理の負荷を軽減することができる。
また、画像選択部１３によって選択される合成対象画像は、基準画像の撮影時刻に近い、比較的ぶれの小さいフレームから優先的に設定されうるので、より合成画像の生成処理を効率的に行うことが可能となる。
【００９７】
（第４の実施形態）
次に、本発明の第４の実施形態について図面を参照して説明する。本実施形態では、基準画像を選択する前に、複数枚（フレームメモリに記憶されているフレーム枚数よりも少ない枚数）のフレームからなるフレーム区間を、被写体の推定動き量Ｘに基づいて設定する。言い換えると、被写体の推定動き量Ｘに基づいて、撮影時刻順に連続する複数枚のフレームからなる基準画像選定フレーム区間を設定し、その基準画像選定フレーム区間を構成する複数のフレームの中から基準画像を選択するようにしている。
なお、本実施形態では、フレーム区間を構成するフレームの枚数を必要合成枚数Ｋであり、基準画像選定フレーム区間は推定動き量の積算値が最小となるフレーム区間として説明する。
【００９８】
図１６は、本実施形態における画像処理装置４０の構成を示したブロック図である。図示する例では、画像処理装置４０は、合成制御部１１と、フレームメモリ１２と、動き量推定部２１と、ノイズ量推定部３１とを備えている。合成制御部１１と、フレームメモリ１２と、動き量推定部２１とは、第２の実施形態における各部と同様である。ノイズ量推定部３１は、第３の実施形態におけるノイズ量推定部３１と同様である。
【００９９】
図１７は、本実施形態における画像処理装置４０が合成画像を生成する手順を示したフローチャートである。なお、第１，２，３の実施形態で説明した内容と重複する場合には、極力説明を割愛することとする。
（ステップＳ４０１）フレームメモリ１２は、外部から一枚ずつ入力されるフレーム（映像信号）を記憶する。
【０１００】
（ステップＳ４０２、Ｓ４０３）動き量推定部２１は、ステップＳ４０１の処理でフレームメモリ１２に記憶されている各フレームについて、そのフレームが撮影された際の被写体の動き量Ｘを推定する。その後、フレームメモリ１２は、推定した動き量Ｘを、フレームに関連付けて記憶する。なお、この処理は図９のステップＳ２０２、Ｓ２０３と同様である。
【０１０１】
（ステップＳ４０４、Ｓ４０５）ノイズ量推定部３１は、フレームメモリ１２が記憶する各フレームのノイズ量を推定する。その後、フレームメモリ１２は、推定されたノイズ量をフレームに関連付けて記憶する。なお、この処理は図１５のステップＳ３０２、Ｓ３０３と同様である。
【０１０２】
（ステップＳ４０６）合成制御部１１は、合成指示の入力を受け付けたか否かを判定する。合成指示の入力を受け付けたと合成制御部１１が判定した場合にはステップＳ４０７の処理に進み、それ以外の場合にはステップＳ４０１の処理に戻る。
【０１０３】
（ステップＳ４０７）ノイズ量推定部３１は、フレームメモリ１２に記憶された各フレームのノイズ量に基づき、フレームメモリ１２に記憶されたフレームのノイズ量の平均値を算出する。その後、ステップＳ４０８の処理に進む。
（ステップＳ４０８）画像選択部１３は、ステップＳ４０７の処理でノイズ量推定部３１が算出したノイズ量の平均値に基づいて、合成画像の生成に用いる必要最低限のフレーム枚数、即ち基準画像と合成対象画像のそれぞれの合計の枚数である必要合成枚数Ｋを算出する。その後、ステップＳ４０９の処理に進む。なお、この処理は図１５のステップＳ３０６と同様である。
【０１０４】
（ステップＳ４０９）画像選択部１３は、基準画像を選択するにあたり、まず、フレームメモリ１２内の複数のフレームから、閾値となる規定動き量Ｘａ未満のフレームがＫ枚含まれるフレーム区間を特定する。フレーム区間は、撮影時刻が古いフレームを先頭とする、連続する複数フレーム群である。そして、フレーム区間の先頭フレームを１つずつ後ろにずらすことで、複数のフレーム区間を順次特定していく。この処理について、図１８を参照して説明する。
【０１０５】
図１８は、フレームメモリ１２内の各フレームにおける撮像素子１０４の動き量Ｘと、時刻ｔとの関係の一例を示したグラフである。グラフ内の丸印はフレームを示し、黒丸は規定動き量Ｘａ未満のフレーム、白丸は規定動き量Ｘａ以上のフレームを示す。
【０１０６】
画像選択部１３は、まず撮影時刻が最も古い撮影時刻ｔ０のときに撮影されたフレームＦ０を先頭とするフレーム区間Ｔ０を特定する。先頭フレームであるフレームＦ０の推定動き量Ｘをフレームメモリ１２から読み出し、その推定動き量Ｘが規定動き量Ｘａ未満か否かを判断する。推定動き量Ｘが規定動き量Ｘａ未満であれば、画像選択部１３は、フレームＦ０が規定動き量Ｘａ未満のフレームであるとして計数する。画像選択部１３は、フレームＦ０の判断が終了したならば、フレームＦ０の次に撮影されたフレームＦ１について、その推定動き量Ｘが規定動き量Ｘａ未満か判断し、推定動き量Ｘが規定動き量Ｘａ未満であれば、フレームＦ０を規定動き量Ｘａ未満のフレームとして計数する。この処理を、計数した枚数が必要合成枚数Ｋに達するまで繰り返す。そして、計数結果が必要合成枚数Ｋに達したところで、Ｋ枚目として計数されたフレームをフレーム区間Ｔ０の末尾フレームとする。こうすることで、フレーム区間Ｔ０を特定する。なお、図１８ではＫ＝９の例について図示されており、フレーム区間Ｔ０はフレームＦ０からフレームＦ１１までの区間となる。
【０１０７】
画像選択部１３は、フレーム区間Ｔ０が特定できたならば、次のフレーム区間を特定する。先頭となるフレームを、次に撮影されたフレームＦ１にずらし、このフレームＦ１を先頭フレームとするフレーム区間Ｔ１の特定処理に移行する。以降、フレーム区間Ｔ０の特定作業と同様に、規定動き量Ｘａ未満のフレームの探索及びその枚数の計数を行い、計数結果が必要合成枚数Ｋに達した時点でそのフレームをフレーム区間の末尾に設定し、フレーム区間Ｔ１を特定する。画像選択部１３はこの処理を、フレームメモリ１２内に記憶されているフレームの中で、撮影時刻が最も新しいフレームＦＮを先頭フレームに設定するまで繰り返す。そして、画像選択部１３は、フレーム区間内に規定動き量Ｘａ未満のフレームがＫ枚含まれなかった区間については、その区間をフレーム区間として設定しない。以上の処理を行うことで、フレーム区間Ｔ０，Ｔ１，Ｔ２，Ｔ３・・・が特定される。
【０１０８】
（ステップＳ４１０）次に画像選択部１３は、特定された複数のフレーム区間Ｔ０，Ｔ１，Ｔ２，Ｔ３・・・の中から、被写体の動き量Ｘの積算値が最小となる基準画像選定フレーム区間を特定する。画像選択部１３は、各フレーム区間に含まれる規定動き量Ｘａ未満のフレームに基づいて、それぞれの推定動き量の積算値を各フレーム区間毎に算出する。そして、画像選択部１３は、この算出処理をステップＳ４０９で求めた全てのフレーム区間Ｔ０，Ｔ１，Ｔ２，Ｔ３・・・に対して行う。そして画像選択部１３は、算出した動き量の積算値が最も小さいフレーム区間を基準画像選定フレーム区間として特定する。
【０１０９】
図１９には、複数のフレーム区間の中から、フレームＦ０を先頭とするフレーム区間Ｔ０とフレームＦｓを先頭とするフレーム区間Ｔｓのみを表示したグラフが示されている。フレーム区間Ｔｓに含まれる、規定動き量Ｘａ未満のフレームにおける被写体の推定動き量Ｘは、全般的にフレーム区間Ｔ０に含まれる規定動き量Ｘａ未満のフレームにおけるそれよりも小さかったとする。このような場合、画像選択部１３は、フレーム区間Ｔｓを基準画像選定フレーム区間として特定する。
【０１１０】
（ステップＳ４１１）画像選択部１３は、特定した基準画像選定フレーム区間に含まれる複数のフレームから基準画像を選択する。具体的には、画像選択部１３は、まず基準画像選定フレーム区間内の、撮影時刻が最も古いフレームと、撮影時刻が最も新しいフレームとを基準画像の候補から除外する。そして、残りのフレームの中から、被写体の推定動き量Ｘが最低のときに撮影されたフレームを基準画像として選択する。
【０１１１】
この処理を、図２０を参照して説明する。図２０は、図１９で示した基準画像選定フレーム区間Ｔｓに関して、グラフ内に黒丸でフレームを示している。画像選択部１３は、まず、基準画像選定フレーム区間Ｔｓ内の先頭フレームＦｓと末尾フレームＦｔとを、基準画像の候補から除外する。そして残ったフレームについて推定動き量をフレームメモリ１２から読み出し、推定動き量が最も小さいフレームを探索する。そして画像選択部１３は、撮影時刻ｔｍのときに撮影されたフレームＦｍを基準画像として選択する。
【０１１２】
（ステップＳ４１２）画像選択部１３は、基準画像の選択処理が終了した後、次に参照画像の選択処理に移行する。画像選択部１３は、まずフレームメモリ１２内の複数のフレームの中から、基準画像及び後述するステップＳ４１３の処理を既に行ったフレームを除く。そして、残ったフレームの中から、基準画像の撮影時刻に最も近いフレームを参照画像の候補として選択する。次に、参照画像の候補として選択したフレームの動き量Ｘが規定動き量Ｘａ未満であれば、画像選択部１３は、選択したフレームを参照画像として選択する。もし、参照画像の候補として選択したフレームの動き量が規定動き量Ｘａ以上の場合には、当該フレームの次に基準画像の撮影時刻に近いフレームを参照画像の候補として選択する。この処理は、図９のステップＳ２０６と同様である。
【０１１３】
なお、画像選択部１３は、参照画像の候補として選択したフレームが参照画像でないと判定され、次に選択した参照画像の候補も参照画像でないと判定され、結果的に所定回数連続して参照画像ではないと判定した場合、参照画像の選択処理を終了してもよい。この場合、再度基準画像の選択処理からやり直す。なお、所定回数は予め決められていてもよく、任意に設定できるようにしてもよい。
【０１１４】
また、ここで選択される参照画像は、先に求めた基準画像選定フレーム区間内のフレームから優先的に選択されるものの、基準画像選定フレーム区間外のフレームから選択されてもよい。画像選択部１３は、基準画像選定フレーム区間内のフレーム全てについて参照画像として選択し、合成対象画像か否かを判定した結果、合成対象画像として設定されたフレーム数が、基準画像を含めて必要合成枚数Ｋに達しなかった場合には、画像選択部１３は基準画像選定フレーム区間外のフレームであって、かつ基準画像の撮影時刻に最も近いフレームを参照画像として選択する。その後、ステップＳ４１３の処理に進む。
【０１１５】
（ステップＳ４１３）画像選択部１３は、ステップＳ４１２の処理で選択した参照画像を合成対象画像として用いることができるか否かを判定し、用いることができると判定されたならば、その参照画像として選択されたフレームを合成対象画像として設定する。判定処理の方法は図９のステップＳ２０７と同様である。その後、ステップＳ４１４の処理に進む。
【０１１６】
なお、画像選択部１３は、参照画像として選択したフレームが合成対象画像として用いることができないと、所定回数連続して判定した場合、合成対象画像として用いるか否かの判定処理を終了してもよい。この場合、再度基準画像の選択処理からやり直す。なお、所定回数は予め決められていてもよく、任意に設定できるようにしてもよい。
【０１１７】
（ステップＳ４１４）画像選択部１３は、基準画像の枚数と、設定された合成対象画像の枚数との合計が、ステップＳ４０８で求めた必要合成枚数Ｋと同じか否かを判定する。画像選択部１３が「同じである」と判定した場合には、ステップＳ４１５の処理に進み、それ以外の場合にはステップＳ４１２の処理に戻り、基準画像の枚数と、設定された合成対象画像の枚数との合計が、必要合成枚数Ｋに達するまでステップＳ４１２及びＳ４１３の処理を繰り返す。
【０１１８】
（ステップＳ４１５）合成処理部１４は、合成対象画像として設定された（Ｋ−１）枚のフレームを、基準画像に対して合成し、合成画像を生成する。
【０１１９】
上述したとおり、本実施形態によれば、被写体の動き量が最小となるフレーム区間（基準画像選定フレーム区間）内のフレームの中から基準画像を選択するとともに、その基準画像に対して撮影時刻が近いフレームから優先的に合成対象画像を設定することになるので、基準画像に対するぶれ量や動き量が比較的小さい合成対象画像を優先的に設定することができる。これにより、より合成に適したフレームを用いて合成画像を生成することができるため、合成処理の効率化を図ることができる。
【０１２０】
（第５の実施形態）
次に、本発明の第５の実施形態について図面を参照して説明する。図２１は、本実施形態における内視鏡装置の構成を示したブロック図である。図示する例では、内視鏡装置１０１は、細長の挿入部１０２と、本体部１０３と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、液晶ディスプレイ）１３０とを有する。また、本体部１０３には記録媒体１３２が取り付け可能であり、記録媒体１３２に、内視鏡装置１０１が撮影した静止画像や動画像などを記録することが可能である。
【０１２１】
挿入部１０２は、対物レンズ１２７と、撮像素子（ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ、電荷結合素子））１０４と、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ、発光ダイオード）１０６と、ワイヤー固定部１１９とを有する。対物レンズ１２７と、撮像素子１０４と、ＬＥＤ１０６と、ワイヤー固定部１１９とは、挿入部１０２の先端部１２８（内視鏡先端部）に配置されている。
【０１２２】
本体部１０３は、撮像素子ドライブ回路１０５と、プリアンプ１３１と、画像処理手段１０７と、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ、アナログフロントエンド）１０９と、システム制御手段１１０と、ユーザインターフェース１１１と、ＬＥＤドライブ回路１１３と、ＵＤ（上下）湾曲モータ１２０と、ＲＬ（左右）湾曲モータ１２１と、湾曲制御手段１２２と、画像記録手段１１５と、ＬＣＤコントローラ１１７とを有する。また、内視鏡装置１０１は、挿入部１０２の先端部１２８を上下左右に湾曲させるための４本のワイヤー１２３〜１２６を有する。
【０１２３】
ユーザインターフェース１１１は、スイッチや内視鏡の先端を湾曲させるためのジョイスティックなどを備え、ユーザからの指示の入力を受け付け、受け付けた入力に基づいた信号をシステム制御手段１１０に出力する。ユーザからの指示としては、例えば、ズーム倍率の指示や、撮像する画像の明るさの指示や、ＬＥＤ１０６の点灯および消灯の指示や、挿入部１０２の先端部１２８の湾曲の指示や、記録媒体１３２に画像を記録させる指示や、ＬＣＤ１３０への画像の表示指示などがある。
【０１２４】
システム制御手段１１０は、ユーザインターフェース１１１から入力された信号に基づいた処理を実行するように、内視鏡装置１０１が有する各部の制御を行う。例えば、ユーザインターフェース１１１が、ズーム倍率を指示する入力や、撮像する画像の明るさを指示する入力を受け付けた場合、システム制御手段１１０は、ユーザインターフェース１１１が受け付けた入力に基づいた処理を実行するように、画像処理手段１０７を制御する。また、ユーザインターフェース１１１が、ＬＥＤ１０６の点灯および消灯を指示する入力を受け付けた場合、システム制御手段１１０は、ユーザインターフェース１１１が受け付けた入力に基づいた処理を実行するように、ＬＥＤドライブ回路１１３を制御する。また、ユーザインターフェース１１１が、挿入部１０２の先端部１２８の湾曲を指示する入力を受け付けた場合、システム制御手段１１０は、ユーザインターフェース１１１が受け付けた入力に基づいた処理を実行するように、湾曲制御手段１２２を制御する。また、ユーザインターフェース１１１が、記録媒体１３２への画像の記録を指示する入力や、ＬＣＤ１３０への画像の表示を指示する入力を受け付けた場合、システム制御手段１１０は、ユーザインターフェース１１１が受け付けた入力に基づいた処理を実行するように、画像記録手段１１５を制御する。
【０１２５】
ワイヤー固定部１１９は、挿入部１０２の先端部１２８を上下左右に湾曲させるための４本のワイヤー１２３〜１２６を固定する。４本のワイヤー１２３〜１２６のうち、挿入部１０２の先端部１２８を上下方向に湾曲させるための２本のワイヤー１２３，１２４は、ＵＤ湾曲モータ１２０に接続されている。また、挿入部１０２の先端部１２８を左右方向に湾曲させるための２本のワイヤー１２５，１２６は、ＲＬ湾曲モータ１２１に接続されている。
【０１２６】
ＵＤ湾曲モータ１２０及びＲＬ湾曲モータ１２１は、湾曲制御手段１２２に接続されている。湾曲制御手段１２２はシステム制御手段１１０と接続されている。湾曲制御手段１２２は、システム制御手段１１０から入力される上下方向に関する湾曲指示信号に基づいてＵＤ湾曲モータ１２０の駆動を制御し、システム制御手段１１０から入力される左右方向に関する湾曲指示信号に基づいてＲＬ湾曲モータ１２１の駆動を制御する。ＵＤ湾曲モータ１２０は、湾曲制御手段１２２の制御に基づいて、２本のワイヤー１２３，１２４を牽引することで挿入部１０２の先端部１２８を上下方向に湾曲させる。また、ＲＬ湾曲モータ１２１は、湾曲制御手段１２２の制御に基づいて、２本のワイヤー１２５，１２６を牽引することで挿入部１０２の先端部１２８を左右方向に湾曲させる。
【０１２７】
この構成により、ユーザが、ユーザインターフェース１１１が備えるジョイスティックを上下方向に傾倒させると、システム制御手段１１０は湾曲制御手段１２２に上下方向に関する湾曲指示信号を送信する。湾曲制御手段１２２は受信した湾曲指示信号に基づいてＵＤ湾曲モータ１２０を駆動制御して、ＵＤ湾曲モータ１２０に接続されているワイヤー１２３，１２４を牽引する。これにより、内視鏡装置１０１は、挿入部１０２の先端部１２８を上下方向に湾曲させることができる。左右方向の湾曲も同様であり、ユーザが、ジョイスティックを左右方向に傾倒させると、システム制御手段１１０は湾曲制御手段１２２に左右方向に関する湾曲指示信号を送信する。湾曲制御手段１２２は受信した湾曲指示信号に基づいて、ＲＬ湾曲モータ１２１を駆動制御してＲＬ湾曲モータ１２１に接続されているワイヤーを牽引する。これにより、内視鏡装置１０１は、挿入部１０２の先端部１２８を左右方向に湾曲させることができる。
【０１２８】
ＬＥＤ１０６は、ケーブルを通してＬＥＤドライブ回路１１３と接続されている。ＬＥＤドライブ回路１１３は、システム制御手段１１０と接続されている。ＬＥＤドライブ回路１１３は、システム制御手段１１０から入力されるＬＥＤ点灯信号に基づいて、ＬＥＤ１０６の点灯および消灯を制御する。ＬＥＤ１０６は、ＬＥＤドライブ回路１１３の制御に基づいて点灯および消灯する。
【０１２９】
対物レンズ１０３は、ＬＥＤ１０６によって照明された被写体の像を撮像素子１０４の受光面に結像する。撮像素子１０４は、複合同軸ケーブルにより、撮像素子ドライブ回路１０５及びプリアンプ１３１に接続されている。撮像素子ドライブ回路１０５は、画像処理手段１０７内に設けられているタイミングジェネレータから、撮像素子１０４を駆動するためのタイミング信号を受信する。そして、撮像素子ドライブ回路１０５は、受信したタイミング信号に対して撮像素子１０４までの伝送路長（複合同軸ケーブルの長さ）に応じたドライブ処理を施して、処理されたタイミング信号を撮像素子駆動信号として撮像素子１０４に伝送する。
【０１３０】
撮像素子１０４は、伝送された撮像素子駆動信号のタイミングに基づいて、受光面に結像された光を光電変換し、光電変換した信号を撮像素子出力信号として出力する。撮像素子１０４が出力した撮像素子出力信号は、複合同軸ケーブルを介してプリアンプ１３１に入力される。プリアンプ１３１は、複合同軸ケーブルでの伝送により減衰した信号レベルを補うために撮像素子出力信号を増幅する。プリアンプ１３１で増幅された撮像素子出力信号はＡＦＥ１０９に入力される。ＡＦＥ１０９は、入力された撮像素子出力信号に対して、ＣＤＳ処理（相関２重サンプリング処理）や、ＡＧＣ処理（オートゲイン処理）や、ＡＤ変換処理（アナログ／デジタル変換処理）を行う。ＡＦＥ１０９で処理された撮像素子出力信号（フレーム）は、画像処理手段１０７に入力される。
【０１３１】
画像処理手段１０７は、第１の実施形態における画像処理装置１０と、第２の実施形態における画像処理装置２０と、第３の実施形態における画像処理装置３０と、第４の実施形態における画像処理装置４０とのうち、１つまたは複数を備えている。画像処理手段１０７は、システム制御手段１１０の制御に基づいて、入力された撮像素子出力信号（フレーム）を用いて合成画像を生成することでノイズ除去処理を行う。なお、本実施形態における画像処理手段１０７は、自身が備えている画像処理装置１０，２０，３０，４０に応じて、第１の実施形態〜第４の実施形態における複数の生成方法のうち、いずれかの生成方法を用いて合成画像を生成する。
【０１３２】
また、画像処理手段１０７は、ホワイトバランス補正、ガンマ補正、輪郭補正、電子ズーム処理、色補正、コントラスト補正、ＡＥ制御、等の各種カメラ信号処理を行うようにしてもよい。また、画像処理手段１０７は、生成した合成画像を画像データとして画像記録手段１１５に出力する。
【０１３３】
画像記録手段１１５は、入力された画像データをＬＣＤコントローラ１１７に出力する。また、画像記録手段１１５は、ＬＣＤ１３０に表示する画像を静止画とするフリーズ処理を行う。また、画像記録手段１１５は、入力された画像データを、エンコーダにて圧縮し、静止画像データもしくは動画像データとして記録媒体１０６に記録する。この画像記録動作は、ユーザインターフェース１１１からの入力に基づいて、システム制御手段１１０が記録信号を画像記録手段１１５に送信し、画像記録手段１１５が記録信号を受信した場合に行われる。
【０１３４】
なお、内視鏡装置１０１は、画像記録手段１１５がフリーズ処理を行った後に画像の記録を行う場合には静止画の撮影を行い、フリーズ処理を行わずに画像の記録を行う場合には動画像の撮影を行う。また、画像記録手段１１５は、記録媒体１３２から静止画像データや動画像データを読み出し、デコーダにて伸張してＬＣＤコントローラ１１７に出力する画像再生動作を行う。この画像再生動作は、システム制御手段１１０がユーザインターフェース１１１から画像表示信号を受信した場合に行われる。
【０１３５】
ＬＣＤコントローラ１１７は、画像記録手段１１５から入力された各種画像データに対して、接続されているＬＣＤ１３０に最適な画像処理（ガンマ補正、スケーリング、ＲＧＢ変換など）を施し、ＬＣＤ１３０に出力する。ＬＣＤ１３０は、入力された画像データに基づいて画像を表示する。
【０１３６】
上述したとおり、内視鏡装置１０１の画像処理手段１０７は、第１の実施形態における画像処理装置１０と、第２の実施形態における画像処理装置２０と、第３の実施形態における画像処理装置３０と、第４の実施形態における画像処理装置４０とのうち、１つまたは複数を備えている。従って、画像処理手段１０７は、内視鏡装置１０１の撮像素子１０４が撮像したフレームのうち、より合成に適したフレームを用いて合成画像を生成することができる。また、画像処理手段１０７は、自身が備えている画像処理装置１０，２０，３０，４０に応じて、各画像処理装置１０，２０，３０，４０と同様の効果を得ることができる。
【０１３７】
以上、この発明の複数の実施形態について図面を参照して詳述してきたが、具体的な構成は上述した複数の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１３８】
なお、上述した実施形態における画像処理装置１０，２０，３０，４０が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含む。
【０１３９】
また、典型的には「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記録部を含むが、必ずしもこれらに限定されるものではない。さらに「コンピュータ読み取り可能な記録媒体」に代え、以下の手段を用いてもよい。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持する媒体を用いてもよい。また、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持している媒体を用いてもよい。また上記プログラムは、前述した機能の一部を実現しても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現してもよい。
【符号の説明】
【０１４０】
１０，２０，３０，４０・・・画像処理装置、１１・・・合成制御部、１２・・・フレームメモリ、１３・・・画像選択部、１４・・・合成処理部、２１・・・動き量推定部、３１・・・ノイズ量推定部、１０１・・・内視鏡装置、１０２・・・挿入部、１０３・・・本体部、１０４・・・撮像素子、１０５・・・撮像素子ドライブ回路、１０６・・・ＬＥＤ、１０７・・・画像処理手段、１０９・・・ＡＦＥ、１１０・・・システム制御手段、１１１・・・ユーザインターフェース、１１３・・・ＬＥＤドライブ回路、１１５・・・画像記録手段、１１７・・・ＬＣＤコントローラ、１１９・・・ワイヤー固定部、１２０・・・ＵＤ湾曲モータ、１２１・・・ＲＬ湾曲モータ、１２２・・・湾曲制御手段、１２３〜１２６・・・ワイヤー、１２７・・・対物レンズ、１２８・・・先端部、１３０・・・ＬＣＤ、１３１・・・プリアンプ、１３２・・・記録媒体
【図１】
2015041924.tif 000003
【図２】
2015041924.tif 000004
【図３】
2015041924.tif 000005
【図４】
2015041924.tif 000006
【図５】
2015041924.tif 000007
【図６】
2015041924.tif 000008
【図７】
2015041924.tif 000009
【図８】
2015041924.tif 000010
【図９】
2015041924.tif 000011
【図１０】
2015041924.tif 000012
【図１１】
2015041924.tif 000013
【図１２】
2015041924.tif 000014
【図１３】
2015041924.tif 000015
【図１４】
2015041924.tif 000016
【図１５】
2015041924.tif 000017
【図１６】
2015041924.tif 000018
【図１７】
2015041924.tif 000019
【図１８】
2015041924.tif 000020
【図１９】
2015041924.tif 000021
【図２０】
2015041924.tif 000022
【図２１】
2015041924.tif 000023