(57)【要約】【課題】ノイズ低減等を目的とした画像重ね合わせ処理をより小型のハードウェアにおいて実行する装置および方法を提供する。【解決手段】複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部においてノイズ低減や高解像化を実現するための画像重ね合わせを実行する。２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした。メモリの一部に重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用することで任意枚数の画像重ね合わせを可能とした。また、処理画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して処理を行うことで、ＲＡＷ画像とフルカラー画像に対する重ね合わせ処理を共通のハードウェアで実行可能とした。【選択図】図５
2012004908.tif 000002
【特許請求の範囲】
【請求項１】
複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、
２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う画像処理装置。
【請求項２】
前記重ね合わせ処理部は、
前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う請求項１に記載の画像処理装置。
【請求項３】
前記重ね合わせ処理部は、
ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、
フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する請求項１に記載の画像処理装置。
【請求項４】
前記重ね合わせ処理部は、
連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、
前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部と、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得する動被写体検出部と、
前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成するブレンド処理部を有する請求項１〜３いずれかに記載の画像処理装置。
【請求項５】
前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、
前記ブレンド処理部は、
前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する請求項４に記載の画像処理装置。
【請求項６】
前記重ね合わせ処理部は、
処理対象画像の高解像化処理を実行する高解像度化処理部を有し、
前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する請求項４に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、
前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う請求項４に記載の画像処理装置。
【請求項８】
前記ブレンド処理部は、
Ｎ＋１枚の静止画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して以下の式に従って実行する、
【数５】
2012004908.tif 000007
ただし、αは０〜１の値をとる動被写体情報であり、動き領域では０に近く、静止領域では１に近い値となる動被写体情報である、
構成であることを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記ブレンド処理部は、
Ｎ＋１枚の動画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して以下の式に従って実行する、
【数６】
2012004908.tif 000008
ただし、αは０〜１の値をとる動被写体情報であり、動き領域では０に近く、静止領域では１に近い値となる動被写体情報である、
構成であることを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを有し、
前記重ね合わせ処理ステップは、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行い、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行うステップである画像処理方法。
【請求項１１】
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に複数の連続撮影画像のブレンド処理を実行させる重ね合わせ処理ステップを有し、
前記重ね合わせ処理ステップは、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行い、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行わせるステップであるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像のノイズ低減や解像度を高める処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ）、あるいは低解像度の画像から高解像度の画像を生成する例えば超解像処理（ＳＲ：Ｓｕｐｅｒ  Ｒｅｓｏｌｕｔｉｏｎ）と呼ばれる高解像化処理などの画像処理を実行する場合、例えば同じ被写体を含む連続撮影された複数枚の画像を適用した処理が行われる。なお、複数の画像を利用したノイズ低減等の画像処理技術を開示した従来技術としては、例えば、特許文献１（特開２００９−１９４７００）、あるいは特許文献２（特開２００９−２９０８２７号公報）等がある。
【０００３】
このノイズ低減処理、あるいは高解像化処理を行う場合、より多くの画像を利用することで、効果的なノイズ低減や高解像化が実現されることが知られている。従って、高品質の画像を生成する装置には、多くの枚数の画像を格納するメモリが必要となる。
【０００４】
しかし、画像格納メモリを画像処理装置に多数、備えることはハードウェアの大型化やコスト高を招くことになる。従って、小型化や低コストの要請が大きい撮像装置に、このような多数のメモリを備えるのは難しいという問題がある。
【０００５】
また、撮像装置で、上記のノイズ低減や高解像化を実行する場合、その処理対象とする画像として、
（ａ）撮像素子の生成するＲＡＷ画像、いわゆる各画素の信号としてカラーフィルタに応じた特定の色（たとえばＲＧＢいずれか）のみの信号からなるモザイク画像、
（ｂ）モザイク画像の色補間処理により全画素にＲＧＢ等の色信号を設定したフルカラー画像、
これらの異なる画像が処理対象となり得るが、これらの画像信号の構成は異なるため、従来技術においては、上記の画像信号（ａ），（ｂ）のいずれを処理対象とするかに応じて個別の専用回路を利用して処理を行っている。すなわち、１つの共通回路を適用して上記２つの異なる信号に対して処理を実行する具体的な構成を開示しているものはない。
この２つの異なる画像信号に対するノイズ低減や高解像化を行う回路をいかに小型化し、コストダウンするかについても一つの課題となっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１９４７００号公報
【特許文献２】特開２００９−２９０８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、例えば上記問題点に鑑みてなされたものであり、簡略化したハードウェア構成を用いて、複数の画像を利用した重ね併せ処理によるノイズ低減あるいは高解像化処理を実現可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【０００８】
また、本発明の一実施例では、ＲＡＷ画像とフルカラー画像のいずれをも処理可能とした共通回路によって、ノイズ低減あるいは高解像化処理を実現可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の側面は、
複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、
２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う画像処理装置にある。
【００１０】
さらに、本発明の画像処理装置の一実施態様において、前記重ね合わせ処理部は、前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記重ね合わせ処理部は、ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記重ね合わせ処理部は、連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部と、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得する動被写体検出部と、前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成するブレンド処理部を有する。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、前記ブレンド処理部は、前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記重ね合わせ処理部は、処理対象画像の高解像化処理を実行する高解像度化処理部を有し、前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、Ｎ＋１枚の静止画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して以下の式に従って実行する、
【数１】
2012004908.tif 000003
ただし、αは０〜１の値をとる動被写体情報であり、動き領域では０に近く、静止領域では１に近い値となる動被写体情報である、
構成であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、Ｎ＋１枚の動画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して以下の式に従って実行する、
【数２】
2012004908.tif 000004
ただし、αは０〜１の値をとる動被写体情報であり、動き領域では０に近く、静止領域では１に近い値となる動被写体情報である、
構成であることを特徴とする。
【００１８】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを有し、
前記重ね合わせ処理ステップは、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行い、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行うステップである画像処理方法にある。
【００１９】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に複数の連続撮影画像のブレンド処理を実行させる重ね合わせ処理ステップを有し、
前記重ね合わせ処理ステップは、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行い、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行わせるステップであるプログラムにある。
【００２０】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２２】
本発明の一実施例の構成によれば、ノイズ低減等を目的とした画像重ね合わせ処理をより小型のハードウェアにおいて実行する装置および方法が実現される。具体的には、例えば複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部においてノイズ低減や高解像化を実現するための画像重ね合わせを実行する。２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした。メモリの一部に重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用することで任意枚数の画像重ね合わせを可能とした。また、処理画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して処理を行うことで、ＲＡＷ画像とフルカラー画像に対する重ね合わせ処理を共通のハードウェアで実行可能とした。
【図面の簡単な説明】
【００２３】
【図１】本発明の画像処理装置の一例である撮像装置１００の構成例を示す図である。
【図２】ベイヤー配列について説明する図である。
【図３】重ね合わせ処理部ａ１０５の実行する処理について説明するフローチャートを示す図である。
【図４】重ね合わせ処理部ａ１０８の実行する処理について説明するフローチャートを示す図である。
【図５】固体撮像素子からの入力画像（ＲＡＷ画像）に対する画像重ね合わせ（ブレンド）処理を実行する重ね合わせ処理部の構成と処理について説明する図である。
【図６】図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを示す図である。
【図７】図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図８】図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図９】図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図１０】記録再生部からの出力画像に対する画像重ね合わせ（ブレンド）処理を実行する重ね合わせ処理部の構成と処理について説明する図である。
【図１１】図１０に示す重ね合わせ処理部が、フルカラー画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを示す図である。
【図１２】図１０に示す重ね合わせ処理部が、フルカラー画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。
【図１３】高解像度化処理部を備えた重ね合わせ処理部の構成と処理について説明する図である。
【図１４】ＧＭＶ記録部を備えた画像処理装置の構成について説明する図である。
【図１５】本発明の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
２．重ね合わせ処理に利用するハードウェア構成例について
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
（２−２）記録再生部からの入力画像（ＹＵＶ画像）に対する処理例
３．その他の実施例
（３−１）高解像度化処理部を設定した実施例
（３−２）ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例
４．画像処理装置のハードウェア構成例について
【００２５】
［１．ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例］
まず、本発明の画像処理装置の第１実施例として、ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例について説明する。
なお、本発明の画像処理装置は、たとえば撮像装置、あるいはＰＣ等において実現されるが。以下では、本発明に従った画像処理を撮像装置において実行する場合の処理例について説明する。
図１は、本発明の画像処理装置の一例である撮像装置１００の構成例を示している。撮像装置１００は、画像撮影時に、撮影されるＲＡＷ画像、すなわちモザイク画像を入力して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このＲＡＷ画像に対する重ね合わせ処理を実行するのが図１に示す撮像装置１００の重ね合わせ処理部ａ１０５である。
【００２６】
また、本発明の画像処理装置の一例である撮像装置１００は、ＲＡＷ画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このフルカラー画像に対する重ね合わせ処理を実行するのが図１に示す撮像装置１００の重ね合わせ処理部ｂ１０８である。
【００２７】
なお、重ね合わせ処理部ａ１０５と、重ね合わせ処理部ｂ１０８は、図１においては、別ブロックとして示しているが、これらは共通のハードウェアを利用した回路構成として設定される。具体的な回路構成については後段で説明する。
【００２８】
以下では、まず、
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
これらの処理について順次説明する。
【００２９】
（１−１）撮影時のＲＡＷ画像に対する処理
まず、図１を参照して、本発明の画像処理装置の一例である撮像装置において、撮像時にＮ＋１枚のＲＡＷ画像を重ね合わせる処理について説明する。Ｎは１以上の整数である。なお、ＲＡＷ画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、静止画に対する処理例について説明する。
【００３０】
図１は、本発明の画像処理装置の一構成例としての撮像装置１００の構成を示している。シャッタ等のユーザ入力部１００の操作により、撮像を開始したタイミングで、固体撮像素子１０３は、レンズ（光学系）１０２から入射された光学像を２次元の電気信号（以下、画像データ）に変換する。なお。固体撮像素子１０３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）である。
【００３１】
単板方式固体撮像素子の場合は、出力は例えば図２に示すベイヤー配列のＲＡＷ画像となる。すなわち、カラーフィルタの構成に応じたＲＧＢのいずれかの信号のみが、各画素の信号として生成される。この画像は例えばモザイク画像と呼ばれ、このモザイク画像を利用して、全ての画素にＲＧＢの全画素値を設定する補間処理によってフルカラー画像が生成される。なお、この画素値補間処理は、例えばデモザイク処理と呼ばれる。
【００３２】
前述したように、ノイズ低減処理、あるいは高解像化処理を行う場合、同じ被写体を含むより多くの画像を利用することで、効果的なノイズ低減や高解像化が実現されることが知られている。たとえば、これらのノイズ低減や高解像化のための画像処理に、例えばＮ＋１枚の画像を利用する場合は、Ｎ＋１枚の画像を連続撮影して、Ｎ＋１枚のＲＡＷ画像を撮影し、Ｎ＋１枚のＲＡＷ画像を適用した処理、あるいはＮ＋１枚のＲＡＷ画像を適用して生成したＮ＋１枚のフルカラー画像を適用した処理を行う。
【００３３】
プリ処理部１０４では、撮影画像に含まれる例えば縦筋、横筋補正などイメージセンサの欠陥を補正する処理が行われる。プリ処理部１０４から出力された画像は、重ね合わせ処理部ａ１０５に入力され、Ｎ＋１枚の画像の重ね合わせ処理を行う。ポスト処理部１０６では、ＲＡＷ画像からフルカラー画像に変換する色補間処理（デモザイク処理）や、ホワイトバランス、色再現性を高めるリニアマトリクス、視認性を向上する輪郭強調処理などが行われ、ＪＰＥＧなどの圧縮コーデックでエンコード後、記録再生部（ＳＤメモリなど）１０７に保存される。
【００３４】
重ね合わせ処理部ａ１０５の実行する処理について、図３に示すフローチャートを参照して説明する。
ステップＳ１０１において、Ｎ枚の画像の重ね合わせ処理を開始する。
なお、以下では、撮像装置が連続撮影したＮ＋１枚の画像のうち、位置合わせの基準となる画像データを基準フレームと呼ぶ。基準フレームは、例えばシャッタが押下された直後に撮像された１枚の画像フレームを使用する。その後のＮ枚の画像フレームが参照フレームとなる。
Ｎ＋１枚の画像のうち、重ね合わせ処理に使用されるフレームを参照フレームと呼ぶ。
【００３５】
ステップＳ１０２ではグローバル動きベクトル（ＧＭＶ）算出処理を実行する。このＧＭＶ算出処理は、基準フレームと参照フレームを入力とし、２枚のフレーム間の大域的（画像全体）な動きベクトル（Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出する処理である。例えばカメラの動きに相当する動きベクトルを求める。
【００３６】
次のステップＳ１０３では、位置合わせ処理を実行する。この位置合わせ処理は、基準フレームと、グローバル動きベクトル（ＧＭＶ）を求めた１枚の参照フレームを読み出し、ＧＭＶ算出処理において求められたＧＭＶを用いて、参照フレームを基準フレームに位置合わせする処理である。この処理、すなわちＧＭＶに基づいて参照フレームを基準フレームに位置合わせして生成した画像を動き補償画像とよぶ。
【００３７】
ステップＳ１０４では、動被写体検出処理を実行する。この処理は、基準フレームと基準フレームに位置合わせされた参照フレーム画像（動き補償画像）間の差分をとり、動被写体を検出する処理である。
【００３８】
基準フレームと、基準フレームに位置合わせされた参照フレームは、被写体がすべて静止していれば、ステップＳ１０３における位置合わせによって２つの画像の対応画素位置には同じ被写体の同一部分が撮影されていることになり、２つの画像の画素値差分はほぼ０となる。しかし、例えば被写体が車や人などの動被写体が含まれる場合は、これ等の動被写体の画素部分は、画像全体の動きベクトルである前述のＧＭＶとは異なる動きを持つ。従ってＧＭＶに基づいて位置合わせを行っても、２つの画像に含まれる動被写体を含む対応画素位置には同じ被写体の同一部分が位置しないことになり、２つの画像の画素値差分は大きくなる。
【００３９】
ステップＳ１０４では、このように、基準フレームと、基準フレームに位置合わせされた参照フレーム対応画素の差分を取得して動被写体検出処理を実行する。検出結果は、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）として出力する。
【００４０】
ステップＳ１０５では、ステップＳ１０４において算出した各画素単位の動き検出情報：α値に基づいて、基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）の重ね合わせ（ブレンド）を実行して、重ね合わせフレーム（ブレンド画像）を生成する。
【００４１】
ステップＳ１０５において生成した重ね合わせフレームであるブレンド画像は、次の重ね合わせ処理の基準フレームとして利用される。１枚の初期的な基準画像に対して、Ｎ枚の参照画像の重ね合わせを実行する場合は、ステップＳ１０２〜Ｓ１０５の処理をＮ回繰り返す。
【００４２】
Ｎ回目の重ね合わせ処理時の基準フレーム（Ｎ−１回重ね合わせ処理がされたフレーム）および参照フレーム（Ｎ＋１枚目のフレーム）の注目画素の画素値を、
基準フレーム：ｍｌｔＮ−１、
参照フレーム：ｆｒｍＮ＋１、
と表す。なお、（Ｎ−１），（Ｎ＋１）等のインデックスが大きいほど時間的に後に撮像されたことを意味する。
また、注目画素の動被写体検出結果をαとする。
以上のデータを用いたＮ回目の重ね合わせ処理時のブレンド式を以下に示す。
【００４３】
【数３】
2012004908.tif 000005
【００４４】
上記式に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【００４５】
ブレンド処理は、このように、Ｎ＋１枚の静止画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して上記式に従って実行する。
【００４６】
各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が大きく設定されるが、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が小さく設定される。このようにして画素単位の動き情報に応じたブレンド処理が行われる。
【００４７】
（１−２）再生時のフルカラー画像に対する処理
続いて、フルカラー画像に対する処理例について説明する。この処理は、例えば図１に示す撮像装置１００の表示部１０９に画像を表示する場合に実行される。なお、フルカラー画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、動画に対する処理例について説明する。
【００４８】
図１に示す撮像装置１００のポスト処理部１０６では、ＲＡＷ画像からフルカラー画像に変換する色補間処理（デモザイク処理）や、ホワイトバランス、色再現性を高めるリニアマトリクス、視認性を向上する輪郭強調処理などが行われ、ＪＰＥＧなどの圧縮コーデックでエンコード（動画コーデック（Ｈ．２６４、ＭＰＥＧ−２など））後、記録再生部（ＳＤメモリなど）１０７に保存される。
【００４９】
表示部１０９には、例えば記録再生部（ＳＤメモリなど）１０７に格納済みのフルカラー画像に対応するサムネイル画像の一覧が表示される。ユーザによりあるサムネイル画像の選択、再生指示が入力されると、記録再生部１０７において選択されたサムネイルに対応する画像のデコードが行われる。デコードされた画像は例えば、ＲＧＢ等のフルカラー画像フォーマットや、輝度、色差のＹＵＶ画像フォーマットを持つ画像データとなる。デコードされた画像は重ね合わせ処理部ｂ１０８に入力される。
【００５０】
重ね合わせ処理部ｂ１０８では、フルカラー画像等のデコード画像を入力してノイズ低減や高解像化のための画像重ね合わせ処理を実行する。この重ね合わせ処理の結果が表示部１０９に送られ、表示される。
【００５１】
重ね合わせ処理部ｂ１０８の実行する処理の手順について、図４に示すフローチャートを参照して説明する。なお、以下に説明する処理例は動画の再生処理例として説明する、動画再生は一定の時間間隔で撮影された静止画を連続表示することで行われる。動画処理の再生時重ね合わせの場合は、例えば基準フレームとしては記録再生部１０７から入力する最も新しいフレームを基準フレームとし、基準フレームの前のフレームを参照フレームとする。
【００５２】
記録再生部１０７からの入力画像がフルカラーフォーマット（ＲＧＢ）で入力された時は、ステップＳ２０１において、ＲＧＢ→ＹＵＶ変換処理が実行され、輝度、色差信号に変換される。一方、ＹＵＶフォーマットで入力された時はステップＳ２０１のＲＧＢ→ＹＵＶ変換処理は省略される。
【００５３】
ステップＳ２０２では。グローバル動きベクトル（ＧＭＶ）算出処理を実行する。このＧＭＶ算出処理は、基準フレームと参照フレームを入力とし、２枚のフレーム間の大域的（画像全体）な動きベクトル（Ｇｌｏｂａｌ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を算出する処理である。例えばカメラの動きに相当する動きベクトルを求める。
【００５４】
次のステップＳ２０３では、位置合わせ処理を実行する。この位置合わせ処理は、基準フレームと、グローバル動きベクトル（ＧＭＶ）を求めた１枚の参照フレームを読み出し、ＧＭＶ算出処理において求められたＧＭＶを用いて、参照フレームを基準フレームに位置合わせする処理である。この処理、すなわちＧＭＶに基づいて参照フレームを基準フレームに位置合わせして生成した画像を動き補償画像とよぶ。
【００５５】
ステップＳ２０４では、動被写体検出処理を実行する。この処理は、基準フレームと基準フレームに位置合わせされた参照フレーム画像（動き補償画像）間の差分をとり、動被写体を検出する処理である。検出結果は、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）として出力する。
【００５６】
ステップＳ２０５では、ステップＳ２０４において算出した各画素単位の動き検出情報：α値に基づいて、基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）をブレンドして、重ね合わせフレーム（ブレンド画像）を生成する。
【００５７】
ステップＳ２０５におけるαブレンド処理（重ね合わせ処理）は、動被写体検出部から得られたα値に応じて、基準フレーム（Ｎ＋１枚目のフレームｆｒｍＮ＋１）と参照フレーム（Ｎ−１回目の重ね合わせフレームｍｌｔＮ−１）をブレンドする。αブレンド処理（重ね合わせ処理）に際しては、ＹＵＶフォーマットの輝度（Ｙ）信号に対してのみ重ね合わせ処理を行う。Ｎ回目の重ね合わせ処理の式を以下に示す。
【００５８】
【数４】
2012004908.tif 000006
【００５９】
上記式に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
【００６０】
ブレンド処理は、このように、Ｎ＋１枚の動画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して上記式に従って実行する。
【００６１】
各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が大きく設定されるが、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が小さく設定される。このようにして画素単位の動き情報に応じたブレンド処理が行われる。
【００６２】
上記式によって算出される重ね合わせフレームは次の重ね合わせ処理の参照フレームとなる。次フレームである最新フレームを基準フレームとして新たな重ね合わせ処理が行われる。
【００６３】
最後に、ステップＳ２０６において、重ね合わせ処理が施された輝度信号（Ｙ）と、ＲＧＢ→ＹＵＶ変換部より出力された色差信号（ＵＶ）に対してＹＵＶ→ＲＧＢ変換処理を実行してフルカラーフォーマットに変換し、フルカラー画像を表示部１０９において表示する。
【００６４】
上述した処理例は、
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
これらの処理例であるが、再生時のフルカラー画像に対する処理に際しては、例えば、ＲＧＢ→ＹＵＶ変換し、ＹＵＶフォーマットの輝度（Ｙ）信号に対してのみ重ね合わせ処理を行う。
このような処理を行うことで、重ね合わせ処理を実行する各画素単位の信号は、
（１−１）撮影時のＲＡＷ画像に対する処理の場合は、ＲＡＷ画像の構成画素に設定された信号（例えばＲＧＢのいずれかの信号）となる。
（１−２）再生時のフルカラー画像に対する処理の場合は、フルカラー画像を構成する各画素各々について、ＹＵＶフォーマットの輝度（Ｙ）信号のみとなる。
【００６５】
すなわち、ＲＡＷ画像に対する重ね合わせ処理、フルカラー画像に対する重ね合わせ処理もいずれの場合も画像の構成画素各々について１つの信号値を用いて処理を行うことが可能となる。
この結果、ＲＡＷ画像に対する重ね合わせ処理を実行する重ね合わせ処理部ａ１０５と、フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は入力信号をＲＡＷ画像の各画素値とするか、フルカラー画像の各画素の輝度値（Ｙ）とするかのみを異ならせることで、重ね合わせ処理の実行回路としては同一のものを利用することが可能となる。
【００６６】
この構成により、ＲＡＷ画像、フルカラー画像の２つの異なる画像データに対して１つの重ね合わせ処理回路を利用した処理が実現される。
なお、処理対象画像は、動画、静止画のいずれでもよい。上述の例では、静止画のＲＡＷ画像と、動画のフルカラー画像に対する処理例を説明したが、動画のＲＡＷ画像や、静止画のフルカラー画像に対しても１つの共通回路を用いた重ね合わせ処理が可能となる。具体的な回路構成については、次の項目で説明する。
【００６７】
［２．重ね合わせ処理に利用するハードウェア構成例について］
次に、重ね合わせ処理に利用するハードウェア構成例について説明する。
以下では、
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
（２−２）記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例
これら２つの処理例について順次説明する。
なお、以下のハードウェアの説明では、ＲＡＷ画像に対する処理とフルカラー画像に対する処理が１つの共通する回路構成で実現されることとともに、本発明のもう一つの特徴である、重ね合わせ処理において必要となるメモリ容量の削減処理についても説明する。
【００６８】
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
まず、図５〜図９を参照して固体撮像素子からの入力画像（ＲＡＷ画像）に対する画像重ね合わせ（ブレンド）処理の処理例について説明する。
【００６９】
図５は、図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の具体的回路構成である。
【００７０】
図５に示すグローバル動きベクトル（ＧＭＶ）算出部２０３は、図３に示すフローのステップＳ１０２の処理や、図４に示すフローのステップＳ２０２の処理を実行する。
図５に示す位置合わせ処理部２０４は、図３に示すフローのステップＳ１０３の処理や、図４に示すフローのステップＳ２０３の処理を実行する。
図５に示す動被写体検出部２０５は、図３に示すフローのステップＳ１０４の処理や、図４に示すフローのステップＳ２０４の処理を実行する。
図５に示すブレンド処理部２０５は、図３に示すフローのステップＳ１０５の処理や、図４に示すフローのステップＳ２０５の処理を実行する。
【００７１】
図５に示す重ね合わせ処理部２００が図１に示す重ね合わせ処理部ａ１０５として機能する場合、固体撮像素子２０１（＝図１の固体撮像素子１０３）からＲＡＷ画像を入力してＲＡＷ画像の重ね合わせ処理を実行する。
一方、図１に示す重ね合わせ処理部ｂ１０８として機能する場合、記録再生部２０２（＝図１の記録再生部１０７）からＹＵＶ画像の輝度信号（Ｙ）を入力してフルカラー画像の重ね合わせ処理を実行する。
【００７２】
図５中のフレームメモリａ２１１、メモリｂ２１２はそれぞれ、
、固体撮像素子２０１（＝図１の固体撮像素子１０３）の出力するＲＡＷ画像、または、
記録再生部２０２（＝図１の記録再生部１０７）の出力するフルカラー画像を保存しておくメモリである。
【００７３】
以下では、まず、図１に示す重ね合わせ処理部ａ１０５、すなわち、図３に示すフローチャートを参照して説明した処理を実行する場合の処理例について説明する。
図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを図６に示す。
【００７４】
図６は左から右に、時間経過、時間Ｔ０，Ｔ１，Ｔ２・・・を示している。
また、上から、以下の（１）〜（６）の各処理を示している。
（１）固体撮像素子２０１からメモリａ２１１，メモリｂ２１２に対するＲＡＷ画像の書き込み（Ｗｒｉｔｅ）処理、
（２）グローバル動きベクトル（ＧＭＶ）算出部２０３に対する固体撮像素子２０１からの画像の入力処理、
（３）グローバル動きベクトル（ＧＭＶ）算出部２０３によるメモリａ２１１からの画像の読み取り（Ｒｅａｄ）処理、
（４）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６によるメモリａ２１１からの画像読み取り（Ｒｅａｄ）処理、
（５）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６によるメモリｂ２１２からの画像読み取り（Ｒｅａｄ）処理、
（６）ブレンド処理部２０６によるメモリａ２１１に対する画像書き込み（Ｗｒｉｔｅ）処理、
【００７５】
なお、メモリａ２１１，メモリｂ２１２に対して書き込まれる画像信号はＲＡＷ画像、またはＲＡＷ画像に基づいて生成される重ね合わせ画像であり、１つの画素に対してＲＧＢいずれか１つの画素値である。すなわち１画素について１つの信号値のみが格納される。
【００７６】
図６に示すｆｒｍ１、ｆｒｍ２、ｆｒｍ３・・・は、重ね合わせ処理において利用される重ね合わせ処理前の画像フレーム（ＲＡＷ画像）を示し、ｍｌｔ１、ｍｌｔ２、ｍｌｔ３、・・・は重ね合わせ処理のなされた画像フレームを示している。
【００７７】
画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって生成される最初の重ね合わせフレームが画像フレーム（ｍｌｔ１）である。
これは、図６に示すタイミングチャートのＴ１〜Ｔ２の（４）と（５）に示す画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって、（６）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）が生成される処理に対応する。
【００７８】
次の、タイミングＴ２〜Ｔ３では、図６に示すタイミングチャートのＴ２〜Ｔ３の（４）と（５）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）と、画像フレーム（ｆｒｍ３）によって、（６）に示す２番目の重ね合わせ画像フレーム（ｍｌｔ２）が生成される。
【００７９】
このようにして、時間経過に伴い、直前で生成された重ね合わせ画像フレーム（ｍｌｔｎ）と最新の入力画像（ｆｒｍｎ＋２）とを利用して、新たな重ね合わせ画像フレーム（ｍｌｔｎ＋１）が順次、生成され、更新されることになる。例えばＮ＋１枚の画像を利用してＮ回の重ね合わせを実行する場合には、Ｎ回の重ね合わせ処理の後に生成される重ね合わせ画像フレーム（ｍｌｔＮ）を生成して１単位の処理が終了する。
【００８０】
以下、図５に示す重ね合わせ処理部２００（＝図１の重ね合わせ処理部ａ１０５＝重ね合わせ処理部ｂ１０８）において実行するＲＡＷ画像に対する重ね合わせ処理の処理シーケンスについて、図６のタイミングチャートと、図７〜図９の各タイミングにおける状態図を参照して説明する。
【００８１】
シャッタが押下されるなどして、撮像を開始したタイミングＴ０〜Ｔ１（図６参照）では、図５に示す固体撮像素子２０１から出力された画像データ（ｆｒｍ１）がフレームメモリａ２１１に書き込まれる。
このタイミングＴ０〜Ｔ１の状態を示したのが図７である。
【００８２】
続いてタイミングＴ１では、２枚目の画像データ（ｆｒｍ２）が固体撮像素子２０１より送信され、今度はフレームメモリｂ２１２に書き込まれると同時にＧＭＶ算出部２０３に入力される。同時に、１枚目の画像データ（ｆｒｍ１）がフレームメモリａ２１１よりＧＭＶ算出部２０３に入力され、ＧＭＶ算出部２０３において１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との２フレーム間のグローバル動きベクトル（ＧＭＶ）が求められる。
このタイミングＴ１〜Ｔ２の状態を示したのが図８である。
【００８３】
タイミングＴ２では、位置合わせ部２０４にフレームメモリｂ２１２から２枚目の画像データ（ｆｒｍ２）が入力される。
さらに、ＧＭＶ算出部２０３が算出したＧＭＶ、すなわち、タイミングＴ１〜Ｔ２で求められた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）間のＧＭＶが入力されて、この入力ＧＭＶに基づいて２枚目の画像データ（ｆｒｍ２）を、１枚目の画像データ（ｆｒｍ１）の被写体位置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
【００８４】
なお、本処理例は、静止画に対する重ね合わせ処理例である。静止画の場合は、先行画像を基準画像として後続画像を参照画像とし、後続の参照画像を先行する基準画像の位置に合わせる位置合わせを行う。
【００８５】
位置合わせされた２枚目の画像データ（ｆｒｍ２）は、１枚目の画像データ（ｆｒｍ１）と共に動被写体検出部２０５とブレンド処理部２０６に入力される。
【００８６】
動被写体検出部２０５は、１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）との対応位置の画素値比較を実行して差分に応じた画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）を生成してブレンド処理部２０６に出力する。
【００８７】
ブレンド処理部２０６は、動被写体検出部２０５において求められた画素単位の動き検出情報：α値（０＜＝α＜＝１）を用いて、１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）とのブレンド処理を実行して重ね合わせフレームの生成を行う。
【００８８】
１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）とのブレンド処理によって生成される１枚目のブレンド画像である重ね合わせフレーム（ｍｌｔ１）は、ブレンド処理部２０６から出力され、フレームメモリａ２１１に上書きされる。
このタイミングＴ２〜Ｔ３の状態を示したのが図９である。
【００８９】
図５〜図９を参照して説明した処理から理解されるように、図５に示す重ね合わせ処理部２００を利用した重ね合わせ処理においては、２つの画像を格納する２つのメモリ、すなわちメモリａ２１１、メモリｂ２１２を利用しているのみで、任意枚数、例えばＮ枚の画像の重ね合わせ処理を実現している。
【００９０】
このように、本実施例では、重ね合わせ枚数によらず、フレームメモリに保存される最大の枚数はフレームメモリａ，ｂ分の２枚となる。本発明ではフレームメモリ容量を節約しつつ、Ｎ＋１枚全てをフレームメモリに保存する場合と同等の効果が得られる。
【００９１】
（２−２）記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例
続いて、記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例について図１０〜図１２を参照して説明する。
【００９２】
図１０は、先に図５を参照して説明した回路とほぼ同様の回路であり、図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の回路構成である。ただし、重ね合わせ処理部ｂ１０８として利用する場合、結線部２５１の接続構成を変更し、さらに入力を記録再生部２０２からの入力構成に変更している。これらはこれらの結線部２５１や記録再生部２０２の接続部に設定したスイッチの切り替え等によって実現される。
【００９３】
以下では、図１に示す重ね合わせ処理部ｂ１０８において実行する処理、すなわち、図４に示すフローチャートを参照して説明した処理を実行する場合の処理例について説明する。
図１０の重ね合わせ処理部が、フルカラー画像に基づいて生成されるＹＵＶ画像の輝度信号（Ｙ）を適用して重ね合わせ処理を実行する場合の処理のタイミングチャートを図１１に示す。
【００９４】
図１１は、図６と同様のタイミングチャートであり、左から右に、時間経過、時間Ｔ０，Ｔ１，Ｔ２・・・を示している。
また、上から、以下の（１）〜（６）の各処理を示している。
（１）記録再生部２０２からメモリａ２１１，メモリｂ２１２に対するＹＵＶ画像中の輝度信号（Ｙ）の書き込み（Ｗｒｉｔｅ）処理、
（２）グローバル動きベクトル（ＧＭＶ）算出部２０３に対する記録再生部２０２からのＹＵＶ画像中の輝度信号（Ｙ）の入力処理、
（３）グローバル動きベクトル（ＧＭＶ）算出部２０３によるメモリａ２１１からの画像信号（輝度信号（Ｙ））の読み取り（Ｒｅａｄ）処理、
（４）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６によるメモリａ２１１からの画像信号（輝度信号（Ｙ））読み取り（Ｒｅａｄ）処理、
（５）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６によるメモリｂ２１２からの画像信号（輝度信号（Ｙ））読み取り（Ｒｅａｄ）処理、
（６）ブレンド処理部２０６によるメモリａ２１１に対する画像信号（輝度信号（Ｙ））書き込み（Ｗｒｉｔｅ）処理、
【００９５】
なお、メモリａ２１１，メモリｂ２１２に対して書き込まれる画像信号はＹＵＶ画像中の輝度信号（Ｙ）画像、またはＹＵＶ画像中の輝度信号（Ｙ）画像に基づいて生成される重ね合わせ画像であり、１つの画素に対して輝度信号（Ｙ）１つの画素値である。すなわち１画素について１つの信号値のみが格納される。
【００９６】
図１１に示すｆｒｍ１、ｆｒｍ２、ｆｒｍ３・・・は、重ね合わせ処理において利用される重ね合わせ処理前の画像フレームを示し、ｍｌｔ１、ｍｌｔ２、ｍｌｔ３、・・・は重ね合わせ処理のなされた画像フレームを示している。
【００９７】
画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって生成される最初の重ね合わせフレームが画像フレーム（ｍｌｔ１）である。
これは、図１１に示すタイミングチャートのＴ１〜Ｔ２の（４）と（５）に示す画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって、（６）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）が生成される処理に対応する。
【００９８】
次の、タイミングＴ２〜Ｔ３では、図１１に示すタイミングチャートのＴ２〜Ｔ３の（４）と（５）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）と、画像フレーム（ｆｒｍ３）によって、（６）に示す２番目の重ね合わせ画像フレーム（ｍｌｔ２）が生成される。
【００９９】
このようにして、時間経過に伴い、直前で生成された重ね合わせ画像フレーム（ｍｌｔｎ）と最新の入力画像（ｆｒｍｎ＋２）とを利用して、新たな重ね合わせ画像フレーム（ｍｌｔｎ＋１）が順次、生成され、更新されることになる。例えばＮ＋１枚の画像を利用してＮ回の重ね合わせを実行する場合には、Ｎ回の重ね合わせ処理の後に生成される重ね合わせ画像フレーム（ｍｌｔＮ）を生成して１単位の処理が終了する。
【０１００】
以下、図１０に示す重ね合わせ処理部２００（＝図１の重ね合わせ処理部ｂ１０８＝重ね合わせ処理部ｂ１０５）において実行するＹＵＶ画像に対する重ね合わせ処理の処理シーケンスについて、図１１のタイミングチャートを参照して説明する。
【０１０１】
先に図５〜図９を参照して説明したＲＡＷ画像に対する処理と異なる部分を中心として説明する。
この処理では、図１０、図１１に示すように、重ね合わせ処理部２００に対する入力は固体撮像素子２０１ではなく、記録再生部２０２から行われる。
【０１０２】
例えばユーザ選択によって選択された再生対象画像が記録再生部１０７においてメモリから選択取得され、重ね合わせ処理部２００に対して出力される。なお。記録再生部１０７は必要に応じてＲＧＢフォーマットからからＹＵＶフォーマットへのフォーマット変換が実行され、生成された輝度信号（Ｙ）がメモリａ２１１、メモリｂ２１２に供給されて処理を開始する。
【０１０３】
タイミングＴ０〜Ｔ１（図１１参照）では、図１０に示す記録再生部２０２から出力された画像データ（ｆｒｍ１）がフレームメモリａ２１１に書き込まれる。なお、本例では、フレームメモリａ２１１，フレームメモリｂ２１２へは輝度信号（Ｙ）の書き込みが行われる。
このタイミングＴ０〜Ｔ１の状態は、先に説明した図７において、記録再生部２０２からデータが出力される点が異なるものとなる。
【０１０４】
続いてタイミングＴ１では、２枚目の画像データ（ｆｒｍ２）が記録再生部２０２から出力され、今度はフレームメモリｂ２１２に書き込まれると同時にＧＭＶ算出部２０３に入力される。同時に、１枚目の画像データ（ｆｒｍ１）がフレームメモリａ２１１よりＧＭＶ算出部２０３に入力され、ＧＭＶ算出部２０３において１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との２フレーム間のグローバル動きベクトル（ＧＭＶ）が求められる。
このタイミングＴ１〜Ｔ２の状態は、先に説明した図８において、記録再生部２０２からデータが出力される点が異なるものとなる。
【０１０５】
タイミングＴ２では、位置合わせ部２０４にフレームメモリａ２１１から１枚目の画像データ（ｆｒｍ１）が入力され、Ｔ１〜Ｔ２で求められた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）間のＧＭＶが入力されて、この入力ＧＭＶに基づいて１枚目の画像データ（ｆｒｍ１）を、２枚目の画像データ（ｆｒｍ２）の被写体位置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
【０１０６】
なお、本処理例は、動画に対する重ね合わせ処理例である。動画の場合は、後続画像を基準画像として先行画像を参照画像とし、先行の参照画像を後続の基準画像の位置に合わせる位置合わせを行う。
【０１０７】
位置合わせされた１枚目の画像データ（ｆｒｍ１）は、２枚目の画像データ（ｆｒｍ２）と共に動被写体検出部２０５とブレンド処理部２０６に入力される。
【０１０８】
動被写体検出部２０５は、位置合わせされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との対応位置の画素値比較を実行して差分に応じた画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）を生成してブレンド処理部２０６に出力する。
【０１０９】
ブレンド処理部２０６は、動被写体検出部２０５において求められた画素単位の動き検出情報：α値（０＜＝α＜＝１）を用いて、位置合わせのなされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）とのブレンド処理を実行して重ね合わせフレームの生成を行う。
【０１１０】
位置合わせのなされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）とのブレンド処理によって生成される１枚目のブレンド画像である重ね合わせフレーム（ｍｌｔ１）は、ブレンド処理部２０６から出力され、フレームメモリａ２１１に上書きされ、かつ表示部１０９に出力される。
このタイミングＴ２〜Ｔ３の状態を示したのが図１２である。
【０１１１】
図５〜図９を参照して説明したＲＡＷ画像に対する重ね合わせ処理、さらに、図１０〜図１２を参照して説明したフルカラー画像に対する重ね合わせ処理から理解されるように、図５、図１０に示す共通の重ね合わせ処理部２００を利用してＲＡＷ画像に対する重ね合わせ処理と、フルカラー画像に対する重ね合わせ処理が実行される。
【０１１２】
さらに、これ等の異なる画像に対する重ね合わせ処理においては、２つの画像を格納する２つのメモリ、すなわちメモリａ２１１、メモリｂ２１２を利用しているのみで、任意枚数、例えばＮ枚の画像の重ね合わせ処理が実現される。
【０１１３】
［３．その他の実施例］
次にその他の実施例について説明する。
（３−１）高解像度化処理部を設定した実施例
まず、図１３を参照して重ね合わせ処理部に高解像度化処理部を設定した実施例について説明する。
【０１１４】
図１３に示す重ね合わせ処理部３００は、先に図５、図１０を参照して説明した重ね合わせ処理部２００に高解像度化処理部３０１、画像サイズ調整部３０２，３０３を追加した構成である。図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の回路構成である。ただし、静止画に対する重ね合わせ処理部ａ１０５として利用する場合、結線部３５１の接続構成を、図５を参照して説明したと同様に設定（図１３の結線部３５１の点線）する。また、動画に対する重ね合わせ処理部ｂ１０８として利用する場合、結線部３５１の接続構成を図１０を参照して説明したと同様に設定（図１３の結線部３５１の実線）する。
【０１１５】
さらに入力画像についても、静止画に対する重ね合わせ処理部ａ１０５として利用する場合、固体撮像素子２０１からの入力設定とし、動画に対する重ね合わせ処理部ｂ１０８として利用する場合、記録再生部２０２からの入力構成に変更する。これらはこれらの結線部３５１や、固体撮像素子２０１と記録再生部２０２の接続部に設定したスイッチの切り替え等によって実現される。
【０１１６】
高解像度化処理部３０１は、解像度変換を行う。アップサンプル部１１では、例えば１画素を４画素に設定する等の処理等の拡大画像の生成手法を適用して解像度変換を行う。
【０１１７】
画像サイズ調整部３０２は、メモリａ２１１からの入力画像を、ＧＭＶ算出部２０３でのＧＭＶ算出対象となる記録再生部２０２からの入力画像のサイズに合わせる処理を行う。これは、高解像度化処理部３０１における高解像度化に際して、画像の拡大が行われる場合があり、この拡大された画像をＧＭＶ算出部２０３でのＧＭＶ算出対象となる記録再生部２０２からの入力画像のサイズに合わせるための処理である。
【０１１８】
画像サイズ調整部３０３も、その後の処理で実行される画像の位置合わせ等のために２つの画像のサイズを調整する処理を行う。
【０１１９】
本実施例で実行するシーケンスは、以下のようになる。
ＲＡＷ画像に対する処理では、先に図３を参照して説明したフローチャートに従った処理を基本処理とし、ステップＳ１０３とステップＳ１０４の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
【０１２０】
また、フルカラー画像に対する処理では、先に図４を参照して説明したフローチャートに従った処理を基本処理とし、ステップＳ２０３とステップＳ２０４の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
【０１２１】
本実施例では、入力フレームを高解像度化後に重ね合わせ処理を行う。これにより、拡大によって生ずる、エッジ部のジャギー（ぎざぎざ）を低減することができる。なお、ＧＭＶ算出部２０３で得られたＧＭＶは高解像度画像の動き量に変換して使用する。
また、本実施例の変形として、高解像度化によるぼけを補償するため、入力フレームにラプラシアンフィルタなどのＨＰＦをかける構成としてもよい。
【０１２２】
（３−２）ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例
次に、ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例について説明する。
【０１２３】
先に説明した実施例では、ＲＡＷ画像の重ね合わせ処理においてもＧＭＶの算出を逐次実行しており、さらにフルカラー画像の重ね合わせ処理においてもＧＭＶの算出処理を逐次、実行する構成としていた。
【０１２４】
しかし、フルカラー画像はＲＡＷ画像から生成したものであり、ＧＭＶの算出対象となる２つの画像のペアがおなじであればＲＡＷ画像から算出したＧＭＶもフルカラー画像から算出したＧＭＶも同じになるはずである。従って、例えば撮影の際にＲＡＷ画像の重ね合わせ処理において算出したＧＭＶを各画像に対応づけたデータとしてメモリに記録しておけば、フルカラー画像の重ね合わせ処理に際して、このＧＭＶデータを取得することが可能となり、新たにＧＭＶを算出する処理を行う必要がなくなり処理が簡略化され高速化することがてきる。
【０１２５】
この処理を実行する画像処理装置の構成例を図１４に示す。
図１４は、本発明の画像処理装置の一例である撮像装置５００の構成例を示している。撮像装置５００は、先に説明した図１に示す画像処理装置１００と同様、画像撮影時に、撮影されるＲＡＷ画像、およびＲＡＷ画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
【０１２６】
ＲＡＷ画像に対する重ね合わせ処理を実行するのが図１４に示す撮像装置５００の重ね合わせ処理部ａ１０５である。フルカラー画像に対する重ね合わせ処理を実行するのが図１４に示す撮像装置５００の重ね合わせ処理部ｂ１０８である。これらは２つのブロックとして示してあるが、先に説明したように共通の回路を利用して構成される。
【０１２７】
図１を参照して説明した画像処理装置１００との差異は、図１４に示す画像処理装置５００は、ＧＭＶ記録部５０１を有する点である。
【０１２８】
ＧＭＶ記録部５０１は、重ね合わせ処理部ａ１０５において実行するＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶを記録する記憶部（メモリ）である。フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は、ＧＭＶ算出を実行せず、ＧＭＶ記録部５０１に記録されたＧＭＶを利用する。
【０１２９】
ＧＭＶ記録部５０１には、ＧＭＶのデータが、ＧＭＶ算出のなされた２つの画像フレーム識別子情報に対応づけて格納される。フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は、ＧＭＶ算出対象となる画像のペアの識別子に基づいてＧＭＶ記録部５０１に記録されたＧＭＶを選択して利用する。
【０１３０】
この実施例によれば、フルカラー画像の重ね合わせ処理に際して、このＧＭＶデータを取得することが可能となり、新たにＧＭＶを算出する処理を行う必要がなくなり処理が簡略化され高速化することがてきる。また、コーデック前の画像を使うことで、ＧＭＶの精度を向上させることができるというメリットもある。
【０１３１】
［４．画像処理装置のハードウェア構成例について］
最後に、図１５を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した画像重ね合わせ（ブレンド）処理によるノイズ低減や高解像化のための画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。
【０１３２】
ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。
【０１３３】
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１３４】
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。
【０１３５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１３８】
以上、説明したように、本発明の一実施例の構成によれば、ノイズ低減等を目的とした画像重ね合わせ処理をより小型のハードウェアにおいて実行する装置および方法が実現される。具体的には、例えば複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部においてノイズ低減や高解像化を実現するための画像重ね合わせを実行する。２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした。メモリの一部に重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用することで任意枚数の画像重ね合わせを可能とした。また、処理画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して処理を行うことで、ＲＡＷ画像とフルカラー画像に対する重ね合わせ処理を共通のハードウェアで実行可能とした。
【符号の説明】
【０１３９】
１００  画像処理装置
１０１  ユーザ入力部
１０２  レンズ
１０３  固体撮像素子
１０４  プリ処理部
１０５  重ね合わせ処理部ａ
１０６  ポスト処理部
１０７  記録再生部
１０８  重ね合わせ処理部ｂ
１０９  表示部
２００  重ね合わせ処理部
２０１  固体撮像素子
２０２  記録再生部
２０３  ＧＭＶ算出部
２０４  位置合わせ処理部
２０５  動被写体検出部
２０６  ブレンド処理部
２１１，２１２  メモリ
３００  重ね合わせ処理部
３０１  高解像度化処理部
３０２，３０３  画像サイズ調整部
５００  画像処理装置
５０１  ＧＭＶ記録部
９０１  ＣＰＵ
９０２  ＲＯＭ
９０３  ＲＡＭ
９０４  バス
９０５  入出力インタフェース
９０６  入力部
９０７  出力部
９０８  記憶部
９０９  通信部
９１０  ドライブ
９１１  リムーバブルメディア
【図１】
2012004908.tif 000009
【図２】
2012004908.tif 000010
【図３】
2012004908.tif 000011
【図４】
2012004908.tif 000012
【図５】
2012004908.tif 000013
【図６】
2012004908.tif 000014
【図７】
2012004908.tif 000015
【図８】
2012004908.tif 000016
【図９】
2012004908.tif 000017
【図１０】
2012004908.tif 000018
【図１１】
2012004908.tif 000019
【図１２】
2012004908.tif 000020
【図１３】
2012004908.tif 000021
【図１４】
2012004908.tif 000022
【図１５】
2012004908.tif 000023