(57)【特許請求の範囲】
【請求項１】
入力された同じ画角の複数の入力画像から、特異値を除去した出力画像を生成する画像生成装置であって、
それぞれの前記入力画像内の各位置に配置された予め定めた数のデータを要素とする複数の集合を生成し、該生成した複数の集合の内、近い値のデータが最も多く密に集まっている１つの集合を探索し、該探索した１つの集合に含まれる要素を表す集合情報を出力する集合探索部と、
前記集合情報に基づいて、前記集合探索部によって探索された１つの集合を代表する代表値を検出する代表値検出部と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記集合探索部は、
前記入力画像内の各位置に配置された画素の単位で、１つの前記集合を探索し、
前記代表値検出部は、
前記集合探索部によって探索された１つの前記集合から検出した代表値を、前記出力画像において前記入力画像と同一の位置に配置されるデータの値として出力する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記集合探索部は、
前記入力画像内の各位置に配置された各データを、予め定めた複数のデータからなるブロックに区切り、それぞれの前記入力画像において区切られた同一のブロックの単位で、１つの前記集合を探索し、
前記代表値検出部は、
前記集合探索部によって探索された１つの前記集合から検出した代表値に基づいて、前記出力画像において前記入力画像と同一のブロック内の同一の位置に配置されるデータの値を、前記入力画像の同一のブロック内の各位置に配置された各データの値から選択して出力する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記集合探索部は、
前記入力画像内の各位置に配置された、該入力画像の輝度を表す輝度情報、または該入力画像の色を表す色情報のいずれか一方または両方のデータに基づいて、１つの前記集合を探索する、
ことを特徴とする請求項１から請求項３のいずれか１の項に記載の画像生成装置。
【請求項５】
前記集合探索部は、
前記入力画像内の各位置に配置された、該入力画像を取得する際に撮像素子から出力された信号に応じた値のデータに基づいて、１つの前記集合を探索する、
ことを特徴とする請求項１から請求項３のいずれか１の項に記載の画像生成装置。
【請求項６】
前記集合探索部は、
それぞれの前記入力画像で同一の位置に配置された前記データのそれぞれを、該データの値に基づいて予め定めた順番に並び替えた際に、該並び替えた順番が連続する予め定めた数のデータを要素とする複数の集合を生成する集合生成部と、
それぞれの前記集合を構成する要素であるデータの最小値と最大値とに基づいて、前記集合に含まれる要素の範囲を算出する集合範囲算出部と、
前記集合範囲算出部が算出した前記集合に含まれる要素の範囲が、最小である前記集合を検出し、該検出した前記集合を、該集合探索部が探索する１つの前記集合とする最小範囲集合検出部と、
を備えることを特徴とする請求項１から請求項５のいずれか１の項に記載の画像生成装置。
【請求項７】
前記代表値検出部は、
前記集合探索部によって探索された１つの前記集合を構成する全ての前記要素を予め定めた順番に並び替えた際に、中央に位置する１つの要素を、前記代表値として検出する、
ことを特徴とする請求項１から請求項６のいずれか１の項に記載の画像生成装置。
【請求項８】
前記代表値検出部は、
前記集合探索部によって探索された１つの前記集合を構成する要素であるデータの全てまたは一部の値に基づいて算出した平均値を、前記代表値として検出する、
ことを特徴とする請求項１から請求項６のいずれか１の項に記載の画像生成装置。
【請求項９】
前記代表値検出部は、
前記集合探索部によって探索された１つの前記集合を構成する要素であるデータの最大値または最小値を、前記代表値として検出する、
ことを特徴とする請求項１から請求項６のいずれか１の項に記載の画像生成装置。
【請求項１０】
被写体を撮影する撮像装置であって、
入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備し、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力する撮像部と、
前記撮像部から出力された複数枚の前記画像を記憶する記憶部と、
前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを検出する位置ズレ検出部と、
前記位置ズレ検出部によって検出された撮影位置のズレが補正された前記画像が、入力画像として複数入力され、該入力された複数の前記入力画像から、特異値を除去した出力画像を生成する、請求項１から請求項９のいずれか１の項に記載の画像生成装置と、
を備えることを特徴とする撮像装置。
【請求項１１】
前記画像生成装置は、
入力された複数の前記入力画像内の同一の位置に写っている枚数が少ない移動体の部分を、前記特異値として除去した前記出力画像を生成する、
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記画像生成装置は、
入力された複数の前記入力画像内のノイズの部分を、前記特異値として除去した前記出力画像を生成する、
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
入力された同じ画角の複数の入力画像から、特異値を除去した出力画像を生成する画像生成方法であって、
それぞれの前記入力画像内の各位置に配置された予め定めた数のデータを要素とする複数の集合を生成し、該生成した複数の集合の内、近い値のデータが最も多く密に集まっている１つの集合を探索し、該探索した１つの集合に含まれる要素を表す集合情報を出力する集合探索ステップと、
前記集合情報に基づいて、前記集合探索ステップによって探索された１つの集合を代表する代表値を検出する代表値検出ステップと、
を含むことを特徴とする画像生成方法。
【請求項１４】
被写体を撮影する撮像装置による撮像方法であって、
入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備した撮像部に、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力させる撮像ステップと、
記憶部に、前記撮像部から出力された複数枚の前記画像を記憶させる記憶ステップと、
位置ズレ検出部に、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを検出させる位置ズレ検出ステップと、
請求項１から請求項９のいずれか１の項に記載の画像生成装置に、前記位置ズレ検出部によって検出された撮影位置のズレが補正された前記画像を、入力画像として複数入力し、該入力された複数の前記入力画像から、特異値を除去した出力画像を生成させる画像生成ステップと、
を含むことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法、撮像装置、および撮像方法に関する。
【背景技術】
【０００２】
従来から、複数の画像に含まれる同一の座標に位置する画素の値（以下、「画素値」という）の中で、他の多くの画像の画素値から大きく外れた画素値（以下、「特異値」という）を除去することによって、複数の画像から１枚の画像を生成する動体除去という機能がある。動体除去とは、静止画用カメラ（以下、「カメラ」という）で建物などの被写体を撮影した際に、カメラと被写体の間を横切る通行人や車両などの不要な移動体を除去した所望の画像を生成する機能である。
【０００３】
動体除去では、移動体がカメラの前を横切るような場合には、連続して撮影した複数の画像の同一の位置に移動体が写っている枚数は少なく、多くの画像には背景が写っているという考えに基づいて、連続撮影した複数の画像から、その撮影時間中に動いた被写体を除去した画像を生成する。より具体的には、複数の画像の同一の位置に写っている回数が少ない移動体の画素値を特異値として、同じ位置に写っている回数が多い背景の画素値に置き換えることによって、移動体を除去した背景のみの画像を生成する。
【０００４】
動体除去の方法の１つとして、例えば、特許文献１のような技術が開示されている。特許文献１で開示された技術では、時間的に連続する複数枚の撮影画像の同一位置の画素値についてヒストグラムを作成し、同じ画素値が出現する回数（以下、「度数」という）が最も高い画素値を出力する。そして、撮影画像のそれぞれの位置で度数の高い画素値を最終的な画素値にすることによって、移動体を除去した１枚の画像を生成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−１４９３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、実際には、被写体が同じであっても、ノイズや撮影位置のズレによって、同じ位置の画素値が全く同じ値になることはほとんどない。これは、特許文献１で開示された技術のように、単純に同一位置の画素値のヒストグラムを作成する方法では、同じ位置の同じ被写体の画素値から作成したヒストグラムであっても、それぞれの撮影画像の画素値のバラツキによって、度数に偏りができないということを表している。このため、特許文献１で開示された技術では、ヒストグラムの度数の偏り（ピーク）を作るために多くの撮影画像を処理する必要がある、という問題がある。また、多くの撮影画像を必要とするということは、撮影位置のズレが大きくなる要因でもあり、さらには、撮像装置の使用者（ユーザー）に、違和感や不快感を与えてしまうことにもなる。
【０００７】
さらに、特許文献１で開示された技術のように、画素値のヒストグラムを作成して移動体を除去する方法では、移動体の除去に用いる撮影画像の枚数分の画素値をそれぞれ階級としたヒストグラムを、撮影画像に含まれる画素数分作成する必要があり、多くのメモリを必要とする。このため、移動体の除去処理を行うための構成が複雑になる、という問題もある。
【０００８】
本発明は、上記の課題認識に基づいてなされたものであり、少ない枚数の撮影画像で、かつ、簡単な構成で、移動体やノイズなどの特異値を除去することができる画像生成装置、画像生成方法、撮像装置、および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の画像生成装置は、入力された同じ画角の複数の入力画像から、特異値を除去した出力画像を生成する画像生成装置であって、それぞれの前記入力画像内の各位置に配置された予め定めた数のデータを要素とする複数の集合を生成し、該生成した複数の集合の内、近い値のデータが最も多く密に集まっている１つの集合を探索し、該探索した１つの集合に含まれる要素を表す集合情報を出力する集合探索部と、前記集合情報に基づいて、前記集合探索部によって探索された１つの集合を代表する代表値を検出する代表値検出部と、を備えることを特徴とする。
【００１０】
また、本発明の前記集合探索部は、前記入力画像内の各位置に配置された画素の単位で、１つの前記集合を探索し、前記代表値検出部は、前記集合探索部によって探索された１つの前記集合から検出した代表値を、前記出力画像において前記入力画像と同一の位置に配置されるデータの値として出力する、ことを特徴とする。
【００１１】
また、本発明の前記集合探索部は、前記入力画像内の各位置に配置された各データを、予め定めた複数のデータからなるブロックに区切り、それぞれの前記入力画像において区切られた同一のブロックの単位で、１つの前記集合を探索し、前記代表値検出部は、前記集合探索部によって探索された１つの前記集合から検出した代表値に基づいて、前記出力画像において前記入力画像と同一のブロック内の同一の位置に配置されるデータの値を、前記入力画像の同一のブロック内の各位置に配置された各データの値から選択して出力する、ことを特徴とする。
【００１２】
また、本発明の前記集合探索部は、前記入力画像内の各位置に配置された、該入力画像の輝度を表す輝度情報、または該入力画像の色を表す色情報のいずれか一方または両方のデータに基づいて、１つの前記集合を探索する、ことを特徴とする。
【００１３】
また、本発明の前記集合探索部は、前記入力画像内の各位置に配置された、該入力画像を取得する際に撮像素子から出力された信号に応じた値のデータに基づいて、１つの前記集合を探索する、ことを特徴とする。
【００１４】
また、本発明の前記集合探索部は、それぞれの前記入力画像で同一の位置に配置された前記データのそれぞれを、該データの値に基づいて予め定めた順番に並び替えた際に、該並び替えた順番が連続する予め定めた数のデータを要素とする複数の集合を生成する集合生成部と、それぞれの前記集合を構成する要素であるデータの最小値と最大値とに基づいて、前記集合に含まれる要素の範囲を算出する集合範囲算出部と、前記集合範囲算出部が算出した前記集合に含まれる要素の範囲が、最小である前記集合を検出し、該検出した前記集合を、該集合探索部が探索する１つの前記集合とする最小範囲集合検出部と、を備えることを特徴とする。
【００１５】
また、本発明の前記代表値検出部は、前記集合探索部によって探索された１つの前記集合を構成する全ての前記要素を予め定めた順番に並び替えた際に、中央に位置する１つの要素を、前記代表値として検出する、ことを特徴とする。
【００１６】
また、本発明の前記代表値検出部は、前記集合探索部によって探索された１つの前記集合を構成する要素であるデータの全てまたは一部の値に基づいて算出した平均値を、前記代表値として検出する、ことを特徴とする。
【００１７】
また、本発明の前記代表値検出部は、前記集合探索部によって探索された１つの前記集合を構成する要素であるデータの最大値または最小値を、前記代表値として検出する、ことを特徴とする。
【００１８】
また、本発明の撮像装置は、被写体を撮影する撮像装置であって、入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備し、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力する撮像部と、前記撮像部から出力された複数枚の前記画像を記憶する記憶部と、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを検出する位置ズレ検出部と、前記位置ズレ検出部によって検出された撮影位置のズレが補正された前記画像が、入力画像として複数入力され、該入力された複数の前記入力画像から、特異値を除去した出力画像を生成する、請求項１から請求項９のいずれか１の項に記載の画像生成装置と、を備えることを特徴とする。
【００１９】
また、本発明の前記画像生成装置は、入力された複数の前記入力画像内の同一の位置に写っている枚数が少ない移動体の部分を、前記特異値として除去した前記出力画像を生成する、ことを特徴とする。
【００２０】
また、本発明の前記画像生成装置は、入力された複数の前記入力画像内のノイズの部分を、前記特異値として除去した前記出力画像を生成する、ことを特徴とする。
【００２１】
また、本発明の画像生成方法は、入力された同じ画角の複数の入力画像から、特異値を除去した出力画像を生成する画像生成方法であって、それぞれの前記入力画像内の各位置に配置された予め定めた数のデータを要素とする複数の集合を生成し、該生成した複数の集合の内、近い値のデータが最も多く密に集まっている１つの集合を探索し、該探索した１つの集合に含まれる要素を表す集合情報を出力する集合探索ステップと、前記集合情報に基づいて、前記集合探索ステップによって探索された１つの集合を代表する代表値を検出する代表値検出ステップと、を含むことを特徴とする。
【００２２】
また、本発明の撮像方法は、被写体を撮影する撮像装置による撮像方法であって、入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備した撮像部に、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力させる撮像ステップと、記憶部に、前記撮像部から出力された複数枚の前記画像を記憶させる記憶ステップと、位置ズレ検出部に、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを検出させる位置ズレ検出ステップと、請求項１から請求項９のいずれか１の項に記載の画像生成装置に、前記位置ズレ検出部によって検出された撮影位置のズレが補正された前記画像を、入力画像として複数入力し、該入力された複数の前記入力画像から、特異値を除去した出力画像を生成させる画像生成ステップと、を含むことを特徴とする。
【発明の効果】
【００２３】
本発明によれば、少ない枚数の撮影画像で、かつ、簡単な構成で、移動体やノイズなどの特異値を除去することができるという効果が得られる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態における画像生成装置を適用した撮像装置の概略構成を示したブロック図である。
【図２】本第１の実施形態の画像生成装置の概略構成を示したブロック図である。
【図３】本第１の実施形態の画像生成装置に備えた集合探索部の概略構成を示したブロック図である。
【図４】本第１の実施形態の画像生成装置における特異値除去処理の手順を示したフローチャートである。
【図５】本第１の実施形態の画像生成装置による特異値除去処理の一例を説明する図である。
【図６】本発明の第２の実施形態の画像生成装置の概略構成を示したブロック図である。
【図７】本第２の実施形態の画像生成装置における特異値除去処理の手順を示したフローチャートである。
【図８】本発明の第３の実施形態の画像生成装置の概略構成を示したブロック図である。
【図９】本第３の実施形態の画像生成装置における画素ブロックの設定の一例を模式的に示した図である。
【発明を実施するための形態】
【００２５】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。本第１の実施形態においては、例えば、デジタルスチルカメラなどの撮像装置に、本第１の実施形態の画像生成装置を適用した場合の一例について説明する。図１は、本第１の実施形態における画像生成装置を適用した撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、制御部１１と、撮像部１２と、記憶部１３と、位置ズレ検出部１４と、画像処理部１５と、表示部１６と、記録部１７と、特異値除去部２０と、を備えている。
【００２６】
制御部１１は、撮像装置１０内の各構成要素をそれぞれ制御することによって、撮像装置１０全体の制御を行う。撮像部１２は、レンズや撮像素子などから構成され、制御部１１からの制御に応じて、レンズを介して撮像素子に結像された被写体の光学像を露光する。そして、撮像部１２は、撮像素子が露光した光量に応じて画像信号に変換した画像データを、記憶部１３に出力する。
【００２７】
記憶部１３は、制御部１１からの制御に応じて、撮像部１２から入力された画像データを一時的に記憶する、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのメモリである。記憶部１３は、特異値除去部２０が特異値を除去する処理に使用する枚数分の画像データを記憶する。記憶部１３に記憶されたそれぞれの画像データは、制御部１１からの制御に応じて、特異値除去部２０に出力される。また、記憶部１３に記憶された画像データは、制御部１１からの制御に応じて位置ズレ検出部１４に出力され、位置ズレ検出部１４から入力された位置ズレ情報が記憶される。
【００２８】
位置ズレ検出部１４は、制御部１１からの制御に応じて、記憶部１３に記憶された全ての画像データに対して、画角の位置が合うようにするためのズレ量を計算する。そして、位置ズレ検出部１４は、計算したズレ量を、位置ズレ情報として記憶部１３に出力する。制御部１１は、記憶部１３に記憶された画像データを特異値除去部２０が読み出す際、記憶部１３に記憶された位置ズレ情報に基づいて、画像データにおけるそれぞれの画素の位置が、被写体の光学像の同じ場所を露光したときの位置になるように、記憶部１３からの画像データの読み出しを制御する。これにより、特異値除去部２０に入力される全ての画像データ内で同一の位置に配置されているそれぞれの画素の画素値は、被写体の光学像の同じ場所を露光したときの値になる。
【００２９】
特異値除去部２０は、制御部１１からの制御に応じて記憶部１３から入力された位置ズレを検出した全ての画像データに対して特異値除去処理を行って、画像データ内に含まれる特異値を除去した画像データを生成する、本第１の実施形態の画像生成装置である。特異値除去部２０は、特異値除去処理によって、例えば、建物などの固定の被写体（以下、「固定物」という）の前を横切る通行人や車両などの不要な移動体やノイズの画素値を特異値として除去した画像データを生成する。
【００３０】
特異値除去部２０によって生成される特異値除去後の画像データは、背景のみが写された画像データと同等の画像データである。以下の説明においては、特異値除去部２０によって生成される特異値除去後の画像データを、「特異値除去画像」という。特異値除去部２０は、生成した特異値除去画像を、画像処理部１５に出力する。なお、特異値除去部２０における特異値除去処理に関する詳細な説明は、後述する。
【００３１】
画像処理部１５は、制御部１１からの制御に応じて、特異値除去部２０から入力された特異値除去画像に対して、予め定められた種々の画像処理（現像）を行った画像データを生成する。そして、画像処理部１５は、生成した画像処理後の画像データを、撮像装置１０内の対応する構成要素に出力する。例えば、画像処理部１５は、画像データを表示するための画像処理を行って生成した表示用の画像データを、表示部１６に出力する。また、例えば、画像処理部１５は、画像データを記録するための画像フォーマット（例えば、ＪＰＥＧ：Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）に変換する画像処理を行って生成した記録用の画像データを、記録部１７に出力する。
【００３２】
表示部１６は、画像データを表示する、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示装置を備え、制御部１１からの制御に応じて、画像処理部１５から入力された表示用の画像データを表示する。記録部１７は、制御部１１からの制御に応じて、画像処理部１５から入力された記録用の画像データを、例えば、メモリカードなどの画像記録媒体に記録する。
【００３３】
次に、撮像装置１０に備えた本第１の実施形態の画像生成装置である特異値除去部２０について説明する。図２は、本第１の実施形態の画像生成装置である特異値除去部２０の概略構成を示したブロック図である。図２に示したように、特異値除去部２０は、集合探索部２１と代表値検出部２２とを備えている。なお、図２では、撮像装置１０内における特異値除去部２０と、記憶部１３および画像処理部１５との接続も併せて示している。
【００３４】
特異値除去部２０は、制御部１１からの制御に応じて、記憶部１３に記憶された位置ズレ情報に基づいて位置ズレを補正するように画像データの読み出し位置を調整して、記憶部１３に記憶された複数枚の画像データのそれぞれを、入力画像として読み出す。そして、特異値除去部２０は、特異値除去処理を行って生成した１枚の画像データを、特異値除去画像として画像処理部１５に出力する。なお、特異値除去部２０による特異値除去処理では、特異値除去処理に用いるそれぞれの入力画像において、同一の座標位置に配置されている画素の画素値同士で処理を行う。そして、特異値除去部２０内の各構成要素は、それぞれの画素値に対する処理を、入力画像の画素数と同じ回数繰り返す。
【００３５】
以下の説明において「画素」という場合には、処理に用いるそれぞれの入力画像内で同一の座標位置に配置されている画素であるものとする。また、同様に画素の値である「画素値」を含めて、それぞれの処理の過程で出力される「値」も、入力画像内で同一の座標位置に配置されている画素に対応した値であるものとする。
【００３６】
この画素値は、撮像部１２内の撮像素子が露光した光量に応じた画像信号に基づいた値（例えば、ＲＡＷデータの値）である。なお、画素値は、上述した画像信号に基づいた値を画像処理することによって得られる、画像の輝度を表す輝度情報の値や、画像の色を表す色情報の値であってもよい。以下の説明においては、画像信号に基づいた値、あるいは輝度情報の値と色情報の値のいずれか一方または両方の値を区別せず、単に「画素値」として説明する。
【００３７】
集合探索部２１は、記憶部１３から入力された全ての入力画像において、同一の座標位置に配置されている各画素の画素値を判定し、同様の画素値が最も多く密に集まっている画素の集合を探索する。そして、集合探索部２１は、探索した集合を構成する全ての画素の情報（以下、「集合情報」という）を、代表値検出部２２に出力する。より具体的には、集合探索部２１は、まず、予め定めた数の画素の集合（以下、「画素集合」という）を生成する。例えば、特異値除去部２０に１〜Ｎ枚目の入力画像が入力され、それぞれの画素集合が３個の画素で構成される場合、集合探索部２１は、いずれか３枚の入力画像において同一の座標位置に配置されている画素を集合とした複数の画素集合を生成する。そして、集合探索部２１は、生成したそれぞれの画素集合毎に、画素集合を構成する各画素の画素値を参照して、同様の画素値が最も多く密に集まっている１つの画素集合を探索する。そして、集合探索部２１は、探索した１つの画素集合の集合情報を、代表値検出部２２に出力する。なお、集合探索部２１の構成および処理に関する詳細な説明は、後述する。
【００３８】
代表値検出部２２は、集合探索部２１から入力された集合情報に含まれる全ての画素の画素値に基づいて、画素集合を代表する画素値を検出し、検出した画素値を、特異値除去画像の画素値として画像処理部１５に出力する。
【００３９】
このように、特異値除去部２０は、記憶部１３から入力された全ての入力画像において、同一の座標位置に配置されているそれぞれの画素を、予め定めた数の画素で構成される画素集合の単位で処理し、特異値除去画像を生成するための画素を選択する。
【００４０】
次に、特異値除去部２０に備えた集合探索部２１について、より詳細に説明する。図３は、本第１の実施形態の画像生成装置である特異値除去部２０に備えた集合探索部２１の概略構成を示したブロック図である。図３に示したように、集合探索部２１は、集合生成部２１１と、集合範囲算出部２１２と、最小範囲集合検出部２１３と、を備えている。
【００４１】
集合生成部２１１は、予め定めた数の画素で構成される画素集合を生成する。そして、集合生成部２１１は、生成した画素集合の集合情報を集合範囲算出部２１２に出力する。より具体的には、集合生成部２１１は、画素集合を生成するとき、まず、入力された全ての入力画像において同一の座標位置に配置されているそれぞれの画素の画素値を、小さい順に並び替える。そして、集合生成部２１１は、画素値の小さい順に割り当てられた並び替えた後の順番を表す情報（以下、「順位番号」という）を、画素集合に含まれる画素が何枚目の入力画像の画素であるかを表す情報（以下、「フレーム番号」という）に対応付ける。続いて、集合生成部２１１は、順位番号が連続する予め定めた数の画素を１つの画素集合とし、順位番号を順次１つずつずらしながら、複数の画素集合を生成する。そして、集合生成部２１１は、生成したそれぞれの画素集合を構成する各画素の画素値と、画素集合を構成する各画素のフレーム番号および順位番号とを集合情報として、集合範囲算出部２１２に出力する。
【００４２】
なお、集合生成部２１１がそれぞれの画素の画素値を並び替える際の順番は、上述した小さい順に限定されるものではなく、大きい順であってもよい。
【００４３】
集合範囲算出部２１２は、集合生成部２１１から入力されたそれぞれの画素集合の集合情報に基づいて、それぞれの画素集合に含まれる画素の画素値の範囲を算出する。そして、集合範囲算出部２１２は、集合生成部２１１から入力されたそれぞれの画素集合の集合情報に、算出した画素値の範囲の情報を追加して、最小範囲集合検出部２１３に出力する。より具体的には、集合範囲算出部２１２は、集合生成部２１１から入力されたそれぞれの画素集合の集合情報の内、最も小さい順位番号の画素の画素値と、最も大きい順位番号の画素値との差分、すなわち、画素集合を構成する画素の画素値の最小値と最大値との差分値を算出する。そして、集合範囲算出部２１２は、算出した差分値の情報を画素集合の集合情報に追加して、最小範囲集合検出部２１３に出力する。
【００４４】
最小範囲集合検出部２１３は、集合範囲算出部２１２から入力されたそれぞれの画素集合の集合情報に基づいて、画素集合に含まれる画素の画素値の範囲が最も小さい画素集合を検出する。そして、最小範囲集合検出部２１３は、検出した画素集合の集合情報を、集合探索部２１が探索した、同様の画素値が最も多く密に集まっている画素集合として、代表値検出部２２に出力する。より具体的には、最小範囲集合検出部２１３は、集合範囲算出部２１２から入力されたそれぞれの画素集合の集合情報に含まれる差分値に基づいて、差分値が最も小さい画素集合、すなわち、同様の画素値が最も多く密に集まっている１つの画素集合を検出する。そして、最小範囲集合検出部２１３は、検出した画素集合の集合情報を、集合探索部２１が探索した画素集合の集合情報として、代表値検出部２２に出力する。
【００４５】
次に、撮像装置１０に備えた本第１の実施形態の画像生成装置である特異値除去部２０における特異値除去処理の手順について説明する。図４は、本第１の実施形態の画像生成装置である特異値除去部２０における特異値除去処理の手順を示したフローチャートである。また、図５は、本第１の実施形態の画像生成装置である特異値除去部２０による特異値除去処理の一例を説明する図である。図４に示した特異値除去処理のフローチャートの説明においては、図５に示した特異値除去処理の一例を参照して、５枚（フレーム）の入力画像から、不要な移動体やノイズの画素値を特異値として除去した１枚の特異値除去画像を生成する場合の例を説明する。
【００４６】
特異値除去部２０は、制御部１１からの制御に応じて特異値除去処理を開始すると、ステップＳ１から１つ目の画素の特異値除去処理を開始する。１つ目の画素の特異値除去処理が開始されると、ステップＳ２において、集合探索部２１内の集合生成部２１１は、記憶部１３から複数枚（本説明においては、５フレーム）の入力画像において同一の座標位置に配置されている１つ目の画素の画素値Ｉｎ（ｎ）を取得する。
【００４７】
なお、「ｎ」はフレーム番号であり、５フレームの入力画像のそれぞれを表す１〜５の整数である。以下の説明においては、入力画像のフレームを特定する場合に「ｎ」を「１」〜「５」の整数で表し、入力画像のフレームを特定しない場合に「ｎ」をそのまま「ｎ」と表すこととする。
【００４８】
ここで、特異値除去部２０は、ステップＳ２において、図５（ａ）に示したように分布した画素値Ｉｎ（ｎ）を取得したものとする。より具体的には、集合探索部２１は、１フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（１）＝５０，２フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（２）＝４０，３フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（３）＝２１０，４フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（４）＝２００，５フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（５）＝６５を取得したものとする。
【００４９】
続いて、ステップＳ３において、集合生成部２１１は、取得したそれぞれの画素値Ｉｎ（ｎ）を、小さい順に並び替え、それぞれの画素値Ｉｎ（ｎ）のフレーム番号ｎに対応した順位番号Ｎｕｍ（ｎ）を生成する。ここでは、集合生成部２１１は、ステップＳ３において、図５（ｂ）に示したように、画素値Ｉｎ（１）〜Ｉｎ（５）を並び替え、各画素値に対応した順位番号Ｎｕｍ（１）〜Ｎｕｍ（５）を生成する。
【００５０】
より具体的には、図５（ｂ）に示したように、集合生成部２１１は、画素値Ｉｎ（１）〜Ｉｎ（５）を、画素値Ｉｎ（２）、画素値Ｉｎ（１）、画素値Ｉｎ（５）、画素値Ｉｎ（４）、画素値Ｉｎ（３）の順番に並び替える。そして、１番目に小さい、すなわち、最も小さい画素値Ｉｎ（２）＝４０に順位番号Ｎｕｍ（２）＝１を対応付け、２番目に小さい画素値Ｉｎ（１）＝５０に順位番号Ｎｕｍ（１）＝２を対応付け、３番目に小さい画素値Ｉｎ（５）＝６５に順位番号Ｎｕｍ（５）＝３を対応付け、４番目小さい画素値Ｉｎ（４）＝２００に順位番号Ｎｕｍ（４）＝４を対応付け、５番目に小さい、すなわち、最も大きい画素値Ｉｎ（３）＝２１０に順位番号Ｎｕｍ（３）＝５を対応付ける。
【００５１】
続いて、ステップＳ４において、集合生成部２１１は、それぞれの画素値Ｉｎ（ｎ）に対応付けられた順位番号Ｎｕｍ（ｎ）に基づいて、順位番号Ｎｕｍ（ｎ）が連続する予め定めた数の画素を要素とする画素集合Ｇ（ｍ）を生成する。
【００５２】
なお、「ｍ」はそれぞれの画素集合を表す番号であり、画素集合のそれぞれを表す整数である。以下の説明においては、画素集合を特定する場合に「ｍ」を「整数」で表し、画素集合を特定しない場合に「ｍ」をそのまま「ｍ」と表すこととする。
【００５３】
ここで、特異値除去部２０は、５個の画素値Ｉｎ（１）〜Ｉｎ（５）の中で１個、もしくは２個の画素値が他の画素値から大きく外れたものを特異値として除去する対象とするため、３個以上の画素値が密に集まっている画素集合を探索することができるように、３個の画素を要素とする画素集合Ｇ（ｍ）を生成するものとする。従って、集合生成部２１１は、ステップＳ４において、図５（ｃ）に示したような画素集合Ｇ（１）〜Ｇ（３）を生成する。
【００５４】
より具体的には、順位番号Ｎｕｍ（ｎ）＝１〜３の画素値Ｉｎ（ｎ）の画素集合を画素集合Ｇ（１）とし、順位番号Ｎｕｍ（ｎ）＝２〜４の画素値Ｉｎ（ｎ）の画素集合を画素集合Ｇ（２）とし、順位番号Ｎｕｍ（ｎ）＝３〜５の画素値Ｉｎ（ｎ）の画素集合を画素集合Ｇ（３）とした、下式（１）に示したような画素集合Ｇ（１）〜Ｇ（３）を生成する。
【００５５】
画素集合Ｇ（１）＝｛Ｉｎ（２）、Ｉｎ（１）、Ｉｎ（５）｝
画素集合Ｇ（２）＝｛Ｉｎ（１）、Ｉｎ（５）、Ｉｎ（４）｝・・・（１）
画素集合Ｇ（３）＝｛Ｉｎ（５）、Ｉｎ（４）、Ｉｎ（３）｝
【００５６】
そして、集合生成部２１１は、ステップＳ４において、生成した上式（１）のそれぞれの画素集合Ｇ（１）〜Ｇ（３）の集合情報を、集合範囲算出部２１２に出力する。
【００５７】
なお、集合生成部２１１が画素集合Ｇ（ｍ）を生成するための特異値の定義は、上述した一例に限定されるものではなく、入力画像の枚数（フレーム数）や、想定される特異値の画素の数に応じて、異なる特異値の定義にすることもできる。また、集合生成部２１１が生成する画素集合Ｇ（ｍ）を構成する画素の数も、上述した一例に限定されるものではなく、入力画像の枚数（フレーム数）や、特異値の定義に応じて、異なる数にすることができる。
【００５８】
続いて、ステップＳ５において、集合探索部２１内の集合範囲算出部２１２は、集合生成部２１１から入力されたそれぞれの画素集合Ｇ（ｍ）の集合情報に基づいて、それぞれの画素集合Ｇ（ｍ）に含まれる画素の画素値Ｉｎ（ｎ）の範囲Ｄｉｆｆ（ｍ）を、画素集合Ｇ（ｍ）毎に算出する。ここでは、集合範囲算出部２１２は、図５（ｄ）に示したように、画素集合Ｇ（１）〜Ｇ（３）のそれぞれに対応した範囲Ｄｉｆｆ（１）〜Ｄｉｆｆ（３）を算出する。
【００５９】
なお、ステップＳ５における範囲Ｄｉｆｆ（ｍ）の算出方法は、図５（ｄ）に示したように、それぞれの画素集合Ｇ（１）〜Ｇ（３）に含まれる画素値Ｉｎ（ｎ）の最小値と最大値との差分値をそれぞれ、範囲Ｄｉｆｆ（１）〜Ｄｉｆｆ（３）として算出する。より具体的には、集合範囲算出部２１２が画素集合Ｇ（１）の範囲Ｄｉｆｆ（１）を算出する場合、画素集合Ｇ（１）に含まれる最小の画素値Ｉｎ（２）＝４０と最大の画素値Ｉｎ（５）＝６５との差分値＝２５を、範囲Ｄｉｆｆ（１）＝２５として算出する。また、同様に、集合範囲算出部２１２が画素集合Ｇ（２）の範囲Ｄｉｆｆ（２）を算出する場合、画素集合Ｇ（２）に含まれる最小の画素値Ｉｎ（１）＝５０と最大の画素値Ｉｎ（４）＝２００との差分値＝１５０を、範囲Ｄｉｆｆ（２）＝１５０として算出する。また、同様に、集合範囲算出部２１２が画素集合Ｇ（３）の範囲Ｄｉｆｆ（３）を算出する場合、画素集合Ｇ（３）に含まれる最小の画素値Ｉｎ（５）＝６５と最大の画素値Ｉｎ（３）＝２１０との差分値＝１４５を、範囲Ｄｉｆｆ（３）＝１４５として算出する。
【００６０】
そして、集合範囲算出部２１２は、ステップＳ５において、算出したそれぞれの範囲Ｄｉｆｆ（１）〜Ｄｉｆｆ（３）を、対応するそれぞれの画素集合Ｇ（１）〜Ｇ（３）の集合情報に追加して、最小範囲集合検出部２１３に出力する。
【００６１】
続いて、ステップＳ６において、集合探索部２１内の最小範囲集合検出部２１３は、集合範囲算出部２１２から入力されたそれぞれの画素集合Ｇ（ｍ）の集合情報に基づいて、それぞれの画素集合Ｇ（ｍ）に含まれる範囲Ｄｉｆｆ（ｍ）が最も小さい画素集合Ｇ（ｍ）を検出する。ここでは、最小範囲集合検出部２１３は、画素集合Ｇ（１）〜Ｇ（３）のそれぞれの範囲Ｄｉｆｆ（１）〜Ｄｉｆｆ（３）の内、最も小さい範囲Ｄｉｆｆ（１）＝２５である画素集合Ｇ（１）を検出する（図５（ｄ）参照）。
【００６２】
そして、最小範囲集合検出部２１３は、ステップＳ６において、検出した画素集合Ｇ（１）の集合情報を、集合探索部２１が探索した画素集合Ｇ（ｍ）の集合情報として、代表値検出部２２に出力する。
【００６３】
このように、集合探索部２１は、全ての入力画像において同一の座標位置に配置されている画素値Ｉｎ（ｎ）を取得し、予め定めた特異値の定義に基づいて、予め定めた数の画素を要素とする画素集合Ｇ（ｍ）を生成する。そして、集合探索部２１は、生成した全ての画素集合Ｇ（ｍ）の集合情報に基づいて、画素集合Ｇ（ｍ）に含まれる画素の画素値Ｉｎ（ｎ）の範囲Ｄｉｆｆ（ｍ）が最も小さい画素集合Ｇ（ｍ）、すなわち、同様の画素値が最も多く密に集まっている画素集合Ｇ（ｍ）を探索し、探索した画素集合Ｇ（ｍ）の集合情報を、代表値検出部２２に出力する。
【００６４】
続いて、ステップＳ７において、代表値検出部２２は、集合探索部２１から入力された画素集合Ｇ（ｍ）の集合情報に基づいて、画素集合Ｇ（ｍ）に含まれる３つの画素の内、中央に位置する１つの画素の画素値Ｉｎ（ｎ）を、画素集合Ｇ（ｍ）の代表値として検出する。
【００６５】
より具体的には、画素集合Ｇ（１）には、画素値Ｉｎ（２）＝４０と、画素値Ｉｎ（１）＝５０と、画素値Ｉｎ（５）＝６５とが含まれている。代表値検出部２２は、画素集合Ｇ（１）に含まれるそれぞれの画素の画素値Ｉｎ（ｎ）の内、中央に位置する１フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（１）＝５０を、代表値として検出（選択）する。
【００６６】
そして、代表値検出部２２は、ステップＳ７において、検出（選択）した画素値Ｉｎ（１）＝５０を、入力された１フレーム目〜５フレーム目の入力画像の１つ目の画素に対して特異値除去部２０が特異値除去処理を行った、特異値除去画像の１つ目の画素の画素値として、画像処理部１５に出力する。
【００６７】
このように、代表値検出部２２が、画素集合Ｇ（ｍ）に含まれる画素（要素）の内、中央に位置する画素（要素）の画素値Ｉｎ（ｎ）を代表値とする。これにより、代表値検出部２２は、集合探索部２１が探索した画素集合Ｇ（ｍ）に含まれるそれぞれの画素（要素）の中で、画素値が大きく外れた不要な移動体やノイズであると考えられる画素（要素）の影響を受けずに、より近寄っている値をもつ画素（要素）の画素値Ｉｎ（ｎ）を、特異値除去画像の画素値として出力することができる。
【００６８】
このことにより、特異値除去部２０が生成する特異値除去画像の画素値のばらつきを抑えることができる。より具体的には、例えば、５フレームの入力画像において同一の座標位置に配置されている５個の画素の中で、３個の画素の画素値Ｉｎ（ｎ）がそれぞれ大きくばらつき、２個の画素の画素値Ｉｎ（ｎ）が近い値であった場合を考える。この場合には、ステップＳ６において最小範囲集合検出部２１３が検出した画素集合Ｇ（ｍ）には、画素値Ｉｎ（ｎ）が大きくばらついた画素の内、１個の画素が必ず含まれることになる。このような場合でも、代表値検出部２２が、画素集合Ｇ（ｍ）に含まれるそれぞれの画素の内、中央に位置する画素の画素値Ｉｎ（１）を代表値とすることによって、画素値が近い値である２個の画素の内、いずれか１個の画素の画素値Ｉｎ（ｎ）を、代表値として出力することができる。
【００６９】
ここまでの処理が、入力画像の１つの画素に対する特異値除去処理である。以降、特異値除去部２０は、ステップＳ２〜ステップＳ７までの入力画像の１つの画素に対する特異値除去処理を、入力画像の全ての画素に対する特異値除去処理が完了するまで、繰り返す。その後、ステップＳ２〜ステップＳ７までの処理の繰り返しを、入力画像の画素数と同じ回数行うと、すなわち、入力画像の全ての画素に対する特異値除去処理が完了すると、ステップＳ８において処理のループを抜け出し、特異値除去部２０による特異値除去処理を完了する。
【００７０】
このようにして、特異値除去部２０は、複数枚（フレーム）の入力画像の各画素に対して特異値除去処理を行って、１枚の特異値除去画像の各画素の画素値を、それぞれ画像処理部１５に出力する。これにより、撮像装置１０は、不要な移動体やノイズの画素値を特異値として除去した１枚の特異値除去画像を生成し、表示部１６を介して表示装置に表示、または記録部１７を介して画像記録媒体に記録することができる。
【００７１】
なお、特異値除去部２０に入力されるそれぞれの入力画像は、１回の撮影毎に、撮像条件や画像処理パラメータなどを変えてしまうと、同じ被写体を撮影した場合であっても、入力画像毎に画素値が大きく異なってしまう。このような場合には、特異値除去部２０による特異値除去処理において、背景となる画素の画素値を正しく選択できなくなってしまう。そのため、特異値除去画像を得るための撮影においては、合焦位置や露出などの撮像条件、階調変換やホワイトバンランスなどの画像処理パラメータは、全ての入力画像で同一であることが望ましい。
【００７２】
上記に述べたように、本第１の実施形態の特異値除去部２０では、多くの入力画像に同じ被写体が写っているときに、それぞれの入力画像において同一の座標位置に配置されている画素値が近い画素を要素とした１つの画素集合を検出し、検出した１つの画素集合を代表する１つの画素値を選択する。これにより、入力画像の画素値が全く同じ値ではない場合であっても、より多くの入力画像に写った被写体の画素値を、特異値除去処理を行った特異値除去画像の画素値として出力することができる。このことにより、入力画像の同一の位置に写っている枚数が少ない移動体やノイズを特異値として除去し、より多くの入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像を生成することができる。
【００７３】
また、本第１の実施形態の特異値除去部２０による特異値除去処理では、従来のヒストグラムを作成して特異値を除去する方法のように、ヒストグラムを作成するための構成要素を備える必要がないため、特異値除去部２０を簡単な構成にすることができる。
【００７４】
また、本第１の実施形態の特異値除去部２０による特異値除去処理では、同一の座標位置に配置されている画素の画素値の偏りから、その画素が同一の被写体を写した画素であるか否かを判断する。このため、同一の被写体を写している画素の画素値が一致しない（同じでない）場合や、特異値除去処理に用いる入力画像の枚数が少ない場合でも、特異値除去の効果を得ることができる。
【００７５】
なお、本第１の実施形態の特異値除去部２０においては、代表値検出部２２が画素集合に含まれるそれぞれの画素（要素）の内、中央に位置する画素（要素）の画素値を、画素集合を代表する１つの画素値（代表値）として出力する場合について説明した。しかし、代表値検出部２２が出力する画素集合の代表値は、本第１の実施形態に限定されるものではない。つまり、代表値検出部２２が出力する画素集合の代表値は、画素集合に含まれる画素（要素）の内、中央に位置する画素（要素）の画素値に限定されるものではない。例えば、集合探索部２１によって探索された画素集合に含まれる一部の画素（要素）、または全ての画素（要素）の画素値の平均値や、最大値もしくは最小値を、画素集合を代表する１つの画素値（代表値）として出力してもよい。
【００７６】
また、本第１の実施形態の特異値除去部２０においては、集合生成部２１１が、取得したそれぞれの画素値を小さい順に並び替えた後に、順位番号が連続する予め定めた数の画素を要素とする画素集合を生成する場合について説明した。しかし、集合生成部２１１が画素集合を生成する方法は、本第１の実施形態に限定されるものではなく、例えば、集合生成部２１１が、取得したそれぞれの画素値を並び替えずに、全ての組み合わせの画素集合を生成する構成にすることもできる。より具体的には、例えば、特異値除去部２０に１〜５枚目の入力画像が入力され、それぞれの画素集合が３個の画素で構成される場合、１枚目と２枚目と３枚目の画素の画素集合や、１枚目と３枚目と４枚目の画素の画素集合や、２枚目と３枚目と４枚目の画素の画素集合など、下式（２）に示したような全ての組み合わせの画素集合を生成する。そして、集合生成部２１１は、生成したそれぞれの画素集合を構成する各画素の画素値と、画素集合を構成する各画素のフレーム番号とを集合情報として、集合範囲算出部２１２に出力する。
【００７７】
画素集合Ｇ（１）＝｛Ｉｎ（１）、Ｉｎ（２）、Ｉｎ（３）｝
画素集合Ｇ（２）＝｛Ｉｎ（１）、Ｉｎ（２）、Ｉｎ（４）｝
画素集合Ｇ（３）＝｛Ｉｎ（１）、Ｉｎ（２）、Ｉｎ（５）｝
画素集合Ｇ（４）＝｛Ｉｎ（１）、Ｉｎ（３）、Ｉｎ（４）｝
画素集合Ｇ（５）＝｛Ｉｎ（１）、Ｉｎ（３）、Ｉｎ（５）｝・・・（２）
画素集合Ｇ（６）＝｛Ｉｎ（１）、Ｉｎ（４）、Ｉｎ（５）｝
画素集合Ｇ（７）＝｛Ｉｎ（２）、Ｉｎ（３）、Ｉｎ（４）｝
画素集合Ｇ（８）＝｛Ｉｎ（２）、Ｉｎ（３）、Ｉｎ（５）｝
画素集合Ｇ（９）＝｛Ｉｎ（３）、Ｉｎ（４）、Ｉｎ（５）｝
【００７８】
この場合には、集合範囲算出部２１２および代表値検出部２２は、それぞれの画素集合に含まれる画素の画素値に基づいて、それぞれの処理を行うことになるが、集合生成部２１１で画素値を順番に並び替える必要がなくなるため、集合生成部２１１が画素集合を生成する際の処理の負荷を分散することができる。これにより、簡単な構成で、特異値除去部２０が生成する特異値除去画像の画素値のばらつきを抑えることができる。より具体的には、集合範囲算出部２１２は、画素集合毎に最小の画素値と最大の画素値とを検出した後に、画素値の範囲（差分値）を算出する。なお、集合範囲算出部２１２は、検出した最小の画素値と最大の画素値とを表す情報を、差分値の情報とともに集合情報に追加することが望ましい。また、代表値検出部２２は、集合探索部２１によって探索された画素集合に含まれる画素値を並び替えた後に、画素集合を代表する画素値を検出する。なお、代表値検出部２２が全ての画素値の平均値を画素集合の代表値として出力する場合には、集合探索部２１によって探索された画素集合に含まれる画素値の並び替えを行う必要がなく、画素集合に含まれる全ての画素値の平均値を演算する簡単な構成のみで、画素集合を代表する１つの画素値（代表値）を出力することができる。また、代表値検出部２２が画素値の最大値もしくは最小値を画素集合の代表値として出力する場合には、集合探索部２１によって探索された画素集合に含まれる画素値の最大値もしくは最小値を検出するさらに簡単な構成のみで、画素集合を代表する１つの画素値（代表値）を出力することができる。
【００７９】
＜第２の実施形態＞
次に、本発明の第２の実施形態の特異値除去部について説明する。図６は、本第２の実施形態の画像生成装置である特異値除去部２００の概略構成を示したブロック図である。図６に示したように、特異値除去部２００は、画素ブロック読み出し部２０１と、画素ブロック値生成部２０２と、集合探索部２１と、代表値検出部２０３と、特異値除去ブロック選択部２０４と、を備えている。
【００８０】
本第２の実施形態の特異値除去部２００は、図１に示した第１の実施形態の撮像装置１０に備えた特異値除去部２０に代わって、撮像装置１０に備えられる。従って、図６では、図２に示した特異値除去部２０の概略構成のブロック図と同様に、撮像装置１０内における特異値除去部２００と、記憶部１３および画像処理部１５との接続も併せて示している。
【００８１】
特異値除去部２００は、特異値除去部２０と同様に、制御部１１からの制御に応じて記憶部１３から入力された位置ズレを検出した全ての入力画像に対して特異値除去処理を行って、例えば、建物などの固定物の前を横切る通行人や車両などの不要な移動体やノイズの画素値を特異値として除去した特異値除去画像を生成して、画像処理部１５に出力する。
【００８２】
ただし、特異値除去部２００では、特異値除去部２０と異なり、入力画像に対して特異値除去処理を行う際に、予め定めた複数の画素からなる画素ブロック毎に、特異値除去処理を行う。特異値除去処理を画素ブロック毎に行うことによって、入力画像の各画素のランダムノイズなどのノイズの影響を低減することができる。この特異値除去処理の処理単位の違いによって、特異値除去部２００では、特異値除去部２０に備えた代表値検出部２２に代わって、代表値検出部２０３を備え、さらに、画素ブロック読み出し部２０１と、画素ブロック値生成部２０２と、特異値除去ブロック選択部２０４とを備えている。その他の特異値除去部２００の構成要素、つまり、集合探索部２１は、図２に示した第１の実施形態の特異値除去部２０の構成要素と同様の構成要素であるため、同一の符号を付与し、詳細な説明は省略する。
【００８３】
本第２の実施形態の特異値除去部２００において、特異値除去処理を行う処理単位である画素ブロックは、特異値除去処理に用いるそれぞれの入力画像において、同一の座標位置に配置されている予め定めた複数の画素によって構成される。このとき、画素ブロックは、他の画素ブロックに含まれる画素と重複しないように、入力画像内での画素ブロックの大きさが設定される。
【００８４】
特異値除去部２００は、制御部１１からの制御に応じて、記憶部１３に記憶された位置ズレ情報に基づいて位置ズレを補正するように画像データの読み出し位置を調整して、記憶部１３に記憶された複数枚の画像データのそれぞれを、入力画像として読み出す。そして、特異値除去部２００は、画素ブロック毎に特異値除去処理を行って生成した１枚の画像データを、特異値除去画像として画像処理部１５に出力する。なお、特異値除去部２００による特異値除去処理では、画素ブロックの代表値（以下、「画素ブロック値」という）同士で処理を行う。そして、特異値除去部２００内の各構成要素は、それぞれの画素ブロック値に対する処理を、入力画像における画素ブロック数と同じ回数繰り返す。
【００８５】
以下の説明において「画素ブロック」という場合には、処理に用いるそれぞれの入力画像内で同一の座標位置に配置されている予め定めた複数の画素からなる画素ブロックであるものとする。また、同様に画素ブロックの代表値である「画素ブロック値」を含めて、それぞれの処理の過程で出力される「値」も、入力画像内で同一の座標位置に配置されている画素ブロックに対応した値であるものとする。
【００８６】
なお、画素ブロック内に含まれるそれぞれの画素の画素値は、撮像部１２内の撮像素子が露光した光量に応じた画像信号に基づいた値（例えば、ＲＡＷデータの値）である。また、画素値は、上述した画像信号に基づいた値を画像処理することによって得られる、画像の輝度を表す輝度情報の値や、画像の色を表す色情報の値であってもよい。以下の説明においては、画像信号に基づいた値、あるいは輝度情報の値と色情報の値のいずれか一方または両方の値を区別せず、単に「画素値」として説明する。また、画素ブロック値も、画素値が、画像信号に基づいた値、あるいは輝度情報の値と色情報の値のいずれか一方または両方の値に基づいて得られる代表値であるかを区別せず、単に「画素ブロック値」として説明する。
【００８７】
画素ブロック読み出し部２０１は、それぞれの入力画像において同一の座標位置の画素ブロックに含まれる全ての画素の画素値を、画素ブロック単位で読み出す。そして、画素ブロック読み出し部２０１は、読み出した全ての画素の画素値を、画素ブロック単位で画素ブロック値生成部２０２および特異値除去ブロック選択部２０４に出力する。
【００８８】
画素ブロック値生成部２０２は、画素ブロック読み出し部２０１から入力されたそれぞれの画素ブロック内の各画素の画素値に基づいて、入力画像の枚数分の画素ブロック値を算出する。そして、画素ブロック値生成部２０２は、算出したそれぞれの画素ブロックの画素ブロック値を、集合探索部２１に出力する。画素ブロック値は、上述したように、画素ブロックを代表する値である。従って、画素ブロック値は、画素ブロック内に含まれる全ての画素または一部の画素の画素値を加算した合計値や、画素ブロック内に含まれる全ての画素または一部の画素の画素値を加算して平均した加算平均値など、予め定めた定義に基づいて算出した、特異値除去処理に適した様々な値にすることができる。ここで、画素ブロック内に含まれる一部の画素とは、例えば、画素ブロックの周辺の画素を除いた画素などが考えられる。また、画素ブロック値は、画素ブロック内に含まれる全ての画素または一部の画素の画素値をそのまま使用して算出するのみではなく、例えば、画素ブロックの中心の画素ほど大きく重み付けを行うなど、特異値除去処理に適した様々な処理をそれぞれの画素値に施した後に算出することもできる。
【００８９】
集合探索部２１は、画素ブロック値生成部２０２から入力された各画素ブロックの画素ブロック値に基づいて、同様の画素ブロック値が最も多く密に集まっている画素ブロックの集合（以下、「画素ブロック集合」という）を探索する。そして、集合探索部２１は、探索した画素ブロック集合を構成する全ての画素ブロック値の情報（以下、「集合情報」という）を、代表値検出部２０３に出力する。なお、集合探索部２１における画素ブロック集合の探索は、図２および図３に示した第１の実施形態の特異値除去部２０に備えた集合探索部２１における画素集合の探索において用いていた画素値の代わりに、画素ブロック値を用いることのみが異なる。そして、画素ブロック値は、第１の実施形態における画素値と同様に扱うことができる。このため、本第２の実施形態の集合探索部２１における画素ブロック集合の探索処理は、第１の実施形態の集合探索部２１における画素集合の探索処理と同様に考えることができる。従って、集合探索部２１の構成および画素ブロック集合の探索処理に関する詳細な説明は省略する。
【００９０】
代表値検出部２０３は、集合探索部２１から入力された集合情報に含まれる全ての画素ブロック値に基づいて、画素ブロック集合に含まれる画素ブロック値（要素）の内、中央に位置する画素ブロック値を、画素ブロック集合を代表する１つの画素ブロック値（代表値）として検出する。そして、代表値検出部２０３は、検出した画素ブロック値で表される画素ブロックの情報を、特異値除去ブロック選択部２０４に出力する。
【００９１】
なお、図２に示した第１の実施形態の特異値除去部２０に備えた代表値検出部２２では、集合探索部２１から入力された集合情報に基づいて検出した代表値を、特異値除去部２０が出力する特異値除去画像の画素値として出力していた。しかし、本第２の実施形態の特異値除去部２００では、代表値検出部２０３が出力する画素ブロック値（代表値）は、画素ブロック集合を代表する値である。従って、代表値検出部２０３は、検出した画素ブロック値で表される画素ブロックの情報、すなわち、検出した画素ブロック値が算出された入力画像のフレーム番号を、特異値除去ブロック選択部２０４に出力する。
【００９２】
また、本第２の実施形態の特異値除去部２００においても、第１の実施形態の特異値除去部２０と同様に、代表値検出部２０３が、画素ブロック集合に含まれる一部の画素ブロック値（要素）、または全ての画素ブロック値（要素）の平均値や、最大値もしくは最小値を、画素ブロック集合を代表する１つの画素ブロック値（代表値）として出力することもできる。ただし、画素ブロック集合に含まれる一部または全ての画素ブロック値（要素）の平均値を、画素ブロック集合の代表値として出力する場合には、代表値検出部２０３は、画素ブロック集合に含まれる一部または全ての画素ブロック値が算出された入力画像のフレーム番号、すなわち、平均値を算出する際に用いる全ての入力画像のフレーム番号を、特異値除去ブロック選択部２０４に出力する。また、画素ブロック集合に含まれる画素ブロック値（要素）の最大値もしくは最小値を、画素ブロック集合の代表値として出力する場合には、代表値検出部２０３は、最大もしくは最小の画素ブロック値が算出された入力画像のフレーム番号を、特異値除去ブロック選択部２０４に出力する。このとき、第１の実施形態の特異値除去部２０と同様に、代表値検出部２０３が、画素ブロック集合に含まれる画素ブロック値（要素）の最大値もしくは最小値を検出する構成にすることもできる。
【００９３】
特異値除去ブロック選択部２０４は、画素ブロック読み出し部２０１から入力されたそれぞれの入力画像の画素ブロックの中から、代表値検出部２０３から出力されたフレーム番号の入力画像の画素ブロックを選択する。そして、特異値除去ブロック選択部２０４は、選択した入力画像の画素ブロック内の全ての画素の画素値を、特異値除去画像において対応する画素ブロック内に含まれる各画素の画素値として画像処理部１５に出力する。
【００９４】
なお、代表値検出部２０３が、画素ブロック値（要素）の平均値を画素ブロック集合を代表する１つの画素ブロック値（代表値）として出力する場合には、特異値除去ブロック選択部２０４は、代表値検出部２０３から出力された全てのフレーム番号の入力画像の画素ブロックを選択する。そして、特異値除去ブロック選択部２０４は、選択したそれぞれの入力画像の画素ブロックにおいて、同一の座標位置に配置されている画素の画素値同士で、それぞれの画素の画素値の平均値を演算し、演算した結果のそれぞれの画素値を、特異値除去画像において対応する画素ブロックに含まれる各画素の画素値として画像処理部１５に出力する。
【００９５】
次に、本第２の実施形態の画像生成装置である特異値除去部２００における特異値除去処理の手順について説明する。図７は、本第２の実施形態の画像生成装置である特異値除去部２００における特異値除去処理の手順を示したフローチャートである。
【００９６】
特異値除去部２００は、制御部１１からの制御に応じて特異値除去処理を開始すると、ステップＳ１０１から１つ目の画素ブロックの特異値除去処理を開始する。１つ目の画素ブロックの特異値除去処理が開始されると、ステップＳ１０２において、画素ブロック読み出し部２０１は、記憶部１３から複数枚の入力画像において同一の座標位置の１つ目の画素ブロックに含まれる全ての画素の画素値Ｉｎ（ｎ）を、画素ブロック単位で取得する。そして、画素ブロック読み出し部２０１は、取得した全ての画素の画素値Ｉｎ（ｎ）を、画素ブロック単位で画素ブロック値生成部２０２および特異値除去ブロック選択部２０４に出力する。なお、「ｎ」はそれぞれの入力画像のフレーム番号であり、入力画像のそれぞれのフレームを表す整数である。
【００９７】
続いて、ステップＳ１０３において、画素ブロック値生成部２０２は、画素ブロック読み出し部２０１から入力された１つ目の画素ブロック内に含まれる全ての画素または一部の画素の画素値Ｉｎ（ｎ）に基づいて、それぞれの入力画像の画素ブロック値ＢＩｎ（ｎ）を算出する。そして、画素ブロック値生成部２０２は、算出したそれぞれの画素ブロックの画素ブロック値ＢＩｎ（ｎ）を、集合探索部２１に出力する。
【００９８】
続いて、ステップＳ１０４〜ステップＳ１０７において、集合探索部２１は、図４に示した第１の実施形態の特異値除去部２０における特異値除去処理の手順のステップＳ３〜ステップＳ６と同様に、画素ブロック集合を探索する。なお、集合探索部２１における画素ブロック集合の探索処理は、図４に示した第１の実施形態の特異値除去部２０に備えた集合探索部２１における画素集合の探索処理において用いていた画素値の代わりに、画素ブロック値を用いることが異なるのみであるため、画素ブロック値を第１の実施形態における画素値と同様に扱って処理することができる。
【００９９】
より具体的には、ステップＳ１０４において、集合探索部２１内の集合生成部２１１は、画素ブロック値生成部２０２から入力されたそれぞれの画素ブロック値ＢＩｎ（ｎ）を、小さい順に並び替え、それぞれの画素ブロック値ＢＩｎ（ｎ）のフレーム番号ｎに対応した順位番号ＢＮｕｍ（ｎ）を生成する。
【０１００】
続いて、ステップＳ１０５において、集合生成部２１１は、それぞれの画素ブロック値ＢＩｎ（ｎ）に対応付けられた順位番号ＢＮｕｍ（ｎ）に基づいて、順位番号ＢＮｕｍ（ｎ）が連続する予め定めた数の画素ブロックを要素とする画素ブロック集合ＢＧ（ｍ）を生成する。そして、集合生成部２１１は、生成したそれぞれの画素ブロック集合ＢＧ（ｍ）の集合情報を、集合範囲算出部２１２に出力する。なお、「ｍ」はそれぞれの画素ブロック集合を表す番号であり、画素ブロック集合のそれぞれを表す整数である。
【０１０１】
なお、集合生成部２１１が画素ブロック集合ＢＧ（ｍ）を生成するための特異値（画素ブロック値）の定義は、入力画像の枚数（フレーム数）や、想定される特異値（画素ブロック値）の数に応じて、異なる定義にすることもできる。また、集合生成部２１１が生成する画素ブロック集合ＢＧ（ｍ）を構成する画素ブロック値の数も、入力画像の枚数（フレーム数）や、特異値（画素ブロック値）の定義に応じて、異なる数にすることができる。
【０１０２】
続いて、ステップＳ１０６において、集合探索部２１内の集合範囲算出部２１２は、集合生成部２１１から入力されたそれぞれの画素ブロック集合ＢＧ（ｍ）の集合情報に基づいて、それぞれの画素ブロック集合ＢＧ（ｍ）に含まれる画素ブロック値ＢＩｎ（ｎ）の範囲ＢＤｉｆｆ（ｍ）を、画素ブロック集合ＢＧ（ｍ）毎に算出する。そして、集合範囲算出部２１２は、算出したそれぞれの範囲ＢＤｉｆｆ（ｍ）を、対応するそれぞれの画素ブロック集合ＢＧ（ｍ）の集合情報に追加して、最小範囲集合検出部２１３に出力する。
【０１０３】
続いて、ステップＳ１０７において、集合探索部２１内の最小範囲集合検出部２１３は、集合範囲算出部２１２から入力されたそれぞれの画素ブロック集合ＢＧ（ｍ）の集合情報に基づいて、それぞれの画素ブロック集合ＢＧ（ｍ）に含まれる範囲ＢＤｉｆｆ（ｍ）が最も小さい画素ブロック集合ＢＧ（ｍ）を検出する。そして、最小範囲集合検出部２１３は、検出した画素ブロック集合ＢＧ（ｍ）の集合情報を、集合探索部２１が探索した画素ブロック集合ＢＧ（ｍ）の集合情報として、代表値検出部２０３に出力する。
【０１０４】
続いて、ステップＳ１０８において、代表値検出部２０３は、集合探索部２１から入力された画素ブロック集合ＢＧ（ｍ）の集合情報に基づいて、画素集合Ｇ（ｍ）に含まれる複数の画素ブロック値の内、中央に位置する１つの画素ブロック値ＢＩｎ（ｎ）を、画素ブロック集合ＢＧ（ｍ）の代表値として検出（選択）する。そして、代表値検出部２０３は、ステップＳ１０９において、検出（選択）した画素ブロック値ＢＩｎ（ｎ）で表される入力画像のフレーム番号Ｘを、特異値除去ブロック選択部２０４に出力する。
【０１０５】
続いて、ステップＳ１１０において、特異値除去ブロック選択部２０４は、画素ブロック読み出し部２０１から入力されたそれぞれの入力画像の画素ブロックの中から、代表値検出部２０３から出力されたフレーム番号の入力画像の画素ブロックを選択する。そして、特異値除去ブロック選択部２０４は、選択した入力画像の画素ブロック内の全ての画素の画素値Ｉｎ（ｎ）を、特異値除去部２００が特異値除去処理を行った、特異値除去画像において対応する１つ目の画素ブロック内に含まれる各画素の画素値として画像処理部１５に出力する。
【０１０６】
ここまでの処理が、入力画像の１つの画素ブロックに対する特異値除去処理である。以降、特異値除去部２００は、ステップＳ１０２〜ステップＳ１１０までの入力画像の同一の座標位置の１つの画素ブロックに対する特異値除去処理を、入力画像の全ての画素ブロックに対する特異値除去処理が完了するまで、繰り返す。その後、ステップＳ１０２〜ステップＳ１１０までの処理の繰り返しを、入力画像の画素ブロック数と同じ回数行うと、すなわち、入力画像の全ての画素ブロックに対する特異値除去処理が完了すると、ステップＳ１１１において処理のループを抜け出し、特異値除去部２００による特異値除去処理を完了する。
【０１０７】
このようにして、特異値除去部２００は、複数枚（フレーム）の入力画像の各画素ブロックに対して特異値除去処理を行って、１枚の特異値除去画像の各画素の画素値を、それぞれ画像処理部１５に出力する。これにより、撮像装置１０は、不要な移動体やノイズの画素値を特異値として除去した１枚の特異値除去画像を生成し、表示部１６を介して表示装置に表示、または記録部１７を介して画像記録媒体に記録することができる。
【０１０８】
なお、特異値除去部２００に入力されるそれぞれの入力画像は、１回の撮影毎に、撮像条件や画像処理パラメータなどを変えてしまうと、同じ被写体を撮影した場合であっても、入力画像毎に画素ブロック値が異なってしまう。このような場合には、特異値除去部２００による特異値除去処理において、背景となる画素の画素値を正しく選択できなくなってしまう。そのため、特異値除去画像を得るための撮影においては、合焦位置や露出などの撮像条件、階調変換やホワイトバンランスなどの画像処理パラメータは、全ての入力画像で同一であることが望ましい。
【０１０９】
上記に述べたように、本第２の実施形態の特異値除去部２００でも、多くの入力画像に同じ被写体が写っている画素の画素値を、特異値除去処理を行った特異値除去画像の画素値として出力することができる。このことにより、本第２の実施形態の特異値除去部２００でも、第１の実施形態の特異値除去部２０と同様に、入力画像の同一の位置に写っている枚数が少ない移動体やノイズを特異値として除去し、より多くの入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像を生成することができる。
【０１１０】
また、本第２の実施形態の特異値除去部２００は、入力画像に対して特異値除去処理を行う際に、予め定めた複数の画素からなる画素ブロック毎に、画素ブロックの代表する画素ブロック値を算出し、算出した画素ブロック値を用いて特異値除去処理を行う。すなわち、予め定めた複数の画素をまとめた画素ブロックの単位で特異値除去処理を行う。このため、１画素単位で含まれているランダムノイズなどのノイズの影響を、第１の実施形態の特異値除去部２０における１画素の単位での特異値除去処理よりも受けにくいという優位性がある。さらに、特異値除去処理の処理単位が画素ブロックの単位であるため、１画素の単位で特異値除去処理を行うよりも処理時間を短縮することができるという優位性もある。
【０１１１】
＜第３の実施形態＞
次に、本発明の第３の実施形態の特異値除去部について説明する。本第３の実施形態の特異値除去部は、図６に示した第２の実施形態の特異値除去部２００に代わって、図１に示した撮像装置１０に備えられる。図８は、本第３の実施形態の画像生成装置である特異値除去部３００の概略構成を示したブロック図である。図８に示したように、特異値除去部３００は、画素ブロック読み出し部２０１と、画素ブロック値生成部２０２と、集合探索部２１と、代表値検出部２０３と、特異値除去画素選択部３０１と、を備えている。なお、図８では、図６に示した特異値除去部２００の概略構成のブロック図と同様に、撮像装置１０内における特異値除去部３００と、記憶部１３および画像処理部１５との接続も併せて示している。
【０１１２】
特異値除去部３００は、特異値除去部２００と同様に、制御部１１からの制御に応じて記憶部１３から入力された位置ズレを検出した全ての入力画像に対して特異値除去処理を行って、例えば、建物などの固定物の前を横切る通行人や車両などの不要な移動体やノイズの画素値を特異値として除去した特異値除去画像を生成して、画像処理部１５に出力する。また、特異値除去部３００は、特異値除去部２００と同様に、特異値除去処理を画素ブロック毎に行うことによって、入力画像の各画素のランダムノイズなどのノイズの影響を低減することができる。
【０１１３】
特異値除去部３００と第２の実施形態の特異値除去部２００とは、予め定めた複数の画素からなる画素ブロックの設定のみが異なる。この画素ブロックの設定の違いに伴って、特異値除去部３００では、特異値除去部２００に備えた特異値除去ブロック選択部２０４に代わって、特異値除去画素選択部３０１を備えている。その他の特異値除去部３００の構成要素、つまり、画素ブロック読み出し部２０１と、画素ブロック値生成部２０２と、集合探索部２１と、代表値検出部２０３とは、設定された画素ブロックが異なるのみで、図６に示した第２の実施形態の特異値除去部２００の構成要素と同様の処理を行うため、同一の符号を付与し、詳細な説明は省略する。
【０１１４】
ここで、特異値除去部３００と第２の実施形態の特異値除去部２００とにおける画素ブロックの設定の違いについて説明する。図９は、本第３の実施形態の画像生成装置である特異値除去部３００における画素ブロックの設定の一例を模式的に示した図である。第２の実施形態の特異値除去部２００では、図９（ａ）に示したように、特異値除去処理を行う処理単位である画素ブロック内の画素が、他の画素ブロックに含まれる画素と重複しないように設定されていた。
【０１１５】
本第３の実施形態の特異値除去部３００では、図９（ｂ）に示したように、画素ブロックの大きさ、すなわち、画素ブロック内に含まれる画素の個数は同じであるが、それぞれの画素ブロック内の画素が、他の画素ブロックに含まれる画素と１画素ずつズレて設定されている。すなわち、入力画像の画素において１列分ズレた状態で設定され、画素ブロックの前後１列分以外の画素が重複している。そして、それぞれの画素ブロックには、各画素ブロックを代表する（注目される）画素（以下、「注目画素」という）が設定されている。図９（ｂ）では、注目画素が、各画素ブロックの中央に位置する画素である場合を示している。なお、画素ブロック内の注目画素の位置は、中央に限定されるものではなく、画素ブロックの単位で特異値除去処理を行う際により効果を得られる位置であれば、いずれの位置の画素でも注目画素に設定することができる。
【０１１６】
特異値除去部３００は、入力画像に対して特異値除去処理を行う際に、図９（ｂ）示したように設定された、予め定めた複数の画素からなる画素ブロック毎に、特異値除去処理を行う。
【０１１７】
画素ブロック読み出し部２０１と、画素ブロック値生成部２０２と、集合探索部２１と、代表値検出部２０３とは、第２の実施形態の特異値除去部２００と同様に、それぞれの入力画像において同一の座標位置の画素ブロック値を用いて、画素ブロック集合を代表する１つの画素ブロック値を検出する。そして、代表値検出部２０３は、検出した画素ブロック値をもつ画素ブロックの情報、すなわち、画素ブロック集合に含まれる入力画像のフレーム番号を、特異値除去画素選択部３０１に出力する。
【０１１８】
特異値除去画素選択部３０１は、画素ブロック読み出し部２０１から入力されたそれぞれの入力画像の画素ブロックの注目画素の中から、代表値検出部２０３から出力されたフレーム番号の入力画像の画素ブロックの注目画素を選択する。そして、特異値除去画素選択部３０１は、選択した入力画像の画素ブロックの注目画素の画素値を、特異値除去画像において対応する画素ブロックにおける注目画素の画素値として画像処理部１５に出力する。
【０１１９】
このように、第２の実施形態の特異値除去部２００では、特異値除去ブロック選択部２０４に画素ブロック内に含まれる全ての画素の画素値を入力し、画素ブロック内に含まれる全ての画素の画素値を特異値除去画像の各画素の画素値としていたのに対し、本第３の実施形態の特異値除去部３００では、特異値除去画素選択部３０１に画素ブロックの注目画素の画素値を入力し、注目画素の画素値を特異値除去画像の各画素の画素値とする。
【０１２０】
なお、本第３の実施形態の特異値除去部３００においても、第２の実施形態の特異値除去部２００と同様に、代表値検出部２０３が、画素ブロック集合に含まれる一部の画素ブロック値（要素）、または全ての画素ブロック値（要素）の平均値や、最大値もしくは最小値を、画素ブロック集合を代表する１つの画素ブロック値（代表値）として出力することもできる。画素ブロック集合に含まれる一部または全ての画素ブロック値（要素）の平均値を、画素ブロック集合の代表値として出力する場合には、代表値検出部２０３は、第２の実施形態の特異値除去部２００と同様に、画素ブロック集合に含まれる一部または全ての画素ブロック値をもつ入力画像のフレーム番号を、特異値除去画素選択部３０１に出力する。また、画素ブロック集合に含まれる画素ブロック値（要素）の最大値もしくは最小値を、画素ブロック集合の代表値として出力する場合には、代表値検出部２０３は、第２の実施形態の特異値除去部２００と同様に、最大もしくは最小の画素ブロック値をもつ入力画像のフレーム番号を、特異値除去画素選択部３０１に出力する。このとき、第２の実施形態の特異値除去部２００と同様に、代表値検出部２０３が、画素ブロック集合に含まれる画素ブロック値（要素）の最大値もしくは最小値を検出する構成にすることもできる。
【０１２１】
なお、代表値検出部２０３が、画素ブロック値（要素）の平均値を画素ブロック集合を代表する１つの代表値として出力する場合には、特異値除去画素選択部３０１は、代表値検出部２０３から出力された全てのフレーム番号の入力画像の画素ブロックの注目画素を選択する。そして、特異値除去画素選択部３０１は、選択したそれぞれの入力画像の画素ブロックの注目画素の画素値同士で、注目画素の画素値の平均値を演算し、演算した結果の画素値を、特異値除去画像において対応する画素ブロックにおける注目画素の画素値として画像処理部１５に出力する。
【０１２２】
このように、特異値除去部３００では、特異値除去部３００内の各構成要素が、それぞれの処理を画素ブロックの単位で、入力画像における画素ブロック数と同じ回数繰り返して行い、最終的な出力として、画素ブロックを代表する１つの注目画素の画素値のみを出力する。すなわち、特異値除去部２００では、画素ブロック内に含まれる全ての画素の各画素値を、特異値除去画像の画素ブロック内に含まれる各画素の画素値として出力していたのに対し、特異値除去部３００では、画素ブロックを代表する１つの注目画素の画素値のみを出力することが異なる。
【０１２３】
本第３の実施形態の画像生成装置である特異値除去部３００における特異値除去処理の手順は、上述したように、１回の特異値除去処理において出力する特異値除去画像の画素数が異なるのみであるため、詳細な説明は省略する。
【０１２４】
上記に述べたように、本第３の実施形態の特異値除去部３００でも、多くの入力画像に同じ被写体が写っている画素の画素値を、特異値除去処理を行った特異値除去画像の画素値として出力することができ、第１の実施形態の特異値除去部２０および第２の実施形態の特異値除去部２００と同様の効果を得ることができる。
【０１２５】
また、本第３の実施形態の特異値除去部３００は、第２の実施形態の特異値除去部２００と同様に、画素ブロックの単位で特異値除去処理を行う。このため、第２の実施形態の特異値除去部２００と同様に、１画素の単位での特異値除去処理を行う第１の実施形態の特異値除去部２０よりも、１画素単位で含まれているランダムノイズなどのノイズの影響を受けにくいという優位性がある。さらに、本第３の実施形態の特異値除去部３００では、注目する１画素（注目画素）毎に適した画素ブロックを設定し、この画素ブロックの単位で特異値除去処理を行うため、より精度良く特異値除去処理を行うことができる。
【０１２６】
上記に述べたとおり、本発明を実施するための形態によれば、多くの入力画像に同じ被写体が写っている同一の座標位置に配置されている画素値を、予め定めた数の要素の集合にまとめる。そして、この集合を用いて、それぞれの入力画像において同一の座標位置に配置されている画素値が近い要素の１つの集合を検出する。これにより、本発明を実施するための形態では、従来のヒストグラムを作成して特異値を除去する方法のように、ヒストグラムを作成するための構成要素を備えることなく、簡単な構成で、入力画像の同一の位置に写っている枚数が少ない移動体やノイズを特異値として除去した特異値除去画像を生成することができる。
【０１２７】
また、本発明を実施するための形態によれば、入力画像の同一の座標位置に配置されている画素の画素値の偏りから、その画素が同一の被写体を写した画素であるか否かを判断する。これにより、本発明を実施するための形態では、同一の被写体を写している画素の画素値が大きくばらついて一致しない（同じでない）場合や、特異値除去処理に用いる入力画像の枚数が少ない場合でも、特異値除去の効果を得ることができる。
【０１２８】
また、本発明を実施するための形態では、従来よりも少ない枚数の撮影画像を用いて特異値除去処理を行うとこができるため、特異値除去処理に要する時間を短縮することができる。これにより、撮像装置の使用者（ユーザー）に、違和感や不快感を与えることなく、特異値除去処理が完了させることができる。
【０１２９】
なお、本実施形態においては、撮像装置１０に備えた撮像部１２によって撮影された撮影画像を入力画像として、特異値除去処理を行う画像生成装置について説明したが、本実施形態の画像生成装置が特異値除去処理を行う入力画像は、本発明を実施するための形態に限定されるものではない。例えば、画像記録媒体に記録されている同一の被写体を撮影した複数の画像データを記録部１７を介して読み出し、読み出した画像データを入力画像として特異値除去処理を行うこともできる。
【０１３０】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１３１】
１０・・・撮像装置
１１・・・制御部
１２・・・撮像部
１３・・・記憶部
１４・・・位置ズレ検出部
１５・・・画像処理部
１６・・・表示部
１７・・・記録部
２０，２００，３００・・・特異値除去部（画像生成装置）
２１・・・集合探索部
２１１・・・集合生成部（集合探索部）
２１２・・・集合範囲算出部（集合探索部）
２１３・・・最小範囲集合検出部（集合探索部）
２２，２０３・・・代表値検出部
２０１・・・画素ブロック読み出し部（集合探索部）
２０２・・・画素ブロック値生成部（集合探索部）
２０４・・・特異値除去ブロック選択部（代表値検出部）
３０１・・・特異値除去画素選択部（代表値検出部）
【図１】
0005855485.tif 000002
【図２】
0005855485.tif 000003
【図３】
0005855485.tif 000004
【図４】
0005855485.tif 000005
【図５】
0005855485.tif 000006
【図６】
0005855485.tif 000007
【図７】
0005855485.tif 000008
【図８】
0005855485.tif 000009
【図９】
0005855485.tif 000010