(57)【要約】【課題】少ない枚数の撮影画像からヒストグラムを作成して特異値を除去することができる画像生成装置、画像生成方法、撮像装置、および撮像方法を提供する。【解決手段】それぞれの入力画像内の各位置のデータ毎に、他の入力画像内の同一位置のデータ値の中から最も近い値の最近接値を探索する最近接値探索部と、各位置のデータ毎に、データ値と対応する最近接値との差を取った値の絶対値である差分絶対値を算出する差分算出部と、全入力画像の同一位置毎に、対応する全最近接値に基づいたヒストグラムを生成するヒストグラム生成部と、同一位置毎に、対応する全最近接値と差分絶対値とに基づいて、同一の最近接値のデータに対応する差分絶対値の和を算出する差分和算出部と、ヒストグラムと差分絶対値の和とに基づいて、同一位置のデータに対応した１つの最近接値を選択し、出力画像の同一位置のデータ値として出力する最頻値検出部と、を備える。【選択図】図２
2013073553.tif 000002
【特許請求の範囲】
【請求項１】
入力された同じ画角の複数の入力画像から、特異値を除去した出力画像を生成する画像生成装置であって、
それぞれの前記入力画像内の各位置に配置されたデータ毎に、該データの値に最も近い値である最近接値を、他の前記入力画像内で該データの配置位置と同一の位置に配置された他のデータの値の中から探索する最近接値探索部と、
それぞれの前記入力画像内の各位置に配置された前記データ毎に、該データの値と、該データに対応する前記最近接値との差を取った値の絶対値である差分絶対値を算出する差分算出部と、
全ての前記入力画像で同一の位置に配置された前記データの配置位置毎に、該配置位置に対応する全ての前記最近接値に基づいて、該最近接値のヒストグラムを生成するヒストグラム生成部と、
全ての前記入力画像で同一の位置に配置された前記データの配置位置毎に、該配置位置に対応する全ての前記最近接値と前記差分絶対値とに基づいて、該最近接値が同一の値である前記データに対応する前記差分絶対値の和を算出する差分和算出部と、
前記ヒストグラムと、前記差分絶対値の和とに基づいて、全ての前記入力画像で同一の位置に配置された前記データに対応した全ての前記最近接値の中から１つの最近接値を選択し、該選択した最近接値を、出力する出力画像において前記入力画像と同一の位置に配置されるデータの値として出力する最頻値検出部と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記最近接値探索部は、
前記入力画像内の各位置に配置された画素の単位で、前記最近接値を探索する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記最近接値探索部は、
前記入力画像内の各位置に配置された各データを、予め定めた複数のデータからなるブロックに区切り、それぞれの前記入力画像において区切られた同一のブロックの単位で、前記最近接値を探索する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記最近接値探索部は、
前記入力画像内の各位置に配置された、該入力画像の輝度を表す輝度情報、または該入力画像の色を表す色情報のいずれか一方または両方のデータに基づいて、前記最近接値を探索する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項５】
前記最近接値探索部は、
前記入力画像内の各位置に配置された、該入力画像を取得する際に撮像素子から出力された信号に応じた値のデータに基づいて、前記最近接値を探索する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項６】
前記最近接値探索部は、
それぞれの前記入力画像で同一の位置に配置された前記データのそれぞれを、該データの値と最も差が小さい値である前記最近接値に置き換える、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項７】
前記最頻値検出部は、
前記ヒストグラムの度数に基づいて、度数が最も高い値である前記最近接値を検出し、
該検出した前記最近接値が１つである場合には、該最近接値を選択し、
該検出した前記最近接値が２つである場合には、該最近接値である前記データに対応する前記差分絶対値の和を比較し、前記差分絶対値の和が小さい方の前記最近接値を、度数が最も高い値である前記最近接値として選択する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項８】
該画像生成装置に入力される前記入力画像の枚数は、
３枚、４枚、５枚、６枚のいずれかの枚数である、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項９】
被写体を撮影する撮像装置であって、
入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備し、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力する撮像部と、
前記撮像部から出力された複数枚の前記画像を記憶する記憶部と、
前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを補正する補正部と、
前記補正部によって撮影位置のズレが補正された前記画像が、入力画像として複数入力され、該入力された複数の前記入力画像から、特異値を除去した出力画像を生成する、前記請求項１から請求項８のいずれか１の項に記載の画像生成装置と、
を備えることを特徴とする撮像装置。
【請求項１０】
前記画像生成装置は、
入力された複数の前記入力画像内の同一の位置に写っている枚数が少ない移動体の部分を、特異値として除去した出力画像を生成する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記画像生成装置は、
入力された複数の前記入力画像内のノイズの部分を、特異値として除去した出力画像を生成する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１２】
入力された同じ画角の複数の入力画像から、特異値を除去した出力画像を生成する画像生成方法であって、
それぞれの前記入力画像内の各位置に配置されたデータ毎に、該データの値に最も近い値である最近接値を、他の前記入力画像内で該データの配置位置と同一の位置に配置された他のデータの値の中から探索する最近接値探索ステップと、
それぞれの前記入力画像内の各位置に配置された前記データ毎に、該データの値と、該データに対応する前記最近接値との差を取った値の絶対値である差分絶対値を算出する差分算出ステップと、
全ての前記入力画像で同一の位置に配置された前記データの配置位置毎に、該配置位置に対応する全ての前記最近接値に基づいて、該最近接値のヒストグラムを生成するヒストグラム生成ステップと、
全ての前記入力画像で同一の位置に配置された前記データの配置位置毎に、該配置位置に対応する全ての前記最近接値と前記差分絶対値とに基づいて、該最近接値が同一の値である前記データに対応する前記差分絶対値の和を算出する差分和算出ステップと、
前記ヒストグラムと、前記差分絶対値の和とに基づいて、全ての前記入力画像で同一の位置に配置された前記データに対応した全ての前記最近接値の中から１つの最近接値を選択し、該選択した最近接値を、出力する出力画像において前記入力画像と同一の位置に配置されるデータの値として出力する最頻値検出ステップと、
を含むことを特徴とする画像生成方法。
【請求項１３】
被写体を撮影する撮像装置による撮像方法であって、
入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備した撮像部に、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力させる撮像ステップと、
記憶部に、前記撮像部から出力された複数枚の前記画像を記憶させる記憶ステップと、
補正部に、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを補正させる補正ステップと、
前記請求項１から請求項８のいずれか１の項に記載の画像生成装置に、前記補正部によって撮影位置のズレが補正された前記画像を、入力画像として複数入力し、該入力された複数の前記入力画像から、特異値を除去した出力画像を生成させる画像生成ステップと、
を含むことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法、撮像装置、および撮像方法に関する。
【背景技術】
【０００２】
従来から、複数の画像に含まれる同一の座標に位置する画素の値（以下、「画素値」という）の中で、他の多くの画像の画素値から大きく外れた画素値（以下、「特異値」という）を除去することによって、複数の画像から１枚の画像を生成する動体除去という機能がある。動体除去とは、静止画用カメラ（以下、「カメラ」という）で建物などの被写体を撮影した際に、カメラと被写体の間を横切る通行人や車両などの不要な移動体を除去した所望の画像を生成する機能である。
【０００３】
動体除去では、移動体がカメラの前を横切るような場合には、連続して撮影した複数の画像の同一の位置に移動体が写っている枚数は少なく、多くの画像には背景が写っているという考えに基づいて、連続撮影した複数の画像から、その撮影時間中に動いた被写体を除去した画像を生成する。より具体的には、複数の画像の同一の位置に写っている回数が少ない移動体の画素値を特異値として、同じ位置に写っている回数が多い背景の画素値に置き換えることによって、移動体を除去した背景のみの画像を生成する。
【０００４】
動体除去の方法の１つとして、例えば、特許文献１のような技術が開示されている。特許文献１で開示された技術では、時間的に連続する複数枚の撮影画像の同一位置の画素値についてヒストグラムを作成し、同じ画素値が出現する回数（以下、「度数」という）が最も高い画素値を出力する。そして、撮影画像のそれぞれの位置で度数の高い画素値を最終的な画素値にすることによって、移動体を除去した１枚の画像を生成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−１４９３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、実際には、被写体が同じであっても、ノイズや撮影位置のズレによって、同じ位置の画素値が全く同じ値になることはほとんどない。これは、特許文献１で開示された技術のように、単純に同一位置の画素値のヒストグラムを作成する方法では、同じ位置の同じ被写体の画素値から作成したヒストグラムであっても、それぞれの撮影画像の画素値のバラツキによって、度数に偏りができないということを表している。このため、特許文献１で開示された技術では、ヒストグラムの度数の偏り（ピーク）を作るために多くの撮影画像を処理する必要がある、という問題がある。また、多くの撮影画像を必要とするということは、撮影位置のズレが大きくなる要因でもあり、さらには、撮像装置の使用者（ユーザー）に、違和感や不快感を与えてしまうことにもなる。
【０００７】
本発明は、上記の課題認識に基づいてなされたものであり、少ない枚数の撮影画像から、適切な画素値にピークが現れるようなヒストグラムを作成することによって、移動体やノイズなどの特異値を除去することができる画像生成装置、画像生成方法、撮像装置、および撮像方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明の画像生成装置は、入力された同じ画角の複数の入力画像から、特異値を除去した出力画像を生成する画像生成装置であって、それぞれの前記入力画像内の各位置に配置されたデータ毎に、該データの値に最も近い値である最近接値を、他の前記入力画像内で該データの配置位置と同一の位置に配置された他のデータの値の中から探索する最近接値探索部と、それぞれの前記入力画像内の各位置に配置された前記データ毎に、該データの値と、該データに対応する前記最近接値との差を取った値の絶対値である差分絶対値を算出する差分算出部と、全ての前記入力画像で同一の位置に配置された前記データの配置位置毎に、該配置位置に対応する全ての前記最近接値に基づいて、該最近接値のヒストグラムを生成するヒストグラム生成部と、全ての前記入力画像で同一の位置に配置された前記データの配置位置毎に、該配置位置に対応する全ての前記最近接値と前記差分絶対値とに基づいて、該最近接値が同一の値である前記データに対応する前記差分絶対値の和を算出する差分和算出部と、前記ヒストグラムと、前記差分絶対値の和とに基づいて、全ての前記入力画像で同一の位置に配置された前記データに対応した全ての前記最近接値の中から１つの最近接値を選択し、該選択した最近接値を、出力する出力画像において前記入力画像と同一の位置に配置されるデータの値として出力する最頻値検出部と、を備えることを特徴とする。
【０００９】
また、本発明の前記最近接値探索部は、前記入力画像内の各位置に配置された画素の単位で、前記最近接値を探索する、ことを特徴とする。
【００１０】
また、本発明の前記最近接値探索部は、前記入力画像内の各位置に配置された各データを、予め定めた複数のデータからなるブロックに区切り、それぞれの前記入力画像において区切られた同一のブロックの単位で、前記最近接値を探索する、ことを特徴とする。
【００１１】
また、本発明の前記最近接値探索部は、前記入力画像内の各位置に配置された、該入力画像の輝度を表す輝度情報、または該入力画像の色を表す色情報のいずれか一方または両方のデータに基づいて、前記最近接値を探索する、ことを特徴とする。
【００１２】
また、本発明の前記最近接値探索部は、前記入力画像内の各位置に配置された、該入力画像を取得する際に撮像素子から出力された信号に応じた値のデータに基づいて、前記最近接値を探索する、ことを特徴とする。
【００１３】
また、本発明の前記最近接値探索部は、それぞれの前記入力画像で同一の位置に配置された前記データのそれぞれを、該データの値と最も差が小さい値である前記最近接値に置き換える、ことを特徴とする。
【００１４】
また、本発明の前記最頻値検出部は、前記ヒストグラムの度数に基づいて、度数が最も高い値である前記最近接値を検出し、該検出した前記最近接値が１つである場合には、該最近接値を選択し、該検出した前記最近接値が２つである場合には、該最近接値である前記データに対応する前記差分絶対値の和を比較し、前記差分絶対値の和が小さい方の前記最近接値を、度数が最も高い値である前記最近接値として選択する、ことを特徴とする。
【００１５】
また、本発明の画像生成装置に入力される前記入力画像の枚数は、３枚、４枚、５枚、６枚のいずれかの枚数である、ことを特徴とする。
【００１６】
また、本発明の撮像装置は、被写体を撮影する撮像装置であって、入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備し、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力する撮像部と、前記撮像部から出力された複数枚の前記画像を記憶する記憶部と、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを補正する補正部と、前記補正部によって撮影位置のズレが補正された前記画像が、入力画像として複数入力され、該入力された複数の前記入力画像から、特異値を除去した出力画像を生成する、前記請求項１から請求項８のいずれか１の項に記載の画像生成装置と、を備えることを特徴とする。
【００１７】
また、本発明の前記画像生成装置は、入力された複数の前記入力画像内の同一の位置に写っている枚数が少ない移動体の部分を、特異値として除去した出力画像を生成する、ことを特徴とする。
【００１８】
また、本発明の前記画像生成装置は、入力された複数の前記入力画像内のノイズの部分を、特異値として除去した出力画像を生成する、ことを特徴とする。
【００１９】
また、本発明の画像生成方法は、入力された同じ画角の複数の入力画像から、特異値を除去した出力画像を生成する画像生成方法であって、それぞれの前記入力画像内の各位置に配置されたデータ毎に、該データの値に最も近い値である最近接値を、他の前記入力画像内で該データの配置位置と同一の位置に配置された他のデータの値の中から探索する最近接値探索ステップと、それぞれの前記入力画像内の各位置に配置された前記データ毎に、該データの値と、該データに対応する前記最近接値との差を取った値の絶対値である差分絶対値を算出する差分算出ステップと、全ての前記入力画像で同一の位置に配置された前記データの配置位置毎に、該配置位置に対応する全ての前記最近接値に基づいて、該最近接値のヒストグラムを生成するヒストグラム生成ステップと、全ての前記入力画像で同一の位置に配置された前記データの配置位置毎に、該配置位置に対応する全ての前記最近接値と前記差分絶対値とに基づいて、該最近接値が同一の値である前記データに対応する前記差分絶対値の和を算出する差分和算出ステップと、前記ヒストグラムと、前記差分絶対値の和とに基づいて、全ての前記入力画像で同一の位置に配置された前記データに対応した全ての前記最近接値の中から１つの最近接値を選択し、該選択した最近接値を、出力する出力画像において前記入力画像と同一の位置に配置されるデータの値として出力する最頻値検出ステップと、を含むことを特徴とする。
【００２０】
また、本発明の撮像方法は、被写体を撮影する撮像装置による撮像方法であって、入射した光量に応じた信号を出力する画素が、二次元の行列状に複数配置された撮像素子を具備した撮像部に、該撮像素子に結像された被写体の光学像を露光したときの信号に基づいた画像を出力させる撮像ステップと、記憶部に、前記撮像部から出力された複数枚の前記画像を記憶させる記憶ステップと、補正部に、前記記憶部に記憶されたそれぞれの前記画像に含まれる、当該撮像装置で撮影する際のぶれによる撮影位置のズレを補正させる補正ステップと、前記請求項１から請求項８のいずれか１の項に記載の画像生成装置に、前記補正部によって撮影位置のズレが補正された前記画像を、入力画像として複数入力し、該入力された複数の前記入力画像から、特異値を除去した出力画像を生成させる画像生成ステップと、を含むことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、少ない枚数の撮影画像から、適切な画素値にピークが現れるようなヒストグラムを作成することによって、移動体やノイズなどの特異値を除去することができるという効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施形態における画像生成装置を適用した撮像装置の概略構成を示したブロック図である。
【図２】本第１の実施形態の画像生成装置の概略構成を示したブロック図である。
【図３】本第１の実施形態の画像生成装置における特異値除去処理の手順を示したフローチャートである。
【図４】本第１の実施形態の画像生成装置による特異値除去処理の一例を説明する図である。
【図５】本発明の第２の実施形態の画像生成装置の概略構成を示したブロック図である。
【図６】本第２の実施形態の画像生成装置における特異値除去処理の手順を示したフローチャートである。
【図７】本第２の実施形態の画像生成装置による特異値除去処理の一例を説明する図である。
【図８】本第３の実施形態の画像生成装置における画素ブロックの設定の一例を模式的に示した図である。
【発明を実施するための形態】
【００２３】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。本第１の実施形態においては、例えば、デジタルスチルカメラなどの撮像装置に、本第１の実施形態の画像生成装置を適用した場合の一例について説明する。図１は、本第１の実施形態における画像生成装置を適用した撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、制御部１１と、撮像部１２と、記憶部１３と、手ぶれ補正部１４と、画像処理部１５と、表示部１６と、記録部１７と、特異値除去部２０と、を備えている。
【００２４】
制御部１１は、撮像装置１０内の各構成要素をそれぞれ制御することによって、撮像装置１０全体の制御を行う。撮像部１２は、レンズや撮像素子などから構成され、制御部１１からの制御に応じて、レンズを介して撮像素子に結像された被写体の光学像を露光する。そして、撮像部１２は、撮像素子が露光した光量に応じて画像信号に変換した画像データを、記憶部１３に出力する。
【００２５】
記憶部１３は、制御部１１からの制御に応じて、撮像部１２から入力された画像データを一時的に記憶する、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのメモリである。記憶部１３は、特異値除去部２０が特異値を除去する処理に使用する枚数分の画像データを記憶する。記憶部１３に記憶されたそれぞれの画像データは、制御部１１からの制御に応じて、特異値除去部２０に出力される。また、記憶部１３に記憶された画像データは、制御部１１からの制御に応じて手ぶれ補正部１４に出力され、手ぶれ補正部１４から入力された処理後の画像データが再度記憶される。
【００２６】
手ぶれ補正部１４は、制御部１１からの制御に応じて、記憶部１３に記憶された全ての画像データに対して、画角の位置合わせなどの手ぶれ補正処理を行う。この手ぶれ補正処理によって、記憶部１３に記憶された全ての画像データ内で同一の位置に配置されているそれぞれの画素の画素値は、被写体の光学像の同じ場所を露光したときの値になる。そして、手ぶれ補正部１４は、手ぶれ補正処理をした後の画像データを、記憶部１３に出力する。
【００２７】
特異値除去部２０は、制御部１１からの制御に応じて記憶部１３から入力された手ぶれ補正処理後の全ての画像データに対して特異値除去処理を行って、画像データ内に含まれる特異値を除去した画像データを生成する、本第１の実施形態の画像生成装置である。特異値除去部２０は、特異値除去処理によって、例えば、建物などの固定の被写体（以下、「固定物」という）の前を横切る通行人や車両などの不要な移動体やノイズの画素値を特異値として除去した画像データを生成する。
【００２８】
特異値除去部２０によって生成される特異値除去後の画像データは、背景のみが写された画像データと同等の画像データである。以下の説明においては、特異値除去部２０によって生成される特異値除去後の画像データを、「特異値除去画像」という。特異値除去部２０は、生成した特異値除去画像を、画像処理部１５に出力する。なお、特異値除去部２０における特異値除去処理に関する詳細な説明は、後述する。
【００２９】
画像処理部１５は、制御部１１からの制御に応じて、特異値除去部２０から入力された特異値除去画像に対して、予め定められた種々の画像処理（現像）を行った画像データを生成する。そして、画像処理部１５は、生成した画像処理後の画像データを、撮像装置１０内の対応する構成要素に出力する。例えば、画像処理部１５は、画像データを表示するための画像処理を行って生成した表示用の画像データを、表示部１６に出力する。また、例えば、画像処理部１５は、画像データを記録するための画像フォーマット（例えば、ＪＰＥＧ：Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）に変換する画像処理を行って生成した記録用の画像データを、記録部１７に出力する。
【００３０】
表示部１６は、画像データを表示する、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示装置を備え、制御部１１からの制御に応じて、画像処理部１５から入力された表示用の画像データを表示する。記録部１７は、制御部１１からの制御に応じて、画像処理部１５から入力された記録用の画像データを、例えば、メモリカードなどの画像記録媒体に記録する。
【００３１】
次に、撮像装置１０に備えた本第１の実施形態の画像生成装置である特異値除去部２０について、より詳細に説明する。図２は、本第１の実施形態の画像生成装置である特異値除去部２０の概略構成を示したブロック図である。図２に示したように、特異値除去部２０は、最近接値探索部２１と、差分算出部２２と、最近接値処理部２３と、最頻値検出部２４と、を備えている。なお、図２では、撮像装置１０内における特異値除去部２０と、記憶部１３および画像処理部１５との接続も併せて示している。
【００３２】
特異値除去部２０は、記憶部１３に記憶された手ぶれ補正処理後の複数枚の画像データのそれぞれを、入力画像として読み出す。そして、特異値除去部２０は、特異値除去処理を行って生成した１枚の画像データを、特異値除去画像として画像処理部１５に出力する。なお、特異値除去部２０による特異値除去処理では、特異値除去処理に用いるそれぞれの入力画像において、同一の座標位置に配置されている画素の画素値同士で処理を行う。そして、特異値除去部２０内の各構成要素は、それぞれの画素値に対する処理を、入力画像の画素数と同じ回数繰り返す。
【００３３】
以下の説明において「画素」という場合には、処理に用いるそれぞれの入力画像内で同一の座標位置に配置されている画素であるものとする。また、同様に画素の値である「画素値」を含めて、それぞれの処理の過程で出力される「値」も、入力画像内で同一の座標位置に配置されている画素に対応した値であるものとする。
【００３４】
この画素値は、撮像部１２内の撮像素子が露光した光量に応じた画像信号に基づいた値（例えば、ＲＡＷデータの値）である。なお、画素値は、上述した画像信号に基づいた値を画像処理することによって得られる、画像の輝度を表す輝度情報の値や、画像の色を表す色情報の値であってもよい。以下の説明においては、画像信号に基づいた値、あるいは輝度情報の値と色情報の値のいずれか一方または両方の値を区別せず、単に「画素値」として説明する。
【００３５】
最近接値探索部２１は、記憶部１３から読み出した複数枚の入力画像の各画素の画素値について、他の入力画像の対応する画素の画素値の中で最も近い値の画素値（以下、「最近接値」という）を探索する。例えば、１枚目の入力画像のある画素（以下、「処理画素」という）に対する最近接値を探索する場合には、２枚目〜Ｎ枚目の入力画像において処理画素と同一の座標位置に配置されているそれぞれの画素の画素値の中で、処理画素の画素値に最も近い値の画素値、すなわち、２枚目〜Ｎ枚目の入力画像のいずれか１枚の入力画像の処理画素に対応する画素の画素値を、最近接値とする。同様に、例えば、２枚目の入力画像のある画素を処理画素として、この処理画素に対する最近接値を探索する場合には、１枚目および３枚目〜Ｎ枚目の入力画像において処理画素と同一の座標位置に配置されているそれぞれの画素の画素値の中で、処理画素の画素値に最も近い値の画素値、すなわち、１枚目および３枚目〜Ｎ枚目の入力画像のいずれか１枚の入力画像の処理画素に対応する画素の画素値を、最近接値とする。
【００３６】
このように、最近接値探索部２１は、１枚目〜Ｎ枚目の入力画像毎に、それぞれの画素に対応する最近接値を、他の入力画像において同一の座標位置に配置された画素の画素値の中から探索する。そして、最近接値探索部２１は、探索したそれぞれの入力画像の各画素に対応したそれぞれの最近接値を、差分算出部２２と最近接値処理部２３とに出力する。
【００３７】
差分算出部２２は、記憶部１３から読み出した複数枚の入力画像の各画素の画素値と、最近接値探索部２１から入力された各入力画像のそれぞれの画素に対応した最近接値との差分絶対値を算出する。差分絶対値とは、２つの値の差分の絶対値であり、差分算出部２２は、入力画像の画素の画素値と対応する最近接値との差を取った値の絶対値を、それぞれの入力画像の各画素に対応したそれぞれの差分絶対値とする。例えば、１枚目の入力画像のある画素（処理画素）に対応する差分絶対値を算出する場合には、１枚目の入力画像の処理画素の画素値から、この処理画素に対応した最近接値を減算し、減算した結果の絶対値を、差分絶対値とする。
【００３８】
このように、差分算出部２２は、１枚目〜Ｎ枚目の入力画像毎に、それぞれの画素に対応する差分絶対値を、それぞれ算出する。そして、差分算出部２２は、算出したそれぞれの入力画像の各画素に対応したそれぞれの差分絶対値を、最近接値処理部２３に出力する。
【００３９】
最近接値処理部２３は、最近接値探索部２１から入力されたそれぞれの入力画像の各画素に対応した最近接値と、差分算出部２２から入力されたそれぞれの入力画像の各画素に対応した差分絶対値とに基づいて、最近接値を選択するための処理を行う。最近接値処理部２３は、ヒストグラム生成部２３１と、差分和算出部２３２と、を備えている。
【００４０】
ヒストグラム生成部２３１は、最近接値探索部２１から入力されたそれぞれの入力画像の各画素に対応した最近接値に基づいて、それぞれの入力画像の各画素に対応した最近接値のヒストグラムを生成する。例えば、入力画像のある画素（処理画素）に対応したヒストグラムを生成する場合には、１枚目〜Ｎ枚目の入力画像において処理画素と同一の座標位置に配置されているそれぞれの画素の最近接値が、同じ最近接値である個数（度数）を、それぞれの最近接値毎にカウントすることによって、ヒストグラムを生成する。
【００４１】
同様に、ヒストグラム生成部２３１は、１枚目〜Ｎ枚目の全ての入力画像で同一の座標位置に配置されている画素毎に、それぞれの画素に対応した最近接値のヒストグラムを生成する。そして、ヒストグラム生成部２３１は、生成したヒストグラムに基づいて、最近接値の度数とその最近接値（階級）とが関連付けられた情報を、最近接値毎に最頻値検出部２４に出力する。
【００４２】
差分和算出部２３２は、最近接値探索部２１から入力されたそれぞれの入力画像の各画素に対応した最近接値と、差分算出部２２から入力されたそれぞれの入力画像の各画素に対応した差分絶対値とに基づいて、最近接値毎の差分絶対値の和を算出する。例えば、入力画像のある画素（処理画素）に対応した差分絶対値の和を算出する場合には、１枚目〜Ｎ枚目の入力画像において処理画素と同一の座標位置に配置されているそれぞれの画素の最近接値が同じ値である全ての画素の差分絶対値を加算することによって、最近接値毎の差分絶対値の和を算出する。
【００４３】
同様に、差分和算出部２３２は、１枚目〜Ｎ枚目の全ての入力画像で同一の座標位置に配置されている画素の最近接値毎に、それぞれの最近接値に対応した差分絶対値の和を算出する。そして、差分和算出部２３２は、算出した差分絶対値の和と最近接値とが関連付けられた情報を、最近接値毎に最頻値検出部２４に出力する。
【００４４】
最頻値検出部２４は、最近接値処理部２３内のヒストグラム生成部２３１から入力された最近接値の度数とその最近接値（階級）とが関連付けられた最近接値毎の情報に基づいて、最も度数が高い最近接値を検出する。そして、検出した最も度数が高い最近接値を、特異値除去画像の画素値として画像処理部１５に出力する。
【００４５】
ここで、最頻値検出部２４が検出する最も度数が高い最近接値について補足する。最頻値検出部２４は、上述のように、ヒストグラム生成部２３１から入力された最近接値の度数とその最近接値（階級）とが関連付けられた最近接値毎の情報に基づいて最も度数が高い最近接値を検出する。これは、ヒストグラム生成部２３１が生成したヒストグラムの最近接値の度数に基づいて、度数が偏っている（ピークである）最近接値を検出することに相当する。これにより、入力画像の同一の座標位置に写っている回数が多い固定物の画素値を、特異値除去画像の画素値として画像処理部１５に出力することができる。
【００４６】
しかし、仮に度数の偏り（ピーク）が複数ある場合には、いずれのピークの最近接値を検出するかによって、画像処理部１５に出力する特異値除去画像の画素値である最近接値が変わってしまう。これでは、入力画像の同一の座標位置に写っている回数が多い固定物の最適な画素値を、特異値除去画像の画素値として画像処理部１５に出力することができない。従来の単純に画素値のヒストグラムを作成する方法では、より多くの入力画像を用いることによって、画素値のピークを特定している。
【００４７】
本第１の実施形態の特異値除去部２０では、ヒストグラムを生成するための最近接値は、上記に述べたように、最近接値探索部２１によって探索された画素値である。最近接値探索部２１では、例えば、入力画像が３枚であるときには、少なくとも、いずれか１枚の入力画像の画素値が他の２枚の入力画像の最近接値となる。また、入力画像が４枚であるときには、多くとも、いずれか２枚の入力画像の画素値が他の複数枚の入力画像の最近接値となる。同様に、入力画像が５枚または６枚であるときには、多くとも、いずれか２枚の入力画像の画素値が他の複数枚の入力画像の最近接値となる。また、入力画像が７枚であるときには、多い場合には、いずれか３枚の入力画像の画素値が他の複数枚の入力画像の最近接値となる。このように、入力画像の枚数が増えていくと、他の複数枚の入力画像の最近接値となる入力画像の枚数も増えていく場合がある。なお、入力画像が２枚であるときには、複数枚の入力画像の最近接値となる入力画像はない。
【００４８】
そこで、本第１の実施形態の特異値除去部２０では、入力画像の枚数を、３〜６枚とすることにより、少なくとも１枚の入力画像の画素値が複数枚の入力画像の最近接値となり、かつ、３枚以上の入力画像の画素値が他の複数枚の入力画像の最近接値となることがない。これにより、少ない枚数の入力画像から最近接値、すなわち、最適な画素値を検出することができる。
【００４９】
そして、最も度数が高い最近接値を検出した際、最も度数が高い最近接値が２つあった場合、すなわち、度数の偏り（ピーク）が２つあった場合には、最頻値検出部２４は、最近接値処理部２３内の差分和算出部２３２から入力された差分絶対値の和と最近接値とが関連付けられた情報に基づいて、２つの最近接値の内いずれか１つの最近接値を、最も度数が高い最近接値として検出する。より具体的には、最頻値検出部２４は、差分和算出部２３２から入力された差分絶対値の和と最近接値とが関連付けられた情報に基づいて、２つの最近接値の差分絶対値の和を比較し、差分絶対値の和が小さい方の最近接値を、最も度数が高い最近接値として検出する。これにより、最も度数が高い最近接値が２つあった場合に、より周囲の最近接値に近い最近接値を、最も度数が高い最近接値として検出することができる。そして、検出した最も度数が高い最近接値を、特異値除去画像の画素値として画像処理部１５に出力する。
【００５０】
次に、撮像装置１０に備えた本第１の実施形態の画像生成装置である特異値除去部２０における特異値除去処理の手順について説明する。図３は、本第１の実施形態の画像生成装置である特異値除去部２０における特異値除去処理の手順を示したフローチャートである。また、図４は、本第１の実施形態の画像生成装置である特異値除去部２０による特異値除去処理の一例を説明する図である。図３に示した特異値除去処理のフローチャートの説明においては、図４に示した特異値除去処理の一例を参照して、５枚（フレーム）の入力画像から、不要な移動体やノイズの画素値を特異値として除去した１枚の特異値除去画像を生成する場合の例を説明する。
【００５１】
特異値除去部２０は、制御部１１からの制御に応じて特異値除去処理を開始すると、ステップＳ１から１つ目の画素の特異値除去処理を開始する。１つ目の画素の特異値除去処理が開始されると、ステップＳ２において、最近接値探索部２１は、記憶部１３から複数枚（本説明においては、５フレーム）の入力画像において同一の座標位置に配置されている１つ目の画素の画素値Ｉｎ（ｎ）を取得する。
【００５２】
なお、「ｎ」は、５フレームの入力画像のそれぞれを表す１〜５の整数である。以下の説明においては、入力画像のフレームを特定する場合に「ｎ」を「１」〜「５」の整数で表し、入力画像のフレームを特定しない場合に「ｎ」をそのまま「ｎ」と表すこととする。
【００５３】
ここで、特異値除去部２０は、ステップＳ２において、図４（ａ）に示したように分布した画素値Ｉｎ（ｎ）を取得したものとする。より具体的には、最近接値探索部２１は、１フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（１）＝５０，２フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（２）＝５５，３フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（３）＝４０，４フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（４）＝１２０，５フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（５）＝２１０を取得したものとする。
【００５４】
図４（ａ）を見てわかるように、ステップＳ２において最近接値探索部２１が取得したそれぞれの画素値Ｉｎ（１）〜Ｉｎ（５）は、全ての異なる値である。すなわち、画素値Ｉｎ（１）〜Ｉｎ（５）は、従来の動体除去の方法によって単純に画素値のヒストグラムを作成しても、同じ画素値の個数（度数）に偏り（ピーク）ができない値である。
【００５５】
続いて、ステップＳ３において、最近接値探索部２１は、それぞれの画素値Ｉｎ（ｎ）毎に最近接値Ｎｅａｒ（ｎ）を探索し、探索した最近接値Ｎｅａｒ（ｎ）を、差分算出部２２と最近接値処理部２３とに出力する。ここでは、最近接値探索部２１は、ステップＳ３において、図４（ｂ）に示したような最近接値Ｎｅａｒ（ｎ）を、差分算出部２２と最近接値処理部２３とに出力する。
【００５６】
より具体的には、図４（ｂ）に示したように、最近接値探索部２１は、１フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（１）に対応した最近接値Ｎｅａｒ（１）として、２フレーム目〜５フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（２）〜Ｉｎ（５）の中から、画素値Ｉｎ（１）＝５０に最も近い値の２フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（２）＝５５を探索し、差分算出部２２と最近接値処理部２３とに出力する。同様に、最近接値探索部２１は、２フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（２）に対応した最近接値Ｎｅａｒ（２）として、１フレーム目および３フレーム目〜５フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（１）および画素値Ｉｎ（３）〜Ｉｎ（５）の中から、画素値Ｉｎ（２）＝５５に最も近い値の１フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（１）＝５０を探索し、差分算出部２２と最近接値処理部２３とに出力する。同様に、最近接値探索部２１は、３フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（３）に対応した最近接値Ｎｅａｒ（３）として画素値Ｉｎ（１）＝５０を、４フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（４）に対応した最近接値Ｎｅａｒ（４）として画素値Ｉｎ（２）＝５５を、５フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（５）に対応した最近接値Ｎｅａｒ（５）として画素値Ｉｎ（４）＝１２０を、それぞれ差分算出部２２と最近接値処理部２３とに出力する。
【００５７】
このように、最近接値探索部２１は、１フレーム目〜５フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（１）〜Ｉｎ（５）毎に、対応する最近接値Ｎｅａｒ（１）〜Ｎｅａｒ（５）を探索し、探索した最近接値Ｎｅａｒ（１）〜Ｎｅａｒ（５）を、差分算出部２２と最近接値処理部２３とに出力する。
【００５８】
続いて、ステップＳ４において、差分算出部２２は、記憶部１３から取得したそれぞれの画素値Ｉｎ（ｎ）と、最近接値探索部２１から入力された最近接値Ｎｅａｒ（ｎ）とに基づいて、差分絶対値Ｄｉｆｆ（ｎ）を、下式（１）によって算出する。そして、差分算出部２２は、算出した差分絶対値Ｄｉｆｆ（ｎ）を、最近接値処理部２３に出力する。
【００５９】
Ｄｉｆｆ（ｎ）＝｜Ｉｎ（ｎ）−Ｎｅａｒ（ｎ）｜  ・・・（１）
【００６０】
より具体的には、図４（ｃ）に示したように、差分算出部２２は、１フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（１）に対応した差分絶対値Ｄｉｆｆ（１）を、画素値Ｉｎ（１）と最近接値Ｎｅａｒ（１）とに基づいて、下式（２）のように算出し、最近接値処理部２３に出力する。
【００６１】
Ｄｉｆｆ（１）＝｜Ｉｎ（１）−Ｎｅａｒ（１）｜
＝｜５０−５５｜                  ・・・（２）
＝５
【００６２】
同様に、差分算出部２２は、２フレーム目〜５フレーム目の入力画像の１つ目の画素の画素値Ｉｎ（２）〜Ｉｎ（５）に対応した差分絶対値Ｄｉｆｆ（２）〜Ｄｉｆｆ（５）を、画素値Ｉｎ（２）〜Ｉｎ（５）と最近接値Ｎｅａｒ（２）〜Ｎｅａｒ（５）とに基づいて、上式（１）より、差分絶対値Ｄｉｆｆ（２）＝５、差分絶対値Ｄｉｆｆ（３）＝１０、差分絶対値Ｄｉｆｆ（４）＝６５、差分絶対値Ｄｉｆｆ（５）＝９０と算出する。そして、差分算出部２２は、算出した差分絶対値Ｄｉｆｆ（１）〜Ｄｉｆｆ（５）を、それぞれ最近接値処理部２３に出力する。
【００６３】
続いて、ステップＳ５において、ヒストグラム生成部２３１は、最近接値探索部２１から入力された最近接値Ｎｅａｒ（ｎ）に基づいて、同じ値の最近接値Ｎｅａｒの個数（度数）をカウントし、最近接値Ｎｅａｒのヒストグラムを生成する。そして、ヒストグラム生成部２３１は、生成したヒストグラムに基づいて、最近接値の度数とその最近接値（階級）とが関連付けられた度数Ｆｒｅｑ（Ｎｅａｒ）を、最近接値Ｎｅａｒ毎に最頻値検出部２４に出力する。
【００６４】
より具体的には、ヒストグラム生成部２３１は、図４（ｂ）に示した最近接値Ｎｅａｒ（１）〜Ｎｅａｒ（５）の中で、同じ値の最近接値Ｎｅａｒをカウントすることによって、図４（ｄ）に示したようなヒストグラムを生成する。そして、ヒストグラム生成部２３１は、生成したヒストグラムから、度数Ｆｒｅｑ（５０）＝２、度数Ｆｒｅｑ（５５）＝２、度数Ｆｒｅｑ（１２０）＝１を、最近接値Ｎｅａｒ毎に最頻値検出部２４に出力する。
【００６５】
続いて、ステップＳ６において、差分和算出部２３２は、最近接値探索部２１から入力された最近接値Ｎｅａｒ（ｎ）と、差分算出部２２から入力された差分絶対値Ｄｉｆｆ（ｎ）とに基づいて、同じ値の最近接値Ｎｅａｒの差分絶対値を、下式（３）のように加算し、差分絶対値の和ＤｉｆｆＳｕｍ（Ｎｅａｒ）を算出する。そして、差分和算出部２３２は、算出した差分絶対値の和ＤｉｆｆＳｕｍ（Ｎｅａｒ）を、最近接値Ｎｅａｒ毎に最頻値検出部２４に出力する。
【００６６】
ＤｉｆｆＳｕｍ（Ｎｅａｒ）＝Ｄｉｆｆ（Ａ）＋Ｄｉｆｆ（Ｂ）  ・・・（３）
【００６７】
上式（３）において、「Ａ」および「Ｂ」は、同じ値の最近接値Ｎｅａｒであるフレームを示す。例えば、Ａフレーム目とＢフレーム目の入力画像の１つ目の画素に対応した最近接値Ｎｅａｒが同じ場合には、Ａフレーム目とＢフレーム目の入力画像の１つ目の画素に対応した差分絶対値Ｄｉｆｆ（Ａ）と差分絶対値Ｄｉｆｆ（Ｂ）との和を、差分絶対値の和ＤｉｆｆＳｕｍ（Ｎｅａｒ）として算出する。
【００６８】
より具体的には、差分和算出部２３２は、図４（ｂ）に示した最近接値Ｎｅａｒ（１）〜Ｎｅａｒ（５）の中で、同じ値の最近接値Ｎｅａｒ＝５０である入力画像は、２フレーム目と３フレーム目であるため、下式（４）のように、差分絶対値の和ＤｉｆｆＳｕｍ（５０）を算出する。
【００６９】
ＤｉｆｆＳｕｍ（５０）＝Ｄｉｆｆ（２）＋Ｄｉｆｆ（３）
＝５＋１０                        ・・・（４）
＝１５
【００７０】
同様に、差分和算出部２３２は、上式（３）より、図４（ｅ）に示したように、最近接値Ｎｅａｒ＝５５である１フレーム目と４フレーム目の入力画像の差分絶対値Ｄｉｆｆ（１）と差分絶対値Ｄｉｆｆ（４）から、差分絶対値の和ＤｉｆｆＳｕｍ（５５）＝７０、最近接値Ｎｅａｒ＝１２０である５フレーム目の入力画像の差分絶対値Ｄｉｆｆ（５）から、差分絶対値の和ＤｉｆｆＳｕｍ（１２０）＝９０をそれぞれ算出する。そして、差分和算出部２３２は、算出した差分絶対値の和ＤｉｆｆＳｕｍ（５０）＝１５、差分絶対値の和ＤｉｆｆＳｕｍ（５５）＝７０、差分絶対値の和ＤｉｆｆＳｕｍ（１２０）＝９０を、最近接値Ｎｅａｒ毎に最頻値検出部２４に出力する。
【００７１】
続いて、ステップＳ７において、最頻値検出部２４は、ヒストグラム生成部２３１から入力された度数Ｆｒｅｑ（Ｎｅａｒ）の中から、最も度数Ｆｒｅｑ（Ｎｅａｒ）が高い階級（最近接値Ｎｅａｒ）を検出する。
【００７２】
続いて、ステップＳ８において、最頻値検出部２４は、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級であるか否かを判定する。そして、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級である場合（ステップＳ８の“Ｙｅｓ”）には、ステップＳ９に進み、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級でない場合（ステップＳ８の“Ｎｏ”）には、ステップＳ１０に進む。
【００７３】
ステップＳ８において、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級である場合（ステップＳ８の“Ｙｅｓ”）には、ステップＳ９において、最頻値検出部２４は、最大の度数Ｆｒｅｑ（Ｎｅａｒ）の最近接値Ｎｅａｒを、最大度数の最近接値ｍａｘとして抽出する。そして、ステップＳ１４において、最頻値検出部２４は、抽出した最大度数の最近接値ｍａｘを、画素値Ｏｕｔとする。
【００７４】
また、ステップＳ８において、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級でない、すなわち、２階級である場合（ステップＳ８の“Ｎｏ”）には、ステップＳ１０において、最頻値検出部２４は、２つの最大の度数Ｆｒｅｑ（Ｎｅａｒ）の最近接値Ｎｅａｒを、それぞれ、最大度数の最近接値ｍａｘ１および最近接値ｍａｘ２として抽出する。
【００７５】
続いて、ステップＳ１１において、最頻値検出部２４は、差分和算出部２３２から入力された差分絶対値の和ＤｉｆｆＳｕｍ（Ｎｅａｒ）に基づいて、２つの最大度数の最近接値の差分絶対値の和ＤｉｆｆＳｕｍ（Ｎｅａｒ）、すなわち、差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ１）と差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ２）とを比較する。
【００７６】
そして、差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ１）と差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ２）とを比較した結果、差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ１）が差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ２）以下の値（ＤｉｆｆＳｕｍ（ｍａｘ１）≦ＤｉｆｆＳｕｍ（ｍａｘ２））である場合（ステップＳ１１の“Ｙｅｓ”）には、ステップＳ１２において、最頻値検出部２４は、抽出した最大度数の最近接値ｍａｘ１を、画素値Ｏｕｔとする。
【００７７】
また、差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ１）と差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ２）とを比較した結果、差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ１）が差分絶対値の和ＤｉｆｆＳｕｍ（ｍａｘ２）よりも大きい値（ＤｉｆｆＳｕｍ（ｍａｘ１）＞ＤｉｆｆＳｕｍ（ｍａｘ２））である場合（ステップＳ１１の“Ｎｏ”）には、ステップＳ１３において、最頻値検出部２４は、抽出した最大度数の最近接値ｍａｘ２を、画素値Ｏｕｔとする。
【００７８】
続いて、ステップＳ１５において、最頻値検出部２４は、画素値Ｏｕｔを、特異値除去部２０が特異値除去処理を行った、特異値除去画像の１つ目の画素の画素値として画像処理部１５に出力する。
【００７９】
図４に示した特異値除去処理の一例では、図４（ｄ）に示したように、度数Ｆｒｅｑ（５０）と度数Ｆｒｅｑ（５５）とが共に「２」である。従って、ステップＳ８において、最頻値検出部２４は、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級でない（ステップＳ８の“Ｎｏ”）と判定し、ステップＳ１０に進む。そして、ステップＳ１０において、最頻値検出部２４は、最近接値Ｎｅａｒ＝５０を最大度数の最近接値ｍａｘ１、最近接値Ｎｅａｒ＝５５を最大度数の最近接値ｍａｘ２として抽出する。
【００８０】
そして、ステップＳ１１において、最頻値検出部２４は、差分和算出部２３２から入力された差分絶対値の和ＤｉｆｆＳｕｍ（５０）＝１５と、差分絶対値の和ＤｉｆｆＳｕｍ（５５）＝７０とを比較する。その結果、最頻値検出部２４は、差分絶対値の和ＤｉｆｆＳｕｍ（５０）が差分絶対値の和ＤｉｆｆＳｕｍ（５５）より小さい値（１５＜７０）である（ステップＳ１１の“Ｙｅｓ”）と判定し、ステップＳ１２において、画素値Ｏｕｔ＝最大度数の最近接値ｍａｘ１＝最近接値Ｎｅａｒ＝５０とする。
【００８１】
そして、ステップＳ１５において、最頻値検出部２４は、画素値Ｏｕｔ＝５０を、１フレーム目〜５フレーム目の入力画像の１つ目の画素に対して特異値除去処理を行った、特異値除去画像の１つ目の画素の画素値として画像処理部１５に出力する。
【００８２】
ここまでの処理が、入力画像の１つの画素に対する特異値除去処理である。以降、特異値除去部２０は、ステップＳ２〜ステップＳ１５までの入力画像の１つの画素に対する特異値除去処理を、入力画像の全ての画素に対する特異値除去処理が完了するまで、繰り返す。その後、ステップＳ２〜ステップＳ１５までの処理の繰り返しを、入力画像の画素数と同じ回数行うと、すなわち、入力画像の全ての画素に対する特異値除去処理が完了すると、ステップＳ１６において処理のループを抜け出し、特異値除去部２０による特異値除去処理を完了する。
【００８３】
このようにして、特異値除去部２０は、複数枚（フレーム）の入力画像の各画素に対して特異値除去処理を行って、１枚の特異値除去画像の各画素の画素値を、それぞれ画像処理部１５に出力する。これにより、撮像装置１０は、不要な移動体やノイズの画素値を特異値として除去した１枚の特異値除去画像を生成し、表示部１６を介して表示装置に表示、または記録部１７を介して画像記録媒体に記録することができる。
【００８４】
なお、特異値除去部２０に入力されるそれぞれの入力画像は、１回の撮影毎に、撮像条件や画像処理パラメータなどを変えてしまうと、同じ被写体を撮影した場合であっても、入力画像毎に画素値が異なってしまう。このような場合には、特異値除去部２０による特異値除去処理において、背景となる画素の画素値を正しく選択できなくなってしまう。そのため、特異値除去画像を得るための撮影においては、合焦位置や露出などの撮像条件、階調変換やホワイトバンランスなどの画像処理パラメータは、全ての入力画像で同一であることが望ましい。
【００８５】
上記に述べたように、本第１の実施形態の特異値除去部２０では、ヒストグラムを生成する前に、それぞれの入力画像の各画素の画素値を最近接値に置き換える。これにより、複数の入力画像の過半数に同じ被写体が写っているとき、それぞれの入力画像において同一の座標位置に配置されている画素の画素値が全く同じではない場合であっても、画素値が近い値の画素のいずれかの画素値の度数を、他の画素値の度数よりも高くする、すなわち、度数の偏り（ピーク）があるヒストグラムを生成することができる。このことにより、入力画像の同一の位置に写っている枚数が少ない移動体やノイズを特異値として除去し、より多くの入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像を生成することができる。
【００８６】
また、本第１の実施形態の特異値除去部２０では、特異値を除去するために必要な入力画像の枚数が、３，４，５，６枚のいずれであれば、生成したヒストグラムにおいて最も度数が高い最近接値が２つ以下となる。このため、従来の動体除去の方法によって単純に画素値のヒストグラムを作成する場合よりも、少ない枚数の入力画像から度数の偏り（ピーク）があるヒストグラムを生成することができる。これにより、撮像条件や画像処理パラメータなどが変わってしまったことによる影響を受けることが少なく、より精度よく特異値を除去することができる。
【００８７】
なお、本第１の実施形態の特異値除去部２０では、図３に示した特異値除去処理のフローチャートにおいて、例えば、ステップＳ４の差分算出部２２による差分絶対値Ｄｉｆｆ（ｎ）の算出に引き続き、ステップＳ５のヒストグラム生成部２３１による最近接値Ｎｅａｒのヒストグラムの生成を行う場合について説明したが、特異値除去処理の手順は、本発明を実施するための形態に限定されるものではない。例えば、図２に示した概略構成のブロック図からもわかるように、差分算出部２２による差分絶対値Ｄｉｆｆ（ｎ）の算出と、ヒストグラム生成部２３１による最近接値Ｎｅａｒのヒストグラムを生成とを、同時に行うことができる。従って、図３に示した特異値除去処理のフローチャートにおけるステップＳ４とステップＳ５とを入れ替えた手順にすることもできる。
【００８８】
また、本第１の実施形態の特異値除去部２０では、図３に示した特異値除去処理のフローチャートにおいて、ステップＳ４の差分算出部２２による差分絶対値Ｄｉｆｆ（ｎ）の算出と、ステップＳ６の差分和算出部２３２による差分絶対値の和ＤｉｆｆＳｕｍ（Ｎｅａｒ）の算出とを常に行う場合について説明したが、特異値除去処理の手順は、本発明を実施するための形態に限定されるものではない。つまり、本第１の実施形態の特異値除去部２０では、常に最大の度数Ｆｒｅｑ（Ｎｅａｒ）が２階級となるわけではないため、さらに手順を入れ替えることもできる。例えば、ステップＳ８において、最頻値検出部２４が最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級であるか否かの判定によって、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級でない（ステップＳ８の“Ｎｏ”）と判定された場合に、ステップＳ４およびステップＳ６の処理を行い、その結果に基づいて、ステップＳ１０〜ステップＳ１３の処理を行う手順にすることもできる。これにより、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級である場合には、差分算出部２２および差分和算出部２３２の動作を停止させておくことができ、特異値除去部２０の消費電力を低減させることができる。
【００８９】
また、ステップＳ８において、最大の度数Ｆｒｅｑ（Ｎｅａｒ）が１階級でない（ステップＳ８の“Ｎｏ”）と判定された後に、ステップＳ４およびステップＳ６の処理を行う場合には、さらに手順を入れ替えることもできる。例えば、ステップＳ８による階級の判定の後に、ステップＳ１０において最大度数の最近接値ｍａｘ１および最近接値ｍａｘ２を抽出し、その後のステップＳ４およびステップＳ６において、最近接値ｍａｘ１および最近接値ｍａｘ２に関係する処理のみを行う手順にすることもできる。これにより、差分算出部２２および差分和算出部２３２の処理の負荷を軽減し、さらに特異値除去部２０の消費電力を低減させることができる。
【００９０】
＜第２の実施形態＞
次に、本発明の第２の実施形態の特異値除去部について説明する。図５は、本第２の実施形態の画像生成装置である特異値除去部２００の概略構成を示したブロック図である。図５に示したように、特異値除去部２００は、最近接値探索部２１０と、差分算出部２２０と、最近接値処理部２３と、最頻値検出部２４と、特異値除去ブロック選択部２５と、を備えている。
【００９１】
本第２の実施形態の特異値除去部２００は、図１に示した第１の実施形態の撮像装置１０に備えた特異値除去部２０に代わって、撮像装置１０に備えられる。従って、図５では、図２に示した特異値除去部２０の概略構成のブロック図と同様に、撮像装置１０内における特異値除去部２００と、記憶部１３および画像処理部１５との接続も併せて示している。
【００９２】
特異値除去部２００は、特異値除去部２０と同様に、制御部１１からの制御に応じて記憶部１３から入力された手ぶれ補正処理後の全ての入力画像に対して特異値除去処理を行って、例えば、建物などの固定物の前を横切る通行人や車両などの不要な移動体やノイズの画素値を特異値として除去した特異値除去画像を生成して、画像処理部１５に出力する。
【００９３】
ただし、特異値除去部２００では、特異値除去部２０と異なり、入力画像に対して特異値除去処理を行う際に、予め定めた複数の画素からなる画素ブロック毎に、特異値除去処理を行う。特異値除去処理を画素ブロック毎に行うことによって、入力画像の各画素のランダムノイズなどのノイズの影響を低減することができる。この特異値除去処理の処理単位の違いによって、特異値除去部２００では、特異値除去部２０に備えた最近接値探索部２１と差分算出部２２とに代わって、最近接値探索部２１０と差分算出部２２０とを備え、さらに、特異値除去ブロック選択部２５を備えている。その他の特異値除去部２００の構成要素は、図２に示した第１の実施形態の特異値除去部２０の構成要素と同様の構成要素であるため、同一の符号を付与し、詳細な説明は省略する。
【００９４】
本第２の実施形態の特異値除去部２００において、特異値除去処理を行う処理単位である画素ブロックは、特異値除去処理に用いるそれぞれの入力画像において、同一の座標位置に配置されている予め定めた複数の画素によって構成される。このとき、画素ブロックは、他の画素ブロックに含まれる画素と重複しないように、入力画像内での画素ブロックの大きさが設定される。
【００９５】
特異値除去部２００は、記憶部１３に記憶された手ぶれ補正処理後の複数枚の画像データのそれぞれを、入力画像として読み出す。そして、特異値除去部２００は、画素ブロック毎に特異値除去処理を行って生成した１枚の画像データを、特異値除去画像として画像処理部１５に出力する。なお、特異値除去部２００による特異値除去処理では、画素ブロックの代表値（以下、「画素ブロック値」という）同士で処理を行う。そして、特異値除去部２００内の各構成要素は、それぞれの画素ブロック値に対する処理を、入力画像における画素ブロック数と同じ回数繰り返す。
【００９６】
以下の説明において「画素ブロック」という場合には、処理に用いるそれぞれの入力画像内で同一の座標位置に配置されている予め定めた複数の画素からなる画素ブロックであるものとする。また、同様に画素ブロックの代表値である「画素ブロック値」を含めて、それぞれの処理の過程で出力される「値」も、入力画像内で同一の座標位置に配置されている画素ブロックに対応した値であるものとする。
【００９７】
なお、画素ブロック内に含まれるそれぞれの画素の画素値は、撮像部１２内の撮像素子が露光した光量に応じた画像信号に基づいた値（例えば、ＲＡＷデータの値）である。また、画素値は、上述した画像信号に基づいた値を画像処理することによって得られる、画像の輝度を表す輝度情報の値や、画像の色を表す色情報の値であってもよい。以下の説明においては、画像信号に基づいた値、あるいは輝度情報の値と色情報の値のいずれか一方または両方の値を区別せず、単に「画素値」として説明する。また、画素ブロック値も、画素値が、画像信号に基づいた値、あるいは輝度情報の値と色情報の値のいずれか一方または両方の値に基づいて得られる代表値であるかを区別せず、単に「画素ブロック値」として説明する。
【００９８】
最近接値探索部２１０は、記憶部１３から読み出した複数枚の入力画像の各画素の画素値に基づいて、画素ブロック値を算出する。画素ブロック値は、画素ブロック内に含まれる全ての画素または一部の画素の画素値を加算した合計値である。なお、画素ブロック値は、画素ブロック内に含まれる全ての画素または一部の画素の画素値を加算して平均した加算平均値であっいてもよい。
【００９９】
そして、最近接値探索部２１０は、算出した各画素ブロックの画素ブロック値について、他の入力画像の対応する画素ブロックの画素ブロック値の中で最も近い値の画素ブロック値（最近接値）を探索する。なお、最近接値探索部２１０における最近接値の探索は、図２に示した第１の実施形態の特異値除去部２０に備えた最近接値探索部２１における最近接値の探索において用いていた画素値の代わりに、画素ブロック値を用いることのみが異なる。従って、最近接値探索部２１０における最近接値の探索に関する詳細な説明は省略する。
【０１００】
最近接値探索部２１０は、１枚目〜Ｎ枚目の入力画像毎に、それぞれの画素ブロックに対応する最近接値を、他の入力画像において同一の座標位置に配置された画素ブロックの画素ブロック値の中から探索する。そして、最近接値探索部２１０は、探索したそれぞれの入力画像の各画素ブロックに対応したそれぞれの最近接値を、差分算出部２２０と最近接値処理部２３とに出力する。
【０１０１】
差分算出部２２０は、記憶部１３から読み出した複数枚の入力画像の各画素の画素値に基づいて、最近接値探索部２１０と同様に、画素ブロック値を算出する。そして、差分算出部２２０は、算出した各画素ブロックの画素ブロック値と、最近接値探索部２１０から入力された各入力画像のそれぞれの画素ブロックに対応した最近接値との差分絶対値を算出する。
【０１０２】
なお、差分算出部２２０における差分絶対値を算出は、図２に示した第１の実施形態の特異値除去部２０に備えた差分算出部２２における差分絶対値を算出において用いていた画素値と最近接値探索部２１から入力された最近接値との代わりに、画素ブロック値と最近接値探索部２１０から入力された最近接値とを用いることのみが異なる。従って、差分算出部２２０における差分絶対値を算出に関する詳細な説明は省略する。
【０１０３】
差分算出部２２０は、１枚目〜Ｎ枚目の入力画像毎に、それぞれの画素ブロックに対応する差分絶対値を、それぞれ算出する。そして、差分算出部２２０は、算出したそれぞれの入力画像の各画素ブロックに対応したそれぞれの差分絶対値を、最近接値処理部２３に出力する。
【０１０４】
最近接値処理部２３は、最近接値探索部２１０から入力されたそれぞれの入力画像の各画素ブロックに対応した最近接値と、差分算出部２２０から入力されたそれぞれの入力画像の各画素ブロックに対応した差分絶対値とに基づいて、最近接値を選択するための処理を行う。
【０１０５】
なお、最近接値処理部２３に入力される最近接値と差分絶対値とは、図２に示した第１の実施形態の特異値除去部２０に備えた最近接値処理部２３では、入力画像の各画素に対応した値であったが、特異値除去部２００においては、入力画像の各画素ブロックに対応した値である。しかし、最近接値処理部２３は、入力された最近接値と差分絶対値とが、入力画像の各画素に対応した値であるか、入力画像の各画素ブロックに対応した値であるかに関わらず、第１の実施形態と同様の処理を行う。
【０１０６】
ヒストグラム生成部２３１は、１枚目〜Ｎ枚目の全ての入力画像で同一の座標位置に配置されている画素ブロック毎に、それぞれの画素ブロックに対応した最近接値のヒストグラムを生成し、生成したヒストグラムに基づいて、最近接値の度数とその最近接値（階級）とが関連付けられた情報を、最近接値毎に最頻値検出部２４に出力する。
【０１０７】
差分和算出部２３２は、１枚目〜Ｎ枚目の全ての入力画像で同一の座標位置に配置されている画素ブロックの最近接値毎に、それぞれの最近接値に対応した差分絶対値の和を算出し、算出した差分絶対値の和と最近接値とが関連付けられた情報を、最近接値毎に最頻値検出部２４に出力する。
【０１０８】
最頻値検出部２４は、最近接値処理部２３内のヒストグラム生成部２３１から入力された最近接値の度数とその最近接値（階級）とが関連付けられた最近接値毎の情報、および最近接値処理部２３内の差分和算出部２３２から入力された差分絶対値の和と最近接値とが関連付けられた情報に基づいて、最も度数が高い最近接値を検出する。
【０１０９】
なお、最頻値検出部２４に入力される最近接値の度数とその最近接値（階級）とが関連付けられた情報と差分絶対値の和と最近接値とが関連付けられた情報とは、図２に示した第１の実施形態の特異値除去部２０に備えた最頻値検出部２４では、入力画像の各画素に対応した情報であったが、特異値除去部２００においては、入力画像の各画素ブロックに対応した情報である。しかし、最頻値検出部２４は、入力された最近接値の度数とその最近接値（階級）とが関連付けられた情報と差分絶対値の和と最近接値とが関連付けられた情報とが、入力画像の各画素に対応した情報であるか、入力画像の各画素ブロックに対応した情報であるかに関わらず、第１の実施形態と同様の処理を行う。
【０１１０】
ただし、本第２の実施形態においては、最頻値検出部２４が検出する最も度数が高い最近接値は、入力画像の各画素ブロックに対応した値である。従って、最頻値検出部２４は、検出した最も度数が高い最近接値を、特異値除去画像の画素ブロック値として、特異値除去ブロック選択部２５に出力する。
【０１１１】
特異値除去ブロック選択部２５は、記憶部１３から読み出した複数枚の入力画像の各画素の画素値に基づいて、最近接値探索部２１０および差分算出部２２０と同様に、画素ブロック値を算出する。そして、特異値除去ブロック選択部２５は、算出した各画素ブロックの画素ブロック値と、最頻値検出部２４から入力された入力画像の各画素ブロックに対応した最も度数が高い最近接値とに基づいて、最も度数が高い最近接値である画素ブロックを有する入力画像を選択する。そして、特異値除去ブロック選択部２５は、選択した入力画像において対応する画素ブロック内に含まれる全ての画素の各画素値を、特異値除去画像において対応する画素ブロック内に含まれる各画素の画素値として画像処理部１５に出力する。
【０１１２】
次に、本第２の実施形態の画像生成装置である特異値除去部２００における特異値除去処理の手順について説明する。図６は、本第２の実施形態の画像生成装置である特異値除去部２００における特異値除去処理の手順を示したフローチャートである。また、図７は、本第２の実施形態の画像生成装置である特異値除去部２００による特異値除去処理の一例を説明する図である。図６に示した特異値除去処理のフローチャートの説明においては、図７に示した特異値除去処理の一例を参照して、６枚（フレーム）の入力画像に対して画素ブロック毎に特異値除去処理を行い、不要な移動体やノイズの画素値を特異値として除去した１枚の特異値除去画像を生成する場合の例を説明する。
【０１１３】
特異値除去部２００は、制御部１１からの制御に応じて特異値除去処理を開始すると、ステップＳ１０１から１つ目の画素ブロックの特異値除去処理を開始する。１つ目の画素ブロックの特異値除去処理が開始されると、ステップＳ１０２において、最近接値探索部２１０は、記憶部１３から読み出した複数枚（本説明においては、６フレーム）の入力画像において同一の座標位置に配置されている１つ目の画素ブロック内に含まれる全ての画素または一部の画素の画素値Ｉｎ（ｎ）に基づいて、それぞれの入力画像の画素ブロック値ＢＩｎ（ｎ）を算出する。
【０１１４】
なお、「ｎ」は、６フレームの入力画像のそれぞれを表す１〜６の整数である。以下の説明においては、入力画像のフレームを特定する場合に「ｎ」を「１」〜「６」の整数で表し、入力画像のフレームを特定しない場合に「ｎ」をそのまま「ｎ」と表すこととする。
【０１１５】
ここで、特異値除去部２００は、ステップＳ１０２において、図７（ａ）に示したように分布した画素ブロック値ＢＩｎ（ｎ）を算出したものとする。より具体的には、最近接値探索部２１０は、１フレーム目の入力画像の１つ目の画素ブロックの画素ブロック値ＢＩｎ（１）＝５０，２フレーム目の入力画像の１つ目の画素ブロックの画素ブロック値ＢＩｎ（２）＝５５，３フレーム目の入力画像の１つ目の画素ブロックの画素ブロック値ＢＩｎ（３）＝４０，４フレーム目の入力画像の１つ目の画素ブロックの画素ブロック値ＢＩｎ（４）＝１２０，５フレーム目の入力画像の１つ目の画素ブロックの画素ブロック値ＢＩｎ（５）＝２１０，６フレーム目の入力画像の１つ目の画素ブロックの画素ブロック値ＢＩｎ（６）＝１２５を算出したものとする。
【０１１６】
図７（ａ）を見てわかるように、ステップＳ１０２において最近接値探索部２１０が算出したそれぞれの画素ブロック値ＢＩｎ（１）〜ＢＩｎ（６）は、全ての異なる値である。すなわち、画素ブロック値ＢＩｎ（１）〜ＢＩｎ（６）は、従来の動体除去の方法によって単純に画素ブロック値のヒストグラムを作成しても、同じ画素ブロック値の個数（度数）に偏り（ピーク）ができない値である。
【０１１７】
続いて、ステップＳ１０３において、最近接値探索部２１０は、それぞれの画素ブロック値ＢＩｎ（ｎ）毎に最近接値ＢＮｅａｒ（ｎ）を探索し、探索した最近接値ＢＮｅａｒ（ｎ）を、差分算出部２２０と最近接値処理部２３とに出力する。ここでは、最近接値探索部２１０は、ステップＳ１０３において、図７（ｂ）に示したような最近接値ＢＮｅａｒ（ｎ）を、差分算出部２２０と最近接値処理部２３とに出力する。
【０１１８】
続いて、ステップＳ１０４において、差分算出部２２０は、記憶部１３から読み出した複数枚（６フレーム）の入力画像において同一の座標位置に配置されている１つ目の画素ブロック内に含まれる全ての画素または一部の画素の画素値Ｉｎ（ｎ）に基づいて、最近接値探索部２１０と同様に、それぞれの入力画像の画素ブロック値ＢＩｎ（ｎ）を算出する。そして、算出したそれぞれの画素ブロック値ＢＩｎ（ｎ）と、最近接値探索部２１０から入力された最近接値ＢＮｅａｒ（ｎ）とに基づいて、差分絶対値ＢＤｉｆｆ（ｎ）を、下式（５）によって算出する。そして、差分算出部２２０は、算出した差分絶対値ＢＤｉｆｆ（ｎ）を、最近接値処理部２３に出力する。ここでは、差分算出部２２０は、ステップＳ１０４において、図７（ｃ）に示したような差分絶対値ＢＤｉｆｆ（ｎ）を算出し、最近接値処理部２３に出力する。
【０１１９】
ＢＤｉｆｆ（ｎ）＝｜ＢＩｎ（ｎ）−ＢＮｅａｒ（ｎ）｜  ・・・（５）
【０１２０】
続いて、ステップＳ１０５において、ヒストグラム生成部２３１は、最近接値探索部２１０から入力された最近接値ＢＮｅａｒ（ｎ）に基づいて、同じ値の最近接値ＢＮｅａｒの個数（度数）をカウントし、最近接値ＢＮｅａｒのヒストグラムを生成する。ここでは、ヒストグラム生成部２３１は、ステップＳ１０５において、図７（ｄ）に示したようなヒストグラムを生成する。そして、ヒストグラム生成部２３１は、生成したヒストグラムに基づいて、最近接値の度数とその最近接値（階級）とが関連付けられた度数ＢＦｒｅｑ（ＢＮｅａｒ）を、最近接値ＢＮｅａｒ毎に最頻値検出部２４に出力する。
【０１２１】
続いて、ステップＳ１０６において、差分和算出部２３２は、最近接値探索部２１０から入力された最近接値ＢＮｅａｒ（ｎ）と、差分算出部２２０から入力された差分絶対値ＢＤｉｆｆ（ｎ）とに基づいて、同じ値の最近接値ＢＮｅａｒの差分絶対値を、下式（６）のように加算し、差分絶対値の和ＢＤｉｆｆＳｕｍ（ＢＮｅａｒ）を算出する。そして、差分和算出部２３２は、算出した差分絶対値の和ＢＤｉｆｆＳｕｍ（ＢＮｅａｒ）を、最近接値ＢＮｅａｒ毎に最頻値検出部２４に出力する。
【０１２２】
ＢＤｉｆｆＳｕｍ（ＢＮｅａｒ）＝ＢＤｉｆｆ（Ａ）＋ＢＤｉｆｆ（Ｂ）  ・・・（６）
【０１２３】
上式（６）において、「Ａ」および「Ｂ」は、同じ値の最近接値ＢＮｅａｒであるフレームを示す。例えば、Ａフレーム目とＢフレーム目の入力画像の１つ目の画素ブロックに対応した最近接値ＢＮｅａｒが同じ場合には、Ａフレーム目とＢフレーム目の入力画像の１つ目の画素ブロックに対応した差分絶対値ＢＤｉｆｆ（Ａ）と差分絶対値ＢＤｉｆｆ（Ｂ）との和を、差分絶対値の和ＢＤｉｆｆＳｕｍ（ＢＮｅａｒ）として算出する。ここでは、差分和算出部２３２は、ステップＳ１０６において、図７（ｅ）に示したような差分絶対値の和ＢＤｉｆｆＳｕｍ（ＢＮｅａｒ）を算出し、最頻値検出部２４に出力する。
【０１２４】
続いて、ステップＳ１０７において、最頻値検出部２４は、ヒストグラム生成部２３１から入力された度数ＢＦｒｅｑ（ＢＮｅａｒ）の中から、最も度数ＢＦｒｅｑ（ＢＮｅａｒ）が高い階級（最近接値ＢＮｅａｒ）を検出する。
【０１２５】
続いて、ステップＳ１０８において、最頻値検出部２４は、最大の度数ＢＦｒｅｑ（ＢＮｅａｒ）が１階級であるか否かを判定する。そして、最大の度数ＢＦｒｅｑ（ＢＮｅａｒ）が１階級である場合（ステップＳ１０８の“Ｙｅｓ”）には、ステップＳ１０９に進み、最大の度数ＢＦｒｅｑ（ＢＮｅａｒ）が１階級でない場合（ステップＳ１０８の“Ｎｏ”）には、ステップＳ１１０に進む。
【０１２６】
ステップＳ１０８において、最大の度数ＢＦｒｅｑ（ＢＮｅａｒ）が１階級である場合（ステップＳ１０８の“Ｙｅｓ”）には、ステップＳ１０９において、最頻値検出部２４は、最大の度数ＢＦｒｅｑ（ＢＮｅａｒ）の最近接値ＢＮｅａｒを、最大度数の最近接値Ｂｍａｘとして抽出する。そして、ステップＳ１１４において、最頻値検出部２４は、抽出した最大度数の最近接値Ｂｍａｘを画素ブロック値ＢＯｕｔとして、特異値除去ブロック選択部２５に出力する。
【０１２７】
また、ステップＳ１０８において、最大の度数ＢＦｒｅｑ（ＢＮｅａｒ）が１階級でない、すなわち、２階級である場合（ステップＳ１０８の“Ｎｏ”）には、ステップＳ１１０において、最頻値検出部２４は、２つの最大の度数ＢＦｒｅｑ（ＢＮｅａｒ）の最近接値ＢＮｅａｒを、それぞれ、最大度数の最近接値Ｂｍａｘ１および最近接値Ｂｍａｘ２として抽出する。
【０１２８】
続いて、ステップＳ１１１において、最頻値検出部２４は、差分和算出部２３２から入力された差分絶対値の和ＢＤｉｆｆＳｕｍ（ＢＮｅａｒ）に基づいて、２つの最大度数の最近接値の差分絶対値の和ＢＤｉｆｆＳｕｍ（ＢＮｅａｒ）、すなわち、差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ１）と差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ２）とを比較する。
【０１２９】
そして、差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ１）と差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ２）とを比較した結果、差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ１）が差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ２）以下の値（ＢＤｉｆｆＳｕｍ（Ｂｍａｘ１）≦ＢＤｉｆｆＳｕｍ（Ｂｍａｘ２））である場合（ステップＳ１１１の“Ｙｅｓ”）には、ステップＳ１１２において、最頻値検出部２４は、抽出した最大度数の最近接値Ｂｍａｘ１を画素ブロック値ＢＯｕｔとして、特異値除去ブロック選択部２５に出力する。
【０１３０】
また、差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ１）と差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ２）とを比較した結果、差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ１）が差分絶対値の和ＢＤｉｆｆＳｕｍ（Ｂｍａｘ２）よりも大きい値（ＢＤｉｆｆＳｕｍ（Ｂｍａｘ１）＞ＢＤｉｆｆＳｕｍ（Ｂｍａｘ２））である場合（ステップＳ１１１の“Ｎｏ”）には、ステップＳ１１３において、最頻値検出部２４は、抽出した最大度数の最近接値Ｂｍａｘ２を画素ブロック値ＢＯｕｔとして、特異値除去ブロック選択部２５に出力する。
【０１３１】
続いて、ステップＳ１１５において、特異値除去ブロック選択部２５は、記憶部１３から読み出した複数枚（６フレーム）の入力画像において同一の座標位置に配置されている１つ目の画素ブロック内に含まれる全ての画素または一部の画素の画素値Ｉｎ（ｎ）に基づいて、最近接値探索部２１０および差分算出部２２０と同様に、それぞれの入力画像の画素ブロック値ＢＩｎ（ｎ）を算出する。そして、算出したそれぞれの画素ブロック値ＢＩｎ（ｎ）と、最頻値検出部２４から入力された画素ブロック値ＢＯｕｔとに基づいて、画素ブロック値ＢＩｎ（ｎ）が画素ブロック値ＢＯｕｔである画素ブロックを有する入力画像を選択する。
【０１３２】
図７に示した特異値除去処理の一例では、図７（ｄ）に示したように、度数ＢＦｒｅｑ（５０）と度数ＢＦｒｅｑ（１２５）とが共に「２」である。従って、ステップＳ１０８において、最頻値検出部２４は、最大の度数ＢＦｒｅｑ（ＢＮｅａｒ）が１階級でない（ステップＳ１０８の“Ｎｏ”）と判定し、ステップＳ１１０に進む。そして、ステップＳ１１０において、最頻値検出部２４は、最近接値ＢＮｅａｒ＝５０を最大度数の最近接値Ｂｍａｘ１、最近接値ＢＮｅａｒ＝１２５を最大度数の最近接値Ｂｍａｘ２として抽出する。
【０１３３】
そして、ステップＳ１１１において、最頻値検出部２４は、差分和算出部２３２から入力された差分絶対値の和ＢＤｉｆｆＳｕｍ（５０）＝１５と、差分絶対値の和ＢＤｉｆｆＳｕｍ（１２５）＝９０とを比較する。その結果、最頻値検出部２４は、差分絶対値の和ＢＤｉｆｆＳｕｍ（５０）が差分絶対値の和ＢＤｉｆｆＳｕｍ（１２５）より小さい値（１５＜１２５）である（ステップＳ１１１の“Ｙｅｓ”）と判定し、ステップＳ１１２において、画素ブロック値ＢＯｕｔ＝最大度数の最近接値Ｂｍａｘ１＝最近接値ＢＮｅａｒ＝５０とする。
【０１３４】
そして、ステップＳ１１５において、特異値除去ブロック選択部２５は、画素ブロック値ＢＩｎ（ｎ）が画素ブロック値ＢＯｕｔ＝５０である画素ブロックを有する入力画像を選択する。
【０１３５】
続いて、ステップＳ１１６において、特異値除去ブロック選択部２５は、選択した入力画像を記憶部１３から読み出し、読み出した入力画像において対応する画素ブロック内に含まれる全ての画素の画素値Ｉｎ（ｎ）を、特異値除去部２００が特異値除去処理を行った、特異値除去画像の１つ目の画素ブロック内に含まれる各画素の画素値として画像処理部１５に出力する。
【０１３６】
ここまでの処理が、入力画像の１つの画素ブロックに対する特異値除去処理である。以降、特異値除去部２００は、ステップＳ１０２〜ステップＳ１１６までの入力画像の１つの画素ブロックに対する特異値除去処理を、入力画像の全ての画素ブロックに対する特異値除去処理が完了するまで、繰り返す。その後、ステップＳ１０２〜ステップＳ１１６までの処理の繰り返しを、入力画像の画素ブロック数と同じ回数行うと、すなわち、入力画像の全ての画素ブロックに対する特異値除去処理が完了すると、ステップＳ１１７において処理のループを抜け出し、特異値除去部２００による特異値除去処理を完了する。
【０１３７】
このようにして、特異値除去部２００は、複数枚（フレーム）の入力画像の各画素ブロックに対して特異値除去処理を行って、１枚の特異値除去画像の各画素の画素値を、それぞれ画像処理部１５に出力する。これにより、撮像装置１０は、不要な移動体やノイズの画素値を特異値として除去した１枚の特異値除去画像を生成し、表示部１６を介して表示装置に表示、または記録部１７を介して画像記録媒体に記録することができる。
【０１３８】
なお、特異値除去部２００に入力されるそれぞれの入力画像は、１回の撮影毎に、撮像条件や画像処理パラメータなどを変えてしまうと、同じ被写体を撮影した場合であっても、入力画像毎に画素ブロック値が異なってしまう。このような場合には、特異値除去部２００による特異値除去処理において、背景となる画素の画素値を正しく選択できなくなってしまう。そのため、特異値除去画像を得るための撮影においては、合焦位置や露出などの撮像条件、階調変換やホワイトバンランスなどの画像処理パラメータは、全ての入力画像で同一であることが望ましい。
【０１３９】
上記に述べたように、本第２の実施形態の特異値除去部２００では、ヒストグラムを生成する前に、それぞれの入力画像の各画素ブロックの画素ブロック値を最近接値に置き換える。これにより、複数の入力画像の過半数に同じ被写体が写っているとき、それぞれの入力画像において同一の座標位置に配置されている画素ブロックの画素ブロック値が全く同じではない場合であっても、画素ブロック値が近い値の画素ブロックのいずれかの画素ブロック値の度数を、他の画素ブロック値の度数よりも高くする、すなわち、度数の偏り（ピーク）があるヒストグラムを生成することができる。このことにより、本第２の実施形態の特異値除去部２００でも、第１の実施形態の特異値除去部２０と同様に、入力画像の同一の位置に写っている枚数が少ない移動体やノイズを特異値として除去し、より多くの入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像を生成することができる。
【０１４０】
また、本第２の実施形態の特異値除去部２００でも、第１の実施形態の特異値除去部２０と同様に、少ない枚数の入力画像から度数の偏り（ピーク）があるヒストグラムを生成することができ、撮像条件や画像処理パラメータなどが変わってしまったことによる影響を受けることが少なく、より精度よく特異値を除去することができる。
【０１４１】
また、本第２の実施形態の特異値除去部２００は、画素ブロックの単位で特異値除去処理を行う。すなわち、予め定めた複数の画素をまとめて処理する。このため、１画素単位で含まれているランダムノイズなどのノイズの影響を、第１の実施形態の特異値除去部２０における１画素の単位での特異値除去処理よりも受けにくいという優位性がある。さらに、特異値除去処理の処理単位が画素ブロックの単位であるため、１画素の単位で特異値除去処理を行うよりも処理時間が短くて済むという優位性もある。
【０１４２】
なお、本第２の実施形態の特異値除去部２００でも、第１の実施形態の特異値除去部２０と同様に、特異値除去処理の手順を入れ替えることができ、第１の実施形態の特異値除去部２０と同様の特異値除去部２００の消費電力の低減効果を得ることができる。
【０１４３】
また、本第２の実施形態の特異値除去部２００では、特異値除去ブロック選択部２５で算出した各画素ブロックの画素ブロック値と、最頻値検出部２４から入力された入力画像の各画素ブロックに対応した最も度数が高い最近接値に基づいて、最も度数が高い最近接値である画素ブロックを有する入力画像を選択する場合について説明した。しかし、特異値除去ブロック選択部２５が最も度数が高い最近接値である画素ブロックを有する入力画像を選択方法は、本発明を実施するための形態に限定されるものではない。例えば、最頻値検出部２４の処理において、最も度数が高い最近接値である画素ブロックを有する入力画像を識別する情報を出力する構成とすることもできる。この場合には、特異値除去ブロック選択部２５が、最頻値検出部２４から入力された識別情報に含まれる入力画像を、選択した入力画像であるものとして処理し、対応する画素ブロック内に含まれる全ての画素の各画素値を、特異値除去画像の対応する画素ブロック内に含まれる各画素の画素値として出力する構成とすることもできる。
【０１４４】
＜第３の実施形態＞
次に、本発明の第３の実施形態の特異値除去部について説明する。本第３の実施形態の特異値除去部は、図５に示した第２の実施形態の特異値除去部２００に代わって、図１に示した撮像装置１０に備えられる。以下の説明においては、本第３の実施形態の特異値除去部を、「特異値除去部３００」という。本第３の実施形態の特異値除去部３００と、第２の実施形態の特異値除去部２００とは、予め定めた複数の画素からなる画素ブロックの設定が異なるのみである。従って、本第３の実施形態の特異値除去部３００の説明では、第２の実施形態の特異値除去部２００の構成要素が異なる動作を行うものとして、説明を行う。
【０１４５】
図８は、本第３の実施形態の画像生成装置である特異値除去部３００における画素ブロックの設定の一例を模式的に示した図である。第２の実施形態の特異値除去部２００では、図８（ａ）に示したように、特異値除去処理を行う処理単位である画素ブロック内の画素が、他の画素ブロックに含まれる画素と重複しないように設定されていた。
【０１４６】
本第３の実施形態の特異値除去部３００では、図８（ｂ）に示したように、画素ブロックの大きさ、すなわち、画素ブロック内に含まれる画素の個数は同じであるが、それぞれの画素ブロック内の画素が、他の画素ブロックに含まれる画素と１画素ずつずれて設定されている。すなわち、入力画像の画素において１列分ずれた状態で設定され、画素ブロックの前後１列分以外の画素が重複している。そして、それぞれの画素ブロックには、各画素ブロックを代表する（注目される）画素（以下、「注目画素」という）が設定されている。図８（ｂ）では、注目画素が、各画素ブロックの中央に位置する画素である場合を示している。なお、画素ブロック内の注目画素の位置は、中央に限定されるものではなく、画素ブロックの単位で特異値除去処理を行う際により効果を得られる位置であれば、いずれの位置の画素でも注目画素に設定することができる。
【０１４７】
特異値除去部２００は、入力画像に対して特異値除去処理を行う際に、図８（ｂ）示したように設定された、予め定めた複数の画素からなる画素ブロック毎に、特異値除去処理を行う。
【０１４８】
特異値除去部３００の構成要素である最近接値探索部２１０と、差分算出部２２０と、最近接値処理部２３と、最頻値検出部２４とは、設定された画素ブロックが異なるのみで、第２の実施形態と同様の処理を行う。従って、最近接値探索部２１０と、差分算出部２２０と、最近接値処理部２３と、最頻値検出部２４とに関する詳細な説明は省略する。
【０１４９】
特異値除去ブロック選択部２５は、第２の実施形態と同様に、記憶部１３から読み出した複数枚の入力画像の各画素の画素値に基づいて、画素ブロック値を算出し、算出した各画素ブロックの画素ブロック値と、最頻値検出部２４から入力された入力画像の各画素ブロックに対応した最も度数が高い最近接値とに基づいて、最も度数が高い最近接値である画素ブロックを有する入力画像を選択する。
【０１５０】
その後、特異値除去部３００では、特異値除去ブロック選択部２５が、選択した入力画像において対応する画素ブロック内に含まれる注目画素の画素値を、特異値除去画像において対応する画素ブロック内に含まれる注目画素の画素値として画像処理部１５に出力する。
【０１５１】
このように、特異値除去部３００では、特異値除去部３００内の各構成要素が、それぞれの処理を画素ブロックの単位で、入力画像における画素ブロック数と同じ回数繰り返して行い、最終的な出力として、画素ブロックを代表する１つの注目画素の画素値のみを出力する。すなわち、特異値除去部２００では、画素ブロック内に含まれる全ての画素の各画素値を、特異値除去画像の画素ブロック内に含まれる各画素の画素値として出力していたのに対し、特異値除去部３００では、画素ブロックを代表する１つの注目画素の画素値のみを出力することが異なる。
【０１５２】
本第３の実施形態の画像生成装置である特異値除去部３００における特異値除去処理の手順は、上述したように、１回の特異値除去処理において出力する特異値除去画像の画素数が異なるのみであるため、詳細な説明は省略する。
【０１５３】
上記に述べたように、本第３の実施形態の特異値除去部３００でも、少ない枚数の入力画像から度数の偏り（ピーク）があるヒストグラムを生成することができ、第１の実施形態の特異値除去部２０および第２の実施形態の特異値除去部２００と同様の効果を得ることができる。
【０１５４】
また、本第３の実施形態の特異値除去部３００は、第２の実施形態の特異値除去部２００と同様に、画素ブロックの単位で特異値除去処理を行う。このため、第２の実施形態の特異値除去部２００と同様に、１画素の単位での特異値除去処理を行う第１の実施形態の特異値除去部２０よりも、１画素単位で含まれているランダムノイズなどのノイズの影響を受けにくいという優位性がある。さらに、本第３の実施形態の特異値除去部３００では、注目する１画素（注目画素）毎に適した画素ブロックを設定し、この画素ブロックの単位で特異値除去処理を行うため、より精度良く特異値除去処理を行うことができる。
【０１５５】
上記に述べたとおり、本発明を実施するための形態によれば、それぞれの入力画像における最近接値を探索し、この最近接値に基づいてヒストグラムを作成する。これにより、複数の入力画像の過半数に同じ被写体が写っているとき、それぞれの入力画像において同一の座標位置に配置されている画素の画素値が全く同じではない場合であっても、画素値が近い値の画素のいずれかの画素値の度数が、他の画素値の度数よりも高い、すなわち、度数の偏り（ピーク）があるヒストグラムを生成することができる。そして、従来の動体除去の方法によって単純に画素値のヒストグラムを作成する場合よりも、少ない枚数の撮影画像から適切な画素値にピークが現れるようなヒストグラムを作成することができる。このことにより、入力画像の同一の位置に写っている枚数が少ない移動体やノイズを特異値として、より精度よく除去することができ、より多くの入力画像の同一の位置に写っている建物などの固定の被写体や背景のみを抽出した所望の画像を生成することができる。
【０１５６】
また、本発明を実施するための形態では、従来よりも少ない枚数の撮影画像を用いて特異値除去処理を行うとこができるため、特異値除去処理に要する時間を短縮することができる。これにより、撮像装置の使用者（ユーザー）に、違和感や不快感を与えることなく、特異値除去処理が完了させることができる。
【０１５７】
なお、本実施形態においては、撮像装置１０に備えた撮像部１２によって撮影された撮影画像を入力画像として、特異値除去処理を行う画像生成装置について説明したが、本実施形態の画像生成装置が特異値除去処理を行う入力画像は、本発明を実施するための形態に限定されるものではない。例えば、画像記録媒体に記録されている同一の被写体を撮影した複数の画像データを記録部１７を介して読み出し、読み出した画像データを入力画像として特異値除去処理を行うこともできる。
【０１５８】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【０１５９】
１０・・・撮像装置
１１・・・制御部
１２・・・撮像部
１３・・・記憶部
１４・・・手ぶれ補正部（補正部）
１５・・・画像処理部
１６・・・表示部
１７・・・記録部
２０，２００・・・特異値除去部（画像生成装置）
２１，２１０・・・最近接値探索部
２２，２２０・・・差分算出部
２３・・・最近接値処理部（ヒストグラム生成部，差分和算出部）
２３１・・・ヒストグラム生成部
２３２・・・差分和算出部
２４・・・最頻値検出部
２５・・・特異値除去ブロック選択部（最頻値検出部）
【図１】
2013073553.tif 000003
【図２】
2013073553.tif 000004
【図３】
2013073553.tif 000005
【図４】
2013073553.tif 000006
【図５】
2013073553.tif 000007
【図６】
2013073553.tif 000008
【図７】
2013073553.tif 000009
【図８】
2013073553.tif 000010