(57)【要約】【課題】  １枚の画像中に動きの異なる複数の被写体が存在する場合であっても、動きブレのない画像列を生成することができる画像生成装置を提供する。【解決手段】  画像入力部１０１と、生成画素指定部１０２と、動き領域解析部１０３と、積算時空間領域決定部１０４と、画素判定部１０５と、画素値積算部１０６と、積算条件判定部１０７と、積算条件指定部１０８と、画像出力部１０９とを備え、画像入力部１０１が画像列を入力し、動き領域解析部１０３が画像列中の被写体の動きを抽出し、積算条件指定部１０８が定めた積算条件と被写体の動きとに基づいて積算時空間領域決定部１０４が積算する時空間領域を決定し、画素値積算部１０６が時空間領域の画素値を画素毎に積算し、画像出力部１０９が積算結果を新たな画像列として出力する。【選択図】  図２
2006180382.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する複数の画像に基づいて、前記複数の画像のうちの着目画像に含まれる複数の画素の各々の動きを算出する動き算出手段と、
前記着目画像に含まれる各画素について、前記各画素の動きに基づいて、当該各画素に対応する画素位置を前記複数の画像の各々について特定する画素位置特定手段と、
前記着目画像に含まれる各画素について、前記複数の画像における前記各画素に対応する画素位置における画素値を加算することにより、前記着目画像の各画素の画素値を補正する画素値補正手段と
を備えることを特徴とする画像生成装置。
【請求項２】
前記画素値補正手段は、
前記着目画像に含まれる各画素について、前記各画素の画素値と当該各画素に対応する画素位置における画素値とを比較し、前記画素位置における画素値を加算対象とするか否かを判定する画素判定部と、
前記画素判定部において加算対象とされた画素位置における画素値を加算する加算部とを有する
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記画素値補正手段は、さらに、所定の条件を満たすか否かを判定する条件判定部を備え、
前記加算部は、前記所定の条件を満たすまで加算処理を行なう
ことを特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記条件判定部は、前記着目画像に含まれる各画素について、前記加算部において加算される前記画素値の個数が所定フレーム数に達したか否かを判定し、
前記加算部は、前記画素値の個数が所定フレーム数に達するまで加算処理を行なう
ことを特徴とする請求項３に記載の画像生成装置。
【請求項５】
前記加算部は、前記着目画像の時間的に前に位置する画像より対応する画素位置の画素値を選択して、加算する
ことを特徴とする請求項４に記載の画像生成装置。
【請求項６】
前記条件判定部は、前記着目画像に含まれる各画素について、前記加算部において加算することにより求められる値と所定のノイズ値との比が、所定のしきい値よりも大きいか否かを判定し、
前記加算部は、前記加算することにより求められる値と前記所定のノイズ値との比が、前記所定のしきい値よりも大きくなるまで加算処理を行なう
ことを特徴とする請求項３に記載の画像生成装置。
【請求項７】
前記条件判定部は、前記着目画像に含まれる各画素について、前記加算部において加算された画素値の平均値と前記所定のノイズ値との比が、前記所定のしきい値よりも大きいか否かを判定する
ことを特徴とする請求項６に記載の画像生成装置。
【請求項８】
前記条件判定部は、前記着目画像に含まれる各画素について、前記加算部において加算された画素値のうちの最大値と前記所定のノイズ値との比が、前記所定のしきい値よりも大きいか否かを判定する
ことを特徴とする請求項６に記載の画像生成装置。
【請求項９】
さらに、前記所定のノイズ値を予め記憶するノイズ値記憶手段を備える
ことを特徴とする請求項６〜８のいずれか１項に記載の画像生成装置。
【請求項１０】
前記条件判定部は、前記着目画像に含まれる各画素について、前記加算部における加算処理時間が所定のしきい値よりも大きいか否かを判定し、
前記加算部は、前記加算処理時間が所定のしきい値を超えるまで加算処理を行なう
ことを特徴とする請求項３に記載の画像生成装置。
【請求項１１】
さらに、前記加算部における加算処理に用いられる前記複数の画像を記憶する一時記憶手段を備え、
前記条件判定部は、前記一時記憶手段に記憶された前記複数の画像の容量が所定のしきい値よりも大きいか否かを判定し、
前記加算部は、前記一時記憶手段に記憶された前記複数の画像の容量が前記所定のしきい値を超えるまで加算処理を行なう
ことを特徴とする請求項３に記載の画像生成装置。
【請求項１２】
前記画素値補正手段は、さらに、前記着目画像に含まれる各画素について、前記加算部において加算される前記画素値の個数が所定フレーム数に達したか否かを判定する条件判定部を備え、
前記加算部は、加算される前記画素値の個数が前記所定フレーム数に達しなかった場合には、前記所定フレーム数と前記画素値の個数との比に基づいて、前記加算結果を補正する
ことを特徴とする請求項２に記載の画像生成装置。
【請求項１３】
前記画素判定部は、
前記各画素の画素値と当該各画素に対応する画素位置における画素値との平均値を算出する平均値算出部と、
前記各画素の画素値と当該各画素に対応する画素位置における画素値との分散を算出する分散算出部と、
前記対応する画素位置における画素値と前記平均値との差の絶対値が、前記分散と所定の定数との乗算値未満の場合に、前記画素位置における画素値を加算対象と判定する加算対象判定部とを有する
ことを特徴とする請求項２〜１２のいずれか１項に記載の画像生成装置。
【請求項１４】
前記加算部は、前記着目画像よりも時間的に前方の画像および後方の画像の双方の画像を用いて、加算処理を行なう
ことを特徴とする請求項２〜１３のいずれか１項に記載の画像生成装置。
【請求項１５】
時間的に連続する複数の画像に基づいて、前記複数の画像のうちの着目画像に含まれる複数の画素の各々の動きを算出する動き算出ステップと、
前記着目画像に含まれる各画素について、前記各画素の動きに基づいて、当該各画素に対応する画素位置を前記複数の画像の各々について特定する画素位置特定ステップと、
前記着目画像に含まれる各画素について、前記複数の画像における前記各画素に対応する画素位置における画素値を加算することにより、前記着目画像の各画素の画素値を補正する画素値補正ステップと
を含むことを特徴とする画像生成方法。
【請求項１６】
時間的に連続する複数の画像に基づいて、前記複数の画像のうちの着目画像に含まれる複数の画素の各々の動きを算出する動き算出ステップと、
前記着目画像に含まれる各画素について、前記各画素の動きに基づいて、当該各画素に対応する画素位置を前記複数の画像の各々について特定する画素位置特定ステップと、
前記着目画像に含まれる各画素について、前記複数の画像における前記各画素に対応する画素位置における画素値を加算することにより、前記着目画像の各画素の画素値を補正する画素値補正ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は入力された画像列に基づいて、新たな画像列を生成する画像生成装置に関し、特に、動きブレのない画像列を生成する生成する画像生成装置に関する。
【背景技術】
【０００２】
従来、入力された画像列から新たな画像列を生成する画像生成装置として、画面全体の動きを用いるものが提案されている（例えば、特許文献１参照）。図１４は、特許文献１に開示されている画像生成装置による画像生成処理の概略処理を示すフローチャートである。
【０００３】
図１４に示されるように、画像生成装置は、異なる露出時間で得た２つの画像の相対的な位置ずれを示す情報（動きベクトル情報）を求める（ステップＡ１）。その後、求められた２つの画像の相対的な動きベクトルに基づいて、一方の画像の撮影枠をシフトさせて２枚の画像の画素値の加算平均を行い最終的な撮影画像を生成する（ステップＡ２）。
【特許文献１】特開２００３−３１９２４０号公報（図５）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像生成装置では、画像内の被写体の動きは同じであるとみなし、画像枠をシフトさせ、画素値の加算平均処理を行なっている。このため、画像内で個々の被写体が異なる動きをしている場合には、画像枠を移動させて加算平均を行ったとしても、個々の被写体については動きブレが生じるという課題がある。
【０００５】
また、被写体が暗い場合には、画像のＳ／Ｎ比が悪いため、これを解決するために加算する２つの画像の露出時間を長くする必要がある。しかし、露出時間を長くしてしまうと被写体の動きが速い場合には、１枚の画像内で動きブレが生じてしまう。このため、画像全体で位置合せをして加算平均したとしても動きブレを除くことはできないという課題を有している。
【０００６】
本発明は、上述の課題を解決するためになされたものであり、１枚の画像中に動きの異なる複数の被写体が存在する場合であっても、動きブレのない画像列を生成することができる画像生成装置を提供することを第１の目的とする。
【０００７】
また、被写体が暗い場合であっても、Ｓ／Ｎ比が高く、かつ、動きブレのない画像列を生成することができる画像生成装置を提供することを第２の目的とする。
【課題を解決するための手段】
【０００８】
本発明のある局面に係る画像生成装置は、時間的に連続する複数の画像に基づいて、前記複数の画像のうちの着目画像に含まれる複数の画素の各々の動きを算出する動き算出手段と、前記着目画像に含まれる各画素について、前記各画素の動きに基づいて、当該各画素に対応する画素位置を前記複数の画像の各々について特定する画素位置特定手段と、前記着目画像に含まれる各画素について、前記複数の画像における前記各画素に対応する画素位置における画素値を加算することにより、前記着目画像の各画素の画素値を補正する画素値補正手段とを備えることを特徴とする。
【０００９】
このように、動きに基づいて対応する複数の画像の画素値をの和を求め、画素値を補正している。このため、１枚の画像中に動きの異なる複数の被写体が存在する場合であっても、動きブレのない画像列を生成することができる。また、画素値を積算することにより、露出時間を長くしたのと同じ効果が得られるため、被写体が暗い場合であってもＳ／Ｎを改善することができ、かつ動きブレを抑えることができる。
【００１０】
好ましくは、前記画素値補正手段は、前記着目画像に含まれる各画素について、前記各画素の画素値と当該各画素に対応する画素位置における画素値とを比較し、前記画素位置における画素値を加算対象とするか否かを判定する画素判定部と、前記画素判定部において加算対象とされた画素位置における画素値を加算する加算部とを有することを特徴とする。
【００１１】
たとえば、自動車のヘッドライト等を撮像した等の影響により、画像全体で照明強度が大きくなり真白となっている場合があっても、その時刻の画像は加算対象画素から除くことができる。また、着目している被写体の画素が他の被写体の画素により隠蔽される場合があっても、その時刻の画像は加算対象画素から除くことができる。
【００１２】
さらに好ましくは、前記画素値補正手段は、さらに、所定の条件を満たすか否かを判定する条件判定部を備え、前記加算部は、前記所定の条件を満たすまで加算処理を行なうことを特徴とする。また、前記条件判定部は、前記着目画像に含まれる各画素について、前記加算部において加算することにより求められる値と所定のノイズ値との比が、所定のしきい値よりも大きいか否かを判定し、前記加算部は、前記加算することにより求められる値と前記所定のノイズ値との比が、前記所定のしきい値よりも大きくなるまで加算処理を行なうことを特徴とする。
【００１３】
Ｓ／Ｎ比を条件とする場合、結果として得られる動画像の画質をより直感的に指定できるという利点がある
また、前記条件判定部は、前記着目画像に含まれる各画素について、前記加算部における加算処理時間が所定のしきい値よりも大きいか否かを判定し、前記加算部は、前記加算処理時間が所定のしきい値を超えるまで加算処理を行なうようにしてもよい。
【００１４】
加算処理時間を制限することにより、一定の時間遅れを持った順リアルタイム処理が可能となる。
【発明の効果】
【００１５】
本発明の画像生成装置によれば、異なる動きの被写体を含む対象を撮影する際に、動きブレを抑えながら、Ｓ／Ｎ比を高めた画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら本発明の実施の形態に係る画像生成システムについて説明する。
【００１７】
図１は、本発明の実施の形態に係る画像生成システムの構成を示すブロック図である。
画像生成システム２００は、複数の画像列から動きブレがなく、かつＳ／Ｎ比を高めた画像列を生成するシステムであり、撮像装置２１０と、画像記憶装置２２０と、画像生成装置２３０と、表示装置２４０とを備えている。
【００１８】
撮像装置２１０は、被写体を撮影し、複数の画像からなる画像列を得るための装置である。
【００１９】
画像記憶装置２２０は、撮像装置２１０で撮像された画像列を記憶する記憶装置である。
【００２０】
画像生成装置２３０は、画像記憶装置２２０より画像列を受け、入力された画像列から、動きブレがなく、かつＳ／Ｎ比を高めた画像列を生成する装置である。
【００２１】
表示装置２４０は、画像生成装置２３０で生成された画像列を表示する表示装置である。なお、画像生成装置２３０は、専用回路として実現してもよいし、汎用の計算機における画像処理プログラムとして実現してもよい。
【００２２】
図２は、図１に示した画像生成システム２００における画像生成装置２３０の内部構成を示すブロック図である。
【００２３】
画像生成装置２３０は、上述したように入力された画像列から、動きブレがなく、かつＳ／Ｎ比を高めた画像列を生成する装置であり、画像入力部１０１と、生成画素指定部１０２と、動き領域解析部１０３と、積算時空間領域決定部１０４と、画素判定部１０５と、画素値積算部１０６と、積算条件判定部１０７と、積算条件指定部１０８と、画像出力部１０９とを備えている。
【００２４】
画像入力部１０１は、撮像装置２１０で得られた画像列を入力するための処理部である。
【００２５】
生成画素指定部１０２は、動きブレを抑え、Ｓ／Ｎ比を高める処理を行う対象となる画素位置を指定する処理部である。画素位置は画像列中のフレーム番号とフレーム内での位置とにより指定される。すなわち、着目している画像内の画素位置が順次自動的に指定される。
【００２６】
動き領域解析部１０３は、画像入力部１０１で入力された画像列において、画像中の各フレーム中の画像の動きを所定位置ごとに求める処理部である。所定位置は、画像中の全画素であってもよいし、所定のサイズのブロックであってもよい。
【００２７】
積算条件指定部１０８は、生成画素指定部１０２が指定した画素に対応して積算すべき他の画素の範囲を既定する条件を指定する処理部である。条件の指定方法としては積算すべき画素数（フレーム数）を指定することや、積算した結果として得られる結果のＳ／Ｎ比を指定してもよい。
【００２８】
積算時空間領域決定部１０４は、生成画素指定部１０２が指定した画素に対して、積算条件指定部１０８が指定した条件を満たすために積算すべき画素の時空間領域を決定する処理部である。
【００２９】
画素判定部１０５は、積算時空間領域決定部１０４が決定した画素に対して、積算対象として有効か否かの判定を行う処理部である。
【００３０】
画素値積算部１０６は、画素判定部１０５が有効であると判定した画素について画素値を積算する処理部である。
【００３１】
積算条件判定部１０７は、画素値積算部１０６での積算結果が積算条件指定部１０８で指定した積算条件を満たすか否かを判定し、条件を満たす場合には画像出力部１０９に生成した画像を出力する処理部である。
【００３２】
画像出力部１０９は、積算条件判定部１０７より入力された画像を生成画像として出力する処理部である。
【００３３】
ここで、動き領域解析部１０３は「動き算出手段」に対応する。
また、積算時空間領域決定部１０４は「画素位置特定手段」に対応する。
【００３４】
画素判定部１０５、画素値積算部１０６、積算条件判定部１０７、積算条件指定部１０８および画像出力部１０９は、「画素値補正手段」に対応する。
【００３５】
画素値積算部１０６は、「加算部」に対応する。
積算条件判定部１０７は、「条件判定部」に対応する。
【００３６】
次に、画像生成装置２３０の実行する処理について説明する。図３は、画像生成装置２３０の実行する処理のフローチャートである。
【００３７】
画像入力部１０１は、画像記憶装置２２０より時間的に連続する画像列を読み込む。連続する画像列の一例を図４（ａ）〜図４（ｅ）に示す。図４（ａ）〜図４（ｅ）の画像列では円形の物体（領域Ｂ）が左から右へ移動している場面を撮影している。この場面には移動する円形の物体の奥に横長の矩形（格子模様）の物体（領域Ｃ）が存在し、静止している。更にその背後には静止している白色の背景領域Ａが存在する。
【００３８】
従来、暗い被写体に対して十分な露出時間（例えば３０ｍｓ）で撮影を行うと、動画の各フレームでは図４（ｆ）の領域Ｄのように円形の移動物体の周辺に動きブレが生じていた。
【００３９】
ここでは、図４（ａ）〜図４（ｅ）のように、各フレームの露出時間を十分に短くし、物体の移動による動きブレを小さくした画像列を考える。このとき、露出時間が短いことから画像ブレは生じにくいものの、光量不足によりＳ／Ｎ比が小さい画像が得られる。
【００４０】
画像列が入力された後、生成画素指定部１０２は、生成対象とするフレームを順次指定する（Ｓ５０１）。ここでは、生成画素指定部１０２が図４（ａ）に示すフレームを指定したものとする。
【００４１】
次に、積算条件指定部１０８が積算条件を指定する（Ｓ５０２）。ここでは、積算条件として積算時間を３０ｍｓと指定する。また、撮像装置２１０は、フレーム間隔を６ｍｓ、露出時間を２ｍｓとして被写体を撮像しているものとする。
【００４２】
積算時空間領域決定部１０４は、積算条件を満たす積算フレーム数Ｆを決定する（Ｓ５０３）。すなわち、上述の条件に従うと、積算フレーム数Ｆが３０ｍｓ／２ｍｓ＝１５フレームとして算出される。
【００４３】
次に、動き領域解析部１０３が注目フレーム（図４（ａ））を中心として前後Ｆフレームの各フレーム内で、注目フレームの画像内の位置毎に画像の動きを求める（Ｓ５０４）。動きを求める位置は、画素単位であってもよいし、領域単位であってもよい。
【００４４】
ここで、動きを求めるフレームの範囲を注目フレーム（図４（ａ））を中心とした前後Ｆフレームとしたが、これは、後述するＳ５０９の処理において、Ｆフレームのみの動きを求めただけでは、加算に有効な画素が含まれない場合があることを考慮したためである。このように、フレーム数Ｆ以上のフレームにおいて、各フレームでの動きを求めておくことにより、できるだけ加算に有効な画素を利用できるようにしておくためである。
【００４５】
なお、画像上の各位置での動きは、例えば、P.ANANDAN,“A Computational Framework and an Algorithm for the Measurement of Visual Motion”, IJCV, 2, 283-310(1989)で提案されている方法や動画像符号化で一般的に用いられる動き検出手法などを用いることができる。このため、動きの検出方法の詳細な説明についてはここでは繰り返さない。
【００４６】
図５は、図４（ａ）の画像において、破線７０１で示した水平線上の画素値の時間変化を示した図である。すなわち、図５は、図４（ｂ）〜図４（ｅ）からも破線７０１と同一の水平線上である破線７０２〜７０５の画素値を抽出し、時間軸ｔ方向に並べた画像である。図５中の横向きの破線７０１の位置は図４（ａ）のフレームの時刻に対応している。図５において横軸は図４（ａ）の破線７０１で示した水平線上の位置を示し、縦軸は時間の推移を下向きに示している。なお、図５には、破線７０１〜７０５上以外の画素値も表示されているが、実際には、図４（ａ）〜図４（ｅ）に示した画像よりも密なフレームレートで画像が撮像されており、図５に示すような画像が得られるものとする。
【００４７】
以後、画像の時間変化を平易に説明するために、図４（ａ）の画像の一部である図５が示す時空間に着目して本発明の動作を説明する。図４（ａ）の他の領域についても同等の処理が行なわれる。ここで、動き領域解析部１０３が求めた動き結果を図５中の矢印で示す。領域Ａは静止しているため矢印は真下を向いている。同様に領域Ｃでも矢印は真下を向いている。一方、領域Ｂは、左から右に移動しているため、矢印は右下向きとなっている。
【００４８】
次に、生成画素指定部１０２は、注目フレーム（ここでは図４（ａ）のフレーム）において、画素値の生成に用いられる画素位置を指定する（Ｓ５０５）。図６は、図５と同じ画像における各画素位置における動きの変化を示している。例えば、生成画素指定部１０２は、画素値の生成を行う位置を図中のＰａ０と指定する。
【００４９】
積算時空間領域決定部１０４は、動き領域解析処理（Ｓ５０４）の結果（図５の矢印）と、積算フレーム数Ｆとに基づいて、Ｐａ０に対応する他のフレーム位置を決定する（Ｐａ１〜Ｐａ１４）（Ｓ５０６）。ここで動き領域解析の結果は主にＰａ０に対応する点の存在する向きを決定する為に用い、積算フレーム数Ｆは対応する点をどの時間範囲まで求めるかを決定する為に用いる。同様の手続でＰｂ０についてはＰｂ１〜Ｐｂ１４をＰｃ０についてはＰｃ１〜Ｐｃ１４を求める。
【００５０】
次に、前ステップで求めた各画素（Ｐａ０〜Ｐａ１４、Ｐｂ０〜Ｐｂ１４，Ｐｃ０〜Ｐｃ１４など）に対して、画素判定部１０５が積算に用いるのに有効か否かの判定を行う（Ｓ５０７）。有効性の判定は撮影した画像の範囲から逸脱しないか、他の物体に隠蔽されていないか、画素値が大きく変化していないかなどを基準として行なわれる。ここで領域Ｃ上の点Ｐｃ０の場合、領域Ｂの移動によって途中から隠蔽が発生する。このため、隠蔽された部分の画素Ｐｃ９〜Ｐｃ１４は無効と判定され、積算の対象から外される。
【００５１】
Ｐａ１〜Ｐａ１４と、Ｐｂ１〜Ｐｂ１４とは、画像からの逸脱や隠蔽は発生していないが、画素値が大きく変化している点が存在する場合には、その点を無効画素と判定する。画素値が大きく変化しているか否かの判定方法としては、例えば、Ｐａ０〜Ｐａ１４の画素値の平均ｍと分散σとを計算し、個々の画素の値をｉとして、次式（１）を満たす場合に有効と判断する。
【００５２】
｜ｉ−ｍ｜＜α・σ                                              …（１）
（αは０より大きい実定数）
画素の値が変化する原因としては、映像中の照明強度や照明色の時間的変化、撮像時のカメラ内のノイズの影響、被写体の表面反射特性の変化、被写体の表面の向きの変化による反射光の変化、動き領域解析処理（Ｓ５０４）の誤り、および解析精度の限界などが考えられる。図７は、一時的に照明強度が変化した場合の画素値の時間変化を示す画像の一例である。図７では矢印Ｅで示した時刻において、自動車のヘッドライト等を撮像した等の影響により、画像全体で照明強度が大きくなり真白となっている。このような場合、この時刻の画像は積算対象画素から除く。
【００５３】
画素が有効性を満たすと判断された場合には（Ｓ５０８でｙ）、後述するＳ５０９の処理が行なわれ、有効性を満たさないと判断された場合には（Ｓ５０８でｎ）、Ｓ５０６に移行する。このときＳ５０６では、新たな対応画素位置が決定される。例えば、Ｐｃ０に対する画素としてＰｃ５が無効と判定された場合には、まだ有効性が評価されていないＰｃ６が指定される。
【００５４】
画素値積算部１０６は、有効と判定された画素について積算を行う（Ｓ５０９）。例えば、着目している画素がＰａ０の場合には、Ｐａ０〜Ｐａ１４の画素値を積算する。このとき、必要に応じて所定のゲインを乗じて積算しても良い。例えば、画素の無効判定によって、有効画素数が所定の１５に達せず１０となった場合には、他の周辺の画素の加算数に足りなくなる為、１５／１０＝１．５を積算値に乗じることを行う。
【００５５】
次に、積算条件判定部１０７は、積算条件が満たされているかを判定する（Ｓ５１０）。この場合、積算数が１５に達しているか否かを判定する。条件を満たす場合には（Ｓ５１０でｙ）、Ｓ５１１に移行し、条件を満たさない場合には（Ｓ５１０でｎ）、Ｓ５０６に戻り、不足する画素を補う為に新たな対応画素位置を決定する。例えば、Ｐｃ０に対応する新たな画素としては図６のＰｃ−１，Ｐｃ−２，Ｐｃ−３などを選択する。このように注目フレームに対して必ずしも時間的に１方向の画素だけを選択する必要はなく、時間的に前後に位置する画素を選択してよい。
【００５６】
積算条件が満たされている場合には（Ｓ５１０でｙ）、積算して得られた画素値を注目フレームの注目画素の画素値として出力する（Ｓ５１１）。
【００５７】
積算条件判定部１０７は、注目フレームの全ての画素について積算値を得たか否かの判定を行い（Ｓ５１２）、積算値を得ていない画素がある場合にはＳ５０５に移行し、全ての画素値を得ている場合にはＳ５１３に移行する。
【００５８】
積算条件判定部１０７は、連続する全てのフレームについて処理したか否かの判定を行い（Ｓ５１３）、全てのフレームの処理が終わっていない場合には、未処理の新たなフレームを処理する為にＳ５０１に移行し、全てのフレームの処理が終わった場合に、全体の処理を終了する。
【００５９】
図４（ａ）に示したフレームに対しては、最終的に図８に示すようなＳ／Ｎ比が改善された画像が得られる。
【００６０】
ここで、連続するフレームについて上記の処理を行う場合には、対応する画素同士については時間的な加算範囲が一部重複する場合がある。このため積算時間範囲がフレーム間の時間間隔よりも長い場合には、重複する積算結果を一時保存しておくことで、積算に要する計算時間を削減することが可能となる。図９を用いて、この点について説明する。図９でＰｂ０の積算画素値を求める為には、破線で示された矢印８０１の範囲に存在する画素を積算することになる。ここで、破線の矢印領域のうちＰｂ１より下に位置する部分の積算値Ｓ０を一時的に保存しておくことにより、次にＰｂ１の積算画素値を求める為には、新たに実線の矢印の部分の積算値を計算して積算値Ｓ０に加算することにより、Ｐｂ１の積算画素値を求めることが可能となる。このため、積算値Ｓ０の計算に係る処理時間が短縮される。
【００６１】
以上説明したように、本実施の形態によると、複数フレームから動き領域解析に基づいて対応する画素値を選択し、更に有効な画素を選択的に加算することにより、各画素の輝度信号に含まれるノイズ成分を相殺させることが可能となり、かつ有効な画素が有する真の輝度値とノイズとの比（Ｓ／Ｎ比）を大きくさせることが可能となる。
【００６２】
しかも、暗い場所で被写体が様々な動きをしている場合にでも、積算数を増すことで、動きブレがなく明るい映像を得ることが可能となる。従来、異なる動きを含む被写体の動きブレを抑える為には、短い露出時間で被写体を撮影する必要があった。しかし、露出時間が短くなると暗い場所では図１０（ａ）のように対象物の輝度（信号成分）に対してカメラ等で発生するノイズ成分が相対的に大きくなる。このため、Ｓ／Ｎ比が低下することにより、画質が低下していた。一方、本願発明を用いると図１０（ｂ）のような画像を連続する各フレームについてそれぞれ得ることが可能となり、暗い場所でも被写体の動きブレを抑えてＳ／Ｎ比の高い映像を得ることが可能となる。
【００６３】
なお、本実施の形態では移動物体が１つの場合を想定して説明を行なったが、動きの異なる複数の被写体が存在する場合であっても、被写体ごとに動きを求めて画素値の累算を行なっている。このため、このような場合であっても、動きブレのがなく、かつＳ／Ｎ比が高い映像を得ることができる。
【００６４】
以上、本実施の形態に係る画像生成システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。
【００６５】
例えば、上述の実施の形態では、積算条件指定部１０８は、積算条件として露出時間を指定していたが、結果として得たいＳ／Ｎ比を指定することも可能である。Ｓ／Ｎ比を指定する場合、結果として得られる動画像の画質をより直感的に指定できるという利点がある。この場合、撮像装置２１０から発生するノイズ成分は、例えば、光を遮断した状態での撮像装置２１０の画素値をあらかじめ計測しておき、これをノイズ成分Ｎとする。一方、積算処理（Ｓ５０９）により得られる画素値の最大値や平均値を信号成分Ｓとして、積算条件判断処理（Ｓ５１０）において、Ｓ／Ｎ比を都度計算し、Ｓ／Ｎ比が所望の値に達した時点で、積算条件を満たしたと判断し、積算を終了するようにする。
【００６６】
また、他の積算条件としては、積算処理にかかる時間の最大値Ｔを用いてもよい。この場合、図３に示した処理が開始してから（Ｓ５０１の処理から）の処理時間が、時間Ｔに達するか否かを積算条件判定処理（Ｓ５１０）において判定し、時間Ｔを超えた時点で、強制的に積算条件を満たしたとの判定を行ない、画素値の加算を終了するようにしても良い。このような条件を用いることで一定の時間遅れを持った準リアルタイム処理が可能となり、画像生成装置２３０を既存の画像伝送・記録・表示装置と容易に接続して使用することが可能となる。
【００６７】
さらに、積算条件としては、加算処理に必要な一時的な画像記憶装置（図示せず）の容量を指定しても良い。これは、注目フレームに対して積算処理を行う為には、前後のフレーム画像を保持しておく必要があるが、積算数が多くなればなるほど大量の記憶容量を必要とするため、一定の限界を設ける必要があるためである。ここで、画像記憶装置は「一時記憶手段」に対応する。
【００６８】
さらにまた、上述した複数の積算条件を組み合わせて、当該複数の条件のうち少なくとも１つ以上が成り立った場合に、画素値の加算を終了するようにしても良い。
【００６９】
なお、撮像装置２１０としてはフレームレートおよびシャッタースピードが高速なカメラを用いることが望ましい。このようなカメラを用いることにより、個々のフレームでの動きブレが発生しにくくなる。このため、フレーム間での動きの解析が行いやすくなる。
【００７０】
一般に、高速カメラの映像は単位時間あたりの情報量が多くなり、画像の伝送や記録が困難であるが、本発明の処理を行った後、通常のビデオやテレビと同等のフレームレートの画像を出力することにより、画像伝送や画像記録に既存の機器やシステムを流用でき、しかもＳ／Ｎ比の高い映像をえることが可能となる。
【００７１】
また、カメラのノイズ低減の効果、すなわちＳ／Ｎ比の改善は、ノイズが時間的または空間的にランダムな性質を有している場合に、より期待できる。これは、ノイズがランダムな性質を有することにより、数フレームにわたり画素値を累積することにより、ノイズの影響を低減させることができるからである。
【００７２】
なお、本発明の画像生成装置が行なう画像生成処理の一部または全部は、専用の機器で行わせるようにしてもよいし、コンピュータ端末装置や、基地局等に配置される通信機器や、スタンドアロンのコンピュータに内蔵されるＣＰＵが画像生成処理プログラムを実行することによって、画像生成処理を行うようにしてもよい。
【００７３】
また、図１に示した画像生成システム２００の構成のうち、表示装置２４０を除いた構成を用いて、図１１に示すようなカメラ３００として、単体の装置として本発明を実現してもよい。
【００７４】
さらに、図１１に示したカメラ３００に表示装置２４０を付加することにより、動画像録画・再生機能付きのカメラとして実現しても良い。これらの場合、最終的に出力・表示される動画像のフレームレートは通常の３０ｆｐｓ（フレーム／秒）程度でよいが、内部の画像処理に用いられる画像列のフレームレートを必要に応じて高いフレームレートとすることにより、動き領域の解析等を行いやすくすることができる。
【００７５】
また、図１に示した画像生成システム２００の構成のうち、撮像装置２１０を除いた構成を用いて、図１２に示すようにテレビなどのディスプレイ機器４００として本発明を実現しても良い。この場合、あらかじめ録画してある画像のＳ／Ｎ比を向上させて表示することが可能になる。
【００７６】
なお、上述の実施の形態では、画像中の移動物体（図４中の領域Ｂ）が水平方向に動くことを前提として、画像生成処理の説明を行なったが、実際には、移動物体は水平方向の動きのみならず、上下方向やそれ以外の自由な方向の動きを行なう。このため、図５に示したような移動物体の時間変化は、図１３に示すような３次元画像により表現される。すなわち、図１３では、領域Ｂが右上方向に移動し、さらに、右下方向に移動する場合の移動物体の時間変化を３次元画像として示している。このような場合に、領域Ｂ上の点Ｐ０は、数フレーム後にＰ１に移動し、さらに数フレーム後にＰ２に移動する。したがって、Ｐ０の画素値を求めるためには、３次元画像中でＰ０に対応する位置であるＰ１およびＰ２の画素値を用いて積算を行なう。
【産業上の利用可能性】
【００７７】
本発明は、異なる動きをする複数の被写体を撮影する際に、被写体の動きブレを抑えながら、Ｓ／Ｎ比を高めた画像を得ることができる画像生成装置に適用でき、特に、ビデオカメラやデジタルカメラなどの映像撮影機器や、映像を録画しかつ再生する機器や、蓄積された映像を表示するモニタ装置等に適用できる。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施の形態に係る画像生成システムの構成を示すブロック図である。
【図２】図１に示した画像生成システムにおける画像生成装置の内部構成を示すブロック図である。
【図３】画像生成装置の実行する処理のフローチャートである。
【図４】（ａ）〜（ｅ）は、本実施の形態に係る撮像装置により撮像された移動物体を含む画像の一例を示す図であり、（ｆ）は、従来の撮像装置により撮像された移動物体を含む画像の一例を示す図である。
【図５】移動物体を含む動画像の時間変化の一例を示す図である。
【図６】移動物体を含む動画像の時間変化の一例を示す図である。
【図７】移動物体を含む動画像の時間変化の一例を示す図である。
【図８】画像生成装置による処理結果を示す図である。
【図９】移動物体を含む動画像の時間変化の一例を示す図である。
【図１０】（ａ）は、短時間の露出で得られるあるフレームの画像の一例を示す図であり、（ｂ）は、本発明の実施の形態で得られるフレーム画像の一例を示す図である。
【図１１】本発明の実施の形態に係るカメラの構成を示す図である。
【図１２】本発明の実施の形態に係るディスプレイ機器の構成を示す図である。
【図１３】移動物体を含む動画像の時間変化を３次元的に示した図である。
【図１４】従来の画像加算方法を示すフローチャートである。
【符号の説明】
【００７９】
１０１  画像入力部
１０２  生成画素指定部
１０３  動き領域解析部
１０４  積算時空間領域決定部
１０５  画素判定部
１０６  画素値積算部
１０７  積算条件判定部
１０８  積算条件指定部
１０９  画像出力部
２００  画像生成システム
２１０  撮像装置
２２０  画像記憶装置
２３０  画像生成装置
２４０  表示装置
３００  カメラ
４００  ディスプレイ機器
７０１〜７０５  破線
【図１】
2006180382.tif 000003
【図２】
2006180382.tif 000004
【図３】
2006180382.tif 000005
【図４】
2006180382.tif 000006
【図５】
2006180382.tif 000007
【図６】
2006180382.tif 000008
【図７】
2006180382.tif 000009
【図８】
2006180382.tif 000010
【図９】
2006180382.tif 000011
【図１０】
2006180382.tif 000012
【図１１】
2006180382.tif 000013
【図１２】
2006180382.tif 000014
【図１３】
2006180382.tif 000015
【図１４】
2006180382.tif 000016