(57)【要約】【課題】既に撮影されたフォーカルプレーン歪を有する撮影画像を再生する際に、そのフォーカルプレーン歪を補正することのできる画像補正装置を提供する。【解決手段】動画ストリームデータに含まれる動きベクトルの始点に対応する走査線番号を検出し、動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の前記走査線番号に対応する走査線ｎの露出時刻を２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、時間差ＳＴに対する割合を、動きベクトルに対して乗じることにより、動きベクトルを補正する。【選択図】図７
2012070130.tif 000002
【特許請求の範囲】
【請求項１】
記録された動画ストリームデータに含まれる動きベクトルの始点に対応する走査線番号を検出し、
前記動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の前記走査線番号に対応する走査線ｎの露出時刻を前記２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、前記時間差ＳＴに対する割合を、前記動きベクトルに対して乗じることにより、前記動きベクトルを補正する
ことを特徴とする画像補正装置。
【請求項２】
前記動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の前記走査線番号に対応する走査線ｎの露出時刻を前記２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間は、
前記画像の最上位の走査線における露出時刻から任意の下位の走査線ｎにおける露出時刻の時間差ｅｔｄ（ｎ）を、前記連続する２つの画像の時間差ＳＴから差し引いた値が示す時間である
ことを特徴とする請求項１に記載の画像補正装置。
【請求項３】
前記画像の最上位の走査線における露出時刻から任意の下位の走査線ｎにおける露出時刻の時間差ｅｔｄ（ｎ）は、
前記画像の最上位の走査線と最下位の走査線の露出時刻の時間差ＤＴの走査線の総数Ｌに対する割合に、前記走査線番号を乗じて得られる値が示す時間である
ことを特徴とする請求項２に記載の画像補正装置。
【請求項４】
画像補正装置における画像補正方法であって、
記録された動画ストリームデータに含まれる動きベクトルの始点に対応する走査線番号を検出し、
前記動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の前記走査線番号に対応する走査線ｎの露出時刻を前記２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、前記時間差ＳＴに対する割合を、前記動きベクトルに対して乗じることにより、前記動きベクトルを補正する
ことを特徴とする画像補正方法。
【請求項５】
画像補正装置のコンピュータを、
記録された動画ストリームデータに含まれる動きベクトルの始点に対応する走査線番号を検出する手段、
前記動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の前記走査線番号に対応する走査線ｎの露出時刻を前記２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、前記時間差ＳＴに対する割合を、前記動きベクトルに対して乗じることにより、前記動きベクトルを補正する手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォーカルプレーン歪みのある画像を補正する画像補正装置および画像補正方法ならびにそのプログラムに関する。
【背景技術】
【０００２】
デジタルカメラやビデオカメラにおいてＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）などのイメージセンサを用いてキャプチャした画像は、１コマ分のイメージデータの取り込みの際に、走査線の上と下とで露光のタイミングに時間差が生じており、動いている対象を撮影した場合には、その露光のタイミングの時間差によって、取り込まれる１コマの画像内に撮影対象の歪みが発生するという問題があった(この歪をフォーカルプレーン歪という)。なお、フォーカルプレーン歪みを補正する技術として、特許文献１が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０８５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、上述の技術は、画像を撮影した際にフォーカルプレーン歪を補正するものであるが、既に撮影されたフォーカルプレーン歪を有する撮影画像を再生する際に、そのフォーカルプレーン歪を補正する技術が求められている。
【０００５】
そこでこの発明は、既に撮影されたフォーカルプレーン歪を有する撮影画像を再生する際に、そのフォーカルプレーン歪を補正することのできる画像補正装置および画像補正方法ならびにそのプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、記録された動画ストリームデータに含まれる動きベクトルの始点に対応する走査線番号を検出し、前記動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の前記走査線番号に対応する走査線ｎの露出時刻を前記２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、前記時間差ＳＴに対する割合を、前記動きベクトルに対して乗じることにより、前記動きベクトルを補正することを特徴とする画像補正装置である。
【０００７】
また本発明は、画像補正装置における画像補正方法であって、動画ストリームデータに含まれる動きベクトルの始点に対応する走査線番号を検出し、前記動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の前記走査線番号に対応する走査線ｎの露出時刻を前記２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、前記時間差ＳＴに対する割合を、前記動きベクトルに対して乗じることにより、前記動きベクトルを補正することを特徴とする画像補正方法である。
【０００８】
また本発明は、画像補正装置のコンピュータを、動画ストリームデータに含まれる動きベクトルの始点に対応する走査線番号を検出する手段、前記動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の前記走査線番号に対応する走査線ｎの露出時刻を前記２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、前記時間差ＳＴに対する割合を、前記動きベクトルに対して乗じることにより、前記動きベクトルを補正する手段、として機能させることを特徴とするプログラムである。
【発明の効果】
【０００９】
本発明によれば、撮影された画像のフォーカルプレーン歪を補正することができる。
【図面の簡単な説明】
【００１０】
【図１】画像補正装置の構成を示すブロック図である。
【図２】画像＃１と画像＃２の走査線ｎと露出時刻の関係を示す図である。
【図３】画像＃１と画像＃２における走査線ｎの水平方向の各画素の階調値の推移を示す図である。
【図４】画像＃１と画像＃２ｎ相互相関関数を説明するための図である。
【図５】画像＃１と画像＃２の走査線ｎの各画素の露出時刻を合わせた場合における各画像の階調値の推移を示す図である。
【図６】画像＃１と画像＃２に基づいて補正した画像の階調値の推移を示す図である。
【図７】動画圧縮規格であるＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で規定されるデコーダに本実施形態による動きベクトル補正の処理を追加した場合の機能構成を示す図である。
【図８】動画圧縮規格であるＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で規定されるエンコーダに本実施形態による動きベクトル補正の処理を追加した場合の機能構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の第１の実施形態による画像補正装置を図面を参照して説明する。
図１は同実施形態による画像補正装置の構成を示すブロック図である。
この図において、符号１は画像補正装置の機能ブロック図である。
この図が示すように、画像補正装置１は、動き推定部１１、第１露出時刻補正部１２、第２露出時刻補正部１３、補正画像合成部１４を備えている。
本実施形態においては、画像補正装置は、動きのある撮影対象を所定の時間差で撮影した前後の撮影画像２つによって補正を行うが、このある時間差で撮影した２つの撮影画像を、それぞれ画像＃１、画像＃２とする。
【００１２】
図２は画像＃１と画像＃２の走査線ｎと露出時刻の関係を示す図である。
ここで、図２より、ＣＭＯＳイメージセンサでキャプチャされた画像について、最上位の走査線と最下位の走査線では露出時刻の時間差がＤＴ、キャプチャした画面の走査線の総数をＬとする。すると、最上位の走査線における露出時刻から任意の下位の走査線ｎにおける露出時刻の時間差ｅｔｄ（ｎ）は、ｅｔｄ（ｎ）＝(ＤＴ／Ｌ)＊ｎによって表すことができる（ｎは最上位の走査線をゼロとする走査線の番号であり、Ｌ−１が最大である）。
【００１３】
また、画像＃１と画像＃２の撮影時刻の時間差をＳＴ、画像＃２の走査線ｎの露出時刻をｔ（ｎ）とする。そして、本実施形態の画像補正装置１は、２つの画像の対応する走査線ｎにおける各画素の階調値を下記の処理によって合成して、ｔ(ｎ)−ｅｔｄ(ｎ)時点、つまり、最上位の走査線の露出時刻と同じ時刻における走査線ｎの各画素の階調値を算出でき、これにより、最上位の次の走査線（ｎ＝１）からＬ−１番目までの全ての走査線ｎに対して、最上位（ｎ＝０）の走査線の露出時刻と同じ時刻における階調値を算出することで、フォーカルプレーン歪を解消した画像が生成することにより、入力した画像の補正を行う。
なお、本実施形態においては、処理量を軽減するために、入力された画像がモノクロであり、推定する動きを一次元(走査線方向)に限定した場合の例について説明する。
【００１４】
次に画像補正処理の詳細について説明する。
図３は画像＃１と画像＃２における走査線ｎの水平方向の各画素の階調値の推移を示す図である。
図４は画像＃１と画像＃２ｎ相互相関関数を説明するための図である。
図５は画像＃１と画像＃２の走査線ｎの各画素の露出時刻を合わせた場合における各画像の階調値の推移を示す図である。
図６は画像＃１と画像＃２に基づいて補正した画像の階調値の推移を示す図である。
動き推定部１１は、画像＃１（ｓｃｎ１）と画像＃２（ｓｃｎ２）を入力すると、その２つの画像における、ある走査線ｎの相互相関関数ｃｃ(ｎ，ｐ)から、当該ｃｃ(ｎ，ｐ)の値が最大となるｐを、画像＃１と画像＃２の最大階調値のピクセル位置のずれを示す値ｐｍ(ｎ)とする。
【００１５】
ここで、図４で示すように、相互相関関数ｃｃ(ｎ，ｐ)は、
ｃｃ(ｎ，ｐ)＝∫ｓｃｎ１(ｎ，ｘ)＊ｉｓｃｎ２(ｎ，ｘ＋ｐ)ｄｘ
により定義される。
この式において積分範囲はｘ＝０からＷ（Ｗは画像の走査線方向の幅ピクセル数）までである。また、この式において、画像＃１の走査線ｎの関数表現を、ｙ＝ｉｓｃｎ１(ｎ，ｘ)、画像＃２の走査線ｎの関数表現を、ｙ＝ｉｓｃｎ２(ｎ，ｘ)とする。
ただし、上記関数において、画像＃１（ｉｓｃｎ１）および画像＃２（ｉｓｃｎ２）の両端の階調ｙの値は、その端の値でそのまま左右に続いているものとする。これにより、関数の端より外側の階調値がゼロになり、関数が不連続になることを防ぐ。なお、一般的に、画像処理においては端より外側を見る処理においては、端と同じ階調値が続くものとして処理している。
【００１６】
画像＃１と画像＃２の最大階調値のピクセル位置のずれを示す値ｐｍ(ｎ)は、一方の画像における対象走査線ｎの各画素を、この値のピクセル分移動させるとほぼ波形として一致すると考えられる値であり、ＳＴ時間（画像＃１と画像＃２の撮影時刻の時間差）でｐｍ(ｎ)ピクセル分、右に移動したとみなすことができる。したがって、画像＃１の走査線ｎを、
(ｐｍ(ｎ)／ＳＴ)＊(ＳＴ−ｅｔｄ(ｎ))        ・・・（ａ）
の式によって算出されるピクセル分、右に移動させることで、画像＃１の走査線ｎを、画像＃２の最上位の走査線における露出時刻にあわせることができる。
【００１７】
また、画像＃２の最上位以外の走査線ｎを、
(ｐｍ(ｎ)／ＳＴ)＊ｅｔｄ(ｎ)        ・・・（ｂ）
の式によって算出されるピクセル分、左に移動させることで、画像＃２の最上位以外の走査線ｎそれぞれを、画像＃２の最上位の走査線における露出時刻にあわせることができる。このようにして、図５で示すように、各画像の走査線ｎの各画素について同一の露出時刻にあわせる場合の２つの走査線ｎの補正式を作成することができる。
【００１８】
ここで、画像＃１から生成した走査線ｎの補正式（ａ）を、ｙ＝ｓｃｎ１(ｎ，ｘ)の関数で表すとする。また、画像＃２から生成した走査線ｎの補正式（ｂ）を、ｙ＝ｓｃｎ２(ｎ，ｘ)とする(ｙは階調、ｘはピクセル位置、ｎは走査線番号)。このとき、これら２つの式から、画像＃１と画像＃２の補正した走査線ｎを合成するための式を下記のように表すことができる。
ｙ＝(ｓｃｎ１(ｎ，ｘ)＊ｅｔｄ(ｎ)＋
ｓｃｎ２(ｎ，ｘ)＊(ＳＴ−ｅｔｄ(ｎ))／ＳＴ
【００１９】
つまり、画像＃１と画像＃２に基づいて補正される画像の走査線ｎの各画素の階調値は、画像＃１の走査線ｎを補正する上記（ａ）の式に重み付け値ｅｔｄ(ｎ)／ＳＴを乗じた値と、画像＃２の走査線ｎを補正する上記（ｂ）の式に重み付け値(ＳＴ−ｅｔｄ(ｎ)／ＳＴを乗じた値の合計によって得る。この式においては、画像＃２の最上位の走査線における露出時刻にあわせることになるため、画像＃２の走査線ｎを補正する式により強い重み付けを行っている（図６参照）。
【００２０】
そして、以上の述べた手法を、走査線の０からＬ−１まで行うことにより、画像＃１と画像＃２に基づいて、露出時刻を補正によってフォーカルプレーン歪を補正した画像を生成することができる。
なお、処理をカラー画像（ＹＵＶ画像）に拡張する場合、ピクセルのシフト処理について、ＵＶのピクセルに対して同様にシフトすることにより拡張できる。
また、３Ｄ(立体)カメラの場合、左と右の２つのイメージセンサを持っているが、露出時刻に時差があれば良いだけなので、画像＃１と画像＃２を左のイメージセンサ、右のイメージセンサそれぞれでキャプチャリングしたものとしても、同様の効果が得られる。また、時差を作る方法として左右のイメージセンサのデータ読み取り方向を変えても良い。例えば、左センサは最上位の走査線からデータを読み、右センサは最下位の走査線から読むようにしてもよい。
【００２１】
次に、第１の実施形態による画像補正装置１の処理フローについて説明する。
まず、画像補正装置１の動き推定部１１は、ある時差（例えばシャッタースピード（単位時間当たりのシャッター回数）の逆数）ＳＴで、２つの画像（画像＃１、画像＃２）を入力し、上記した相互相関関数ｃｃ(ｎ，ｐ)が最大となるｐを、画像＃１と画像＃２の最大階調値のピクセル位置のずれを示す値ｐｍ(ｎ)として出力する（ステップＳ１０１）。
【００２２】
すると、第１露出時刻補正部１２が、ｐｍ(ｎ)と画像＃１を入力して、画像＃１の走査線ｎに対して、(ｐｍ(ｎ)／ＳＴ)＊(ＳＴ−ｅｔｄ(ｎ))ピクセル右にシフトした補正画像＃１を出力する（ステップＳ１０２）。また同様に、第２露出時刻補正部１３が、ｐｍ(ｎ)と画像＃２を入力して、画像＃２の走査線ｎに対して、(ｐｍ(ｎ)／ＳＴ)＊ｅｔｄ(ｎ)ピクセル左にシフトした補正画像＃２を出力する（ステップＳ１０３）。
【００２３】
そして、補正画像合成部１４が、補正画像＃１と補正画像＃２を入力し、補正画像＃１に対してはｅｔｄ(ｎ)／ＳＴの重み付けを行い、また、補正画像＃２に対しては(ＳＴ−ｅｔｄ(ｎ))／ＳＴの重み付けを行なって、階調値として加算し、それを最終補正画像として出力する（ステップＳ１０４）。
【００２４】
以上の処理によれば、特別なハードウェアの追加無しで、ＣＭＯＳなどのイメージセンサを用いた画像撮影時において発生するフォーカルプレーン歪を低減することが可能となる。
【００２５】
＜第２の実施形態＞
図７は動画圧縮規格であるＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で規定されるデコーダに本実施形態による動きベクトル補正の処理を追加した場合の機能構成を示す図である。
次に、第２の実施形態について説明する。
当該第２の実施形態は、既にフォーカルプレーン歪がある動画ストリームに対して、再生時（デコード時）に、第１の実施形態で用いた処理を行うことにより、フォーカルプレーン歪を低減した動画を再生する際の処理である。
上述した第１の実施形態における画像補正装置１の処理は、撮影対象の水平な１次元の動きに対する補正であったが、動画ストリームのデータからは、撮影対象に関する動きベクトルの情報を抽出できるので、当該動きベクトルを利用して、２次元の動きに対する補正を行う。また、動きベクトルを元に表示する動画フレームを作成しているので、それを利用すれば、第１の実施形態のような２つの画像に基づく合成処理が不要となる。
【００２６】
つまり、本実施形態では、第１の実施形態で行われた補正手法の考えを動画ストリームデータに含まれる動きベクトルに対して適用し、これにより、補正した動きベクトルを利用して動画フレームを生成することで、フォーカルプレーン歪を低減する。
より具体的には、動画ストリームデータに含まれる動きベクトルの始点に対応する走査線番号を検出し、動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の走査線番号に対応する走査線ｎの露出時刻を２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、時間差ＳＴに対する割合を、動きベクトルに対して乗じることにより、動きベクトルを補正し、これにより、補正した動きベクトルを利用して動画フレームを生成することで、フォーカルプレーン歪を低減する。
【００２７】
動画ストリームデータに含まれる動きベクトルを下記の補正式によって補正する。
ｃｏｒｒｅｃｔｅｄ＿ｍｖ(ｉｘ)＝((ＳＴ−ｅｔｄ(ｎ))／ＳＴ)＊ｍｖ(ｉｘ)
ここで、ｃｏｒｒｅｃｔ＿ｍｖ(ｉｘ)は補正後の動きベクトルを、またｍｖ(ｉｘ)は動画ストリームデータに含まれる動きベクトルを、またｉｘはベクトルのインデックスを示している。ただし、走査線番号ｎは、動きベクトルｍｖ(ｉｘ)の始点の座標に位置する番号である。また、ｅｔｄ(ｎ)＝(ＤＴ／Ｌ)＊ｎとする。Ｌは動画サイズの高さとなる。また、ＳＴは動画フレームレートＦＲ(ｆｐｓ)から算出し、ＳＴ＝１／ＦＲとなる。ＤＴの値は動画ストリームからは抽出できない値なので、ＣＭＯＳイメージセンサの一般的な値を流用するか、可変にしてユーザが補正した動画を見ながら調整するよう入力してもよい。
【００２８】
ここで、一つの画像内において露出時刻は走査線ｎごとに異なっており、動きがある撮影対象は、走査線ｎごとの露出時刻の違いにより、露出時刻に時差がない場合の本来の位置とは異なった位置として写ってしまう。そして、画像＃１内に写っているある撮影対象の位置から、当該撮影対象の画像＃２内で写る位置までの移動方向と距離が、画像＃１において動きベクトルとして表現されることとなる。これは、ある撮影対象がＳＴ時間での動きベクトル分、移動することを意味する。そのため、画像＃２において、ｅｔｄ（ｎ）時間、過去に遡れば期待している露出時刻での対象物の位置が求まることになる。これを、動きベクトルとして表現すると、動きベクトルは基点が画像＃１になるため、画像＃１の位置から(ＳＴ−ｅｔｄ(ｎ))時間後の位置が、所望の露出時刻（画像＃２の最上位の走査線の露出時刻）の位置となる。したがって、それを動きベクトルで表現した場合、((ＳＴ−ｅｔｄ(ｎ))／ＳＴ)＊ｍｖ(ｉｘ)となる。
このような処理により、動画ストリームデータに含まれる動きベクトルは、その動きベクトルの始点の座標に対応する走査線に対して加わるフォーカルプレーン歪量が０となるように補正することで、その走査線が、最上位の走査線における露出時刻に合うこととなる。これにより、動画ストリームデータのデコーダ装置において、フォーカルプレーン歪を低減して再生することが可能となる。
【００２９】
＜第３の実施形態＞
図８は動画圧縮規格であるＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４で規定されるエンコーダに本実施形態による動きベクトル補正の処理を追加した場合の機能構成を示す図である。
第２の実施形態においては、動画再生時に動きベクトルを補正する場合の処理を説明したが、第３の実施形態においては、動画ストリームデータのエンコード時においても、動きベクトルを当該エンコーダが生成しているので、その際に、第２の実施形態と同様に、動きベクトルに補正をかけた後に動画ストリームデータを生成する技術である。これにより、動画ストリームデータの再生装置における当該動画ストリームデータの再生時において、既にフォーカルプレーン歪が補正された動画を再生することができる。
より具体的には、画像補正装置１が、動画ストリームデータに格納する動きベクトルの生成時に、動画ストリームデータにおいて撮影時刻の時間差ＳＴを有する連続する２つの画像のうちの前画像の走査線番号に対応する走査線ｎの露出時刻を２つの画像のうちの後画像の最上位の走査線の露出時刻に合わせる補正時間の、時間差ＳＴに対する割合を、動きベクトルに対して乗じることにより、動きベクトルを補正し、前画像の前記走査線ｎについての動きベクトルとして動画ストリームデータに格納して動画ストリームデータを生成する。
【００３０】
つまり、第２の実施形態と同様に、
ｃｏｒｒｅｃｔｅｄ＿ｍｖ(ｉｘ)＝((ＳＴ−ｅｔｄ(ｎ))／ＳＴ)＊ｍｖ(ｉｘ)
の補正式により、動画ストリームデータの生成時に作成した動きベクトルを補正して、当該動きベクトルｃｏｒｒｅｃｔｅｄ＿ｍｖ(ｉｘ)を含む動画ストリームデータを生成する。ここで、第２の実施形態と同様に、ｃｏｒｒｅｃｔ＿ｍｖ(ｉｘ)は補正後の動きベクトルを、またｍｖ(ｉｘ)は動画ストリームデータに含まれる動きベクトルを、またｉｘはベクトルのインデックスを示している。ただし、走査線番号ｎは、動きベクトルｍｖ(ｉｘ)の始点の座標に位置する番号である。また、ｅｔｄ(ｎ)＝(ＤＴ／Ｌ)＊ｎとする。Ｌは動画サイズの高さとなる。また、ＳＴは動画フレームレートＦＲ(ｆｐｓ)から算出し、ＳＴ＝１／ＦＲとなる。
この際、ＤＴの値はエンコーダ装置としては既知の値になり、そのまま利用できるので第２の実施形態で示したようにユーザが調整する必要はない。
【００３１】
なお、上述の画像補正装置は内部に、コンピュータシステムを有していてもよい。この場合、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３２】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００３３】
１・・・画像補正装置
１１・・・動き推定部
１２・・・第１露出時刻補正部
１３・・・第２露出時刻補正部
１４・・・補正画像合成部
【図１】
2012070130.tif 000003
【図２】
2012070130.tif 000004
【図３】
2012070130.tif 000005
【図４】
2012070130.tif 000006
【図５】
2012070130.tif 000007
【図６】
2012070130.tif 000008
【図７】
2012070130.tif 000009
【図８】
2012070130.tif 000010