(57)【要約】【課題】動きボケを除去する。【解決手段】動きベクトル検出部１１が、動きベクトルを検出し、検出した動きベクトルから動き量ｖを求め、画素値演算部１２−１乃至１２−Ｎに供給する。画素値演算部１２−１乃至１２−Ｎは、入力画像と動き量ｖから、それぞれ異なるＮ個のモデルで動きボケを除去した画像の画素を演算し画素生成部１４に出力する。モデル信頼度演算部１３は、入力画像から各モデル毎にアクティビティを求めて、そのアクティビティからモデル毎の信頼度を計算して画素生成部１４に出力する。画素生成部１４は、画素値演算部１２−１乃至１２−Ｎから入力された画素値に、対応する信頼度との積和を取って、画素値として出力する。【選択図】      図１
2004259218.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像データから第２の画像データを演算する画像処理装置において、
入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、前記第１の画像データの動きボケが除去された前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出手段と、
前記画素抽出手段により抽出された前記複数の画素の画素値に基づいて、前記第２の画像データの注目画素の画素値を演算する演算手段と、
前記第２の画像データの注目画素に対応する前記第１の画像データのアクティビティに応じて、前記演算手段により演算される前記注目画素の画素値を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された前記第１の画像データ内の、前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する、前記画素抽出手段とは異なる他の画素抽出手段をさらに備え、
前記演算手段は、前記他の画素抽出手段により抽出された複数の画素の画素値に基づいて、前記第２の画像データの注目画素の画素値を演算する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、前記画素抽出手段により抽出された複数の画素の画素値に基づいて演算された第１の画素値と、前記他の画素抽出手段により抽出された複数の画素の画素値に基づいて演算された第２の画素値とを、前記第２の画像データのアクティビティに応じて重み付け加算して出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
第１の画像データから第２の画像データを演算する画像処理装置の画像処理方法において、
入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、前記第１の画像データの動きボケが除去された前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、
前記画素抽出ステップの処理で抽出された前記複数の画素の画素値に基づいて、前記第２の画像データの注目画素の画素値を演算する演算ステップと、
前記第２の画像データの注目画素に対応する前記第１の画像データのアクティビティに応じて、前記演算ステップの処理で演算される前記注目画素の画素値を制御する制御ステップと
を含むことを特徴とする画像処理方法。
【請求項５】
第１の画像データから第２の画像データを演算する画像処理をコンピュータに実行させるプログラムであって、
入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、前記第１の画像データの動きボケが除去された前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、
前記画素抽出ステップの処理で抽出された前記複数の画素の画素値に基づいて、前記第２の画像データの注目画素の画素値を演算する演算ステップと、
前記第２の画像データの注目画素に対応する前記第１の画像データのアクティビティに応じて、前記演算ステップの処理で演算される前記注目画素の画素値を制御する制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項６】
第１の画像データから第２の画像データを演算する画像処理をコンピュータに実行させるプログラムであって、
入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、前記第１の画像データの動きボケが除去された前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、
前記画素抽出ステップの処理で抽出された前記複数の画素の画素値に基づいて、前記第２の画像データの注目画素の画素値を演算する演算ステップと、
前記第２の画像データの注目画素に対応する前記第１の画像データのアクティビティに応じて、前記演算ステップの処理で演算される前記注目画素の画素値を制御する制御ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項７】
第１の画像データから第２の画像データを予測するための学習を行う学習装置において、
入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の前記第１の画像データの動きボケが除去された前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出手段と、
前記画素抽出手段により抽出された複数の画素の画素値から前記第１の画像データの注目画素の画素値を予測する予測係数を学習する学習手段と
を備えることを特徴とする学習装置。
【請求項８】
前記注目画素に対応する前記第１の画像データ内の複数の画素の画素値のアクティビティを検出するアクティビティ検出手段と、
前記アクティビティ検出手段により検出されたアクティビティに応じて、前記注目画素をクラス分類するクラス分類手段とをさらに備え、
前記学習手段は、前記クラス分類手段により分類されるクラス毎に、前記画素抽出手段により抽出された複数の画素の画素値から前記第１の画像データの注目画素の画素値を予測する予測係数を学習する
を備えることを特徴とする請求項７に記載の学習装置。
【請求項９】
第１の画像データから第２の画像データを予測するための学習を行う学習装置の学習方法において、
入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の前記第１の画像データの動きボケが除去された前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、
前記画素抽出ステップの処理で抽出された複数の画素の画素値から前記第１の画像データの注目画素の画素値を予測する予測係数を学習する学習ステップと
を含むことを特徴とする学習方法。
【請求項１０】
第１の画像データから第２の画像データを予測するための学習を行う学習処理をコンピュータに実行させるプログラムであって、
入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の前記第１の画像データの動きボケが除去された前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、
前記画素抽出ステップの処理で抽出された複数の画素の画素値から前記第１の画像データの注目画素の画素値を予測する予測係数を学習する学習ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１１】
第１の画像データから第２の画像データを予測するための学習を行う学習処理をコンピュータに実行させるプログラムであって、
入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の前記第１の画像データの動きボケが除去された前記第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、
前記画素抽出ステップの処理で抽出された複数の画素の画素値から前記第１の画像データの注目画素の画素値を予測する予測係数を学習する学習ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関し、特に、アクティビティに応じて動きボケを除去するようにした画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
動きのある画像を撮像する際に生じる動きボケを除去する技術が一般に普及しつつある。
【０００３】
ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの入射される光の積分効果を用いて画素値を生成する検出素子を用いて、動きのある物体を撮像する際、物体の動きに応じて、検出素子に入射される光が物体の動きに連動して連続的に変化することにより、生成される画素値ににじみが生じる現象が動きボケである。
【０００４】
画像中の動きボケの除去は、例えば、画像中の平坦部、すなわち、隣接する画素間の画素値の差分が小さくなる領域を検出し、その領域内の各画素の画素値が同一であるという前提に基づいて、各画素の画素値を時間的に複数の要素に分割して、各要素に対応する画素値を連立方程式により求め、各要素のうち被写体となる物体の画像に相当する要素を引き出して画素値を生成することにより動きボケが除去された画像を生成するというものもあった（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開２００１−１１１４３８号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、以上の手法で連立方程式を生成して、画素値を分割した各要素を求める場合、連立方程式の解は、平坦部の端部の要素から順番に解が得られることになるため、端部からの誤差が中央部に進むにつれて積算されることにより伝播され、結果として、最終的に平坦部の中央部に存在する、値を求めたい画素の要素を正確に求めることができないという課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画素の生成に使用する要素を求めるために使用する画素を複数に用意しておき、各画素毎にアクティビティに基づいた重みを求め、各々の画素値により求められた要素の値との積和をとることで要素を求め、より正確に動きボケが除去された画像を生成できるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出手段と、画素抽出手段により抽出された複数の画素の画素値に基づいて、第２の画像データの注目画素の画素値を演算する演算手段と、第２の画像データの注目画素に対応する第１の画像データのアクティビティに応じて、演算手段により演算される注目画素の画素値を制御する制御手段とを備えることを特徴とする。
【０００９】
前記入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、第２の画像データの注目画素に対応する複数の画素の画素値を抽出する、画素抽出手段とは異なる他の画素抽出手段をさらに設けるようにさせることができ、演算手段には、他の画素抽出手段により抽出された複数の画素の画素値に基づいて、第２の画像データの注目画素の画素値を演算させるようにすることができる。
【００１０】
前記制御手段には、画素抽出手段により抽出された複数の画素の画素値に基づいて演算された第１の画素値と、他の画素抽出手段により抽出された複数の画素の画素値に基づいて演算された第２の画素値とを、第２の画像データのアクティビティに応じて重み付け加算させて出力させるようにすることができる。
【００１１】
本発明の画像処理方法は、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、画素抽出ステップの処理で抽出された複数の画素の画素値に基づいて、第２の画像データの注目画素の画素値を演算する演算ステップと、第２の画像データの注目画素に対応する第１の画像データのアクティビティに応じて、演算ステップの処理で演算される注目画素の画素値を制御する制御ステップとを含むことを特徴とする。
【００１２】
本発明の第１の記録媒体のプログラムは、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、画素抽出ステップの処理で抽出された複数の画素の画素値に基づいて、第２の画像データの注目画素の画素値を演算する演算ステップと、第２の画像データの注目画素に対応する第１の画像データのアクティビティに応じて、演算ステップの処理で演算される注目画素の画素値を制御する制御ステップとを含むことを特徴とする。
【００１３】
本発明の第１のプログラムは、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、画素抽出ステップの処理で抽出された複数の画素の画素値に基づいて、第２の画像データの注目画素の画素値を演算する演算ステップと、第２の画像データの注目画素に対応する第１の画像データのアクティビティに応じて、演算ステップの処理で演算される注目画素の画素値を制御する制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１４】
本発明の学習装置は、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出手段と、画素抽出手段により抽出された複数の画素の画素値から第１の画像データの注目画素の画素値を予測する予測係数を学習する学習手段とを備えることを特徴とする。
【００１５】
前記注目画素に対応する第１の画像データ内の複数の画素の画素値のアクティビティを検出するアクティビティ検出手段と、アクティビティ検出手段により検出されたアクティビティに応じて、注目画素をクラス分類するクラス分類手段とをさらに設けるようにさせることができ、学習手段には、クラス分類手段により分類されるクラス毎に、画素抽出手段により抽出された複数の画素の画素値から第１の画像データの注目画素の画素値を予測する予測係数を学習させるようにすることができる。
【００１６】
本発明の学習方法は、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、画素抽出ステップの処理で抽出された複数の画素の画素値から第１の画像データの注目画素の画素値を予測する予測係数を学習する学習ステップとを含むことを特徴とする。
【００１７】
本発明の第２の記録媒体のプログラムは、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、画素抽出ステップの処理で抽出された複数の画素の画素値から第１の画像データの注目画素の画素値を予測する予測係数を学習する学習ステップとを含むことを特徴とする。
【００１８】
本発明の第２のプログラムは、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出する画素抽出ステップと、画素抽出ステップの処理で抽出された複数の画素の画素値から第１の画像データの注目画素の画素値を予測する予測係数を学習する学習ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１９】
本発明の画像処理装置および方法、並びに第１のプログラムにおいては、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値が抽出され、抽出された複数の画素の画素値に基づいて、第２の画像データの注目画素の画素値が演算され、第２の画像データの注目画素に対応する第１の画像データのアクティビティに応じて、演算される注目画素の画素値が制御される。
【００２０】
本発明の学習装置および方法、並びに第２のプログラムにおいては、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値が抽出され、抽出された複数の画素の画素値から第１の画像データの注目画素の画素値を予測する予測係数が学習される。
【００２１】
本発明の画像処理装置、および、学習装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【００２２】
【発明の実施の形態】
図１は、本発明の画像処理部１の一実施の形態の構成を示すブロック図である。
【００２３】
動きベクトル検出部１１は、入力画像より動きベクトルを検出して、その動きベクトルの情報に基づいて、動き量を画素値演算部１２−１乃至１２−Ｎに出力する。
【００２４】
ここで、入力画像と共に、動きボケおよび動き量について説明する。
【００２５】
図２は、センサ２による撮像を説明する図である。センサ２は、例えば、固体検出素子であるＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）エリアセンサを備えたＣＣＤビデオカメラなどで構成される。現実世界における、前景に対応するオブジェクトは、現実世界における、背景に対応するオブジェクトと、センサとの間を、例えば、図中の左側から右側に水平に移動する。
【００２６】
センサ２は、前景に対応するオブジェクトを、背景に対応するオブジェクトと共に撮像する。センサ２は、撮像した画像を１フレーム単位で出力する。例えば、センサ２は、１秒間に３０フレームから成る画像を出力する。センサ２の露光時間は、１／３０秒とすることができる。露光時間は、センサ２が入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００２７】
図３は、画素の配置を説明する図である。図３中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ２上に配置されている。センサ２が画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【００２８】
図４に示すように、例えば、ＣＣＤである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。
【００２９】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサ２から出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。
【００３０】
図５は、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図５Ａは、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図５Ａに示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。
【００３１】
図５Ｂは、図５Ａに示す画像の１つのラインに対応する画素値を時間方向に展開したモデル図である。図５Ｂの横方向は、図５Ａの空間方向Ｘに対応している。
【００３２】
背景領域の画素は、背景の成分、すなわち、背景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。前景領域の画素は、前景の成分、すなわち、前景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。
【００３３】
混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックグラウンド領域およびアンカバードバックグラウンド領域に分類される。
【００３４】
カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。
【００３５】
これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。
【００３６】
図６は、以上のような、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。図５に示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。
【００３７】
図７は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【００３８】
図７に示すＦ０１乃至Ｆ０４の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図７に示すＢ０１乃至Ｂ０４の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。
【００３９】
図７における縦方向は、時間に対応し、図中の上から下に向かって時間が経過する。図７中の矩形の上辺の位置は、センサ２が入力された光の電荷への変換を開始する時刻に対応し、図７中の矩形の下辺の位置は、センサ２が入力された光の電荷への変換を終了する時刻に対応する。すなわち、図７中の矩形の上辺から下辺までの距離は、シャッタ時間に対応する。
【００４０】
以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。
【００４１】
図７における横方向は、図５で説明した空間方向Ｘに対応する。より具体的には、図７に示す例において、図７中の”Ｆ０１”と記載された矩形の左辺から”Ｂ０４”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。
【００４２】
前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ２に入力される光は変化しない。
【００４３】
ここで、シャッタ時間に対応する期間を２つ以上の同じ長さの期間に分割する。仮想分割数は、前景に対応するオブジェクトのシャッタ時間内での動き量ｖなどに対応して設定される。例えば、図８に示すように、４である動き量ｖに対応して、仮想分割数は、４とされ、シャッタ時間に対応する期間は４つに分割される。
【００４４】
ここで、動き量ｖは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量ｖは、４とされる。
【００４５】
図８中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。
【００４６】
以下、動き量ｖに対応して分割されたシャッタ時間をシャッタ時間／ｖとも称する。
【００４７】
前景に対応するオブジェクトが静止しているとき、センサ２に入力される光は変化しないので、前景の成分Ｆ０１／ｖは、画素値Ｆ０１を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分Ｆ０２／ｖは、画素値Ｆ０２を仮想分割数で除した値に等しく、前景の成分Ｆ０３／ｖは、画素値Ｆ０３を仮想分割数で除した値に等しく、前景の成分Ｆ０４／ｖは、画素値Ｆ０４を仮想分割数で除した値に等しい。
【００４８】
背景に対応するオブジェクトが静止しているとき、センサ２に入力される光は変化しないので、背景の成分Ｂ０１／ｖは、画素値Ｂ０１を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分Ｂ０２／ｖは、画素値Ｂ０２を仮想分割数で除した値に等しく、Ｂ０３／ｖは、画素値Ｂ０３を仮想分割数で除した値に等しく、Ｂ０４／ｖは、画素値Ｂ０４を仮想分割数で除した値に等しい。
【００４９】
すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ２に入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間／ｖに対応する前景の成分Ｆ０１／ｖと、シャッタが開いて２番目の、シャッタ時間／ｖに対応する前景の成分Ｆ０１／ｖと、シャッタが開いて３番目の、シャッタ時間／ｖに対応する前景の成分Ｆ０１／ｖと、シャッタが開いて４番目の、シャッタ時間／ｖに対応する前景の成分Ｆ０１／ｖとは、同じ値となる。Ｆ０２／ｖ乃至Ｆ０４／ｖも、Ｆ０１／ｖと同様の関係を有する。
【００５０】
背景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ２に入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間／ｖに対応する背景の成分Ｂ０１／ｖと、シャッタが開いて２番目の、シャッタ時間／ｖに対応する背景の成分Ｂ０１／ｖと、シャッタが開いて３番目の、シャッタ時間／ｖに対応する背景の成分Ｂ０１／ｖと、シャッタが開いて４番目の、シャッタ時間／ｖに対応する背景の成分Ｂ０１／ｖとは、同じ値となる。Ｂ０２／ｖ乃至Ｂ０４／ｖも、同様の関係を有する。
【００５１】
次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。
【００５２】
図９は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図９において、前景の動き量ｖは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図９において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。
【００５３】
図９において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図９において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図９において、最も右側の画素は、背景領域に属する。
【００５４】
前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。
【００５５】
例えば、図９中に太線枠を付した画素値Ｍは、式（１）で表される。
【００５６】
Ｍ＝Ｂ０２／ｖ＋Ｂ０２／ｖ＋Ｆ０７／ｖ＋Ｆ０６／ｖ・・・（１）
【００５７】
例えば、左から５番目の画素は、１つのシャッタ時間／ｖに対応する背景の成分を含み、３つのシャッタ時間／ｖに対応する前景の成分を含むので、左から５番目の画素の混合比αは、１／４である。左から６番目の画素は、２つのシャッタ時間／ｖに対応する背景の成分を含み、２つのシャッタ時間／ｖに対応する前景の成分を含むので、左から６番目の画素の混合比αは、１／２である。左から７番目の画素は、３つのシャッタ時間／ｖに対応する背景の成分を含み、１つのシャッタ時間／ｖに対応する前景の成分を含むので、左から７番目の画素の混合比αは、３／４である。
【００５８】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図９中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分Ｆ０７／ｖは、図９中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０７／ｖは、図９中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図９中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【００５９】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図９中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分Ｆ０６／ｖは、図９中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０６／ｖは、図９中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図９中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【００６０】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図９中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分Ｆ０５／ｖは、図９中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０５／ｖは、図９中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図９中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【００６１】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図９中の最も左側の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分Ｆ０４／ｖは、図９中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０４／ｖは、図９中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図９中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【００６２】
このような動いているオブジェクトに対応する前景の領域の状態が、動きボケである。また、動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。
【００６３】
図１０は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図１０において、前景の動き量ｖは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図１０において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。
【００６４】
図１０において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図１０において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図１０において、最も右側の画素は、前景領域に属する。
【００６５】
背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。
【００６６】
例えば、図１０中に太線枠を付した画素値Ｍ’は、式（２）で表される。
【００６７】
Ｍ’＝Ｆ０２／ｖ＋Ｆ０１／ｖ＋Ｂ２６／ｖ＋Ｂ２６／ｖ・・・（２）
【００６８】
例えば、左から５番目の画素は、３つのシャッタ時間／ｖに対応する背景の成分を含み、１つのシャッタ時間／ｖに対応する前景の成分を含むので、左から５番目の画素の混合比αは、３／４である。左から６番目の画素は、２つのシャッタ時間／ｖに対応する背景の成分を含み、２つのシャッタ時間／ｖに対応する前景の成分を含むので、左から６番目の画素の混合比αは、１／２である。左から７番目の画素は、１つのシャッタ時間／ｖに対応する背景の成分を含み、３つのシャッタ時間／ｖに対応する前景の成分を含むので、左から７番目の画素の混合比αは、１／４である。
【００６９】
式（１）および式（２）をより一般化すると、画素値Ｍは、式（３）で表される。
【００７０】
【数１】
2004259218.tif 000003
2004259218.tif 000004
ここで、αは、混合比である。Ｂは、背景の画素値であり、Ｆｉ／ｖは、前景の成分である。
【００７１】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量ｖが４であるので、例えば、図１０中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分Ｆ０１／ｖは、図１０中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、Ｆ０１／ｖは、図１０中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図１０中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
【００７２】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図１０中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分Ｆ０２／ｖは、図１０中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分Ｆ０２／ｖは、図１０中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分に等しい。
【００７３】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量ｖが４であるので、例えば、図１０中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分Ｆ０３／ｖは、図１０中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。
【００７４】
図８乃至図１０の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量ｖに対応する。動き量ｖは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量ｖは、４とされる。動き量ｖに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量ｖは、６とされ、仮想分割数は、６とされる。
【００７５】
図１１および図１２に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャッタ時間に対応する前景の成分および背景の成分との関係を示す。
【００７６】
図１１は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図１１に示す例において、前景に対応するオブジェクトは、画面に対して水平に移動している。
【００７７】
フレーム＃ｎ＋１は、フレーム＃ｎの次のフレームであり、フレーム＃ｎ＋２は、フレーム＃ｎ＋１の次のフレームである。
【００７８】
フレーム＃ｎ乃至フレーム＃ｎ＋２のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量ｖを４として、抽出された画素の画素値を時間方向に展開したモデルを図１２に示す。
【００７９】
前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャッタ時間／ｖの期間に対応する、４つの異なる前景の成分から構成される。例えば、図１２に示す前景領域の画素のうち最も左側に位置する画素は、Ｆ０１／ｖ，Ｆ０２／ｖ，Ｆ０３／ｖ、およびＦ０４／ｖから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。
【００８０】
背景に対応するオブジェクトが静止しているので、シャッタ時間に対応する期間において、センサ２に入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。
【００８１】
カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。
【００８２】
次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【００８３】
図１３は、静止している背景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム＃ｎは、フレーム＃ｎ−１の次のフレームであり、フレーム＃ｎ＋１は、フレーム＃ｎの次のフレームである。他のフレームも同様に称する。
【００８４】
図１３に示すＢ０１乃至Ｂ１２の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム＃ｎ−１乃至フレームｎ＋１において、対応する画素の画素値は、変化しない。例えば、フレーム＃ｎ−１におけるＢ０５の画素値を有する画素の位置に対応する、フレーム＃ｎにおける画素、およびフレーム＃ｎ＋１における画素は、それぞれ、Ｂ０５の画素値を有する。
【００８５】
図１４は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図１４に示すモデルは、カバードバックグラウンド領域を含む。
【００８６】
図１４において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、前景の動き量ｖは、４であり、仮想分割数は、４である。
【００８７】
例えば、図１４中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなり、図１４中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１２／ｖとなる。図１４中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図１４中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなる。
【００８８】
図１４中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなり、図１４中の左から２番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分も、Ｆ１１／ｖとなる。図１４中の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなる。
【００８９】
図１４中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分は、Ｆ１０／ｖとなり、図１４中の左から２番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分も、Ｆ１０／ｖとなる。図１４中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ０９／ｖとなる。
【００９０】
背景に対応するオブジェクトが静止しているので、図１４中のフレーム＃ｎ−１の左から２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの背景の成分は、Ｂ０１／ｖとなる。図１４中のフレーム＃ｎ−１の左から３番目の画素の、シャッタが開いて最初および２番目のシャッタ時間／ｖの背景の成分は、Ｂ０２／ｖとなる。図１４中のフレーム＃ｎ−１の左から４番目の画素の、シャッタが開いて最初乃至３番目のシャッタ時間／ｖの背景の成分は、Ｂ０３／ｖとなる。
【００９１】
図１４中のフレーム＃ｎ−１において、最も左側の画素は、前景領域に属し、左側から２番目乃至４番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【００９２】
図１４中のフレーム＃ｎ−１の左から５番目の画素乃至１２番目の画素は、背景領域に属し、その画素値は、それぞれ、Ｂ０４乃至Ｂ１１となる。
【００９３】
図１４中のフレーム＃ｎの左から１番目の画素乃至５番目の画素は、前景領域に属する。フレーム＃ｎの前景領域における、シャッタ時間／ｖの前景の成分は、Ｆ０５／ｖ乃至Ｆ１２／ｖのいずれかである。
【００９４】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１４中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなり、図１４中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１２／ｖとなる。図１４中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図１４中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなる。
【００９５】
図１４中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなり、図１４中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分も、Ｆ１１／ｖとなる。図１４中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなる。
【００９６】
図１４中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分は、Ｆ１０／ｖとなり、図１４中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分も、Ｆ１０／ｖとなる。図１４中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ０９／ｖとなる。
【００９７】
背景に対応するオブジェクトが静止しているので、図１４中のフレーム＃ｎの左から６番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの背景の成分は、Ｂ０５／ｖとなる。図１４中のフレーム＃ｎの左から７番目の画素の、シャッタが開いて最初および２番目のシャッタ時間／ｖの背景の成分は、Ｂ０６／ｖとなる。図１４中のフレーム＃ｎの左から８番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間／ｖの背景の成分は、Ｂ０７／ｖとなる。
【００９８】
図１４中のフレーム＃ｎにおいて、左側から６番目乃至８番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【００９９】
図１４中のフレーム＃ｎの左から９番目の画素乃至１２番目の画素は、背景領域に属し、画素値は、それぞれ、Ｂ０８乃至Ｂ１１となる。
【０１００】
図１４中のフレーム＃ｎ＋１の左から１番目の画素乃至９番目の画素は、前景領域に属する。フレーム＃ｎ＋１の前景領域における、シャッタ時間／ｖの前景の成分は、Ｆ０１／ｖ乃至Ｆ１２／ｖのいずれかである。
【０１０１】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１４中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなり、図１４中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１２／ｖとなる。図１４中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図１４中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１２／ｖとなる。
【０１０２】
図１４中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの期間の前景の成分は、Ｆ１１／ｖとなり、図１４中の左から１０番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分も、Ｆ１１／ｖとなる。図１４中の左から１１番目の画素の、シャッタが開いて４番目の、シャッタ時間／ｖの前景の成分は、Ｆ１１／ｖとなる。
【０１０３】
図１４中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて３番目の、シャッタ時間／ｖの前景の成分は、Ｆ１０／ｖとなり、図１４中の左から１０番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分も、Ｆ１０／ｖとなる。図１４中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ０９／ｖとなる。
【０１０４】
背景に対応するオブジェクトが静止しているので、図１４中のフレーム＃ｎ＋１の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの背景の成分は、Ｂ０９／ｖとなる。図１４中のフレーム＃ｎ＋１の左から１１番目の画素の、シャッタが開いて最初および２番目のシャッタ時間／ｖの背景の成分は、Ｂ１０／ｖとなる。図１４中のフレーム＃ｎ＋１の左から１２番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間／ｖの背景の成分は、Ｂ１１／ｖとなる。
【０１０５】
図１４中のフレーム＃ｎ＋１において、左側から１０番目乃至１２番目の画素は、カバードバックグラウンド領域である混合領域に対応する。
【０１０６】
図１５は、図１４に示す画素値から前景の成分を抽出した画像のモデル図である。
【０１０７】
図１６は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図１６において、アンカバードバックグラウンド領域が含まれている。
【０１０８】
図１６において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて４画素分右側に表示されるように移動しているので、動き量ｖは、４である。
【０１０９】
例えば、図１６中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなり、図１６中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１３／ｖとなる。図１６中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図１６中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなる。
【０１１０】
図１６中のフレーム＃ｎ−１の左から２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１４／ｖとなり、図１６中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１４／ｖとなる。図１６中の左から３番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分は、Ｆ１５／ｖとなる。
【０１１１】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム＃ｎ−１の最も左側の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間／ｖの背景の成分は、Ｂ２５／ｖとなる。図１６中のフレーム＃ｎ−１の左から２番目の画素の、シャッタが開いて３番目および４番目の、シャッタ時間／ｖの背景の成分は、Ｂ２６／ｖとなる。図１６中のフレーム＃ｎ−１の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの背景の成分は、Ｂ２７／ｖとなる。
【０１１２】
図１６中のフレーム＃ｎ−１において、最も左側の画素乃至３番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１１３】
図１６中のフレーム＃ｎ−１の左から４番目の画素乃至１２番目の画素は、前景領域に属する。フレームの前景の成分は、Ｆ１３／ｖ乃至Ｆ２４／ｖのいずれかである。
【０１１４】
図１６中のフレーム＃ｎの最も左側の画素乃至左から４番目の画素は、背景領域に属し、画素値は、それぞれ、Ｂ２５乃至Ｂ２８となる。
【０１１５】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１６中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなり、図１６中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１３／ｖとなる。図１６中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図１６中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなる。
【０１１６】
図１６中のフレーム＃ｎの左から６番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１４／ｖとなり、図１６中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１４／ｖとなる。図１６中の左から８番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１５／ｖとなる。
【０１１７】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム＃ｎの左から５番目の画素の、シャッタが開いて２番目乃至４番目のシャッタ時間／ｖの背景の成分は、Ｂ２９／ｖとなる。図１６中のフレーム＃ｎの左から６番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間／ｖの背景の成分は、Ｂ３０／ｖとなる。図１６中のフレーム＃ｎの左から７番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの背景の成分は、Ｂ３１／ｖとなる。
【０１１８】
図１６中のフレーム＃ｎにおいて、左から５番目の画素乃至７番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１１９】
図１６中のフレーム＃ｎの左から８番目の画素乃至１２番目の画素は、前景領域に属する。フレーム＃ｎの前景領域における、シャッタ時間／ｖの期間に対応する値は、Ｆ１３／ｖ乃至Ｆ２０／ｖのいずれかである。
【０１２０】
図１６中のフレーム＃ｎ＋１の最も左側の画素乃至左から８番目の画素は、背景領域に属し、画素値は、それぞれ、Ｂ２５乃至Ｂ３２となる。
【０１２１】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１６中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなり、図１６中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１３／ｖとなる。図１６中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖの前景の成分、および図１６中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの前景の成分は、Ｆ１３／ｖとなる。
【０１２２】
図１６中のフレーム＃ｎ＋１の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１４／ｖとなり、図１６中の左から１１番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖの前景の成分も、Ｆ１４／ｖとなる。図１６中の左から１２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分は、Ｆ１５／ｖとなる。
【０１２３】
背景に対応するオブジェクトが静止しているので、図１６中のフレーム＃ｎ＋１の左から９番目の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間／ｖの背景の成分は、Ｂ３３／ｖとなる。図１６中のフレーム＃ｎ＋１の左から１０番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間／ｖの背景の成分は、Ｂ３４／ｖとなる。図１６中のフレーム＃ｎ＋１の左から１１番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖの背景の成分は、Ｂ３５／ｖとなる。
【０１２４】
図１６中のフレーム＃ｎ＋１において、左から９番目の画素乃至１１番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１２５】
図１６中のフレーム＃ｎ＋１の左から１２番目の画素は、前景領域に属する。フレーム＃ｎ＋１の前景領域における、シャッタ時間／ｖの前景の成分は、Ｆ１３／ｖ乃至Ｆ１６／ｖのいずれかである。
【０１２６】
図１７は、図１６に示す画素値から前景の成分を抽出した画像のモデル図である。
【０１２７】
以上のように、動き量ｖは、設定される。従って、図１の画像処理部１の動きベクトル検出部１１は、動きベクトルを検出すると共に、その動きベクトルから動き量ｖを求めて、動きベクトルと共に、画素値演算部１２−１乃至１２−Ｎに出力する。
【０１２８】
画素値演算部１２−１乃至１２−Ｎは、それぞれが、動きボケを除去した画素値を求めるために必要とされる、異なるモデルからなる複数の画素を入力画像から抽出し、各モデル毎に求められる画素値を求めて、画素生成部１４に出力する。尚、以降において、画素値演算部１２−１乃至１２−Ｎにおいて、特に区別する必要がない場合、単に、画素値演算部１２とも称する。また、画素値を求めるモデルについて後述する。
【０１２９】
モデル信頼度演算部１３は、各画素値演算部１２で画素の演算に使用される画素のうち、モデル毎にアクティビティの影響を受ける画素を抽出して、その画素のアクティビティを求め、さらに、それらのアクティビティを正規化した値を信頼度としてモデルの信頼度の情報として画素生成部１４に出力する。尚、アクティビティと、信頼度については詳細を後述する。
【０１３０】
画素生成部１４は、各画素値演算部１２より入力される画素値の情報と、モデル信頼度演算部１３より入力される信頼度に基づいて、各モデル毎に求められた画素値と信頼度の積和を求め、これを画素値とした画素を生成し、処理画像として出力する。
【０１３１】
次に、画素値演算部１２−１乃至１２−Ｎが動きボケを除去した画素値を求めるために、個々に設定されるモデルについて説明する。
【０１３２】
図１８は、検出素子の１画素幅の１行を示しており、各マス目は、画素を示し、Ｆ０乃至Ｆ１４は、その各画素に入射される光のレベルを示す。従って、図１８の場合、一番左の画素に入射される光のレベルがＦ０であり、左から２番目の画素に入射される光のレベルがＦ１であり、左から３番目の画素に入射される光のレベルがＦ２であり、以下同様にして、最も右側の画素に入射される光のレベルがＦ１４となる。
【０１３３】
また、図１９は、図１８で示された各画素に入射された光のレベルに基づいて、各検出素子から出力される画素値を示している。従って、一番左の画素は、画素値Ｍ０であり、左から２番目の画素は、画素値Ｍ１であり、それ以下同様であり、最も右側の画素は、画素値Ｍ１４である。
【０１３４】
さらに、図２０は、各画素に入射される光のレベルのシャッタ時間／ｖの成分を示しているものである。今の場合、動き量ｖは、５であり、図１８で示されている各レベルが、シャッタ時間に対して５分割された成分が示されている（今の場合、物体は、右から左に動いている）。従って、例えば、一番左側の画素は、シャッタが開いて最初のシャッタ時間／ｖの成分はｆ４となり、シャッタが開いて２番目のシャッタ時間／ｖの成分は、ｆ３となり、シャッタが開いて３番目のシャッタ時間／ｖの成分は、ｆ２となり、シャッタが開いて４番目のシャッタ時間／ｖの成分は、ｆ１となり、シャッタが開いて５番目のシャッタ時間／ｖの成分は、ｆ０となる。
【０１３５】
そして、各画素毎に、これらのレベルで入射された光がシャッタ時間で積分された結果が、各画素の画素値となる。すなわち、例えば、一番左側の画素の画素値は、以下の式（４）で示されることになる。
【０１３６】
Ｍ０＝ｆ０＋ｆ１＋ｆ２＋ｆ３＋ｆ４＋ｆ５・・・（４）
【０１３７】
従って、画素Ｍ１乃至Ｍ１４についても同様の関係が成立する。
【０１３８】
動きボケは、被写体となる物体が、シャッタ時間内に移動することにより、１つの画素に対して、異なるレベルの光（シャッタ時間／ｖの成分）がシャッタ時間内に入射されることにより、異なるレベルの光が混合されて生じるものであることは上述した通りである。
【０１３９】
そもそも動きボケは、シャッタ時間が十分に短くないことにより生じる。従って、シャッタ時間を短くすれば、動きボケの少ない画像を取得することができることになるが、動きボケがない分、かえって不自然な画像となってしまうこともある。また、シャッタ時間を短くしすぎてしまうと、ノイズ感が増してしまうことがある。
【０１４０】
これらの条件により、シャッタ時間は通常フレームレートにより決定される事が多く、結果として、動きボケは、被写体の動きのレベルに応じて発生することになる。
【０１４１】
そこで、上述したように、動き量ｖで分割された各シャッタ時間／ｖを求めることができれば、動きボケを除去した画像を生成することが可能になる。すなわち、例えば、図２０の場合、各画素について、シャッタが開いて３番目のシャッタ時間／ｖの成分のみを求めて、各画素について動き量ｖで乗じることで動きボケが除去された画像を生成することが可能となる。もちろん、その他のシャッタが開いて何番目のシャッタ時間／ｖの成分を用いてもよい。
【０１４２】
画素値演算部１２は、各シャッタ時間／ｖの成分を画素値として求める。この際、１個のシャッタ時間／ｖの成分を求める手法は、１つだけではなく複数に存在する為、それぞれの手法毎にモデルが設定されており、各画素値演算部１２は、各々が定められた、個々に異なるモデルを用いて各シャッタ時間／ｖの成分を求めて、画素生成部１４に出力している。従って、画素値演算部１２−１乃至Ｎ−１は、同じタイミングで、同じ画素に対応するシャッタ時間／ｖの成分を異なるモデルを用いて求めている。
【０１４３】
例えば、図２０の中央に丸印が付された、画素値Ｍ７となっている、左から８番目の画素のシャッタが開いて３番目のシャッタ時間／ｖの成分であるｆ９からなる、シャッタ成分を求め、動き量との積をとることで画素に入力される動きボケのない光のレベルＦ９を求める場合について説明する。
【０１４４】
尚、以下においては、シャッタ時間／ｖは、単にシャッタ成分とも称する。また、以下においては、図２０において画素値Ｍ７で示される、処理の対象となる画素を着目画素と称し、光のレベルＦ９に対応した、動きボケが除去された画像の画素を注目画素と称する。すなわち、この例においては、処理の基準となる着目画素は、画素値Ｍ７と示された図２０中の左から８番目の画素であるが、実際に動きボケが除去された画像において求められる注目画素は、例えば、図１９における左から１０番目の画素となる。すなわち、処理対処となる着目画素と、その処理により得られる注目画素は、センサ２上の異なる位置の画素となる。
【０１４５】
例えば、図２１（シャッタ成分は図２０と同じ）においては、以下の式（５），式（６）が成立している。
【０１４６】
Ｆ９−Ｆ４＝（Ｍ５−Ｍ４）×ｖ（＝（ｆ９−ｆ４）×ｖ）・・・（５）
Ｆ１４−Ｆ９＝（Ｍ１０−Ｍ９）×ｖ（＝（ｆ１４−ｆ９）×ｖ）・・・（６）
【０１４７】
すなわち、左から５，６番目の画素の画素値の差分は、図２１で示されるように、点線で囲まれた左から５番目の画素のシャッタが開いて最初のシャッタ成分から４番目までのシャッタ成分がｆ８乃至ｆ５であり、同様に、点線で囲まれた左から６番目の画素のシャッタが開いてから２番目乃至５番目のシャッタ成分がｆ８乃至ｆ５であるため、その差分は、実質的に、左から６番目の画素のシャッタが開いてから最初のシャッタ成分と、左から５番目の画素のシャッタが開いてから５番目のシャッタ成分の差分（ｆ９−ｆ４）となる。この差分を動き量ｖで乗じることにより左から５，６番目の画素間のレベルの差分（Ｆ９−Ｆ４）が求められることになる。
【０１４８】
同様にして、左から１０，１１番目の画素の画素値の差分は、図２１で示されるように、点線で囲まれた左から１０番目の画素のシャッタが開いて最初のシャッタ成分から４番目までのシャッタ成分がｆ１３乃至ｆ１０であり、同様に、点線で囲まれた左から１１番目の画素のシャッタが開いてから２番目乃至５番目のシャッタ成分がｆ１３乃至ｆ１０であるため、その差分は、実質的に、左から１１番目の画素のシャッタが開いてから最初のシャッタ成分と、左から１０番目の画素のシャッタが開いてから５番目のシャッタ成分の差分（ｆ１４−ｆ９）となる。この差分を動き量ｖで乗じることにより左から５，６番目の画素間の差分（Ｆ１４−Ｆ９）が求められることになる。
【０１４９】
従って、式（５），式（６）からシャッタ成分であるｆ９を求めることができれば、ｆ９を含む画素値を求めることができ、画像に含まれる全ての画素を求めることで、動きボケを除去した画像を生成することが可能となる。
【０１５０】
しかしながら、式（５），式（６）は、２つの式に対して、未知数が３個存在する（Ｆ４，Ｆ９，Ｆ１４）ことになるため、求めることができない。
【０１５１】
そこで、レベルＦ９を求めるために、レベルＦ４、または、Ｆ１４を空間相関を利用して近似的に求める。
【０１５２】
より具体的には、例えば、左から３番目の画素の、周辺画素との空間相関が高ければ、以下の式（７）で示すような近似が成立する。
【０１５３】
ｆ４＝Ｍ２／ｖ・・・（７）
ここでいう空間相関とは、各画素のアクティビティの大小で表される関係である。すなわち、アクティビティとは、例えば、注目する画素に隣接する画素間の差分値の和である。例えば、図２２で示される３画素×３画素の合計９画素の画素間の差分がアクティビティであり、以下の式（８）で示される。尚、図２２において、各マス目は、画素に対応し、マス目に記された文字は、各画素の画素値を示す。また、着目画素は、画素値Ｍ２で示される画素である。
【０１５４】
2004259218.tif 000005
【０１５５】
式（８）で示される、画素値がＭ２で表される画素のアクティビティ（Ａｃｔｉｖｉｔｙ）は、その値が小さいほど、画素値がＭ２で表された画素の空間相関が高く、画素値がＭ２で表された画素の周辺の画素は、相互により近い画素値を持っていることが示されることになり、逆に、このアクティビティが大きいとき、画素値がＭ２で表された画素は、その周辺の画素と相関が低く、周辺の画素とは異なる画素値である可能性が高い。
【０１５６】
すなわち、空間相関が高いということは、画素内における画素値の変化は小さく、変化がないものと仮定することができるので、式（９）で示すような関係が成立するはずである。
【０１５７】
ｆ６＝ｆ５＝ｆ４＝ｆ３＝ｆ２・・・（９）
【０１５８】
結果として、以下の式（１０）が導出されることになるため、式（７）は、成立することになる。
Ｍ２＝ｆ６＋ｆ５＋ｆ４＋ｆ３＋ｆ２＝ｆ４×ｖ（＝Ｆ４）・・・（１０）
【０１５９】
以上の結果から、式（５）を変形し、式（７）の関係を代入すると、以下の式（１１）で示されるように、動きボケのない画像の画素に入射される光のレベルとして、Ｆ９が求められることになる。
【０１６０】
Ｆ９＝（Ｍ５−Ｍ４）×ｖ＋Ｍ２・・・（１１）
【０１６１】
また、例えば、図２１の左から１１番目の画素の、周辺画素との空間相関が高ければ、以下の式（１２）で示すような近似が成立する。
【０１６２】
ｆ１４＝Ｍ１２／ｖ・・・（１２）
【０１６３】
すなわち、空間相関が高いということは、画素内における画素値の変化は小さく、変化がないものと仮定することができるので、式（１３）で示すような関係が成立するはずである。
【０１６４】
ｆ１６＝ｆ１５＝ｆ１４＝ｆ１３＝ｆ１２・・・（１３）
【０１６５】
結果として、以下の式（１４）が導出されることになるため、式（１２）は、成立することになる。
Ｍ１２＝ｆ１６＋ｆ１５＋ｆ１４＋ｆ１３＋ｆ１２＝ｆ１４×ｖ（＝Ｆ１２）・・・（１４）
【０１６６】
以上の結果から、式（６）を変形し、式（１４）の関係を代入すると、以下の式（１５）で示されるように、動きボケのない画像の画素に入射される光のレベルとしてＦ９が求められることになる。
【０１６７】
Ｆ９＝Ｍ１２＋（Ｍ９−Ｍ１０）×ｖ・・・（１５）
【０１６８】
すなわち、画素値演算部１２は、例えば、式（１１），式（１５）の２つのモデル（着目画素）により、動きボケのない画像の画素に入射されるレベルＦ９が求め、これをもって、動きボケが除去された画素値として画像生成部１４に出力する。
【０１６９】
さらに、動きボケが除去された画素値を求めるモデルとしては、次のようなものも考えられる。
【０１７０】
例えば、図２３で示されるように、上述した図２１を参照して説明したレベルＦ９を求めるためにレベルＦ４を近似的に求めたが、このレベルＦ４を求めるために、上述したレベルＦ９を求めるために使用した手法と同様の手法で求め、求められたレベルＦ４を用いてレベルＦ９を求めるというものである。
【０１７１】
すなわち、図２３においては、上述した関係と同様に、以下の式（１６），式（１７）で示されるような関係が成立している。
【０１７２】
Ｆ４−Ｆ（−１）＝（Ｍ０−Ｍ（−１））×ｖ（＝（ｆ４−ｆ（−１））×ｖ）・・・（１６）
Ｆ１９−Ｆ１４＝（Ｍ１５−Ｍ１４）×ｖ（＝（ｆ１９−ｆ１４）×ｖ）・・・（１７）
【０１７３】
すなわち、左から４，５番目の画素の画素値の差分は、図２３で示されるように、点線で囲まれた左から４番目の画素のシャッタが開いて最初のシャッタ成分乃至４番目までのシャッタ成分がｆ３乃至ｆ０であり、同様に、点線で囲まれた左から５番目の画素のシャッタが開いてから２番目乃至５番目のシャッタ成分がｆ３乃至ｆ０であるため、その差分は、実質的に、左から５番目の画素のシャッタが開いてから最初のシャッタ成分と、左から４番目の画素のシャッタが開いてから５番目のシャッタ成分の差分（ｆ４−ｆ（−１））となる。この差分を動き量ｖで乗じることにより左から４，５番目の画素間のレベルの差分（Ｆ４−Ｆ（−１））が求められることになる。
【０１７４】
同様にして、右から３，４番目の画素の画素値の差分は、図２３で示されるように、点線で囲まれた右から４番目の画素のシャッタが開いて最初のシャッタ成分乃至４番目までのシャッタ成分がｆ１８乃至ｆ１５であり、同様に、点線で囲まれた右から３番目の画素のシャッタが開いてから２番目乃至５番目のシャッタ成分がｆ１８乃至ｆ１５であるため、その差分は、実質的に、右から３番目の画素のシャッタが開いてから最初のシャッタ成分と、右から４番目の画素のシャッタが開いてから５番目のシャッタ成分の差分（ｆ１９−ｆ１４）となる。この差分を動き量ｖで乗じることにより右から３，４番目の画素間の差分（Ｆ１９−Ｆ１４）が求められることになる。
【０１７５】
従って、式（１６），式（１７）については、上述した式（５），式（６）についてしたのと同様の手法で式を展開する。すなわち、レベルＦ４を求めるために、左から図２３の２番目の画素を、レベルＦ１４を求めるために、一番右の画素を周辺画素を、それぞれ空間相関の近い画素として仮定することで、以下の式（１８），式（１９）を導出する。
【０１７６】
Ｍ（−３）＝ｆ１＋ｆ０＋ｆ（−１）＋ｆ（−２）＋ｆ（−３）＝ｆ（−１）×ｖ（＝Ｆ（−１））・・・（１８）
Ｍ１７＝ｆ２１＋ｆ２０＋ｆ１９＋ｆ１８＋ｆ１７＝ｆ１９×ｖ（＝Ｆ１９）・・・（１９）
【０１７７】
以上の結果から、式（１６），式（１７）を変形し、式（１８），式（１９）の関係をそれぞれ代入すると、以下の式（２０），式（２１）で示されるように、動きボケのない画像の画素に入射される光のレベルとして、Ｆ４、および、Ｆ１４が求められることになる。
【０１７８】
Ｆ４＝（Ｍ０−Ｍ（−１））×ｖ＋Ｍ（−３）・・・（２０）
Ｆ１４＝（Ｍ１５−Ｍ１４）×ｖ＋Ｍ１７・・・（２１）
【０１７９】
以上の結果から、式（５），式（６）を変形し、式（２０），式（２１）の関係を代入すると、以下の式（２２），式（２３）で示されるように、動きボケのない画像の画素に入射される光のレベルとしてＦ９が求められることになる。
【０１８０】
Ｆ９＝Ｍ（−３）＋（Ｍ５−Ｍ４）×ｖ＋（Ｍ０−Ｍ（−１））×ｖ・・・（２２）
Ｆ９＝Ｍ１７＋（Ｍ１４−Ｍ１５）×ｖ＋（Ｍ９−Ｍ１０）×ｖ・・・（２３）
【０１８１】
すなわち、画素値演算部１２は、例えば、式（１１），式（１５）の２つのモデルの他に、上述の式（２２），式（２３）のモデルにより、動きボケのない画像の画素に入射されるレベルＦ９を求め、これをもって、動きボケが除去された画像の画素値として画像生成部１４に出力する。
【０１８２】
上述した式（２２），式（２３）のモデルは、画素値がＭ（−３），Ｍ１５となる画素について相関が高いことが前提となった式であるが、画素値がＭ２，Ｍ１２となる画素における相関の高さは問題とならない。一方、上述の式（１１），式（１５）のモデルは、画素値がＭ２，Ｍ１２となる画素における相関が高いことが前提となったモデルであるので、Ｍ２，Ｍ１２となる画素における相関が低いと正しい画素値を求めることができないことになる。従って、この上述の式（２２），式（２３）のモデルは、上述の式（１１），式（１５）のモデルで値が正確に計算できない状態、すなわち、Ｍ２，Ｍ１２となる画素における相関が低いような場合に有効な計算方法であるといえる。
【０１８３】
さらに、図２１、および、図２３を参照して説明したように、上述の式（１１），式（１５）のモデルと、式（２２），式（２３）のモデルとの関係と同様の関係を持つ、さらなるモデルを設定することも可能であり、左右方向にモデルとなる演算に使用する画素（タップ）を広げていくことが可能となり、事実上、画像上に画素が無限に存在すれば、１つの動きボケのない画素の計算方法は、無限に存在することになる。
【０１８４】
そこで、図１における画素値演算部１２−１乃至１２−Ｎは、Ｎ個のモデルを設定し、上述した式（１１），式（１５），式（２２），および式（２３）で説明したような関係を持つ、異なるモデルにより画素値を演算して画素生成部１４に出力する。
【０１８５】
次に、図２４を参照して、モデル信頼度演算部１３について説明する。
【０１８６】
アクティビティ演算部２１−１乃至２１−Ｎは、モデル毎に抽出される画素のうち、画素値の演算において、アクティビティが小さい、すなわち、空間相関が高いと仮定して近似することによって設定される画素のアクティビティを求める。尚、以下において、アクティビティ演算部２１−１乃至２１−Ｎを個々に区別する必要がない場合、単に、アクティビティ演算部２１と称する。
【０１８７】
すなわち、例えば、図２３において、上述した式（１１）のモデルにおいては、画素値がＭ２として表された画素が、上述した式（１５）のモデルにおいては、画素値がＭ１２として表された画素が、上述した式（２２）のモデルにおいては、画素値がＭ（−３）として表された画素が、さらに、上述した式（２３）のモデルにおいては、画素値がＭ１７で表された画素が、それぞれ画素値の演算において、アクティビティが小さい、すなわち、空間相関が高いと仮定して近似することによって設定される画素である。
【０１８８】
アクティビティ演算部２１は、それぞれのモデル毎に対応する画素について、上述した式（８）で示されるような演算により、アクティビティを求めて信頼度正規化部２２に出力する。
【０１８９】
信頼度正規化部２２は、各アクティビティ検出部２１より入力されるモデルごとのアクティビティの逆数を正規化して、信頼度として各モデル毎に画素生成部１４に出力する。
【０１９０】
すなわち、例えば、図２３で示した４モデルであった場合（１≦Ｎ＜４であった場合）、上述した式（１１）のモデルにおける画素値がＭ２として表された画素のアクティビティがＡ（Ｍ２）、上述した式（１５）のモデルにおける画素値がＭ１２として表された画素のアクティビティがＡ（Ｍ１２）、上述した式（２２）のモデルにおける画素値がＭ（−３）として表された画素のアクティビティがＡ（Ｍ（−３））、さらに、上述した式（２３）のモデルにおける画素値がＭ１７で表された画素のアクティビティがＡ（Ｍ１７）であった場合、信頼度正規化部２２は、以下の式（２４）で表されるように各アクティビティの逆数を正規化して、それぞれの信頼度Ｃｏｎｆ（Ｍ２），Ｃｏｎｆ（Ｍ１２），Ｃｏｎｆ（Ｍ（−３）），Ｃｏｎｆ（Ｍ１７）として、画素生成部２２に出力する。
【０１９１】
2004259218.tif 000006
【０１９２】
式（２４）で示されるように、各画素の信頼度が設定されるので、アクティビティの逆数の高い画素ほど信頼度が高く、逆に、アクティビティの逆数が小さい画素であるほど、信頼度が低くなる。すなわち、上述したように、図２３における、上述した式（１１）のモデルにおける画素値がＭ２として表された画素、上述した式（１５）のモデルにおける画素値がＭ１２として表された画素、上述した式（２２）のモデルにおける画素値がＭ（−３）として表された画素、さらに、上述した式（２３）のモデルにおける画素値がＭ１７で表された画素は、それぞれアクティビティが小さく、空間相関の高い画素であることが前提であるので、それらのアクティビティが小さいほど（逆数が大きいほど）、近似に適した画素であり、そのモデルで演算された画素値も信頼性が高い。逆に、アクティビティの逆数が小さい（アクティビティの大きい）画素は、空間相関が低く、近似に適さない画素であるので、そのモデルで演算された画素値も信頼性が低いといえる。
【０１９３】
尚、アクティビティは、例えば、図２２で示されるように、着目画素が画素値Ｍ２で示される画素で、その隣接する水平方向、垂直方向、および、斜方向に隣接する合計９画素から、それぞれの水平方向に隣接する画素間の差分のみであってもよい。
【０１９４】
また、アクティビティは、図２５で示されるように、着目画素が画素値Ｍ２で示される画素で、その隣接する水平方向、垂直方向、および、斜方向に隣接する合計９画素の各画素値が分布した場合、最大値と最小値の差分、すなわち、ダイナミックレンジとするようにしてもよい。従って、図２５の場合、アクティビティは、｜Ｍ１０３−Ｍ１｜、または、｜Ｍ１０３−Ｍ２０３｜となる。
【０１９５】
次に、図２６を参照して、画素生成部１４について説明する。
【０１９６】
モデル信頼度付加部３１は、各画素値生成部２１より入力される各画素値にモデル信頼度演算部３１より供給されてくる信頼度との積を取り、画素決定部３２に出力する。より詳細には、信頼度付加部３１の乗算器４１−１乃至４１−Ｎは、画素値演算部１２−１乃至１２−Ｎのそれぞれから入力される各モデル毎の画素値と、信頼度分配器４２より供給される、各モデル毎に演算された信頼度との積を求め、それぞれの演算結果を画素決定部３２に出力する。
【０１９７】
信頼度分配器４２は、モデル信頼度演算部１３より供給されてくるモデルごとの信頼度を、モデルに対応して、乗算器４１−１乃至４１−Ｎに分配して供給する。
【０１９８】
画素決定部３２は、信頼度付加部３１より供給されてくる画素値演算部１２−１乃至１２−Ｎのそれぞれから入力される各モデル毎の画素値と、信頼度分配器４２より供給される、各モデル毎に演算された信頼度との積を全て加算し、加算結果を画素値として決定し、出力する。
【０１９９】
次に、図２７のフローチャートを参照して、動きボケ除去の処理について説明する。
【０２００】
ステップＳ１において、動きベクトル検出部１１は、入力画像に基づいて、未処理画素を抽出し、対応する動きベクトルを検出し、その動きベクトルから動き量ｖを求めて、動きベクトルと共に動き量ｖの情報を各画素値演算部１２に供給する。
【０２０１】
ステップＳ２において、画素値演算部１２−１乃至１２−Ｎは、それぞれに設定されたモデルに対応する、例えば、上述の式（１１），式（１５），式（２２），式（２３）の演算に必要な画素の画素値を抽出し、抽出した画素値を用いて、動きボケが除去された画素値を求める。すなわち、画素値演算部１２−１乃至１２−Ｎは、例えば、上述した図２３におけるシャッタ成分ｆ９に対応する光のレベルＦ９をそれぞれのモデルに対応する演算により求め、画素値を決定し、それぞれに演算結果を画素生成部１４に出力する。
【０２０２】
ステップＳ３において、モデル信頼度演算部１３のアクティビティ検出部２１−１乃至２１−Ｎは、それぞれのモデルに対応する所定の画素のアクティビティを演算して、信頼度正規化部２２に出力する。すなわち、アクティビティ検出部２１−１乃至２１−Ｎは、図２３における上述した式（１１）のモデルにおける画素値がＭ２として表された画素、上述した式（１５）のモデルにおける画素値がＭ１２として表された画素、上述した式（２２）のモデルにおける画素値がＭ（−３）として表された画素、さらに、上述した式（２３）のモデルにおける画素値がＭ１７で表された画素のそれぞれについて、図２２、および、式（８）参照して説明したように、アクティビティをそれぞれのモデル毎に求めて信頼度正規化部２２に出力する。
【０２０３】
ステップＳ４において、信頼度正規化部２２は、各アクティビティ検出部２１−１乃至２１−Ｎより入力されたアクティビティの逆数を求めて、それらを正規化し、モデル毎の信頼度として画素生成部１４に出力する。
【０２０４】
すなわち、信頼度正規化部２２は、例えば、図２３における上述した式（１１）のモデルにおける画素値がＭ２として表された画素、上述した式（１５）のモデルにおける画素値がＭ１２として表された画素、上述した式（２２）のモデルにおける画素値がＭ（−３）として表された画素、さらに、上述した式（２３）のモデルにおける画素値がＭ１７で表された画素のそれぞれについて求められたアクティビティを、上述した式（２４）の演算を実行して、各モデル毎に求められる画素値の信頼度を求めて画素生成部１４に出力する。
【０２０５】
ステップＳ５において、画素生成部１４の信頼度付加部３１における信頼度分配器４２は、このタイミングで、ステップＳ４の処理で、モデル信頼度演算部１３より供給されてくるモデルごとの信頼度を、各モデルに対応する乗算器４１−１乃至４１−Ｎに供給すると共に、画素生成部１４の信頼度付加部３１における乗算器４１−１乃至４１−Ｎは、それぞれに対応する画素値演算部１２−１乃至１２−Ｎより入力されてくる画素値と、信頼度分配器４２より供給されてくる信頼度との積を求めて、演算結果をそれぞれ画素決定部３２に出力する。
【０２０６】
ステップＳ６において、画素決定部３２は、乗算器４１−１乃至４１−Ｎよりそれぞれ入力されてくる画素値と信頼度の積和を求めて画素値として出力する。
【０２０７】
すなわち、例えば、画素値演算部１２−１乃至１２−Ｎが、上述の図２３におけるＦ９に対応する画素値を演算した結果が、Ｆ９（ｍｏｄｅｌ１），Ｆ９（ｍｏｄｅｌ２），Ｆ９（ｍｏｄｅｌ３）・・・Ｆ９（ｍｏｄｅｌＮ）（第１モデルにより演算された画素値がＦ９（ｍｏｄｅｌ１）、第２モデルにより演算された画素値がＦ９（ｍｏｄｅｌ２）、・・・第Ｎモデルにより演算された画素値がＦ９（ｍｏｄｅｌＮ））であって、さらに、信頼度分配部４２より各乗算器４１−１乃至４１−Ｎに対して分配される信頼度がそれぞれＣｏｎｆ（ｍｏｄｅｌ１），Ｃｏｎｆ（ｍｏｄｅｌ２）・・・Ｃｏｎｆ（ｍｏｄｅｌＮ）である場合、画素値Ｆ９は以下の式（２５）で示されるように演算されることになる。
【０２０８】
2004259218.tif 000007
【０２０９】
ステップＳ７において、画素決定部３２は、全ての画素について処理をしたか否かを判定し、全ての画素（注目画素）について処理がなされていないと判定された場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。すなわち、全ての画素について処理がなされるまで、ステップＳ１乃至Ｓ７の処理が繰り返される。
【０２１０】
ステップＳ７において、全ての画素について、処理がなされたと判定された場合、その処理は終了する。結果として、入力画像の全ての画素について上述の処理がなされたとき、入力画像から動きボケが除去された画像が出力される。
【０２１１】
すなわち、以上の処理により、動きボケを除去する画素を演算する複数のモデルに対応する全ての手法での画素値を求めると共に、それぞれのモデルの信頼度をアクティビティに基づいて求め、それぞれの積和を求めることにより画素値を決定するようにしたので、結果的に、全てのモデルにおける画素値の演算結果に信頼度による重み付け処理が行われ、より正確に動きボケを除去することが可能となる。
【０２１２】
図２８は、動きボケを含む画像を示す図であり、図２９は、図１の画像処理部１による動きボケ除去された処理結果となる画像例を示す図である。図２８で示されるように、動きボケにより窓などが原型を留めていない画像が、図２９で示されるように動きボケ除去されることにより、窓の形状が鮮明になっているのがわかる。
【０２１３】
以上によれば、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の、第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出し、抽出された複数の画素の画素値に基づいて、第２の画像データの注目画素の画素値を演算し、第２の画像データの注目画素に対応する第１の画像データのアクティビティに応じて、演算される注目画素の画素値を制御するようにしたので、統計的な処理により、動きボケを含む画像から、正確に動きボケを除去することが可能となる。
【０２１４】
以上の処理におけるモデル毎に演算された各画素値に、予め学習により求められた係数を画素値に乗じることにより、動きボケを含む画像から、動きボケが除去された画像を予測するようにしてもよい。
【０２１５】
図３０は、学習により動きボケを含む画像から動きボケを除去する画像処理部１を実現させるための構成を示したものである。
【０２１６】
図３０の学習部６１は、教師画像となる静止画と、生徒画像となる静止画像に動きボケが付加された画像（図中のボケ付加画）に基づいて学習処理を実行し、この学習により得られる係数、すなわち、上述したモデル毎の信頼度を画像処理部１に供給する。図３１Ａは、学習に用いられる教師画像を、図３１Ｂは、学習に用いられる生徒画像の例をそれぞれ示している。図３１Ａの画像に比べて、図３１Ｂの画像は、動きボケが付加される事により、例えば、飛行機のおもちゃの側面部に描かれている窓などが判別できない程度ににじんだ状態となっているのがわかる。
【０２１７】
画像処理部１は、入力画像となる動きボケを含む画像の画素に対して、予め学習により求められている予測係数との積和を動きボケが除去された画像の各画素の画素値を求めて、最終的に動きボケを除去した画像（図中のボケ除去画）を出力する。
【０２１８】
次に、図３２を参照して、学習処理により動きボケを含む画像から動きボケを除去する画像処理部１の構成について説明する。
【０２１９】
領域抽出部７１は、画素値演算に必要な画素（画素値の予測に必要な予測タップ）の画素値を抽出して、予測演算部７３に供給する。すなわち、例えば、上述したモデルのうち、図３３で示すように、黒丸で示す着目画素と、着目画素から数えて左右方向に２番目，３番目、および５番目の画素の合計７画素を抽出する。この画素は、図２３における画素値Ｍ７で示された画素を着目画素とし、画素値Ｍ２，Ｍ４，Ｍ５，Ｍ９，Ｍ１０，Ｍ１２で示された画素を抽出したのと同様である。つまり、今の場合、領域抽出部７１は、上述の式（１１），式（１５）のモデルを用いて演算する際に使用した画素と同じ画素を予測タップとして抽出する。
【０２２０】
予測演算部７３は、予め学習により係数メモリ７２に記憶された予測係数を読み出し、予測タップとして抽出された画素の画素値に、対応する予測係数との積和を求めることにより、これを画素値として出力する。
【０２２１】
より詳細には、係数メモリ７２は、予測係数を予測演算部７３に出力する。予測演算部７３は、領域抽出部７１より供給される入力画像の所定の画素位置の画素値から抽出された予測タップと、係数メモリ７２より供給された予測係数とを用いて、次の式（２６）で示される積和演算を実行することにより、予測画像を求める（予測推定する）。
【０２２２】
【数２】
2004259218.tif 000008
2004259218.tif 000009
式（２６）において、ｑ’は、予測画像の画素を表している。ｃｉ（ｉは、１乃至ｎの整数値）のそれぞれは、予測タップのそれぞれを表している。また、ｄｉのそれぞれは、予測係数のそれぞれを表している。
【０２２３】
このように、予測演算部７３は、動きボケを含む画像から、それに対する動きボケを除去した画像を予測推定するので、ここでは、予測画像とも称する。
【０２２４】
次に、図３４のフローチャートを参照して、図３２の画像処理部１による動きボケ除去処理について説明する。
【０２２５】
ステップＳ２１において、入力画像が入力される。
【０２２６】
ステップＳ２２において、予測演算部７３は、係数メモリ７２に予め学習により記憶されている予測係数を読み出して図示せぬメモリに一時的に記憶する。
【０２２７】
ステップＳ２３において、領域抽出部７１は、入力画像より着目画素に対する予測タップを抽出して予測演算部７３に出力する。すなわち、今の場合、領域抽出部７１は、図３２で示したように、着目画素に対して、着目画素から数えて左右方向に２番目，３番目、および５番目の画素の合計７画素を抽出して、予測演算部７３に出力する。
【０２２８】
ステップＳ２４において、予測演算部７３は、領域抽出部７３より供給された画素と、係数メモリ７２より読み出した、予め学習されている予測係数との積和を求めて、画素値を予測し、図示せぬメモリに記憶する。
【０２２９】
ステップＳ２５において、予測演算部７３は、入力画像の全ての画素に対して上述の予測処理を実行したか否かを判定し、全ての画素を処理していないと判定した場合、その処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。すなわち、全ての画素が処理されたと判定されるまで、ステップＳ２２乃至Ｓ２５の処理が繰り返される。
【０２３０】
ステップＳ２５において、全ての画素について処理がなされたと判定された場合、ステップＳ２６において、予測演算部７３は、処理された画素の全てを動きボケの除去処理画像として出力する。
【０２３１】
このように、予め学習により予め求められた予測係数を信頼度として上述したモデルごとの画素値を統計的に処理することができるので、動きボケの除去処理を高速で実現させることができる。
【０２３２】
図３５は、図３２の画像処理部１が、上述した図２８で示された動きボケを含む画像から動きボケを除去した画像である。図３５においては、おもちゃの飛行機の画像のうち、図２８では動きボケで鮮明に見えていない、側面部の窓が鮮明に見えるようになっており、動きボケが除去されていることがわかる。
【０２３３】
以上の処理により、予め学習により求められている予測係数を用いて、動きボケの除去処理を実行するようにしたので、動きボケの除去に係る処理速度を向上させることが可能となり、さらに、動きボケ除去処理を統計的な処理により正確なものとすることができる。
【０２３４】
次に、図３６を参照して、上述の係数メモリ７２に記憶される予測係数を学習により生成する学習部６１について説明する。
【０２３５】
図３６の学習部６１の生徒画像生成部９１は、入力画像である教師画像から動きボケを付加して生徒画像を生成し、領域抽出部９２に出力する。より詳細には、学習部６１は、ユーザにより任意に設定される動き量ｖ（動きベクトル）に対応して、教師画像に動きボケを付加して生徒画像を生成している。
【０２３６】
領域抽出部９２は、図３２の領域抽出部７１と同様のものであり、画素生成の演算に使用する着目画素に応じた複数の画素を予測タップとして、生徒画像から抽出し、正規方程式生成部９３に出力する。
【０２３７】
正規方程式生成部９３は、領域抽出部９２より入力される生徒画像の予測タップと、教師画像の画素とから正規方程式を生成し、係数決定部９４に供給する。
【０２３８】
係数決定部９４は、正規方程式生成部９３より正規方程式が供給されてきたとき、その正規方程式より予測係数のそれぞれを演算し、係数メモリ９４に記憶させる。
【０２３９】
正規方程式生成部９３と、係数決定部９４についてさらに詳しく説明する。
【０２４０】
上述した式（２６）において、学習前は予測係数ｄｉのそれぞれが未定係数である。学習は、複数の教師画像（静止画像）の画素を入力することによって行う。教師画像の画素がｍ個存在し、ｍ個の画素のそれぞれを、ｑｋ（ｋは、１乃至ｍの整数値）と記述する場合、式（２６）から、次の式（２７）が設定される。
【０２４１】
【数３】
2004259218.tif 000010
2004259218.tif 000011
【０２４２】
即ち、式（２７）は、右辺の演算をすることで、所定の動きボケが除去された画素ｑｋを予測推定することができることを表している。なお、式（２７）において、イコールではなくニアリーイコールとなっているのは誤差を含むからである。即ち、右辺の演算結果である予測画像（動きボケが除去された画像）の画素ｑｋ’が、実際の画素ｑｋと厳密には一致せず、所定の誤差を含む。
【０２４３】
そこで、式（２７）において、誤差の自乗和を最小にする予測係数ｄｉが学習により求まれば、その予測係数ｄｉは、実際の静止画像の画素ｑｋを予測するのに最適な係数であると言える。
【０２４４】
従って、例えば、学習により集められたｍ個（ただし、ｍは、ｎより大きい整数）の画素ｑｋを用いて、最小自乗法により最適な予測係数ｄｉを一意に決定することができる。
【０２４５】
即ち、式（２７）の右辺の予測係数ｄｉを最小自乗法で求める場合の正規方程式は、次の式（２８）で表される。
【０２４６】
【数４】
2004259218.tif 000012
2004259218.tif 000013
【０２４７】
従って、式（２８）で示される正規方程式が生成されれば、その正規方程式を解くことで予測係数ｄｉが一意に決定されることになる。
【０２４８】
具体的には、式（２８）で示される正規方程式の各行列のそれぞれを、次の式（２９）乃至（３１）のように定義すると、正規方程式は、次の式（３２）のように表される。
【０２４９】
【数５】
2004259218.tif 000014
2004259218.tif 000015
【０２５０】
【数６】
2004259218.tif 000016
2004259218.tif 000017
【０２５１】
【数７】
2004259218.tif 000018
2004259218.tif 000019
【０２５２】
【数８】
2004259218.tif 000020
2004259218.tif 000021
【０２５３】
式（３２）で示されるように、行列ＤＭＡＴの各成分は、求めたい予測係数ｄｉである。従って、式（３２）において、左辺の行列ＣＭＡＴと右辺の行列ＱＭＡＴが決定されれば、行列解法によって行列ＤＭＡＴ（即ち、予測係数ｄｉ）の算出が可能である。
【０２５４】
より具体的には、式（２９）で示されるように、行列ＣＭＡＴの各成分は、予測タップｃｉｋが既知であれば演算可能である。予測タップｃｉｋは、領域抽出部９２により抽出されるので、正規方程式生成部９３は、領域抽出部９２より供給されてくる予測タップｃｉｋのそれぞれを利用して行列ＣＭＡＴの各成分を演算することができる。
【０２５５】
また、式（３１）で示されるように、行列ＱＭＡＴの各成分は、予測タップｃｉｋと静止画像の画素ｑｋが既知であれば演算可能である。予測タップｃｉｋは、行列ＣＭＡＴの各成分に含まれるものと同一のものであり、また、静止画像の画素ｑｋは、予測タップｃｉｋに含まれる着目画素（生徒画像の画素）に対する教師画像の画素である。従って、正規方程式生成部９３は、領域抽出部９２より供給された予測タップｃｉｋと、教師画像を利用して行列ＱＭＡＴの各成分を演算することができる。
【０２５６】
このようにして、正規方程式生成部９３は、行列ＣＭＡＴと行列ＱＭＡＴの各成分を演算し、その演算結果を係数決定部９４に供給する。
【０２５７】
係数決定部９４は、供給された所定のクラスコードに対応する正規方程式に基づいて、上述した式（３０）の行列ＤＭＡＴの各成分である予測係数ｄｉを演算する。
【０２５８】
具体的には、上述した式（３０）の正規方程式は、次の式（３３）のように変形できる。
【０２５９】
【数９】
2004259218.tif 000022
2004259218.tif 000023
【０２６０】
式（３３）において、左辺の行列ＤＭＡＴの各成分が、求めたい予測係数ｄｉである。また、行列ＣＭＡＴと行列ＱＭＡＴのそれぞれの各成分は、正規方程式生成部９３より供給されるものである。従って、係数決定部９４は、正規方程式生成部９２より行列ＣＭＡＴと行列ＱＭＡＴのそれぞれの各成分が供給されてきたとき、式（３３）の右辺の行列演算を行うことで行列ＤＭＡＴを演算し、その演算結果（予測係数ｄｉ）をクラスコードに対応付けて係数メモリ９５に記憶させる。
【０２６１】
次に、図３７のフローチャートを参照して、画像処理部１に対する学習部６１（図３６）が実行する学習処理（図３２の画像処理部１が使用する予測係数を学習により生成する処理）について説明する。
【０２６２】
ステップＳ４１において、教師画像（静止画の画像）が領域抽出部７１に入力される。
【０２６３】
ステップＳ４２において、生徒画像生成部９１は、入力された教師画像に動きボケを付加して生徒画像（動きボケが付加された画像）を生成し、領域抽出部９２に供給する。
【０２６４】
ステップＳ４３において、領域抽出部９２は、生徒画像の中から予測タップを抽出し、正規方程式生成部９３に供給する。なお、ステップＳ４３の処理は、上述したステップＳ２３（図３４）の処理と基本的に同様の処理である。
【０２６５】
ステップＳ４４において、正規方程式生成部９３は、領域抽出部９２より供給された予測タップ（動きボケが付加された画像の画素）、および、教師画像（静止画像）の所定の画素から、上述した式（２９）（即ち、式（３０））で示される正規方程式を生成し、生成した正規方程式を係数決定部９４に供給する。
【０２６６】
ステップＳ４５において、係数決定部９４は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（３３）の右辺を演算することで予測係数を算出し、係数メモリ９５に記憶させる。
【０２６７】
その後、ステップＳ４６において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップＳ４３に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ４３乃至Ｓ４６の処理が繰り返される。
【０２６８】
そして、ステップＳ４６において、全ての画素について処理が施されたと判定された場合、処理は終了となる。
【０２６９】
以上の処理により、入力画像の各画素について、学習により動きボケを除去するための予測係数が生成されて係数メモリ９５に記憶される。この係数メモリ９５に記憶された予測係数が、図３２の係数メモリ７２に記憶させることにより、図３４の動きボケの除去処理が実行可能となる。
【０２７０】
以上によれば、入力された動きベクトルに応じて、それぞれ時間積分効果を有する複数の画素に現実世界の光信号が射影され取得された第１の画像データ内の第１の画像データの動きボケが除去された第２の画像データの注目画素に対応する複数の画素の画素値を抽出し、抽出した複数の画素の画素値から第１の画像データの注目画素の画素値を予測する予測係数を学習するようにしたので、動きボケの除去に係る処理速度を向上させることが可能となり、さらに、動きボケ除去処理を統計的な処理により実現させることが可能となる。
【０２７１】
図３２の画像処理部１は、入力画像の各画素について、常に同一の予測タップを抽出して動きボケの除去を行うようにしていたが、例えば、上述した図１の画像処理部１の処理の説明において、アクティビティの大小、すなわち、空間相関の有無により、着目画素をクラスコードに分類し、クラスコードに対応して予測タップを変更させることで、動きボケ除去の精度を向上させるようにしてもよい。
【０２７２】
図３８は、着目画素毎にクラスコードを設定し、予測タップを変化させて動きボケ除去処理を実現する画像処理部１を示している。
【０２７３】
領域抽出部１１１は、入力画像よりクラスタップを抽出し、パターン検出部１１２に出力する。尚、ここでは、領域抽出部１１１は、着目画素に対して、図３３を参照して説明した７画素のうち、最も左側と最も右側に存在する画素の、それぞれの上下左右斜方向に隣接する９画素（例えば、図２２で参照した、画素値がＭ２として示されている画素が、図３３を参照して説明した７画素のうち、最も左側、または、最も右側に存在する画素とした場合の、画素値がＭ１０１，Ｍ１０２．Ｍ１０３，Ｍ１，Ｍ２，Ｍ３，Ｍ２０１，Ｍ２０２，Ｍ２０３として示されている、それぞれ９画素）の合計１８画素をクラスタップとして抽出し、パターン検出部１１２に出力するものとするが、クラスタップは、この１８画素に限るものではなく、その他の画素をクラスタップとして抽出するようにしてもよい。
【０２７４】
パターン検出部１１２は、上述の９画素について、図３３を参照して説明した７画素のうち、最も左側と最も右側に存在する画素のそれぞれについて、アクティビティを求めてクラスコード決定部１１３に出力する。
【０２７５】
クラスコード決定部１１３は、入力されたアクティビティの大小関係によりクラスコードを検出し、検出したクラスコードを領域抽出部１１５、および、係数メモリ１１４に出力する。すなわち、今の場合、２個のアクティビティがパターン検出部１１２より入力されることになるので、例えば、図３３で説明した７画素のうち、最も左側に存在する画素のアクティビティが、最も右側に存在する画素のアクティビティよりも小さいとき、クラスコードを１として、最も右側に存在する画素のアクティビティが、最も左側に存在する画素のアクティビティよりも小さいとき、クラスコードを２として、それぞれクラスコードを領域抽出部１１５、および、係数メモリ１１４に出力する。
【０２７６】
領域抽出部１１５は、クラスコード決定部１１３より入力されたクラスコードに対応して、入力画像の着目画素に対応する予測タップを抽出する。例えば、クラスコードが１であった場合、図３９Ａで示されるように、着目画素を含めて、着目画素から左に向かって２番目、３番目、および５番目の画素を予測タップとして抽出し、クラスコードが２であった場合、図３９Ｂで示されるように、着目画素を含めて、着目画素から右に向かって２番目、３番目、および５番目の画素を予測タップとして抽出し、予測演算部１１６に出力する。
【０２７７】
尚、予測タップのパターンは、これに限るものではないが、このように予測タップを設定することにより、上述した式（１１），式（１５）のモデルを用いた演算において、定義した関係が少なくとも成立し易くなる画素を、予測タップとして選択することができるようになる。
【０２７８】
すなわち、図２３を参照して説明したように、画素値がＭ７で示されている画素のシャッタを開いてから３番目のシャッタ成分であるｆ９を成分とする、レベルＦ９求める場合、クラスコードが１となるとき、画素値がＭ２として示されている画素は、少なくとも、画素値がＭ１２として示されている画素よりも空間相関が高い、すなわち、アクティビティが低いことが示されていることになる。
【０２７９】
一方、式（１１）は、画素値がＭ２として示されている画素のアクティビティが低い、すなわち、空間相関が高いと仮定することにより成立する式であるから、このとき演算に使用した画素、すなわち、図３９Ａで示されている、着目画素より左側の画素（図２３の画素値がＭ２，Ｍ４，Ｍ５で示されている画素）を予測タップとして使用することで、少なくとも着目画素の右側の３画素（図２３の画素値がＭ９，Ｍ１０，Ｍ１２で示されている画素）を用いて計算するよりも、式（１１）の関係を成立させ易い予測タップであるので、動きボケを除去する予測タップとしては、優れていると考えることができるからである。
【０２８０】
逆に、クラスコードが２となるとき、画素値がＭ１２として示されている画素は、少なくとも、画素値がＭ２として示されている画素よりも空間相関が高い、すなわち、アクティビティが低いことが示されていることになる。
【０２８１】
一方、式（１５）は、画素値がＭ１２として示されている画素のアクティビティが低い、すなわち、空間相関が高いと仮定することにより成立する式であるから、このとき演算に使用した画素、すなわち、図３９Ｂで示されている、着目画素より右側の３画素（図２３の画素値がＭ９，Ｍ１０，Ｍ１２で示されている画素）を予測タップとして使用することで、少なくとも着目画素の左側の画素（図２３の画素値がＭ２，Ｍ４，Ｍ５で示されている画素）を用いて計算するよりも、式（１５）の関係を成立させ易い予測タップであるので、動きボケを除去する予測タップとしては、優れていると考えることができるからである。
【０２８２】
係数メモリ１１４は、クラスコードに応じて、予め後述する図４２の学習部６１が学習により求めた予測係数を記憶しており、クラスコード決定部１１３より入力されたクラスコードに対応する予測係数を予測演算部１１６に供給する。
【０２８３】
予測演算部１１６は、図３２の画像処理部１の予測演算部７３と同様なものであり、係数メモリ１１４より供給される係数と領域抽出部１１５より供給される予測タップの画素値との積和を求めて、これを動きボケが除去された画素として生成し、画面の全ての画素について処理がなされたところで処理画像として出力する。
【０２８４】
次に、図４０のフローチャートを参照して、図３８の画像処理部１による動きボケ除去処理について説明する。尚、図４０のステップＳＳ６７乃至Ｓ６９の処理は、図３４のフローチャートを参照して説明した処理と同様であるので，その説明は省略する。
【０２８５】
ステップＳ６１において、領域抽出部１１１，１１５のそれぞれに入力画像が入力される。
【０２８６】
ステップＳ６２において、領域抽出部１１１は、入力画像の中から、着目画素、および、予め設定された着目画素からの相対位置（１以上の位置）のそれぞれに位置する画素を、クラスタップとして抽出し、パターン検出部１１２に供給する。今の場合、領域抽出部１１１は、図３３で示したタップのうち最も右側と、最も左側の画素のアクティビティの検出に必要な画素をクラスタップとして抽出する。
【０２８７】
ステップＳ６３において、パターン検出部１１２は、供給されたクラスタップのパターンを検出し、クラスコード決定部１１３に供給する。より詳細には、パターン検出部１１２は、図３３で示したタップのうち最も右側と、最も左側の画素のアクティビティを求めて、これをパターンとしてクラスコード決定部１１３に出力する。
【０２８８】
ステップＳ６４において、クラスコード決定部１１３は、予め設定されている複数のクラスコードの中から、供給されたクラスタップのパターンに適合するクラスコードを決定し、係数メモリ１１４と領域抽出部１１５のそれぞれに供給する。すなわち、今の場合、クラスコード決定部１１３は、入力されたアクティビティのうち、図３３のタップの最も右側の画素のアクティビティと、最も左側の画素のアクティビティのいずれが小さいかによりクラスコードを判定し、例えば、最も左側の画素のアクティビティがより小さいときはクラスコードとして１を、最も右側の画素のアクティビティがより小さいときはクラスコードとして２を係数メモリ１１４と領域抽出部１１５のそれぞれに供給する。
【０２８９】
ステップＳ６５において、係数メモリ１１４は、供給されたクラスコードに基づいて、予め学習処理により決定された複数の予測係数（群）の中から、これから使用する予測係数（群）を読み出し、予測演算部１１６に供給する。
【０２９０】
なお、学習処理については、図４３のフローチャートを参照して後述する。
【０２９１】
ステップＳ６６において、領域抽出部１１５は、供給されたクラスコードに対応して、入力画像の中から、着目画素、および、予め設定された着目画素からの相対位置（１以上の位置であって、クラスタップの位置とは独立して設定された位置。ただし、クラスタップの位置と同一の位置でもよい）のそれぞれに位置する画素を、予測タップとして抽出し、予測演算部１１６に供給する。
【０２９２】
すなわち、今の場合、領域抽出部１１５は、クラスコード決定部１１３からクラスコードとして１が入力されたとき、図３９Ａで示されるように、着目画素に対して左側に２番目、３番目、および５番目の画素をクラスタップとして抽出し、クラスコードとして２が入力されたとき、図３９Ｂで示されるように、着目画素に対して右側に２番目、３番目、および５番目の画素を予測タップとして抽出する。
【０２９３】
図４１は、図２８で示された動きボケを含む画像を、図３８の画像処理部１で動きボケ除去したものである。図４１の処理結果では、動きボケにより識別できなかった、おもちゃの飛行機の側面部に描かれた窓が鮮明に表示され、さらに、クラスコードにより予測タップを分類しなかった図３５の処理結果と比べると、よりコントラストがはっきりとした画像となっていることがわかる。
【０２９４】
以上の処理により、アクティビティにより適正な予測タップを用いて、動きボケ除去処理を実行することができるので、より精度の高い動きボケの除去が可能となる。
【０２９５】
次に、図４２を参照して、図３８の画像処理部１の係数メモリ１１４に記憶される予測係数を予め学習により求める学習部６１の構成について説明する。
【０２９６】
生徒画像生成部１２１、係数決定部１２１、および、係数メモリ１２８は、図３６の学習部６１における生徒画像生成部９１、係数決定部９４、および、係数メモリ９５と基本的に同一のものであるので、その説明は省略する。
【０２９７】
また、領域抽出部１２２，１２５、パターン検出部１２３、および、クラスコード決定部１２４は、図３８の画像処理部１における領域抽出部１１１，１１５、パターン検出部１１３、および、クラスコード決定部１１４と同一のものであるので、その説明は省略する。
【０２９８】
正規方程式生成部１２６は、基本的に図３６の学習部６１における正規方程式生成部９３と同様のものであるが、クラスコード決定部１２４より入力されるクラスコード毎に正規方程式を生成し、クラスコード毎に係数決定部１２７に出力する。従って、係数決定部１２７は、クラスコード毎に係数を決定し、クラスコード毎に決定した係数を係数メモリ１２８に記憶させる。
【０２９９】
次に、図４３のフローチャートを参照して、図４２の学習部６１による学習処理について説明する。
【０３００】
尚、図４３のフローチャートにおけるステップＳ８１，Ｓ８２、およびＳ８９の処理については、図３７のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０３０１】
ステップＳ８３において、領域抽出部１２２は、供給された生徒画像からクラスタップを抽出してパターン検出部１２３に出力する。なお、ステップＳ８３の処理は、上述したステップＳ６２（図４０）の処理と基本的に同様の処理である。すなわち、今の場合、領域抽出部１２２は、図３３で示したタップのうち最も右側と、最も左側の画素のアクティビティの検出に必要な画素をクラスタップとして抽出する。
【０３０２】
ステップＳ８４において、パターン検出部１２３は、供給されたクラスタップよりクラスコードを決定するためのパターンを検出し、クラスコード決定部１２４に供給する。なお、ステップＳ８４の処理は、上述したステップＳ６３（図４０）の処理と基本的に同様の処理である。すなわち、パターン検出部１２３は、図３３で示したタップのうち最も右側と、最も左側の画素のアクティビティを求めて、これをパターンとしてクラスコード決定部１１３に出力する。
【０３０３】
ステップＳ８５において、クラスコード決定部１２４は、供給されたクラスタップのパターンに基づいてクラスコードを決定し、領域抽出部１２５と正規方程式生成部１２６のそれぞれに供給する。なお、ステップＳ８５の処理は、上述したステップＳ６４（図４０）の処理と基本的に同様の処理である。すなわち、今の場合、クラスコード決定部１２４は、入力されたアクティビティのうち、図３３のタップの最も右側の画素のアクティビティと、最も左側の画素のアクティビティのいずれが小さいかによりクラスコードを判定し、例えば、最も左側の画素のアクティビティがより小さいときはクラスコードとして１を、最も右側の画素のアクティビティがより小さいときはクラスコードを２として正規方程式生成部１２６と領域抽出部１２５のそれぞれに供給する。
【０３０４】
ステップＳ８６において、領域抽出部１２５は、供給されたクラスコードに対応して、生徒画像の中から予測タップを抽出し、正規方程式生成部１２６に供給する。なお、ステップＳ８６の処理は、上述したステップＳ６６（図４０）の処理と基本的に同様の処理である。すなわち、今の場合、領域抽出部１２５は、クラスコード決定部１２４からクラスコードとして１が入力されたとき、図３９Ａで示されるように、着目画素に対して左側に２番目、３番目、および５番目の画素をクラスタップとして抽出し、クラスコードとして２が入力されたとき、図３９Ｂで示されるように、着目画素に対して右側に２番目、３番目、および５番目の画素を予測タップとして抽出する。
【０３０５】
ステップＳ８７において、正規方程式生成部１２６は、領域抽出部１２５より供給された予測タップ、および、教師画像の所定の画素から、上述した式（２８）（即ち、式（３０））で示される正規方程式を生成し、生成した正規方程式と、クラスコード決定部１２４より供給されたクラスコードを関連付けて係数決定部１２７に供給する。
【０３０６】
ステップＳ８８において、係数決定部１２７は、供給された正規方程式を解いて予測係数を決定し、即ち、上述した式（３２）の右辺を演算することで予測係数を算出し、供給されたクラスコードに対応付けて係数メモリ１２８に記憶させる。
【０３０７】
その後、ステップＳ８９において、全ての画素について処理が施されたか否かが判定され、全ての画素について処理が施されていないと判定された場合、その処理は、ステップＳ８３に戻る。即ち、全ての画素の処理が終了されるまで、ステップＳ８３乃至Ｓ９９の処理が繰り返される。
【０３０８】
そして、ステップＳ８９において、全ての画素について処理が施されたと判定された場合、処理は終了となる。
【０３０９】
尚、予測タップ、およひ、クラスタップの構成については、以上の例に限るものではなく、その他の画素を使用するようにしてもよい。また、クラスコードの数についても、以上の例については、２クラスの場合について説明してきたが、それ以上のクラスに分類するようにしてもよい。
【０３１０】
例えば、入力されたアクティビティのうち、図３３のタップの最も右側の画素のアクティビティと、最も左側の画素のアクティビティのいずれが小さいかによりクラスコードを判定し、例えば、最も左側の画素のアクティビティがより小さいときはクラスコードとして１が、最も右側の画素のアクティビティがより小さいときはクラスコードとして２が判定されていたが、さらに、両者のアクティビティを比較し、小さかったアクティビティが所定の閾値よりも大きい場合は、クラスコードとして３が判定されるようにして、クラスコードに応じて、例えば、図４４Ａ，Ｂ，Ｃで示されるような予測タップが選択されるようにしてもよい。
【０３１１】
図４４Ａ，Ｂは、図３９Ａ，Ｂと同様の予測タップであり、図４４Ｃのクラスタップは、それらを両方含めた予測タップである。
【０３１２】
すなわち、大小比較の結果、小さい方のアクティビティが所定の閾値よりも大きいということは、いずれも空間相関のない画素であったことになり、事実上、上述の式（１１），式（１５）のいずれにおいても近似が成立しない可能性が高い。そこで、このような場合は、図４４Ｃで示したように、予測タップを多めにすることにより、両者の平均となるような構成にする。
【０３１３】
図４４Ａ，Ｂ，Ｃで示したような、３クラスのクラスコードに応じた予測タップを用いて、上述の図２８の動きボケを含む画像から動きボケを除去する処理を施した画像が、図４５に示されている。
【０３１４】
図２８の画像に見られるおもちゃの飛行機の側面部に描かれている窓の１つ１つを認識することができないが、図４５における処理結果は、図４１の処理結果と比べても、より鮮明に動きボケが除去されて、窓の１つ１つを認識することができる。
【０３１５】
また、図４６は、図４５の処理において、図２８の画像の各画素をクラスコード毎に色分けした画像を示す図である。ここで、黒色の領域は、クラスコード１に分類された領域を示し、灰色の領域は、クラスコード２の領域を示し、白は、クラスコード３の領域を示している。
【０３１６】
すなわち、クラスコード３の領域は、側面部の窓が描かれた部分に分布しており、図４１の処理結果との比較から、クラスコード３を設定し、図４４Ｃで示されている予測タップを使用することで、窓の描かれている領域の動きボケ除去が、より高い精度で行われていることがわかる。
【０３１７】
以上の処理により、入力画像の各画素について、クラスコードによるクラス分類に基づいた学習により動きボケを除去するための予測係数が生成されて係数メモリ９５に記憶される。この係数メモリ９５に記憶された予測係数が、図４２の係数メモリ１２８に記憶されることにより、図４３の動きボケの除去処理が実行可能となる。
【０３１８】
結果として、クラス分類により適正な予測タップを使用した正確な動きボケの除去処理を実現することができ、動きボケの除去に係る処理速度を向上させることが可能となり、さらに、動きボケ除去処理を統計的な処理により実現させることが可能となる。
【０３１９】
なお、センサ２は、固体撮像素子である、例えば、ＢＢＤ（Ｂｕｃｋｅｔ  Ｂｒｉｇａｄｅ  Ｄｅｖｉｃｅ）、ＣＩＤ（Ｃｈａｒｇｅ  Ｉｎｊｅｃｔｉｏｎ  Ｄｅｖｉｃｅ）、またはＣＰＤ（Ｃｈａｒｇｅ  Ｐｒｉｍｉｎｇ  Ｄｅｖｉｃｅ）などのセンサでもよい。
【０３２０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０３２１】
図４７は、上述の図１，図３２，図３８の画像処理部１、または、図３６，図４２の学習部６１をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのＣＰＵ２０１は、パーソナルコンピュータの動作の全体を制御する。また、ＣＰＵ２０１は、バス２０４および入出力インタフェース２０５を介してユーザからキーボードやマウスなどからなる入力部２０６から指令が入力されると、それに対応してＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２に格納されているプログラムを実行する。あるいはまた、ＣＰＵ２０１は、ドライブ２１０に接続された磁気ディスク２１１、光ディスク２１２、光磁気ディスク２１３、または半導体メモリ２１４から読み出され、記憶部２０８にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３にロードして実行し、出力部２０７が実行結果を出力する。さらに、ＣＰＵ２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。
【０３２２】
プログラムが記録されている記録媒体は、図４７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２１１（フレキシブルディスクを含む）、光ディスク２１２（ＣＤＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を含む）、光磁気ディスク２１３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）を含む）、もしくは半導体メモリ２１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０３２３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０３２４】
【発明の効果】
以上のように、本発明によれば、正確で、精度の高い処理結果を得ることができるようになる。
【０３２５】
また、本発明によれば、より正確で、より精度の高い動きボケの除去処理結果を得ることができるようになる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理部の一実施の形態の構成を示すブロック図である。
【図２】センサによる撮像を説明する図である。
【図３】画素の配置を説明する図である。
【図４】検出素子の動作を説明する図である。
【図５】動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。
【図６】背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。
【図７】静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図８】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図９】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１０】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１１】前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。
【図１２】画素と画素値を時間方向に展開したモデルとの対応を示す図である。
【図１３】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１４】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１５】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１６】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１７】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１８】センサの検出素子に入射される光のレベルを示す図である。
【図１９】図１８の光のレベルに対応する画素値を示す図である。
【図２０】動きボケの生じた画像の画素値の構成を示す図である。
【図２１】動きボケの除去の原理を示す図である。
【図２２】アクティビティの求め方を説明する図である。
【図２３】動きボケの除去の原理を示す図である。
【図２４】図１の画像処理部のモデル信頼度演算部の構成を示すブロック図である。
【図２５】アクティビティのその他の求め方を説明する図である。
【図２６】図１の画像処理部の画素生成部の構成を示すブロック図である。
【図２７】図１の画像処理部による動きボケ除去処理を説明するフローチャートである。
【図２８】動きボケを含む画像を示す図である。
【図２９】図２８の動きボケを含む画像を、図１の画像処理部により動きボケ除去した画像を示す図である。
【図３０】学習の原理を説明する図である。
【図３１】生徒画像と教師画像の例を示す図である。
【図３２】予め学習により得られた予測係数を用いて動きボケを除去する画像処理部を示す図である。
【図３３】予測タップの例を示す図である。
【図３４】図１の画像処理部による動きボケ除去処理を説明するフローチャートである。
【図３５】図２８の動きボケを含む画像を、図３２の画像処理部により動きボケ除去した画像を示す図である。
【図３６】図３２の画像処理部の処理に利用される予測係数を学習により求める学習部を示す図である。
【図３７】図３６の学習部による学習処理を説明するフローチャートである。
【図３８】予めクラスコードを分類して学習により得られた予測係数を用いて動きボケを除去する画像処理部を示す図である。
【図３９】クラスコードに応じた予測タップの例を示す図である。
【図４０】図３８の画像処理部による動きボケ除去処理を説明するフローチャートである。
【図４１】図２８の動きボケを含む画像を、図３８の画像処理部により動きボケ除去した画像を示す図である。
【図４２】図３８の画像処理部の処理に利用される予測係数を学習により求める学習部を示す図である。
【図４３】図４２の学習部による学習処理を説明するフローチャートである。
【図４４】その他の予測タップの例を示す図である。
【図４５】図２８の動きボケを含む画像を、図３８の画像処理部により、図４４の予測タップを用いて動きボケ除去した画像を示す図である。
【図４６】図２８の動きボケを含む画像を、図３８の画像処理部により、図４４の予測タップを用いて動きボケ除去する際、分類されたクラスコードの分布を示す画像を示す図である。
【図４７】記録媒体を説明する図である。
【符号の説明】
１  画像処理部，  １１  動きベクトル検出部，  １２，１２−１乃至１２−Ｎ  画素値演算部，  １３  モデル信頼度演算部，  １４  画素生成部，  ２１アクティビティ検出部２１，２１−１乃至２１−Ｎ，  ２２  信頼度正規化部，  ３１  信頼度付加部，  ３２  画素決定部，  ４１，４１−１乃至４１−Ｎ乗算器，  ４２  信頼度分配器，  ７１  領域抽出部，  ７２  係数メモリ，７３  予測演算部，  ９１  生徒画像生成部，  ９２  領域抽出部，  ９３  正規方程式生成部，  ９４  係数決定部，  ９５  ブロック抽出部，  １１１  領域抽出部，  １１２  パターン検出部，  １１３  クラスコード決定部，  １１４  係数メモリ，  １１５  領域抽出部，  １１６  予測演算部，  １２１  生徒画像生成部，  １２２  領域抽出部，  １２３  パターン決定部，  １２４クラスコード決定部，  １２５  領域抽出部，  １２６  正規方程式生成部，１２７  係数決定部，  １２８  係数決定部
【図１】
2004259218.tif 000024
【図２】
2004259218.tif 000025
【図３】
2004259218.tif 000026
【図４】
2004259218.tif 000027
【図５】
2004259218.tif 000028
【図６】
2004259218.tif 000029
【図７】
2004259218.tif 000030
【図８】
2004259218.tif 000031
【図９】
2004259218.tif 000032
【図１０】
2004259218.tif 000033
【図１１】
2004259218.tif 000034
【図１２】
2004259218.tif 000035
【図１３】
2004259218.tif 000036
【図１４】
2004259218.tif 000037
【図１５】
2004259218.tif 000038
【図１６】
2004259218.tif 000039
【図１７】
2004259218.tif 000040
【図１８】
2004259218.tif 000041
【図１９】
2004259218.tif 000042
【図２０】
2004259218.tif 000043
【図２１】
2004259218.tif 000044
【図２２】
2004259218.tif 000045
【図２３】
2004259218.tif 000046
【図２４】
2004259218.tif 000047
【図２５】
2004259218.tif 000048
【図２６】
2004259218.tif 000049
【図２７】
2004259218.tif 000050
【図２８】
2004259218.tif 000051
【図２９】
2004259218.tif 000052
【図３０】
2004259218.tif 000053
【図３１】
2004259218.tif 000054
【図３２】
2004259218.tif 000055
【図３３】
2004259218.tif 000056
【図３４】
2004259218.tif 000057
【図３５】
2004259218.tif 000058
【図３６】
2004259218.tif 000059
【図３７】
2004259218.tif 000060
【図３８】
2004259218.tif 000061
【図３９】
2004259218.tif 000062
【図４０】
2004259218.tif 000063
【図４１】
2004259218.tif 000064
【図４２】
2004259218.tif 000065
【図４３】
2004259218.tif 000066
【図４４】
2004259218.tif 000067
【図４５】
2004259218.tif 000068
【図４６】
2004259218.tif 000069
【図４７】
2004259218.tif 000070