(57)【特許請求の範囲】
【請求項１】
１つの第１の画面を、時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように分割し、複数の分割画面を出力する分割手段と、
前記分割手段により分割された複数の前記分割画面の時間的に隣り合う画素の成分の相関に基づいて、前記画素の成分が時間方向に不連続に変化する、複数の前記分割画面の境界を各画素毎に検出する検出手段と、
前記第１の画面の注目画素における前記検出手段により検出された前記境界の前および後のうちいずれか一方の前記分割画面の前記画素の成分を積算することにより画素値を生成する生成手段と、
注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量を画素毎に検出する動き量検出手段と、
第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が前記動き量検出手段により動いていると検出されたとき、前記生成手段により、前記注目画素に対応する前記境界の前の前記分割画面の画素の成分の積算により生成された前記画素値は前景に属すると判定する判定手段と
を備え、
前記分割手段は、
前記第２の画面と前記第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、前記第１の画面の画素値との相関の大きい方の画素値の成分に基づき、前記相関の大きい方の画素値の画面側の前記分割画面の画素の成分としての第１の画素の成分を生成するとともに、前記第１の画面の画素値から前記分割画面の前記第１の画素の成分を減算した値を、前記相関の小さい方の画素値の画面側の前記分割画面の画素の成分となる第２の画素の成分として生成するか、または、
前記第１の画面に相当する時間方向の解像度を有する生徒画像と、前記複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、前記教師画像内の各注目画素の位置周辺に配される前記生徒画像内の複数の画素の画素値と予測係数との積和演算により前記教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、前記第１の画面内の複数の画素の画素値と前記予測係数との積和演算により、前記複数の分割画面内の画素の画素値を予測することにより、前記複数の分割画面を出力する
ことを特徴とする画像処理装置。
【請求項２】
前記分割手段は、１つの前記第１の画面を、動き量以上の数の前記分割画面に分割する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記画素の成分の差分の絶対値を前記相関として算出し、前記絶対値が最大の位置を前記分割画面の前記境界として検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記分割画面の分割数、および前記境界の位置に応じて、背景の成分の数を、前景の成分の数と背景の成分の数の和で除算し、混合比を算出する算出手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記分割手段は、前記第１の画面に隣接する第２の画面と第３の画面の対応する画素の画素値のうち、前記第１の画面の画素値との相関の大きい方の画素値の１／２の値が、前記相関の大きい方の画素値の画面側の前記分割画面の画素の成分となる第１の画素の成分を生成するとともに、前記第１の画面の画素値から前記分割画面の前記第１の画素の成分を減算した値が、前記相関の小さい方の画素値の画面側の前記分割画面の画素の成分となる第２の画素の成分を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記分割手段は、前記第１の画面または前記分割画面を２つに分割する処理を繰り返し、前記第１の画面を２の累乗の前記分割画面に分割する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
１つの画面を、時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように分割し、複数の分割画面を出力する分割ステップと、
前記分割ステップの処理により分割された複数の前記分割画面の時間的に隣り合う画素の成分の相関に基づいて、前記画素の成分が時間方向に不連続に変化する、複数の前記分割画面の境界を各画素毎に検出する検出ステップと、
前記第１の画面の注目画素における前記検出ステップの処理により検出された前記境界の前および後のうちいずれか一方の前記分割画面の前記画素の成分を積算することにより画素値を生成する生成ステップと、
注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量を画素毎に検出する動き量検出ステップと、
第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が前記動き量検出手段により動いていると検出されたとき、前記生成ステップの処理により、前記注目画素に対応する前記境界の前の前記分割画面の画素の成分の積算により生成された前記画素値は前景に属すると判定する判定ステップと
を含み、
前記分割ステップの処理は、
前記第２の画面と前記第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、前記第１の画面の画素値との相関の大きい方の画素値の成分に基づき、前記相関の大きい方の画素値の画面側の前記分割画面の画素の成分としての第１の画素の成分を生成するとともに、前記第１の画面の画素値から前記分割画面の前記第１の画素の成分を減算した値を、前記相関の小さい方の画素値の画面側の前記分割画面の画素の成分となる第２の画素の成分として生成するか、または、
前記第１の画面に相当する時間方向の解像度を有する生徒画像と、前記複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、前記教師画像内の各注目画素の位置周辺に配される前記生徒画像内の複数の画素の画素値と予測係数との積和演算により前記教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、前記第１の画面内の複数の画素の画素値と前記予測係数との積和演算により、前記複数の分割画面内の画素の画素値を予測することにより、前記複数の分割画面を出力する
ことを特徴とする画像処理方法。
【請求項８】
１つの画面を、時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように分割し、複数の分割画面を出力する分割ステップと、
前記分割ステップの処理により分割された複数の前記分割画面の時間的に隣り合う画素の成分の相関に基づいて、前記画素の成分が時間方向に不連続に変化する、複数の前記分割画面の境界を各画素毎に検出する検出ステップと、
前記第１の画面の注目画素における前記検出ステップの処理により検出された前記境界の前および後のうちいずれか一方の前記分割画面の前記画素の成分を積算することにより画素値を生成する生成ステップと、
注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量を画素毎に検出する動き量検出ステップと、
第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が前記動き量検出手段により動いていると検出されたとき、前記生成ステップの処理により、前記注目画素に対応する前記境界の前の前記分割画面の画素の成分の積算により生成された前記画素値は前景に属すると判定する判定ステップと
を含み、
前記分割ステップの処理は、
前記第２の画面と前記第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、前記第１の画面の画素値との相関の大きい方の画素値の成分に基づき、前記相関の大きい方の画素値の画面側の前記分割画面の画素の成分としての第１の画素の成分を生成するとともに、前記第１の画面の画素値から前記分割画面の前記第１の画素の成分を減算した値を、前記相関の小さい方の画素値の画面側の前記分割画面の画素の成分となる第２の画素の成分として生成するか、または、
前記第１の画面に相当する時間方向の解像度を有する生徒画像と、前記複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、前記教師画像内の各注目画素の位置周辺に配される前記生徒画像内の複数の画素の画素値と予測係数との積和演算により前記教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、前記第１の画面内の複数の画素の画素値と前記予測係数との積和演算により、前記複数の分割画面内の画素の画素値を予測することにより、前記複数の分割画面を出力する
ことを特徴とする画像処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項９】
１つの画面を、時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように分割し、複数の分割画面を出力する分割ステップと、
前記分割ステップの処理により分割された複数の前記分割画面の時間的に隣り合う画素の成分の相関に基づいて、前記画素の成分が時間方向に不連続に変化する、複数の前記分割画面の境界を各画素毎に検出する検出ステップと、
注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量を画素毎に検出する動き量検出ステップと、
第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が前記動き量検出手段により動いていると検出されたとき、前記生成ステップの処理により、前記注目画素に対応する前記境界の前の前記分割画面の画素の成分の積算により生成された前記画素値は前景に属すると判定する判定ステップと
を含み、
前記分割ステップの処理は、
前記第２の画面と前記第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、前記第１の画面の画素値との相関の大きい方の画素値の成分に基づき、前記相関の大きい方の画素値の画面側の前記分割画面の画素の成分としての第１の画素の成分を生成するとともに、前記第１の画面の画素値から前記分割画面の前記第１の画素の成分を減算した値を、前記相関の小さい方の画素値の画面側の前記分割画面の画素の成分となる第２の画素の成分として生成するか、または、
前記第１の画面に相当する時間方向の解像度を有する生徒画像と、前記複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、前記教師画像内の各注目画素の位置周辺に配される前記生徒画像内の複数の画素の画素値と予測係数との積和演算により前記教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、前記第１の画面内の複数の画素の画素値と前記予測係数との積和演算により、前記複数の分割画面内の画素の画素値を予測することにより、前記複数の分割画面を出力する
画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、センサにより検出した信号と現実世界との違いを考慮した画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
現実世界における事象をセンサで検出し、画像センサが出力するサンプリングデータを処理する技術が広く利用されている。
【０００３】
例えば、静止している所定の背景の前で移動する物体をビデオカメラで撮像して得られる画像には、物体の移動速度が比較的速い場合、動きボケが生じることになる。
【０００４】
【発明が解決しようとする課題】
静止している背景の前で物体が移動するとき、移動する物体の画像自身の混ざり合いによる動きボケのみならず、背景の画像と移動する物体の画像との混ざり合いが生じる。従来は、背景の画像と移動する物体の画像との混ざり合いの状態に対応する処理は、考えられていなかった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、混ざり合いを考慮して、画像を、移動する物体に対応する前景の画像と背景の画像とに分離することができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明の画像処理装置は、１つの第１の画面を、時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように分割し、複数の分割画面を出力する分割手段と、分割手段により分割された複数の分割画面の時間的に隣り合う画素の成分の相関に基づいて、画素の成分が時間方向に不連続に変化する、複数の分割画面の境界を各画素毎に検出する検出手段と、第１の画面の注目画素における検出手段により検出された境界の前および後のうちいずれか一方の分割画面の画素の成分を積算することにより画素値を生成する生成手段と、注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量を画素毎に検出する動き量検出手段と、第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が動き量検出手段により動いていると検出されたとき、生成手段により、注目画素に対応する境界の前の分割画面の画素の成分の積算により生成された画素値は前景に属すると判定する判定手段とを備え、分割手段は、第２の画面と第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、第１の画面の画素値との相関の大きい方の画素値の成分に基づき、相関の大きい方の画素値の画面側の分割画面の画素の成分としての第１の画素の成分を生成するとともに、第１の画面の画素値から分割画面の第１の画素の成分を減算した値を、相関の小さい方の画素値の画面側の分割画面の画素の成分となる第２の画素の成分として生成するか、または、第１の画面に相当する時間方向の解像度を有する生徒画像と、複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、教師画像内の各注目画素の位置周辺に配される生徒画像内の複数の画素の画素値と予測係数との積和演算により教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、第１の画面内の複数の画素の画素値と予測係数との積和演算により、複数の分割画面内の画素の画素値を予測することにより、複数の分割画面を出力することを特徴とする。
【０００７】
分割手段は、１つの第１の画面を、動き量以上の数の分割画面に分割するようにすることができる。
【０００８】
検出手段は、画素の成分の差分の絶対値を相関として算出し、絶対値が最大の位置を分割画面の境界として検出するようにすることができる。
【０００９】
分割画面の分割数、および境界の位置に応じて、背景の成分の数を、前景の成分の数と背景の成分の数の和で除算し、混合比を算出する算出手段をさらに備えることができる。
【００１０】
分割手段は、第１の画面に隣接する第２の画面と第３の画面の対応する画素の画素値のうち、第１の画面の画素値との相関の大きい方の画素値の１／２の値が、相関の大きい方の画素値の画面側の分割画面の画素の成分となる第１の画素の成分を生成するとともに、第１の画面の画素値から分割画面の第１の画素の成分を減算した値が、相関の小さい方の画素値の画面側の分割画面の画素の成分となる第２の画素の成分を生成するようにすることができる。
【００１１】
分割手段は、第１の画面または分割画面を２つに分割する処理を繰り返し、第１の画面を２の累乗の分割画面に分割するようにすることができる。
【００１２】
本発明の画像処理方法は、１つの画面を、時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように分割し、複数の分割画面を出力する分割ステップと、分割ステップの処理により分割された複数の分割画面の時間的に隣り合う画素の成分の相関に基づいて、画素の成分が時間方向に不連続に変化する、複数の分割画面の境界を各画素毎に検出する検出ステップと、第１の画面の注目画素における検出ステップの処理により検出された境界の前および後のうちいずれか一方の分割画面の画素の成分を積算することにより画素値を生成する生成ステップと、注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量を画素毎に検出する動き量検出ステップと、第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が動き量検出手段により動いていると検出されたとき、生成ステップの処理により、注目画素に対応する境界の前の分割画面の画素の成分の積算により生成された画素値は前景に属すると判定する判定ステップとを含み、分割ステップの処理は、第２の画面と第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、第１の画面の画素値との相関の大きい方の画素値の成分に基づき、相関の大きい方の画素値の画面側の分割画面の画素の成分としての第１の画素の成分を生成するとともに、第１の画面の画素値から分割画面の第１の画素の成分を減算した値を、相関の小さい方の画素値の画面側の分割画面の画素の成分となる第２の画素の成分として生成するか、または、第１の画面に相当する時間方向の解像度を有する生徒画像と、複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、教師画像内の各注目画素の位置周辺に配される生徒画像内の複数の画素の画素値と予測係数との積和演算により教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、第１の画面内の複数の画素の画素値と予測係数との積和演算により、複数の分割画面内の画素の画素値を予測することにより、複数の分割画面を出力することを特徴とする。
【００１３】
本発明の記録媒体のプログラムは、１つの画面を、時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように分割し、複数の分割画面を出力する分割ステップと、分割ステップの処理により分割された複数の分割画面の時間的に隣り合う画素の成分の相関に基づいて、画素の成分が時間方向に不連続に変化する、複数の分割画面の境界を各画素毎に検出する検出ステップと、第１の画面の注目画素における検出ステップの処理により検出された境界の前および後のうちいずれか一方の分割画面の画素の成分を積算することにより画素値を生成する生成ステップと、注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量を画素毎に検出する動き量検出ステップと、第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が動き量検出手段により動いていると検出されたとき、生成ステップの処理により、注目画素に対応する境界の前の分割画面の画素の成分の積算により生成された画素値は前景に属すると判定する判定ステップとを含み、分割ステップの処理は、第２の画面と第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、第１の画面の画素値との相関の大きい方の画素値の成分に基づき、相関の大きい方の画素値の画面側の分割画面の画素の成分としての第１の画素の成分を生成するとともに、第１の画面の画素値から分割画面の第１の画素の成分を減算した値を、相関の小さい方の画素値の画面側の分割画面の画素の成分となる第２の画素の成分として生成するか、または、第１の画面に相当する時間方向の解像度を有する生徒画像と、複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、教師画像内の各注目画素の位置周辺に配される生徒画像内の複数の画素の画素値と予測係数との積和演算により教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、第１の画面内の複数の画素の画素値と予測係数との積和演算により、複数の分割画面内の画素の画素値を予測することにより、複数の分割画面を出力することを特徴とする。
【００１４】
本発明のプログラムは、１つの画面を、時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように分割し、複数の分割画面を出力する分割ステップと、分割ステップの処理により分割された複数の分割画面の時間的に隣り合う画素の成分の相関に基づいて、画素の成分が時間方向に不連続に変化する、複数の分割画面の境界を各画素毎に検出する検出ステップと、第１の画面の注目画素における検出ステップの処理により検出された境界の前および後のうちいずれか一方の分割画面の画素の成分を積算することにより画素値を生成する生成ステップと、注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量を画素毎に検出する動き量検出ステップと、第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が動き量検出手段により動いていると検出されたとき、生成ステップの処理により、注目画素に対応する境界の前の分割画面の画素の成分の積算により生成された画素値は前景に属すると判定する判定ステップとを含み、分割ステップの処理は、第２の画面と第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、第１の画面の画素値との相関の大きい方の画素値の成分に基づき、相関の大きい方の画素値の画面側の分割画面の画素の成分としての第１の画素の成分を生成するとともに、第１の画面の画素値から分割画面の第１の画素の成分を減算した値を、相関の小さい方の画素値の画面側の分割画面の画素の成分となる第２の画素の成分として生成するか、または、第１の画面に相当する時間方向の解像度を有する生徒画像と、複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、教師画像内の各注目画素の位置周辺に配される生徒画像内の複数の画素の画素値と予測係数との積和演算により教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、第１の画面内の複数の画素の画素値と予測係数との積和演算により、複数の分割画面内の画素の画素値を予測することにより、複数の分割画面を出力する画像処理をコンピュータに実行させることを特徴とする。
【００１５】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、第１の画面に隣接し時間的に前である第２の画面と第１の画面に隣接し時間的に後である第３の画面の対応する画素の画素値のうち、第１の画面の画素値との相関の大きい方の画素値の成分に基づき、相関の大きい方の画素値の画面側の分割画面の画素の成分としての第１の画素の成分を生成するとともに、第１の画面の画素値から分割画面の第１の画素の成分を減算した値を、相関の小さい方の画素値の画面側の分割画面の画素の成分となる第２の画素の成分として生成するか、または、第１の画面に相当する時間方向の解像度を有する生徒画像と、複数の分割画面に相当する時間方向の解像度を有する教師画像との間で、教師画像内の各注目画素の位置周辺に配される生徒画像内の複数の画素の画素値と予測係数との積和演算により教師画像内の注目画素の画素値を予測できるような予測係数が予め学習されており、第１の画面内の複数の画素の画素値と予測係数との積和演算により、複数の分割画面内の画素の画素値を予測することにより、第１の画面から時間方向に等間隔で、且つ、時間の流れに沿って画素の成分が並ぶように複数の分割画面が出力され、分割された複数の分割画面の時間的に隣り合う画素の成分の相関に基づいて、画素の成分が時間方向に不連続に変化する、複数の分割画面の境界が各画素毎に検出され、第１の画面の注目画素における検出された境界の前および後のうちいずれか一方の分割画面の画素の成分を積算することにより画素値が生成され、注目画面及び当該注目画面の周辺に位置する周辺画面の対応する画素の画素値に応じて、当該注目画面の動き量が画素毎に検出され、第１の画面中の注目画素に対応する位置に配される、第１の画面に隣接し時間的に前である第２の画面の画素が動き量検出手段により動いていると検出されたとき、注目画素に対応する境界の前の分割画面の画素の成分の積算により生成された画素値は前景に属すると判定される。
【００１６】
【発明の実施の形態】
図１は、本発明に係る画像処理装置の一実施の形態を示す図である。CPU（Central Processing Unit）２１は、ROM（Read Only Memory）２２、または記憶部２８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２３には、CPU２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU２１、ROM２２、およびRAM２３は、バス２４により相互に接続されている。
【００１７】
CPU２１にはまた、バス２４を介して入出力インタフェース２５が接続されている。入出力インタフェース２５には、キーボード、マウス、マイクロホンなどよりなる入力部２６、ディスプレイ、スピーカなどよりなる出力部２７が接続されている。CPU２１は、入力部２６から入力される指令に対応して各種の処理を実行する。そして、CPU２１は、処理の結果得られた画像や音声等を出力部２７に出力する。
【００１８】
入出力インタフェース２５に接続されている記憶部２８は、例えばハードディスクなどで構成され、CPU２１が実行するプログラムや各種のデータを記憶する。通信部２９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２９はセンサの出力を取り込む取得部として働く。
【００１９】
また、通信部２９を介してプログラムを取得し、記憶部２８に記憶してもよい。
【００２０】
入出力インタフェース２５に接続されているドライブ３０は、磁気ディスク５１、光ディスク５２、光磁気ディスク５３、或いは半導体メモリ５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２８に転送され、記憶される。
【００２１】
図２は、画像処理装置を示すブロック図である。
【００２２】
なお、画像処理装置の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えても良い。
【００２３】
この明細書では、撮像の対象となる、現実世界におけるオブジェクトに対応する画像を、画像オブジェクトと称する。
【００２４】
画像処理装置に供給された入力画像は、オブジェクト抽出部１０１および前景背景分離部１０３に供給される。
【００２５】
オブジェクト抽出部１０１は、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１０２に供給する。オブジェクト抽出部１０１は、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出する。
【００２６】
オブジェクト抽出部１０１は、入力画像に含まれる背景のオブジェクトに対応する画像オブジェクトを粗く抽出して、抽出した画像オブジェクトを動き検出部１０２に供給する。オブジェクト抽出部１０１は、例えば、入力画像と、抽出された前景のオブジェクトに対応する画像オブジェクトとの差から、背景のオブジェクトに対応する画像オブジェクトを粗く抽出する。
【００２７】
また、例えば、オブジェクト抽出部１０１は、内部に設けられている背景メモリに記憶されている背景の画像と、入力画像との差から、前景のオブジェクトに対応する画像オブジェクト、および背景のオブジェクトに対応する画像オブジェクトを粗く抽出するようにしてもよい。
【００２８】
動き検出部１０２は、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きベクトルを算出して、算出した動きベクトルおよび動きベクトルの位置情報（動きベクトルに対応する画素の位置を特定する情報）を動きボケ調整部１０４に供給する。
【００２９】
動き検出部１０２が出力する動きベクトルには、動き量vに対応する情報が含まれている。
【００３０】
また、例えば、動き検出部１０２は、画像オブジェクトに画素を特定する画素位置情報と共に、画像オブジェクト毎の動きベクトルを動きボケ調整部１０４に出力するようにしてもよい。
【００３１】
動き量vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量vは、４とされる。
【００３２】
なお、オブジェクト抽出部１０１および動き検出部１０２は、動いているオブジェクトに対応した動きボケ量の調整を行う場合に必要となる。
【００３３】
前景背景分離部１０３は、時間方向に、入力画像の各フレームを所定の数に分割する。前景背景分離部１０３は、分割されたフレームを基に、前景と背景との境界を検出し、検出された境界を基に、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみから成る前景成分画像と、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）のみから成る背景成分画像とに入力画像を分離する。前景背景分離部１０３は、前景成分画像を動きボケ調整部１０４に供給し、背景成分画像を背景補正部１０５に供給する。
【００３４】
前景背景分離部１０３は、入力画像の画素のそれぞれを、前景領域、背景領域、または混合領域のいずれかに特定し、画素毎に前景領域、背景領域、または混合領域のいずれかに属するかを示す情報（以下、領域情報と称する）を動きボケ調整部１０４に供給する。
【００３５】
また、前景背景分離部１０３は、分割されたフレームを基に、画素値における、背景の成分の割合を示す混合比を算出する。以下、画素に対応する混合比を、混合比αと称する。
【００３６】
なお、分離された前景成分画像を最終的な出力とすることも考えられる。従来の混合領域を考慮しないで前景と背景だけを特定し、分離していた方式に比べ正確な前景と背景を得ることが出来る。
【００３７】
また、領域情報または混合比αを最終的な出力とするようにしてもよい。
【００３８】
動きボケ調整部１０４は、動きベクトルからわかる動き量vおよび領域情報を基に、前景成分画像に含まれる１以上の画素を示す処理単位を決定する。処理単位は、動きボケの量の調整の処理の対象となる１群の画素を指定するデータである。
【００３９】
動きボケ調整部１０４は、画像処理装置に入力された動きボケ調整量、前景背景分離部１０３から供給された前景成分画像、動き検出部１０２から供給された動きベクトルおよびその位置情報、並びに処理単位を基に、前景成分画像に含まれる動きボケを除去する、動きボケの量を減少させる、または動きボケの量を増加させるなど前景成分画像に含まれる動きボケの量を調整して、動きボケの量を調整した前景成分画像を前景背景合成部１０６に出力する。動きベクトルとその位置情報は使わないこともある。
【００４０】
動きボケ調整部１０４は、動きボケの調整の処理の内容を示すデータを背景補正部１０５に供給する。動きボケ調整部１０４が背景補正部１０５に供給する、動きボケの調整の処理の内容を示すデータは、例えば、動きボケが調整された前景の画素の位置、または動きボケの調整の量を示す。
【００４１】
ここで、動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、センサの撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。
【００４２】
背景補正部１０５は、動きボケ調整部１０４から供給された、動きボケの調整の処理の内容を示すデータを基に、前景背景分離部１０３から供給された背景成分画像のうち、入力画像の混合領域から分離された背景の成分の画像のゲインを調整する。すなわち、背景補正部１０５は、前景背景合成部１０６において、前景成分画像と背景成分画像とを合成できるように、動きボケ調整部１０４が出力する、動きボケが調整された前景成分画像に対応するように、背景成分画像のゲインを調整する。
【００４３】
前景背景合成部１０６は、動きボケ調整部１０４から供給された、動きボケが調整された前景成分画像、および背景補正部１０５から供給された、補正された背景成分画像を合成し、合成した画像を出力画像として出力する。
【００４４】
動きボケ調整部１０４が、動きボケを含む、動きボケが調整された前景成分画像を出力したとき、前景背景合成部１０６は、前景成分画像と背景成分画像との合成により、新たな混合領域を有する画像を合成する。
【００４５】
次に、図３乃至図１８を参照して、画像処理装置に供給される入力画像について説明する。
【００４６】
図３は、センサによる撮像を説明する図である。センサは、例えば、固体撮像素子であるCCD（Charge-Coupled Device）エリアセンサを備えたCCDビデオカメラなどで構成される。現実世界における、前景に対応するオブジェクトは、現実世界における、背景に対応するオブジェクトと、センサとの間を、例えば、図中の左側から右側に水平に移動する。
【００４７】
センサは、前景に対応するオブジェクトを、背景に対応するオブジェクトと共に撮像する。センサは、撮像した画像を１フレーム単位で出力する。例えば、センサは、１秒間に３０フレームから成る画像を出力する。センサの露光時間は、１／３０秒とすることができる。露光時間は、センサが入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
【００４８】
図４は、画素の配置を説明する図である。図４中において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ上に配置されている。センサが画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
【００４９】
図５に示すように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。
【００５０】
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。
【００５１】
画像処理装置は、前景の画像オブジェクト自身が混ざり合うことによる生ずる歪みの量、例えば、動きボケの量などを調整する。また、画像処理装置は、前景の画像オブジェクトと背景の画像オブジェクトとが混ざり合うことにより生ずる歪みの量を調整する。
【００５２】
図６は、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図６（Ａ）は、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図６（Ａ）に示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。
【００５３】
図６（Ｂ）は、図６（Ａ）に示す画像の１つのラインに対応する画素値を時間方向に展開したモデル図である。図６（Ｂ）の横方向は、図６（Ａ）の空間方向Ｘに対応している。
【００５４】
背景領域の画素は、背景の成分、すなわち、背景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。前景領域の画素は、前景の成分、すなわち、前景のオブジェクトに対応する画像の成分のみから、その画素値が構成されている。
【００５５】
混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、さらに、カバードバックグラウンド領域およびアンカバードバックグラウンド領域に分類される。
【００５６】
カバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。
【００５７】
これに対して、アンカバードバックグラウンド領域は、前景領域に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。
【００５８】
このように、前景領域、背景領域、またはカバードバックグラウンド領域若しくはアンカバードバックグラウンド領域を含む画像が、前景背景分離部１０３に入力画像として入力される。
【００５９】
図７は、以上のような、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。図６に示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。
【００６０】
図８は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【００６１】
図８に示すF01乃至F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図８に示すB01乃至B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。
【００６２】
図８における縦方向は、時間に対応し、図中の上から下に向かって時間が経過する。図８中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図８中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図８中の矩形の上辺から下辺までの距離は、シャッタ時間に対応する。
【００６３】
以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。
【００６４】
図８における横方向は、図６で説明した空間方向Xに対応する。より具体的には、図８に示す例において、図８中の”F01”と記載された矩形の左辺から”B04”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。
【００６５】
前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサに入力される光は変化しない。
【００６６】
ここで、シャッタ時間に対応する期間を２つ以上の同じ長さの期間に分割する。例えば、仮想分割数を４とすると、図８に示すモデル図は、図９に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャッタ時間内での動き量vなどに対応して設定される。例えば、４である動き量vに対応して、仮想分割数は、４とされ、シャッタ時間に対応する期間は４つに分割される。
【００６７】
図中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。
【００６８】
以下、動き量vに対応して分割されたシャッタ時間をシャッタ時間/vとも称する。
【００６９】
前景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、前景の成分F01/vは、画素値F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分F02/vは、画素値F02を仮想分割数で除した値に等しく、前景の成分F03/vは、画素値F03を仮想分割数で除した値に等しく、前景の成分F04/vは、画素値F04を仮想分割数で除した値に等しい。
【００７０】
背景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分B01/vは、画素値B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分B02/vは、画素値B02を仮想分割数で除した値に等しく、B03/vは、画素値B03を仮想分割数で除した値に等しく、B04/vは、画素値B04を仮想分割数で除した値に等しい。
【００７１】
すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間/vに対応する前景の成分F01/vと、シャッタが開いて２番目の、シャッタ時間/vに対応する前景の成分F01/vと、シャッタが開いて３番目の、シャッタ時間/vに対応する前景の成分F01/vと、シャッタが開いて４番目の、シャッタ時間/vに対応する前景の成分F01/vとは、同じ値となる。F02/v乃至F04/vも、F01/vと同様の関係を有する。
【００７２】
背景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間/vに対応する背景の成分B01/vと、シャッタが開いて２番目の、シャッタ時間/vに対応する背景の成分B01/vと、シャッタが開いて３番目の、シャッタ時間/vに対応する背景の成分B01/vと、シャッタが開いて４番目の、シャッタ時間/vに対応する背景の成分B01/vとは、同じ値となる。B02/v乃至B04/vも、同様の関係を有する。
【００７３】
次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。
【００７４】
図１０は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図１０において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図１０において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。
【００７５】
図１０において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図１０において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図１０において、最も右側の画素は、背景領域に属する。
【００７６】
前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。
【００７７】
例えば、図１０中に太線枠を付した画素値Mは、式（１）で表される。
【００７８】
M=B02/v+B02/v+F07/v+F06/v            （１）
【００７９】
例えば、左から５番目の画素は、１つのシャッタ時間/vに対応する背景の成分を含み、３つのシャッタ時間/vに対応する前景の成分を含むので、左から５番目の画素の混合比αは、1/4である。
【００８０】
左から６番目の画素は、２つのシャッタ時間/vに対応する背景の成分を含み、２つのシャッタ時間/vに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、３つのシャッタ時間/vに対応する背景の成分を含み、１つのシャッタ時間/vに対応する前景の成分を含むので、左から７番目の画素の混合比αは、3/4である。
【００８１】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１０中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分F07/vは、図１０中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、前景の成分F07/vは、図１０中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１０中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【００８２】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１０中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分F06/vは、図１０中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、前景の成分F06/vは、図１０中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１０中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【００８３】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１０中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分F05/vは、図１０中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間/vのに対応する前景の成分に等しい。同様に、前景の成分F05/vは、図１０中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１０中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【００８４】
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図１０中の最も左側の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分F04/vは、図１０中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、前景の成分F04/vは、図１０中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１０中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【００８５】
動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。
【００８６】
図１１は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図１１において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図１１において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。
【００８７】
図１１において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図１１において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図１１において、最も右側の画素は、前景領域に属する。
【００８８】
背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。
【００８９】
例えば、図１１中に太線枠を付した画素値M'は、式（２）で表される。
【００９０】
M'=F02/v+F01/v+B26/v+B26/v            （２）
【００９１】
例えば、左から５番目の画素は、３つのシャッタ時間/vに対応する背景の成分を含み、１つのシャッタ時間/vに対応する前景の成分を含むので、左から５番目の画素の混合比αは、3/4である。左から６番目の画素は、２つのシャッタ時間/vに対応する背景の成分を含み、２つのシャッタ時間/vに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、１つのシャッタ時間/vに対応する背景の成分を含み、３つのシャッタ時間/vに対応する前景の成分を含むので、左から７番目の画素の混合比αは、1/4である。
【００９２】
式（１）および式（２）をより一般化すると、画素値Mは、式（３）で表される。
【００９３】
【数１】
0004088819.tif 000002
ここで、αは、混合比である。Ｂは、背景の画素値であり、Fi/vは、前景の成分である。
【００９４】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図１１中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分F01/vは、図１１中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、F01/vは、図１１中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分と、図１１中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間/vに対応する前景の成分とに、それぞれ等しい。
【００９５】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図１１中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分F02/vは、図１１中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。同様に、前景の成分F02/vは、図１１中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間/vに対応する前景の成分に等しい。
【００９６】
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図１１中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分F03/vは、図１１中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間/vに対応する前景の成分に等しい。
【００９７】
図９乃至図１１の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量vに対応する。動き量vは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量vは、４とされる。動き量vに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量vは、６とされ、仮想分割数は、６とされる。
【００９８】
図１２および図１３に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャッタ時間に対応する前景の成分および背景の成分との関係を示す。
【００９９】
図１２は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図１２に示す例において、前景に対応するオブジェクトは、画面に対して水平に移動している。
【０１００】
フレーム#n+1は、フレーム#nの次のフレームであり、フレーム#n+2は、フレーム#n+1の次のフレームである。
【０１０１】
フレーム#n乃至フレーム#n+2のいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量vを４として、抽出された画素の画素値を時間方向に展開したモデルを図１３に示す。
【０１０２】
前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャッタ時間/vの期間に対応する、４つの異なる前景の成分から構成される。例えば、図１３に示す前景領域の画素のうち最も左側に位置する画素は、F01/v,F02/v,F03/v、およびF04/vから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。
【０１０３】
背景に対応するオブジェクトが静止しているので、シャッタ時間に対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。
【０１０４】
カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。
【０１０５】
次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
【０１０６】
図１４は、静止している背景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。フレーム#nは、フレーム#n-1の次のフレームであり、フレーム#n+1は、フレーム#nの次のフレームである。他のフレームも同様に称する。
【０１０７】
図１４に示すB01乃至B12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、フレーム#n-1乃至フレームn+1において、対応する画素の画素値は、変化しない。例えば、フレーム#n-1におけるB05の画素値を有する画素の位置に対応する、フレーム#nにおける画素、およびフレーム#n+1における画素は、それぞれ、B05の画素値を有する。
【０１０８】
図１５は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図１５に示すモデルは、カバードバックグラウンド領域を含む。
【０１０９】
図１５において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、前景の動き量vは、４であり、仮想分割数は、４である。
【０１１０】
例えば、図１５中のフレーム#n-1の最も左側の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F12/vとなり、図１５中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F12/vとなる。図１５中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図１５中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F12/vとなる。
【０１１１】
図１５中のフレーム#n-1の最も左側の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分は、F11/vとなり、図１５中の左から２番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分も、F11/vとなる。図１５中の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F11/vとなる。
【０１１２】
図１５中のフレーム#n-1の最も左側の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分は、F10/vとなり、図１５中の左から２番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分も、F10/vとなる。図１５中のフレーム#n-1の最も左側の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F09/vとなる。
【０１１３】
背景に対応するオブジェクトが静止しているので、図１５中のフレーム#n-1の左から２番目の画素の、シャッタが開いて最初のシャッタ時間/vの背景の成分は、B01/vとなる。図１５中のフレーム#n-1の左から３番目の画素の、シャッタが開いて最初および２番目のシャッタ時間/vの背景の成分は、B02/vとなる。図１５中のフレーム#n-1の左から４番目の画素の、シャッタが開いて最初乃至３番目のシャッタ時間/vの背景の成分は、B03/vとなる。
【０１１４】
図１５中のフレーム#n-1において、最も左側の画素は、前景領域に属し、左側から２番目乃至４番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【０１１５】
図１５中のフレーム#n-1の左から５番目の画素乃至１２番目の画素は、背景領域に属し、その画素値は、それぞれ、B04乃至B11となる。
【０１１６】
図１５中のフレーム#nの左から１番目の画素乃至５番目の画素は、前景領域に属する。フレーム#nの前景領域における、シャッタ時間/vの前景の成分は、F05/v乃至F12/vのいずれかである。
【０１１７】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１５中のフレーム#nの左から５番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F12/vとなり、図１５中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F12/vとなる。図１５中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図１５中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F12/vとなる。
【０１１８】
図１５中のフレーム#nの左から５番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分は、F11/vとなり、図１５中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分も、F11/vとなる。図１５中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F11/vとなる。
【０１１９】
図１５中のフレーム#nの左から５番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分は、F10/vとなり、図１５中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分も、F10/vとなる。図１５中のフレーム#nの左から５番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F09/vとなる。
【０１２０】
背景に対応するオブジェクトが静止しているので、図１５中のフレーム#nの左から６番目の画素の、シャッタが開いて最初のシャッタ時間/vの背景の成分は、B05/vとなる。図１５中のフレーム#nの左から７番目の画素の、シャッタが開いて最初および２番目のシャッタ時間/vの背景の成分は、B06/vとなる。図１５中のフレーム#nの左から８番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間/vの背景の成分は、B07/vとなる。
【０１２１】
図１５中のフレーム#nにおいて、左側から６番目乃至８番目の画素は、カバードバックグラウンド領域である混合領域に属する。
【０１２２】
図１５中のフレーム#nの左から９番目の画素乃至１２番目の画素は、背景領域に属し、画素値は、それぞれ、B08乃至B11となる。
【０１２３】
図１５中のフレーム#n+1の左から１番目の画素乃至９番目の画素は、前景領域に属する。フレーム#n+1の前景領域における、シャッタ時間/vの前景の成分は、F01/v乃至F12/vのいずれかである。
【０１２４】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１５中のフレーム#n+1の左から９番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F12/vとなり、図１５中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F12/vとなる。図１５中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図１５中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F12/vとなる。
【０１２５】
図１５中のフレーム#n+1の左から９番目の画素の、シャッタが開いて２番目のシャッタ時間/vの期間の前景の成分は、F11/vとなり、図１５中の左から１０番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分も、F11/vとなる。図１５中の左から１１番目の画素の、シャッタが開いて４番目の、シャッタ時間/vの前景の成分は、F11/vとなる。
【０１２６】
図１５中のフレーム#n+1の左から９番目の画素の、シャッタが開いて３番目の、シャッタ時間/vの前景の成分は、F10/vとなり、図１５中の左から１０番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分も、F10/vとなる。図１５中のフレーム#n+1の左から９番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F09/vとなる。
【０１２７】
背景に対応するオブジェクトが静止しているので、図１５中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間/vの背景の成分は、B09/vとなる。図１５中のフレーム#n+1の左から１１番目の画素の、シャッタが開いて最初および２番目のシャッタ時間/vの背景の成分は、B10/vとなる。図１５中のフレーム#n+1の左から１２番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間/vの背景の成分は、B11/vとなる。
【０１２８】
図１５中のフレーム#n+1において、左側から１０番目乃至１２番目の画素は、カバードバックグラウンド領域である混合領域に対応する。
【０１２９】
図１６は、図１５に示す画素値から前景の成分を抽出した画像のモデル図である。
【０１３０】
図１７は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図１７において、アンカバードバックグラウンド領域が含まれている。
【０１３１】
図１７において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて４画素分右側に表示されるように移動しているので、動き量vは、４である。
【０１３２】
例えば、図１７中のフレーム#n-1の最も左側の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分は、F13/vとなり、図１７中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F13/vとなる。図１７中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図１７中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F13/vとなる。
【０１３３】
図１７中のフレーム#n-1の左から２番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F14/vとなり、図１７中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F14/vとなる。図１７中の左から３番目の画素の、シャッタが開いて最初の、シャッタ時間/vの前景の成分は、F15/vとなる。
【０１３４】
背景に対応するオブジェクトが静止しているので、図１７中のフレーム#n-1の最も左側の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間/vの背景の成分は、B25/vとなる。図１７中のフレーム#n-1の左から２番目の画素の、シャッタが開いて３番目および４番目の、シャッタ時間/vの背景の成分は、B26/vとなる。図１７中のフレーム#n-1の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間/vの背景の成分は、B27/vとなる。
【０１３５】
図１７中のフレーム#n-1において、最も左側の画素乃至３番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１３６】
図１７中のフレーム#n-1の左から４番目の画素乃至１２番目の画素は、前景領域に属する。フレームの前景の成分は、F13/v乃至F24/vのいずれかである。
【０１３７】
図１７中のフレーム#nの最も左側の画素乃至左から４番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B28となる。
【０１３８】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１７中のフレーム#nの左から５番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F13/vとなり、図１７中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F13/vとなる。図１７中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図１７中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F13/vとなる。
【０１３９】
図１７中のフレーム#nの左から６番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F14/vとなり、図１７中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F14/vとなる。図１７中の左から８番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F15/vとなる。
【０１４０】
背景に対応するオブジェクトが静止しているので、図１７中のフレーム#nの左から５番目の画素の、シャッタが開いて２番目乃至４番目のシャッタ時間/vの背景の成分は、B29/vとなる。図１７中のフレーム#nの左から６番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間/vの背景の成分は、B30/vとなる。図１７中のフレーム#nの左から７番目の画素の、シャッタが開いて４番目のシャッタ時間/vの背景の成分は、B31/vとなる。
【０１４１】
図１７中のフレーム#nにおいて、左から５番目の画素乃至７番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１４２】
図１７中のフレーム#nの左から８番目の画素乃至１２番目の画素は、前景領域に属する。フレーム#nの前景領域における、シャッタ時間/vの期間に対応する値は、F13/v乃至F20/vのいずれかである。
【０１４３】
図１７中のフレーム#n+1の最も左側の画素乃至左から８番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B32となる。
【０１４４】
前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図１７中のフレーム#n+1の左から９番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F13/vとなり、図１７中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F13/vとなる。図１７中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間/vの前景の成分、および図１７中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間/vの前景の成分は、F13/vとなる。
【０１４５】
図１７中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F14/vとなり、図１７中の左から１１番目の画素の、シャッタが開いて２番目のシャッタ時間/vの前景の成分も、F14/vとなる。図１７中の左から１２番目の画素の、シャッタが開いて最初のシャッタ時間/vの前景の成分は、F15/vとなる。
【０１４６】
背景に対応するオブジェクトが静止しているので、図１７中のフレーム#n+1の左から９番目の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間/vの背景の成分は、B33/vとなる。図１７中のフレーム#n+1の左から１０番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間/vの背景の成分は、B34/vとなる。図１７中のフレーム#n+1の左から１１番目の画素の、シャッタが開いて４番目のシャッタ時間/vの背景の成分は、B35/vとなる。
【０１４７】
図１７中のフレーム#n+1において、左から９番目の画素乃至１１番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。
【０１４８】
図１７中のフレーム#n+1の左から１２番目の画素は、前景領域に属する。フレーム#n+1の前景領域における、シャッタ時間/vの前景の成分は、F13/v乃至F16/vのいずれかである。
【０１４９】
図１８は、図１７に示す画素値から前景の成分を抽出した画像のモデル図である。
【０１５０】
図１９のフローチャートを参照して、画像処理装置による動きボケの量の調整の処理を説明する。ステップＳ１１において、前景背景分離部１０３は、入力画像を、前景成分画像と背景成分画像とに分離する。前景背景分離部１０３は、領域情報と共に、分離された前景成分画像を動きボケ調整部１０４に供給し、分離された背景成分画像を背景補正部１０５に供給する。分離の処理の詳細は、後述する。
【０１５１】
ステップＳ１２において、動きボケ調整部１０４は、動きベクトルおよび領域情報を基に、動き方向に並ぶ連続した画素であって、アンカバードバックグラウンド領域、前景領域、およびカバードバックグラウンド領域のいずれかに属するものの画像上の位置を示す処理単位を生成し、処理単位に対応する前景成分に含まれる動きボケの量を調整する。動きボケの量の調整の処理の詳細については、後述する。
【０１５２】
ステップＳ１３において、背景補正部１０５は、動きボケ調整部１０４から供給された、動きボケの調整の処理の内容を示すデータを基に、動きボケが調整された前景成分画像に対応するように、背景成分画像を補正する。背景補正部１０５は、例えば、動きボケが調整された前景成分画像の新たな混合領域に対応するように、背景成分画像の画素のゲインを補正する。
【０１５３】
ステップＳ１４において、前景背景合成部１０６は、動きボケ調整部１０４から供給された、動きボケが調整された前景成分画像、および背景補正部１０５から供給された、補正された背景成分画像を合成する。例えば、前景背景合成部１０６は、動きボケが調整された前景成分画像の画素の画素値と、補正された背景成分画像の対応する画素の画素値とを加算して、画像を合成する。
【０１５４】
このように、画像処理装置は、前景と背景を分離して、前景に含まれる動きボケの量を調整することができる。すなわち、画像処理装置は、前景の画素の画素値であるサンプルデータに含まれる動きボケの量を調整することができる。
【０１５５】
以下、前景背景分離部１０３および動きボケ調整部１０４のそれぞれの構成について説明する。
【０１５６】
図２０は、前景背景分離部１０３の構成を示すブロック図である。フレームメモリ２０１は、入力画像をフレーム単位で記憶し、注目しているフレームであるフレーム#n、フレーム#nの次のフレーム#n+1、およびフレーム#nの前のフレーム#n-1を動き量検出部２０２に供給する。フレームメモリ２０１は、記憶している、フレーム#n、フレーム#nの次（後）のフレーム#n+1、フレーム#nの前のフレーム#n-1、フレーム#n+1の次（後）のフレーム#n+2、フレーム#n-1の前のフレーム#n-2をフレーム分割部２０３に供給する。
【０１５７】
さらに、フレームメモリ２０１は、フレーム#nの次のフレーム#n+1、およびフレーム#nの前のフレーム#n-1を前景背景境界検出部２０４および前景背景判別部２０６に供給する。
【０１５８】
動き量検出部２０２は、フレームメモリ２０１から供給された、フレーム#n、フレーム#n+1、およびフレーム#n-1を基に、例えば、ブロックマッチング法、勾配法、位相相関法、およびペルリカーシブ法などの手法により、動き量vを算出して、算出した動き量vをフレーム分割部２０３および前景背景判別部２０６に供給する。
【０１５９】
フレーム分割部２０３は、動き量検出部２０２から供給された動き量vに対応して、フレームメモリ２０１から供給された、フレーム#n、フレーム#n+1、フレーム#n-1、フレーム#n+2、およびフレーム#n-2を基に、フレーム#nを、時間方向に等間隔で所定の数に分割する。
【０１６０】
または、フレーム分割部２０３は、フレームメモリ２０１から供給された、フレーム#n、フレーム#n+1、フレーム#n-1、フレーム#n+2、およびフレーム#n-2を基に、フレーム#nを、予め設定された所望の数に、時間方向に等間隔で分割する。
【０１６１】
さらに、外部から信号として供給された分割数を取得し、フレーム分割部２０３は、フレームメモリ２０１から供給された、フレーム#n、フレーム#n+1、フレーム#n-1、フレーム#n+2、およびフレーム#n-2を基に、フレーム#nを、取得した分割数に、時間方向に等間隔で分割するようにしてもよい。
【０１６２】
以下、分割されたフレームを分割フレームと称する。フレームは、１つの画面に対応し、分割フレームは、分割画面に対応する。
【０１６３】
例えば、フレーム分割部２０３は、動き量vが４であるとき、フレーム#nを時間方向に４つに分割し、動き量vが８であるとき、フレーム#nを時間方向に８つに分割する。フレーム分割部２０３は、フレーム#nを時間方向に、動き量vの倍数に分割するようにしてもよい。
【０１６４】
または、例えば、フレーム分割部２０３は、分割の数が予め３２と設定されているとき、フレーム#nを時間方向に３２に分割する。
【０１６５】
さらに、外部から６４である分割数を示す信号が供給されたとき、フレーム分割部２０３は、フレーム#nを時間方向に６４に分割するようにできる。
【０１６６】
フレーム分割部２０３は、分割されたフレーム#nを前景背景境界検出部２０４に供給する。
【０１６７】
前景背景境界検出部２０４は、時間方向に所定の数に分割されたフレーム#nの画素毎に、分割されたフレーム#nにおける、前景の成分と背景の成分との境界を検出する。前景背景境界検出部２０４は、分割されたフレーム#nと共に、前景の成分と背景の成分との境界を示す境界情報を画素値生成部２０５に供給する。
【０１６８】
画素値生成部２０５は、前景の成分と背景の成分との境界を示す境界情報、および時間方向に所定の数に分割されたフレーム#nを基に、前景の成分に対応する画素値、および背景の成分に対応する画素値を生成する。画素値生成部２０５は、前景の成分に対応する画素値、および背景の成分に対応する画素値を前景背景判別部２０６に供給する。
【０１６９】
前景背景判別部２０６は、動き量検出部２０２から供給された動き量vを基に、画素値生成部２０５から供給された画素値を、前景の成分に対応する画素値、および背景の成分に対応する画素値のいずれか一方に判別する。前景背景判別部２０６は、判別された前景の成分に対応する画素値、および背景の成分に対応する画素値を基に、前景成分画像および背景成分画像を生成し、生成した前景成分画像および背景成分画像を出力する。前景背景判別部２０６は、前景の成分に対応する画素値、および背景の成分に対応する画素値の判別を基に、前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を示す領域情報を生成し、生成した領域情報を出力する。
【０１７０】
なお、前景背景判別部２０６は、動き量vを使用せず、画像の空間方向の相関を利用して、画素値生成部２０５から供給された画素値を、前景の成分に対応する画素値、および背景の成分に対応する画素値のいずれか一方に判別するようにしてもよい。
【０１７１】
図２１は、フレーム分割部２０３の構成の一例を示すブロック図である。図２１に構成を示すフレーム分割部２０３において、動き量vは使用されない。
【０１７２】
セレクタ２２１は、フレームメモリ２０１から供給されたフレーム#n-2乃至#n+2、およびフレームメモリ２２６から供給された分割されたフレームのうち、いずれか一方を選択して、選択したフレームをフレームメモリ２２２に供給する。
【０１７３】
セレクタ２２１は、フレームの分割の処理を開始するとき、フレームメモリ２０１から供給されたフレーム#n-2乃至#n+2を、フレームメモリ２２２に供給する。セレクタ２２１は、１つのフレームについて、２回目以降のフレームの分割の処理を実行するとき、フレームメモリ２２６から供給された分割されたフレームをフレームメモリ２２２に供給する。
【０１７４】
フレームメモリ２２２は、セレクタ２２１から供給されたフレームを記憶し、記憶している処理の対象となる処理フレームを相関検出部２２３−１および２２３−２、並びにフレーム分割処理部２２５に供給する。フレームメモリ２２２は、処理フレームの前のフレームを相関検出部２２３−１およびフレーム分割処理部２２５に供給する。フレームメモリ２２２は、処理フレームの後（次）のフレームを相関検出部２２３−２およびフレーム分割処理部２２５に供給する。
【０１７５】
相関検出部２２３−１は、フレームメモリ２２２から供給された処理フレーム、および処理フレームの前のフレームについて、対応する位置の画素毎に相関値を算出する。相関検出部２２３−１は、例えば、相関値として、処理フレームの画素の画素値と、処理フレームの前のフレームの対応する位置の画素の画素値との差の絶対値を算出する。相関検出部２２３−１は、算出した相関値を相関比較部２２４に供給する。
【０１７６】
相関検出部２２３−２は、フレームメモリ２２２から供給された処理フレーム、および処理フレームの後のフレームについて、対応する位置の画素毎に相関値を算出する。相関検出部２２３−２は、例えば、相関値として、処理フレームの画素の画素値と、処理フレームの後のフレームの対応する位置の画素の画素値との差の絶対値を算出する。相関検出部２２３−２は、算出した相関値を相関比較部２２４に供給する。
【０１７７】
なお、相関検出部２２３−１および２２３−２は、画素値の差の自乗、または画素値の相互相関などを相関値として検出することができる。
【０１７８】
相関比較部２２４は、相関検出部２２３−１から供給された相関値、および相関検出部２２３−２から供給された相関値とを比較し、より相関の強い値を選択する。相関比較部２２４は、選択の結果を示す情報をフレーム分割処理部２２５に供給する。例えば、相関比較部２２４は、相関検出部２２３−１および２２３−２が画素値の差の絶対値を相関値として算出するとき、より小さい相関値を選択する。
【０１７９】
フレーム分割処理部２２５は、相関検出部２２３−１から供給された相関値の示す相関が、相関検出部２２３−２から供給された相関値が示す相関に比較して強いとき、分割フレームのうち、時間的に前の分割フレームの、注目している注目画素に対応する画素に、処理フレームの前のフレームの対応する位置の画素の画素値の１／２を設定し、時間的に後の分割フレームの、注目している注目画素に対応する画素に、処理フレームの注目画素の画素値から処理フレームの前のフレームの対応する位置の画素の画素値の１／２を減算した値を設定する。
【０１８０】
フレーム分割処理部２２５は、相関検出部２２３−２から供給された相関値の示す相関が、相関検出部２２３−１から供給された相関値が示す相関に比較して強いとき、分割フレームのうち、時間的に後の分割フレームの、注目している注目画素に対応する画素に、処理フレームの後のフレームの対応する位置の画素の画素値の１／２を設定し、時間的に前の分割フレームの、注目している注目画素に対応する画素に、処理フレームの注目画素の画素値から処理フレームの後のフレームの対応する位置の画素の画素値の１／２を減じた値を設定する。
【０１８１】
フレーム分割処理部２２５は、このような処理を繰り返して、１つのフレームを２つのフレームに分割する。
【０１８２】
フレーム分割処理部２２５は、２つに分割したフレームをフレームメモリ２２６に供給する。
【０１８３】
フレームメモリ２２６は、２つに分割されたフレームを記憶する。
【０１８４】
フレームメモリ２２６は、さらにフレームを分割するとき、記憶しているフレームをセレクタ２２１に供給する。
【０１８５】
例えば、フレーム#nを４つに分割するとき、フレーム分割部２０３は、２つに分割されたフレーム#n、２つに分割されたフレーム#n-1、および２つに分割されたフレーム#n+1を必要とする。従って、フレーム#n-1、およびフレーム#n+1を上述した処理により２つに分割するには、フレーム分割部２０３は、フレーム#n、フレーム#n-2、およびフレーム#n+2を必要とする。
【０１８６】
フレーム#nを８つに分割するとき、フレーム分割部２０３は、４つに分割されたフレーム#n、４つに分割されたフレーム#n-1、および４つに分割されたフレーム#n+1を必要とする。
【０１８７】
このように、フレーム分割部２０３は、フレーム#nを４つ以上に分割するとき、フレーム#n-2乃至#n+2を基に、フレーム#nを分割する。
【０１８８】
フレーム分割部２０３は、予め定めた数に、フレーム#nを分割したとき、フレームメモリ２２６に記憶されている、分割されたフレームを出力する。
【０１８９】
図２２は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【０１９０】
図２２において、vは、仮想分割数に対応している。
【０１９１】
図２２に示す前景の成分F01/vは、画素値F01に対応する、仮想分割数を５としたときの、静止している前景のオブジェクトに対応する前景の成分である。前景の成分F02/vは、画素値F02に対応する、仮想分割数を５としたときの、静止している前景のオブジェクトに対応する前景の成分である。
【０１９２】
同様に、前景の成分F03/v乃至F20/vのそれぞれは、画素値F03乃至F20のそれぞれに対応する、仮想分割数を５としたときの、静止している前景のオブジェクトに対応する前景の成分である。
【０１９３】
図２２に示す背景の成分B01/vは、画素値B01に対応する、仮想分割数を５としたときの、静止している背景のオブジェクトに対応する背景の成分である。背景の成分B02/vは、画素値B02に対応する、仮想分割数を５としたときの、静止している背景のオブジェクトに対応する背景の成分である。背景の成分B03/vは、画素値B03に対応する、仮想分割数を５としたときの、静止している背景のオブジェクトに対応する背景の成分である。
【０１９４】
背景の成分B24/v乃至B26/vのそれぞれは、画素値B24乃至B26に対応する、仮想分割数を５としたときの、静止している背景のオブジェクトに対応する背景の成分である。
【０１９５】
図中の最も左側に位置する画素の画素値は、M01であり、５つの背景の成分B01/vを含む。左から２番目の画素の画素値は、M02であり、５つの背景の成分B02/vを含む。左から３番目の画素の画素値は、M03であり、５つの背景の成分B03/vを含む。
【０１９６】
左から４番目の画素の画素値は、M04であり、５つの前景の成分F01/vを含む。左から５番目の画素の画素値は、M05であり、５つの前景の成分F02/vを含む。
【０１９７】
左から６番目の画素乃至２３番目の画素の画素値のそれぞれは、M06乃至M23のいずれかであり、５つの前景の成分F03/v乃至５つの前景の成分F20/vのいずれかを含む。
【０１９８】
左から２４番目の画素乃至２６番目の画素の画素値のそれぞれは、M24乃至M26のいずれかであり、５つの背景の成分B24/v乃至５つの背景の成分B26/vのいずれかを含む。
【０１９９】
図２３は、動き量vが５である前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【０２００】
図２３に示す前景の成分F01/vは、画素値F01に対応する、仮想分割数を５としたときの、動き量vが５である前景のオブジェクトに対応する前景の成分である。前景の成分F02/vは、画素値F02に対応する、仮想分割数を５としたときの、動き量vが５である前景のオブジェクトに対応する前景の成分である。
【０２０１】
同様に、前景の成分F03/v乃至F20/vのそれぞれは、画素値F03乃至F20のそれぞれに対応する、仮想分割数を５としたときの、動き量vが５である前景のオブジェクトに対応する前景の成分である。
【０２０２】
図２３に示す背景の成分B01/vは、画素値B01に対応する、仮想分割数を５としたときの、静止している背景のオブジェクトに対応する背景の成分である。背景の成分B02/vは、画素値B02に対応する、仮想分割数を５としたときの、静止している背景のオブジェクトに対応する背景の成分である。背景の成分B03/vは、画素値B03に対応する、仮想分割数を５としたときの、静止している背景のオブジェクトに対応する背景の成分である。
【０２０３】
背景の成分B04/vおよびB05/v並びに背景の成分B22/v乃至B26/vのそれぞれは、画素値B04およびB05並びに画素値B24乃至B26のいずれかに対応する、仮想分割数を５としたときの、静止している背景のオブジェクトに対応する背景の成分である。
【０２０４】
図中の最も左側に位置する画素の画素値は、M01であり、５つの背景の成分B01/vを含む。左から２番目の画素の画素値は、M02であり、１つの前景の成分F01/vおよび４つの背景の成分B02/vを含む。左から３番目の画素の画素値は、M03であり、１つの前景の成分F02/v、１つの前景の成分F01/v、および３つの背景の成分B03/vを含む。
【０２０５】
左から４番目の画素の画素値は、M04であり、１つの前景の成分F03/v、１つの前景の成分F02/v、１つの前景の成分F01/v、および２つの背景の成分B04/vを含む。左から５番目の画素の画素値は、M05であり、１つの前景の成分F04/v、１つの前景の成分F03/v、１つの前景の成分F02/v、１つの前景の成分F01/v、および１つの背景の成分B05/vを含む。
【０２０６】
左から６番目の画素乃至２１番目の画素の画素値のそれぞれは、M06乃至M21のいずれかであり、５つの異なる前景の成分を含む。
【０２０７】
左から２２番目の画素の画素値は、M22であり、１つの背景の成分B22/v、１つの前景の成分F20/v、１つの前景の成分F19/v、１つの前景の成分F18/v、および１つの前景の成分F17/vを含む。左から２３番目の画素の画素値は、M23であり、２つの背景の成分B23/v、１つの前景の成分F20/v、１つの前景の成分F19/v、および１つの前景の成分F18/vを含む。左から２４番目の画素の画素値は、M24であり、３つの背景の成分B24/v、１つの前景の成分F20/v、および１つの前景の成分F19/vを含む。左から２５番目の画素の画素値は、M25であり、４つの背景の成分B25/v、および１つの前景の成分F20/vを含む。左から２６番目の画素の画素値は、M26であり、５つの背景の成分B26/vを含む。
【０２０８】
図２４は、３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を示すモデル図である。
【０２０９】
フレーム#nにおいて、図中の最も左側に位置する画素の画素値は、m1であり、左から２番目に位置する画素の画素値は、m2である。同様に、フレーム#nにおいて、左から３番目に位置する画素乃至２３番目に位置する画素の画素値は、それぞれ、m3乃至m23のいずれかである。
【０２１０】
フレーム#nの１つ前のフレーム#n-1において、図中の最も左側に位置する画素の画素値は、k1であり、左から２番目に位置する画素の画素値は、k2である。同様に、フレーム#n-1において、左から３番目に位置する画素乃至２３番目に位置する画素の画素値は、それぞれ、k3乃至k23のいずれかである。
【０２１１】
フレーム#nの１つ後のフレーム#n+1において、図中の最も左側に位置する画素の画素値は、n1であり、左から２番目に位置する画素の画素値は、n2である。同様に、フレーム#n+1において、左から３番目に位置する画素乃至２３番目に位置する画素の画素値は、それぞれ、n3乃至n23のいずれかである。
【０２１２】
図２４、図２５、および図２８において、図中の最も左側に位置する画素をp1で表し、左から２番目の画素をp2で表す。同様に、図２４、図２５、および図２８において、左から３番目に位置する画素乃至左から２３番目に位置する画素のそれぞれをp3乃至p23のいずれかで表す。
【０２１３】
次に、１つのフレームを時間方向に２つに分割する処理を説明する。
【０２１４】
図２５乃至図２７は、動き量vが４である画像において、１つのフレームを時間方向に２つに分割する処理の例を説明する図である。
【０２１５】
図２５は、時間方向に２つに分割するフレームの例を示す図である。
【０２１６】
フレーム#n-1の画素p1は、１つの前景の成分F01/v、および３つの背景の成分B01/vを含む。フレーム#n-1の画素p2は、１つの前景の成分F02/v、１つの前景の成分F01/v、および２つの背景の成分B02/vを含む。フレーム#n-1の画素p3は、１つの前景の成分F03/v、１つの前景の成分F02/v、１つの前景の成分F01/v、および１つの背景の成分B03/vを含む。
【０２１７】
フレーム#n-1の画素p4乃至画素P12のそれぞれは、４つの異なる前景の成分を含む。
【０２１８】
フレーム#n-1の画素p13は、１つの背景の成分B13/v、１つの前景の成分F12/v、１つの前景の成分F11/v、および１つの前景の成分F10/vを含む。フレーム#n-1の画素p14は、２つの背景の成分B14/v、１つの前景の成分F12/v、および１つの前景の成分F11/vを含む。フレーム#n-1の画素p15は、３つの背景の成分B15/v、および１つの前景の成分F12/vを含む。
【０２１９】
フレーム#n-1の画素p16乃至画素P23のそれぞれは、４つの同一の背景の成分を含む。
【０２２０】
フレーム#nの画素p1乃至画素P4のそれぞれは、４つの同一の背景の成分を含む。
【０２２１】
フレーム#nの画素p5は、１つの前景の成分F01/v、および３つの背景の成分B05/vを含む。フレーム#nの画素p6は、１つの前景の成分F02/v、１つの前景の成分F01/v、および２つの背景の成分B06/vを含む。フレーム#nの画素p7は、１つの前景の成分F03/v、１つの前景の成分F02/v、１つの前景の成分F01/v、および１つの背景の成分B07/vを含む。
【０２２２】
フレーム#nの画素p8乃至画素P16のそれぞれは、４つの異なる前景の成分を含む。
【０２２３】
フレーム#nの画素p17は、１つの背景の成分B17/v、１つの前景の成分F12/v、１つの前景の成分F11/v、および１つの前景の成分F10/vを含む。フレーム#nの画素p18は、２つの背景の成分B18/v、１つの前景の成分F12/v、および１つの前景の成分F11/vを含む。フレーム#nの画素p19は、３つの背景の成分B19/v、および１つの前景の成分F12/vを含む。
【０２２４】
フレーム#nの画素p20乃至画素P23のそれぞれは、４つの同一の背景の成分を含む。
【０２２５】
フレーム#n+1の画素p1乃至画素P8のそれぞれは、４つの同一の背景の成分を含む。
【０２２６】
フレーム#n+1の画素p9は、１つの前景の成分F01/v、および３つの背景の成分B09/vを含む。フレーム#n+1の画素p10は、１つの前景の成分F02/v、１つの前景の成分F01/v、および２つの背景の成分B10/vを含む。フレーム#n+1の画素p11は、１つの前景の成分F03/v、１つの前景の成分F02/v、１つの前景の成分F01/v、および１つの背景の成分B11/vを含む。
【０２２７】
フレーム#n+1の画素p12乃至画素P20のそれぞれは、４つの異なる前景の成分を含む。
【０２２８】
フレーム#n+1の画素p21は、１つの背景の成分B21/v、１つの前景の成分F12/v、１つの前景の成分F11/v、および１つの前景の成分F10/vを含む。フレーム#n+1の画素p22は、２つの背景の成分B22/v、１つの前景の成分F12/v、および１つの前景の成分F11/vを含む。フレーム#n+1の画素p23は、３つの背景の成分B23/v、および１つの前景の成分F12/vを含む。
【０２２９】
フレーム#nを時間方向に２つに分割するとき、各画素に含まれる前景の成分および背景の成分を、図２５に例示するように、時間の経過に対応して、分割できればよい。
【０２３０】
例えば、フレーム#nの画素p5を、前景の成分F01/vおよび背景の成分B05/vと、および２つの背景の成分B05/vとに分割し、フレーム#nの画素p6を、前景の成分F02/vおよび前景の成分F01/vと、および２つの背景の成分B06/vとに分割できればよい。
【０２３１】
同様に、フレーム#nの画素p1乃至P4および画素P7乃至P23を、時間の経過に対応するように、前景の成分または背景の成分に分割できればよい。
【０２３２】
図２６および図２７を参照して、フレーム分割部２０３による、前景の成分または背景の成分が混ざり込んだ画素を、時間方向に２つに分割する処理を説明する。
【０２３３】
例えば、注目している画素が画素p1であるとき、相関検出部２２３−１は、画素p1の画素値m1と、前のフレーム#n-1の画素値k1との相関を求める。注目している画素が画素p1であるとき、相関検出部２２３−２は、画素p1の画素値m1と、後（次）のフレーム#n+1の画素値n1との相関を求める。
【０２３４】
相関比較部２２４は、画素p1の画素値m1と、前のフレーム#n-1の画素値k1との相関、および画素p1の画素値m1と、後（次）のフレーム#n+1の画素値n1との相関を比較する。
【０２３５】
フレーム分割処理部２２５は、画素p1の画素値m1と、前のフレーム#n-1の画素値k1との相関が、画素p1の画素値m1と、後のフレーム#n+1の画素値n1との相関に比較して強いとき、図２６に示すように、フレーム#nを２つに分割した分割フレームであって、時間的に前の分割フレームの画素p1に対応する画素に、画素値k1の２分の１の値を設定する。フレーム分割処理部２２５は、画素p1の画素値m1と、前のフレーム#n-1の画素値k1との相関が、画素p1の画素値m1と、後のフレーム#n+1の画素値n1との相関に比較して強いとき、フレーム#nを２つに分割した分割フレームであって、時間的に後の分割フレームの画素p1に対応する画素に、画素値m1から画素値k1の２分の１を減算した値を設定する。
【０２３６】
フレーム分割処理部２２５は、画素p1の画素値m1と、後のフレーム#n+1の画素値n1との相関が、画素p1の画素値m1と、前のフレーム#n-1の画素値k1との相関に比較して強いとき、図２７に示すように、フレーム#nを２つに分割した分割フレームであって、時間的に後の分割フレームの画素p1に対応する画素に、画素値n1の２分の１の値を設定する。フレーム分割処理部２２５は、画素p1の画素値m1と、後のフレーム#n+1の画素値n1との相関が、画素p1の画素値m1と、前のフレーム#n-1の画素値k1との相関に比較して強いとき、フレーム#nを２つに分割した分割フレームであって、時間的に前の分割フレームの画素p1に対応する画素に、画素値m1から画素値n1の２分の１を減算した値を設定する。
【０２３７】
すなわち、例えば、相関検出部２２３−１および２２３−２が、相関値として、対応する画素の画素値の差分の絶対値を算出するとき、|k1-m1|≦|n1-m1|が成立する場合、分割されたフレームの画素の値とフレーム#nの画素p1の画素値m1との関係は、式（４）で表される。
【０２３８】
m1=k1/2+(m1-k1/2)                        （４）
【０２３９】
例えば、相関検出部２２３−１および２２３−２が、相関値として、対応する画素の画素値の差分の絶対値を算出する場合、|k1-m1|＞|n1-m1|が成立するとき、分割されたフレームの画素の値とフレーム#nの画素p1の画素値m1との関係は、式（５）で表される。
【０２４０】
m1=(m1-n1/2)+n1/2                        （５）
【０２４１】
式（４）および式（５）において、右辺第１項は、時間的に前の成分を示し、右辺第２項は、時間的に後の成分を示す。
【０２４２】
図２５に戻り、フレーム#nの画素p1乃至p4が、同一の４つの背景の成分のみを含むので、フレーム#nの画素p1乃至p4の画素値m1乃至m4のそれぞれは、フレーム#n+1の画素p1乃至p4の画素値n1乃至n4のそれぞれと一致する。従って、フレーム#n+1との相関が高いと判定され、画素値n1乃至n4のそれぞれの２分の１が、フレーム#nの画素p1乃至p4のそれぞれを分割した、時間的に後の分割フレームの画素のそれぞれに設定される。
【０２４３】
フレーム#nの画素p1乃至p4の画素値m1乃至m4のそれぞれから、画素値n1乃至n4のそれぞれの２分の１を減算した値が、フレーム#nを分割した、時間的に前の分割フレームの画素のそれぞれに設定される。
【０２４４】
その結果、フレーム#nの画素p1乃至p4において、同一の４つの背景の成分が、時間的に前の分割フレームと時間的に後の分割フレームとに均等に分割される。すなわち、背景領域に属する画素において、画素値に含まれる背景の成分が、均等に２つに分割されることになる。
【０２４５】
次に、フレーム#nの画素p5が、１つの前景の成分、および３つの背景の成分を含むので、フレーム#nの画素p5に含まれる画像の成分の半分以上は、フレーム#n+1の画素p5に含まれる背景の成分と一致する。従って、フレーム#n+1との相関が高いと判定され、画素値n5の２分の１が、フレーム#nの画素p5を分割した、時間的に後の分割フレームの画素に設定される。
【０２４６】
フレーム#nの画素p5の画素値m5から、画素値n5の２分の１を減算した値が、フレーム#nを分割した、時間的に前の分割フレームの画素に設定される。
【０２４７】
その結果、フレーム#nを分割した、時間的に後の分割フレームの画素に、２つの背景の成分が設定されることになり、残る、１つの前景の成分および１つの背景の成分が、時間的に前の分割フレームの画素に設定される。
【０２４８】
同様に、フレーム#nの画素p6が、２つの前景の成分、および２つの背景の成分を含むので、フレーム#nの画素p6に含まれる画像の成分の半分以上は、フレーム#n+1の画素p6に含まれる背景の成分と一致する。従って、フレーム#n+1との相関が高いと判定され、画素値n6の２分の１が、フレーム#nの画素p6を分割した、時間的に後の分割フレームの画素に設定される。
【０２４９】
フレーム#nの画素p6の画素値m6から、画素値n6の２分の１を減算した値が、フレーム#nを分割した、時間的に前の分割フレームの画素に設定される。
【０２５０】
その結果、フレーム#nを分割した、時間的に後の分割フレームの画素に、２つの背景の成分が設定されることになり、残る、２つの前景の成分が、時間的に前の分割フレームの画素に設定される。
【０２５１】
フレーム#nの画素p7が、３つの前景の成分、および１つの背景の成分を含むので、前景オブジェクトの空間相関により、フレーム#n-1との相関が高いと判定され、画素値k7の２分の１が、フレーム#nの画素p7を分割した、時間的に後の分割フレームの画素に設定される。
【０２５２】
フレーム#nの画素p7の画素値k7が、前景の成分F07/v、前景の成分F06/v、前景の成分F05/v、および前景の成分F04/vを含むので、フレーム#nの画素p7を分割した、時間的に後の分割フレームの画素に、前景の成分F07/v、前景の成分F06/v、前景の成分F05/v、および前景の成分F04/vの和の２分の１が設定されることになる。
【０２５３】
前景オブジェクトの空間相関により、式（６）が成立する。
【０２５４】
F03/v+F02/v≒(F07/v+F06/v+F05/v+F04/v)/2        （６）
【０２５５】
フレーム#nの画素p7の画素値m7から、画素値k7の２分の１を減算した値が、フレーム#nを分割した、時間的に後の分割フレームの画素に設定される。画素値k7の２分の１が、前景の成分F03/vおよび前景の成分F02/vの和とほぼ等しいので、フレーム#nを分割した、時間的に後の分割フレームの画素には、前景の成分F01/vおよび背景の成分B07/vが設定される。
【０２５６】
フレーム#nおよびフレーム#n-1において、画素p8乃至画素p11は、前景の成分のみを含む。フレーム#n+1において、画素p8乃至画素p11は、背景の成分を含む。従って、前景オブジェクトの空間相関により、フレーム#nの画素p8乃至画素p11を注目画素とする処理において、フレーム#n-1との相関は、統計的には、フレーム#n+1との相関に比較して強いと判定され、画素値k8乃至K11のそれぞれの２分の１が、画素p8乃至画素p11に対応する、フレーム#nを分割した、時間的に前の分割フレームの画素に設定される。画素値n8乃至画素値n11のそれぞれから、画素値k8乃至K11のそれぞれの２分の１を減算した結果が、画素p8乃至画素p11に対応する、フレーム#nを分割した、時間的に後の分割フレームの画素に設定される。
【０２５７】
フレーム#n-1、フレーム#n、およびフレーム#n+1において、画素p12は、前景の成分のみを含む。このようなとき、相関の強さの判定の結果は、前景のオブジェクトのテクスチャに依存することとなり、フレーム#n-1との相関が強いとの判定、またはフレーム#n+1との相関が強いとの判定のいずれもあり得る。
【０２５８】
テクスチャの変化が大きい場合にあっても、式（７）および式（８）の関係は成立する。
【０２５９】
F06/v+F05/v≒(F04/v+F03/v+F02/v+F01/v)/2                （７）
F08/v+F07/v≒(F12/v+F11/v+F10/v+F09/v)/2                （８）
【０２６０】
従って、フレーム#n-1との相関が強いとの判定、またはフレーム#n+1との相関が強いとの判定のいずれであっても、処理が破綻することなく、画素に含まれるテクスチャに対応する前景の成分を分離することができる。
【０２６１】
フレーム#nの画素p13乃至p16の処理は、フレーム#nと、フレーム#n-1またはフレーム#n+1との関係が逆転する点を除き、画素p8乃至画素p11の処理と同様なので、その説明は省略する。
【０２６２】
フレーム#nの画素p17の処理は、フレーム#nと、フレーム#n-1またはフレーム#n+1との関係が逆転する点を除き、画素p7の処理と同様なので、その説明は省略する。
【０２６３】
フレーム#nの画素p18およびp19の処理は、フレーム#nと、フレーム#n-1またはフレーム#n+1との関係が逆転する点を除き、画素p6および画素p5の処理と同様なので、その説明は省略する。
【０２６４】
フレーム#nの画素p20乃至p23の処理は、フレーム#nと、フレーム#n-1またはフレーム#n+1との関係が逆転する点を除き、画素p1乃至画素p4の処理と同様なので、その説明は省略する。
【０２６５】
なお、フレーム#n、フレーム#n-1、およびフレーム#n+1において、注目している画素および対応する画素が、背景の成分のみを含むとき、背景が静止している場合、フレーム#n-1との相関が強いとの判定、またはフレーム#n+1との相関が強いとの判定のいずれであっても、同様の結果が得られる。
【０２６６】
また、背景が動いているとき、画素p12における処理と同様の処理が実行されることになるので、処理が破綻することなく、画素に含まれるテクスチャに対応する背景の成分を分離することができる。
【０２６７】
このように、フレーム分割部２０３は、１つのフレームを、時間方向に２つに分割フレームに分割する。フレーム分割部２０３は、分割フレームに対して、分割の処理を繰り返すことにより、１つのフレームを、時間方向に２nの分割フレームに分割する。
【０２６８】
動き量vと分割の数とが等しいとき、分割フレームの画素は、前景の成分および背景の成分のいずれかの、１つの画像の成分のみを含む。分割の数が動き量vの倍数であるとき、前景の成分および背景の成分のいずれかの、１つの画像の成分は、複数の分割フレームの対応する位置の画素に分割して配置されることとなる。
【０２６９】
また、分割の数が動き量vの倍数でなくとも、分割の数を動き量vに対して大きな値とすれば、１つの分割フレームの画素に、前景の成分の１部と背景の成分の１部が含まれ、他の分割フレームの対応する位置の画素に、前景の成分および背景の成分のいずれかの、１つの画像の成分の１部のみが含まれる。すなわち、前景の成分と背景の成分とが、ほぼ分割されることになる。
【０２７０】
図２８は、１つのフレームが時間方向に４つの画像の成分に分割された例を示す図である。
【０２７１】
フレーム#nの画素p5に注目すると、画素p5は、時間方向に従って、前景の成分F01/v、背景の成分B05/v、背景の成分B05/v、および背景の成分B05/vに分割される。
【０２７２】
前景の成分F01/vの値は、背景の成分B05/vの値と異なるので、前景の成分F01/vと、背景の成分B05/vとの間で、連続性が失われている。
【０２７３】
前景背景境界検出部２０４は、フレーム#nの画素p5において、前景の成分F01/vと、背景の成分B05/vとの間を、前景の成分と背景の成分との境界として検出する。
【０２７４】
同様に、フレーム#nの画素p6に注目すると、画素p6は、時間方向に従って、前景の成分F02/v、前景の成分F01/v、背景の成分B06/v、および背景の成分B06/vに分割される。
【０２７５】
前景のオブジェクトの空間相関により、前景の成分F02/vの値は、前景の成分F01/vの値と近似する。
【０２７６】
前景の成分F01/vの値は、背景の成分B06/vの値と異なる。
【０２７７】
画素p6における不連続点は、前景の成分F01/vと、背景の成分B06/vとの間であると言える。
【０２７８】
前景背景境界検出部２０４は、フレーム#nの画素p5において、前景の成分F01/vと、背景の成分B05/vとの間を、前景の成分と背景の成分との境界として検出する。
【０２７９】
前景背景境界検出部２０４は、例えば、１つの画素毎に、時間方向に分割された、画像の成分について、時間的に隣り合う画像の成分の差の絶対値を求める。前景背景境界検出部２０４は、予め記憶している閾値と、画像の成分の差の絶対値を比較し、画像の成分の差の絶対値が、閾値より大きいと判定された場合、画像の成分の差の絶対値に対応する時間方向の位置を、前景の成分と背景の成分との境界とする。
【０２８０】
閾値より大きいと判定された、画像の成分の差の絶対値が２以上あるとき、前景背景境界検出部２０４は、最も大きい画像の成分の差の絶対値に対応する時間方向の位置を、前景の成分と背景の成分との境界とする。
【０２８１】
図２８において、太線は、以上の処理を実行する前景背景境界検出部２０４により検出された、前景の成分と背景の成分との境界を示す。
【０２８２】
本手法において、１フレームを時間方向に分割する数が多いとき、前景の成分と背景の成分との境界の検出の精度が向上する。
【０２８３】
前景背景判別部２０６は、前景背景境界検出部２０４により検出された、前景の成分と背景の成分との境界を基に、境界より時間的に前の画像の成分が、前景の成分であるか、または背景の成分であるかを判別する。前景背景判別部２０６は、前景背景境界検出部２０４により検出された、前景の成分と背景の成分との境界を基に、境界より時間的に後の画像の成分が、前景の成分であるか、または背景の成分であるかを判別する。
【０２８４】
例えば、前景背景判別部２０６は、注目画素について、前景の成分であるか、または背景の成分であるかを判別するとき、動き量検出部２０２から供給された動き量vを基に、注目画素に対応する位置の、フレーム#n-1の画素の動き量v、およびフレーム#n+1の画素の動き量vを取得する。
【０２８５】
より具体的に説明すれば、前景背景判別部２０６は、画素p5に対応する画像の成分について判別するとき、フレーム#n-1の画素p5が動いているので、境界より時間的に前の画像の成分が前景の成分であると判別し、境界より時間的に後の画像の成分が背景の成分であると判別する。
【０２８６】
さらに、前景背景判別部２０６は、前景の成分または背景の成分であることの判別の処理の後、前景の成分の数、および背景の成分の数を基に、混合比αを算出することができる。例えば、前景背景判別部２０６は、背景の成分の数を、前景の成分の数と背景の成分の数の和で除算し、混合比αを算出する。
【０２８７】
例えば、前景背景判別部２０６は、フレーム#nの画素p5において、前景の成分が１つであり、背景の成分が３つであると判別したので、フレーム#nの画素p5に対応する、３／４である混合比αを算出する。前景背景判別部２０６は、フレーム#nの画素p6において、前景の成分が２つであり、背景の成分が２つであると判別したので、フレーム#nの画素p6に対応する、１／２である混合比αを算出する。
【０２８８】
このように、前景背景分離部１０３は、１つのフレームを、前景の成分のみからなる前景成分画像と、背景の成分のみからなる背景成分画像とに分離することができる。前景背景分離部１０３は、分離された前景の成分および背景の成分を基に、前景領域、背景領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を示す領域情報を生成することができる。
【０２８９】
図２９乃至図３４は、１つのフレームを分離した結果の例を説明する図である。
【０２９０】
図２９乃至図３４に示す結果は、１つのフレームを８つの分割フレームに分割し、８つに分割したフレームを基に、前景の成分と背景の成分とに分離した後、分離した前景の成分および背景の成分から２つのフレームを生成し、生成したフレームのゲインを調整した処理に対応するものである。
【０２９１】
図２９は、入力画像を示す図である。図２９に例を示す画像において、前景のオブジェクトに対応する飛行機のおもちゃが、静止している背景の前を、水平方向に、左から右に向かって移動している。
【０２９２】
図３０は、入力画像に対応する、分離された、時間的に先の画像の成分に対応する画像を示す図である。図３０において、入力画像のカバードバックグラウンド領域の背景の成分が背景として表示され、入力画像のアンカバードバックグラウンド領域の前景の成分が前景として表示されている。
【０２９３】
図３１は、入力画像に対応する、分離された、時間的に後の画像の成分に対応する画像を示す図である。図３１において、入力画像のアンカバードバックグラウンド領域の背景の成分が背景として表示され、入力画像のカバードバックグラウンド領域の前景の成分が前景として表示されている。
【０２９４】
図３１における前景のオブジェクトは、図３０における前景のオブジェクトに対して、右側に位置する。
【０２９５】
図３０および図３１に示すように、入力画像の前景領域のテクスチャの成分は、２つに分離される。
【０２９６】
図３０に示す画像のゲインを調整する前の画像と、図３１に示す画像のゲインを調整する前の画像とを加算した画像は、入力画像に一致する。
【０２９７】
図３２は、入力画像に含まれる前景の成分および背景の成分の割合の例を示す図である。図３２において、入力画像に含まれる前景の成分および背景の成分の割合は、０乃至２５５のいずれかの値を有する、８ビットの画素値で示される。図３２において、画素値の２５５は、１．０である混合比αに対応し、画素値の０は、０．０である混合比αに対応する。
【０２９８】
図３２に示す画像のレベルの変化は、カバードバックグラウンド領域の先端部における背景の成分が、前のフレームの画素の成分と一致することを明確に示す。また、カバードバックグラウンド領域において、前景領域側に近づくに従って、背景の成分の割合が減少していることがわかる。
【０２９９】
背景領域における混合比αは１．０であり、前景領域における混合比αは０．０なので、処理の結果、背景領域および前景領域のテクスチャのない部分において、ランダムな混合比αが分布していることは、この後の処理に何ら影響を与えない。
【０３００】
図３３は、カバードバックグラウンド領域に属する画素を前景と背景に分離した結果の例を波形で示す図である。
【０３０１】
図３３において、画素位置８乃至２３の画素は、カバードバックグラウンド領域に属する。ゲインが補正された背景成分画像は、別途取得された背景とほぼ一致し、上述した処理により、前景の成分と背景の成分とが正確に分離されていることがわかる。
【０３０２】
図３４は、１つのフレームの分割数と、分離された前景の成分と背景の成分との関係を示す図である。
【０３０３】
１つのフレームを８つに分割した結果、および１つのフレームを４つに分割した結果ともに、別途取得された背景とほぼ一致し、前景の成分と背景の成分とが正確に分離されていることがわかる。１つのフレームを８つに分割した結果は、１つのフレームを４つに分割した結果に比較して、暴れが少なく、別途取得された背景により近い。
【０３０４】
これにより、１つのフレームの分割数がより多いとき、より正確な、前景の成分と背景の成分とを求めることができると言える。
【０３０５】
図３５は、ステップＳ１１の処理に対応する、前景背景分離部１０３の前景背景の分離の処理を説明するフローチャートである。
【０３０６】
ステップＳ２０１において、動き量検出部２０２は、フレームメモリ２０１から供給されたフレーム#n-1、フレーム#n、およびフレーム#n+1より、フレーム#nの画素毎の動き量vを検出する。
【０３０７】
ステップＳ２０２において、フレーム分割部２０３は、フレームメモリ２０１から供給されたフレーム#n-2、フレーム#n-1、フレーム#n、フレーム#n+1、およびフレーム#n+2を基に、フレーム#nを所定の数に、時間方向に分割する。分割の手法は、いずれの手法でもよいが、フレーム#nは、分割の間隔が等しく、かつ、オブジェクトの撮像に対応するように、時間の流れに沿って、画像の成分が並ぶように分割される。フレームの分割の処理の詳細は、後述する。
【０３０８】
ステップＳ２０３において、前景背景境界検出部２０４は、オブジェクトの撮像に対応するように、時間の流れに沿って、画像の成分が並ぶように分割されたフレームを基に、連続性が失われている（連続性が最も低い）、前景と背景の境界を検出する。
【０３０９】
ステップＳ２０４において、画素値生成部２０５は、検出された前景と背景の境界を基に、分割されたフレームから、前景成分画像の画素値、または背景成分画像の画素値を生成する。
【０３１０】
ステップＳ２０５において、前景背景判別部２０６は、動き検出部２０２から供給された画素毎の動き量vを基に、ステップＳ２０４の処理において、生成された画素値について、前景と背景を判別する。
【０３１１】
ステップＳ２０６において、前景背景分離部１０３は、全画素について処理を終了したか否かを判定し、全画素について処理を終了していないと判定された場合、ステップＳ２０３に戻り、次の画素について、境界の検出の処理、画素値の生成の処理、および前景と背景の判別の処理を繰り返す。
【０３１２】
ステップＳ２０６において、全画素について処理を終了したと判定された場合、処理は終了する。
【０３１３】
図３６は、ステップＳ２０２の処理に対応する、フレームの分割の処理を説明するフローチャートである。
【０３１４】
ステップＳ２２１において、フレームメモリ２２２は、セレクタ２２１を介して、入力画像のフレームまたは分割フレームを読み込む。
【０３１５】
１つのフレームに対応する最初のステップＳ２２１の処理において、フレームメモリ２２２は、セレクタ２２１を介して、入力画像のフレームを読み込む。１つのフレームを４つ以上に分割するとき、１つのフレームに対応する２回目以降のステップＳ２２１の処理において、フレームメモリ２２２は、セレクタ２２１を介して、分割フレームを読み込む。
【０３１６】
相関検出部２２３−１は、フレームメモリ２２２に記憶されている処理フレーム、および処理フレームの前のフレームを読み込む。処理フレームは、分割の対象となるフレームまたは分割フレームである。処理フレームの前のフレームは、入力画像のフレームまたは分割フレームである。相関検出部２２３−２は、フレームメモリ２２２に記憶されている処理フレーム、および処理フレームの後のフレームを読み込む。処理フレームの後のフレームは、入力画像のフレームまたは分割フレームである。
【０３１７】
ステップＳ２２２において、相関検出部２２３−１は、処理フレームの画素の画素値と、処理フレームの前のフレームの対応する画素の画素値との相関を検出し、関検出部２２３−２は、処理フレームの画素の画素値と、処理フレームの後のフレームの対応する画素の画素値との相関を検出する。
【０３１８】
ステップＳ２２３において、相関比較部２２４は、処理フレームの画素の画素値、および処理フレームの前のフレームの対応する画素の画素値の相関と、処理フレームの画素の画素値、および処理フレームの後のフレームの対応する画素の画素値の相関とを比較する。
【０３１９】
ステップＳ２２４において、フレーム分割処理部２２５は、ステップＳ２２３の相関の比較の結果を基に、処理フレームを２つに分割する。
【０３２０】
フレーム分割処理部２２５は、処理フレームの画素と、後のフレームの画素との相関が、処理フレームの画素と、前のフレームの画素との相関に比較して強いとき、処理フレームが分割された、時間的に後の分割フレームの対応する画素に、後のフレームの画素値の２分の１の値を設定する。フレーム分割処理部２２５は、処理フレームの画素と、後のフレームの画素との相関が、処理フレームの画素と、前のフレームの画素との相関に比較して強いとき、処理フレームが分割された、時間的に前の分割フレームの対応する画素に、処理フレームの画素の画素値から、後のフレームの画素値の２分の１を減算した値を設定する。
【０３２１】
フレーム分割処理部２２５は、処理フレームの画素と、前のフレームの画素との相関が、処理フレームの画素と、後のフレームの画素との相関に比較して強いとき、処理フレームが分割された、時間的に前の分割フレームの対応する画素に、前のフレームの画素値の２分の１の値を設定する。フレーム分割処理部２２５は、処理フレームの画素と、前のフレームの画素との相関が、処理フレームの画素と、後のフレームの画素との相関に比較して強いとき、処理フレームが分割された、時間的に後の分割フレームの対応する画素に、処理フレームの画素の画素値から、前のフレームの画素値の２分の１を減算した値を設定する。
【０３２２】
ステップＳ２２５において、フレーム分割部２０３は、処理フレームの全画素を分割したか否かを判定し、処理フレームの全画素を分割していないと判定された場合、ステップＳ２２２に戻り、他の画素の分割の処理を実行する。
【０３２３】
ステップＳ２２５において、処理フレームの全画素を分割したと判定された場合、ステップＳ２２６に進み、フレーム分割部２０３は、フレームメモリ２２２に記憶されている全フレームを分割したか否かを判定する。
【０３２４】
ステップＳ２２６において、フレームメモリ２２２に記憶されている全フレームを分割していないと判定された場合、ステップＳ２２１に戻り、次のフレームを処理フレームとして、分割の処理を繰り返す。
【０３２５】
ステップＳ２２６において、フレームメモリ２２２に記憶されている全フレームを分割したと判定された場合、ステップＳ２２７に進み、フレーム分割処理部２２５は、フレームメモリ２２６に分割したフレームを記憶させる。フレーム分割部２０３は、フレームメモリ２２６に記憶されている分割されたフレームを、セレクタ２２１を介して、フレームメモリ２２２に記憶させ、フレームメモリ２２２に記録されているフレームを更新する。
【０３２６】
ステップＳ２２８において、フレーム分割部２０３は、所定の数のフレームに、全フレームを分割したか否かを判定し、所定の数のフレームに、全フレームを分割していないと判定された場合、さらにフレームを分割する必要があるので、ステップＳ２２１に戻り、フレームの分割の処理を繰り返す。
【０３２７】
すなわち、ステップＳ２２１の処理に戻ったとき、フレーム分割部２０３は、ステップＳ２２１乃至Ｓ２２４の処理により、既に分割されたフレームをさらに分割する。
【０３２８】
ステップＳ２２８において、所定の数のフレームに、全フレームを分割したと判定された場合、処理は終了する。
【０３２９】
このように、前景背景分離部１０３は、入力画像において、１つの画素に混ざり込んでしまった前景の成分と背景の成分とを分離し、前景の成分のみからなる前景成分画像と、背景の成分のみからなる背景成分画像とに分離することができる。前景背景分離部１０３は、画像の空間相関を利用し、画素または画像の成分の相関を基に、最小自乗法などの負荷の大きい処理を必要とせず、簡単な処理で、迅速に、前景の成分と背景の成分とを分離することができる。
【０３３０】
図３７は、クラス分類適応処理によりフレームを分割する、フレーム分割部２０３の構成の他の一例を示すブロック図である。図３７に構成を示すフレーム分割部２０３において、動き量検出部２０２から供給された動き量vは、使用される。
【０３３１】
フレーム分割部２０３に供給されたフレーム#n-2乃至#n+2は、クラスタップ抽出部２５１および予測タップ抽出部２５４に供給される。
【０３３２】
クラスタップ抽出部２５１は、フレーム#n-2乃至#n+2の画素のうち、分割の処理の対象である注目画素に対応する所定の画素をクラスタップとして抽出し、抽出したクラスタップをクラス分類部２５２に供給する。クラスタップとして抽出する画素は、１または２以上の所定の数とすることができる。
【０３３３】
なお、クラスタップは、ブロックを構成し、クラスタップを抽出することをブロック化とも称する。
【０３３４】
クラス分類部２５２は、クラスタップ抽出部２５１から供給されたクラスタップ、および動き検出部２０２から供給された動き量vを基に、クラス分類する。クラス分類部２５２は、分類されたクラスを示すクラスデータを係数メモリ２５３に供給する。
【０３３５】
例えば、クラス分類部２５２は、後述するように、クラスタップのレベル分布を基に、クラス分類する。クラス分類部２５２は、動き検出部２０２から供給された動き量vを、予め記憶している閾値と比較することにより、動き量vに対応しクラス分類する。
【０３３６】
例数メモリ２５３は、クラスに対応する係数セットを予め記憶し、クラスデータにより示されるクラスに対応する係数セットを適応処理部２５５に供給する。
【０３３７】
予測タップ抽出部２５４は、フレーム#n-2乃至#n+2の画素のうち、注目画素に対応する画素を予測タップとして抽出し、抽出した予測タップを適応処理部２５５に供給する。予測タップとして抽出する画素は、１または２以上の所定の数とすることができる。
【０３３８】
なお、予測タップは、ブロックを構成し、予測タップを抽出することをブロック化とも称する。
【０３３９】
適応処理部２５５は、係数メモリ２５３から供給された係数セット、および予測タップ抽出部２５４から供給された予測タップを基に、分割フレームの画像の成分を算出する。
【０３４０】
なお、係数セットは、所定の情報から生成して、適応処理部２２５に供給するようにしてもよい。
【０３４１】
次に、クラス分類の処理によるフレームの分割について説明する。
【０３４２】
ここで、クラス分類処理について簡単に説明する。
【０３４３】
いま、例えば、図３８（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるクラスタップを構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素を含む２×２の４画素のブロックは、各画素のレベル分布により、図３８（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができ、このようなパターン分けが、クラス分類処理であり、クラス分類部２５１において行われる。
【０３４４】
なお、クラス分類処理は、動き量v、または画像（クラスタップ）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。
【０３４５】
ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラスタップは、３×３の９画素で構成される。従って、このようなクラスタップを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【０３４６】
そこで、本実施の形態においては、クラス分類部２５２において、クラスタップに対して、ＡＤＲＣ処理が施され、これにより、クラスタップを構成する画素のビット数を小さくすることで、クラス数を削減する。
【０３４７】
説明を簡単にするため、図３９（Ａ）に示すように、直線上に並んだ４画素で構成されるクラスタップを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、クラスタップで構成されるブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップのブロックを構成する画素の画素値がＫビットに再量子化される。
【０３４８】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図３９（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【０３４９】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【０３５０】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【０３５１】
クラスタップを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、クラス分類部２５２において行われる。
【０３５２】
なお、本実施の形態では、クラス分類部２５２において、ＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【０３５３】
ここで、適応処理について説明する。
【０３５４】
例えば、いま、時間方向に高解像度の教師画像の画素値ｙの予測値Ｅ［ｙ］を、時間方向に間引きされた対応する画像における、対応する位置の周辺の幾つかの画素の画素値（以下、適宜、生徒データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０３５５】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・                      （９）
【０３５６】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数２】
0004088819.tif 000003
で定義すると、次のような観測方程式が成立する。
【０３５７】
ＸＷ＝Ｙ’                                            （１０）
【０３５８】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数３】
0004088819.tif 000004
で定義すると、式（１０）から、次のような残差方程式が成立する。
【０３５９】
ＸＷ＝Ｙ＋Ｅ                                          （１１）
【０３６０】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数４】
0004088819.tif 000005
を最小にすることで求めることができる。
【０３６１】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０３６２】
【数５】
0004088819.tif 000006
【０３６３】
そこで、まず、式（１１）を、予測係数ｗiで微分することにより、次式が成立する。
【０３６４】
【数６】
0004088819.tif 000007
【０３６５】
式（１２）および（１３）より、式（１４）が得られる。
【０３６６】
【数７】
0004088819.tif 000008
【０３６７】
さらに、式（１１）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（１４）から、次のような正規方程式を得ることができる。
【０３６８】
【数８】
0004088819.tif 000009
【０３６９】
式（１５）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（１５）を解くことで、最適な予測係数ｗを求めることができる。なお、式（１５）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０３７０】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（９）により、教師画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０３７１】
なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理は、式（９）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０３７２】
図４０は、図３７に構成を示すフレーム分割部２０３による、フレーム分割の処理を説明するフローチャートである。
【０３７３】
ステップＳ２５１において、クラスタップ抽出部２５１は、フレーム#n-2乃至#n+2の画素のうち、注目画素に対応する画素をクラスタップとして抽出し、予測タップ抽出部２５４は、フレーム#n-2乃至#n+2の画素のうち、注目画素に対応する画素を予測タップとして抽出し、ブロック化する。
【０３７４】
ステップＳ２５２において、クラス分類部２５２は、動き量vおよびクラスタップを基に、クラス分類する。クラス分類部２５２は、分類されたクラスを示すクラスデータを係数メモリ２５３に供給する。係数メモリ２５３は、分類されたクラスに対応する係数を適応処理部２５５に供給する。
【０３７５】
ステップＳ２５３において、適応処理部２５５は、予測タップ抽出部２５４から供給された予測タップに、適応処理を適用し、分割されたフレームに対応する画素の成分を算出する。
【０３７６】
ステップＳ２５４において、フレーム分割部２０３は、全ブロックについて処理を終了したか否かを判定し、全ブロックについて処理を終了していないと判定された場合、ステップＳ２５１に戻り、クラス分類適応処理によるフレームの分割の処理を繰り返す。
【０３７７】
ステップＳ２５４において、全ブロックについて処理を終了したと判定された場合、処理は終了する。
【０３７８】
このように、図３７に構成を示すフレーム分割部２０３は、クラス分類適応処理により、フレームを所定の数に分割することができる。
【０３７９】
次に、前景成分画像の動きボケの量の調整について説明する。
【０３８０】
図４１は、動きボケ調整部１０４の構成の一例を示すブロック図である。動き検出部１０２から供給された動きベクトルとその位置情報は、処理単位決定部８０１、モデル化部８０２、および演算部８０５に供給される。領域特定部１０３から供給された領域情報は、処理単位決定部８０１に供給される。前景背景分離部１０３から供給された前景成分画像は、足し込み部８０４に供給される。
【０３８１】
処理単位決定部８０１は、動きベクトルとその位置情報、および領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部８０２および足し込み部８０４に供給する。
【０３８２】
処理単位決定部８０１が生成する処理単位は、図４２に例を示すように、前景成分画像のカバードバックグラウンド領域に対応する画素から始まり、アンカバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素、またはアンカバードバックグラウンド領域に対応する画素から始まり、カバードバックグラウンド領域に対応する画素までの動き方向に並ぶ連続する画素を示す。処理単位は、例えば、左上点（処理単位で指定される画素であって、画像上で最も左または最も上に位置する画素の位置）および右下点の２つのデータから成る。
【０３８３】
モデル化部８０２は、動きベクトルおよび入力された処理単位を基に、モデル化を実行する。より具体的には、例えば、モデル化部８０２は、処理単位に含まれる画素の数、画素値の時間方向の仮想分割数、および画素毎の前景の成分の数に対応する複数のモデルを予め記憶しておき、処理単位、および画素値の時間方向の仮想分割数を基に、図４３に示すような、画素値と前景の成分との対応を指定するモデルを選択する。
【０３８４】
例えば、処理単位に対応する画素の数が１２でありシャッタ時間内の動き量vが５であるときにおいては、モデル化部８０２は、仮想分割数を５とし、最も左に位置する画素が１つの前景の成分を含み、左から２番目の画素が２つの前景の成分を含み、左から３番目の画素が３つの前景の成分を含み、左から４番目の画素が４つの前景の成分を含み、左から５番目の画素が５つの前景の成分を含み、左から６番目の画素が５つの前景の成分を含み、左から７番目の画素が５つの前景の成分を含み、左から８番目の画素が５つの前景の成分を含み、左から９番目の画素が４つの前景の成分を含み、左から１０番目の画素が３つの前景の成分を含み、左から１１番目の画素が２つの前景の成分を含み、左から１２番目の画素が１つの前景の成分を含み、全体として８つの前景の成分から成るモデルを選択する。
【０３８５】
なお、モデル化部８０２は、予め記憶してあるモデルから選択するのではなく、動きベクトル、および処理単位が供給されたとき、動きベクトル、および処理単位を基に、モデルを生成するようにしてもよい。
【０３８６】
モデル化部８０２は、選択したモデルを方程式生成部８０３に供給する。
【０３８７】
方程式生成部８０３は、モデル化部８０２から供給されたモデルを基に、方程式を生成する。図４３に示す前景成分画像のモデルを参照して、前景の成分の数が８であり、処理単位に対応する画素の数が１２であり、動き量vが５であり、仮想分割数が５であるときの、方程式生成部８０３が生成する方程式について説明する。
【０３８８】
前景成分画像に含まれるシャッタ時間/vに対応する前景成分がF01/v乃至F08/vであるとき、F01/v乃至F08/vと画素値C01乃至C12との関係は、式（１６）乃至式（２７）で表される。
【０３８９】
C01=F01/v                                    （１６）
C02=F02/v+F01/v                                    （１７）
C03=F03/v+F02/v+F01/v                              （１８）
C04=F04/v+F03/v+F02/v+F01/v                        （１９）
C05=F05/v+F04/v+F03/v+F02/v+F01/v                  （２０）
C06=F06/v+F05/v+F04/v+F03/v+F02/v                  （２１）
C07=F07/v+F06/v+F05/v+F04/v+F03/v                  （２２）
C08=F08/v+F07/v+F06/v+F05/v+F04/v                  （２３）
C09=F08/v+F07/v+F06/v+F05/v                        （２４）
C10=F08/v+F07/v+F06/v                              （２５）
C11=F08/v+F07/v                                    （２６）
C12=F08/v                                    （２７）
【０３９０】
方程式生成部８０３は、生成した方程式を変形して方程式を生成する。方程式生成部８０３が生成する方程式を、式（２８）乃至式（３９）に示す。
C01=1・F01/v+0・F02/v+0・F03/v+0・F04/v+0・F05/v
+0・F06/v+0・F07/v+0・F08/v      （２８）
C02=1・F01/v+1・F02/v+0・F03/v+0・F04/v+0・F05/v
+0・F06/v+0・F07/v+0・F08/v      （２９）
C03=1・F01/v+1・F02/v+1・F03/v+0・F04/v+0・F05/v
+0・F06/v+0・F07/v+0・F08/v      （３０）
C04=1・F01/v+1・F02/v+1・F03/v+1・F04/v+0・F05/v
+0・F06/v+0・F07/v+0・F08/v      （３１）
C05=1・F01/v+1・F02/v+1・F03/v+1・F04/v+1・F05/v
+0・F06/v+0・F07/v+0・F08/v      （３２）
C06=0・F01/v+1・F02/v+1・F03/v+1・F04/v+1・F05/v
+1・F06/v+0・F07/v+0・F08/v      （３３）
C07=0・F01/v+0・F02/v+1・F03/v+1・F04/v+1・F05/v
+1・F06/v+1・F07/v+0・F08/v      （３４）
C08=0・F01/v+0・F02/v+0・F03/v+1・F04/v+1・F05/v
+1・F06/v+1・F07/v+1・F08/v      （３５）
C09=0・F01/v+0・F02/v+0・F03/v+0・F04/v+1・F05/v
+1・F06/v+1・F07/v+1・F08/v      （３６）
C10=0・F01/v+0・F02/v+0・F03/v+0・F04/v+0・F05/v
+1・F06/v+1・F07/v+1・F08/v      （３７）
C11=0・F01/v+0・F02/v+0・F03/v+0・F04/v+0・F05/v
+0・F06/v+1・F07/v+1・F08/v      （３８）
C12=0・F01/v+0・F02/v+0・F03/v+0・F04/v+0・F05/v
+0・F06/v+0・F07/v+1・F08/v      （３９）
【０３９１】
式（２８）乃至式（３９）は、式（４０）として表すこともできる。
【０３９２】
【数９】
0004088819.tif 000010
式（４０）において、jは、画素の位置を示す。この例において、jは、１乃至１２のいずれか１つの値を有する。また、iは、前景値の位置を示す。この例において、iは、１乃至８のいずれか１つの値を有する。aijは、iおよびjの値に対応して、０または１の値を有する。
【０３９３】
誤差を考慮して表現すると、式（４０）は、式（４１）のように表すことができる。
【０３９４】
【数１０】
0004088819.tif 000011
式（４１）において、ejは、注目画素Cjに含まれる誤差である。
【０３９５】
式（４１）は、式（４２）に書き換えることができる。
【０３９６】
【数１１】
0004088819.tif 000012
【０３９７】
ここで、最小自乗法を適用するため、誤差の自乗和Eを式（４３）に示すように定義する。
【０３９８】
【数１２】
0004088819.tif 000013
【０３９９】
誤差が最小になるためには、誤差の自乗和Eに対する、変数Fkによる偏微分の値が０になればよい。式（４４）を満たすようにFkを求める。
【０４００】
【数１３】
0004088819.tif 000014
【０４０１】
式（４４）において、動き量vは固定値であるから、式（４５）を導くことができる。
【０４０２】
【数１４】
0004088819.tif 000015
【０４０３】
式（４５）を展開して、移項すると、式（４６）を得る。
【０４０４】
【数１５】
0004088819.tif 000016
【０４０５】
式（４６）のkに１乃至８の整数のいずれか１つを代入して得られる８つの式に展開する。得られた８つの式を、行列により１つの式により表すことができる。この式を正規方程式と呼ぶ。
【０４０６】
このような最小自乗法に基づく、方程式生成部８０３が生成する正規方程式の例を式（４７）に示す。
【０４０７】
【数１６】
0004088819.tif 000017
【０４０８】
式（４７）をA・F=v・Cと表すと、C,A,vが既知であり、Fは未知である。また、A,vは、モデル化の時点で既知だが、Cは、足し込み動作において画素値を入力することで既知となる。
【０４０９】
最小自乗法に基づく正規方程式により前景成分を算出することにより、画素Cに含まれている誤差を分散させることができる。
【０４１０】
方程式生成部８０３は、このように生成された正規方程式を足し込み部８０４に供給する。
【０４１１】
足し込み部８０４は、処理単位決定部８０１から供給された処理単位を基に、前景成分画像に含まれる画素値Cを、方程式生成部８０３から供給された行列の式に設定する。足し込み部８０４は、画素値Cを設定した行列を演算部８０５に供給する。
【０４１２】
演算部８０５は、掃き出し法（Gauss-Jordanの消去法）などの解法に基づく処理により、動きボケが除去された前景成分Fi/vを算出して、動きボケが除去された前景の画素値である、０乃至８の整数のいずれかのiに対応するFiを算出して、図４４に例を示す、動きボケが除去された画素値であるFiから成る、動きボケが除去された前景成分画像を動きボケ付加部８０６および選択部８０７に出力する。
【０４１３】
なお、図４４に示す動きボケが除去された前景成分画像において、C03乃至C10のそれぞれにF01乃至F08のそれぞれが設定されているのは、画面に対する前景成分画像の位置を変化させないためであり、任意の位置に対応させることができる。
【０４１４】
動きボケ付加部８０６は、動き量vとは異なる値の動きボケ調整量v'、例えば、動き量vの半分の値の動きボケ調整量v'や、動き量vと無関係の値の動きボケ調整量v'を与えることで、動きボケの量を調整することができる。例えば、図４５に示すように、動きボケ付加部８０６は、動きボケが除去された前景の画素値Fiを動きボケ調整量v'で除すことにより、前景成分Fi/v'を算出して、前景成分Fi/v'の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量v'が３のとき、画素値C02は、（F01）/v'とされ、画素値C03は、（F01+F02）/v'とされ、画素値C04は、（F01+F02+F03）/v'とされ、画素値C05は、（F02+F03+F04）/v'とされる。
【０４１５】
動きボケ付加部８０６は、動きボケの量を調整した前景成分画像を選択部８０７に供給する。
【０４１６】
選択部８０７は、例えば使用者の選択に対応した選択信号を基に、演算部８０５から供給された動きボケが除去された前景成分画像、および動きボケ付加部８０６から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。
【０４１７】
このように、動きボケ調整部１０４は、選択信号および動きボケ調整量v'を基に、動きボケの量を調整することができる。
【０４１８】
また、例えば、図４６に示すように、処理単位に対応する画素の数が８であり、動き量vが４であるとき、動きボケ調整部１０４は、式（４８）に示す行列の式を生成する。
【０４１９】
【数１７】
0004088819.tif 000018
【０４２０】
動きボケ調整部１０４は、このように処理単位の長さに対応した数の式を立てて、動きボケの量が調整された画素値であるFiを算出する。同様に、例えば、処理単位に含まれる画素の数が１００あるとき、１００個の画素に対応する式を生成して、Fiを算出する。
【０４２１】
図４７は、動きボケ調整部１０４の他の構成を示す図である。図４１に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０４２２】
選択部８２１は、選択信号を基に、入力された動きベクトルとその位置信号をそのまま処理単位決定部８０１およびモデル化部８０２に供給するか、または動きベクトルの大きさを動きボケ調整量v'に置き換えて、その大きさが動きボケ調整量v'に置き換えられた動きベクトルとその位置信号を処理単位決定部８０１およびモデル化部８０２に供給する。
【０４２３】
このようにすることで、図４７の動きボケ調整部１０４の処理単位決定部８０１乃至演算部８０５は、動き量vと動きボケ調整量v'との値に対応して、動きボケの量を調整することができる。例えば、動き量vが5であり、動きボケ調整量v'が3であるとき、図４７の動きボケ調整部１０４の処理単位決定部８０１乃至演算部８０５は、図４３に示す動き量vが5である前景成分画像に対して、3である動きボケ調整量v'対応する図４５に示すようなモデルに従って、演算を実行し、（動き量v）/（動きボケ調整量v'）＝5/3、すなわちほぼ1.7の動き量vに応じた動きボケを含む画像を算出する。なお、この場合、算出される画像は、3である動き量vに対応した動きボケを含むのではないので、動きボケ付加部８０６の結果とは動き量vと動きボケ調整量v'の関係の意味合いが異なる点に注意が必要である。
【０４２４】
以上のように、動きボケ調整部１０４は、動き量vおよび処理単位に対応して、式を生成し、生成した式に前景成分画像の画素値を設定して、動きボケの量が調整された前景成分画像を算出する。
【０４２５】
次に、図４８のフローチャートを参照して、動きボケ調整部１０４による前景成分画像に含まれる動きボケの量の調整の処理を説明する。
【０４２６】
ステップＳ８０１において、動きボケ調整部１０４の処理単位決定部８０１は、動きベクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部８０２に供給する。
【０４２７】
ステップＳ８０２において、動きボケ調整部１０４のモデル化部８０２は、動き量vおよび処理単位に対応して、モデルの選択や生成を行う。ステップＳ８０３において、方程式生成部８０３は、選択されたモデルを基に、正規方程式を作成する。
【０４２８】
ステップＳ８０４において、足し込み部８０４は、作成された正規方程式に前景成分画像の画素値を設定する。ステップＳ８０５において、足し込み部８０４は、処理単位に対応する全ての画素の画素値の設定を行ったか否かを判定し、処理単位に対応する全ての画素の画素値の設定を行っていないと判定された場合、ステップＳ８０４に戻り、正規方程式への画素値の設定の処理を繰り返す。
【０４２９】
ステップＳ８０５において、処理単位の全ての画素の画素値の設定を行ったと判定された場合、ステップＳ８０６に進み、演算部８０５は、足し込み部８０４から供給された画素値が設定された正規方程式を基に、動きボケの量を調整した前景の画素値を算出して、処理は終了する。
【０４３０】
このように、動きボケ調整部１０４は、動きベクトルおよび領域情報を基に、動きボケを含む前景画像の動きボケの量を調整することができる。
【０４３１】
すなわち、サンプルデータである画素値に含まれる動きボケの量を調整することができる。
【０４３２】
図４９は、動きボケ調整部１０４の構成の他の一例を示すブロック図である。動き検出部１０２から供給された動きベクトルとその位置情報は、処理単位決定部９０１および補正部９０５に供給され、領域特定部１０３から供給された領域情報は、処理単位決定部９０１に供給される。前景背景分離部１０３から供給された前景成分画像は、演算部９０４に供給される。
【０４３３】
処理単位決定部９０１は、動きベクトルとその位置情報、および領域情報を基に、処理単位を生成し、動きベクトルと共に、生成した処理単位をモデル化部９０２に供給する。
【０４３４】
モデル化部９０２は、動きベクトルおよび入力された処理単位を基に、モデル化を実行する。より具体的には、例えば、モデル化部９０２は、処理単位に含まれる画素の数、画素値の時間方向の仮想分割数、および画素毎の前景の成分の数に対応する複数のモデルを予め記憶しておき、処理単位、および画素値の時間方向の仮想分割数を基に、図５０に示すような、画素値と前景の成分との対応を指定するモデルを選択する。
【０４３５】
例えば、処理単位に対応する画素の数が１２であり動き量vが５であるときにおいては、モデル化部９０２は、仮想分割数を５とし、最も左に位置する画素が１つの前景の成分を含み、左から２番目の画素が２つの前景の成分を含み、左から３番目の画素が３つの前景の成分を含み、左から４番目の画素が４つの前景の成分を含み、左から５番目の画素が５つの前景の成分を含み、左から６番目の画素が５つの前景の成分を含み、左から７番目の画素が５つの前景の成分を含み、左から８番目の画素が５つの前景の成分を含み、左から９番目の画素が４つの前景の成分を含み、左から１０番目の画素が３つの前景の成分を含み、左から１１番目の画素が２つの前景の成分を含み、左から１２番目の画素が１つの前景の成分を含み、全体として８つの前景の成分から成るモデルを選択する。
【０４３６】
なお、モデル化部９０２は、予め記憶してあるモデルから選択するのではなく、動きベクトル、および処理単位が供給されたとき、動きベクトル、および処理単位を基に、モデルを生成するようにしてもよい。
【０４３７】
方程式生成部９０３は、モデル化部９０２から供給されたモデルを基に、方程式を生成する。
【０４３８】
図５０乃至図５２に示す前景成分画像のモデルを参照して、前景の成分の数が８であり、処理単位に対応する画素の数が１２であり、動き量vが５であるときの、方程式生成部９０３が生成する方程式の例について説明する。
【０４３９】
前景成分画像に含まれるシャッタ時間/vに対応する前景成分がF01/v乃至F08/vであるとき、F01/v乃至F08/vと画素値C01乃至C12との関係は、上述したように、式（１６）乃至式（２７）で表される。
【０４４０】
画素値C12およびC11に注目すると、画素値C12は、式（４９）に示すように、前景の成分F08/vのみを含み、画素値C11は、前景の成分F08/vおよび前景の成分F07/vの積和から成る。従って、前景の成分F07/vは、式（５０）で求めることができる。
【０４４１】
F08/v=C12                                  （４９）
F07/v=C11-C12                              （５０）
【０４４２】
同様に、画素値C10乃至C01に含まれる前景の成分を考慮すると、前景の成分F06/v乃至F01/vは、式（５１）乃至式（５６）により求めることができる。
【０４４３】
F06/v=C10-C11                              （５１）
F05/v=C09-C10                              （５２）
F04/v=C08-C09                              （５３）
F03/v=C07-C08+C12                          （５４）
F02/v=C06-C07+C11-C12                      （５５）
F01/v=C05-C06+C10-C11                      （５６）
【０４４４】
方程式生成部９０３は、式（４９）乃至式（５６）に例を示す、画素値の差により前景の成分を算出するための方程式を生成する。方程式生成部９０３は、生成した方程式を演算部９０４に供給する。
【０４４５】
演算部９０４は、方程式生成部９０３から供給された方程式に前景成分画像の画素値を設定して、画素値を設定した方程式を基に、前景の成分を算出する。演算部９０４は、例えば、式（４９）乃至式（５６）が方程式生成部９０３から供給されたとき、式（４９）乃至式（５６）に画素値C05乃至C12を設定する。
【０４４６】
演算部９０４は、画素値が設定された式に基づき、前景の成分を算出する。例えば、演算部９０４は、画素値C05乃至C12が設定された式（４９）乃至式（５６）に基づく演算により、図５１に示すように、前景の成分F01/v乃至F08/vを算出する。演算部９０４は、前景の成分F01/v乃至F08/vを補正部９０５に供給する。
【０４４７】
補正部９０５は、演算部９０４から供給された前景の成分に、処理単位決定部９０１から供給された動きベクトルに含まれる動き量vを乗じて、動きボケを除去した前景の画素値を算出する。例えば、補正部９０５は、演算部９０４から供給された前景の成分F01/v乃至F08/vが供給されたとき、前景の成分F01/v乃至F08/vのそれぞれに、５である動き量vを乗じることにより、図５２に示すように、動きボケを除去した前景の画素値F01乃至F08を算出する。
【０４４８】
補正部９０５は、以上のように算出された、動きボケを除去した前景の画素値から成る前景成分画像を動きボケ付加部９０６および選択部９０７に供給する。
【０４４９】
動きボケ付加部９０６は、動き量vとは異なる値の動きボケ調整量v'、例えば、動き量vの半分の値の動きボケ調整量v'、動き量vと無関係の値の動きボケ調整量v'で、動きボケの量を調整することができる。例えば、図４５に示すように、動きボケ付加部９０６は、動きボケが除去された前景の画素値Fiを動きボケ調整量v'で除すことにより、前景成分Fi/v'を算出して、前景成分Fi/v'の和を算出して、動きボケの量が調整された画素値を生成する。例えば、動きボケ調整量v'が３のとき、画素値C02は、（F01）/v'とされ、画素値C03は、（F01+F02）/v'とされ、画素値C04は、（F01+F02+F03）/v'とされ、画素値C05は、（F02+F03+F04）/v'とされる。
【０４５０】
動きボケ付加部９０６は、動きボケの量を調整した前景成分画像を選択部９０７に供給する。
【０４５１】
選択部９０７は、例えば使用者の選択に対応した選択信号を基に、補正部９０５から供給された動きボケが除去された前景成分画像、および動きボケ付加部９０６から供給された動きボケの量が調整された前景成分画像のいずれか一方を選択して、選択した前景成分画像を出力する。
【０４５２】
このように、動きボケ調整部１０４は、選択信号および動きボケ調整量v'を基に、動きボケの量を調整することができる。
【０４５３】
次に、図４９に構成を示す動きボケ調整部１０４による前景の動きボケの量の調整の処理を図５３のフローチャートを参照して説明する。
【０４５４】
ステップＳ９０１において、動きボケ調整部１０４の処理単位決定部９０１は、動きベクトルおよび領域情報を基に、処理単位を生成し、生成した処理単位をモデル化部９０２および補正部９０５に供給する。
【０４５５】
ステップＳ９０２において、動きボケ調整部１０４のモデル化部９０２は、動き量vおよび処理単位に対応して、モデルの選択や生成を行う。ステップＳ９０３において、方程式生成部９０３は、選択または生成されたモデルを基に、前景成分画像の画素値の差により前景の成分を算出するための方程式を生成する。
【０４５６】
ステップＳ９０４において、演算部９０４は、作成された方程式に前景成分画像の画素値を設定し、画素値が設定された方程式を基に、画素値の差分から前景の成分を抽出する。ステップＳ９０５において、演算部９０４は、処理単位に対応する全ての前景の成分を抽出したか否かを判定し、処理単位に対応する全ての前景の成分を抽出していないと判定された場合、ステップＳ９０４に戻り、前景の成分を抽出の処理を繰り返す。
【０４５７】
ステップＳ９０５において、処理単位に対応する全ての前景の成分を抽出したと判定された場合、ステップＳ９０６に進み、補正部９０５は、動き量vを基に、演算部９０４から供給された前景の成分F01/v乃至F08/vのそれぞれを補正して、動きボケを除去した前景の画素値F01乃至F08を算出する。
【０４５８】
ステップＳ９０７において、動きボケ付加部９０６は、動きボケの量を調整した前景の画素値を算出して、選択部９０７は、動きボケが除去された画像または動きボケの量が調整された画像のいずれかを選択して、選択した画像を出力して、処理は終了する。
【０４５９】
このように、図４９に構成を示す動きボケ調整部１０４は、より簡単な演算で、より迅速に、動きボケを含む前景画像から動きボケを調整することができる。
【０４６０】
ウィナー・フィルタなど従来の動きボケを部分的に除去する手法が、理想状態では効果が認められるが、量子化され、ノイズを含んだ実際の画像に対して十分な効果が得られないのに対し、図４９に構成を示す動きボケ調整部１０４においても、量子化され、ノイズを含んだ実際の画像に対しても十分な効果が認められ、精度の良い動きボケの除去が可能となる。
【０４６１】
以上のように、図２に構成を示す画像処理装置は、入力画像に含まれる動きボケの量を調整することができる。
【０４６２】
図５４は、図２に構成を示す画像処理装置に入力される入力画像に比較して、時間方向に高解像度の画像を基に、図３７に構成を示すフレーム分割部２０３において使用される係数を生成する画像処理装置の実施の形態の構成を示すブロック図である。
【０４６３】
入力画像である、時間方向に高解像度の画像は、間引き部１００１および予測対象画素抽出部１００５に供給される。間引き部１００１は、入力画像である、時間方向に高解像度の画像を間引きして、図２に構成を示す画像処理装置に入力される入力画像と同等の時間方向の解像度を有する画像を生成する。間引き部１００１は、間引きされた画像をクラスタップ抽出部１００２および予測タップ抽出部１００４に供給する。
【０４６４】
クラスタップ抽出部１００２は、間引き部１００１から供給された、間引きされた画像から、注目している画素に対応する画素であるクラスタップを抽出し、抽出したクラスタップをクラス分類部１００３に供給する。
【０４６５】
クラス分類部１００３は、クラスタップ抽出部１００２から供給されたクラスタップを基に、クラス分類する。クラス分類部１００３は、分類されたクラスを示すクラスデータを演算部１００６に供給する。
【０４６６】
なお、クラス分類部１００３は、動き量vを基に、クラス分類するようにしてもよい。
【０４６７】
予測タップ抽出部１００４は、間引きされた画像から、注目している画素に対応する画素である予測タップを抽出し、抽出したクラスタップを演算部１００６に供給する。
【０４６８】
予測対象画素抽出部１００５は、時間方向に高解像度の画像の画素のうち、注目している画素に対応する予測の対象となる画素を抽出し、抽出した予測の対象となる画素を演算部１００６に供給する。
【０４６９】
演算部１００６は、予測対象画素抽出部１００５から供給された予測の対象となる画素、クラス分類部１００３から供給されたクラスデータ、および予測タップ抽出部１００４から供給された予測タップを基に、分類されたクラスに対応する係数を演算する。演算部１００６は、演算された係数を学習データメモリ１００７に供給する。
【０４７０】
学習データメモリ１００７は、演算部１００６から供給された係数を記憶する。
【０４７１】
演算部１００８は、学習データメモリ１００７に記憶されている係数を基に、クラスに対応する係数セットを演算する。演算部１００８は、クラスに対応する係数セットを算出するためのデータを演算するようにしてもよい。演算部１００８は、演算した係数セットを係数メモリ１００９に記憶させる。
【０４７２】
図５５は、図３７に構成を示すフレーム分割部２０３において使用される係数を生成する学習の処理を説明するフローチャートである。
【０４７３】
ステップＳ１００１において、間引き部１００１は、入力された画像のフレームを時間方向に間引きする。例えば、間引き部１００１は、入力された画像のフレームを所定の割合で消去することにより、時間方向に画像を間引きする。または、間引き部１００１は、対応する画素の画素値の平均値を算出し、算出された平均値を画素値に設定することにより、時間方向に画像を間引きする。
【０４７４】
ステップＳ１００２において、クラスタップ抽出部１００２は、間引きされた画像から、注目画素に対応する画素をクラスタップとして抽出し、予測タップ抽出部１００４は、間引きされた画像から、注目画素に対応する画素を予測タップとして抽出し、予測対象画素抽出部１００５は、入力された時間方向に高解像度の画像から予測の対象となる画素を抽出し、ブロック化する。
【０４７５】
ステップＳ１００３において、クラス分類部１００３は、動き量vおよびクラスタップを基に、クラス分類する。クラス分類部１００３は、分類されたクラスを示すクラスデータを演算部１００６に供給する。
【０４７６】
ステップＳ１００４において、演算部１００６は、予測タップ抽出部１００４から供給された予測タップの画素値、および予測対象画素抽出部１００５から供給された予測の対象となる画素の画素値を、係数を算出するための正規方程式に設定する。
【０４７７】
ステップＳ１００５において、演算部１００６は、全ブロックについて、画素値の設定の処理を終了したか否かを判定し、全ブロックについて、画素値の設定の処理を終了していないと判定された場合、ステップＳ１００２に戻り、他の画素を注目する画素として、ブロック化の処理乃至画素値の設定の処理を繰り返す。
【０４７８】
ステップＳ１００５において、全ブロックについて、画素値の設定の処理を終了したと判定された場合、ステップＳ１００６に進み、演算部１００６は、正規方程式を解き、係数を演算する。
【０４７９】
ステップＳ１００７において、演算部１００６は、全ブロックについて、係数の演算の処理を終了したか否かを判定し、全ブロックについて、係数の演算の処理を終了していないと判定された場合、ステップＳ１００６に戻り、他のブロックについて、係数の演算の処理を繰り返す。
【０４８０】
ステップＳ１００７において、全ブロックについて、係数の演算の処理を終了したと判定された場合、処理は終了する。
【０４８１】
このように、図５４に構成を示す画像処理装置は、フレームを分割するための、クラス分類適応処理に利用する係数セットを生成することができる。
【０４８２】
なお、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。
【０４８３】
以上においては、３次元空間と時間軸情報を有する現実空間の画像をビデオカメラを用いて２次元空間と時間軸情報を有する時空間への射影を行った場合を例としたが、本発明は、この例に限らず、より多くの第１の次元の第１の情報を、より少ない第２の次元の第２の情報に射影した場合に、その射影によって発生する歪みを補正したり、有意情報を抽出したり、またはより自然に画像を合成する場合に適応することが可能である。
【０４８４】
なお、センサは、CCDに限らす、固体撮像素子である、例えば、BBD（Bucket Brigade Device）、CID（Charge Injection Device）、CPD（Charge Priming Device）、またはCMOS（Complementary Mental Oxide Semiconductor）センサでもよく、また、検出素子がマトリックス状に配置されているセンサに限らず、検出素子が１列に並んでいるセンサでもよい。
【０４８５】
本発明の信号処理を行うプログラムを記録した記録媒体は、図１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５１（フレキシブルディスクを含む）、光ディスク５２（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク５３（ＭＤ（Mini-Disc）（商標）を含む）、もしくは半導体メモリ５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や、記憶部２８に含まれるハードディスクなどで構成される。
【０４８６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４８７】
【発明の効果】
本発明の画像処理装置および方法、記録媒体、並びにプログラムによれば、１つの画面が時間方向に分割され、複数の分割画面が出力され、分割された複数の分割画面の対応する画像の成分の相関に基づいて、画像の成分が時間方向に不連続に変化する、複数の分割画面の境界が各画素毎に検出され、検出された境界の前および後の少なくとも一方の分割画面の画像の成分に基づいて、画素値が生成され、生成された画素値が、前景および背景のうちの少なくとも一方に属するか否かが判定されるようにしたので、混ざり合いを考慮して、画像を、移動する物体に対応する前景の画像と背景の画像とに分離することができるようになる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の一実施の形態を示す図である。
【図２】画像処理装置を示すブロック図である。
【図３】センサによる撮像を説明する図である。
【図４】画素の配置を説明する図である。
【図５】検出素子の動作を説明する図である。
【図６】動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。
【図７】背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。
【図８】静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図９】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１０】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１１】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１２】前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。
【図１３】画素と画素値を時間方向に展開したモデルとの対応を示す図である。
【図１４】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１５】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１６】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１７】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１８】画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図１９】動きボケの量の調整の処理を説明するフローチャートである。
【図２０】前景背景分離部１０３の構成を示すブロック図である。
【図２１】フレーム分割部２０３の構成の一例を示すブロック図である。
【図２２】隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図２３】隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図２４】隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を示すモデル図である。
【図２５】隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図２６】前景の成分または背景の成分が混ざり込んだ画素を、時間方向に２つに分割する処理を説明する図である。
【図２７】前景の成分または背景の成分が混ざり込んだ画素を、時間方向に２つに分割する処理を説明する図である。
【図２８】隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。
【図２９】入力画像の例を示す図である。
【図３０】分割された画像の例を示す図である。
【図３１】分割された画像の例を示す図である。
【図３２】入力画像に含まれる前景の成分および背景の成分の割合の例を示す図である。
【図３３】カバードバックグラウンド領域に属する画素を前景と背景に分離した結果の例を波形で示す図である。
【図３４】カバードバックグラウンド領域に属する画素を前景と背景に分離した結果の例を波形で示す図である。
【図３５】前景背景分離部１０３の前景背景の分離の処理を説明するフローチャートである。
【図３６】フレームの分割の処理を説明するフローチャートである。
【図３７】フレーム分割部２０３の構成の他の一例を示すブロック図である。
【図３８】クラス分類処理を説明する図である。
【図３９】ＡＤＲＣ処理を説明する図である。
【図４０】フレーム分割の処理を説明するフローチャートである。
【図４１】動きボケ調整部１０４の構成の一例を示すブロック図である。
【図４２】処理単位を説明する図である。
【図４３】前景成分画像の画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４４】前景成分画像の画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４５】前景成分画像の画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４６】前景成分画像の画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデル図である。
【図４７】動きボケ調整部１０４の他の構成を示す図である。
【図４８】動きボケ調整部１０４による前景成分画像に含まれる動きボケの量の調整の処理を説明するフローチャートである。
【図４９】動きボケ調整部１０４の構成の他の一例を示すブロック図である。
【図５０】画素値と前景の成分のとの対応を指定するモデルの例を示す図である。
【図５１】前景の成分の算出を説明する図である。
【図５２】前景の成分の算出を説明する図である。
【図５３】前景の動きボケの除去の処理を説明するフローチャートである。
【図５４】係数を生成する画像処理装置の一実施の形態の構成を示すブロック図である。
【図５５】学習の処理を説明するフローチャートである。
【符号の説明】
２１  CPU，  ２２  ROM，  ２３  RAM，  ２６  入力部，  ２７  出力部，２８  記憶部，  ２９  通信部，  ５１  磁気ディスク，  ５２  光ディスク，  ５３  光磁気ディスク，  ５４  半導体メモリ，  １０１  オブジェクト抽出部，  １０２  動き検出部，  １０３  前景背景分離部，  １０４  動きボケ調整部，  １０５  背景補正部，  １０６  前景背景合成部，  ２０１  フレームメモリ，  ２０２  動き量検出部，  ２０３  フレーム分割部，  ２０４  前景背景境界検出部，  ２０５  画素値生成部，  ２０６  前景背景判別部，  ２２１  セレクタ，  ２２２  フレームメモリ，  ２２３−１および２２３−２  相関検出部，  ２２４  相関比較部，  ２２５  フレーム分割処理部，  ２２６フレームメモリ，  ２５１  クラスタップ抽出部，  ２５２  クラス分類部，２５３  係数メモリ，  ２５４  予測タップ抽出部，  ２５５  適応処理部，８０１  処理単位決定部，  ８０２  モデル化部，  ８０３  方程式生成部，８０４  足し込み部，  ８０５  演算部，  ８０６  動きボケ付加部，  ８０７  選択部，  ８２１  選択部，  ９０１  処理単位決定部，  ９０２  モデル化部，  ９０３  方程式生成部，  ９０４  演算部，  ９０５  補正部，  ９０６  動きボケ付加部，  ９０７  選択部，  １００１  間引き部，  １００２  クラスタップ抽出部，  １００３  クラス分類部，  １００４  予測タップ抽出部，  １００５  予測対象画素抽出部，  １００６  演算部，  １００７  学習データメモリ，  １００８  演算部，  １００９  係数メモリ
【図１】
0004088819.tif 000019
【図２】
0004088819.tif 000020
【図３】
0004088819.tif 000021
【図４】
0004088819.tif 000022
【図５】
0004088819.tif 000023
【図６】
0004088819.tif 000024
【図７】
0004088819.tif 000025
【図８】
0004088819.tif 000026
【図９】
0004088819.tif 000027
【図１０】
0004088819.tif 000028
【図１１】
0004088819.tif 000029
【図１２】
0004088819.tif 000030
【図１３】
0004088819.tif 000031
【図１４】
0004088819.tif 000032
【図１５】
0004088819.tif 000033
【図１６】
0004088819.tif 000034
【図１７】
0004088819.tif 000035
【図１８】
0004088819.tif 000036
【図１９】
0004088819.tif 000037
【図２０】
0004088819.tif 000038
【図２１】
0004088819.tif 000039
【図２２】
0004088819.tif 000040
【図２３】
0004088819.tif 000041
【図２４】
0004088819.tif 000042
【図２５】
0004088819.tif 000043
【図２６】
0004088819.tif 000044
【図２７】
0004088819.tif 000045
【図２８】
0004088819.tif 000046
【図２９】
0004088819.tif 000047
【図３０】
0004088819.tif 000048
【図３１】
0004088819.tif 000049
【図３２】
0004088819.tif 000050
【図３３】
0004088819.tif 000051
【図３４】
0004088819.tif 000052
【図３５】
0004088819.tif 000053
【図３６】
0004088819.tif 000054
【図３７】
0004088819.tif 000055
【図３８】
0004088819.tif 000056
【図３９】
0004088819.tif 000057
【図４０】
0004088819.tif 000058
【図４１】
0004088819.tif 000059
【図４２】
0004088819.tif 000060
【図４３】
0004088819.tif 000061
【図４４】
0004088819.tif 000062
【図４５】
0004088819.tif 000063
【図４６】
0004088819.tif 000064
【図４７】
0004088819.tif 000065
【図４８】
0004088819.tif 000066
【図４９】
0004088819.tif 000067
【図５０】
0004088819.tif 000068
【図５１】
0004088819.tif 000069
【図５２】
0004088819.tif 000070
【図５３】
0004088819.tif 000071
【図５４】
0004088819.tif 000072
【図５５】
0004088819.tif 000073