(57)【特許請求の範囲】
【請求項１】
動き量を設定する動き量設定部と、
動き方向を設定する動き方向設定部と、
前記動き量と前記動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成する生徒画像生成部と、
前記生徒画像内の動きボケが生じている動きオブジェクトにおける前記注目画素の成分が主に含まれる主要項を抽出するため、前記教師画像内の注目画素の空間位置と略同じ前記生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出部と、
少なくとも前記動き方向毎に、複数組の、前記予測タップ抽出部により抽出された画素の画素値と、前記教師画像内の注目画素との関係から、前記予測タップ抽出部により抽出された画素の画素値から前記教師画像内の注目画素を予測する処理係数を生成する係数生成部とを備え、
前記生徒画像生成部は、特定の割合で、前記教師画像に動きボケを付加しない生徒画像を生成する学習装置。
【請求項２】
前記生徒画像生成部は、第１の動き方向の動きボケに対応する予測係数を生成する際、第１の動き方向に近い第２の動き方向の動きボケを有する生徒画像を学習に用いる請求項１記載の学習装置。
【請求項３】
前記生徒画像生成部は、前記生徒画像に更にノイズを付加する請求項１記載の学習装置。
【請求項４】
前記予測タップ抽出部は、
前記生徒画像がインタレースフォーマットのとき、前記生徒画像内の第１の複数の画素の画素値を抽出し、
前記生徒画像がプログレッシブフォーマットのとき、前記生徒画像内の第２の複数の画素の画素値を抽出する請求項１記載の学習装置。
【請求項５】
前記教師画像内の注目画素に対応する前記生徒画像内の画素の画素値に基づき、前記注目画素のクラスを決定するクラス決定部を設け、
前記係数生成部は、前記クラス決定部により検出されたクラス毎に、前記教師画像内の注目画素を予測する処理係数を生成する請求項１記載の学習装置。
【請求項６】
前記クラス決定部では、前記教師画像内の注目画素に対応する前記生徒画像内の画素の画素値のアクティビティに応じて、前記注目画素のクラスを決定する請求項５記載の学習装置。
【請求項７】
動き量を設定する動き量設定工程と、
動き方向を設定する動き方向設定工程と、
前記動き量と前記動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成する生徒画像生成工程と、
前記生徒画像内の動きボケが生じている動きオブジェクトにおける前記注目画素の成分が主に含まれる主要項を抽出するため、前記教師画像内の注目画素の空間位置と略同じ前記生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出工程と、
少なくとも前記動き方向毎に、複数組の、前記予測タップ抽出工程により抽出された画素の画素値と、前記教師画像内の注目画素との関係から、前記予測タップ抽出工程により抽出された画素の画素値から前記教師画像内の注目画素を予測する処理係数を生成する係数生成工程とを有し、
前記生徒画像生成工程では、特定の割合で、前記教師画像に動きボケを付加しない生徒画像を生成する学習方法。
【請求項８】
コンピュータに、
動き量を設定する動き量設定ステップと、
動き方向を設定する動き方向設定ステップと、
前記動き量と前記動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成すると共に、特定の割合で、前記教師画像に動きボケを付加しない生徒画像を生成する生徒画像生成ステップと、
前記生徒画像内の動きボケが生じている動きオブジェクトにおける前記注目画素の成分が主に含まれる主要項を抽出するため、前記教師画像内の注目画素の空間位置と略同じ前記生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出ステップと、
少なくとも前記動き方向毎に、複数組の、前記予測タップ抽出ステップにより抽出された画素の画素値と、前記教師画像内の注目画素との関係から、前記予測タップ抽出ステップにより抽出された画素の画素値から前記教師画像内の注目画素を予測する処理係数を生成する係数生成ステップとを実行させる学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、学習装置と学習方法および学習プログラムに関する。詳しくは、設定された動き量と動き方向とに基づき、教師画像に動きボケを付加することで生徒画像を生成して、教師画像内の注目画素に対応する生徒画像内の画素の画素値に基づき、注目画素のクラスを決定する。また、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値を少なくとも抽出する。この抽出した画素値と教師画像内の注目画素との関係から、抽出した画素値に基づいて教師画像内の注目画素を予測する処理係数の生成を検出されたクラス毎に行う。この生徒画像の生成では、特定の割合で、動き量および動き方向のうち少なくとも何れか一方を変更して生徒画像の生成を行うものである。
【背景技術】
【０００２】
従来より、現実世界における事象を、センサを用いてデータ化することが行われている。このセンサを用いて取得されたデータは、現実世界の情報（例えば、光）が、現実世界より低い次元の時空間に射影して得られた情報である。このため、射影して得られた情報は、射影により発生する歪みを有している。例えば、静止している背景の前で移動する物体をビデオカメラで撮像して画像信号としてデータ化する場合、現実世界の情報をサンプリングしてデータ化することから、画像信号に基づいて表示される画像では、射影により発生する歪みとして、動いている物体がボケてしまう動きボケが生じる。
【０００３】
このため、特開２００１−２５０１１９号公報（対応米国出願番号：０９／８３０８５８、対応欧州特許公開番号：ＥＰ１１６４５４５）で開示されているように、例えば、入力画像に含まれる前景のオブジェクトに対応する画像オブジェクトの輪郭を検出することで、前景のオブジェクトに対応する画像オブジェクトを粗く抽出し、この粗く抽出された前景のオブジェクトに対応する画像オブジェクトの動きベクトルを検出して、検出した動きベクトルおよび動きベクトルの位置情報を用いて動きボケの軽減が行われている。
【発明の開示】
【０００４】
ところで、このような従来の動きボケ除去においては、入力信号中の動きボケを生じている部分のボケ量に応じた空間的な処理を行うことによってボケ除去を行っていた。しかし、動画像においても同じような空間的に完結した処理を行うので、動きボケ除去処理の精度は、動きベクトル推定の精度に非常に強く影響される。すなわち、推定された動きベクトルがずれを生じると、使用する処理領域や処理係数が変化してしまい、動きボケ除去処理後の画像が破綻を生じてしまうおそれがある。また、時間情報を用いようとしても推定された動きベクトルのずれが更に助長されるので、時間方向の情報を有意義に用いて処理に活用することができない。
【０００５】
更に、動きオブジェクトと静止しているオブジェクトが含まれている画像に対して動きボケ除去を行っても、静止しているオブジェクトの画像は破綻しないように処理できなければ、動きボケを除去した良好な撮像画像を得ることができなくなってしまう。
【０００６】
この発明に係る学習装置は、動き量を設定する動き量設定部と、動き方向を設定する動き方向設定部と、動き量と動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成する生徒画像生成部と、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出部と、少なくとも動き方向毎に、複数組の、予測タップ抽出部により抽出された画素の画素値と、教師画像内の注目画素との関係から、予測タップ抽出部により抽出された画素の画素値から教師画像内の注目画素を予測する処理係数を生成する係数生成部とを備え、生徒画像生成部は、特定の割合で、教師画像に動きボケを付加しない生徒画像を生成するものである。
【０００７】
この発明に係る学習方法は、動き量を設定する動き量設定工程と、動き方向を設定する動き方向設定工程と、動き量と動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成する生徒画像生成工程と、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出工程と、少なくとも動き方向毎に、複数組の、予測タップ抽出部により抽出された画素の画素値と、教師画像内の注目画素との関係から、予測タップ抽出工程により抽出された画素の画素値から教師画像内の注目画素を予測する処理係数を生成する係数生成工程とを有し、生徒画像生成工程では、特定の割合で、教師画像に動きボケを付加しない生徒画像を生成するものである。
【０００８】
また、この発明に係る学習プログラムは、コンピュータに、動き量を設定する動き量設定ステップと、動き方向を設定する動き方向設定ステップと、動き量と動き方向とに基づき、教師画像に動きボケを付加して生徒画像を生成すると共に、特定の割合で、教師画像に動きボケを付加しない生徒画像を生成する生徒画像生成ステップと、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値を少なくとも抽出する予測タップ抽出ステップと、少なくとも動き方向毎に、複数組の、予測タップ抽出ステップにより抽出された画素の画素値と、教師画像内の注目画素との関係から、予測タップ抽出ステップにより抽出された画素の画素値から教師画像内の注目画素を予測する処理係数を生成する係数生成ステップとを実行させるものである。
【０００９】
この発明においては、設定された動き量や動き方向とに基づいて、教師画像に対し動きボケが付加されて生徒画像が生成される。この生徒画像の生成では、特定の割合で、動き量を「０」として動きボケを付加していない生徒画像の生成や、設定された動き量および動き方向のうち少なくとも何れか一方を変更して変更後の動き量や動き方向に基づき教師画像に動きボケを付加した生徒画像の生成、ノイズを付加した生徒画像の生成が行われる。また、生徒画像内の動きボケが生じている動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、教師画像内の注目画素の空間位置と略同じ生徒画像内の画素の画素値が少なくとも抽出される。画素値の抽出では、例えば生徒画像がインタレースフォーマットのとき、生徒画像内の第１の複数の画素の画素値が抽出される。また、生徒画像がプログレッシブフォーマットのとき、生徒画像内の第２の複数の画素の画素値が抽出される。この抽出された画素の画素値と教師画像内の注目画素との関係から、抽出された画素の画素値に基づき教師画像内の注目画素を予測する処理係数が生成される。
【発明の効果】
【００１０】
この発明によれば、特定の割合で教師画像に動きボケを付加しない生徒画像が生成される。このため、静止画像を含む画像に対して動きボケの除去を行っても、静止画像が破綻してしまうことを防止できる。また、第１の動き方向の動きボケに対応する予測係数を生成する際、第１の動き方向に近い第２の動き方向の動きボケを有する生徒画像が用いられる。このため、動きベクトルを精度良く検出できない場合が生じても、動きボケ除去を良好に行うことができる。更に、生徒画像にノイズを付加して処理係数が生成されるので、画像センサで生じるノイズを付加して学習を行うものとすれば、ノイズの影響を軽減できる。また、ノイズ量を調整することでボケ感を変化させたり、ボケ量の違う生徒画像の割合を調整して、新たなボケ感を作り出すことも可能となる。
【００１１】
また、生徒画像がインタレースフォーマットのとき、生徒画像内の第１の複数の画素の画素値が抽出され、プログレッシブフォーマットのとき、生徒画像内の第２の複数の画素の画素値が抽出されるので、インタレースフォーマットあるいはプログレッシブフォーマットの何れの画像信号を用いても、この画像信号に基づく画像から動きボケを除去することができる。更に、教師画像内の注目画素に対応する生徒画像内の画素の画素値のアクティビティに応じて、注目画素のクラスが決定されて、クラス毎に処理係数の生成が行われるので、撮像画像に応じた動きボケ除去処理を行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、本発明を適用するシステムの構成を示すブロック図である。画像センサ１０は現実社会を撮像した画像信号ＤＶaを生成して画像処理装置２０に供給する。画像処理装置２０は、供給された入力画像の画像信号ＤＶaに埋もれてしまった情報の抽出を行い、埋もれてしまった情報を抽出した画像信号を生成して出力する。なお、画像処理装置２０は、外部から供給された種々の情報ＥＴを用いて、画像信号ＤＶaに埋もれてしまった情報の抽出を行うこともできるようになされている。
【００１３】
画像センサ１０は、固体撮像素子であるＣＣＤ（Charge-Coupled Device）エリアセンサやＭＯＳエリアセンサを備えたビデオカメラなどで構成されており、現実社会を撮像する。例えば、図２に示すように、画像センサ１０と背景に対応するオブジェクトＯＢbとの間を、前景に対応する動きオブジェクトＯＢfが矢印Ａ方向に移動するとき、画像センサ１０は、前景に対応する動きオブジェクトＯＢfを背景に対応するオブジェクトＯＢbと共に撮像する。
【００１４】
この画像センサ１０の検出素子は、露光時間に対応する期間、入力された光を電荷に変換して、光電変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、露光時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、露光時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。このように、画像センサで光電変換を行い、入力された光を画素単位で電荷に変換して露光時間単位で蓄積する。この蓄積された電荷量に応じて画素信号を生成して、この画素信号を用いて所望のフレームレートの画像信号を生成して画像処理装置に供給する。なお、画像センサの露光時間は、上述のように画像センサが入力された光を電荷に変換して検出素子にその電荷を蓄積する期間であり、シャッタ動作が行われていないときは画像時間間隔（１フレーム期間）と等しいものである。また、シャッタ動作が行われるときはシャッタ開時間と等しいものである。
【００１５】
図３Ａおよび図３Ｂは、画像信号で示される撮像画像を説明するための図である。図３Ａは、動いている前景に対応する動きオブジェクトＯＢfと、静止している背景に対応するオブジェクトＯＢbとを撮像して得られる画像を示している。なお、前景に対応する動きオブジェクトＯＢfは、矢印Ａ方向に水平移動しているものとする。
【００１６】
図３Ｂは、図３Ａに示すように矢印Ａ方向に伸びたラインＬ（破線で示す）の位置での画像と時間の関係を示している。動きオブジェクトＯＢfのラインＬにおける移動方向の長さが例えば９画素分であり、１露光期間中に５画素移動する場合、フレーム期間開始時に画素位置Ｐ21にあった前端と画素位置Ｐ13にあった後端は、それぞれ画素位置Ｐ25，Ｐ17で露光期間の終了となる。また、シャッタ動作が行われていないとき、１フレームにおける露光期間は１フレーム期間と等しいことから、次のフレーム期間開始時に前端が画素位置Ｐ26、後端が画素位置Ｐ18となる。
【００１７】
このため、ラインＬのフレーム期間において、画素位置Ｐ12までと画素位置Ｐ26からは、背景成分のみの背景領域となる。また、画素位置Ｐ17〜Ｐ21は、前景成分のみの前景領域となる。画素位置Ｐ13〜Ｐ16と画素位置Ｐ22〜Ｐ25は、背景成分と前景成分が混合された混合領域となる。混合領域は、時間の経過に対応して背景成分が前景に覆い隠されるカバードバックグランド領域と、時間の経過に対応して背景成分が現れるアンカバードバックグランド領域に分類される。なお、図３Ｂでは、前景のオブジェクトＯＢfの進行方向前端側に位置する混合領域がカバードバックグランド領域、後端側に位置する混合領域がアンカバードバックグランド領域となる。このように、画像信号には、前景領域、背景領域、またはカバードバックグランド領域若しくはアンカバードバックグランド領域を含む画像が含まれることとなる。
【００１８】
ここで、画像時間間隔は短時間であり、前景に対応する動きオブジェクトＯＢfは剛体であって等速に移動していると仮定して、ラインＬにおける画素値の時間方向分割動作を図４に示すように行う。この時間方向分割動作では、画素値を時間方向に展開して仮想分割数で等時間間隔に分割する。なお、図４において縦方向は時間に対応し、図中の上から下に向かって時間が経過することを示している。
【００１９】
仮想分割数は、前景に対応する動きオブジェクトの画像時間間隔での動き量ｖなどに対応して設定する。例えば、１フレーム期間内の動き量ｖが上述のように５画素であるときは、動き量ｖに対応して仮想分割数を「５」に設定して、１フレーム期間を等時間間隔で５分割する。
【００２０】
また、背景に対応するオブジェクトＯＢbを撮像したときに得られる画素位置Ｐxの１フレーム期間の画素値をＢx、ラインＬにおける長さが９画素分である前景に対応する動きオブジェクトＯＢfを静止させて撮像したときに各画素で得られる画素値をＦ09（前端側）〜Ｆ01（後端側）とする。
【００２１】
この場合、例えば画素位置Ｐ14の画素値ＤＰ14は、式（１）で表される。
ＤＰ14＝Ｂ14/ｖ+Ｂ14/ｖ+Ｂ14/v＋Ｆ01/ｖ+Ｆ02/ｖ     ・・・（１）
【００２２】
この画素位置Ｐ14では、背景の成分を３仮想分割時間（フレーム期間/ｖ）含み、前景成分を２仮想分割時間含むので、画素値に対する背景成分の混合比αは（３／５）となる。同様に、例えば画素位置Ｐ22では、背景の成分を１仮想分割時間含み、前景成分を４仮想分割時間含むので、混合比αは（１／５）となる。
【００２３】
このように、前景の成分が移動することから、１露光時間では、異なる前景の成分が加算されるので、動きオブジェクトに対応する前景の領域は、動きボケを含むものとなる。このため、画像処理装置２０では、画像信号ＤＶaに埋もれてしまった有意情報を抽出して前景に対応する動きオブジェクトＯＢfの動きボケを除去させた画像信号ＤＶoutを生成する。
【００２４】
ここで、画像上の注目画素の画素値の算出動作について図５Ａを用いて説明する。例えば動きオブジェクトＯＢf内の注目画素の画素値Ｆ29を求める場合、注目画素の成分Ｆ29/vを含む画素位置Ｐ47を処理対象の画素である着目画素とすると、破線で示すように最初に注目画素の成分Ｆ29/vが現れる画素位置Ｐ45、および画素位置Ｐ45と隣接して注目画素の成分Ｆ29/vを有していない画素位置Ｐ44については、式（２）が成立する。
F29−F24＝（ＤＰ45−ＤＰ44）×ｖ        ・・・（２）
【００２５】
同様に、破線で示すように最後に注目画素の成分Ｆ29/vが現れる画素位置Ｐ49、および画素位置Ｐ49と隣接して注目画素の成分Ｆ29/vを有していない画素位置Ｐ50ついては、式（３）が成立する。
F34−F29＝（ＤＰ50−ＤＰ49）×ｖ        ・・・（３）
【００２６】
すなわち、注目画素の画素値Ｆ29は、画素位置Ｐ44，Ｐ45の画素値ＤＰ44，ＤＰ45と画素値Ｆ24、あるいは画素位置Ｐ49，Ｐ50の画素値ＤＰ49，ＤＰ50と画素値Ｆ34を用いて算出できる。
【００２７】
更に、画素値Ｆ24を注目画素の画素値Ｆ29と同様にして求めることを考えると、破線で示すように最初に成分Ｆ24/vが現れる画素位置Ｐ40、および画素位置Ｐ40と隣接して成分Ｆ24/vを有していない画素位置Ｐ39については、式（４）が成立する。
F24−F19＝（ＤＰ40−ＤＰ39）×ｖ        ・・・（４）
【００２８】
このため、画素位置Ｐ39，Ｐ40，Ｐ44，Ｐ45の画素値ＤＰ39，ＤＰ40，ＤＰ44，ＤＰ45と画素値Ｆ19を用いて画素値Ｆ24を算出できる。また、画素値Ｆ34も同様にして求めることができる。
【００２９】
以上のように考えると、差分を求める画素の位置は、動き量ｖの間隔を持って繰り返し現れることとなる。すなわち、注目画素の画素値Ｆ29は、上述のように差分の算出に用いる画素位置・・・，Ｐ39，Ｐ40，Ｐ44，Ｐ45，Ｐ49，Ｐ50，・・・の画素値を用いて算出できる。
【００３０】
また、注目画素の画素値をモデル式から算出する場合について説明する。ここで、図６に示すように注目画素Ｐnaを中心として動き方向に（２Ｎ＋１）画素分の処理領域を設定する。図７Ａおよび図７Ｂは処理領域の設定例を示しており、動きボケを除去させる動きオブジェクトＯＢfの画素に対して、動きベクトルの方向が例えば矢印Ａで示すように水平方向である場合は、図７Ａに示すように水平方向に処理領域ＷＡを設定する。また、動きベクトルの方向が斜め方向である場合は、図７Ｂに示したように、該当する角度方向に処理領域ＷＡを設定する。ただし、斜め方向に処理領域を設定する際には、処理領域の画素位置に相当する画素値を、補間等によって求める。
【００３１】
ここで、処理領域内では、図８に示すように、実世界変数(Ｙ-8，・・・,Ｙ0，・・・，Ｙ8) が時間混合されている。なお、図８は、動き量ｖが「ｖ＝５」であって処理領域を１３画素（Ｎ＝６：Ｎは注目画素に対する処理幅の画素数）とした場合である。
【００３２】
ボケ除去処理では、この処理領域に対して実世界推定を行い、推定した実世界の中心画素変数Ｙ0に対応する画素値ＤＱ０を、動きボケ除去がなされた注目画素の画素値とする。
【００３３】
ここで、処理領域を構成する画素の画素値をＸ-N，Ｘ-N+1，・・・，Ｘ0，・・・，ＸN-1，ＸN とすると、式（５）に示すような（２Ｎ＋１）個の混合式が成立する。なお、画素値Ｘtは、画素位置Ｐtの画素値を示している。定数ｈは、動き量ｖを１／２倍したときの整数部分の値（小数点以下を切り捨てた値）を示している。
【００３４】
【数１】
0004872672.tif 000002
【００３５】
しかし、求めたい実世界変数（Ｙ-N-h，・・・，Ｙ0，・・・，ＹN+h）は、（２Ｎ＋ｖ）個ある。すなわち、変数の数よりも式の数が少ないので、式（５）に基づき実世界変数（Ｙ-N-h，・・・，Ｙ0，・・・，ＹN+h）を求めることができない。
【００３６】
そこで、式（６）に示すように隣接画素差分＝０とする空間相関を用いた拘束式を用いることで、実世界変数よりも式の数を増やし、最小自乗法を用いて、実世界変数の値を求める。
Ｙt−Ｙt+1＝０  （ｔ＝-N-h,・・・,０,・・・,N+h-1）・・・（６）
【００３７】
すなわち、式（５）で表される（２Ｎ＋１）個の混合式と式（６）で表される（２Ｎ＋ｖ−1）個の拘束式を合わせた（４Ｎ＋ｖ）個の式を用いて、（２Ｎ＋ｖ）個の未知変数である実世界変数（Ｙ-N-h，・・・，Ｙ0，・・・，ＹN+h）を求める。
【００３８】
ここで、各式において発生する誤差の二乗和が最小となるような推定を行うことで、動きボケ除去画像生成処理を行いながら、実世界での画素値の変動を小さくできる。
【００３９】
式（７）は、図８に示すように処理領域を設定した場合を示しており、式（５）と式（６）にそれぞれの式で発生する誤差を加えたものである。
【００４０】
【数２】
0004872672.tif 000003
【００４１】
この式（７）は式（８）として示すことができ、式（９）に示す誤差の二乗和Ｅを最小とするようなＹ（＝Ｙi）は式（１０）として求まる。なお、式（１０）において、Ｔは転置行列であることを示している。
【００４２】
【数３】
0004872672.tif 000004
【００４３】
ここで、誤差の二乗和は式（１１）で示すものとなり、この誤差の二乗和を偏微分して、式（１２）に示すように偏微分値が０となるようにすれば、誤差の二乗和が最小となる式（１０）を求めることができる。
【００４４】
【数４】
0004872672.tif 000005
【００４５】
この式（１０）の線形結合を行うことで、実世界変数（Ｙ-N-h，・・・，Ｙ0，・・・，ＹN+h）をそれぞれ求めることができ、中心画素変数Ｙ0の画素値が注目画素の画素値となる。
【００４６】
上述では、ＡＹ＝Ｘ＋ｅにおける誤差の二乗和Ｅを最小とするように、最小自乗法で実世界変数（Ｙ-N-h，・・・，Ｙ0，・・・，ＹN+h）を求めているが、式の数＝変数の数となるように式を作ることも可能である。この式をＡＹ＝Ｘとき、Ｙ＝Ａ-1Ｘと変形することにより、実世界変数（Ｙ-N-h，・・・，Ｙ0，・・・，ＹN+h）を求めることができる。
【００４７】
ここで、図５Ａに示す画素位置Ｐ47を注目画素として画素値Ｆ29を求めるものとすると、各画素に対して用いられる処理係数は、図５Ｂのような形状を示すものとなる。すなわち、差分の算出に用いる画素位置の画素に対する処理係数の絶対値が他の画素に対する係数よりも大きくなる。このような、差分の算出に用いる画素位置の画素を主要項とする。
【００４８】
空間方向の主要項の位置は、図９に示すように、注目画素Ｐnaを基準として動き方向に動き量に応じた画素位置となる。なお、主要項ＭＣa1は注目画素に対して動き方向に最も近接した主要項、主要項ＭＣb1は動き方向とは逆方向で最も近接した主要項を示している。
【００４９】
時間方向の主要項の位置は、図１０に示すように、複数の画像上の同じ画素位置に重なるものとなる。また、上述の主要項ＭＣa1，ＭＣb1について着目すると、（ｔ−１）フレームの画像上の主要項ＭＣa1の位置は（ｔ）フレームの画像上の主要項ＭＣb1の位置となる。従って、（ｔ−１）フレームと（ｔ）フレームとの真ん中の位相であって、主要項ＭＣa1，ＭＣb1と略同じ画素位置が、注目画素Ｐnaに相当する。正確には、主要項ＭＣa1は画素値Ｘ-3，Ｘ-2の画素、主要項ＭＣb1は画素値Ｘ2，Ｘ3の画素に相当し、注目画素Ｐnaの空間的な位置は、画素値Ｘ-3である画素と画素値Ｘ-2である画素の中間位置、あるいは画素値Ｘ2である画素と画素値Ｘ3である画素との中間位置に相当する。
【００５０】
ここで、図１１Ａに示すように、空間方向の主要項のみを使用して、空間方向に存在する主要項ＭＣa1と主要項ＭＣb1との真ん中である画素位置を、動きボケ除去後の注目画素Ｐnaの出力位置とする場合、注目画素Ｐnaの動きベクトルを精度良く検出しないと、破線で示すように主要項ＭＣa1，ＭＣb1等の位置が大きく変動してしまうことから、注目画素Ｐnaの動きボケを精度良く除去することができなくなってしまう。
【００５１】
また、図１１Ｂに示すように、空間方向の主要項のみを使用して、フレーム間の真ん中を、動きボケ除去後の注目画素Ｐnaの出力位相とする場合、主要項ＭＣb1の位置は動きベクトルの検出精度による影響が少ないが、残りの主要項ＭＣa1等の位置は破線で示すように動きベクトルの検出精度による影響が大きいことから、注目画素Ｐnaの動きベクトルを精度良く検出しないと、注目画素Ｐnaの動きボケを精度良く除去することができなくなってしまう。
【００５２】
また、時間方向の主要項を用いる場合であっても、図１１Ａと同様に主要項ＭＣa1と主要項ＭＣb1との真ん中である画素位置を、動きボケ除去後の注目画素Ｐnaの出力位置とする場合、注目画素Ｐnaの動きベクトルを精度良く検出しないと、時間方向の主要項の位置が変動してしまうことから、動きボケを精度良く除去することができなくなってしまう。
【００５３】
そこで、図１２に示すように、時間方向の主要項を使用して、フレーム間の真ん中を動きボケ除去後の注目画素Ｐnaの出力位相として注目画素Ｐnaの動きボケ除去後の画素値を生成する。すなわち、図１０に示す（ｔ−１）フレームの画像上の主要項ＭＣa1と（ｔ）フレームの画像上の主要項ＭＣb1を用いて、（ｔ−１）フレームと（ｔ）フレームとの真ん中の位相であって、主要項ＭＣa1，ＭＣb1と略同じ空間位置の画素を注目画像の注目画素Ｐnaとして動きボケ除去後の画素値を生成する。このように、動きボケ除去後の注目画素Ｐnaの出力位相を（ｔ−１）フレームと（ｔ）フレームの真ん中としたとき、時間の方向の主要項の位置は、動きベクトルの検出精度による影響が少ないので、動きベクトルを精度良く検出できなくとも、主要項の位置は大きく変化することがなく、動きベクトルの検出精度に大きく影響されることなく動きボケ除去を良好に行うことができる。
【００５４】
また、（ｔ−１）フレームと（ｔ）フレームの主要項の係数の形状は、図１０からも明らかなように、注目画素Ｐnaの位置に対して時間方向でそれぞれプラスマイナスが入れ替わったような複数画素分の係数すなわち複数組の係数になっている。そのため、時間的に前後の画素値がほぼ同一で空間的にも相関が強い静止背景のような場合には、前後の大きい係数同士が互いに打ち消しあい、結果として小さい係数を割り当てたときと同じとなる。従って、動き量が大きいオブジェクトに対する動きボケ除去を静止背景等に対して行っても、画像の破綻を生じ難くすることができる。しかし、検出された動きベクトルの誤差が大きいと破綻を生じるおそれがあることから、後述する処理係数の学習において、静止画像の破綻に対するロバスト性を向上させる。
【００５５】
このように、時空間方向の主要項を使用して、フレーム間の真ん中を、動きボケ除去後の注目画素Ｐnaの出力位相とした動きボケ除去を行う画像処理装置の機能ブロック図を図１３に示す。なお、画像処理装置の各機能はハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、図１３の機能ブロックは、ハードウェアで実現するものとしても良く、ソフトウェアで実現するものとしてもよい。
【００５６】
ここで、ソフトウェアを用いるときの画像処理装置２０の構成を例えば図１４に示す。ＣＰＵ（Central Processing Unit）２０１は、ＲＯＭ（Read Only Memory）２０２、または記憶部２０８に記憶されているプログラムに従って各種の処理を実行するものであり、ＲＯＭ２０２や記憶部２０８には、画像処理装置の各機能を実現するプログラムが記憶される。ＲＡＭ（Random Access Memory）２０３には、ＣＰＵ２０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ２０１、ＲＯＭ２０２、およびＲＡＭ２０３は、バス２０４により相互に接続されている。
【００５７】
また、ＣＰＵ２０１には、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。ＣＰＵ２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ２０１は、処理の結果得られた画像や音声等を出力部２０７に出力する。
【００５８】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクなどで構成され、ＣＰＵ２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２０９はセンサの出力を取り込む取得部として働く。また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【００５９】
入出力インタフェース２０５に接続されているドライブ部２１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどの記録媒体が装着されたとき、それらを駆動し、記録媒体に記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送されて記憶される。
【００６０】
図１３に示すように、画像処理装置２０に供給された画像信号ＤＶaは、動き方向検出部３２の方向検出処理部３２１と、周辺画像保持部３３の第１画像保持部３３１と第２画像保持部３３２に供給される。
【００６１】
注目画素設定部３１は、予測する注目画像内の注目画素Ｐnaの設定を行う。ここで、上述の図１０および図１２を用いて説明したように、（ｔ−１）フレームの画像上の主要項ＭＣa1と（ｔ）フレームの画像上の主要項ＭＣb1を用いることにより、（ｔ−１）フレームと（ｔ）フレームとの真ん中の位相であって、主要項ＭＣa1，ＭＣb1と略同じ画素位置の画素である注目画素の動きボケ除去後の画素値を求めることができる。このため、画像信号ＤＶaがプログレッシブフォーマットの信号であるとき、注目画素設定部３１は、予測する注目画像を（ｔ−１）フレームと（ｔ）フレームとの真ん中の位相の画像として、この注目画像内の注目画素Ｐnaの設定を行う。また、（ｔ−１）フレームと（ｔ）フレームの画像を周辺画像とする。画像信号ＤＶaがインタレースフォーマットの信号であるとき、注目画素設定部３１は、予測する注目画像を（ｔ−１）フィールドと（ｔ）フィールドとの真ん中の位相の画像として、この注目画像内の注目画素Ｐnaの設定を行う。また、（ｔ−１）フィールドと（ｔ）フィールドの画像を周辺画像とする。
【００６２】
方向検出処理部３２１は、画像信号ＤＶaに基づき画素毎の動きベクトル検出を行い、注目画素設定部３１で設定された注目画素の動き方向を示す動き方向情報ｖdaを動き方向選択部３２２に供給する。この方向検出処理部３２１では、ブロックマッチング法や勾配法等の手法を用いることで、画素毎の動きベクトルを検出できる。
【００６３】
動き方向選択部３２２には、外部から情報ＥＴとして動き方向を示す動き方向情報ｖdbが入力可能とされており、方向検出処理部３２１から供給された動き方向情報ｖdaあるいは外部から入力された動き方向情報ｖdbの何れかを選択して、選択した動き方向情報ｖdを画素値生成部３８aに供給する。
【００６４】
周辺画像保持部３３の第１画像保持部３３１と第２画像保持部３３２は、メモリを用いて構成されており、第１画像保持部３３１は、周辺画像である（ｔ−１）フレームの画像を保持する。また、第２画像保持部３３２は、周辺画像である（ｔ）フレームの画像を保持する。
【００６５】
画素値抽出部３６は、注目画素の成分が主に含まれる主要項を抽出するため、第１画像保持部３３１および第２画像保持部３３２に保持されている周辺画像から、注目画素Ｐnaの空間位置と略同じ位置の画素を少なくとも抽出して、予測タップＣａとして画素値生成部３８aに供給する。
【００６６】
図１５Ａおよび図１５Ｂは、予測タップＣaを示している。画像信号ＤＶaがプログレッシブフォーマットであるとき、画素値抽出部３６は、周辺画像である（ｔ−１）フレームと（ｔ）フレームの画像から、図１５Ａに示すように注目画素Ｐnaの空間位置と略同じ位置の画素を基準として、例えば２１画素を予測タップとして抽出する。画像信号ＤＶaがインタレースフォーマットであるとき、画素値抽出部３６は、図１５Ｂに示すように注目画素Ｐnaの空間位置と同じ位置の画素を基準として、周辺画像である（ｔ）フィールドの画像から２１画素を予測タップとして抽出し、周辺画像である（ｔ−１）フィールドの画像から注目画素Ｐnaの空間位置と同じ位置を基準として１７画素を予測タップとして抽出する。
【００６７】
処理係数設定部３７aは、ボケ除去処理に用いる処理係数を予め記憶しており、動き方向選択部で選択された動き方向に対応する複数組の処理係数ｄaを画素値生成部３８aに供給する。また、処理係数設定部３７aは、外部から情報ＥＴとして動きボケの調整を可能とする調整情報ＢＳが供給されたとき、この調整情報ＢＳに基づいて、画素値生成部３８aに供給する処理係数ｄaの切り換えを行うことで動きボケ除去効果を調整する。例えば、最初に供給した処理係数で動きボケ除去が最適に行われないような場合が生じても処理係数を切り換えることで動きボケを最適に除去することが可能となる。また、処理係数を切り換えることで意図的に動きボケを残すことも可能である。
【００６８】
画素値生成部３８aは、動き方向選択部３２２で選択された動き方向情報ｖdに基づき、画素値抽出部３６で第１画像保持部３３１から抽出した画素の画素値を用いて、処理係数設定部３７aから供給された処理係数ｄaに対応する動き方向の画素値を算出する。更に、算出した画素値と処理係数設定部３７aから供給された処理係数ｄaとの積和演算を行い画素値を生成する。また、第２画像保持部３３２から抽出した画素の画素値を用いて、処理係数設定部３７aから供給された処理係数ｄaに対応する動き方向の画素値を算出する。更に、算出した画素値と処理係数設定部３７aから供給された処理係数ｄaとの積和演算を行い画素値を生成する。この２つの画素値を統合することで注目画素の画素値を生成して、画像信号ＤＶoutとして出力する。
【００６９】
このように、複数の周辺画像の主要項の画素値を用いて注目画像内の注目画素の画素値を生成することで、注目画素の動きベクトルを精度良く検出することができない場合が生じても、動きボケ除去の性能低下を少なくすることができるため、動きベクトルの検出ずれに対して非常にロバストな動きボケ除去を行うことが可能となる。
【００７０】
図１６は、ソフトウェアで画像処理を行う場合のフローチャートを示している。ステップＳＴ１でＣＰＵ２０１は、動きボケの除去を行う注目画素を設定してステップＳＴ２に進む。ステップＳＴ２でＣＰＵ２０１は、注目画素の動き方向を検出してステップＳＴ３に進む。ステップＳＴ３でＣＰＵ２０１は、画素値抽出を行い、周辺画像に設定した予測タップの画素値を抽出する。すなわち、ＣＰＵ２０１は、動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、注目画素と空間位置が略同じ周辺画像内の画素を少なくとも予測タップとして、この予測タップの画素値を抽出する。
【００７１】
ステップＳＴ４でＣＰＵ２０１は、ステップＳＴ２で検出した動き方向に応じた処理係数を設定してステップＳＴ５に進む。
【００７２】
ステップＳＴ５でＣＰＵ２０１は、ボケ除去処理を各フレームに対して行う。すなわち、ＣＰＵ２０１は、ステップＳＴ３で抽出した予測タップの画素値とステップＳＴ４で設定した処理係数との演算処理を行い、ボケ除去がなされた画素値を算出してステップＳＴ６に進む。
【００７３】
ステップＳＴ６でＣＰＵ２０１は、全画面に対してボケ除去処理が完了したか否かを判別し、ボケ除去処理が行われていない画素があるときはステップＳＴ１に戻り、全画面に対してボケ除去が完了したときは処理を終了する。
【００７４】
ところで、図１３の画像処理装置２０では、動き方向選択部３２２で選択した動き方向に基づいて処理係数を設定するものとしたが、動き方向だけでなく画像の信号レベルも用いてクラス決定を行い、決定されたクラスに応じて処理係数を選択して画素値生成部に供給すれば、更に精度良く動きボケ除去処理を行うことができる。
図１７はクラス決定を行う画像処理装置の機能ブロック図を示している。なお、図１３と対応する部分については同一符号を付し、詳細な説明は省略する。
【００７５】
クラス決定部３５のクラスタップ抽出部３５１は、第１画像保持部３３１および第２画像保持部３３２に保持されている周辺画像から、注目画素に対応する空間位置を基準としてクラスタップを抽出して、抽出したクラスタップＴＰaをクラス分類部３５２に供給する。
【００７６】
図１８Ａおよび図１８Ｂは、クラスタップを示している。画像信号ＤＶaがプログレッシブフォーマットであるとき、クラスタップ抽出部３５１は、周辺画像である（ｔ−１）フレームと（ｔ）フレームの画像から、図１８Ａに示すように注目画素Ｐnaに対応する空間位置を基準として、例えば注目画素Ｐnaに対応する空間位置の画素と、この画素に隣接する画素を含めて９画素をクラスタップとして抽出する。画像信号ＤＶaがインタレースフォーマットであるとき、クラスタップ抽出部３５１は、図１８Ｂに示すように注目画素Ｐnaに対応する空間位置を基準として、例えば周辺画像である（ｔ）フィールドの画像から注目画素Ｐnaに対応する空間位置の画素と、この画素に隣接する画素を含めて９画素をクラスタップとして抽出する。また、周辺画像である（ｔ−１）フィールドの画像から注目画素Ｐnaに対応する空間位置と重なりを持つ画素およびこの画素と隣接する画素を含めて１２画素をクラスタップとして抽出する。
【００７７】
クラス分類部３５２は、動き方向検出部３２から供給された動き方向情報ｖdやクラスタップ抽出部３５１で抽出されたクラスタップＴＰaに基づいてクラス分類を行い、クラスコードＫＡを決定して、処理係数設定部３７bに供給する。
【００７８】
ここで、クラスタップ抽出部３５１で抽出されたクラスタップＴＰaを用いてクラス分類を行う場合には、クラスタップＴＰaから算出したアクティビティに基づいてクラス分類を行う。
【００７９】
アクティビティとは、隣接する画素間の差分値の和であり空間相関を示すものである。ここで、図１８Ａに示すようにクラスタップが選択されたときは、３画素×３画素の合計９画素の隣接する画素間の差分がアクティビティである。また、図１８Ｂの（ｔ−１）フィールドのようにクラスタップが選択されたときは、４画素×３画素の合計１２画素の隣接する画素間の差分がアクティビティである。例えば、図１９に示すようにクラスタップを抽出したとき、画素を示すマス目に記された文字を画素値とすると、アクティビティＡＣは式（１３）に基づいて算出することができる。なお、空間相関が高い場合、アクティビティＡＣの値は小さくなり、空間相関が低い場合、アクティビティＡＣの値は大きくなる。
ＡＣ ＝   ｜ＤＰL-U−ＤＰC-U｜＋｜ＤＰC-U−ＤＰR-U｜
＋｜ＤＰL −ＤＰC ｜＋｜ＤＰC −ＤＰR  ｜
＋｜ＤＰL-L−ＤＰC-L｜＋｜ＤＰC-L−ＤＰR-L｜
＋｜ＤＰL-U−ＤＰL ｜＋｜ＤＰL −ＤＰL-L ｜
＋｜ＤＰC-U−ＤＰC ｜＋｜ＤＰC −ＤＰC-L｜
＋｜ＤＰR-U−ＤＰR ｜＋｜ＤＰR −ＤＰR-L｜
・・・（１３）
【００８０】
このようにして、第１画像保持部３３１に保持されている周辺画像から抽出したクラスタップから算出したアクティビティＡＣt-1と、第２画像保持部３３２に保持されている周辺画像から抽出したクラスタップから算出したアクティビティＡＣtを用いて、式（１４）のようにアクティビティクラスＡＬを決定する。
アクティビティクラスＡＬ＝ＡＣt／（ＡＣt-1＋ＡＣt）×１００
・・・（１４）
更に、動き方向情報ｖdとアクティビティクラスＡＬに基づいて、クラスコードＫＡを決定する。
【００８１】
画素値抽出部３６は、上述したように、第１画像保持部３３１および第２画像保持部３３２に保持されている周辺画像から、注目画素Ｐnaの空間位置と略同じ位置の画素を少なくとも抽出して、予測タップＣaとして画素値生成部３８bに供給する。
【００８２】
処理係数設定部３７bは、ボケ除去処理に用いる処理係数をクラスコード毎に予め記憶しており、クラス分類部３５２から供給されたクラスコードＫＡに応じた処理係数ｄbを選択して画素値生成部３８bに供給する。また、処理係数設定部３７bは、外部から情報ＥＴとして動きボケの調整を可能とする調整情報ＢＳが供給されたとき、この調整情報ＢＳに基づいて、選択する処理係数の切り換えを行うことで動きボケ除去効果を調整する。例えば、クラスコードＫＡに応じた処理係数ｄbを用いたとき動きボケ除去が最適に行われないような場合が生じても処理係数を切り換えることで動きボケを最適に除去することが可能となる。また、処理係数を切り換えることで、意図的に動きボケを残すことも可能である。
【００８３】
画素値生成部３８bは、画素値抽出部３６から供給された予測タップＣaと処理係数設定部３７bから供給された処理係数ｄbとの演算処理を行い、注目画像内の注目画素の画素値を生成する。例えば、第１画像保持部３３１に保持されている周辺画像から抽出した予測タップと処理係数の積和演算を行い画素値を生成する。また、第２画像保持部３３２に保持されている周辺画像から抽出した予測タップと処理係数の積和演算を行い画素値を生成する。この２つの画素値を統合することで注目画素の画素値を生成して、画像信号ＤＶoutとして出力する。
【００８４】
このように、複数の周辺画像の主要項の画素値を用いて注目画像内の注目画素の画素値を生成することで、注目画素の動きベクトルを精度良く検出することができない場合が生じても、動きボケ除去の性能低下を少なくすることができるため、動きベクトルの検出ずれに対して非常にロバストな動きボケ除去を行うことが可能となる。
【００８５】
図２０は、ソフトウェアで画像処理を行う場合のフローチャートを示している。ステップＳＴ１１でＣＰＵ２０１は、動きボケの除去を行う注目画素を設定してステップＳＴ１２に進む。ステップＳＴ１２でＣＰＵ２０１は、注目画素の動き方向を検出してステップＳＴ１３に進む。ステップＳＴ１３でＣＰＵ２０１は、注目画素のクラス決定を行う。このクラス決定では、注目画素の動き方向や、注目画素の空間位置を基準として周辺画像に設定したクラスタップの画素値に基づきクラス分類を行ってクラスコードを決定する。ステップＳＴ１４でＣＰＵ２０１は、画素値抽出を行い、周辺画像に設定した予測タップの画素値を抽出する。すなわち、ＣＰＵ２０１は、動きオブジェクトにおける注目画素の成分が主に含まれる主要項を抽出するため、注目画素と空間位置が略同じ周辺画像内の画素を少なくとも予測タップとして、この予測タップの画素値を抽出する。
【００８６】
ステップＳＴ１５でＣＰＵ２０１は、ステップＳＴ１２で検出した動き方向とステップＳＴ１３で決定したクラスに応じた処理係数を設定してステップＳＴ１６に進む。
【００８７】
ステップＳＴ１６でＣＰＵ２０１は、ボケ除去処理を各フレームに対して行う。すなわち、ＣＰＵ２０１は、ステップＳＴ１４で抽出した予測タップの画素値とステップＳＴ１５で決定した処理係数との演算処理を行い、ボケ除去がなされた画素値を算出してステップＳＴ１７に進む。
【００８８】
ステップＳＴ１７でＣＰＵ２０１は、全画面に対してボケ除去処理が完了したか否かを判別し、ボケ除去処理が行われていない画素があるときはステップＳＴ１１に戻り、全画面に対してボケ除去が完了したときは処理を終了する。
【００８９】
次に、処理係数設定部に記憶される処理係数を学習によって求めてボケ除去処理を行う場合について説明する。
【００９０】
図２１は、処理係数を学習によって求めてボケ除去処理を行う場合の構成を示したものである。学習装置６０は、教師画像と、教師画像に動きボケを付加した生徒画像を用いて学習処理を実行し、この学習により得られる処理係数を画像処理装置２０の処理係数設定部に記憶させる。画像処理装置２０は、入力画像となる動きボケを含む画像から注目画素の空間位置と略同じ位置の画素を少なくとも含むように予測タップを選択して、この予測タップの画素値と処理係数設定部に記憶されている処理係数を用いて、演算処理を行いボケ除去が行われた注目画素の画素値を求める。教師画像は、高速撮像カメラを用いて撮像した画像や静止画像を用いる。また、生徒画像は、高速撮像カメラを用いて撮像した画像を静止画像として、この画像を時間積分することにより生成する。あるいは、動き方向や動き量を設定して、この設定した動き方向や動き量に応じた動きボケとノイズを静止画像に付加したものを生徒画像とする。
【００９１】
ここで、生徒画像を生成する場合、動きベクトルの検出ずれに対するロバスト性を高めるため、処理係数を求める動き量や動き方向の生徒画像だけでなく、動き量や動き方向のうち少なくとも何れか一方を変更した生徒画像を生成して、これらの生徒画像を用いて学習を行い処理係数を設定する。また、静止しているオブジェクトが含まれている画像に対して動きボケ除去を行っても、静止しているオブジェクトの画像が破綻しないように、動き量を「０」として動きボケを付加しない生徒画像を生成して、この動きボケを付加していない生徒画像も用いて学習を行い処理係数を設定する。なお、処理係数の学習では、学習ソースをＨＤフォーマットやＳＤフォーマットの画像信号等に変化することによって、各画像フォーマットに応じた最適な係数を生成することも可能となる。
【００９２】
図２２は、クラス決定を行わないときに用いる処理係数を生成するための学習装置６０の機能ブロック図を示している。動き設定部６１は、動き方向の設定や動き量の設定を行い、設定された動き方向や動き量を示す動き情報ＭＨを生徒画像生成部６２に供給する。ここで、動き方向の設定では、例えば所定の角度差を持って動き方向を複数設定する。また、各動き方向に対して異なる複数の動き量をそれぞれ設定するものとしてもよい。
【００９３】
生徒画像生成部６２の動きボケ付加部６２１は、教師画像に対して動き情報ＭＨで示された動き方向や動き量に応じた動きボケの付加を行い全画面移動部６２２に供給する。全画面移動部６２２は、動きボケが付加された教師画像を動き情報ＭＨに基づく動き量で動き方向に全画面移動して、生徒画像を生成する。
【００９４】
また、生徒画像生成部６２は、特定の割合で、教師画像に動きボケを付加しない生徒画像の生成を行う。また、動き設定部６１からの動き情報ＭＨによって示された第１の動き方向の動きボケに対応する予測係数を生成する際、第１の動き方向に近い第２の動き方向の動きボケを有する生徒画像の生成を特定の割合で行う。更に、動きボケを付加しない生徒画像の生成や、第２の動き方向の動きボケを有する生徒画像の生成の割合を切り換えて処理係数の生成を行う。
【００９５】
例えば、動き情報ＭＨで示された動き方向の複数の生徒画像に、動き情報ＭＨで示された第１の動き方向に近い第２の動き方向に応じた動きボケの付加や全画面移動を行って生成した生徒画像を特定の割合で含めるものとする。あるいは、動き情報ＭＨで示された動き方向や動き量の複数の生徒画像に、動き情報ＭＨで示された動き方向や動き量と異なる動き方向や動き量に応じた動きボケの付加や全画面移動を行って生成した生徒画像を特定の割合で含めるものとする。このように、動き方向や動き方向と動き量を変更した生徒画像を含めるものとすれば、動き方向や動き量の変動による影響の受けにくい動きボケ除去処理を行うことができる。また、動き量を「０」とした生徒画像の生成も行うものとすれば、静止画像に対する動きボケ除去処理も可能となる。更に、動き情報ＭＨで示された動き方向や動き量とは異なる動き方向や動き量を含める割合を切り換えて処理係数の生成を行い、ユーザが所望の割合の処理係数を選択可能とする。このように、動き方向や動き量を含める割合を切り換えて生成した処理係数を選択可能とすれば、ユーザの好みに応じた動きボケ除去処理を行うことができる。例えば、ユーザが静止画部分の動きボケ除去を行うときには、動き量を「０」とした生徒画像の割合を多くして生成した処理係数を選択することで、静止画部分の動きボケ除去をより精度良く行うことができる。また、動き方向のばらつきが大きい動画部分の動きボケ除去を行うときには、動き方向が異なる生徒画像の割合を多くして生成した処理係数を選択することで、動き方向のばらつきが大きい動画部分の動きボケ除去を精度良く行うことができる。
【００９６】
また、生徒画像生成部６２で生徒画像を生成する場合、２つの生徒画像の真ん中の位相が教師画像となるように生徒画像を生成する。例えば、動きボケが付加された教師画像を動き情報ＭＨで示された動き方向とは逆方向に動き量の１／２だけ移動させて、（ｔ−１）フレームの画像に相当する第１の生徒画像を生成する。また、動きボケが付加された教師画像を動き情報ＭＨで示された動き方向に動き量の１／２だけ移動させて、例えば（ｔ）フレームの画像に相当する第２の生徒画像を生成する。このように生徒画像を生成すると、教師画像は注目画像に相当し、生徒画像は周辺画像に相当するものとなる。全画面移動部６２２で生成した第１の生徒画像は、第１画像保持部６２３に記憶させる。また、全画面移動部６２２で生成した第２の生徒画像は、第２画像保持部６２４に記憶させる。
【００９７】
ノイズ成分付加部６２５，６２６は、画像信号ＤＶaにノイズが重畳されていても、このノイズの影響を受けることなく動きボケ除去処理を行うことができるように、画像信号ＤＶaに重畳されるノイズＮＺを予め第１および第２の生徒画像に重畳させて、処理係数を学習させるためのものである。このように、ノイズ成分付加部６２５，６２６を設けて学習を行うことにより、ノイズ成分付加部６２５，６２６を設けないで学習を行った場合よりもノイズの影響が少なく動きボケ除去処理を精度良く行うことが可能となる。また、ノイズ量を調整することでボケ感を変化させることが可能となる。
【００９８】
ここで、生徒画像に付加するノイズとしては、例えば均一の輝度の被写体をディジタルカメラやビデオカメラで撮影して、被写体画像の足し込みを行うことにより基準画像を生成する。この基準画像を各々の撮影画像から差し引くことで得られるノイズを用いる。このようなノイズを用いるものとすれば、実際に撮影した画像に対する動きボケ除去をより効果的に行うことができる。
【００９９】
予測タップ抽出部６４は、生徒画像生成部６２で生成された第１および第２の生徒画像から、上述の画素値抽出部３６と同様にして予測タップＣaの抽出を行い、予測タップの画素値を正規方程式生成部６５１に供給する。
【０１００】
処理係数生成部６５aの正規方程式生成部６５１は、予測タップ抽出部６４で抽出した予測タップＣaの画素値と教師画像の画素値から動き方向毎に正規方程式を生成し、係数決定部６５２に供給する。係数決定部６５２は、正規方程式生成部６５１から供給された正規方程式に基づき処理係数を生徒画像毎に演算して、得られた生徒画像毎の処理係数を動き方向毎に処理係数設定部３７aに記憶させる。この正規方程式生成部６５１と、係数決定部６５２について更に説明する。
【０１０１】
上述の画素値生成部３８aは、画素値抽出部３６で抽出された予測タップの画素値と、処理係数設定部３７aから供給された処理係数を用いて、例えば式（１５）に示す線形結合を行い、周辺画像毎にボケ除去処理後の画素値を生成する。
【０１０２】
【数５】
0004872672.tif 000006
【０１０３】
なお、式（１５）において、ｑ’は、ボケ除去が行われた画素の画素値を表している。ｃi（iは、１乃至ｎの整数値で処理範囲の各画素を示す）は、処理領域の画素値を表している。また、ｄiは処理係数を表している。
【０１０４】
この式（１５）において、学習前は処理係数ｄiのそれぞれが未定係数である。処理係数の学習は、複数の教師画像（静止画像）の画素を入力することによって行う。教師画像の画素がｍ個存在し、ｍ個の画素の画素データを「ｑk（ｋは、１乃至ｍの整数値）」と記述する場合、式（１５）から、次の式（１６）が設定される。
【０１０５】
【数６】
0004872672.tif 000007
【０１０６】
ここで、式（１６）は、右辺の演算を行うことで、動きボケのない実際の画素値ｑkとほぼ等しいボケ除去後の画素値ｑk’を得ることができる。なお、式（１６）において、イコールではなくニアリーイコールとなっているのは誤差を含むからである。すなわち、右辺の演算結果であるボケ除去後の画素値は、動きボケのない実際の画像における注目画素の画素値と厳密には一致せず、所定の誤差を含むためである。
【０１０７】
この式（１６）において、誤差の自乗和を最小にする処理係数ｄiが学習により求まれば、その処理係数ｄiは、ボケ除去後の画素値ｑkを動きボケのない画素値に近づけるための最適な係数と考えられる。従って、例えば、学習により集められたｍ個（ただし、ｍは、ｎより大きい整数）の画素値ｑkを用いて、最小自乗法により最適な処理係数ｄiを決定する。
【０１０８】
式（１６）の右辺の処理係数ｄiを最小自乗法で求める場合の正規方程式は、式（１７）として表すことができる。
【０１０９】
【数７】
0004872672.tif 000008
【０１１０】
従って、式（１７）に示す正規方程式を解くことで処理係数ｄiを決定できる。具体的には、式（１７）で示される正規方程式の行列のそれぞれを、次の式（１８）乃至（２０）のように定義すると、正規方程式は、次の式（２１）のように表される。
【０１１１】
【数８】
0004872672.tif 000009
ＣMATＤMAT＝ＱMAT      ・・・（２１）
【０１１２】
式（１９）で示されるように、行列ＤMATの各成分は、求めたい処理係数ｄiである。従って、式（２１）において、左辺の行列ＣMATと右辺の行列ＱMATが決定されれば、行列解法によって行列ＤMAT（すなわち、処理係数ｄi）の算出が可能である。具体的には、式（１８）で示されるように、行列ＣMATの各成分は、予測タップｃikが既知であれば演算可能である。予測タップｃikは、予測タップ抽出部６４により抽出されるので、正規方程式生成部６５１は、予測タップ抽出部６４から供給される予測タップｃikのそれぞれを利用して行列ＣMATの各成分を演算することができる。
【０１１３】
また、式（２０）で示されるように、行列ＱMATの各成分は、予測タップｃikと静止画像の画素値ｑkが既知であれば演算可能である。予測タップｃikは、行列ＣMATの各成分に含まれるものと同一のものであり、また、画素値ｑkは、予測タップｃikに含まれる注目画素（生徒画像の画素）に対する教師画像の画素である。従って、正規方程式生成部６５１は、予測タップ抽出部６４より供給された予測タップｃikと、教師画像を利用して行列ＱMATの各成分を演算することができる。
【０１１４】
このようにして、正規方程式生成部６５１は、行列ＣMATと行列ＱMATの各成分を演算し、その演算結果を係数決定部６５２に供給する。
【０１１５】
係数決定部６５２は、上述した式（１９）の行列ＤMATの各成分である処理係数ｄiを演算する。具体的には、上述した式（２１）の正規方程式は、次の式（２２）のように変形できる。
ＤMAT＝ＣMAT-1ＱMAT    ・・・（２２）
【０１１６】
式（２２）において、左辺の行列ＤMATの各成分が、求める処理係数ｄiである。また、行列ＣMATと行列ＱMATのそれぞれの各成分は、正規方程式生成部６５１より供給される。従って、係数決定部６５２は、正規方程式生成部６５１より行列ＣMATと行列ＱMATのそれぞれの各成分が供給されてきたとき、式（２２）の右辺の行列演算を行うことで行列ＤMATを演算し、その演算結果（処理係数ｄi）を処理係数設定部３７aに記憶させる。また、動き設定部６１で設定する動き方向を切り換えて上述の学習を行うものとすれば、複数組の、予測タップの画素値と教師画像内の注目画素との関係に基づき、予測タップの画素値から教師画像内の注目画素を予測する処理係数を、少なくとも動き方向毎に、処理係数設定部に記憶させることができる。
【０１１７】
また、生徒画像生成部で付加したノイズに応じて処理係数を動き方向毎に処理係数設定部３７aに記憶させる。このようにノイズに応じて処理係数を動き方向毎に記憶させれば、上述のように、調整情報ＢＳに基づき選択する処理係数を切り換え可能とすることができる。
【０１１８】
図２３は、学習装置が実行する学習処理を示すフローチャートである。ステップＳＴ２１では、生成する処理係数の動き量と動き方向を設定する。
【０１１９】
ステップＳＴ２２では、動きボケ付加を行い、ステップＳＴ２１で設定した動き量に応じて教師画像に動きボケを付加する。ステップＳＴ２３では、全画面移動を行い、ステップＳＴ２２で動きボケを付加した教師画像をステップＳＴ２１で設定された動き量や動き方向に基づいて全画面移動して、周辺画像に対応する生徒画像を生成する。この生徒画像の生成では、特定の割合で、設定された動き量および動き方向のうち少なくとも何れか一方を変更し、変更後の動き量と動き方向に基づき、教師画像に動きボケの付加や全画面移動を行い生徒画像を生成する。また、特定の割合で、動き量を「０」とした生徒画像の生成も行う。
【０１２０】
ステップＳＴ２４では、ノイズ付加処理を行い、生徒画像にノイズを付加する。
【０１２１】
ステップＳＴ２５では、ノイズが付加された生徒画像から予測タップを抽出する。ステップＳＴ２６では、教師画像と抽出した予測タップを用いて少なくとも動き方向毎に正規方程式を生成する。ステップＳＴ２７では、正規方程式を解いて処理係数を生成する。
【０１２２】
ステップＳＴ２８では、全画面に対して処理を施したか否かを判定して、全画面について処理を施していないときは、新たな画素に対してステップＳＴ２１からの処理を繰り返し、全ての画素の処理が終了したときには、学習処理を終了する。
【０１２３】
このように、指定の動き量や動き方向に応じた処理係数を学習する際に、指定の動き量や動き方向の生徒画像だけでなく、指定の動き量や動き方向と誤差を生ずる生徒画像を学習ソースに含めることで、動きベクトルの検出誤差に対するロバスト性を向上させることが可能となり、検出された動きベクトルが誤差を生じても、動きボケ除去を良好に行うことができる。
【０１２４】
また、動き量を「０」として、動きボケの付加されていない生徒画像を学習ソースに含めることで、静止画像の破綻に対するロバスト性を向上させることが可能となり、検出された動きベクトルが誤差を生じても、動きボケ除去を行ったときに静止画像の破綻が生じてしまうことを防止できる。更に、処理係数の学習で付加するノイズ量を調整することでボケ感を変化させたり、ボケ量の違う生徒画像の割合を調整して、新たなボケ感を作り出すことも可能となる。
【０１２５】
次に、クラス決定を行うものとしたときに用いる処理係数を生成する学習装置６０の機能ブロック図を図２４に示している。なお図２４において、図２２と対応する部分に同一符号を付し、詳細な説明は省略する。
【０１２６】
クラス決定部６３は上述のクラス決定部３５と同様にして注目画素にクラスコードＫＢを決定して処理係数生成部６５の正規方程式生成部６５１に供給する。
【０１２７】
予測タップ抽出部６４は、生徒画像生成部６２で生成された第１および第２の生徒画像から、上述の画素値抽出部３６と同様にして予測タップＣaの抽出を行い、予測タップの画素値を正規方程式生成部６５１に供給する。
【０１２８】
処理係数生成部６５の正規方程式生成部６５１は、予測タップ抽出部６４で抽出した予測タップＣaの画素値と教師画像の画素値からクラスコード毎に正規方程式を生成し、係数決定部６５２に供給する。係数決定部６５２は、正規方程式生成部６５１から供給された正規方程式に基づき処理係数を演算して、得られた複数組の処理係数を処理係数設定部３７に記憶させる。また、処理係数の生成を動き方向を切り換えて行うことで、処理係数設定部３７には、動き方向とクラスに応じた複数組の処理係数を記憶させる。また動き量を切り換えて処理係数の生成を行うものとすれば、更に精度の良い処理係数を得ることができる。
【０１２９】
また、生徒画像生成部で付加したノイズに応じて処理係数をクラス分けして、処理係数設定部３７に記憶させる。このようにノイズに応じて処理係数をクラス分けすれば、上述のように、調整情報ＢＳに基づきクラスを変更して選択する処理係数を切り換え可能とすることができる。
【０１３０】
図２５は、学習装置が実行する学習処理（クラス決定を行う場合）を示すフローチャートである。ステップＳＴ３１では、生成する処理係数の動き量と動き方向を設定する。
【０１３１】
ステップＳＴ３２では、動きボケ付加を行い、ステップＳＴ３１で設定した動き量に応じて教師画像に動きボケを付加する。ステップＳＴ３３では、全画面移動を行い、ステップＳＴ３２で動きボケを付加した教師画像をステップＳＴ３１で設定された動き量や動き方向に基づいて全画面移動して、周辺画像に対応する生徒画像を生成する。この生徒画像の生成では、特定の割合で、設定された動き量および動き方向のうち少なくとも何れか一方を変更し、変更後の動き量と動き方向に基づき、教師画像に動きボケの付加や全画面移動を行い生徒画像を生成する。また、特定の割合で、動き量を「０」とした生徒画像の生成も行う。
【０１３２】
ステップＳＴ３４では、ノイズ付加処理を行い、生徒画像にノイズを付加する。ステップＳＴ３５では、クラス決定処理を行い、ノイズが付加された生徒画像を用いて画素毎にクラスコードを決定する。
【０１３３】
ステップＳＴ３６では、ノイズが付加された生徒画像から予測タップを抽出する。ステップＳＴ３７では、教師画像と抽出した予測タップを用いてクラス毎に正規方程式を生成する。ステップＳＴ３８では、正規方程式を解いて処理係数を生成する。
【０１３４】
ステップＳＴ３９では、全画面に対して処理を施したか否かを判定して、全画面について処理を施していないときは、新たな画素に対してステップＳＴ３１からの処理を繰り返し、全ての画素の処理が終了したときには、学習処理を終了する。
【０１３５】
このように、指定の動き量や動き方向に応じた処理係数を学習する際に、指定の動き量や動き方向の生徒画像だけでなく、指定の動き量や動き方向と誤差を生ずる生徒画像を学習ソースに含めることで、動きベクトルの検出誤差に対するロバスト性を向上させることが可能となり、検出された動きベクトルが誤差を生じても、動きボケ除去を良好に行うことができる。
【産業上の利用可能性】
【０１３６】
以上のように、本発明にかかる学習装置および学習方法、並びに学習プログラムは、画像センサを用いて現実社会を撮像して得られる画像信号に埋もれてしまった情報を抽出する際に有用であり、動きボケを除去した画像を得る場合に好適である。
【図面の簡単な説明】
【０１３７】
図１は、システムの構成を示す図である。
図２は、画像センサによる撮像を説明するための図である。
図３Ａと図３Ｂは、撮像画像を説明するための図である。
図４は、画素値の時間方向分割動作を示す図である。
図５Ａと図５Ｂは、注目画素の画素値の算出動作を説明するための図である。
図６は、処理領域を示す図である。
図７Ａと図７Ｂは、処理領域の設定例を示す図である。
図８は、処理領域における実世界変数の時間混合を説明するための図である。
図９は、空間方向の主要項の位置を示す図である。
図１０は、時間方向の主要項の位置を示す図である。
図１１Ａと図１１Ｂは、空間方向の主要項を用いる場合の動きベクトルのずれと主要項の位置ずれの関係を説明するための図である。
図１２は、時間方向の主要項を用いる場合の動きベクトルのずれと主要項の位置ずれの関係を説明するための図である。
図１３は、画像処理装置の機能ブロック図である。
図１４は、ソフトウェアを用いるときの画像処理装置の構成を示す図である。
図１５Ａと図１５Ｂは、予測タップを示す図である。
図１６は、画像処理を示すフローチャートである。
図１７は、画像処理装置の機能ブロック図（クラス決定を行う場合）である。
図１８Ａと図１８Ｂは、クラスタップを示す図である。
図１９は、アクティビティの算出を説明するための図である。
図２０は、画像処理（クラス決定を行う場合）を示すフローチャートである。
図２１は、処理係数を学習によって求めて動きボケ除去処理を行う場合の構成を示す図である。
図２２は、学習装置の機能ブロック図である。
図２３は、学習処理を示すフローチャートである。
図２４は、学習装置の機能ブロック図（クラス決定を行う場合）である。
図２５は、学習処理（クラス決定を行う場合）を示すフローチャートである。
【図１】
0004872672.tif 000010
【図２】
0004872672.tif 000011
【図３Ａ】
0004872672.tif 000012
【図３Ｂ】
0004872672.tif 000013
【図４】
0004872672.tif 000014
【図５Ａ】
0004872672.tif 000015
【図５Ｂ】
0004872672.tif 000016
【図６】
0004872672.tif 000017
【図７Ａ】
0004872672.tif 000018
【図７Ｂ】
0004872672.tif 000019
【図８】
0004872672.tif 000020
【図９】
0004872672.tif 000021
【図１０】
0004872672.tif 000022
【図１１Ａ】
0004872672.tif 000023
【図１１Ｂ】
0004872672.tif 000024
【図１２】
0004872672.tif 000025
【図１３】
0004872672.tif 000026
【図１４】
0004872672.tif 000027
【図１５Ａ】
0004872672.tif 000028
【図１５Ｂ】
0004872672.tif 000029
【図１６】
0004872672.tif 000030
【図１７】
0004872672.tif 000031
【図１８Ａ】
0004872672.tif 000032
【図１８Ｂ】
0004872672.tif 000033
【図１９】
0004872672.tif 000034
【図２１】
0004872672.tif 000035
【図２０】
0004872672.tif 000036
【図２２】
0004872672.tif 000037
【図２３】
0004872672.tif 000038
【図２４】
0004872672.tif 000039
【図２５】
0004872672.tif 000040