(57)【要約】【課題】より精度よく画像の欠損した領域を復元する。【解決手段】欠損領域検出部２１は、フレームｔの入力画像の欠損領域と、欠損領域が出現する直前のフレーム（ｔ−ｎ）を検出する。クラスタップ抽出部４３は、入力画像からクラスタップを抽出する。シーンチェンジ検出部４１は、入力画像のシーンチェンジを検出する。係数読み出し部２４は、クラスタップおよびシーンチェンジの検出結果から定まる、これから生成しようとする、欠損領域が復元された復元画像上の注目画素のクラスと、復元画像上の注目画素の位置とにより定まる変換係数を読み出す。予測タップ抽出部４７は、フレームｔおよびフレーム（ｔ−ｎ）の入力画像から予測タップを抽出する。積和演算部４７は、予測タップと変換係数とを用いて注目画素を予測する。本発明は、欠損領域を復元する画像生成装置に適用できる。【選択図】図１
2009003598.tif 000002
【特許請求の範囲】
【請求項１】
画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成する画像生成装置において、
これから生成しようとする前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段と、
前記注目画素のクラスについて予め求められている変換係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する予測演算手段と
を備える画像生成装置。
【請求項２】
前記欠損領域を特定するための情報を取得する取得手段をさらに備える
請求項１に記載の画像生成装置。
【請求項３】
前記取得手段は、前記入力画像データのフレーム間の差分を求め、前記入力画像から前記欠損領域を検出することにより、前記欠損領域を特定するための情報を取得する
請求項２に記載の画像生成装置。
【請求項４】
前記予測タップ抽出手段は、これから生成しようとする前記復元画像のフレームに対応する第１のフレームの前記入力画像の前記欠損領域外のいくつかの画素と、前記第１のフレームとは異なる第２のフレームの前記入力画像上のいくつかの画素とを予測タップとして抽出する
請求項１に記載の画像生成装置。
【請求項５】
前記第２のフレームは、前記第１のフレームよりも時間的に前のフレームであって、前記欠損領域が出現する直前のフレームとされ、
前記予測タップ抽出手段は、前記第２のフレームの入力画像上の前記欠損領域に対応する領域内のいくつかの画素を予測タップとして抽出する
請求項４に記載の画像生成装置。
【請求項６】
前記第１のフレームと前記第２のフレームとの間の期間における、前記入力画像のシーンチェンジを検出する検出手段をさらに備え、
前記クラス分類手段は、前記クラスタップと、前記検出手段によるシーンチェンジの検出結果とを用いて、前記注目画素のクラス分類を行う
請求項５に記載の画像生成装置。
【請求項７】
前記復元画像データに基づいて、前記復元画像の表示を制御する表示制御手段をさらに備える
請求項１に記載の画像生成装置。
【請求項８】
画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成する画像生成方法において、
これから生成しようとする前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出し、
前記クラスタップを用いて、前記注目画素のクラス分類を行い、
前記注目画素のクラスについて予め求められている変換係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する
ステップを含む画像生成方法。
【請求項９】
画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成する画像生成処理用のプログラムにおいて、
これから生成しようとする前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出し、
前記クラスタップを用いて、前記注目画素のクラス分類を行い、
前記注目画素のクラスについて予め求められている変換係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１０】
画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成するために用いられる変換係数を生成する学習装置であって、
前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出するクラスタップ抽出手段と、
前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段と、
前記復元画像データから前記注目画素の画素値を抽出し、抽出した前記注目画素の画素値および前記予測タップを用いて、前記予測タップから前記注目画素の画素値を予測するために用いられる、前記注目画素のクラスに対応する前記変換係数を求める演算手段と
を備える学習装置。
【請求項１１】
前記欠損領域を特定するための情報を取得する取得手段をさらに備える
請求項１０に記載の学習装置。
【請求項１２】
前記取得手段は、前記入力画像データのフレーム間の差分を求め、前記入力画像から前記欠損領域を検出することにより、前記欠損領域を特定するための情報を取得する
請求項１１に記載の学習装置。
【請求項１３】
前記予測タップ抽出手段は、前記復元画像のフレームに対応する第１のフレームの前記入力画像の前記欠損領域外のいくつかの画素と、前記第１のフレームとは異なる第２のフレームの前記入力画像上のいくつかの画素とを予測タップとして抽出する
請求項１０に記載の学習装置。
【請求項１４】
前記第２のフレームは、前記第１のフレームよりも時間的に前のフレームであって、前記欠損領域が出現する直前のフレームとされ、
前記予測タップ抽出手段は、前記第２のフレームの入力画像上の前記欠損領域に対応する領域内のいくつかの画素を予測タップとして抽出する
請求項１３に記載の学習装置。
【請求項１５】
前記第１のフレームと前記第２のフレームとの間の期間における、前記入力画像のシーンチェンジを検出する検出手段をさらに備え、
前記クラス分類手段は、前記クラスタップと、前記検出手段によるシーンチェンジの検出結果とを用いて、前記注目画素のクラス分類を行う
請求項１４に記載の学習装置。
【請求項１６】
画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成するために用いられる変換係数を生成する学習方法であって、
前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出し、
前記クラスタップを用いて、前記注目画素のクラス分類を行い、
前記復元画像データから前記注目画素の画素値を抽出し、抽出した前記注目画素の画素値および前記予測タップを用いて、前記予測タップから前記注目画素の画素値を予測するために用いられる、前記注目画素のクラスに対応する前記変換係数を求める
ステップを含む学習方法。
【請求項１７】
画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成するために用いられる変換係数を生成する学習処理用のプログラムであって、
前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出し、
前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出し、
前記クラスタップを用いて、前記注目画素のクラス分類を行い、
前記復元画像データから前記注目画素の画素値を抽出し、抽出した前記注目画素の画素値および前記予測タップを用いて、前記予測タップから前記注目画素の画素値を予測するために用いられる、前記注目画素のクラスに対応する前記変換係数を求める
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像生成装置および方法、学習装置および方法、並びにプログラムに関し、特に、より精度よく画像の欠損した領域を復元できるようにした画像生成装置および方法、学習装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、画像の一部にテロップなどの他の画像が重畳されたり、画像にノイズなどが重畳されたりして、元の画像の一部の領域が欠損することがある。
【０００３】
従来、このような欠損した領域が含まれる画像を元の画像に復元する方法として、欠損した領域の周囲の画素の画素値を用いて、線形補間により欠損した領域内の画素の画素値を求め、欠損した領域を復元することが一般的である。
【０００４】
また、画像を復元する方法として、映像信号記録装置が、欠損した画像の画像データを取得するとともに、欠損前の画像データから予め生成された、欠損した領域を補間するための補間データ、およびその補間データの画像への挿入位置を示す情報を取得して画像を復元する方法も提案されている（例えば、特許文献１参照）。この方法においては、欠損した画像の画像データの、取得した挿入位置を示す情報により示される位置に、補間データがそのまま挿入されて画像が復元される。
【０００５】
【特許文献１】特開平９−２００６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、線形補間により画像を復元する方法では、画像上の欠損した領域が大きいと、精度よく元の画像を復元することができなかった。すなわち、線形補間により画像を復元する方法では、線形補間により生成される画素の画素値は、周囲の画素とほぼ同じ画素値、つまり周囲の画素を平均した画素値となるため、欠損した領域が大きいほど、復元された領域は、単に塗り潰しただけのような精細感のない画像となってしまう。したがって、復元された画像の領域からは、その領域が欠損する前のディティールが失われ、復元された画像は、復元された跡が明確に判別できるような画像となってしまう。
【０００７】
また、補間データをそのまま挿入する方法では、常に補間データおよび挿入位置を示す情報を取得しなければならないため、元の画像の画像データが得られない場合には、補間データを生成することができず、画像を復元することができなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、より簡単かつより精度よく、画像の欠損した領域を復元できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像生成装置は、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成する画像生成装置であって、これから生成しようとする前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段と、前記注目画素のクラスについて予め求められている変換係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する予測演算手段とを備える。
【００１０】
画像生成装置には、前記欠損領域を特定するための情報を取得する取得手段をさらに設けることができる。
【００１１】
前記取得手段には、前記入力画像データのフレーム間の差分を求めさせ、前記入力画像から前記欠損領域を検出させることにより、前記欠損領域を特定するための情報を取得させることができる。
【００１２】
前記予測タップ抽出手段には、これから生成しようとする前記復元画像のフレームに対応する第１のフレームの前記入力画像の前記欠損領域外のいくつかの画素と、前記第１のフレームとは異なる第２のフレームの前記入力画像上のいくつかの画素とを予測タップとして抽出させることができる。
【００１３】
前記第２のフレームは、前記第１のフレームよりも時間的に前のフレームであって、前記欠損領域が出現する直前のフレームとされ、前記予測タップ抽出手段には、前記第２のフレームの入力画像上の前記欠損領域に対応する領域内のいくつかの画素を予測タップとして抽出させることができる。
【００１４】
画像生成装置には、前記第１のフレームと前記第２のフレームとの間の期間における、前記入力画像のシーンチェンジを検出する検出手段をさらに設け、前記クラス分類手段には、前記クラスタップと、前記検出手段によるシーンチェンジの検出結果とを用いて、前記注目画素のクラス分類を行わせることができる。
【００１５】
画像生成装置には、前記復元画像データに基づいて、前記復元画像の表示を制御する表示制御手段をさらに設けることができる。
【００１６】
本発明の第１の側面の画像生成方法またはプログラムは、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成する画像生成方法またはプログラムであって、これから生成しようとする前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出し、前記クラスタップを用いて、前記注目画素のクラス分類を行い、前記注目画素のクラスについて予め求められている変換係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算するステップを含む。
【００１７】
本発明の第１の側面においては、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成する画像生成装置において、これから生成しようとする前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素が、前記入力画像データから予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素が、前記入力画像データからクラスタップとして抽出され、前記クラスタップが用いられて、前記注目画素のクラス分類が行われ、前記注目画素のクラスについて予め求められている変換係数と、前記予測タップとが用いられて、前記注目画素の画素値が予測演算される。
【００１８】
本発明の第２の側面の学習装置は、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成するために用いられる変換係数を生成する学習装置であって、前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段と、前記復元画像データから前記注目画素の画素値を抽出し、抽出した前記注目画素の画素値および前記予測タップを用いて、前記予測タップから前記注目画素の画素値を予測するために用いられる、前記注目画素のクラスに対応する前記変換係数を求める演算手段とを備える。
【００１９】
学習装置には、前記欠損領域を特定するための情報を取得する取得手段をさらに設けることができる。
【００２０】
前記取得手段には、前記入力画像データのフレーム間の差分を求めさせ、前記入力画像から前記欠損領域を検出させることにより、前記欠損領域を特定するための情報を取得させることができる。
【００２１】
前記予測タップ抽出手段には、前記復元画像のフレームに対応する第１のフレームの前記入力画像の前記欠損領域外のいくつかの画素と、前記第１のフレームとは異なる第２のフレームの前記入力画像上のいくつかの画素とを予測タップとして抽出させることができる。
【００２２】
前記第２のフレームは、前記第１のフレームよりも時間的に前のフレームであって、前記欠損領域が出現する直前のフレームとされ、前記予測タップ抽出手段には、前記第２のフレームの入力画像上の前記欠損領域に対応する領域内のいくつかの画素を予測タップとして抽出させることができる。
【００２３】
学習装置には、前記第１のフレームと前記第２のフレームとの間の期間における、前記入力画像のシーンチェンジを検出する検出手段をさらに設け、前記クラス分類手段には、前記クラスタップと、前記検出手段によるシーンチェンジの検出結果とを用いて、前記注目画素のクラス分類を行わせることができる。
【００２４】
本発明の第２の側面の学習方法またはプログラムは、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成するために用いられる変換係数を生成する学習方法またはプログラムであって、前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出し、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出し、前記クラスタップを用いて、前記注目画素のクラス分類を行い、前記復元画像データから前記注目画素の画素値を抽出し、抽出した前記注目画素の画素値および前記予測タップを用いて、前記予測タップから前記注目画素の画素値を予測するために用いられる、前記注目画素のクラスに対応する前記変換係数を求めるステップを含む。
【００２５】
本発明の第２の側面においては、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成するために用いられる変換係数を生成する学習装置において、前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素が、前記入力画像データから予測タップとして抽出され、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素が、前記入力画像データからクラスタップとして抽出され、前記クラスタップが用いられて、前記注目画素のクラス分類が行われ、前記復元画像データから前記注目画素の画素値が抽出され、抽出された前記注目画素の画素値および前記予測タップが用いられて、前記予測タップから前記注目画素の画素値を予測するために用いられる、前記注目画素のクラスに対応する前記変換係数が求められる。
【発明の効果】
【００２６】
本発明の第１の側面によれば、画像の欠損した領域を復元することができる。特に、本発明の第１の側面によれば、より簡単かつより精度よく、画像の欠損した領域を復元することができる。
【００２７】
また、本発明の第２の側面によれば、画像の欠損した領域を復元することができる。特に、本発明の第２の側面によれば、より簡単かつより精度よく、画像の欠損した領域を復元することができる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
本発明の第１の側面の画像生成装置は、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成する画像生成装置（例えば、図１の復元装置１１）であって、これから生成しようとする前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図１の予測タップ抽出部４６）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図１のクラスタップ抽出部４３）と、前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図１のクラス値出力部４５）と、前記注目画素のクラスについて予め求められている変換係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する予測演算手段（例えば、図１の積和演算部４７）とを備える。
【００３０】
画像生成装置には、前記欠損領域を特定するための情報を取得する取得手段（例えば、図１の欠損領域検出部２１）をさらに設けることができる。
【００３１】
前記取得手段には、前記入力画像データのフレーム間の差分を求めさせ、前記入力画像から前記欠損領域を検出させることにより、前記欠損領域を特定するための情報を取得せさる（例えば、図２のステップＳ１１の処理）ことができる。
【００３２】
前記予測タップ抽出手段には、これから生成しようとする前記復元画像のフレームに対応する第１のフレームの前記入力画像の前記欠損領域外のいくつかの画素と、前記第１のフレームとは異なる第２のフレームの前記入力画像上のいくつかの画素とを予測タップとして抽出させる（例えば、図２のステップＳ１６の処理）ことができる。
【００３３】
画像生成装置には、前記第１のフレームと前記第２のフレームとの間の期間における、前記入力画像のシーンチェンジを検出する検出手段（例えば、図１のシーンチェンジ検出部４１）をさらに設け、前記クラス分類手段には、前記クラスタップと、前記検出手段によるシーンチェンジの検出結果とを用いて、前記注目画素のクラス分類を行わせる（例えば、図２のステップＳ１５の処理）ことができる。
【００３４】
画像生成装置には、前記復元画像データに基づいて、前記復元画像の表示を制御する表示制御手段（例えば、図１の表示制御部２６）をさらに設けることができる。
【００３５】
本発明の第１の側面の画像生成方法またはプログラムは、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成する画像生成方法またはプログラムであって、これから生成しようとする前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出し（例えば、図２のステップＳ１６）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出し（例えば、図２のステップＳ１３）、前記クラスタップを用いて、前記注目画素のクラス分類を行い（例えば、図２のステップＳ１５）、前記注目画素のクラスについて予め求められている変換係数と、前記予測タップとを用いて、前記注目画素の画素値を予測演算する（例えば、図２のステップＳ１７）ステップを含む。
【００３６】
本発明の第２の側面の学習装置は、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成するために用いられる変換係数を生成する学習装置（例えば、図８の学習装置２１１）であって、前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図８の予測タップ抽出部２３６）と、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図８のクラスタップ抽出部２３３）と、前記クラスタップを用いて、前記注目画素のクラス分類を行うクラス分類手段（例えば、図８のクラス値出力部２３５）と、前記復元画像データから前記注目画素の画素値を抽出し、抽出した前記注目画素の画素値および前記予測タップを用いて、前記予測タップから前記注目画素の画素値を予測するために用いられる、前記注目画素のクラスに対応する前記変換係数を求める演算手段（例えば、図８の係数生成部２２５）とを備える。
【００３７】
学習装置には、前記欠損領域を特定するための情報を取得する取得手段（例えば、図８の欠損領域検出部２２１）をさらに設けることができる。
【００３８】
前記取得手段には、前記入力画像データのフレーム間の差分を求めさせ、前記入力画像から前記欠損領域を検出させることにより、前記欠損領域を特定するための情報を取得させる（例えば、図９のステップＳ５１の処理）ことができる。
【００３９】
前記予測タップ抽出手段には、前記復元画像のフレームに対応する第１のフレームの前記入力画像の前記欠損領域外のいくつかの画素と、前記第１のフレームとは異なる第２のフレームの前記入力画像上のいくつかの画素とを予測タップとして抽出させる（例えば、図９のステップＳ５６の処理）ことができる。
【００４０】
学習装置には、前記第１のフレームと前記第２のフレームとの間の期間における、前記入力画像のシーンチェンジを検出する検出手段（例えば、図８のシーンチェンジ検出部２３１）をさらに設け、前記クラス分類手段には、前記クラスタップと、前記検出手段によるシーンチェンジの検出結果とを用いて、前記注目画素のクラス分類を行わせる（例えば、図９のステップＳ５５の処理）ことができる。
【００４１】
本発明の第２の側面の学習方法またはプログラムは、画像が欠損した欠損領域が含まれる入力画像の入力画像データから、前記欠損領域が復元された元の画像である復元画像の復元画像データを生成するために用いられる変換係数を生成する学習方法またはプログラムであって、前記復元画像データの前記欠損領域に対応する領域内の注目している画素である注目画素を予測するために用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データから予測タップとして抽出し（例えば、図９のステップＳ５６）、前記注目画素を複数のクラスのうちのいずれかにクラス分けするクラス分類に用いる複数の画素であって、前記欠損領域の近傍に位置する画素を、前記入力画像データからクラスタップとして抽出し（例えば、図９のステップＳ５３）、前記クラスタップを用いて、前記注目画素のクラス分類を行い（例えば、図９のステップＳ５５）、前記復元画像データから前記注目画素の画素値を抽出し、抽出した前記注目画素の画素値および前記予測タップを用いて、前記予測タップから前記注目画素の画素値を予測するために用いられる、前記注目画素のクラスに対応する前記変換係数を求める（例えば、図９のステップＳ６１）ステップを含む。
【００４２】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００４３】
図１は、本発明を適用した復元装置の一実施の形態の構成例を示すブロック図である。
【００４４】
復元装置１１は、画像の一部の領域が欠損した入力画像から、クラス分類適応処理により、その欠損した領域が復元された復元画像を生成する。ここで、入力画像上の欠損した領域である欠損領域は、例えば、テロップなどの元の画像とは異なる画像やノイズ等が重畳され、元の画像とは異なる画像が表示されている領域とされる。
【００４５】
復元装置１１は、欠損領域検出部２１、メモリ２２、クラス分類部２３、係数読み出し部２４、データ生成部２５、表示制御部２６、および表示部２７から構成される。
【００４６】
復元装置１１の欠損領域検出部２１、クラス分類部２３、データ生成部２５、および表示制御部２６には、画像の一部分が欠損した静止画像や動画像である入力画像、より詳細には入力画像の入力画像データが供給される。なお、以下では、入力画像が動画像である場合を例として説明を続ける。
【００４７】
欠損領域検出部２１は、供給された入力画像から欠損領域を検出する。より詳細には、欠損領域検出部２１は、これから生成しようとする復元画像のフレームと同じフレームの入力画像から、欠損領域を検出するとともに、欠損領域の検出の対象となったフレームよりも時間的に前のフレームであって、入力画像にその欠損領域が出現する直前、つまり入力画像の欠損が生じる直前のフレームを検出する。
【００４８】
例えば、フレーム（ｔ−ｎ＋１）において、入力画像にテロップが表示され、そのテロップがフレームｔまでの間、継続して入力画像に表示されるものとし、欠損領域の検出の対象となるフレーム、つまりこれから生成しようとする復元画像のフレームに対応するフレームがフレームｔであったとする。この場合、欠損領域検出部２１は、フレームｔの入力画像から欠損領域、つまりテロップが表示されている領域を検出するとともに、欠損領域が出現する直前、すなわちテロップが表示される直前のフレーム（ｔ−ｎ）を検出する。欠損領域検出部２１は、検出された欠損領域を示す情報および欠損が生じる直前のフレームを示す情報を、復元装置１１の各部に供給する。換言すれば、欠損領域検出部２１は、欠損領域を検出することにより、欠損領域を示す情報および欠損が生じる直前のフレームを示す情報を取得し、取得したそれらの情報を復元装置１１の各部に供給する。
【００４９】
また、欠損領域検出部２１は、供給された入力画像のうち、欠損が生じる直前のフレームの入力画像をメモリ２２に供給して記憶させる。メモリ２２は、欠損領域検出部２１から供給された入力画像を一時的に記憶し、記憶している入力画像をデータ生成部２５に供給する。
【００５０】
クラス分類部２３は、供給された入力画像を用いて、これから生成しようとする復元画像の復元画像データ（この復元画像データは、これから求めようとする画像データであり、現段階では存在しないため、仮想的に想定される）を構成する画素のうち、入力画像の欠損領域と同じ領域内の画素を、順次、注目する画素である注目画素とし、注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行う。
【００５１】
クラス分類部２３は、シーンチェンジ検出部４１、シーンチェンジカウンタ４２、クラスタップ抽出部４３、ADRC（Adaptive Dynamic Range Control）処理部４４、およびクラス値出力部４５から構成される。
【００５２】
クラス分類部２３のシーンチェンジ検出部４１は、欠損が生じる直前のフレームから、欠損領域の検出の対象となるフレームまでの間の期間における、入力画像のシーンチェンジを検出し、その検出結果をシーンチェンジカウンタ４２に供給する。シーンチェンジカウンタ４２は、シーンチェンジ検出部４１から供給された検出結果に応じた値、すなわちシーンチェンジがあったか否かを示す値を保持し、保持している値をクラス値出力部４５に供給する。
【００５３】
クラスタップ抽出部４３は、供給された入力画像のうち、これから生成しようとする復元画像のフレームと同じフレームの入力画像を構成する画素のいくつかを、注目画素をクラス分けするためのクラスタップとして抽出し、抽出したクラスタップをADRC処理部４４に供給する。ADRC処理部４４は、クラスタップ抽出部４３から供給されたクラスタップにADRC処理を施し、ADRC処理の施されたクラスタップをクラス値出力部４５に供給する。
【００５４】
クラス値出力部４５は、ADRC処理部４４から供給されたクラスタップと、シーンチェンジカウンタ４２が保持している値とに基づいて、注目画素をクラス分類し、その結果、注目画素が分類されたクラスを示すクラス値を係数読み出し部２４に供給する。
【００５５】
係数読み出し部２４は、予め求められた、復元画像上の欠損領域に対応する領域内における注目画素の位置により定まる注目画素のモードと、注目画素のクラス値とから定まる変換係数を保持している。係数読み出し部２４は、保持している変換係数のうち、クラス値出力部４５から供給されたクラス値と、注目画素のモードとから定まる変換係数を読み出してデータ生成部２５に供給する。
【００５６】
データ生成部２５は、供給された入力画像、メモリ２２から供給された入力画像、および係数読み出し部２４から供給された変換係数を用いて、注目画素の画素値を予測演算し、その結果得られた画素値を表示制御部２６に供給する。データ生成部２５は、予測タップ抽出部４６および積和演算部４７から構成される。
【００５７】
データ生成部２５の予測タップ抽出部４６は、供給された入力画像、つまりこれから生成しようとする復元画像のフレームと同じフレームの入力画像を構成する画素のいくつかを、注目画素の画素値を予測するために用いられる予測タップとして抽出するとともに、メモリ２２から供給された入力画像を構成する画素のいくつかを予測タップとして抽出する。予測タップ抽出部４６は、抽出した予測タップを積和演算部４７に供給する。
【００５８】
積和演算部４７は、予測タップ抽出部４６から供給された予測タップ、つまり予測タップを構成する画素の画素値に、係数読み出し部２４から供給された変換係数を乗算して、必要な画素値を予測演算する。積和演算部４７は、予測演算により得られた画素値を表示制御部２６に供給する。
【００５９】
表示制御部２６は、積和演算部４７から供給された画素値と、供給された入力画像とを用いて、欠損領域が元の画像に復元された復元画像、より詳細には復元画像の復元画像データを生成し、生成した復元画像を表示部２７に供給して表示させる。表示部２７は、例えば液晶ディスプレイなどからなり、表示制御部２６の制御に基づいて、表示制御部２６から供給された復元画像を表示する。
【００６０】
次に、図２のフローチャートを参照して、復元装置１１が、供給された入力画像から、復元画像を生成する処理である復元処理について説明する。
【００６１】
ステップＳ１１において、欠損領域検出部２１は、供給された入力画像から、欠損領域を検出する。例えば、欠損領域検出部２１は、供給された全てのフレームから、欠損領域が初めて出現したフレームと、その欠損領域が消失したフレームとを特定することで、入力画像から欠損領域を検出する。
【００６２】
すなわち、欠損領域検出部２１は、供給されたフレームｔの入力画像を、ブロックＢ１乃至ブロックＢｎのｎ個（但し、ｎは自然数）のブロックに分割し、各ブロックＢｉ（但し、１≦ｉ≦ｎ）について、フレーム間の画素差分絶対値の平均値Ｄｉと、隣接画素差分絶対値の大きい画素の画素数Ｃｉを求める。
【００６３】
すなわち、欠損領域検出部２１は、フレームｔの入力画像のブロックＢｉを構成する画素の画素値と、その画素と同じ位置にあるフレームｔの時間的に１つ前のフレーム（ｔ−１）の入力画像上の画素の画素値との差の絶対値を画素差分絶対値として求め、ブロックＢｉを構成する各画素について求められた画素差分絶対値の平均値を、ブロックＢｉの画素差分絶対値の平均値Ｄｉとする。
【００６４】
また、欠損領域検出部２１は、ブロックＢｉを構成する画素の画素値と、その画素に隣接する画素の画素値との差の絶対値を、隣接画素差分絶対値として求め、ブロックＢｉを構成する各画素について求められた隣接画素差分絶対値のうち、予め定められた閾値ｔｈ１以上である隣接画素差分絶対値の数、つまり閾値ｔｈ１以上である隣接画素差分絶対値の画素の数を、画素数Ｃｉとして求める。例えば、画素値が８ビットの値により表される場合、つまり画素値が０乃至２５６までの何れかの値とされる場合、閾値ｔｈ１の値は、１２８とされる。
【００６５】
このように、各ブロックＢｉの画素差分絶対値の平均値Ｄｉおよび画素数Ｃｉ（但し、１≦ｉ≦ｎ）が求められると、欠損領域検出部２１は、ｎ個のブロックＢｉのうち、所定の条件を満たすブロックＢｉを選択する。ここで、所定の条件を満たすブロックＢｉは、例えば平均値Ｄｉが予め定められた閾値ｔｈ２以上であり、かつ画素数Ｃｉが、時間的に１つ前のフレーム（ｔ−１）の入力画像のブロックＢｉに対応する領域の隣接画素差分絶対値のうち、閾値ｔｈ１以上である隣接画素差分絶対値の画素の画素数Ｃｉ’の２倍以上であるブロックＢｉとすることができる。つまり、欠損領域検出部２１は、平均値Ｄｉが閾値ｔｈ２以上であり、かつ画素数Ｃｉが画素数Ｃｉ’の２倍以上であるブロックＢｉを選択する。また、画素値が８ビットの値で表される場合、閾値ｔｈ２は、例えば３２などとすることができる。
【００６６】
このようにして欠損領域検出部２１に選択されるブロックＢｉは、フレーム間で大きく画像が変化し、かつフレーム間において画像のアクティビティが大幅に増加しているブロックということができる。
【００６７】
さらに、欠損領域検出部２１は、所定の条件を満たすブロックＢｉを選択すると、選択したブロックＢｉについて、ブロックＢｉを構成する画素ごとにフレーム間の画素差分絶対値を求め直し、求めた画素差分絶対値が閾値ｔｈ２以上である互いに隣接する画素からなる領域を、欠損領域とする。
【００６８】
したがって、例えば、図３Ａに示すように、欠損領域検出部２１は、入力画像７１をブロックＢ１乃至ブロックＢ２４の合計２４個のブロックに分割する。なお、図３Ａにおいて１つの正方形は１つのブロックを表しており、ブロックＢｉ（但し、１≦ｉ≦２４）を表す正方形内には、文字「Ｂｉ」が記されている。
【００６９】
図３Ａでは、入力画像７１は、縦方向に４つに分割され、横方向に６つに分割されている。欠損領域検出部２１は、入力画像７１を２４個のブロックＢ１乃至ブロックＢ２４に分割すると、それらのブロックＢｉについて、画素差分絶対値の平均値Ｄｉ、および隣接画素差分絶対値の画素数Ｃｉを求め、求められた平均値Ｄｉおよび画素数Ｃｉに基づいて、所定の条件を満たすブロックを選択する。
【００７０】
その結果、例えば、図３Ｂに示すように入力画像７１上のブロックＢ２乃至ブロックＢ５が選択される。なお、図３Ｂにおいて、図３Ａと対応する部分には、同一の符号を付してあり、その説明は省略する。また、図３Ｂにおいては、選択されたブロックＢ２乃至ブロックＢ５のそれぞれには、斜線が施されている。
【００７１】
すなわち、入力画像７１を構成するブロックのうち、図中、最も上側の隣接する４つのブロックＢ２乃至ブロックＢ５が、所定の条件を満たすブロックとして選択されている。そして、欠損領域検出部２１は、これらのブロックＢ２乃至ブロックＢ５について、画素ごとにフレーム間の画素差分絶対値を求め直し、求めた画素差分絶対値が閾値ｔｈ２以上である互いに隣接する画素からなる領域を、欠損領域とする。その結果、例えば、図３Ｃに示す領域７２が、欠損領域として検出される。なお、図３Ｃにおいて、図３Ａと対応する部分には、同一の符号を付してあり、その説明は省略する。
【００７２】
図３Ｃでは、ブロックＢ２乃至ブロックＢ５からなる領域内の１つの矩形の領域７２が欠損領域とされている。この欠損領域とされた領域７２には、例えば時刻や文字などからなるテロップが表示されていると推定される。
【００７３】
このように、供給されたフレームの入力画像について、入力画像をｎ個（但し、１≦ｉ≦ｎ）のブロックに分割し、それらのブロックのうち、所定の条件を満たすブロックを選択し、さらに選択されたブロックを構成する画素ごとにフレーム間の画素差分絶対値を求め直して、入力画像から欠損領域を検出する処理を欠損開始フレーム検出処理と呼ぶこととすると、欠損領域検出部２１は、供給されたフレームの入力画像について、順次、欠損開始フレーム検出処理を行っていくことにより、初めて欠損が生じたフレームを特定する。
【００７４】
そして、例えば、フレームｔにおいて初めて欠損領域が検出されたとすると、欠損領域検出部２１は、フレームｔ以降のフレームについては、欠損終了フレーム検出処理を行うことで、検出された欠損領域が消失するフレームを特定する。
【００７５】
すなわち、欠損領域検出部２１は、供給されたフレームの入力画像をｎ個のブロックＢｉに分割し、それらのブロックＢｉ（但し、１≦ｉ≦ｎ）のうち、初めて欠損が生じたフレームｔの入力画像の所定の条件を満たすとして選択されたブロックと同じブロックＢｉについて、隣接画素差分絶対値の画素数Ｃｉを求める。そして、欠損領域検出部２１は、画素数Ｃｉを求めたブロックＢｉのうち、時間的に１つ前のフレームのブロックＢｉの画素数Ｃｉ’と比較して、求めた画素数Ｃｉが大きく減少しているブロックＢｉがある場合、そのフレームは、欠損領域が消失するフレームであると特定する。
【００７６】
換言すれば、欠損領域検出部２１は、所定のフレームにおいて、これまで欠損領域が含まれていたブロックＢｉの画素数Ｃｉと、１つ前のフレームの画素数Ｃｉ’との差の絶対値が所定の閾値以上である場合、その所定のフレームは、欠損領域が消失したフレームであるとする。
【００７７】
このように、欠損領域検出部２１は、供給されたフレームの入力画像について欠損開始フレーム検出処理を行うことにより、初めて欠損領域が出現するフレームを特定することができ、さらにその後、画素数Ｃｉが大きく減少しているブロックＢｉを検出する欠損終了フレーム検出処理を行うことで、検出された欠損領域が消失するフレームを特定することができる。したがって、欠損領域検出部２１は、初めて欠損領域が生じたフレームから、欠損領域が消失したフレームの直前のフレームまでが、入力画像に欠損領域の含まれるフレームであることを知ることができる。
【００７８】
また、これまで供給されたフレームについて、初めて欠損領域が出現するフレームが特定されたが、欠損領域が消失するフレームは特定されていない場合、欠損領域検出部２１は、初めて欠損領域が出現するフレームから、これまで供給されたフレームの期間において、入力画像に欠損領域が含まれていることを知ることができる。
【００７９】
なお、より詳細には、１つの入力画像に複数の欠損領域が含まれる場合もあるので、欠損領域検出部２１は、供給された各フレームの入力画像について、欠損開始フレーム検出処理を行い、欠損領域が検出されると、その欠損領域について欠損終了フレーム検出処理を行うことで、各欠損領域が始めて出現するフレームである欠損開始フレームと、欠損領域が消失するフレームである欠損消失フレームとを特定する。
【００８０】
欠損領域検出部２１は、供給される入力画像に対して、常に欠損開始フレームと欠損消失フレームとを特定する処理を行うので、この処理の結果から、入力画像のフレームのうち、これから生成しようとする復元画像のフレームと同じフレームｔが、入力画像に欠損領域が含まれるフレームであるか否かを知ることができ、またフレームｔが入力画像に欠損領域が含まれるフレームであれば、その欠損領域が出現する直前のフレーム（ｔ−ｎ）を知ることができる。
【００８１】
換言すれば、欠損領域検出部２１は、これから生成しようとする復元画像のフレームと同じフレームｔの入力画像から、欠損領域を検出することができ、また検出された欠損領域が始めて出現したフレームの直前のフレーム（ｔ−ｎ）を検出することができる。欠損領域検出部２１は、フレームｔの入力画像から欠損領域を検出すると、その検出結果を復元装置１１の各部に供給するとともに、欠損領域が始めて出現したフレームの直前のフレーム（ｔ−ｎ）を検出し、その検出結果を復元装置１１の各部に供給する。
【００８２】
図２のフローチャートの説明に戻り、ステップＳ１１において、欠損領域検出部２１が、これから生成しようとする復元画像のフレームと同じフレームｔの入力画像から欠損領域を検出し、その検出結果を復元装置１１の各部に供給するとともに、検出された欠損領域が始めて出現したフレームの直前のフレーム（ｔ−ｎ）を検出し、その検出結果を復元装置１１の各部に供給すると、欠損領域検出部２１は、フレーム（ｔ−ｎ）の入力画像をメモリ２２に供給して記憶させる。そして、メモリ２２が欠損領域検出部２１から供給された入力画像を記憶すると、処理はステップＳ１２に進む。
【００８３】
ステップＳ１２において、シーンチェンジ検出部４１は、例えば、供給された入力画像のフレーム間差分を求めることにより、入力画像のシーンチェンジを検出する。すなわち、これから生成しようとする復元画像のフレームに対応する入力画像のフレームがフレームｔであり、欠損領域検出部２１による検出の結果、フレームｔの入力画像から検出された欠損領域が始めて出現したフレームの直前のフレームがフレーム（ｔ−ｎ）であるとすると、シーンチェンジ検出部４１は、供給された入力画像のうち、フレーム（ｔ−ｎ）からフレームｔまでの期間における、入力画像のシーンチェンジを検出する。
【００８４】
そして、シーンチェンジ検出部４１は、シーンチェンジの検出結果に応じて、シーンチェンジの有無を示す１ビットの値をシーンチェンジカウンタ４２に保持させる。ここで、シーンチェンジ検出部４１は、シーンチェンジが検出された場合、シーンチェンジカウンタ４２に値“１”を保持させ、シーンチェンジが検出されなかった場合、値“０”を保持させる。
【００８５】
ステップＳ１３において、クラスタップ抽出部４３は、供給された入力画像からクラスタップを抽出し、抽出したクラスタップをADRC処理部４４に供給する。すなわち、クラスタップ抽出部４３は、これから生成しようとする復元画像のフレームに対応するフレームｔの入力画像上の欠損領域外の画素であって、欠損領域近傍に位置する画素のいくつかをクラスタップとして抽出する。
【００８６】
例えば、図４に示すように、欠損領域検出部２１によって、フレームｔの入力画像９１上に、欠損領域９２が検出された場合、復元装置１１は、欠損領域９２の近傍の領域９３内の画素を用いて、欠損領域９２内の各画素の画素値を予測演算により求めることで、欠損領域９２、つまり入力画像９１を元の画像に復元する。
【００８７】
このとき、クラスタップ抽出部４３は、領域９３内のいくつかの画素、例えば、図５に示すように、欠損領域９２の境界に位置する６つの画素１２１乃至画素１２６のそれぞれをクラスタップとして抽出する。なお、図５において、図４と対応する部分には同一の符号を付してあり、その説明は省略する。
【００８８】
図５において、欠損領域９２内の画素１２７は、注目画素を表している。ここで、画素１２７は、これから生成しようとする復元画像上の画素であるので、実際には入力画像上には存在しない。この画素１２７は、入力画像において、実際の復元画像上の位置と同じ位置に示されている。
【００８９】
クラスタップとして抽出される画素１２１乃至画素１２３は、欠損領域９２の図中、上側の境界に隣接する位置にある画素とされている。また、画素１２２は、画素１２７を図中、上方向に欠損領域９２の境界まで移動させた位置の画素とされ、画素１２１および画素１２３は、画素１２２の左側、および右側に隣接している。
【００９０】
さらに、クラスタップとして抽出される画素１２４乃至画素１２６は、欠損領域９２の図中、下側の境界に隣接する位置にある画素とされている。また、画素１２５は、画素１２７を図中、下方向に欠損領域９２の境界まで移動させた位置の画素とされ、画素１２４および画素１２６は、画素１２５の左側、および右側に隣接している。
【００９１】
このように、図５の例においては、画素１２７を上方向に欠損領域９２の境界まで移動させた位置の画素を中心として横方向に隣接して並べられた３つの画素と、画素１２７を下方向に欠損領域９２の境界まで移動させた位置の画素を中心として横方向に隣接して並べられた３つの画素とがクラスタップとして抽出される。
【００９２】
このようにしてクラスタップ抽出部４３により抽出された、クラスタップを構成する画素、より詳細には、入力画像の入力画像データから抽出されたクラスタップとしての画素の画素値は、ADRC処理部４４に供給される。
【００９３】
このように、欠損領域９２の外側であり、かつ注目画素である画素１２７の近傍に位置するいくつかの画素１２１乃至画素１２６をクラスタップとして用いることで、より精度よく復元画像を生成することができるようになる。
【００９４】
すなわち、注目画素を精度よく予測しようとすると、注目画素のクラスを分類するために用いられるクラスタップは、注目画素との相関の強い画素、つまり注目画素の近傍に位置する画素であることが望ましい。しかしながら、画素１２７の周囲の欠損領域９２は、元の画像が欠損した領域であるため、欠損領域９２内の画素は、画素１２７（注目画素）とは相関の弱い画素であり、クラスタップとして用いても注目画素のクラスを精度よく分類することはできない。そこで、画素１２７の近傍に位置する画素であって、なるべく画素１２７と相関の強い画素として、欠損領域９２の外側にある、欠損領域９２の境界に位置する画素１２１乃至画素１２６をクラスタップとすることで、より精度よく注目画素のクラスを分類することができるようになり、その結果、より精度よく注目画素を予測することができる。
【００９５】
図２のフローチャートの説明に戻り、ステップＳ１４において、ADRC処理部４４は、クラスタップ抽出部４３から供給されたクラスタップにADRC処理を施し、ADRC処理が施されたクラスタップを、クラス値出力部４５に供給する。
【００９６】
例えば、ADRC処理部４４は、クラスタップに１ビットADRC処理を施す。すなわち、ADRC処理部４４は、クラスタップを構成する画素の画素値の最大値MAXおよび最小値MINを検出し、検出された画素値の最大値MAXと最小値MINとの差ＤＲ（ＤＲ=MAX-MIN）を、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。ADRC処理部４４はこのダイナミックレンジＤＲに基づいて、クラスタップを構成する画素（の画素値）を１ビットに再量子化する。つまり、ADRC処理部４４は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2で除算（量子化）する。
【００９７】
そして、ADRC処理部４４は、以上のようにして得られるクラスタップを構成する１ビットの各画素の画素値を所定の順番で並べたビット列をクラス値出力部４５に出力する。したがって、例えば、クラスタップとして、図５の６つの画素１２１乃至画素１２６が抽出された場合、ADRC処理部４４からクラス値出力部４５には、６ビットの値が供給される。
【００９８】
ステップＳ１５において、クラス値出力部４５は、シーンチェンジカウンタ４２が保持している値、およびADRC処理部４４から供給された値に基づいてクラス分類を行い、注目画素のクラスを決定する。そして、クラス値出力部４５は、決定された注目画素のクラスを示すクラス値を係数読み出し部２４に供給する。
【００９９】
より具体的には、クラス値出力部４５は、シーンチェンジカウンタ４２が保持している１ビットの値、およびADRC処理部４４から供給された６ビットの値を結合して得られる７ビットの値をクラス値として係数読み出し部２４に供給する。すなわち、クラス値は、例えば、ADRC処理部４４から供給された６ビットの値の後ろに、シーンチェンジカウンタ４２が保持している１ビットの値が付加された７ビットの値とされる。
【０１００】
また、ステップＳ１５において、クラス値出力部４５から係数読み出し部２４にクラス値が供給されると、係数読み出し部２４は、保持している変換係数のうち、クラス値出力部４５から供給されたクラス値と、注目画素のモードとから定まる変換係数を読み出して、読み出した変換係数を積和演算部４７に供給する。
【０１０１】
ここで、注目画素のモードは、例えば、図６に示すように、欠損領域９２内における注目画素の位置によって定められる。なお、図６において、図４と対応する部分には同一の符号を付してあり、その説明は省略する。また、注目画素は入力画像上の画素ではないので、より詳細には、注目画素のモードは、注目画素の位置に対応する欠損領域９２内の位置、換言すれば、欠損領域９２に対応する復元画像上の領域内における注目画素の位置によって定まる。
【０１０２】
図６では、欠損領域９２には図中、縦方向に注目画素の対象となる（Ｎ＋１）個の画素、例えば画素１５１−１乃至画素１５１−（Ｎ＋１）（画素１５１−４乃至画素１５１−Ｎは図示せず）が並べられており、注目画素のモードは、注目画素の位置が、欠損領域９２内の図中、縦方向の上から何個目の画素であるかによって定まる。
【０１０３】
例えば、注目画素が欠損領域９２内の一番上に位置する画素１５１−１である場合、注目画素のモードはモード０とされ、注目画素が欠損領域９２内の上から２番目の画素１５１−２である場合、注目画素のモードはモード１とされる。また、注目画素が欠損領域９２内の上から３番目の画素１５１−３である場合、注目画素のモードはモード２とされ、同様に、順次、注目画素が欠損領域９２内の上からｉ番目（但し、１≦ｉ≦（Ｎ＋１））の画素１５１−ｉである場合、注目画素のモードはモード（ｉ−１）とされる。
【０１０４】
このように、注目画素のモードは、その注目画素の位置が、欠損領域内のどの位置であるか、より詳細には注目画素が、復元画像上の欠損領域に対応する領域内のどの位置であるかによって定められ、係数読み出し部２４は、保持している変換係数のうち、クラス値出力部４５から供給されたクラス値と、注目画素のモードとから定まる変換係数を読み出して積和演算部４７に供給する。
【０１０５】
復元装置１１においては、注目画素と相関の弱い欠損領域内の画素は、クラスタップとしては用いられないので、注目画素が欠損領域内のどの位置にあるかによって、すなわち注目画素のモードによって、注目画素に対するクラスタップの相対的な位置は異なる。つまり、欠損領域の所定の境界からの距離、例えば図５の欠損領域９２の上側の境界からの縦方向の距離が異なる注目画素であっても、同じ位置の画素がクラスタップとされることがあるため、それらの注目画素が同じクラスに分類される場合がある。このように、注目画素の各クラスでは、注目画素に対するクラスタップの相対的な位置は考慮されていない。
【０１０６】
そこで、復元装置１１においては、より注目画素に適した変換係数を用いることができるように、注目画素のクラスだけでなく、注目画素のモードも考慮して、注目画素のクラスとモードとから定まる変換係数が読み出されて、注目画素の予測演算に用いられる。これにより、注目画素により適した変換係数を用いて予測演算を行うことができる。
【０１０７】
図２のフローチャートの説明に戻り、ステップＳ１６において、予測タップ抽出部４６は、供給された入力画像と、メモリ２２に記憶されている入力画像とから、予測タップを抽出し、抽出した予測タップを積和演算部４７に供給する。すなわち、予測タップ抽出部４６は、供給された入力画像を構成するいくつかの画素の画素値を予測タップとして抽出するとともに、メモリ２２に記憶されている入力画像を構成するいくつかの画素の画素値を予測タップとして抽出する。
【０１０８】
より具体的には、入力画像のフレームのうち、これから生成しようとする復元画像のフレームと同じフレームがフレームｔであり、入力画像に欠損領域が始めて出現したフレームの直前のフレームがフレーム（ｔ−ｎ）であるとすると、予測タップ抽出部４６には、フレームｔの入力画像が供給され、メモリ２２にはフレーム（ｔ−ｎ）の入力画像が記憶されている。
【０１０９】
そこで、例えば、予測タップ抽出部４６は、図７に示すように、フレームｔの入力画像１８１、およびフレーム（ｔ−ｎ）の入力画像１８２から１５個の画素を予測タップとして抽出する。
【０１１０】
すなわち、予測タップ抽出部４６は、入力画像１８１を構成する画素のうち、入力画像１８１上の欠損領域１８３の外側であり、欠損領域１８３の境界の近傍に位置する１４個の画素１８４−１乃至画素１８４−１４を予測タップとして抽出する。予測タップとされる画素１８４−１は、欠損領域１８３内の注目画素１８５を図中、上方向に欠損領域１８３の境界まで移動させた位置の画素とされている。なお、より詳細には、注目画素１８５は、復元画像上の画素でるため、入力画像上には存在しない。図７では、注目画素１８５は、入力画像１８１において、復元画像上の位置と同じ位置に示されている。
【０１１１】
予測タップとされる画素１８４−２は、画素１８４−１の図中、上側に隣接する画素であり、画素１８４−３は、画素１８４−２の上側に隣接する画素である。また、予測タップとされる画素１８４−４は、画素１８４−１の右側に隣接する画素であり、画素１８４−５は、画素１８４−４の上側に隣接する画素である。さらに、画素１８４−６は、画素１８４−１の左側に隣接する画素であり、画素１８４−７は、画素１８４−６の上側に隣接する画素である。
【０１１２】
同様に、予測タップとされる画素１８４−８は、欠損領域１８３内の注目画素１８５を図中、下方向に欠損領域１８３の境界まで移動させた位置の画素とされており、画素１８４−９は、画素１８４−８の図中、下側に隣接する画素であり、画素１８４−１０は、画素１８４−９の下側に隣接する画素である。また、予測タップとされる画素１８４−１１は、画素１８４−８の右側に隣接する画素であり、画素１８４−１２は、画素１８４−１１の下側に隣接する画素である。さらに、画素１８４−１３は、画素１８４−８の左側に隣接する画素であり、画素１８４−１４は、画素１８４−１３の下側に隣接する画素である。
【０１１３】
また、予測タップ抽出部４６は、フレーム（ｔ−ｎ）の入力画像１８２の欠損領域１８３と同じ位置の領域１８６内にあり、注目画素１８５と同じ位置にある画素１８４−１５を予測タップとして抽出する。
【０１１４】
このように、予測タップ抽出部４６は、入力画像１８１および入力画像１８２から、画素１８４−１乃至画素１８４−１５を予測タップとして抽出する。ここで、画素１８４−１乃至画素１８４−１４は、欠損領域１８３の外側であって、欠損領域１８３近傍に位置する画素であるので、これらの画素１８４−１乃至画素１８４−１４を予測タップとして用いることで、より精度よく注目画素を予測することができる。
【０１１５】
すなわち、注目画素を精度よく予測しようとすると、予測演算に用いられる予測タップは、注目画素との相関の強い画素、つまり注目画素の近傍に位置する画素であることが望ましい。しかしながら、注目画素の周囲の欠損領域１８３は元の画像が欠損した領域、つまり元の画像とは全く関係のない画像が表示される領域であるため、欠損領域１８３内の画素を予測タップとして用いても、注目画素を精度よく予測することができない。そこで、注目画素の近傍に位置する画素であって、なるべく注目画素と相関の強い画素として、欠損領域１８３の外側にある、欠損領域１８３の境界の近傍に位置する画素を予測タップとすることで、より精度よく注目画素を予測することができる。
【０１１６】
また、欠損領域１８３が出現する直前のフレーム（ｔ−ｎ）の注目画素と同じ位置にある画素１８４−１５は、注目画素と同じ位置にあり、かつ入力画像が欠損する前のフレームの画素であるので、特に、フレーム（ｔ−ｎ）からフレームｔまでの期間に入力画像のシーンチェンジがない場合、注目画素との相関の強い画素であると予測される。そこで、画素１８４−１５を予測タップとして抽出することで、より精度よく注目画素を予測することができる。
【０１１７】
ここで、注目画素の予測演算においては、予測タップに、注目画素のクラスとモードとによって定まる変換係数が乗算されるが、注目画素のクラスを決定するクラス分類において、シーンチェンジカウンタ４２が保持している値、つまりシーンチェンジの有無が考慮される。例えば、フレーム（ｔ−ｎ）からフレームｔまでの期間に入力画像のシーンチェンジがなかった場合には、画素１８４−１５は、元の画像上にある所定の画像の注目画素と同じ位置、または注目画素の近傍の位置を示す画素である可能性が高く、画素１８４−１５と注目画素との相関は強いので、画素１８４−１５に乗算される変換係数は、注目画素の画素値の算出に対する寄与率の高い値、つまりより大きい値とされる。
【０１１８】
これに対して、フレーム（ｔ−ｎ）からフレームｔまでの期間に入力画像のシーンチェンジがあった場合には、画素１８４−１５は、画像上の注目画素と同じ位置、または注目画素の近傍の位置を示す画素である可能性は低く、画素１８４−１５と注目画素との相関は弱いので、画素１８４−１５に乗算される変換係数は、注目画素の画素値の算出に対する寄与率の低い値、例えば、０に近い値とされる。
【０１１９】
このように、欠損領域が出現する直前のフレームの入力画像の画素を予測タップとして用い、さらにシーンチェンジの有無を考慮して注目画素のクラス分けを行うことで、より精度よく注目画素を予測することができる。
【０１２０】
なお、欠損領域の検出の対象となるフレームと、そのフレームよりも時間的に前のフレームとを用いて予測タップを抽出すると説明したが、欠損領域の検出の対象となるフレームよりも時間的に後のフレームの入力画像から予測タップを抽出するようにしてもよい。そのような場合、例えば欠損領域が消失した直後のフレームの入力画像から予測タップが抽出され、シーンチェンジ検出部４１は、欠損領域の検出の対象となるフレームから、欠損領域が消失した直後のフレームまでの期間のシーンチェンジを検出する。
【０１２１】
図２のフローチャートの説明に戻り、予測タップ抽出部４６から積和演算部４７に予測タップが供給されると、ステップＳ１７において、積和演算部４７は、係数読み出し部２４から供給された変換係数を、予測タップ抽出部４６から供給された予測タップを構成する画素の画素値に乗算して、注目画素の画素値を予測演算する。
【０１２２】
ステップＳ１８において、積和演算部４７は予測演算により得られた注目画素の画素値を表示制御部２６に出力する。表示制御部２６は、積和演算部４７から供給された注目画素の画素値を、供給された入力画像の注目画素と同じ位置にある画素の画素値とし、入力画像から元の画像を復元する。
【０１２３】
ステップＳ１９において、復元装置１１は、欠損領域に対応する復元画像の領域内の全ての画素について、予測演算を行ったか否かを判定する。すなわち、復元装置１１は、欠損領域に対応する復元画像の領域内の全ての画素を注目画素として、予測演算を行ったか否かを判定する。
【０１２４】
ステップＳ１９において、まだ全ての画素について予測演算を行っていないと判定された場合、ステップＳ２０において、復元装置１１は、注目画素の位置を移動させる。すなわち、復元装置１１は、欠損領域に対応する復元画像の領域内の画素のうち、まだ注目画素とされていない画素を新たな注目画素とし、その後、処理はステップＳ１３に戻り、上述した処理が繰り返される。
【０１２５】
一方、ステップＳ１９において、全ての画素について予測演算を行ったと判定された場合、欠損領域に対応する復元画像の領域内の全ての画素が予測演算されたので、処理はステップＳ２１に進む。
【０１２６】
ステップＳ２１において、表示制御部２６は、供給された入力画像の欠損領域内の画素の画素値を、積和演算部４７から供給された画素値に置き換えることにより生成された画像を、欠損領域が復元された復元画像とし、復元画像を表示部２７に供給して表示させ、復元処理は終了する。これにより、表示部２７には、欠損領域が、元の画像に復元された復元画像、つまり欠損が生じる前の入力画像が表示される。
【０１２７】
このようにして、復元装置１１は、入力画像のうち、復元画像と同じフレームの入力画像における欠損領域の外側であって、注目画素に対応する画素に近い画素を予測タップとして抽出するとともに、欠損が生じる直前のフレームの入力画像における、注目画素と同じ位置の画素を予測タップとして抽出する。そして、復元装置１１は、予測タップと、注目画素のクラスおよびモードから定まる変換係数とを用いて、注目画素を予測する。
【０１２８】
このように、予測タップと変換係数とを用いて注目画素を予測演算することで、欠損のない元の入力画像を必要とせずに、簡単に入力画像の欠損した領域を復元することができる。しかも、復元画像と同じフレームの入力画像における欠損領域の外側であって、注目画素に対応する画素に近い画素と、欠損が生じる直前のフレームの入力画像における、注目画素と同じ位置の画素とを予測タップとして抽出するようにしたので、注目画素と相関の強い画素を予測演算に用いることができる。さらに、注目画素の各クラスのモードごとに、統計的に求められた変換係数、つまり注目画素のクラスとモードとにより定まる変換係数を、予測タップに乗算して注目画素の画素値を予測演算することで、線形補間を行う場合と比べて、より精度よく入力画像を復元することができる。
【０１２９】
一般に、欠損領域を線形補間により復元する場合、欠損領域は、欠損領域内の画素が周囲の画素と滑らかに繋がるように、グラデーションによって埋められるため、もとのテクスチャを復元することはできない。
【０１３０】
これに対して、復元装置１１においては、複数の画像が用いられて、注目画素の画素値が最も期待値の高い値となるような変換係数が、各クラスのモードごとに予め求められて記憶されている。すなわち、複数の画像において、所定のクラスの所定のモードとなる注目画素に対応する画素の画素値うちの、最も出現頻度の高かった画素値になるべく近い値が求まるような係数が、そのクラスのモードの変換係数とされる。したがって、そのような変換係数を用いて注目画素の画素値を予測演算することで、もとのテクスチャを再現するような画素値を得ることができる。
【０１３１】
次に、図１の積和演算部４７における予測演算と、係数読み出し部２４に記憶される変換係数の学習について説明する。
【０１３２】
例えば、クラス分類適応処理として、入力画像の入力画像データから予測タップを抽出し、その予測タップと変換係数とを用いて、復元画像の画素（以下、適宜、復元画素とも称する）の画素値を所定の予測演算によって求める（予測する）ことを考える。
【０１３３】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、復元画素の画素値ｙは、式（１）に示す線形１次式によって求められることになる。
【０１３４】
【数１】
2009003598.tif 000003
【０１３５】
但し、式（１）において、ｘiは、復元画素の画素値ｙについての予測タップを構成する、ｉ番目の入力画像データの画素（以下、適宜、欠損画素と称する）の画素値を表し、ｗiは、ｉ番目の欠損画素（の画素値）と乗算されるｉ番目の変換係数を表す。なお、式（１）では、予測タップがＮ個の欠損画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１３６】
ここで、復元画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の線形関数の式によって求めるようにすることも可能である。また、線形関数に限らず、非線形関数によって復元画素の画素値を求めるようにしてもよい。
【０１３７】
いま、第ｓサンプルの復元画素の画素値の真値をｙsと表すとともに、式（１）によって得られるその真値ｙsの予測値をｙs'と表すと、その予測誤差ｅsは、次式（２）で表される。
【０１３８】
ｅs＝（ｙs−ｙs'）                                              ・・・（２）
【０１３９】
いま、式（２）の予測値ｙs'は、式（１）にしたがって求められるため、式（２）のｙs'を、式（１）にしたがって置き換えると、次式（３）が得られる。
【０１４０】
【数２】
2009003598.tif 000004
【０１４１】
但し、式（３）において、ｘs,iは、第ｓサンプルの復元画素についての予測タップを構成するｉ番目の欠損画素を表す。
【０１４２】
式（３）（または式（２））の予測誤差ｅsを０とする変換係数ｗiが、復元画素を予測するのに最適なものとなるが、すべての復元画素について、そのような変換係数ｗiを求めることは、一般には困難である。
【０１４３】
そこで、変換係数ｗiが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な変換係数ｗiは、次式（４）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１４４】
【数３】
2009003598.tif 000005
【０１４５】
但し、式（４）において、Ｓは、復元画素ｙsと、その復元画素ｙsについての予測タップを構成する欠損画素ｘs,1，ｘs,2，・・・，ｘs,Nとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１４６】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを変換係数ｗiで偏微分したものを０とするｗiによって与えられる。
【０１４７】
【数４】
2009003598.tif 000006
【０１４８】
一方、上述の式（３）を変換係数ｗiで偏微分すると、次式（６）が得られる。
【０１４９】
【数５】
2009003598.tif 000007
【０１５０】
式（５）および式（６）から、次式（７）が得られる。
【０１５１】
【数６】
2009003598.tif 000008
【０１５２】
式（７）のｅsに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１５３】
【数７】
2009003598.tif 000009
【０１５４】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、変換係数ｗiについて解くことができる。
【０１５５】
注目画素の各クラスについて、モードごとに式（８）の正規方程式を立てて解くことにより、各クラスについて、モードごとに最適な変換係数ｗi（ここでは、自乗誤差の総和Ｅを最小にする変換係数ｗi）を求めることができる。
【０１５６】
図１の積和演算部４７では、以上のような、各クラスについてモードごとに求められた変換係数ｗi、つまりクラスおよびモードにより定まる変換係数ｗiを用いて、式（１）の演算を行うことにより、入力画像から復元画像を得ることができる。
【０１５７】
次に、図８は、各クラスについてモードごとに、式（８）の正規方程式を立てて解くことにより変換係数ｗiを求める学習を行う学習装置の構成例を示している。
【０１５８】
学習装置２１１は、欠損領域検出部２２１、メモリ２２２、クラス分類部２２３、正規方程式生成部２２４、および係数生成部２２５から構成される。
【０１５９】
この学習装置２１１には、変換係数ｗiの学習に用いられる復元画像の復元画像データが、メモリ２２２に供給されるとともに、欠損の生じた入力画像データが欠損領域検出部２２１、クラス分類部２２３、および正規方程式生成部２２４に供給される。
【０１６０】
欠損領域検出部２２１は、供給された入力画像から欠損領域を検出し、その検出結果を学習装置２１１の各部に供給する。より詳細には、欠損領域検出部２２１は、注目画素を抽出しようとする復元画像のフレームと同じフレームの入力画像から、欠損領域を検出するとともに、欠損領域の検出の対象となったフレームよりも時間的に前のフレームであって、入力画像にその欠損領域が出現する直前のフレームを検出する。換言すれば、欠損領域検出部２２１は、欠損領域を検出することにより、欠損領域を示す情報および欠損が生じる直前のフレームを示す情報を取得し、取得したそれらの情報を学習装置２１１の各部に供給する。
【０１６１】
また、欠損領域検出部２２１は、供給された入力画像のうち、欠損が生じる直前のフレームの入力画像をメモリ２２２に供給して記憶させる。メモリ２２２は、欠損領域検出部２２１から供給された入力画像を一時的に記憶し、記憶している入力画像を正規方程式生成部２２４に供給する。また、メモリ２２２は、供給された復元画像、より詳細には復元画像データを一時的に記憶し、記憶している復元画像を正規方程式生成部２２４に供給する。
【０１６２】
クラス分類部２２３は、供給された入力画像を用いて、復元画像の復元画像データを構成する画素のうち、入力画像の欠損領域と同じ領域内の画素を、順次、注目する画素である注目画素とし、注目画素を複数のクラスのうちの何れかにクラス分けするクラス分類を行う。
【０１６３】
クラス分類部２２３は、シーンチェンジ検出部２３１、シーンチェンジカウンタ２３２、クラスタップ抽出部２３３、ADRC処理部２３４、およびクラス値出力部２３５から構成される。
【０１６４】
クラス分類部２２３のシーンチェンジ検出部２３１は、欠損が生じる直前のフレームから、欠損領域の検出の対象となるフレームまでの間の期間における、入力画像のシーンチェンジを検出し、その検出結果をシーンチェンジカウンタ２３２に供給する。シーンチェンジカウンタ２３２は、シーンチェンジ検出部２３１から供給された検出結果に応じた値、すなわちシーンチェンジがあったか否かを示す値を保持し、保持している値をクラス値出力部２３５に供給する。
【０１６５】
クラスタップ抽出部２３３は、供給された入力画像のうち、注目画素を抽出する復元画像のフレームと同じフレームの入力画像を構成する画素のいくつかを、クラスタップとして抽出し、抽出したクラスタップをADRC処理部２３４に供給する。ADRC処理部２３４は、クラスタップ抽出部２３３から供給されたクラスタップにADRC処理を施し、ADRC処理の施されたクラスタップをクラス値出力部２３５に供給する。
【０１６６】
クラス値出力部３２５は、ADRC処理部２３４から供給されたクラスタップと、シーンチェンジカウンタ２３２が保持している値とに基づいて、注目画素をクラス分類し、その結果、注目画素が分類されたクラスを示すクラス値を正規方程式生成部２２４に供給する。
【０１６７】
正規方程式生成部２２４は、各クラスについてモードごとに、式（８）の正規方程式を生成する。正規方程式生成部２２４は、予測タップ抽出部２３６および足し込み部２３７から構成される。予測タップ抽出部２３６は、供給された入力画像、およびメモリ２２２から供給された入力画像から予測タップを抽出し、抽出した予測タップを足し込み部２３７に供給する。
【０１６８】
足し込み部２３７は、メモリ２２２から供給された復元画像の欠損領域に対応する領域内の画素を順次、注目画素とし、復元画像から注目画素、より詳細には注目画素の画素値を抽出する。また、足し込み部２３７は、抽出した注目画素と、予測タップ抽出部２３６から供給された予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象とした足し込みを、クラス値出力部２３５からのクラス値、および注目画素のモードにしたがって行う。
【０１６９】
すなわち、足し込み部２３７は復元画像データの注目画素の画素値ｙsを抽出する。また、足し込み部２３７には、予測タップ（を構成する入力画像データの画素の画素値）ｘs,i、および注目画素のクラスを表すクラス値が供給される。
【０１７０】
そして、足し込み部２３７はクラス値に対応する各クラスについて、注目画素のモードごとに、予測タップ（入力画像データ）ｘs,iを用い、式（８）の左辺の行列における入力画像データ同士の乗算（ｘs,iｘs,i）、およびその乗算された値の総和の演算に相当する演算を行う。
【０１７１】
さらに、足し込み部２３７は、各クラスについてモードごとに、予測タップ（入力画像データ）ｘs,iおよび復元画像データｙsを用い、式（８）の右辺のベクトルにおける入力画像データｘs,iおよび復元画像データｙsの乗算（ｘs,iｙs）、並びにその乗算された値の総和の演算に相当する演算を行う。
【０１７２】
すなわち、足し込み部２３７は、前回、注目画素とされた復元画像データについて求められた式（８）における左辺の行列のコンポーネント（Σｘs,iｘs,i）と、右辺のベクトルのコンポーネント（Σｘs,iｙs）を記憶しており、その行列のコンポーネント（Σｘs,iｘs,i）またはベクトルのコンポーネント（Σｘs,iｙs）に対して、新たに注目画素とされた復元画像データについて、その復元画像データｙs+1および入力画像データｘs+1,iを用いて計算される、対応するコンポーネントｘs+1,iｘs+1,iまたはｘs+1,iｙs+1を足し込む（式（８）のΣで表される加算を行う）。
【０１７３】
そして、足し込み部２３７は、復元画像データの欠損領域に対応する領域内の全ての画素を注目画素として、上述の足し込みを行うことにより、各クラスについてモードごとに、式（８）に示した正規方程式を立てる（生成する）と、その正規方程式を係数生成部２２５に供給する。
【０１７４】
係数生成部２２５は、足し込み部２３７から供給された、各クラスについてモードごとに生成された正規方程式を解くことにより、各クラスについてモードごとに、最適な変換係数ｗiを求めて出力する。係数生成部２２５から出力された変換係数は、例えば図１の係数読み出し部２４に供給されて記憶される。また、係数生成部２２５から出力された変換係数がROM（Read Only Memory）などの記録媒体に記録され、記録媒体から他の装置に供給されるようにしてもよい。
【０１７５】
次に、図９のフローチャートを参照して、学習装置２１１による学習処理について説明する。この学習処理は、学習装置２１１に、復元画像および入力画像が供給されると開始される。
【０１７６】
ステップＳ５１において、欠損領域検出部２２１は、供給された入力画像から、欠損領域を検出する。例えば、欠損領域検出部２２１は、図２のステップＳ１１の処理と同様の処理を行い、供給された全てのフレームから、欠損領域が初めて出現したフレームと、その欠損領域が消失したフレームとを特定しておき、入力画像から欠損領域を検出する。また、欠損領域検出部２２１は、欠損領域が始めて出現したフレームの直前のフレームを検出する。
【０１７７】
欠損領域検出部２２１は、欠損領域を検出すると、その検出結果と、欠損領域が始めて出現したフレームの直前のフレームの検出結果とを、学習装置２１１の各部に供給する。また、欠損領域検出部２２１は、供給された入力画像のうち、欠損領域が出現する直前のフレームの入力画像をメモリ２２２に供給して記憶させる。
【０１７８】
ステップＳ５２において、シーンチェンジ検出部２３１は、例えば、供給された入力画像のフレーム間差分を求めることにより、入力画像のシーンチェンジを検出する。すなわち、シーンチェンジ検出部２３１は、欠損領域が出現する直前のフレーム（ｔ−ｎ）から、注目画素が抽出される復元画像のフレームに対応するフレームｔまでの期間における入力画像のシーンチェンジを検出する。そして、シーンチェンジ検出部２３１は、シーンチェンジの検出結果に応じて、シーンチェンジの有無を示す１ビットの値をシーンチェンジカウンタ２３２に保持させる。
【０１７９】
ステップＳ５３において、クラスタップ抽出部２３３は、供給された入力画像からクラスタップを抽出し、抽出したクラスタップをADRC処理部２３４に供給する。すなわち、クラスタップ抽出部２３３は、注目画素が抽出される復元画像のフレームに対応するフレームの入力画像上のいくつかの画素、例えば、図５の画素１２１乃至画素１２６をクラスタップとして抽出する。
【０１８０】
ステップＳ５４において、ADRC処理部２３４は、クラスタップ抽出部２３３から供給されたクラスタップにADRC処理を施し、ADRC処理が施されたクラスタップを、クラス値出力部２３５に供給する。例えば、ADRC処理部２３４は、クラスタップに１ビットADRC処理を施してクラス値出力部２３５に供給する。
【０１８１】
ステップＳ５５において、クラス値出力部２３５は、シーンチェンジカウンタ２３２が保持している値、およびADRC処理部２３４から供給された値に基づいてクラス分類を行い、注目画素のクラスを決定する。そして、クラス値出力部２３５は、決定された注目画素のクラスを示すクラス値を足し込み部２３７に供給する。
【０１８２】
より具体的には、クラス値出力部２３５は、シーンチェンジカウンタ２３２が保持している１ビットの値、およびADRC処理部２３４から供給された６ビットの値を結合して得られる７ビットの値をクラス値として足し込み部２３７に供給する。
【０１８３】
ステップＳ５６において、予測タップ抽出部２３６は、供給された入力画像と、メモリ２２２に記憶された入力画像とから、予測タップを抽出し、抽出した予測タップを足し込み部２３７に供給する。例えば、予測タップ抽出部２３６に図７の入力画像１８１が供給され、予測タップ抽出部２３６がメモリ２２２から入力画像１８２を取得したとすると、予測タップ抽出部２３６は、注目画素が抽出される復元画像のフレームと同じフレームｔの入力画像１８１から、画素１８４−１乃至画素１８４−１４を予測タップとして抽出するとともに、欠損領域１８３が出現する直前のフレーム（ｔ−ｎ）の入力画像１８２から、画素１８４−１５を予測タップとして抽出する。
【０１８４】
ステップＳ５７において、足し込み部２３７は、メモリ２２２に供給されて記憶されている復元画像の復元画像データから注目画素、より詳細には注目画素の画素値を抽出する。
【０１８５】
ステップＳ５８において、足し込み部２３７は、抽出した注目画素と、予測タップ抽出部２３６から供給された予測タップとの対応をとりながら、注目画素と予測タップを構成する画素とを対象として、クラス値出力部２３５から供給されたクラス値に対応するクラスについて、注目画素のモードごとに立てられた式（８）により示される正規方程式への足し込みを行う。
【０１８６】
ステップＳ５９において、学習装置２１１は、欠損領域に対応する復元画像の領域内の全ての画素について、足し込みを行ったか否かを判定する。ステップＳ５９において、まだ全ての画素について足し込みを行っていないと判定された場合、ステップＳ６０において、学習装置２１１は、注目画素の位置を移動させる。すなわち、学習装置２１１は、欠損領域に対応する復元画像の領域内の画素のうち、まだ注目画素とされていない画素を新たな注目画素とし、その後、処理はステップＳ５３に戻り、上述した処理が繰り返される。
【０１８７】
一方、ステップＳ５９において、全ての画素について足し込みを行ったと判定された場合、足し込み部２３７は、各クラスについてモードごとに立てた正規方程式を、係数生成部２２５に供給して、処理はステップＳ６１に進む。
【０１８８】
ステップＳ６１において、係数生成部２２５は、足し込み部２３７から供給された、各クラスについてのモードごとの正規方程式を、例えば、掃き出し法によって解くことにより各クラスについてのモードごとの変換係数ｗiを求めて出力し、学習処理は終了する。これにより、係数生成部２２５から図１の係数読み出し部２４には、注目画素のクラスおよびモードから定まる変換係数が供給されて記憶される。
【０１８９】
このようにして、学習装置２１１は、入力画像のうち、注目画素を抽出する復元画像と同じフレームの入力画像における欠損領域の外側であって、注目画素に対応する画素に近い画素を予測タップとして抽出するとともに、欠損が生じる直前のフレームの入力画像における、注目画素と同じ位置の画素を予測タップとして抽出する。そして、学習装置２１１は、注目画素と予測タップとから、各クラスについてモードごとに、正規方程式を立てて変換係数を求める。
【０１９０】
このように、注目画素と予測タップとを用いて変換係数を求めることで、簡単かつより精度よく入力画像の欠損した領域を復元するための変換係数を求めることができる。これにより、求められた変換係数を用いることによって、簡単に入力画像の欠損した領域を復元することができる。
【０１９１】
しかも、注目画素を抽出する復元画像と同じフレームの入力画像における欠損領域の外側であって、注目画素に対応する画素に近い画素と、欠損が生じる直前のフレームの入力画像における、注目画素と同じ位置の画素とを予測タップとして抽出するようにしたので、注目画素と相関の強い画素を用いた予測演算を行うための変換係数を求めることができる。さらに、注目画素の各クラスのモードごとに、複数の入力画像と復元画像とを用いて統計的に変換係数を求めることで、線形補間を行う場合と比べて、より精度よく入力画像を復元することができる変換係数が得られる。
【０１９２】
なお、以上においては、復元装置１１と学習装置２１１とが、それぞれ異なる装置とされる例について説明したが、復元装置１１および学習装置２１１が１つの装置に設けられるようにしてもよい。
【０１９３】
また、欠損領域検出部２１および欠損領域検出部２２１により、欠損領域および欠損が生じる直前のフレームが検出されると説明したが、欠損領域と、欠損が生じる直前のフレームとが、予め求められており、外部から入力されるようにしてもよい。例えば、復元画像をリアルタイムで表示するような場合には、復元装置１１の欠損領域検出部２１が欠損領域を検出して入力画像の復元を行うことが望ましい。これに対して、復元された復元画像を編集するような場合には、リアルタイム性が求められないので、編集者が欠損領域と、欠損が生じる直前のフレームとを指定するようにしてもよい。欠損領域と、欠損が生じる直前のフレームとが外部から入力される場合には、欠損領域検出部２１および欠損領域検出部２２１は、外部から欠損領域と、欠損が生じる直前のフレームとを示す情報を取得して、復元装置１１の各部および学習装置２１１の各部に供給する。
【０１９４】
さらに、クラスタップの例として、図５の画素１２１乃至画素１２６が入力画像から抽出されると説明したが、その他、図１０Ａ乃至図１０Ｃに示す画素がクラスタップとして抽出されるようにしてもよい。なお、図１０Ａ乃至図１０Ｃにおいて、図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。
【０１９５】
図１０Ａでは、図中、縦方向（垂直方向）に並べられた４つの画素１２２、画素１２５、画素２６１、および画素２６２がクラスタップとして抽出される。すなわち、画素１２７を図中、上方向に欠損領域９２の境界まで移動させた位置の画素１２２、画素１２２の上側に隣接する画素２６１、画素１２７を下方向に欠損領域９２の境界まで移動させた位置の画素１２５、および画素１２５の下側に隣接する画素２６２がクラスタップとされる。
【０１９６】
また、図１０Ｂの例では、画素１２１乃至画素１２６だけでなく、画素２７１乃至画素２７６もクラスタップとして抽出される。画素２７１は、画素１２７を図中、右方向に欠損領域９２の境界まで移動させた位置にある画素とされ、画素２７２および画素２７３は、画素２７１の上下に隣接する画素とされている。また、画素２７４は、画素１２７を図中、左方向に欠損領域９２の境界まで移動させた位置にある画素とされ、画素２７５および画素２７６は、画素２７４の上下に隣接する画素とされている。したがって、図１０Ｂの例では、画素１２１乃至画素１２６、および画素２７１乃至画素２７６の合計１２個の画素がクラスタップとして抽出される。
【０１９７】
さらに、図１０Ｃの例では、所定の間隔で並んでいる画素１２２、画素１２５、および画素２９１乃至画素２９４がクラスタップとして抽出される。ここで、画素２９２、画素１２２、および画素２９１は、欠損領域９２の図中、上側の境界に隣接して、横方向に１画素おきに並べられており、画素２９４、画素１２５、および画素２９３も欠損領域９２の図中、下側の境界に隣接して、横方向に１画素おきに並べられている。
【０１９８】
また、予測タップの例として、これから生成しようとする復元画像のフレームと同じフレームｔの入力画像から、図７の画素１８４−１乃至画素１８４−１４が抽出されると説明したが、その他、図１１Ａ乃至図１１Ｃに示す画素が予測タップとして抽出されるようにしてもよい。なお、図１１Ａ乃至図１１Ｃにおいて、図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。
【０１９９】
図１１Ａの例では、欠損領域１８３の上側の境界に隣接して並べられた画素３２１、画素１８４−６、画素１８４−１、画素１８４−４、および画素３２２と、欠損領域１８３の下側の境界に隣接して並べられた画素３２３、画素１８４−１３、画素１８４−８、画素１８４−１１、および画素３２４とが予測タップとして抽出される。
【０２００】
また、図１１Ｂの例では、欠損領域１８３の上下左右の境界近傍に位置する画素が予測タップとして抽出される。つまり、欠損領域１８３の上側の境界近傍に位置する画素のうち、欠損領域１８３の上側の境界に横方向に隣接して並べられている画素１８４−６、画素１８４−１、および画素１８４−４と、画素１８４−１の上側に隣接する画素１８４−２とが予測タップとして抽出される。さらに、欠損領域１８３の下側の境界近傍に位置する画素のうち、欠損領域１８３の下側の境界に横方向に隣接して並べられている画素１８４−１３、画素１８４−８、および画素１８４−１１と、画素１８４−８の下側に隣接する画素１８４−９とが予測タップとして抽出される。
【０２０１】
また、欠損領域１８３の右側の境界近傍に位置する画素のうち、欠損領域１８３の右側の境界に縦方向に隣接して並べられている画素３３１乃至画素３３３と、画素３３２の右側に隣接する画素３３４とが予測タップとして抽出される。ここで、画素３３２は、注目画素１８５を図中、右方向に欠損領域１８３の境界まで移動させた位置にある画素とされる。さらに、欠損領域１８３の左側の境界近傍に位置する画素のうち、欠損領域１８３の左側の境界に縦方向に隣接して並べられている画素３３５乃至画素３３７と、画素３３６の左側に隣接する画素３３８とが予測タップとして抽出される。ここで、画素３３６は、注目画素１８５を図中、左方向に欠損領域１８３の境界まで移動させた位置にある画素とされる。
【０２０２】
さらに、図１１Ｃの例では、欠損領域１８３の上側の境界近傍に位置し、１画素間隔で並んでいる画素１８４−１、画素１８４−３、および画素３５１乃至画素３５５が予測タップとして抽出され、欠損領域１８３の下側の境界近傍に位置し、１画素間隔で並んでいる画素１８４−８、画素１８４−１０、および画素３５６乃至画素３６０が予測タップとして抽出される。
【０２０３】
ここで、画素３５１、画素１８４−１、および画素３５２は、欠損領域１８３の境界に隣接して、横方向に１画素おきに並んでおり、画素１８４−１は、注目画素１８５を図中、上方向に欠損領域１８３の境界まで移動させた位置にある画素とされる。また、画素３５３、画素１８４−３、および画素３５４は、画素３５１、画素１８４−１、および画素３５２の図中、２画素分上側に位置し、横方向に１画素おきに並んでいる。さらに、画素３５５は、画素１８４−３の２画素分上側に位置している。
【０２０４】
また、画素３５６、画素１８４−８、および画素３５７は、欠損領域１８３の下側の境界に隣接して、横方向に１画素おきに並んでおり、画素１８４−８は、注目画素１８５を図中、下方向に欠損領域１８３の境界まで移動させた位置にある画素とされる。また、画素３５８、画素１８４−１０、および画素３５９は、画素３５６、画素１８４−８、および画素３５７の図中、２画素分下側に位置し、横方向に１画素おきに並んでいる。さらに、画素３６０は、画素１８４−１０の２画素分下側に位置している。
【０２０５】
さらに、予測タップの例として、図７に示した欠損が生じる直前のフレーム（ｔ−ｎ）の入力画像１８２から、画素１８４−１５が抽出されると説明したが、その他、図１２Ａに示す画素が予測タップとして抽出されるようにしてもよい。なお、図１２Ａにおいて、図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。
【０２０６】
図１２Ａの例では、矢印Ａ１１は、注目画素の位置を示しており、注目画素と同じ位置にある画素１８４−１５と、画素１８４−１５に上下左右に隣接する画素３８１乃至画素３８４とが予測タップとして抽出される。これらの画素３８１乃至画素３８４は、欠損領域に対応する領域１８６内の画素とされている。すなわち、図１２Ａの例では、欠損領域に対応する領域１８６内の画素のうち、注目画素と同じ位置の近傍の４つの画素が予測タップとして抽出される。
【０２０７】
また、図１２Ｂに示すように、欠損が生じる直前のフレーム（ｔ−ｎ）の入力画像１８２からは、予測タップが抽出されないようにしてもよい。なお、図１２Ｂにおいて、図１２Ａにおける場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０２０８】
さらに、復元装置１１または学習装置２１１において、入力画像から検出される欠損領域は、図１３Ａ乃至図１３Ｃに示すように、任意の形状の領域とされる。
【０２０９】
図１３Ａの例では、検出された欠損領域４１１は、図中、横方向に長い長方形の領域とされている。また、図１３Ｂの例では、検出された欠損領域４１２は、図中、縦方向に長い長方形の領域とされている。さらに、図１３Ｃの例では、検出された欠損領域４１３は、正方形の領域と、その正方形の左側の辺の上部に隣接する鉤型の領域とからなる領域とされている。
【０２１０】
図１３Ｃに示す欠損領域４１３が入力画像から検出された場合、例えば、図１４Ａ乃至図１４Ｃに示す画素が、クラスタップとして抽出されるようにしてもよい。なお、図１４Ａ乃至図１４Ｃにおいて、図１３Ｃにおける場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０２１１】
図１４Ａの例では、注目画素、より詳細には注目画素の位置に対応する位置は、欠損領域４１３内の矢印Ａ２１により示される位置とされている。つまり、注目画素は、欠損領域４１３の鉤型の領域内に位置している。また、入力画像上の画素のうち、注目画素を上下左右方向に欠損領域４１３の境界の位置まで移動させた位置にある画素４４１乃至画素４４４が、クラスタップとして抽出される。
【０２１２】
図１４Ｂの例では、注目画素、より詳細には注目画素の位置に対応する位置は、欠損領域４１３内の矢印Ａ２２により示される位置とされている。つまり、注目画素は、欠損領域４１３の正方形の領域内の上側に位置している。また、入力画像上の画素のうち、注目画素を上下左右方向に欠損領域４１３の境界の位置まで移動させた位置にある画素４５１乃至画素４５４が、クラスタップとして抽出される。図１４Ｂの例においては、クラスタップとされる画素４５３および画素４５４は、図１４Ａの画素４４３および画素４４４と同じ画素とされるが、図１４Ｂの画素４５１および画素４５２は、図１４Ａの画素４４１および画素４４２とは異なる位置の画素とされる。
【０２１３】
また、図１４Ｃの例では、注目画素、より詳細には注目画素の位置に対応する位置は、欠損領域４１３内の矢印Ａ２３により示される位置とされている。つまり、注目画素は、欠損領域４１３の正方形の領域内の下側に位置している。また、入力画像上の画素のうち、注目画素を上下左右方向に欠損領域４１３の境界の位置まで移動させた位置にある画素４６１乃至画素４６４が、クラスタップとして抽出される。図１４Ｃの例においては、クラスタップとされる画素４６１および画素４６２は、図１４Ｂの画素４５１および画素４５２と同じ画素とされるが、図１４Ｃの画素４６３および画素４６４は、図１４Ｂの画素４５３および画素４５４とは異なる位置の画素とされる。
【０２１４】
このように、欠損領域４１３においては、注目画素の位置によって、クラスタップとされる画素は異なる。なお、図１４Ａの画素４４１乃至画素４４４、図１４Ｂの画素４５１乃至画素４５４、および図１４Ｃの画素４６１乃至画素４６４のそれぞれの画素は、クラスタップとして抽出されると説明したが、これらの画素が予測タップとして抽出されるようにしてもよい。
【０２１５】
また、図７では、欠損が生じる直前のフレームの入力画像から抽出される予測タップは、注目画素と同じ位置の画素とされると説明したが、入力画像に動きがある場合には、予測タップとされる画素が、必ずしも注目画素に対応する画素、つまり画像上の注目画素と同じ部分を示す画素となるとは限らない。そこで、入力画像から動きベクトルを検出し、検出された動きベクトルに基づいて、欠損が生じる直前のフレームの入力画像上の画素のうち、注目画素に対応する画素、つまり画像上の注目画素と同じ部分を示す画素が、予測タップとして抽出されるようにしてもよい。
【０２１６】
さらに、以上においては、変換係数が、注目画素のクラスとモードとから定まると説明したが、注目画素のクラスだけから変換係数が定まるようにしてもよい。そのような場合、学習装置２１１において、注目画素のクラスごとに正規方程式が立てられ、クラスごとの変換係数が求められる。また、復元装置１１においては、クラスごとの変換係数が用いられて注目画素の予測演算が行われる。
【０２１７】
さらに、また、一部が欠損した画像である入力画像と、欠損した領域が復元された復元画像とは、同じ画素数の画像であってもよいし、異なる画素数の画像であってもよい。したがって、例えば、復元画像は、入力画像の４倍密の画像であってもよいし、入力画像が間引きされた画像とされてもよい。
【０２１８】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２１９】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２２０】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２２１】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０２２２】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２２３】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２２４】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２２５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２２６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２２７】
【図１】本発明を適用した復元装置の一実施の形態の構成例を示すブロック図である。
【図２】復元処理を説明するフローチャートである。
【図３】欠損領域の検出について説明する図である。
【図４】入力画像の復元について説明する図である。
【図５】クラスタップの例を示す図である。
【図６】注目画素のモードについて説明する図である。
【図７】予測タップの例を示す図である。
【図８】学習装置の構成例を示すブロック図である。
【図９】学習処理を説明するフローチャートである。
【図１０】クラスタップの他の例を示す図である。
【図１１】予測タップの他の例を示す図である。
【図１２】予測タップの他の例を示す図である。
【図１３】欠損領域の例を示す図である。
【図１４】クラスタップの他の例を示す図である。
【図１５】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０２２８】
１１  復元装置，  ２１  欠損領域検出部，  ２３  クラス分類部，  ２４  係数読み出し部，  ２５  データ生成部，  ２６  表示制御部，  ２７  表示部，  ４１  シーンチェンジ検出部，  ４２  シーンチェンジカウンタ，  ４３  クラスタップ抽出部，  ４５  クラス値出力部，  ４６  予測タップ抽出部，  ４７  積和演算部，  ２１１  学習装置，  ２２１  欠損領域検出部，  ２２３  クラス分類部，  ２２４  正規方程式生成部，  ２２５  係数生成部，  ２３１  シーンチェンジ検出部，  ２３２  シーンチェンジカウンタ，  ２３３  クラスタップ抽出部，  ２３５  クラス値出力部，  ２３６  予測タップ抽出部，  ２３７  足し込み部
【図１】
2009003598.tif 000010
【図２】
2009003598.tif 000011
【図３】
2009003598.tif 000012
【図４】
2009003598.tif 000013
【図５】
2009003598.tif 000014
【図６】
2009003598.tif 000015
【図７】
2009003598.tif 000016
【図８】
2009003598.tif 000017
【図９】
2009003598.tif 000018
【図１０】
2009003598.tif 000019
【図１１】
2009003598.tif 000020
【図１２】
2009003598.tif 000021
【図１３】
2009003598.tif 000022
【図１４】
2009003598.tif 000023
【図１５】
2009003598.tif 000024