(57)【要約】【課題】動画像の圧縮画像から、原画像により近い予測画像を効率的に予測することができるようにする。【解決手段】符号化装置３１は、圧縮画像更新部４６により原画像１１に対応する圧縮画像を更新するとともに、予測係数更新部４４により、所定の予測構造に従って、その圧縮画像から原画像１１を予測するための予測係数群を更新する処理を繰り返し、適正化された予測係数５１と圧縮画像５２を出力する。この場合、予測構造は、第１の原画像に対応する圧縮画像、および、その予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測するものとされる。本発明は、画像を、その画素を間引くことによって圧縮する装置、その圧縮された画像を再生する装置に適用可能である。【選択図】　　　図３
2004015382.tif 000002
【特許請求の範囲】
【請求項１】
原画像の画素数を少なくすることにより前記原画像を圧縮し、圧縮画像を生成する圧縮手段と、
所定の予測構造に従って、前記圧縮手段により生成された前記圧縮画像に対応する前記原画像を予測するための予測係数を生成する係数生成手段と、
前記予測構造に従って、前記係数生成手段により生成された前記予測係数を利用して、前記圧縮手段により生成された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成し、生成した前記予測画像と前記原画像とを比較し、その比較の結果に基づいて、前記圧縮画像を補正する補正手段と、
前記係数生成手段により生成された前記予測係数、および、前記補正手段により補正された前記圧縮画像を出力する出力手段と
を備え、
前記予測構造は、第１の原画像に対応する圧縮画像、および、前記予測構造に従って予測された、前記第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、前記第１の原画像を予測する予測構造である
ことを特徴とする画像処理装置。
【請求項２】
前記補正手段により補正された前記圧縮画像が適正であるか否かを判定する判定手段をさらに備え、
前記判定手段により前記圧縮画像が適正でないと判定された場合、
前記係数生成手段は、前記予測構造に従って、前記補正手段により直前に補正された前記圧縮画像に対応する前記原画像を予測するための予測係数を再度生成し、
前記補正手段は、前記予測構造に従って、前記係数生成手段により再度生成された前記予測係数を利用して、前記補正手段により直前に補正された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成し、生成した予測画像と前記原画像とを比較し、その比較の結果に基づいて、前記圧縮画像を再度補正し、
前記判定手段により前記圧縮画像が適正であると判定された場合、
前記出力手段は、前記係数生成手段により直前に生成された前記予測係数、および、前記補正手段により直前に補正された前記圧縮画像を出力する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記予測構造は、クラス分類適応処理である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記予測構造は、前記第１の原画像に対応する前記圧縮画像の中の着目画素、および、前記着目画素の近傍に位置する複数の画素、並びに、前記第２の原画像に対応する前記予測画像の中の、前記着目画素に対応する画素のそれぞれの画素に対応する予測タップを生成し、生成した前記予測タップから、前記着目画素のクラスに対応する前記予測係数を利用して、前記第１の原画像の中の、前記着目画素に対応する画素を予測する予測構造である
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記着目画素の画素値に基づいて、前記着目画素のクラスを決定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記補正手段は、前記圧縮画像を構成する各画素の画素値のそれぞれを更新することで、前記圧縮画像を補正する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補正手段は、生成した前記予測画像の前記原画像に対するＳＮＲを演算し、演算した前記ＳＮＲに基づいて、前記圧縮画像を補正する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記係数生成手段は、前記原画像、並びに、前記圧縮手段により生成された、若しくは、前記補正手段により補正された前記圧縮画像を入力する入力手段と、
前記入力手段により入力された前記圧縮画像から、前記入力手段により入力された前記原画像を予測するための初期の予測係数を生成する初期予測係数生成手段と、
前記入力手段により入力された前記圧縮画像から、前記初期予測係数生成手段により生成された前記初期の予測係数を利用して、前記入力手段により入力された前記原画像を予測し、初期の予測画像を生成する初期予測画像生成手段と、
前記初期予測係数生成手段により生成された前記初期の予測係数を元にして、前記予測構造に従って、前記入力手段により入力された前記圧縮画像、および、前記初期予測画像生成手段により生成された前記初期の予測画像から、前記入力手段により入力された前記原画像を予測するための仮の予測係数を生成する仮予測係数生成手段と、
前記予測構造に従って、前記仮予測係数生成手段により生成された前記仮の予測係数を利用して、前記入力手段により入力された前記圧縮画像、および、前記初期予測画像生成手段により生成された前記初期の予測画像から、前記入力手段により入力された前記原画像を予測して、仮の予測画像を生成する仮予測画像生成手段と、
前記仮予測係数生成手段により生成された前記仮の予測係数が適正であるか否かを判定する仮予測係数判定手段と、
前記仮予測係数判定手段により前記仮の予測係数が適正であると判定された場合、前記仮の予測係数を、前記係数生成手段が生成する正式な前記予測係数として出力する予測係数出力手段と
を有し、
前記仮予測係数判定手段により前記仮の予測係数が適正でないと判定された場合、前記仮予測係数生成手段は、前記予測構造に従って、前記入力手段により入力された前記圧縮画像、および、前記仮予測画像生成手段により直前に生成された前記仮の予測画像から、前記入力手段により入力された前記原画像を予測するための仮の予測係数を再度生成し、
前記仮予測画像生成手段は、前記予測構造に従って、前記仮予測係数生成手段により再度生成された前記仮の予測係数を利用して、前記入力手段により入力された前記圧縮画像、および、前記仮予測画像生成手段により直前に生成された前記仮の予測画像から、前記入力手段により入力された前記原画像を再度予測して、前記仮の予測画像を再度生成する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項９】
画像圧縮装置の画像圧縮方法において、
原画像の画素数を少なくすることにより前記原画像を圧縮し、圧縮画像を生成する圧縮ステップと、
所定の予測構造に従って、前記圧縮ステップの処理により生成された前記圧縮画像に対応する前記原画像を予測するための予測係数を生成する係数生成ステップと、
前記予測構造に従って、前記係数生成ステップの処理により生成された前記予測係数を利用して、前記圧縮ステップの処理により生成された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成し、生成した前記予測画像と前記原画像とを比較し、その比較の結果に基づいて、前記圧縮画像を補正する補正ステップと、
前記係数生成ステップの処理により生成された前記予測係数、および、前記補正ステップの処理により補正された前記圧縮画像を出力する出力ステップと
を含み、
前記予測構造は、第１の原画像に対応する圧縮画像、および、前記予測構造に従って予測された、前記第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、前記第１の原画像を予測する予測構造である
ことを特徴とする画像処理方法。
【請求項１０】
画像処理装置を制御するコンピュータのプログラムであって、
原画像の画素数を少なくすることにより前記原画像を圧縮し、圧縮画像を生成する圧縮ステップと、
所定の予測構造に従って、前記圧縮ステップの処理により生成された前記圧縮画像に対応する前記原画像を予測するための予測係数を生成する係数生成ステップと、
前記予測構造に従って、前記係数生成ステップの処理により生成された前記予測係数を利用して、前記圧縮ステップの処理により生成された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成し、生成した前記予測画像と前記原画像とを比較し、その比較の結果に基づいて、前記圧縮画像を補正する補正ステップと、
前記係数生成ステップの処理により生成された前記予測係数、および、前記補正ステップの処理により補正された前記圧縮画像を出力する出力ステップと
を含み、
前記予測構造は、第１の原画像に対応する圧縮画像、および、前記予測構造に従って予測された、前記第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、前記第１の原画像を予測する予測構造である
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１１】
画像処理装置制御するコンピュータに、
原画像の画素数を少なくすることにより前記原画像を圧縮し、圧縮画像を生成する圧縮ステップと、
所定の予測構造に従って、前記圧縮ステップの処理により生成された前記圧縮画像に対応する前記原画像を予測するための予測係数を生成する係数生成ステップと、
前記予測構造に従って、前記係数生成ステップの処理により生成された前記予測係数を利用して、前記圧縮ステップの処理により生成された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成し、生成した前記予測画像と前記原画像とを比較し、その比較の結果に基づいて、前記圧縮画像を補正する補正ステップと、
前記係数生成ステップの処理により生成された前記予測係数、および、前記補正ステップの処理により補正された前記圧縮画像を出力する出力ステップと
を実行させ、
前記予測構造は、第１の原画像に対応する圧縮画像、および、前記予測構造に従って予測された、前記第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、前記第１の原画像を予測する予測構造である
ことを特徴とするプログラム。
【請求項１２】
原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、前記圧縮画像に対応する前記原画像を予測するための予測係数を入力する入力手段と、
前記予測構造に従って、前記入力手段により入力された前記予測係数を利用して、前記入力手段により入力された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成する予測手段と
を備え、
前記予測構造は、第１の原画像に対応する圧縮画像、および、前記予測構造に従って予測された、前記第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、前記第１の原画像を予測する予測構造である
ことを特徴とする画像処理装置。
【請求項１３】
前記予測構造は、クラス分類適応処理である
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記予測構造は、前記第１の原画像に対応する前記圧縮画像の中の着目画素、および、前記着目画素の近傍に位置する複数の画素、並びに、前記第２の原画像に対応する前記予測画像の中の、前記着目画素に対応する画素のそれぞれの画素に対応する予測タップを生成し、生成した前記予測タップから、前記着目画素のクラスに対応する前記予測係数を利用して、前記第１の原画像の中の、前記着目画素に対応する画素を予測する予測構造である
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記着目画素の画素値に基づいて、前記着目画素のクラスを決定する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
画像処理装置の画像処理方法において、
原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、前記圧縮画像に対応する前記原画像を予測するための予測係数を入力する入力ステップと、
前記予測構造に従って、前記入力ステップの処理により入力された前記予測係数を利用して、前記入力ステップの処理により入力された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成する予測ステップと
を含み、
前記予測構造は、第１の原画像に対応する圧縮画像、および、前記予測構造に従って予測された、前記第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、前記第１の原画像を予測する予測構造である
ことを特徴とする画像処理方法。
【請求項１７】
画像処理装置を制御するコンピュータのプログラムであって、
原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、前記圧縮画像に対応する前記原画像を予測するための予測係数を入力する入力ステップと、
前記予測構造に従って、前記入力ステップの処理により入力された前記予測係数を利用して、前記入力ステップの処理により入力された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成する予測ステップと
を含み、
前記予測構造は、第１の原画像に対応する圧縮画像、および、前記予測構造に従って予測された、前記第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、前記第１の原画像を予測する予測構造である
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１８】
画像処理装置を制御するコンピュータに、
原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、前記圧縮画像に対応する前記原画像を予測するための予測係数を入力する入力ステップと、
前記予測構造に従って、前記入力ステップの処理により入力された前記予測係数を利用して、前記入力ステップの処理により入力された前記圧縮画像に対応する前記原画像を予測し、予測画像を生成する予測ステップと
を実行させ、
前記予測構造は、第１の原画像に対応する圧縮画像、および、前記予測構造に従って予測された、前記第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、前記第１の原画像を予測する予測構造である
ことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、動画像の圧縮画像から、原画像により近い予測画像を効率的に予測することができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来より、画像の符号化および復号方法については、種々の方法が提案されているが、そのうちの１つの方法として、例えば、画像を、その画素を間引くこと（ｓｕｂｓａｍｐｌｉｎｇ）により圧縮して符号化し、それを復号する方法が知られている。
【０００３】
しかしながら、このように画素を間引いて圧縮した画像（以下、そのような画像を、単に圧縮画像と称する）を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
この復号画像の解像度が劣化する原因として、第１に、間引いた画像には、元の画像（以下、間引くの元の画像を、原画像と称する）に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像（圧縮画像）を構成する画素の画素値が、原画像を復元するのに、必ずしも適当でないことが考えられる。
【０００５】
そこで、本出願人は、例えば、特開平９−２０８４８３号として、図１に示されるような画像符号化装置、および、画像復号装置を先に提案した。
【０００６】
即ち、図１に示されるように、符号化装置１は、圧縮画像１２から原画像１１を予測し、その予測の結果として、予測画像１４を生成する予測構造（例えば、クラス分類適応処理）に基づいて、圧縮画像１２と、その予測構造で利用する付加情報（例えば、図１の例では、予測係数群１３）を最適化する（例えば繰り返しによる最適化処理を行う）ことで、入力した原画像１１を符号化し、最適化された圧縮画像１２、および、予測係数群１３を出力する。
【０００７】
復号装置２のクラス分類適応予測処理部２１は、この圧縮画像１２と予測係数群（付加情報）１３を用いて、符号化装置１と同様の予測構造に従って、予測を行い（クラス分類適応処理で予測を行い）、圧縮画像１２を予測画像１４に復号する。
【０００８】
なお、予測画像１４の評価（原画像１１にどこまで忠実であるかの評価）１５は、予測画像１４の原画像１１に対するＳＮＲ（ｓｉｇｎａｌ　ｔｏ　Ｎｏｉｓｅ　Ｒａｔｉｏ）を演算し、その演算結果に基づいて行われる。
【０００９】
また、上述した予測構造（手順）の１つの例としてのクラス分類適応処理は、本出願人により先に提案された以下のような処理である。
【００１０】
即ち、クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、圧縮画像を構成する各画素のそれぞれが、その性質に基づいてクラス分けされ、各クラス毎に適応処理が施される。
【００１１】
適応処理では、圧縮画像を構成する画素（以下、適宜、圧縮画素と称する）と、所定の予測係数との線形結合により、その圧縮画像の圧縮画素に対応する原画像の画素の予測値を求めることで、その圧縮画像に対応する予測画像が得られる。
【００１２】
具体的には、例えば、いま、所定の原画像を教師データとするとともに、その原画像に対応する圧縮画像を生徒データとして、原画像を構成する画素（以下、適宜、原画像画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかの圧縮画像の画素値ｘ１，ｘ２，・・の集合と、所定の予測係数ｗ１，ｗ２，・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、式（１）で表される。
Ｅ［ｙ］＝ｗ１ｘ１＋ｗ２ｘ２＋・・・　　　（１）
【００１３】
式（１）を一般化するために、予測係数ｗｊの集合でなる行列Ｗ、生徒データｘｉｊの集合でなる行列Ｘ、および予測値Ｅ［ｙｉ］の集合でなる行列Ｙ’を、式（２）で示されるように定義する。
【００１４】
【数１】
2004015382.tif 000003
【００１５】
式（２）に示されるように定義すると、式（３）に示されるような観測方程式が成立する。
ＸＷ＝Ｙ’　　・・・（３）
【００１６】
式（３）において、行列Ｘの成分ｘｉｊは、ｉ件目の生徒データの集合（ｉ件目の教師データｙｉの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗｊは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙｉは、ｉ件目の教師データを表し、従って、Ｅ［ｙｉ］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙ’の成分ｙｉのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ１，ｘ２，・・も、行列Ｘの成分ｘｉｊのサフィックスｉを省略したものである。
【００１７】
そして、この観測方程式に最小自乗法を適用して、原画像画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画像画素の真の画素値ｙの集合でなる行列Ｙ、および原画像画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｒを、定義すると、式（４）に示されるようになる。
【００１８】
【数２】
2004015382.tif 000004
【００１９】
この式（４）から、式（５）に示されるような残差方程式が成立する。
ＸＷ＝Ｙ＋Ｒ　　・・・（５）
【００２０】
この場合、原画像画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗｊは、式（６）で示される自乗誤差を最小にすることで求めることができる。
【００２１】
【数３】
2004015382.tif 000005
【００２２】
従って、上述した自乗誤差を予測係数ｗｊで微分したものが０になる場合、即ち、式（７）を満たす予測係数ｗｊが、原画像画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００２３】
【数４】
2004015382.tif 000006
【００２４】
そこで、まず、上述した式（５）を、予測係数ｗｊで微分することにより、式（８）が成立する。
【００２５】
【数５】
2004015382.tif 000007
【００２６】
上述した式（７）と式（８）より、式（９）が得られる。
【００２７】
【数６】
2004015382.tif 000008
【００２８】
さらに、上述した式（５）の残差方程式における生徒データｘｉｊ、予測係数ｗｊ、教師データｙｉ、および残差ｅｉの関係を考慮すると、式（９）から、式（１０）に示されるような正規方程式を得ることができる。
【００２９】
【数７】
2004015382.tif 000009
【００３０】
式（１０）に示される正規方程式においては、行列（共分散行列）Ａおよびベクトルｖを、式（１１）に示されるように定義する。
【００３１】
【数８】
2004015382.tif 000010
【００３２】
さらに、ベクトルＷを、上述した式（２）で示されるように定義すると、式（１０）は、式（１２）で示されるように表すことができる。
ＡＷ＝ｖ　　　・・・（１２）
【００３３】
上述した式（１０）における各正規方程式は、生徒データｘｉｊおよび教師データｙｉのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗｊの数Ｊと同じ数だけたてることができ、従って、上述した式（１２）を、ベクトルＷについて解くことで（ただし、式（１２）を解くには、式（１２）における行列Ａが正則である必要がある）、最適な予測係数ｗｊを求めることができる。なお、式（１２）を解くにあたっては、例えば、掃き出し法（Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法）などを用いることが可能である。
【００３４】
以上のように、生徒データと教師データを用いて、生徒データと予測係数から、教師データを予測するのに最適な予測係数ｗｊを求める学習をしておき、さらに、その予測係数ｗｊを用い、上述した式（１）により、教師データｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００３５】
なお、以下、上述した式（１）に代入する圧縮画素の画素値ｘｋ（ｋは、整数値）のそれぞれを、適宜、予測タップと称する。
【００３６】
また、以下、上述したような、図１の符号化装置１による符号化、および、復号装置２による復号方法を、他の符号化および復号方法と区別するために、統合圧縮と称する。
【００３７】
【発明が解決しようとする課題】
従来、統合圧縮は、主に静止画像を対象としており、これを、単純に動画像に拡張した場合、着目フレームに対応する圧縮画像から、着目フレームに対応する原画像を単に予測するという予測構造を利用する統合圧縮になる。
【００３８】
即ち、図２に示されるように、例えば、フレーム番号１のフレームに対応する圧縮画像１２−１と、予測係数群１３−１のみから、フレーム番号１のフレームに対応する予測画像１４−１が予測される。同様に、フレーム番号２のフレームに対応する圧縮画像１２−２と、予測係数群１３−２のみから、フレーム番号２のフレームに対応する予測画像１４−２が予測される。また、フレーム番号３のフレームに対応する圧縮画像１２−３と、予測係数群１３−３のみから、フレーム番号３のフレームに対応する予測画像１４−３が予測される。
【００３９】
このように、動画像を統合圧縮する場合、従来の静止画像を統合圧縮する方法を、単純に拡張しただけでは、動画像ならではの効率的な予測が行えないという課題があった。
【００４０】
本発明は、このような状況に鑑みてなされたものであり、動画像の圧縮画像から、原画像により近い予測画像を効率的に予測することができるようにするものである。
【００４１】
【課題を解決するための手段】
本発明の第１の画像処理装置は、原画像の画素数を少なくすることにより原画像を圧縮し、圧縮画像を生成する圧縮手段と、所定の予測構造に従って、圧縮手段により生成された圧縮画像に対応する原画像を予測するための予測係数を生成する係数生成手段と、その予測構造に従って、係数生成手段により生成された予測係数を利用して、圧縮手段により生成された圧縮画像に対応する原画像を予測し、予測画像を生成し、生成した予測画像と原画像とを比較し、その比較の結果に基づいて、圧縮画像を補正する補正手段と、係数生成手段により生成された予測係数、および、補正手段により補正された圧縮画像を出力する出力手段とを備え、予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造であることを特徴とする。
【００４２】
補正手段により補正された圧縮画像が適正であるか否かを判定する判定手段をさらに設け、判定手段により圧縮画像が適正でないと判定された場合、係数生成手段は、予測構造に従って、補正手段により直前に補正された圧縮画像に対応する原画像を予測するための予測係数を再度生成し、補正手段は、予測構造に従って、係数生成手段により再度生成された予測係数を利用して、補正手段により直前に補正された圧縮画像に対応する原画像を予測し、予測画像を生成し、生成した予測画像と原画像とを比較し、その比較の結果に基づいて、圧縮画像を再度補正し、判定手段により圧縮画像が適正であると判定された場合、出力手段は、係数生成手段により直前に生成された予測係数、および、補正手段により直前に補正された圧縮画像を出力するようにすることができる。
【００４３】
予測構造は、クラス分類適応処理であるようにすることができる。
【００４４】
予測構造は、第１の原画像に対応する圧縮画像の中の着目画素、および、着目画素の近傍に位置する複数の画素、並びに、第２の原画像に対応する予測画像の中の、着目画素に対応する画素のそれぞれの画素に対応する予測タップを生成し、生成した予測タップから、着目画素のクラスに対応する予測係数を利用して、第１の原画像の中の、着目画素に対応する画素を予測する予測構造であるようにすることができる。
【００４５】
着目画素の画素値に基づいて、着目画素のクラスを決定するようにすることができる。
【００４６】
補正手段は、圧縮画像を構成する各画素の画素のそれぞれを更新することで、圧縮画像を補正するようにすることができる。
【００４７】
補正手段は、予測構造に従って、係数生成手段により生成された予測係数を利用して、圧縮手段により生成された、または、補正手段により直前に補正された圧縮画像に対応する原画像を予測した場合の予測結果である予測画像の、原画像に対するＳＮＲを演算し、演算したＳＮＲに基づいて、圧縮画像を補正するようにすることができる。
【００４８】
係数生成手段は、原画像、並びに、圧縮手段により生成された、若しくは、補正手段により補正された圧縮画像を入力する入力手段と、入力手段により入力された圧縮画像から、入力手段により入力された原画像を予測するための初期の予測係数を生成する初期予測係数生成手段と、入力手段により入力された圧縮画像から、初期予測係数生成手段により生成された初期の予測係数を利用して、入力手段により入力された原画像を予測し、初期の予測画像を生成する初期予測画像生成手段と、初期予測係数生成手段により生成された初期の予測係数を元にして、予測構造に従って、入力手段により入力された圧縮画像、および、初期予測画像生成手段により生成された初期の予測画像から、入力手段により入力された原画像を予測するための仮の予測係数を生成する仮予測係数生成手段と、予測構造に従って、仮予測係数生成手段により生成された仮の予測係数を利用して、入力手段により入力された圧縮画像、および、初期予測画像生成手段により生成された初期の予測画像から、入力手段により入力された原画像を予測して、仮の予測画像を生成する仮予測画像生成手段と、仮予測係数生成手段により生成された仮の予測係数が適正であるか否かを判定する仮予測係数判定手段と、仮予測係数判定手段により仮の予測係数が適正であると判定された場合、その仮の予測係数を、係数生成手段が生成する正式な予測係数として出力する予測係数出力手段とを有し、仮予測係数判定手段により仮の予測係数が適正でないと判定された場合、仮予測係数生成手段は、その予測構造に従って、入力手段により入力された圧縮画像、および、仮予測画像生成手段により直前に生成された仮の予測画像から、入力手段により入力された原画像を予測するための仮の予測係数を再度生成し、仮予測画像生成手段は、その予測構造に従って、仮予測係数生成手段により再度生成された仮の予測係数を利用して、入力手段により入力された圧縮画像、および、仮予測画像生成手段により直前に生成された仮の予測画像から、入力手段により入力された原画像を再度予測して、仮の予測画像を再度生成するようにすることができる。
【００４９】
本発明の第１の画像処理装置の画像処理方法は、原画像の画素数を少なくすることにより原画像を圧縮し、圧縮画像を生成する圧縮ステップと、所定の予測構造に従って、圧縮ステップの処理により生成された圧縮画像に対応する原画像を予測するための予測係数を生成する係数生成ステップと、その予測構造に従って、係数生成ステップの処理により生成された予測係数を利用して、圧縮ステップの処理により生成された圧縮画像に対応する原画像を予測し、予測画像を生成し、生成した予測画像と原画像とを比較し、その比較の結果に基づいて、圧縮画像を補正する補正ステップと、係数生成ステップの処理により生成された予測係数、および、補正ステップの処理により補正された圧縮画像を出力する出力ステップとを含み、予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造であることを特徴とする。
【００５０】
本発明の第１の記録媒体のプログラムは、原画像の画素数を少なくすることにより原画像を圧縮し、圧縮画像を生成する圧縮ステップと、所定の予測構造に従って、圧縮ステップの処理により生成された圧縮画像に対応する原画像を予測するための予測係数を生成する係数生成ステップと、その予測構造に従って、係数生成ステップの処理により生成された予測係数を利用して、圧縮ステップの処理により生成された圧縮画像に対応する原画像を予測し、予測画像を生成し、生成した予測画像と原画像とを比較し、その比較の結果に基づいて、圧縮画像を補正する補正ステップと、係数生成ステップの処理により生成された予測係数、および、補正ステップの処理により補正された圧縮画像を出力する出力ステップとを含み、予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造であることを特徴とする。
【００５１】
本発明の第１のプログラムは、原画像の画素数を少なくすることにより原画像を圧縮し、圧縮画像を生成する圧縮ステップと、所定の予測構造に従って、圧縮ステップの処理により生成された圧縮画像に対応する原画像を予測するための予測係数を生成する係数生成ステップと、その予測構造に従って、係数生成ステップの処理により生成された予測係数を利用して、圧縮ステップの処理により生成された圧縮画像に対応する原画像を予測し、予測画像を生成し、生成した予測画像と原画像とを比較し、その比較の結果に基づいて、圧縮画像を補正する補正ステップと、係数生成ステップの処理により生成された予測係数、および、補正ステップの処理により補正された圧縮画像を出力する出力ステップとをコンピュータに実行させ、予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造であることを特徴とする。
【００５２】
本発明の第１の画像処理装置および方法、第１の記録媒体、並びに、第１のプログラムにおいては、原画像の画素数を少なくすることにより、原画像が圧縮されて圧縮画像が生成され、所定の予測構造に従って、生成された圧縮画像に対応する原画像を予測するための予測係数が生成され、その予測構造に従って、生成された予測係数を利用して、生成された圧縮画像に対応する原画像を予測した場合の予測結果である予測画像と、原画像とが比較され、その比較の結果に基づいて、圧縮画像が補正され、生成された予測係数、および、補正された圧縮画像が出力される。予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造とされる。
【００５３】
第１の画像処理装置は、静止画像または動画像を符号化する装置であっても構わないし、静止画像および動画像のそれぞれを符号化する装置であっても構わない。また、第１の画像処理装置は、画像を符号化する符号化専用装置であっても構わないし、画像符号化するとともに復号する符号化復号装置であっても構わない。
【００５４】
本発明の第２の画像処理装置は、原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、圧縮画像に対応する原画像を予測するための予測係数を入力する入力手段と、予測構造に従って、入力手段により入力された予測係数を利用して、入力手段により入力された圧縮画像に対応する原画像を予測し、予測画像を生成する予測手段とを備え、予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造であることを特徴とする。
【００５５】
予測構造は、クラス分類適応処理であるようにすることができる。
【００５６】
予測構造は、第１の原画像に対応する圧縮画像の中の着目画素、および、着目画素の近傍に位置する複数の画素、並びに、第２の原画像に対応する予測画像の中の、着目画素に対応する画素のそれぞれの画素に対応する予測タップを生成し、生成した予測タップから、着目画素のクラスに対応する予測係数を利用して、第１の原画像の中の、着目画素に対応する画素を予測する予測構造であるようにすることができる。
【００５７】
着目画素の画素値に基づいて、着目画素のクラスを決定するようにすることができる。
【００５８】
本発明の第２の画像処理装置の画像処理方法は、原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、圧縮画像に対応する原画像を予測するための予測係数を入力する入力ステップと、予測構造に従って、入力ステップの処理により入力された予測係数を利用して、入力ステップの処理により入力された圧縮画像に対応する原画像を予測し、予測画像を生成する予測ステップとを含み、予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造であることを特徴とする。
【００５９】
本発明の第２の記録媒体のプログラムは、原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、圧縮画像に対応する原画像を予測するための予測係数を入力する入力ステップと、予測構造に従って、入力ステップの処理により入力された予測係数を利用して、入力ステップの処理により入力された圧縮画像に対応する原画像を予測し、予測画像を生成する予測ステップとを含み、予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造であることを特徴とする。
【００６０】
本発明の第２のプログラムは、原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、圧縮画像に対応する原画像を予測するための予測係数を入力する入力ステップと、予測構造に従って、入力ステップの処理により入力された予測係数を利用して、入力ステップの処理により入力された圧縮画像に対応する原画像を予測し、予測画像を生成する予測ステップとをコンピュータに実行させ、予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造であることを特徴とする。
【００６１】
本発明の第２の画像処理装置および方法、第１の記録媒体、並びに、第１のプログラムにおいては、原画像の画素数を少なくすることにより圧縮された圧縮画像、および、所定の予測構造に従って、圧縮画像に対応する原画像を予測するための予測係数が入力され、その予測構造に従って、入力された予測係数を利用して、入力された圧縮画像に対応する原画像が予測され、予測画像が生成される。予測構造は、第１の原画像に対応する圧縮画像、および、予測構造に従って予測された、第１の原画像より時間的に前の第２の原画像に対応する予測画像から、所定の予測係数を利用して、第１の原画像を予測する予測構造とされる。
【００６２】
第２の画像処理装置は、静止画像または動画像を復号する装置であっても構わないし、静止画像および動画像のそれぞれを復号する装置であっても構わない。また、第２の画像処理装置は、画像を符号化する復号専用装置であっても構わないし、画像符号化するとともに復号する符号化復号装置であっても構わない。
【００６３】
【発明の実施の形態】
（符号化装置）
図３は、本発明が適用される符号化装置の構成例を表している。
【００６４】
図３に示されるように、符号化装置３１は、動画像の統合圧縮のうちの符号化処理を行う装置であり、具体的には、入力した原画像１１に対応する圧縮画像５２と、その圧縮画像５２から原画像１１を予測するために利用する予測係数群５１を生成し、外部に出力する装置である。
【００６５】
符号化装置３１には、原画像１１を保持する原画像保持部４１、原画像１１をその画素を間引く（ｓｕｂｓａｍｐｌｉｎｇする）ことにより圧縮して、初期圧縮画像を生成する初期圧縮画像生成部４２、および、初期圧縮画像、または、圧縮画像更新部４６により更新された圧縮画像を保持し、最終的な（最適化された）圧縮画像５２を出力する圧縮画像保持部４３が設けられている。
【００６６】
符号化装置３１にはまた、所定の予測構造（この例では、例えば、後述するクラス分類適応処理）に基づいて、圧縮画像保持部４３より供給される圧縮画像から、原画像保持部４１より供給される原画像１１により近い予測画像を予測するために必要な予測係数群を新たに生成する（更新する）予測係数更新部４４、および、予測係数更新部４４より供給される予測係数群を保持し、最終的な（最適化された）予測係数群５１を出力する予測係数保持部４５が設けられている。
【００６７】
図４は、予測係数更新部４４の詳細な構成例を表している。
【００６８】
図４に示されるように、予測係数更新部４４には、原画像保持部４１より供給される原画像１１を保持する原画像保持部６１、および、圧縮画像保持部４３より供給される圧縮画像を保持する圧縮画像保持部６２が設けられている。
【００６９】
予測係数更新部４４にはまた、所定の予測構造（例えば、後述する図６に示される予測構造）に基づいて、圧縮画像保持部６２より供給される着目フレームに対応する圧縮画像、および、着目フレームより時間的に前のフレームに対応する仮予測画像（後述する仮予測画像保持部６６より供給される仮予測画像）から、原画像保持部６１より供給される着目フレームに対応する原画像１１を予測する（原画像１１により近い仮予測画像を得る）ために必要な仮予測係数群を演算する仮予測係数演算部６３、および、仮予測係数演算部６３より供給される仮予測係数群を保持し、最終的な仮予測係数群を、更新された予測係数群として予測係数保持部４５に供給する仮予測係数保持部６４が設けられている。
【００７０】
予測係数更新部４４にはさらにまた、仮予測係数演算部６３と同様の予測構造に従って、仮予測係数保持部６４より供給される仮予測係数群を利用して、圧縮画像保持部６２より供給される着目フレームに対応する圧縮画像、および、着目フレームより時間的に前のフレームに対応する仮予測画像（その時点の直前の処理で自ら生成した仮予測画像）から、着目フレームに対応する仮予測画像を予測する（演算する）仮予測画像演算部６５、および、仮予測画像演算部６５より供給される仮予測画像を保持する仮予測画像保持部６６が設けられている。
【００７１】
即ち、予測係数更新部４４においては、仮予測係数演算部６３が、所定の予測構造に基づいて仮予測係数群を演算し、仮予測係数保持部６４に上書きする処理を繰り返し、その処理が終了すると、仮予測係数保持部６４が、その時点に保持している仮予測係数群を、更新された予測係数群として予測係数保持部４５に供給する。
【００７２】
このとき予測係数更新部４４が利用する予測構造は、この例においては、例えば、図５に示される予測構造とされる。
【００７３】
即ち、図５に示されるように、先頭のフレーム（フレーム番号１のフレーム）においては、それより時間的に前のフレームが存在しないので、従来と同様に、先頭のフレームに対応する圧縮画像５２−１、および、予測係数群５１−１とから、フレーム番号１に対応する予測画像５３−１が予測される。
【００７４】
これに対して、それ以降のフレームにおいては、例えば、着目フレームがフレーム番号２のフレームとされた場合、着目フレームに対応する圧縮画像５２−２、および、予測係数群５１−２のみならず、さらに、着目フレームより時間的に前のフレーム（図５の例では、フレーム番号２の直前のフレーム番号１のフレーム）に対応する予測画像５３−１を利用して（圧縮画像５２−２、予測係数群５１−２、および、予測画像５３−１から）、着目フレームに対応する予測画像５３−２が予測される。
【００７５】
なお、予測係数群は、各フレーム毎に異なるものを利用してもよいが、この例においては、例えば、先頭のフレーム（フレーム番号１のフレーム）以外のフレームには、同一の予測係数群（図５の例では、予測係数群５１−２）が利用されるものとする。
【００７６】
即ち、例えば、着目フレームがフレーム番号３のフレームとされた場合、着目フレームに対応する圧縮画像５２−３、予測係数群５１−２、および、着目フレームより時間的に前のフレーム（図５の例では、フレーム番号３の直前のフレーム番号２のフレーム）に対応する予測画像５３−２から、予測画像５３−３が予測される。
【００７７】
また、図５に示される予測構造は、この例においては、例えば、上述したクラス分類適応処理とされ、そのうちのクラス分類処理では、図６に示されるように、着目フレームに対応する圧縮画像７１のうちの着目画素（圧縮画素）７２の画素値（８ビットで表される値）７３が、クラスの値とされ、クラス分類が行われるものとする。ただし、クラス分類の方法は、図６に示される例に限定されるものではない。
【００７８】
図３に戻り、符号化装置３１にはまた、予測係数更新部４４と同様の予測構造（図５に示される予測構造）に従って、予測係数保持部４５より供給された予測係数群を利用して、圧縮画像保持部４３より供給された圧縮画像（および、
自分自身で既に予測した時間的に前のフレームに対応する予測画像）から予測画像を予測し、その予測画像が、原画像保持部４１より供給される原画像１１により近い画像となるようにその圧縮画像を更新し、圧縮画像保持部４３に供給する（上書きする）圧縮画像更新部４６が設けられている。
【００７９】
即ち、符号化装置３１においては、初期圧縮画像生成部４２により生成された初期圧縮画像を元にして、図５に示される予測構造に従って、予測係数更新部４４により予測係数群を更新し、予測係数保持部４５に上書きする処理が繰り返されるとともに、圧縮画像更新部４６により圧縮画像を更新し、圧縮画像保持部４３に上書きする処理が繰り返されて、予測係数群と圧縮画像が最適化される。そして、予測係数保持部４５により最適化された予測係数群５１が出力されるとともに、圧縮画像保持部４３により最適化された圧縮画像５２が出力される。
【００８０】
次に、図７のフローチャートを参照して、図３の符号化装置３１の処理例について説明する。
【００８１】
ステップＳ１において、原画像保持部４１は、動画像を構成する全てのフレームに対応する原画像１１のそれぞれを入力し、保持する（記憶する）。
【００８２】
ステップＳ２において、初期圧縮画像生成部４２は、原画像保持部４１に保持されている全ての原画像１１のそれぞれを読み出し、それらに対応する初期圧縮画像を生成し、圧縮画像保持部４３に供給する。
【００８３】
初期圧縮画像生成部４２の初期圧縮画像の生成方法は、特に限定されないが、この例においては、例えば、初期圧縮画像生成部４２は、単純間引き処理を行って、図８に示されるように、原画像１１を、１／９の初期圧縮画像に圧縮する。
【００８４】
即ち、初期圧縮画像生成部４２は、図８に示されるように、原画像１１を、３×３個（９個）の原画像画素７５で構成されるブロックに分割する。次に、９個の原画像画素７５の中から１つの画素を抽出し、その画素をそのブロックを代表する１つの画素とする。即ち、この抽出された画素が、圧縮画素７４になる。
【００８５】
または、初期圧縮画像生成部４２は、９個の原画像画素７５のそれぞれの画素値の平均値を演算し、その平均値を画素値とする圧縮画素７４を生成するようにしてもよい。
【００８６】
図７に戻り、ステップＳ３において、予測係数更新部４４は、圧縮画像保持部４３より初期圧縮画像を読み出し、図５の予測構造（クラス分類適応処理）に基づいて、その初期圧縮画像から、原画像保持部４１より読み出した原画像１１により近い予測画像を予測（生成）するための予測係数群を生成し、予測係数保持部４５に上書きする（更新する）。
【００８７】
このようなステップＳ３の処理を、以下、「予測係数更新処理」と称する。この例の「予測係数更新処理」の詳細については、図１０を参照して後述する。
【００８８】
ステップＳ４において、圧縮画像更新部４６は、圧縮画像保持部４３より初期圧縮画像のそれぞれを読み出し、読み出した初期圧縮画像を構成する各圧縮画素のそれぞれの画素値を、ステップＳ３の処理で更新された予測係数に基づいて予測演算し、得られた画素値を圧縮画像保持部４３に上書きする（更新する）。
【００８９】
具体的には、圧縮画像更新部４６は、図５の予測構造に従って（クラス分類適応処理を行って）、予測画像のそれぞれを生成する。そして、圧縮画像更新部４６は、生成した予測画像と、その予測画像に対応する原画像１１（原画像保持部４１より読み出した原画像１１）とを比較して、その比較の結果に基づいて、初期圧縮画像を構成する各圧縮画素のそれぞれの画素値を更新する。
【００９０】
より具体的には、いまの場合、圧縮画像更新部４６は、初期圧縮画像のうちの着目画素（圧縮画素）の画素値を変更した場合に影響を受ける予測画像の全ての画素（以下、予測画像を構成する画素を、予測画素と称する）の画素値のそれぞれに対して、原画像とのＳＮＲを演算し、着目画素の画素値を、全体として最もＳＮＲが高くなる画素値に更新する。
【００９１】
例えば、図９に示されるように、着目フレーム（フレーム番号ｋのフレーム）に対応する圧縮画像５２−ｋの中の着目画素７７と、その上下左右方向と斜め方向に隣接する圧縮画素の合計９個の圧縮画素（着目画素７７を中心とする３×３個の圧縮画素）からなる圧縮画素群７６を単位として、圧縮画素群７６のそれぞれの圧縮画素の画素値を予測タップとして用いる場合（この例においては、さらに、後述するように、１つ前のフレーム（フレーム番号ｋ−１のフレーム）の予測画素も利用する）、着目画素７７に対しては、圧縮画素群７６に対応する、予測画像５３−ｋ中の９×９　＝　８１個の予測画素からなる予測画素群７８と、それ以降の全フレームの予測画像中の９×９×「フレーム番号ｋ以降のフレーム番号を有するフレームの数」個の画素（図９の例では、次のフレーム（フレーム番号ｋ＋１のフレーム）の予測画像５３−（ｋ＋１）中の９×９　＝　８１個の予測画素からなる予測画素群７９が描かれている）に影響があるので、圧縮画像更新部４６は、着目画素の値を０〜２５５（８ビットで表すことができる値）まで変化させながら、その影響のある画素における原画像とのＳＮＲを全て演算する。
【００９２】
そして、圧縮画像更新部４６は、演算した全てのＳＮＲの中で最も高いＳＮＲを与える着目画素７７の画素値を、更新後の画素値とする。
【００９３】
圧縮画像更新部４６は、全フレームに対応する初期圧縮画像中の全画素に対して、上述した処理を行うことで、初期圧縮画像の画素値を更新する。
【００９４】
ただし、影響を受ける全画素のＳＮＲを評価する処理時間は膨大となる。そこで、実際には、処理時間を短縮するために、ＳＮＲの演算は、着目フレームと１つ未来（直後）のフレームのそれぞれに対応する２つの予測画像の中の、影響を受ける範囲についてのみ行う（図９の例では、予測画素群７８と予測画素群７９の範囲についてのみ行う）方法が好適である。または、さらに処理時間を短縮するために、着目画素の画素値の探索を元の画素値±　８の範囲でのみ行う方法等が好適である。
【００９５】
図７に戻り、ステップＳ５において、予測係数更新部４４は、所定の終了条件が満たされたか否かを判定する。
【００９６】
この時点では、初期圧縮画像を元にして、１回目の予測係数群が生成され、かつ、その初期圧縮画像が１回更新されただけなので、ステップＳ５において、所定の終了条件が満たされていないと判定され、ステップＳ３に戻り、それ以降の処理が繰り返される。
【００９７】
即ち、終了条件が満たされるまで、ステップＳ３とＳ４の処理が繰り返され、これにより、圧縮画像と予測係数群のそれぞれが、その都度更新されて最適化される。
【００９８】
そして、終了条件が満たされると（ステップＳ５において、所定の終了条件が満たされたと判定された場合）、ステップＳ６において、圧縮画像保持部４３は、最適化された圧縮画像５２を出力し、かつ、予測係数保持部４５は、最適化された予測係数群５１を出力する。
【００９９】
なお、ステップＳ５の処理における終了条件は、特に限定されないが、例えば、予測誤差（原画像１１と、直前のステップＳ４の処理で更新された圧縮画像に対応する予測画像との誤差）が所定の閾値εより小さくなった場合、または、ステップＳ３とＳ４の処理を繰り返した回数が、予め設定された所定の回数に達っした場合、終了条件が満たされたと判定されるとよい。
【０１００】
また、ステップＳ３の処理、即ち、「予測係数更新処理」においては、予測係数更新部４４は、上述したように、図５に示される予測構造に従って、圧縮画像から予測画像を予測するための予測係数群を生成する（更新する）ので、即ち、予測タップとして過去のフレームの予測画像を利用して予測係数群を生成するので、従来のように、圧縮画像のみから最適な予測値（自乗誤差最小値）を予測するための（最適な予測画素を予測するための）予測係数群を一意に求めることは困難である。
【０１０１】
換言すると、本発明においては、予測係数更新部４４は、予測係数群を学習して求める場合、これから求める予測係数自身を利用して予測された予測画像を、その学習に利用する必要がある。そこで、この例においては、例えば、ステップＳ３の処理、即ち、「予測係数更新処理」は、図１０のフローチャートに示されるように実行される。
【０１０２】
以下、図１０のフローチャートを参照して、この例の「予測係数更新処理」の詳細について説明する。
【０１０３】
はじめに、ステップＳ２１において、図３の予測係数更新部４４は、圧縮画像保持部４３から供給される圧縮画像と、原画像保持部４１から供給される原画像１１を入力する。
【０１０４】
具体的には、図４に示されるように、予測係数更新部４４の原画像保持部６１が、原画像１１を保持する（記憶する）とともに、圧縮画像保持部６２が、圧縮画像を保持する（記憶する）。
【０１０５】
ステップＳ２２において、仮予測係数演算部６３は、圧縮画像保持部６２に保持されている圧縮画像のみから、原画像保持部６１に保持されている原画像１１を予測するための初期仮予測係数群を演算し、仮予測係数保持部６４に保持させる（記憶させる）。
【０１０６】
具体的には、この例においては、例えば、図１１に示されるように、仮予測係数演算部６３は、着目フレーム（フレーム番号ｋのフレーム）に対応する圧縮画像８１−ｋの中の９個の圧縮画素（着目画素とそれに隣接する圧縮画素）に対応する予測タップのみから、着目フレームに対応する原画像１１−ｋをクラス分類適応処理により予測する（原画像１１−ｋに近い予測画像を生成する）ための初期予測係数群８２−ｋを学習により求める。
【０１０７】
換言すると、ステップＳ２２の処理の時点では、まだ予測画像は存在しないので（上述した図５に示される予測構造で利用する、フレーム番号ｋの着目フレームの直前のフレーム（フレーム番号ｋ−１のフレーム）に対応する予測画像は存在しないので）、仮予測係数演算部６３は、直前のフレームに対応する予測画像の画素値を０とみなして学習を行うことにより、初期仮予測係数群８２−ｋを演算する。
【０１０８】
なお、この例においては、上述したように、予測係数群として、初期フレーム（フレーム番号１のフレーム）に対するものが１つと、その他のフレーム（フレーム番号２以降のフレーム）に対して共通に使用されるものが１つ、合計２つの予測係数群が利用される。従って、初期仮予測係数群８２−１を除く、初期仮予測係数群８２−ｋは、同一の予測係数群とされる。即ち、この例の場合、初期仮予測係数群８２−１と、初期仮予測係数群８２−２の２つ初期仮予測係数群が演算され、仮予測係数保持部６４に保持される。
【０１０９】
図１０に戻り、ステップＳ２３において、仮予測画像演算部６５は、圧縮画像保持部６２に保持されている圧縮画像から、上述したステップＳ２２の処理で演算され、仮予測係数保持部６４に保持された初期仮予測係数を利用して、クラス分類適応処理により初期仮予測画像を予測し（演算し）、仮予測画像保持部６６に保持させる（記憶させる）。
【０１１０】
具体的には、この例においては、例えば、図１２に示されるように、仮予測係数演算部６３は、圧縮画像８１−ｋ（具体的には、その中の９個の画素に対応する予測タップ）から、初期仮予測係数８２−１または初期仮予測係数８２−２を利用して、クラス分類適応処理により予測画像８３−ｋを演算し、これを初期仮予測画像８４−ｋとして仮予測画像保持部６６に保持させる（記憶する）。
【０１１１】
図１０に戻り、ステップＳ２４において、仮予測係数演算部６３は、図１３に示されるように、圧縮画像保持部６２に保持されている着目フレーム（フレーム番号ｋのフレーム）に対応する圧縮画像８１−ｋ（ただし、ｋは、１を除く整数値）と、仮予測画像保持部６６に保持されている着目フレームの直前のフレーム（フレーム番号ｋ−１のフレーム）に対応する仮予測画像８６−（ｋ−１）（この時点では、初期仮予測画像８４−（ｋ−１））とから、原画像保持部６１に保持されている着目フレームに対応する原画像１１−ｋを予測するための仮予測係数群８５−２を演算し、仮予測係数保持部６４に保持させる（この時点では、初期仮予測係数８２−２を消去し、仮予測係数群８５−２を記憶させる）。
【０１１２】
なお、初期フレーム（フレーム番号１のフレーム）で利用する仮予測係数群８５−１については、直前フレームの予測画像が存在し得ないために、この例においては、例えば、仮予測係数演算部６３は、初期フレームに対応する圧縮画像８１−１の中の９個の画素に対応する予測タップのみから、原画像１１−１を予測するための仮予測係数群８５−１を演算し、仮予測係数保持部６４に保持させる（この時点では、初期仮予測係数８２−１を消去し、仮予測係数群８５−１を記憶させる）ものとする。
【０１１３】
ただし、初期フレーム（フレーム番号１のフレーム）で利用する仮予測係数群を演算する方式は、この例で利用する方式に限定されず、例えば、仮予測係数群を全フレーム共通のものとして（仮予測係数群８５−１と仮予測係数群８５−２とを共通のもとして）、直前フレームに対応する予測画像の９個の予測タップとして、適当な９個の値をそれぞれ代入する方式などを利用してもよい。
【０１１４】
また、仮予測係数群８５−２を演算する具体的な方式も、過去の予測画像（着目フレームよりも時間的に前のフレームに対応する予測画像）を利用して演算する方式であれば、特に限定されないが、この例においては、例えば、図１４に示されるような方式とされる。
【０１１５】
図１４に示される例では、仮予測係数演算部６３は、着目フレーム（フレーム番号ｋのフレーム）の圧縮画像８１−ｋの中の着目画素９２−ｋと、それに隣接する圧縮画素の９個の圧縮画素からなる圧縮画素群９１を単位として、圧縮画素群９１の各画素のそれぞれに対応する９個の予測タップと、着目フレームの直前のフレーム（フレーム番号（ｋ−１）のフレーム）の仮予測画像８６−（ｋ−１）の中の、着目画素（圧縮画素）９２−ｋに対応する圧縮画素９２−（ｋ−１）の位置に存在する予測画素群９３を単位として、予測画素群９３の各画素のそれぞれに対応する９個の予測タップとからなる、合計１８個の予測タップから、原画像１１の中の、着目画素（圧縮画素）９２−ｋの位置に存在する原画像画素群９４の各画素（９個の画素）のそれぞれを、クラス分類適応処理により予測するための仮予測係数群８５−２を演算する。
【０１１６】
図１０に戻り、ステップＳ２５において、仮予測画像演算部６５は、図１５に示されるように、圧縮画像保持部６２に保持されている、着目フレーム（フレーム番号ｋ（ただし、ｋは、１を除く整数値）のフレーム）に対応する圧縮画像８１−ｋと、仮予測画像保持部６６に保持されている、着目フレームの直前のフレーム（フレーム番号（ｋ−１）のフレーム）に対応する仮予測画像８６−（ｋ−１）（この時点では、初期仮予測画像８４−（ｋ−１））とから、仮予測係数保持部６４に保持されている仮予測係数群８５−２を利用して、クラス分類適応処理により予測画像１０１―ｋを予測し（演算し）、それを次の処理（次のステップＳ２４とＳ２５の処理）で利用する仮予測画像８６−ｋとして仮予測画像保持部６６に保持させる（この時点では、初期仮予測画像８４−ｋを消去し、いま演算した予測画像１０１−ｋを仮予測画像８６−ｋとして仮予測画像保持部６６に記憶させる）。
【０１１７】
なお、初期フレーム（フレーム番号１のフレーム）に対応する仮予測画像８１−１については、直前フレームの予測画像が存在し得ないために、ステップＳ２４の処理と同様に、この例においては、例えば、仮予測画像演算部６５は、圧縮画像保持部６２に保持されている圧縮画像８１−１のみから、仮予測係数保持部６４に保持されている仮予測係数８４−１を利用して、予測画像１０１−１を予測し（演算し）、それを次の処理（次のステップＳ２４とＳ２５の処理）で利用する仮予測画像８６−１として仮予測画像保持部６６に保持させる（この時点では、初期仮予測画像８４−１を消去し、いま演算した予測画像１０１−１を仮予測画像８６−１として仮予測画像保持部６６に記憶させる）。
【０１１８】
ただし、仮予測画像８６−１（１０１−１）を演算する（予測する）方式は、この例で利用する方式に限定されず、例えば、上述したように、仮予測係数群を全フレーム共通のものとして（仮予測係数群８５−１と仮予測係数群８５−２とを共通のもとして）、直前フレームの予測画像の９個の予測タップとして、適当な９個の値を代入する方式などを利用してもよい。
【０１１９】
また、仮予測画像８６−ｋ（１０１−ｋ）（ｋは、１以外の整数値）を予測する（演算する）具体的な方式も、過去の予測画像（着目フレームより時間的に前のフレームに対応する予測画像）を利用して予測する（演算する）方式であれば、特に限定されないが、この例においては、例えば、図１６に示されるような方式とされる。
【０１２０】
即ち、図１６に示されるように、仮予測画像演算部６５は、着目フレーム（フレーム番号ｋのフレーム）の圧縮画像８１−ｋの中の着目画素９２−ｋと、それに隣接する圧縮画素の９個の圧縮画素からなる圧縮画素群９１を単位として、圧縮画素群９１の各画素のそれぞれに対応する９個の予測タップと、着目フレームの直前のフレーム（フレーム番号（ｋ−１）のフレーム）の仮予測画像８６−（ｋ−１）の中の、着目画素（圧縮画素）９２−ｋに対応する圧縮画素９２−（ｋ−１）の位置に存在する予測画素群９３を単位として、予測画素群９３の各画素のそれぞれに対応する９個の予測タップとからなる、合計１８個の予測タップから、仮予測係数群８５−２を利用して、クラス分類適応処理により着目画素（圧縮画素）９２−ｋの位置に存在する予測画素群１１１の各画素（９個の画素）のそれぞれを予測する（演算する）。
【０１２１】
仮予測画像演算部６５は、圧縮画像８１−ｋを構成する全ての圧縮画素に対して、上述した演算処理を行うことで、予測画像１０１−ｋを予測する（演算する）。
【０１２２】
図１０に戻り、ステップＳ２６において、仮予測係数演算部６３は、所定の終了条件が満たされたか否かを判定する。
【０１２３】
ここでは、初期仮予測係数群と初期仮予測画像を元にして、１回目の仮予測係数と仮予測画像が演算されただけなので、ステップＳ２６において、所定の終了条件が満たされていないと判定され、ステップＳ２４に戻り、それ以降の処理が繰り返される。
【０１２４】
即ち、終了条件が満たされるまで、ステップＳ２４とＳ２５の処理が繰り返され、その都度、仮予測係数群と仮予測画像が更新される（仮予測係数保持部６４に既に保持されている仮予測係数群の上に、新たに生成された仮予測係数群が上書きされるとともに、仮予測画像保持部６６に既に保持されている仮予測画像の上に、新たに生成された仮予測画像が上書きされる）。そして、終了条件が満たされると（ステップＳ２６において、所定の終了条件が満たされたと判定された場合）、ステップＳ２７において、仮予測係数保持部６４は、その時点で保持している仮予測係数群を、更新された予測係数群として予測係数保持部４５に出力する。
【０１２５】
なお、予測係数群の演算方法は、上述した例（図１０のフローチャートに従って演算される例）に限定されるものではないが、上述した例は、他の例に比較してより好適な方法である。
【０１２６】
例えば、上述した仮予測画像（着目フレームの直前フレームに対応する仮の予測画像（予測値））の代わりに、直前フレームの原画像を利用して、繰り返し処理は行わずに、予測係数群を学習により演算してもよいが、学習に利用している直前フレームの原画像と、実際にこれから演算される予測係数を利用して予測される直前フレームの予測画像とが大きく異なるために、そのようにして演算された予測係数を利用して予測画像を実際に生成しても、その予測画像は満足のいく画像とはならないことが多い。
【０１２７】
これに対して、上述した例においては、予測係数更新部４４が、仮予測画像と、それを利用して予測される予測画像とがより近づく方向に（図１５に示される仮予測画像８６と予測画像１０１とがほぼ一致する方向に）、仮予測係数群を繰り返し求めている（更新しいてる）ので、比較的安定した予測係数群を出力することが可能になる。
【０１２８】
（復号装置）
図１７は、本発明が適用される復号装置の構成例を表している。
【０１２９】
図１７に示されるように、復号装置２０１は、動画像の統合圧縮のうちの復号処理を行う装置であり、具体的には、図３の符号化装置３１より供給される予測係数群５１と圧縮画像５２を入力し、それらから図３の原画像１１に近い予測画像２２１を生成し（予測し）、出力する装置である。
【０１３０】
復号装置２０１には、予測係数群５１を保持する予測係数保持部２１１、圧縮画像５２を保持する圧縮画像保持部２１２、および、上述した図５に示される予測構造に従って、予測画像２２１を生成し、外部に出力するクラス分類適応予測処理部２１３が設けられている。
【０１３１】
即ち、クラス分類適応予測処理部２１３は、圧縮画像保持部２１２により保持されている着目フレームに対応する圧縮画像と、既に生成（予測）された予測画像（着目フレームより時間的に前のフレーム（この例では、直前のフレーム）に対応する予測画像）から、予測係数保持部２１１により保持されている予測係数群を利用して、クラス分類適応処理により予測画像２２１を演算し（予測し）、外部に出力する。
【０１３２】
次に、図１８のフローチャートを参照して、復号装置２０１の処理について説明する。
【０１３３】
ステップＳ５１において、復号装置２０１は、圧縮画像５２と予測係数群５１を入力する。具体的には、予測係数保持部２１１が、予測係数群５１を入力し、保持する（記憶する）とともに、圧縮画像保持部２１２が、圧縮画像５２を入力し、保持する（記憶する）。
【０１３４】
ステップＳ５２において、クラス分類適応予測処理部２１３は、着目フレームに対応する圧縮画像５２を、圧縮画像保持部２１２より読み出すとともに、それに対応する予測係数群５１を予測係数保持部２１１より読み出し、読み出したそれらと、直前の処理で演算した予測画像（着目フレームの直前のフレームに対応する予測画像）を利用して、クラス分類適応処理により予測画像２２１を生成する。
【０１３５】
クラス分類適応処理の具体的な処理方法は、特に限定されないが、この例においては、上述した図３の符号化装置３１の処理例に対応させて、例えば、以下の通りの処理とされる。
【０１３６】
即ち、クラス分類適応予測処理部２１３は、着目フレームに対応する圧縮画像５２の中の着目画素のクラスを決定する。このクラスは、上述した図６に示されるように、着目画素の画素値そのものとされる。
【０１３７】
次に、クラス分類適応予測処理部２１３は、図１９に示されるように、着目フレーム（フレーム番号ｋのフレーム）の圧縮画像５２−ｋの中の着目画素２３１−ｋと、それに隣接する圧縮画素の９個の圧縮画素からなる圧縮画素群２３２を単位として、圧縮画素群２３２の各画素のそれぞれに対応する９個の予測タップと、着目フレームの直前のフレーム（フレーム番号（ｋ−１）のフレーム）の予測画像２２１−（ｋ−１）の中の、着目画素（圧縮画素）２３１−ｋに対応する圧縮画素２３１−（ｋ−１）の位置に存在する予測画素群２３３を単位として、予測画素群２３３の各画素に対応する９個の予測タップとからなる、合計１８個の予測タップから、着目画素のクラス（画素値）に対応する予測係数群５１を利用して、クラス分類適応処理により着目画素（圧縮画素）２３１−ｋの位置に存在する予測画素群２３４の各画素（９個の画素）のそれぞれを予測する（演算する）。
【０１３８】
クラス分類適応予測処理部２１３は、圧縮画像５２−ｋを構成する全ての圧縮画素に対して、上述した演算処理を行うことで、予測画像２２１−ｋを予測し（演算し）、それを外部に出力するとともに、次のフレーム（フレーム番号（ｋ＋１）のフレーム）の圧縮画像５２−（ｋ＋１）の予測タップとして利用するために、内部のメモリ（図示せず）に保持する。
【０１３９】
なお、初期フレーム（フレーム番号１のフレーム）に対応する圧縮画像５２−１については、直前フレームの予測画像が存在し得ないために、この例においては、例えば、クラス分類適応予測処理部２１３は、着目フレームに対応する圧縮画像５２−１（具体的には、この例では、その中の着目画素とそれに隣接する圧縮画素のそれぞれに対応する９個の予測タップ）のみから、他のフレームとは異なる予測係数群５１（初期フレーム専用の予測係数群５１）を利用して、予測画像２２１−１（具体的には、この例では、着目画素（圧縮画素）に対応する９個の予測画素）を予測する（演算する）。
【０１４０】
ただし、初期フレームに対応する予測画像２２１−１を演算する（予測する）方式は、この例で利用する方式に限定されず、例えば、予測係数群を全フレーム共通のものとして、直前フレームの予測画像の９個の予測タップとして適当な９個の値のそれぞれを代入する方式などを利用してもよい。
【０１４１】
図１８に戻り、ステップＳ５３において、クラス分類適応予測処理部２１３は、上述したステップＳ５２の処理で生成した予測画像２２１を出力する。
【０１４２】
以上説明した図３の符号化装置３１と図１７の復号装置２０１を利用して、動画像を統合圧縮した結果が、図２０乃至図２２に示されている。
【０１４３】
図２０は、予測係数群の更新と画素値の更新を繰り返し行っていった場合の、全フレームのＳＮＲの推移（図７のステップＳ３とＳ４の処理の繰り返し回数と、全フレームのそれぞれに対応する図１７の予測画像２２１の、図３の原画像１１に対するＳＮＲの平均値との対応関係）を表している。
【０１４４】
曲線２４１は、第１の動画像を統合圧縮した結果を表しており、曲線２４２は、第１の動画像とは異なる第２の動画像を統合圧縮した結果を表している。
【０１４５】
なお、第１と第２の動画像は、いずれも、２０フレームから構成される。また、第１と第２の動画像は、いずれも、上述したように、着目フレームに対応する圧縮画像の中の９個の予測タップと、着目フレームの直前フレームに対応する予測画像の中の９個の予測タップの、合計１８個の予測タップを利用し（ただし、初期フレームのみ圧縮画像の中の９個の予測タップを利用し）、かつ、クラス分類は、着目画素の画素値そのもので２５６クラス（８ビットで表現される値に対応するクラス）に分類して、統合圧縮されている。また、初期圧縮画像（図３の初期圧縮画像生成部４２が生成する初期圧縮画像）は、原画像の３×３個の原画像画素の単純平均から求められている。画素値の更新時は、±　８の範囲で画素値（クラス）を振って最適なものに置き換え、また、ＳＮＲの評価は着目フレームと直後のフレームのそれぞれに対応する２つの予測画像中で影響のある画素のみで行っている。
【０１４６】
図２０の曲線２４１と曲線２４２に示されるように、画素値と予測係数の更新を繰り返していくことで、ＳＮＲが向上していくことがわかる。
【０１４７】
図２１と図２２は、本発明が適用される予測構造（図５に示される予測構造）を利用した統合圧縮の結果（以下、本発明の結果と称する）と、圧縮画像のみに予測タップを張った場合の予測構造を利用した統合圧縮の結果（以下、比較相手の結果と称する）とを比較したものであり、図２０と同様に、予測係数群の更新と画素値の更新を繰り返し行っていった場合の、全フレームのＳＮＲの推移を表したものである。
【０１４８】
なお、図２１は、５フレームからなる第３の動画像の統合圧縮結果を表しており、図２２は、第３の動画像とは異なる、５フレームからなる第４の動画像の統合圧縮の結果を表している。
【０１４９】
また、比較相手の結果は、図２３に示されるような予測構造を利用した統合圧縮の結果の例とされている。即ち、着目フレーム（フレーム番号ｋのフレーム）に対応する圧縮画像５２−ｋの中の、着目画素２３１−ｋとその近隣の圧縮画素からなる圧縮画素群２３２を単位として、圧縮画素群２３２の各画素のそれぞれに対応する９個の予測タップと、着目フレームの直前のフレーム（フレーム番号ｋ−１のフレーム）に対応する圧縮画像５２−（ｋ−１）の中の、着目画素２３１−ｋに対応する圧縮画素２３１−（ｋ−１）とその近隣の圧縮画素からなる圧縮画素群２８１を単位として、圧縮画素群２８１のそれぞれに対応する９個の予測タップとからなる、合計１８個の予測タップから、予測画像２７１―ｋの中の、着目画素２３１−ｋに対応する予測画素群２８２の各画素（９個の画素）を予測する予測構造を利用して、第３または第４の動画像の統合圧縮が行われた結果が、比較相手の結果である。
【０１５０】
図２１の曲線２５１と図２２の曲線２６１は、それぞれ、本発明の結果を表しており、これに対して、図２１の曲線２５２と図２２の曲線２６２は、それぞれ、比較相手の結果を表している。
【０１５１】
図２１の曲線２５１と曲線２５２、および、図２２の曲線２６１と曲線２６２に示されるように、本発明の結果の方が、比較相手の結果に対して、ＳＮＲがより向上していることがわかる。
【０１５２】
このように、本発明が適用される動画像を対象にした統合圧縮においては、圧縮画像のみでなく、過去の予測画像にも予測タップを張るようにしたので、予測精度を向上させることが可能になる。また、このような本発明が適用される予測構造に対して、予測係数の学習を繰り返し行うことで、より安定した予測係数を得ることが可能になる。
【０１５３】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１５４】
この場合、上述した図３の符号化装置３１や、図１７の復号装置２０１は、例えば、図２４に示されるようなパーソナルコンピュータにより構成される。
【０１５５】
図２４に示されるように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２に記録されているプログラム、または記憶部３０８からＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ３０３にはまた、ＣＰＵ３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５６】
ＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。
【０１５７】
入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネット等のネットワークを介しての他の情報処理装置との通信処理を行う。
【０１５８】
入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体３１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。
【０１５９】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１６０】
この記録媒体は、図２４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）３１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ３０２や、記憶部３０８に含まれるハードディスクなどで構成される。
【０１６１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６２】
【発明の効果】
以上のごとく、本発明によれば、動画像の原画像を、統合圧縮により、符号化して圧縮画像とし、その圧縮画像を復号して予測画像を生成することができる。また、本発明によれば、圧縮画像から、原画像により近い予測画像を効率的に予測することができる。
【図面の簡単な説明】
【図１】統合圧縮を説明するブロック図である。
【図２】従来の予測構造を説明する図である。
【図３】本発明が適用される、統合圧縮のうちの符号化処理を行う符号化装置の構成例を表すブロック図である。
【図４】図３の符号化装置の予測係数更新部の詳細の構成例を表すブロック図である。
【図５】図２の従来の予測構造に対して、本発明が適用される予測構造を説明する図である。
【図６】本実施形態が適用されるクラス分類を説明する図である。
【図７】図３の符号化装置の処理を説明するフローチャートである。
【図８】圧縮画像と予測画像（原画像）との対応関係の例を表す図である。
【図９】図８の符号化装置の処理の圧縮画像の画素値を更新する処理において、影響を受ける画素を説明する図である。
【図１０】図８の予測係数更新処理の詳細を説明するフローチャートである。
【図１１】図１０の初期仮予測係数群を演算する処理を説明する図である。
【図１２】図１０の初期仮予測画像を演算する処理を説明する図である。
【図１３】図１０仮予測係数群を演算する処理を説明する図である。
【図１４】図１０仮予測係数群を演算する処理の詳細を説明する図である。
【図１５】図１０仮予測画像を演算する処理を説明する図である。
【図１６】図１０仮予測画像を演算する処理の詳細を説明する図である。
【図１７】本発明が適用される、統合圧縮のうちの復号処理を行う復号装置の構成例を表すブロック図である。
【図１８】図１７の復号装置の処理を説明するフローチャートである。
【図１９】図１８の復号装置の処理のうちの、クラス分類適応処理により予測画像を生成する処理を説明する図である。
【図２０】予測係数群の更新と画素値の更新を繰り返し行っていった場合の、全フレームのＳＮＲの推移の例を表した図である。
【図２１】予測係数群の更新と画素値の更新を繰り返し行っていった場合の、全フレームのＳＮＲの推移の他の例を表した図である。
【図２２】予測係数群の更新と画素値の更新を繰り返し行っていった場合の、全フレームのＳＮＲの推移の他の例を表した図である。
【図２３】図２１と図２２に、本発明が適用される統合圧縮の結果の比較として示される統合圧縮において利用する予測構造を説明する図である。
【図２４】本発明が適用される画像処理装置の他の構成例を表すブロック図である。
【符号の説明】
１１　原画像，　３１　符号化装置，　４１　原画像保持部，　４２　初期圧縮画像生成部，　４３　圧縮画像保持部，　４４　予測係数更新部，　４５　予測係数保持部，　４６　圧縮画像更新部，　５１　予測係数群，　５２　圧縮画像，　６１　原画像保持部，　６２　圧縮画像保持部，　６３　仮予測係数演算部，　６４　仮予測係数保持部，　６５　仮予測画像演算部，　６６　仮予測画像保持部，　７１　圧縮画素，　７２　予測画素，　７４　着目画素，　７５クラス，　８１　圧縮画像，　８２　初期仮予測係数，　８３　予測画像，　８４　初期仮予測画像，　８５　仮予測係数，　８６　仮予測画像，　９１，９３　予測タップ　９４　予測画素，　１０１　予測画像，　１１１　予測画素，２０１　復号装置，　２１１　予測係数保持部，　２１２　圧縮画像保持部，２１３　クラス分類適応予測処理部，　２２１　予測画像，　２３２，２３３予測タップ，　２３４　予測画素
【図１】
2004015382.tif 000011
【図２】
2004015382.tif 000012
【図３】
2004015382.tif 000013
【図４】
2004015382.tif 000014
【図５】
2004015382.tif 000015
【図６】
2004015382.tif 000016
【図７】
2004015382.tif 000017
【図８】
2004015382.tif 000018
【図９】
2004015382.tif 000019
【図１０】
2004015382.tif 000020
【図１１】
2004015382.tif 000021
【図１２】
2004015382.tif 000022
【図１３】
2004015382.tif 000023
【図１４】
2004015382.tif 000024
【図１５】
2004015382.tif 000025
【図１６】
2004015382.tif 000026
【図１７】
2004015382.tif 000027
【図１８】
2004015382.tif 000028
【図１９】
2004015382.tif 000029
【図２０】
2004015382.tif 000030
【図２１】
2004015382.tif 000031
【図２２】
2004015382.tif 000032
【図２３】
2004015382.tif 000033
【図２４】
2004015382.tif 000034