(57)【要約】【課題】各画素のクラス分類を、連続する複数の画像の内容に応じて好適に行うことができるようにする。【解決手段】  入力される画像に対してADRC処理が施されることで得られるADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのダイナミックレンジDRを表すデータに基づいて、注目画素に対応する位置のSD画素のダイナミックレンジDRの時間的な遷移を表す履歴DRhistがDR履歴算出回路８１により算出される。また、それらのデータのうちのADRCコードに基づいて、注目画素に対応する位置のSD画素のADRCコード（波形）の時間的な遷移を表す履歴Ｗhistが波形履歴算出回路８２により算出される。履歴DRhistと履歴Ｗhistに基づいて、クラスコード算出回路８３によりクラス分類が行われる。本発明は、表示装置に画像を表示させる画像処理装置に適用することができる。【選択図】図８
2005192147.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像から第２の画像を生成する画像処理装置において、
前記第２の画像の画素のうちの注目画素に対応する位置における前記第１の画像の時間的遷移を表す遷移情報を算出する算出手段と、
前記算出手段により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、
前記クラス分類手段によりクラス分類された前記注目画素のクラスに対応する予測係数と、前記第１の画像から選択される画素からなる、前記注目画素を予測するのに用いる予測タップとから前記注目画素を予測する予測手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記遷移情報として、前記注目画素に対応する位置を含む前記第１の画像の所定の範囲の画素のダイナミックレンジの遷移を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像にADRC(Adaptive Dynamic Range Coding)処理を施し、前記第１の画像を、所定のブロックの単位で、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに圧縮する圧縮手段と、
前記圧縮手段によるADRC処理で得られた、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードを記憶する記憶手段と、
前記記憶手段に記憶されたブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに基づいて、前記第１の画像を復号する復号手段と
をさらに備え、
前記算出手段は、前記記憶手段に記憶されているブロックのダイナミックレンジのうちの、前記注目画素に対応する位置を含むブロックのダイナミックレンジの時間的遷移を表す遷移情報を算出し、
前記予測手段は、前記注目画素に対応する位置を含むブロックのダイナミックレンジの時間的遷移を表す遷移情報に基づくクラス分類により得られたクラスに対応する予測係数と、前記復号手段により復号された前記第１の画像から選択される画素からなる予測タップとから前記注目画素を予測する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記予測手段により予測された前記注目画素からなる前記第２の画像を、他の画像に重ねて表示させる表示制御手段をさらに備える
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
第１の画像から第２の画像を生成する画像処理方法において、
前記第２の画像の画素のうちの注目画素に対応する位置における前記第１の画像の時間的遷移を表す遷移情報を算出する算出ステップと、
前記算出ステップの処理により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記クラス分類ステップの処理によりクラス分類された前記注目画素のクラスに対応する予測係数と、前記第１の画像から選択される画素からなる、前記注目画素を予測するのに用いる予測タップとから前記注目画素を予測する予測ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
第１の画像から第２の画像を生成する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
前記第２の画像の画素のうちの注目画素に対応する位置における前記第１の画像の時間的遷移を表す遷移情報を算出する算出ステップと、
前記算出ステップの処理により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記クラス分類ステップの処理によりクラス分類された前記注目画素のクラスに対応する予測係数と、前記第１の画像から選択される画素からなる、前記注目画素を予測するのに用いる予測タップとから前記注目画素を予測する予測ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
【請求項７】
第１の画像から第２の画像を生成する処理をコンピュータに実行させるプログラムにおいて、
前記第２の画像の画素のうちの注目画素に対応する位置における前記第１の画像の時間的遷移を表す遷移情報を算出する算出ステップと、
前記算出ステップの処理により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記クラス分類ステップの処理によりクラス分類された前記注目画素のクラスに対応する予測係数と、前記第１の画像から選択される画素からなる、前記注目画素を予測するのに用いる予測タップとから前記注目画素を予測する予測ステップと
を含むことを特徴とするプログラム。
【請求項８】
第１の画像から第２の画像を生成するために用いられる予測係数を学習する学習装置において、
前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出手段と、
前記算出手段により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、
前記注目画素と、前記第１の画像に相当する、前記予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の前記予測係数を決定する決定手段と
を備えることを特徴とする学習装置。
【請求項９】
前記教師画像にADRC(Adaptive Dynamic Range Coding)処理を施し、前記教師画像を、所定のブロックの単位で、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに圧縮する圧縮手段と、
前記圧縮手段によるADRC処理で得られた、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに基づいて前記生徒画像となる画像を復号する復号手段と
をさらに備え、
前記算出手段は、前記圧縮手段によるADRC処理で得られた、前記注目画素に対応する位置を含むブロックのダイナミックレンジの時間的遷移を表す遷移情報を算出し、
前記決定手段は、前記復号手段により復号された前記生徒画像から選択される画素からなる予測タップと、前記注目画素とから前記予測係数を決定する
ことを特徴とする請求項８に記載の学習装置。
【請求項１０】
第１の画像から第２の画像を生成するために用いられる予測係数を学習する学習方法において、
前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出ステップと、
前記算出ステップの処理により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記注目画素と、前記第１の画像に相当する、前記予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の前記予測係数を決定する決定ステップと
を含むことを特徴とする学習方法。
【請求項１１】
第１の画像から第２の画像を生成するために用いられる予測係数を学習する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出ステップと、
前記算出ステップの処理により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記注目画素と、前記第１の画像に相当する、前記予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の前記予測係数を決定する決定ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
【請求項１２】
第１の画像から第２の画像を生成するために用いられる予測係数を学習する処理をコンピュータに実行させるプログラムにおいて、
前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出ステップと、
前記算出ステップの処理により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、
前記注目画素と、前記第１の画像に相当する、前記予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の前記予測係数を決定する決定ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関し、特に、各画素のクラス分類を、連続する複数の画像の内容に応じて好適に行うことができるようにする画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
本出願人は、SD(Standard Definition)画像をHD(High Definition)画像に変換する技術として、クラス分類適応処理を先に提案している（例えば、特許文献１）。
【０００３】
クラス分類適応処理によれば、例えば、水平ライン数が５２５ラインのインターレース方式のSD画像や、水平ライン数が２６２ラインのプログレッシブ方式（ノンインターレース方式）のSD画像等を、その横および縦の画素数をいずれも２倍にした、水平ライン数が５２５ラインのプログレッシブ方式のHD画像等に変換し、その解像度を向上させることができる。
【特許文献１】特開平８−３１７３４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１などで提案されているクラス分類適応処理のうちのクラス分類処理においては、それを画素値に基づいて行っているのみであり、連続する画像の内容を考慮した処理が行われていないという課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、各画素のクラス分類を、連続する複数の画像の内容に応じて好適に行うことができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、第１の画像から第２の画像を生成する画像処理装置であって、第２の画像の画素のうちの注目画素に対応する位置における第１の画像の時間的遷移を表す遷移情報を算出する算出手段と、算出手段により算出された前記遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、クラス分類手段によりクラス分類された注目画素のクラスに対応する予測係数と、第１の画像から選択される画素からなる、注目画素を予測するのに用いる予測タップとから注目画素を予測する予測手段とを備えることを特徴とする。
【０００７】
算出手段は、遷移情報として、注目画素に対応する位置を含む第１の画像の所定の範囲の画素のダイナミックレンジの遷移を算出するようにすることができる。
【０００８】
本発明の画像処理装置は、第１の画像にADRC(Adaptive Dynamic Range Coding)処理を施し、第１の画像を、所定のブロックの単位で、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに圧縮する圧縮手段と、圧縮手段によるADRC処理で得られた、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードを記憶する記憶手段と、記憶手段に記憶されたブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに基づいて、第１の画像を復号する復号手段とをさらに備えるようにすることができる。この場合、算出手段は、記憶手段に記憶されているブロックのダイナミックレンジのうちの、注目画素に対応する位置を含むブロックのダイナミックレンジの時間的遷移を表す遷移情報を算出し、予測手段は、注目画素に対応する位置を含むブロックのダイナミックレンジの時間的遷移を表す遷移情報に基づくクラス分類により得られたクラスに対応する予測係数と、復号手段により復号された第１の画像から選択される画素からなる予測タップとから注目画素を予測する。
【０００９】
本発明の画像処理装置は、予測手段により予測された注目画素からなる第２の画像を、他の画像に重ねて表示させる表示制御手段をさらに備えるようにすることができる。
【００１０】
本発明の画像処理方法は、第１の画像から第２の画像を生成する画像処理方法であって、第２の画像の画素のうちの注目画素に対応する位置における第１の画像の時間的遷移を表す遷移情報を算出する算出ステップと、算出ステップの処理により算出された遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、クラス分類ステップの処理によりクラス分類された注目画素のクラスに対応する予測係数と、第１の画像から選択される画素からなる、注目画素を予測するのに用いる予測タップとから注目画素を予測する予測ステップとを含むことを特徴とする。
【００１１】
本発明の第１の記録媒体に記録されているプログラム、および、本発明の第１のプログラムは、第２の画像の画素のうちの注目画素に対応する位置における第１の画像の時間的遷移を表す遷移情報を算出する算出ステップと、算出ステップの処理により算出された遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、クラス分類ステップの処理によりクラス分類された注目画素のクラスに対応する予測係数と、第１の画像から選択される画素からなる、注目画素を予測するのに用いる予測タップとから注目画素を予測する予測ステップとを含むことを特徴とする。
【００１２】
本発明の学習装置は、第１の画像から第２の画像を生成するために用いられる予測係数を学習する学習装置であって、第２の画像に相当する、予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出手段と、算出手段により算出された遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段と、注目画素と、第１の画像に相当する、予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の予測係数を決定する決定手段とを備えることを特徴とする。
【００１３】
本発明の学習装置は、教師画像にADRC(Adaptive Dynamic Range Coding)処理を施し、教師画像を、所定のブロックの単位で、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに圧縮する圧縮手段と、圧縮手段によるADRC処理で得られた、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに基づいて生徒画像となる画像を復号する復号手段とをさらに備えるようにすることができる。この場合、算出手段は、圧縮手段によるADRC処理で得られた、注目画素に対応する位置を含む前記ブロックのダイナミックレンジの時間的遷移を表す遷移情報を算出し、決定手段は、復号手段により復号された生徒画像から選択される画素からなる予測タップと、注目画素とから予測係数を決定する。
【００１４】
本発明の学習方法は、第１の画像から第２の画像を生成するために用いられる予測係数を学習する学習方法であって、第２の画像に相当する、予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出ステップと、算出ステップの処理により算出された遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、注目画素と、第１の画像に相当する、予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の予測係数を決定する決定ステップとを含むことを特徴とする。
【００１５】
本発明の第２の記録媒体に記録されているプログラム、および、本発明の第２のプログラムは、第２の画像に相当する、予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出ステップと、算出ステップの処理により算出された遷移情報に基づいて、注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップと、注目画素と、第１の画像に相当する、予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の予測係数を決定する決定ステップとを含むことを特徴とする。
【００１６】
本発明の画像処理装置および方法、並びに第１のプログラムにおいては、第２の画像の画素のうちの注目画素に対応する位置における第１の画像の時間的遷移を表す遷移情報が算出され、算出された前記遷移情報に基づいて、注目画素が、複数のクラスのうちのいずれかのクラスにクラス分類される。また、クラス分類された注目画素のクラスに対応する予測係数と、第１の画像から選択される画素からなる、注目画素を予測するのに用いる予測タップとから注目画素が予測される。
【００１７】
本発明の学習装置および方法、並びに第２のプログラムにおいては、第２の画像に相当する、予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置の時間的遷移を表す遷移情報が算出され、算出された遷移情報に基づいて、注目画素が、複数のクラスのうちのいずれかのクラスにクラス分類される。また、注目画素と、第１の画像に相当する、予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の予測係数が決定される。
【発明の効果】
【００１８】
本発明によれば、高画質な画像を得ることができる。
【００１９】
また、本発明によれば、高画質化する処理の一部である各画素のクラス分類を、連続する複数の画像の内容に応じて好適に行うことができる。
【００２０】
さらに、本発明によれば、リプレイ画像を表示させるためのデータを、少ないデータ量で記憶させておくことができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２２】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、即ち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２３】
請求項１に記載の画像処理装置は、第１の画像（例えば、SD画像）から第２の画像（例えば、HD画像）を生成する画像処理装置（例えば、図１の画像処理装置１）であって、前記第２の画像の画素のうちの注目画素に対応する位置における前記第１の画像の時間的遷移（例えば、ダイナミックレンジDRの時間的遷移）を表す遷移情報を算出する算出手段（例えば、図８のDR履歴算出回路８１）と、前記算出手段により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段（例えば、図８のクラスコード算出回路８３）と、前記クラス分類手段によりクラス分類された前記注目画素のクラスに対応する予測係数と、前記第１の画像から選択される画素からなる、前記注目画素を予測するのに用いる予測タップとから前記注目画素を予測する予測手段（例えば、図６の予測演算回路５６）とを備えることを特徴とする。
【００２４】
請求項３に記載の画像処理装置は、前記第１の画像にADRC(Adaptive Dynamic Range Coding)処理を施し、前記第１の画像を、所定のブロックの単位で、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに圧縮する圧縮手段（例えば、図１１のステップＳ２２の処理を実行する図６のADRCエンコーダ／デコーダ５１）と、前記圧縮手段によるADRC処理で得られた、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードを記憶する記憶手段（例えば、図６のバッファ５２）と、前記記憶手段に記憶されたブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに基づいて、前記第１の画像を復号する復号手段（例えば、図１２のステップＳ３２の処理を実行する図６のADRCエンコーダ／デコーダ５１）とをさらに備え、前記算出手段は、前記記憶手段に記憶されているブロックのダイナミックレンジのうちの、前記注目画素に対応する位置を含むブロックのダイナミックレンジの時間的遷移を表す遷移情報を算出し、前記予測手段は、前記注目画素に対応する位置を含むブロックのダイナミックレンジの時間的遷移を表す遷移情報に基づくクラス分類により得られたクラスに対応する予測係数と、前記復号手段により復号された前記第１の画像から選択される画素からなる予測タップとから前記注目画素を予測することを特徴とする。
【００２５】
前記予測手段により予測された前記注目画素からなる前記第２の画像を、他の画像に重ねて表示させる表示制御手段（例えば、図１の合成回路１３）をさらに備えるようにすることができる。
【００２６】
請求項５に記載の画像処理方法は、第１の画像（例えば、SD画像）から第２の画像（例えば、HD画像）を生成する画像処理方法であって、前記第２の画像の画素のうちの注目画素に対応する位置における前記第１の画像の時間的遷移を表す遷移情報を算出する算出ステップ（例えば、図１３のステップＳ５３）と、前記算出ステップの処理により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップ（例えば、図１３のステップＳ５４）と、前記クラス分類ステップの処理によりクラス分類された前記注目画素のクラスに対応する予測係数と、前記第１の画像から選択される画素からなる、前記注目画素を予測するのに用いる予測タップとから前記注目画素を予測する予測ステップ（例えば、図１２のステップＳ３６）とを含むことを特徴とする。
【００２７】
請求項６に記載の記録媒体に記録されているプログラム、請求項７に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項５に記載の画像処理方法と同様である。
【００２８】
請求項８に記載の学習装置は、第１の画像（例えば、SD画像）から第２の画像（例えば、HD画像）を生成するために用いられる予測係数を学習する学習装置（例えば、図１９の学習装置１３１）であって、前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出手段（例えば、図１９の時間履歴クラス分類処理回路１４３内の図８のDR履歴算出回路８１）と、前記算出手段により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段（例えば、図１９の時間履歴クラス分類処理回路１４３内の図８のクラスコード算出回路８３）と、前記注目画素と、前記第１の画像に相当する、前記予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の前記予測係数を決定する決定手段（例えば、図１９の予測係数決定回路１４７）とを備えることを特徴とする。
【００２９】
請求項９に記載の学習装置は、前記教師画像にADRC(Adaptive Dynamic Range Coding)処理を施し、前記教師画像を、所定のブロックの単位で、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに圧縮する圧縮手段（例えば、図１９のADRCエンコーダ１４２）と、前記圧縮手段によるADRC処理で得られた、ブロック内の画素値のダイナミックレンジ、最小値、および再量子化コードに基づいて前記生徒画像となる画像を復号する復号手段（例えば、図１９のADRCデコーダ１４４）とをさらに備え、前記算出手段は、前記圧縮手段によるADRC処理で得られた、前記注目画素に対応する位置を含むブロックのダイナミックレンジの時間的遷移を表す遷移情報を算出し、前記決定手段は、前記復号手段により復号された前記生徒画像から選択される画素からなる予測タップと、前記注目画素とから前記予測係数を決定することを特徴とする。
【００３０】
請求項１０に記載の学習方法は、第１の画像から第２の画像を生成するために用いられる予測係数を学習する学習方法であって、前記第２の画像に相当する、前記予測係数の学習の教師となる教師画像の画素のうちの注目画素に対応する位置における時間的遷移を表す遷移情報を算出する算出ステップと、前記算出ステップの処理により算出された前記遷移情報に基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップ（例えば、図２０のステップＳ１１４）と、前記注目画素と、前記第１の画像に相当する、前記予測係数の学習の生徒となる生徒画像から選択される画素からなる予測タップとから、クラス毎の前記予測係数を決定する決定ステップ（例えば、図２０のステップＳ１１８）とを含むことを特徴とする。
【００３１】
請求項１１に記載の記録媒体に記録されているプログラム、請求項１２に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１０に記載の学習方法と同様である。
【００３２】
以下、本発明の実施の形態について図を参照して説明する。
【００３３】
図１は、本発明を適用した画像処理装置１の構成例を示すブロック図である。
【００３４】
画像処理装置１は、高画質化回路１１、リプレイ画像生成回路１２、合成回路１３から構成される。画像処理装置１は、図示せぬアンテナで受信されたテレビジョン放送波より得られるSD(Standard Definition)画像を高画質化回路１１においてHD(High Definition)画像に変換し、HD画像を外部に出力する。例えば、画像処理装置１は、水平ライン数が２６２ラインのプログレッシブ方式（ノンインターレース方式）のSD画像等を、その横および縦の画素数をいずれも２倍にした、水平ライン数が５２５ラインのプログレッシブ方式のHD画像等に変換し、出力する。
【００３５】
また、画像処理装置１は、そのリプレイ画像生成回路１２において、入力されるSD画像に対して所定の処理を施すことで、後から、SD画像を復号するために用いるデータを記憶しておき、ユーザから直前の画像（複数の連続する画像）のリプレイが要求されたとき、記憶しておいたデータから元のSD画像を復号し、それを、高画質化回路１１から出力される画像に合成回路１３で重ねて表示させる（PinP(Picture in Picture)表示させる）。
【００３６】
図２は、表示装置２１が表示する画面の例を示す図である。図１の画像処理装置１から出力された画像は、この表示装置２１により表示される。
【００３７】
図２の画像２１Ａは、図１の高画質化回路１１により高画質化処理が施されて得られたスポーツ番組のある時刻の画像である。また、画像２１Ｂは、リプレイ画像生成回路１２により生成された、画像２１Ａの表示時刻より前の時刻のスポーツ番組の画像である。
【００３８】
なお、リプレイ画像生成回路１２においては、ユーザからリプレイが要求されたとき、記憶しておいたデータから元のSD画像を単に復号するだけでなく、復号した画像に対して、それを高画質化するための処理も施される。即ち、図２の画像２１Ｂは、記憶していたデータから得られた画像を高画質化した画像である。
【００３９】
以下、適宜、リプレイが要求されるまでに記憶しておいたデータから復号された画像をデコード画像といい、それに高画質化処理を施して得られる、高画質化回路１１からの画像にPinP表示させる画像（図２の画像２１Ｂ）をリプレイ画像という。
【００４０】
後に詳述するように、高画質化回路１１においてSD画像に対して施される高画質化処理と、リプレイ画像生成回路１２においてデコード画像に対して施される高画質化処理は、その一部の処理内容が異なるようにすることができる。
【００４１】
ここで、高画質化回路１１とリプレイ画像生成回路１２のそれぞれにおいて行われるクラス分類適応処理の一般的な事項について説明する。
【００４２】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理とは、以下のような手法の処理である。
【００４３】
即ち、適応処理では、例えば、低画質または標準画質の画像であるSD画像データが、所定のタップ係数（以下、適宜、予測係数とも称する）を用いてマッピング（写像）されることにより、高画質の画像であるHD画像というデータに変換される。
【００４４】
いま、このタップ係数を用いてのマッピング方法として、例えば、線形１次結合モデルを採用することとすると、HD画像データを構成する画素（以下、適宜、HD画素という）の画素値ｙは、SD画像データを構成する画素（以下、適宜、SD画素という）から、HD画素を予測するための予測タップとして抽出される複数のSD画素と、タップ係数とを用いて、次の線形１次式（線形結合）によって求められる。
【数１】
2005192147.tif 000003
【００４５】
但し、式（１）において、ｘnは、HD画素ｙについての予測タップを構成する、ｎ番目のSD画像データの画素の画素値を表し、ｗnは、ｎ番目のSD画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個のSD画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００４６】
ここで、HD画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００４７】
いま、第ｋサンプルのHD画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
【数２】
2005192147.tif 000004
【００４８】
式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
【数３】
2005192147.tif 000005
【００４９】
但し、式（３）において、ｘn,kは、第ｋサンプルのHD画素についての予測タップを構成するｎ番目のSD画素を表す。
【００５０】
式（３）の予測誤差ｅkを０とするタップ係数ｗnが、HD画素を予測するのに最適なものとなるが、すべてのHD画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００５１】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【数４】
2005192147.tif 000006
【００５２】
但し、式（４）において、Ｋは、HD画素ｙkと、そのHD画素ｙkについての予測タップを構成するSD画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数を表す。
【００５３】
式（４）の自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、その総和Ｅをタップ係数ｗnで偏微分したものを０とするものであり、従って、次式を満たす必要がある。
【数５】
2005192147.tif 000007
【００５４】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【数６】
2005192147.tif 000008
【００５５】
式（５）と（６）から、次式が得られる。
【数７】
2005192147.tif 000009
【００５６】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）で示される正規方程式で表すことができる。
【数８】
2005192147.tif 000010
【００５７】
式（８）の正規方程式は、HD画素ｙkとSD画素ｘn,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗnの数と同じ数だけたてることができ、従って、式（８）を解くことで（但し、式（８）を解くには、式（８）において、タップ係数ｗnにかかる左辺の行列が正則である必要がある）、最適なタップ係数ｗnを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。
【００５８】
以上のように、多数のHD画素ｙ1，ｙ2，・・・，ｙKを、タップ係数の学習の教師となる教師データとするとともに、各HD画素ｙkについての予測タップを構成するSD画素ｘ1,k，ｘ2,k，・・・，ｘN,kを、タップ係数の学習の生徒となる生徒データとして、式（８）を解くことにより、最適なタップ係数ｗnを求める学習を行っておき（学習については後に詳述する）、さらに、そのタップ係数ｗnを用い、式（１）により、SD画像データを、HD画像データにマッピング（変換）するのが適応処理である。
【００５９】
なお、適応処理は、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一に見えるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての学習により求められたものであるため、HD画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度創造）作用がある処理ということができる。
【００６０】
また、ここでは、適応処理について、解像度を向上させる場合を例にして説明したが、適応処理によれば、予測係数を求めるのに用いる教師データおよび生徒データを変えることで、例えば、Ｓ／Ｎ(Signal to Noise Ratio)の向上や、ぼけの改善等の画質の向上を図ることが可能である。
【００６１】
図３は、以上のようなクラス分類適応処理を用いて、SD画像からHD画像の予測値を求める処理を行う図１の高画質化回路１１の構成例を示すブロック図である。
【００６２】
フレームメモリ３１には、解像度を向上させる対象としてのSD画像が、例えば、１フレーム単位で供給されるようになっており、フレームメモリ３１は、そのSD画像を所定の期間記憶する。なお、フレームメモリ３１は、複数バンクを有しており、これにより、複数フレームのSD画像を同時に記憶しておくことができるようになっている。
【００６３】
予測タップ抽出回路３２は、フレームメモリ３１に記憶されたSD画像の解像度を向上させたHD画像（予測タップ抽出回路３２では、このHD画像は実際には存在しないが、仮想的に想定される）を構成する画素を、順次、注目画素とし、その注目画素の位置に対応するSD画像の位置から、空間的または時間的に近い位置にある幾つかのSD画素を、フレームメモリ３１のSD画像から選択する。予測タップ抽出回路３２は、その選択したSD画素を、予測係数との乗算に用いる予測タップとする。
【００６４】
即ち、予測タップ抽出回路３２は、図４に示されるように、注目画素の位置に最も近い、SD画像の画素（図４では、Ｐ33とＰ34の２つあるが、ここでは、例えば、Ｐ33とする）、およびその上下左右に隣接する４個のSD画素Ｐ23，Ｐ43，Ｐ32，Ｐ34、並びに、SD画素Ｐ33に対応する、１フレーム前のSD画素および１フレーム後のSD画素の合計７画素を予測タップとして選択する。
【００６５】
予測タップ抽出回路３２は、このようにして選択した注目画素についての予測タップとなるSD画素を、フレームメモリ３１に記憶されたSD画像から抽出し、抽出したSD画素を注目画素の予測タップとして予測演算回路３６に出力する。
【００６６】
なお、予測タップとして選択するSD画素は、上述したものに限定されるものではない。また、上述の場合には、７個のSD画素で予測タップを構成するようにしたが、予測タップを構成するSD画素の数も、適宜変更することが可能である。
【００６７】
クラスタップ抽出回路３３は、注目画素の位置に対応するSD画像の位置から、空間的または時間的に近い位置にある幾つかのSD画素を、フレームメモリ３１のSD画像から選択し、その選択したSD画素を、注目画素を幾つかのクラスのうちのいずれかに分類するためのクラス分類に用いるクラスタップとする。
【００６８】
例えば、クラスタップ抽出回路３３は、図４に示されるように、注目画素の位置に最も近いSD画像の画素Ｐ33、およびその上下左右、左上、右上、左下、右下に隣接する８個のSD画素Ｐ23，Ｐ43，Ｐ32，Ｐ34，Ｐ22，Ｐ24，Ｐ42，Ｐ44、並びにSD画素Ｐ33に対応する、１フレーム前のSD画素および１フレーム後のSD画素の合計１１画素を、クラスタップとして選択する。
【００６９】
クラスタップ抽出回路３３は、このようにして選択した注目画素についてのクラスタップとなるSD画素を、フレームメモリ３１に記憶されたSD画像から選択し、そのようなSD画素で構成されるクラスタップをクラス分類処理回路３４に出力する。
【００７０】
なお、クラスタップとして選択するSD画素も、上述したものに限定されるものではない。また、上述の場合には１１個のSD画素でクラスタップを構成するようにしたが、クラスタップを構成するSD画素の数も適宜変更することが可能である。
【００７１】
クラス分類処理回路３４は、クラスタップ抽出回路３３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ３５に対してアドレスとして供給する。
【００７２】
ここで、クラス分類処理回路３４においてクラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００７３】
ADRCを用いる方法では、クラスタップを構成するSD画素がADRC処理され、その結果得られるADRCコードにしたがって注目画素のクラスが決定される。
【００７４】
例えば、ＫビットADRCにおいては、クラスタップを構成するSD画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するSD画素がＫビットに再量子化される。即ち、クラスタップを構成するSD画素の画素値から、最小値MINが減算され、その減算値がDR／２Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成する各SD画素についてのＫビットの画素値を所定の順番で並べたビット列がADRCコード（再量子化コード）として出力される。
【００７５】
従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各SD画素の画素値は、最小値MINが減算された後にDR／２で除算され、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７６】
ここで、クラス分類処理回路３４には、例えば、クラスタップを構成するSD画素のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のSD画素で構成され、各SD画素にＫビットが割り当てられているとすると、クラス分類処理回路３４が出力するクラスコードの数は（２N）K個となり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００７７】
従って、上述のように、画素値のビット数等を、いわば圧縮するADRC処理等のような圧縮処理を行ってからクラス分類を行うのが好ましい。例えば、クラス分類処理回路３４において、１ビットADRC処理によるクラス分類を行うことにより、クラスタップが、上述のように１１個のSD画素で構成される場合でも、そのクラスコードの数は（２11）1通りとなる。
【００７８】
なお、クラス分類処理回路３４における圧縮処理としては、ADRC処理に限定されるものではなく、その他、例えば、ベクトル量子化等を用いることも可能である。
【００７９】
図３の説明に戻り、係数メモリ３５は、後述するような学習処理が行われることで得られる予測係数を記憶し、クラス分類処理回路３４から供給されるクラスコードに対応するアドレスに記憶されている予測係数を予測演算回路３６に供給する。
【００８０】
予測演算回路３６は、予測タップ抽出回路３２から供給される予測タップと、係数メモリ３５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、SD画像の解像度を向上させたHD画像の予測値とする。予測演算回路３６は、注目画素を切り替えて順次得られる予測値から、例えば、１フレームの５２５ｐ（水平ライン数が５２５のプログレッシブ方式）のHD画像を構成し、出力する。
【００８１】
次に、図５のフローチャートを参照して、図３の高画質化回路１１により行われる高画質化処理について説明する。
【００８２】
処理すべきSD画像は、例えば、フレーム単位でフレームメモリ３１に順次供給され、記憶される。
【００８３】
ステップＳ１において、予測タップ抽出回路３２は、フレームメモリ３１に記憶されたSD画像の解像度を向上させたHD画像を構成する画素のうちの、まだ、注目画素とされていないものを注目画素とし、フレームメモリ３１に記憶されたSD画像の画素を用いて、注目画素についての予測タップを抽出する。また、ステップＳ１において、クラスタップ抽出回路３３は、フレームメモリ３１に記憶されたSD画像の画素を用いて、注目画素についてのクラスタップを抽出する。
【００８４】
予測タップ抽出回路３２により抽出された予測タップは予測演算回路３６に供給され、クラスタップ抽出回路３３により抽出されたクラスタップはクラス分類処理回路３４に供給される。
【００８５】
ステップＳ２において、クラス分類処理回路３４は、クラスタップ抽出回路３３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ３５に対してアドレスとして供給する。係数メモリ３５からは、記憶される各クラスの予測係数のうち、クラス分類処理回路３４からのクラスコードで表されるアドレスに記憶されている予測係数が予測演算回路３６に出力される。
【００８６】
予測演算回路３６は、ステップＳ３において、予測タップ抽出回路３２から供給される予測タップと、係数メモリ３５から供給される予測係数とを用いて、式（１）に示した線形予測演算を行い、その結果得られる画素値を注目画素の予測値とする。
【００８７】
予測演算回路３６は、ステップＳ４において、１フレーム分のHD画像を構成する画素の予測値が得られたか否かを判定し、まだ１フレーム分の予測値が得られていないと判定した場合、ステップＳ１に戻り、それ以降の処理を実行させる。これにより、HD画像のフレームを構成する画素のうち、まだ注目画素とされていないものが新たに注目画素とされ、同様の処理が繰り返される。
【００８８】
一方、ステップＳ４において、１フレーム分の予測値が得られたと判定した場合、予測演算回路３６は、ステップＳ５に進み、その１フレーム分の予測値でなるHD画像を合成回路１３（図１）に出力する。
【００８９】
ステップＳ６において、予測タップ抽出回路３２からの入力などに基づいて、予測演算回路３６は、SD画像の入力が終わりか否かを判定し、終わりではないと判定した場合、ステップＳ１に戻る。その後、次のHD画像のフレームを対象にして、ステップＳ１以降の処理が繰り返される。ステップＳ６において、SD画像の入力が終わりであると判定された場合、処理は終了される。
【００９０】
以上のようにして高画質化回路１１により生成されたHD画像は、リプレイ画像生成回路１２からのリプレイ画像が合成回路１３に供給されていない場合には、そのまま表示装置２１により表示される。
【００９１】
図６は、図１のリプレイ画像生成回路１２の構成例を示すブロック図である。
【００９２】
ADRCエンコーダ／デコーダ５１は、入力されるSD画像を、例えば、９×９の画素からなる複数のブロックに分割し、各ブロックの画素に対して上述した１ビットADRC処理を施す。ADRC処理により得られたADRCコード、ダイナミックレンジDR、最小値MINを表わすデータは、バッファ５２に供給され、記憶される。
【００９３】
ここでバッファ５２に記憶される各ブロックについてのADRCコード、ダイナミックレンジDR、最小値MINを表わすデータの量は、例えば、８１画素（９×９画素）がそれぞれ１ビットのADRCコード（１または０）で表されるから、その８１ビットに、ダイナミックレンジDRと最小値MINがそれぞれ８ビットで表されるとすると１６ビットを加えた合計９７ビットである。
【００９４】
なお、ADRCコードのビット数、ダイナミックレンジDR、最小値MINを表すビット数は、バッファ５２の容量に応じて、またはADRCエンコーダ／デコーダ５１のエンコード、デコード能力等に応じて適宜変更可能である。
【００９５】
ADRCエンコーダ／デコーダ５１は、また、例えば、ユーザがリモートコントローラに設けられるリプレイボタンを操作したときに出力されるリプレイ要求を受信したとき、バッファ５２に記憶されているADRCコード、ダイナミックレンジDR、最小値MINを表すデータに基づいて各ブロックの画素をデコードし、それを繰り返すことで１フレームのデコード画像を生成する。上述したように、ADRC処理はいわば画像の圧縮であり、この圧縮は不可逆圧縮であるから、ADRCエンコーダ／デコーダ５１によりデコードされて得られたデコード画像は、リプレイ画像生成回路１２に入力されたSD画像より画質が劣るものである。
【００９６】
なお、ADRCコード、ダイナミックレンジDR、最小値MINを表すデータからは、例えば、ADRCコードＱ×（DR／２K）＋MINにより各画素の画素値をデコードすることができる。時間履歴クラス分類処理回路５４の構成（例えば、後述する図１５の構成）によっては、ADRCエンコーダ／デコーダ５１によりデコードされた画素の画素値は、図６の点線矢印で示されるように時間履歴クラス分類処理回路５４にも供給される。
【００９７】
このように、ADRC処理により得られるADRCコード、ダイナミックレンジDR、最小値MINを表すデータをバッファに記憶させておき、リプレイが要求されたときには、それらのデータに基づいて画像をデコードするようにしたため、入力されるSD画像をそのままバッファに記憶させておく場合に較べて、同じ容量のバッファに対してより長い時間のリプレイ画像を表示させる分のデータを記憶させておくことが可能になる。ADRC処理を行わない場合（SD画像を表すデータをそのままバッファに記憶させる場合）、例えば、９×９の画素からなる１つのブロックのデータの量は、各画素の画素値を８ビットで表したときには６４８ビット（９×９×８）であるから、ADRC処理を行った場合の上述した９７ビットに較べて多い。
【００９８】
予測タップ抽出回路５３は、ADRCエンコーダ／デコーダ５１によりデコードされることで得られたデコード画像の、例えば、解像度を向上させたリプレイ画像（予測タップ抽出回路５３では、このリプレイ画像は実際には存在しないが、仮想的に想定される）を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するデコード画像の位置から空間的または時間的に近い位置にある幾つかのデコード画像の画素（以下、適宜、デコード画素という）を選択する。予測タップ抽出回路５３は、その選択したデコード画素を、予測係数との乗算に用いる予測タップとする。
【００９９】
図７は、予測タップ抽出回路５３により抽出される予測タップの例を示す図である。
【０１００】
図７において、○はデコード画素を表し、×はリプレイ画像の画素を表す。また、図７において、画像７１は、注目画素を含むフレームの画像であり、その表示時刻は時刻Ｔである。また、画像７２は、注目画素を含むフレーム（画像７１）の１フレーム前のフレームの画像であり、その表示時刻は時刻Ｔ−１である。さらに、画像７３は、注目画素を含むフレームの１フレーム後のフレームの画像であり、その表示時刻は時刻Ｔ＋１である。
【０１０１】
即ち、予測タップ抽出回路５３は、図７に示されるように、注目画素の位置に最も近いデコード画素（図７では、Ｐ22とＰ23の２つあるが、ここでは、例えば、Ｐ22とする）、およびその左上、上、右上、左、右、左下、右下に隣接する８個のデコード画素Ｐ11，Ｐ12，Ｐ13，Ｐ21，Ｐ23，Ｐ31，Ｐ32，Ｐ33、並びに、注目画素に対応する位置のデコード画素Ｐ22に対応する位置にある、１フレーム前のデコード画素Ｐ22を中心とした９画素（画素Ｐ22を含む）、および１フレーム後のデコード画素Ｐ22を中心とした９画素（画素Ｐ22を含む）の、合計２７画素を予測タップとして選択する。
【０１０２】
予測タップ抽出回路５３は、このようにして選択した注目画素についての予測タップとなるデコード画素を、ADRCエンコーダ／デコーダ５１によりデコードされることで得られたデコード画像から抽出し、抽出したデコード画素で構成される予測タップを予測演算回路５６に出力する。
【０１０３】
なお、図４を参照して説明した場合と同様に、予測タップとして選択するデコード画素は、上述したものに限定されるものではない。
【０１０４】
ADRCエンコーダ／デコーダ５１に入力されるリプレイ要求は、時間履歴クラス分類処理回路５４にも入力されるようになされており、時間履歴クラス分類処理回路５４は、リプレイ要求が入力されたとき、注目画素に対応する位置に最も近いSD画素のADRCコード、ダイナミックレンジDR、最小値MIN（注目画素に対応する位置を含むブロックのダイナミックレンジDR、最小値MIN）を表すデータ、および、そのSD画素に対応する、前後１フレームのSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータをバッファ５２から読み出し、クラス分類を行う。後述するように、時間履歴クラス分類処理回路５４は、注目画素に対応する位置におけるダイナミックレンジDRの遷移と、ADRCコードの遷移に基づいてクラス分類を行う。
【０１０５】
時間履歴クラス分類処理回路５４は、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを係数メモリ５５に対してアドレスとして供給する。以下、時間履歴クラス分類処理回路５４が出力するクラスコードを、適宜、時間履歴クラスコードという。
【０１０６】
係数メモリ５５は、後述するような学習処理により得られる予測係数を記憶し、時間履歴クラス分類処理回路５４から供給される時間履歴クラスコードに対応するアドレスに記憶されている予測係数を予測演算回路５６に供給する。
【０１０７】
予測演算回路５６は、予測タップ抽出回路５３から供給される予測タップ（例えば、図７の２７画素）と、係数メモリ５５から供給される予測係数とを用いて、式（１）に示した線形予測演算（積和演算）を行い、その結果得られる画素値を、デコード画像の解像度を向上させたリプレイ画像の予測値とする。予測演算回路５６は、注目画素を切り替えて順次得られる予測値から、例えば、１フレームのリプレイ画像を構成し、合成回路１３（図１）に出力する。
【０１０８】
図８は、図６の時間履歴クラス分類処理回路５４の構成例を示すブロック図である。
【０１０９】
時間履歴クラス分類処理回路５４は、DR履歴算出回路８１、波形履歴算出回路８２、クラスコード算出回路８３から構成される。
【０１１０】
DR履歴算出回路８１は、バッファ５２から読み出されたADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのダイナミックレンジDRを表すデータに基づいて、注目画素に対応する位置のSD画素のダイナミックレンジDRの時間的な遷移を表す履歴DRhistを算出する。
【０１１１】
例えば、DR履歴算出回路８１は、図９に示されるように、時刻ｔのフレームの注目画素に対応する位置のSD画素を含むADRCブロック（ADRC処理の単位となる例えば９×９の画素のブロック）のダイナミックレンジDRtと、時刻ｔ−１のフレームの注目画素に対応する位置のSD画素を含むADRCブロックのダイナミックレンジDRt-1と、時刻ｔ＋１のフレームの注目画素に対応する位置のSD画素を含むADRCブロックのダイナミックレンジDRt+1とから履歴DRhistを算出する。
【０１１２】
ダイナミックレンジDRt-1，DRt，DRt+1の遷移のパターンは、図１０Ａ乃至Ｄにそれぞれ示される４パターン（２2パターン）に分類される。時間履歴クラス分類処理回路５４は、例えば、そのパターンを表す２ビットを、注目画素のダイナミックレンジDRの時間的な遷移を表す履歴DRhist（遷移情報）としてクラスコード算出回路８３に出力する。
【０１１３】
ダイナミックレンジDRtをDRt、ダイナミックレンジDRt-1をDRt-1、ダイナミックレンジDRt+1をDRt+1でそれぞれ表した場合、図１０Ａは、DRt-1＞DRt＜DRt+1となるパターンを表し、図１０Ｂは、DRt-1＜DRt＜DRt+1となるパターンを表す。また、図１０Ｃは、DRt-1＞DRt＞DRt+1となるパターンを表し、図１０Ｄは、DRt-1＜DRt＞DRt+1となるパターンを表す。
【０１１４】
なお、以上においては、フレーム間で同じダイナミックレンジDRをとる場合については考慮していないが、当然、それも考慮し、図１０Ａ乃至Ｄの４パターンに加えて、DRt-1＝DRt＝DRt+1，DRt-1＝DRt＜DRt+1，DRt-1＝DRt＞DRt+1，DRt-1＞DRt＝DRt+1，DRt-1＜DRt＝DRt+1の５パターンも、履歴DRhistとして算出されるようにしてもよい。
【０１１５】
波形履歴算出回路８２は、バッファ５２から読み出されたADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのADRCコードに基づいて、注目画素に対応する位置のSD画素のADRCコード（波形）の時間的な遷移を表す履歴Ｗhistを算出する。
【０１１６】
例えば、波形履歴算出回路８２は、時刻ｔ−１のフレームの注目画素に対応する位置のSD画素のADRCコード、時刻ｔのフレームの注目画素のに対応する位置のSD画素のADRCコード、時刻ｔ＋１のフレームの注目画素に対応する位置のSD画素のADRCコードの並びを、履歴Ｗhistとしてクラスコード算出回路８３に出力する。1ビットADRC処理が行われている場合、それぞれの画素は１ビットのADRCコードで表されるから、合計３ビットの履歴Ｗhistがクラスコード算出回路８３に出力される。
【０１１７】
クラスコード算出回路８３は、DR履歴算出回路８１から入力される履歴DRhistと、波形履歴算出回路８２から入力される履歴Ｗhistからクラス分類を行い、その結果得られるクラスに対応する時間履歴クラスコードを係数メモリ５５に出力する。
【０１１８】
このように、時間履歴クラス分類処理回路５４においては、注目画素に対応する位置の時間的な遷移を表す情報に基づくクラス分類が行われることから、連続する画像の内容に応じて、注目画素のクラス分けが行われ、好適な予測値を求めることができる。
【０１１９】
次に、以上のような構成を有するリプレイ画像生成回路１２の動作についてフローチャートを参照して説明する。
【０１２０】
始めに、図１１のフローチャートを参照して、リプレイ画像生成回路１２により行われるSD画像の圧縮処理について説明する。
【０１２１】
この処理は、例えば、画像処理装置１の外部にあるアンテナなどからSD画像が入力されたときに開始される。また、この処理は、例えば、後述する図１２の処理と時間的に並行して実行される。
【０１２２】
ステップＳ２１において、ADRCエンコーダ／デコーダ５１は、入力される１フレームのSD画像を、例えば、９×９の画素からなる複数のブロックに分割し、ステップＳ２２に進み、選択した１つのブロックに対して１ビットADRC処理を施すことでSD画像のエンコードを行う。
【０１２３】
ADRCエンコーダ／デコーダ５１は、ステップＳ２３において、エンコードにより得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータをバッファ５２に記憶させ、ステップＳ２４に進み、１フレームを構成する全てのブロックについてADRC処理を行ったか否かを判定する。ADRCエンコーダ／デコーダ５１は、ステップ２４において、１フレームを構成する全てのブロックについてADRC処理を行っていないと判定した場合、ステップＳ２２に戻り、処理対象のブロックを切り替えてADRC処理を繰り返す。
【０１２４】
一方、ADRCエンコーダ／デコーダ５１は、ステップＳ２４において、１フレームを構成する全てのブロックについてADRC処理を行ったと判定した場合、ステップＳ２５に進み、SD画像の入力が終了したか否かを判定する。ADRCエンコーダ／デコーダ５１は、ステップＳ２５において、SD画像の入力が終了していないと判定した場合、ステップＳ２１に戻り、それ以降の処理を繰り返し、SD画像の入力が終了したと判定した場合、処理を終了させる。
【０１２５】
以上の処理が繰り返されることで、バッファ５２には、ある期間連続してリプレイ画像を復号することが可能な量のADRCコード、ダイナミックレンジDR、最小値MINを表すデータが記憶される。なお、バッファ５２の容量には限りがあることから、記憶されているデータの量がバッファ５２の容量の限界近くになった場合には、リプレイ画像生成回路１２に先に入力されたSD画像から得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータから順に消去され、時間的により新しい画像から得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータがバッファ５２に記憶される。
【０１２６】
次に、図１２のフローチャートを参照して、リプレイ画像生成回路１２により行われるリプレイ画像生成処理について説明する。
【０１２７】
ステップＳ３１において、ADRCエンコーダ／デコーダ５１は、ユーザからのリプレイ要求があったか否かを判定し、リプレイ要求があったと判定するまで待機する。リプレイ要求があったと判定されるまでの時間においては、図１１の処理が繰り返される。
【０１２８】
例えば、ユーザがリモートコントローラに設けられるリプレイボタンを操作したため、ステップＳ３１において、リプレイ要求が入力されたと判定した場合、ステップＳ３２に進み、ADRCエンコーダ／デコーダ５１は、バッファ５２に記憶されているADRCコード、ダイナミックレンジDR、最小値MINを表すデータに基づいて画像のデコード（ADRCデコード）を行う。ADRCエンコーダ／デコーダ５１は、デコードにより得られた１フレームのデコード画像を予測タップ抽出回路５３に出力する。
【０１２９】
ステップＳ３３において、予測タップ抽出回路５３は、ADRCエンコーダ／デコーダ５１によりデコードされることで得られたデコード画像の解像度を向上させたリプレイ画像を構成する所定の画素を、順次、注目画素とし、その注目画素の位置に対応するデコード画像の位置から空間的または時間的に近い位置にある幾つかのデコード画素を、予測係数との乗算に用いる予測タップとする。
【０１３０】
予測タップ抽出回路５３は、予測タップとなるデコード画素をデコード画像から抽出し、抽出したデコード画素で構成される予測タップを予測演算回路５６に出力する。ここでは、例えば、図７に示される合計２７画素の予測タップが予測演算回路５６に出力される。
【０１３１】
ステップＳ３４において、時間履歴クラス分類処理回路５４は、注目画素に対応する位置のSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータ、および、注目画素に対応する、前後１フレームのSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータをバッファ５２から読み出す。読み出されたそれらのデータは、時間履歴クラス分類処理回路５４のDR履歴算出回路８１、波形履歴算出回路８２にそれぞれ入力される。
【０１３２】
また、時間履歴クラス分類処理回路５４は、ステップＳ３５において、時間履歴クラスコードを算出する時間履歴クラス分類処理を行う。時間履歴クラス分類処理の詳細については図１３のフローチャートを参照して後述する。
【０１３３】
ステップＳ３５で行われる時間履歴クラス分類処理により得られた時間履歴クラスコードに対応する予測係数が係数メモリ５５から供給されてきたとき、予測演算回路５６は、ステップＳ３６において、その予測係数と、予測タップ抽出回路５３から供給される予測タップとを用いて、式（１）に示した線形予測演算（積和演算）を行う。
【０１３４】
予測演算回路５６は、予測演算の結果得られる画素値を、デコード画像の解像度を向上させたリプレイ画像の予測値とし、ステップＳ３７に進み、１フレーム分の予測値が得られたか否かを判定する。ステップ３７において、１フレーム分の予測値が得られていないと判定された場合、ステップＳ３３に戻り、それ以降の処理が繰り返される。
【０１３５】
一方、ステップＳ３７において、１フレーム分の予測値が得られたと判定した場合、ステップＳ３８に進み、予測演算回路５６は、１フレーム分の予測値からリプレイ画像を構成し、それを合成回路１３（図１）に出力する。
【０１３６】
ステップＳ３９において、ADRCエンコーダ／デコーダ５１は、リプレイ終了か否かを判定し、終了でないと判定した場合、ステップＳ３２に戻り、それ以降の処理を繰り返す。例えば、ユーザにより指定された期間のリプレイ画像を生成して出力した場合、或いは、リプレイが要求されるまでにバッファ５２に記憶されていたADRCコード、ダイナミックレンジDR、最小値MINを表すデータの全てを用いてリプレイ画像を生成して出力した場合、ステップＳ３９において、リプレイ終了であることがADRCエンコーダ／デコーダ５１により判定され、処理は終了される。
【０１３７】
次に、図１３のフローチャートを参照して、図１２のステップＳ３５において行われる時間履歴クラス分類処理について説明する。
【０１３８】
ステップＳ５１において、DR履歴算出回路８１と波形履歴算出回路８２は、注目画素に対応する位置のSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータ、および、注目画素を含むフレームの前後１フレームの注目画素に対応する位置のSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータを取得する。
【０１３９】
ステップＳ５２において、波形履歴算出回路８２は、バッファ５２から読み出したADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのADRCコードに基づいて、注目画素に対応する位置のSD画素のADRCコード（波形）の時間的遷移を表す履歴Ｗhistを算出し、算出した履歴Ｗhistを表すデータをクラスコード算出回路８３に出力する。例えば、時刻ｔ−１のフレームの注目画素に対応する位置のSD画素のADRCコード、時刻ｔのフレームの注目画素に対応する位置のSD画素のADRCコード、時刻ｔ＋１のフレームの注目画素に対応する位置のSD画素のADRCコードを並べた３ビットのビット列が履歴Ｗhistとしてクラスコード算出回路８３に出力される。
【０１４０】
ステップＳ５３において、DR履歴算出回路８１は、バッファ５２から読み出したADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのダイナミックレンジDRを表すデータに基づいて、ダイナミックレンジDRの時間的遷移を表す履歴DRhistを算出する。
【０１４１】
上述したように、例えば、DR履歴算出回路８１は、時刻ｔ−１のフレームの注目画素に対応する位置のSD画素のダイナミックレンジDRt-1、時刻ｔのフレームの注目画素に対応する位置のSD画素のダイナミックレンジDRｔ、時刻ｔ＋１のフレームの注目画素に対応する位置のSD画素のダイナミックレンジDRt+1の遷移のパターンが、図１０Ａ乃至Ｄのいずれのパターンであるかを確認し、その遷移のパターンを表す２ビットを履歴DRhistとしてクラスコード算出回路８３に出力する。
【０１４２】
クラスコード算出回路８３は、ステップＳ５４において、DR履歴算出回路８１から入力される履歴DRhistを表すデータと、波形履歴算出回路８２から入力される履歴Ｗhistを表すデータからクラス分類を行い、その結果得られるクラスに対応する時間履歴クラスコードを係数メモリ５５に出力する。
【０１４３】
その後、図１２のステップＳ３６に進み、各フレームの注目画素毎に以上の処理が行われる。
【０１４４】
次に、図１４のフローチャートを参照して、画像を出力する図１の合成回路１３の処理について説明する。
【０１４５】
合成回路１３には、図５の処理により高画質化されたHD画像と、図１２の処理により生成されたリプレイ画像が適宜入力される。
【０１４６】
ステップＳ６１において、合成回路１３は、高画質化回路１１からのHD画像の入力があるか否かを判定し、入力があると判定するまで待機する。合成回路１３は、ステップＳ６１において、高画質化回路１１からのHD画像の入力があると判定した場合、ステップＳ６２に進み、リプレイ画像生成回路１２からのリプレイ画像の入力があるか否かを判定する。
【０１４７】
ステップＳ６２において、合成回路１３は、リプレイ画像生成回路１２からのリプレイ画像の入力がないと判定した場合、ステップＳ６３に進み、高画質化回路１１から入力されるHD画像をそのまま外部の表示装置２１（図２）に出力する。
【０１４８】
一方、合成回路１３は、ステップＳ６２において、高画質化回路１１からのHD画像の他に、リプレイ画像生成回路１２からのリプレイ画像の入力もあると判定した場合、ステップＳ６４に進み、高画質化回路１１から入力されるHD画像に対して、リプレイ画像をPinP表示させる。これにより、図２に示されるような画面が表示装置２１に表示される。
【０１４９】
また、表示されるリプレイ映像は、ADRCコード等の履歴に基づいたクラス分類処理が行われ、高画質化された画像からなるものである。従って、ADRCコード等から生成された画像がそのままリプレイ表示用の画像として表示される場合に較べて、より画質のよいものが表示されることになる。
【０１５０】
なお、以上においては、高画質化回路１１ではクラスタップに基づいたクラス分類処理が行われ、一方、リプレイ画像生成回路１２ではADRCコードやダイナミックレンジDRの履歴に基づいたクラス分類処理が行われるとしたが、リプレイ画像生成回路１２と同様に、高画質化回路１１においてもADRCコード等の履歴に基づいたクラス分類処理が行われ、入力されるSD画像の高画質化が図られるようにしてもよい。
【０１５１】
また、以上においては、リプレイ画像生成回路１２において、解像度を創造することでデコード画像の高画質化が図られるとしたが、デコード画像のブロックノイズを除去することやエッジを強調することでデコード画像の高画質化が図られるようにしてもよい。この場合、係数メモリ５５に記憶される予測係数を学習する後述する学習処理において、教師となる画像がそれぞれ異なるものとされ、予測係数が求められる。
【０１５２】
なお、時間履歴クラス分類処理回路５４において、履歴が算出される画素の特徴を表すデータは、ADRCコードやダイナミックレンジDRに限られず、これらの他、例えば、動きベクトルの履歴などの様々なデータに基づいて履歴が算出され、クラス分類が行われるようにしてもよい。また、履歴を算出するためのフレームの数は、図９に示されるように３フレームに限られず、それ以上の数のフレームから履歴が算出され、クラス分類が行われるようにしてもよい。
【０１５３】
図１５は、時間履歴クラス分類処理回路５４の他の構成例を示すブロック図である。
【０１５４】
図１５の時間履歴クラス分類処理回路５４は、図８の時間履歴クラス分類処理回路５４と較べて、履歴情報メモリ９１と合成回路９２が付加されている点が異なる。重複する説明については適宜省略する。
【０１５５】
履歴情報メモリ９１は、ADRCエンコーダ／デコーダ５１から入力されるそれぞれの画素の画素値の平均値を算出し、記憶している。図７を参照すると、例えば、画素Ｐ11乃至Ｐ33のそれぞれの画素の画素値の平均値が、各画素がADRCエンコーダ／デコーダ５１によりデコードされる毎に履歴情報メモリ９１により算出（更新）され、記憶される。その平均値は所定のビット数で表され、例えば、注目画素に対応する位置のSD画素の画素値の平均値が合成回路９２に出力される。
【０１５６】
なお、ADRCエンコーダ／デコーダ５１から入力される画素値に基づいて各画素の画素値の平均値が算出されるのではなく、履歴情報メモリ９１自身が、バッファ５２から入力されるデータに基づいて各画素を復号し、その画素値から平均値を算出するようにしてもよい。
【０１５７】
合成回路９２は、クラスコード算出回路８３により算出された時間履歴クラスコードを表すビット列に、履歴情報メモリ９１から供給される平均値を表すビット列を付加し、それを注目画素のクラスコードとして係数メモリ５５に出力する。係数メモリ５５からは、合成回路９２から供給されてきたクラスコードに対応する予測係数が予測演算回路５６に出力される。
【０１５８】
このように、注目画素の時間履歴クラスコードを表すビット列に、ある期間の注目画素に対応する位置のSD画素の画素値の平均値を表すビット列が付加されたものがクラスコードを表すビット列として算出されるから、画像の内容に応じた予測係数に基づいてより好適な予測値が得られる。例えば、１００フレームなどのように、比較的長い期間の画素値の平均値が用いられることで、特に、動きの少ない画像の画質を向上させることができる。
【０１５９】
ここで、図１６のフローチャートを参照して、図１５の時間履歴クラス分類処理回路５４により行われる時間履歴クラス分類処理について説明する。この処理も、上述した図１３の処理と同様に、図１２のステップＳ３５において行われるものである。
【０１６０】
ステップＳ７１乃至Ｓ７４の処理は、図１３のステップＳ５１乃至Ｓ５４とそれぞれ同じである。即ち、バッファ５２から、注目画素に対応する位置のSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータ、および、そのSD画素に対応する前後１フレームのSD画素のADRCコード、ダイナミックレンジDR、最小値MINを表すデータが読み出されたとき、ステップＳ７１において、DR履歴算出回路８１、波形履歴算出回路８２は、それぞれ、読み出されたそれらのデータを取得する。
【０１６１】
ステップＳ７２において、波形履歴算出回路８２は、バッファ５２から読み出したADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのADRCコードに基づいて、注目画素に対応する位置のSD画素のADRCコードの時間的な遷移を表す履歴Ｗhistを算出する。また、ステップＳ７３において、DR履歴算出回路８１は、バッファ５２から読み出したADRCコード、ダイナミックレンジDR、最小値MINを表すデータのうちのダイナミックレンジDRに基づいて、注目画素に対応する位置のSD画素のダイナミックレンジDRの時間的な遷移を表す履歴DRhistを算出する。
【０１６２】
クラスコード算出回路８３は、ステップＳ７４において、DR履歴算出回路８１から入力される履歴DRhistと、波形履歴算出回路８２から入力される履歴Ｗhistに基づいて時間履歴クラスコード算出し、算出した時間履歴クラスコードを合成回路９２に出力する。
【０１６３】
ステップＳ７５において、履歴情報メモリ９１は、ADRCエンコーダ／デコーダ５１から入力される、注目画素に対応する位置のSD画素の画素値に基づいて、それまでに記憶している、その画素の画素値の平均値を更新する。
【０１６４】
ステップＳ７６において、履歴情報メモリ９１は、更新した平均値を表す所定の数のビット列を生成し、合成回路９２に出力する。
【０１６５】
合成回路９２は、ステップＳ７７において、履歴情報メモリ９１から供給されるビット列を、波形履歴算出回路８２によりステップＳ７４で算出された時間履歴クラスコードを表すビット列に付加し、それを係数メモリ５５に出力する。その後、図１１のステップＳ３６に進み、各フレームの注目画素毎に上述した処理が行われる。
【０１６６】
このように、上述したような３フレームなどの比較的短い期間のダイナミックレンジDRの履歴（遷移）に基づいて予測係数が決定される場合と較べて、長い期間の履歴を考慮して予測係数を決定するようにすることもできる。また、長い期間の履歴を考慮する場合でも、図１５の時間履歴クラス分類処理回路５４では、画素値の平均値が、その長い期間の履歴を表すものとして用いられていることから、少ないデータ量（平均値を表すだけのビット数）で、それを表すことができる。
【０１６７】
図１７は、図３の係数メモリ３５に記憶させる予測係数を学習する学習装置１０１の構成例を示すブロック図である。
【０１６８】
教師データとしてのHD画像（図１７、図１８の説明において、以下、教師画像という）は、例えば、フレーム単位でフレームメモリ１１１に供給され、フレームメモリ１１１は、供給される教師画像を順次記憶する。
【０１６９】
なお、図３の高画質化回路１１において求められるHD画像は５２５ｐの画像であるとしたため、学習装置１０１で用いられる教師画像としては、そのような５２５ｐの画像とされる。
【０１７０】
生徒データ生成回路１１２は、フレームメモリ１１１に記憶された教師画像を、例えば、フレーム単位で読み出し、LPF(Low Pass Filter)をかけることによって、画像の周波数帯域を下げ、さらに、画素の水平方向の間引きおよび垂直方向の間引きを行うことによって、画素数を減少させる。これにより、生徒データ生成回路１１２は、教師画像の解像度を低下させ、生徒データとしてのSD画像（図１７、図１８の説明において、以下、生徒画像という）を生成し、生徒データメモリ１１３に記憶させる。生徒データ生成回路１１２により生成されるSD画像である生徒画像は、図２の高画質化回路１１に入力されるSD画像に対応する。
【０１７１】
予測タップ抽出回路１１４は、フレームメモリ１１１に記憶されている教師画像を構成する画素（以下、適宜、教師画素という）を、順次、注目画素とし、その注目画素の位置に対応する生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画像の画素（以下、適宜、生徒画素という）を予測タップとする。
【０１７２】
即ち、予測タップ抽出回路１１４は、図３の予測タップ抽出回路３２と同様のパターンで、例えば、注目画素の位置に最も近い、生徒画像（SD画像）の生徒画素、およびその上下左右に隣接する４個の生徒画素、並びに、注目画素の位置に最も近い生徒画素に対応する、前後１フレームの生徒画素の合計７画素を予測タップとして設定する。予測タップ抽出回路１１４は、そのような生徒画素で構成される予測タップを足し込み回路１１５に出力する。
【０１７３】
クラスタップ抽出回路１１６は、注目画素の位置に対応する、生徒画像の位置から空間的または時間的に近い位置にある幾つかの生徒画素を生徒データメモリ１１３から読み出し、クラス分類に用いるクラスタップを設定する。クラスタップ抽出回路１１６は、そのような生徒画素で構成されるクラスタップをクラス分類処理回路１１７に出力する。
【０１７４】
クラス分類処理回路１１７は、図３のクラス分類処理回路３４と同様に、クラスタップ抽出回路１１６からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを足し込み回路１１５に供給する。
【０１７５】
足し込み回路１１５は、注目画素となっている教師画素をフレームメモリ１１１から読み出し、予測タップ抽出回路１１４からの予測タップ（を構成する生徒画素）と、注目画素（教師画素）を対象とした足し込みを行う。
【０１７６】
即ち、足し込み回路１１５は、クラス分類処理回路１１７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）のタップ係数にかかる左辺の行列における各コンポーネントとなっている、生徒画素どうしの乗算（ｘn,kｘn,k）と、サメーション（Σ）に相当する演算を行う。
【０１７７】
さらに、足し込み回路１１５は、やはり、クラス分類処理回路１１７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）の右辺における各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１７８】
足し込み回路１１５は、以上の足し込みを、フレームメモリ１１１に記憶された教師画素すべてを注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式がたてられる。
【０１７９】
予測係数決定回路１１８は、足し込み回路１１５においてクラスごとに生成された正規方程式を解くことによりクラスごとの予測係数を求め、それを出力する。出力された予測係数は、係数メモリ３５の、各クラスに対応するアドレスに記憶される。
【０１８０】
次に、図１８のフローチャートを参照して、図１７の学習装置１０１の学習処理について説明する。
【０１８１】
ステップＳ９１において、フレームメモリ１１１は、予測係数の学習用のものとして入力される教師画像を記憶する。
【０１８２】
生徒データ生成回路１１２は、ステップＳ９２において、フレームメモリ１１１に記憶された教師画像を処理することにより、生徒画像としての５２５ｉ（水平ライン数が５２５のインタレース方式）または２６２ｐ（水平ライン数が２６２のプログレッシブ方式）のSD画像を生成する。生徒データ生成回路１１２により生成された生徒画像は、生徒データメモリ１１３に供給され、記憶される。
【０１８３】
ステップＳ９３において、フレームメモリ１１１に記憶された教師画素のうちの、まだ、注目画素とされていないものが注目画素とされ、予測タップ抽出回路１１４は、生徒データメモリ１１３に記憶された生徒画素を上述したようにして選択することにより、注目画素についての予測タップを抽出する。また、ステップＳ９３において、クラスタップ抽出回路１１６は、生徒データメモリ１１３に記憶された生徒画素を上述したようにして選択することにより、注目画素についてのクラスタップを抽出する。
【０１８４】
予測タップ抽出回路１１４により抽出された予測タップは足し込み回路１１５に供給され、クラスタップ抽出回路１１６により抽出されたクラスタップはクラス分類処理回路１１７に供給される。
【０１８５】
クラス分類処理回路１１７は、ステップＳ９４において、クラスタップ抽出回路１１６からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを足し込み回路１１５に供給する。
【０１８６】
ステップＳ９５において、足し込み回路１１５は、注目画素となっている教師画素をフレームメモリ１１１から読み出し、予測タップ（を構成する生徒画素）、注目画素（教師画素）を対象とし、式（８）の各コンポーネントの、上述したような足し込みを、クラス分類処理回路１１７からのクラスごとに行う。
【０１８７】
ステップＳ９６において、フレームメモリ１１１に記憶された教師画像を構成する教師画素すべてを注目画素として足し込みを行ったかどうかが判定される。ステップＳ９６において、まだ、教師画素のすべてを注目画素として足し込みを行っていないと判定された場合、ステップＳ９３に戻り、それ以降の処理が繰り返される。この場合、まだ、注目画素されていない教師画素のうちの１つが新たに注目画素とされ、ステップＳ９３乃至Ｓ９５の処理が繰り返される。
【０１８８】
一方、ステップＳ９６において、教師画素すべてを注目画素として足し込みを行ったと判定された場合、即ち、足し込み回路１１５においてクラスごとの正規方程式が得られた場合、ステップＳ９７に進み、予測係数決定回路１１８は、そのクラスごとに生成された正規方程式を解くことにより、クラスごとの予測係数を決定する。予測係数決定回路１１８により決定された予測係数は外部に出力され、処理が終了される。
【０１８９】
図１９は、図６の係数メモリ５５に記憶させる予測係数を学習する学習装置１３１の構成例を示すブロック図である。
【０１９０】
なお、学習装置１３１で用いられる教師データは、図６のリプレイ画像生成回路１２において求められるリプレイ画像に相当する画像である（図６のリプレイ画像生成回路１２において求められるリプレイ画像が、学習装置１３１で用いられる教師データに相当する）。
【０１９１】
教師データとしての画像（図１９、図２０の説明においては、以下、教師画像という）は、例えば、フレーム単位でフレームメモリ１４１に供給され、フレームメモリ１４１は、供給される教師画像を順次記憶する。
【０１９２】
ADRCエンコーダ１４２は、図６のADRCエンコーダ／デコーダ５１と同様に、フレームメモリ１４１に記憶されている教師画像を、例えば、９×９の画素からなるブロックに分割し、各ブロックを構成する画素に対して１ビットADRC処理を施す。ADRCエンコーダ１４２は、ADRC処理により得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータを時間履歴クラス分類処理回路１４３とADRCデコーダ１４４に出力する。
【０１９３】
時間履歴クラス分類処理回路１４３は、フレームメモリ１４１に記憶されている教師画像を構成する画素（図１９、図２０の説明においては、以下、教師画素という）を、順次、注目画素とし、その注目画素のADRCコード、注目画素を含むブロック（ADRC処理の単位となるブロック）のダイナミックレンジDR、最小値MINを表すデータ、および、注目画素に対応する位置にある、前後１フレームの画素のADRCコード、その画素を含むブロックのダイナミックレンジDR、最小値MINを表すデータをADRCエンコーダ１４２の出力から取得し、クラス分類を行う。
【０１９４】
時間履歴クラス分類処理回路１４３においては、図８を参照して説明したように、注目画素に対応する位置のダイナミックレンジDRの遷移と、ADRCコードの遷移に基づいてクラス分類が行われ、その結果得られるクラスに対応する時間履歴クラスコードが足し込み回路１４６に出力される。
【０１９５】
ADRCデコーダ１４４は、図６のADRCエンコーダ／デコーダ５１がユーザからのリプレイ要求を受けたときと同様に、ADRCエンコーダ１４２により生成されたADRCコード、ダイナミックレンジDR、最小値MINを表すデータに基づいて各ブロックを構成する画素をデコードし、それを繰り返すことで１フレームのデコード画像を生成する。ADRCデコーダ１４４により生成されたデコード画像は、学習装置１３１に入力されるリプレイ画像と同じ解像度の画像に較べて劣化しているものであり、学習装置１３１においては生徒画像となる。
【０１９６】
予測タップ抽出回路１４５は、ADRCデコーダ１４４により生成された生徒画像を構成する画素（図１９、図２０の説明においては、以下、生徒画素という）のうち、注目画素に対応する位置から空間的または時間的に近い位置にある幾つかの生徒画素を予測タップとする。
【０１９７】
予測タップ抽出回路１４５は、図６の予測タップ抽出回路５３と同様に、注目画素に対応する位置に最も近い生徒画素、およびその左上、上、右上、左、右、左下、右下に隣接する８個の生徒画素、並びに、注目画素に対応する位置に最も近い生徒画素に対応する位置にある、１フレーム前の生徒画素を中心とした９画素（その生徒画素を含む）、および１フレーム後の生徒画素を中心とした９画素（その生徒画素を含む）の合計２７画素を予測タップとして設定する。予測タップ抽出回路１４５は、そのような２７画素からなる予測タップを足し込み回路１４６に出力する。
【０１９８】
足し込み回路１４６は、注目画素となっている教師画素をフレームメモリ１４１から読み出し、予測タップ抽出回路１４５からの予測タップ（を構成する生徒画素）と、注目画素（教師画素）を対象とした足し込みを行う。
【０１９９】
即ち、足し込み回路１４６は、時間履歴クラス分類処理回路１４３から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）を用い、式（８）のタップ係数にかかる左辺の行列における各コンポーネントとなっている、生徒画素どうしの乗算（ｘn,kｘn,k）と、サメーション（Σ）に相当する演算を行う。
【０２００】
さらに、足し込み回路１４６は、やはり、時間履歴クラス分類処理回路１４３から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）および注目画素（教師画素）を用い、式（８）の右辺における各コンポーネントとなっている、生徒画素と注目画素（教師画素）の乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２０１】
足し込み回路１４６は、以上の足し込みを、フレームメモリ１４１に記憶された教師画素すべてを注目画素として行い、これにより、クラスごとに、式（８）に示した正規方程式がたてられる。
【０２０２】
予測係数決定回路１４７は、足し込み回路１４６においてクラスごとに生成された正規方程式を解くことによりクラスごとの予測係数を求め、それを出力する。出力された予測係数は、係数メモリ５５の、各クラスに対応するアドレスに記憶される。
【０２０３】
次に、図２０のフローチャートを参照して、図１９の学習装置１３１の学習処理について説明する。
【０２０４】
ステップＳ１１１において、フレームメモリ１４１は、予測係数の学習用のものとして入力される教師画像となるリプレイ画像と同じ解像度の画像を記憶する。
【０２０５】
ADRCエンコーダ１４２は、ステップＳ１１２において、フレームメモリ１４１に記憶されている教師画像を、所定の画素からなる複数のブロックに分割し、各ブロックに対して１ビットADRC処理（ADRCエンコード）を施す。ADRCエンコーダ１４２は、ADRC処理により得られたADRCコード、ダイナミックレンジDR、最小値MINを表すデータを時間履歴クラス分類処理回路１４３とADRCデコーダ１４４に出力する。
【０２０６】
ステップＳ１１３において、ADRCデコーダ１４４は、ADRCエンコーダ１４２により生成されたADRCコード、ダイナミックレンジDR、最小値MINを表すデータに基づいて各ブロックの画素をデコードし、それを繰り返すことで、生徒画像となる１フレームのデコード画像を生成する。
【０２０７】
ステップＳ１１４において、ADRCエンコーダ１４２からADRCコード、ダイナミックレンジDR、最小値MINを表すデータが供給されてきたとき、教師画素のうちの、まだ、注目画素とされていないものが注目画素とされ、時間履歴クラス分類処理回路１４３は、注目画素に対応する位置のダイナミックレンジDRの遷移と、ADRCコードの遷移に基づいてクラス分類を行う。その結果得られるクラスに対応する時間履歴クラスコードは、足し込み回路１４６に出力される。
【０２０８】
ステップＳ１１５において、予測タップ抽出回路１４５は、ADRCデコーダ１４４により生成された生徒画像を構成する生徒画素のうち、注目画素の位置に対応する位置から空間的または時間的に近い位置にある幾つかの生徒画素を予測タップとして抽出し、抽出した予測タップを足し込み回路１４６に出力する。
【０２０９】
ステップＳ１１６において、足し込み回路１４６は、注目画素となっている教師画素をフレームメモリ１４１から読み出し、予測タップ、注目画素である教師画素を対象とし、式（８）の各コンポーネントの上述したような足し込みを、時間履歴クラス分類処理回路１４３からのクラスごとに行う。
【０２１０】
ステップＳ１１７において、フレームメモリ１４１に記憶された教師画像を構成する教師画素すべてを注目画素として足し込みを行ったかどうかが判定される。ステップＳ１１７において、まだ、教師画素のすべてを注目画素として、足し込みを行っていないと判定された場合、ステップＳ１１４に戻り、それ以降の処理が繰り返される。この場合、まだ、注目画素されていない教師画素のうちの１つが新たに注目画素とされ、ステップＳ１１４乃至Ｓ１１６の処理が繰り返される。
【０２１１】
一方、ステップＳ１１７において、教師画素すべてを注目画素として足し込みを行ったと判定された場合、即ち、足し込み回路１４６においてクラスごとの正規方程式が得られた場合、ステップＳ１１８に進み、予測係数決定回路１４７は、そのクラスごとに生成された正規方程式を解くことによりクラスごとの予測係数を決定する。予測係数決定回路１４７により決定された予測係数は外部に出力され、処理が終了される。
【０２１２】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアによって行う場合、そのソフトウエアを構成するプログラムが、記録媒体等を介して汎用のコンピュータにインストールされる。
【０２１３】
図２１は、上述した一連の処理を実行するプログラムがインストールされるパーソナルコンピュータ１６１の構成例を示すブロック図である。
【０２１４】
パーソナルコンピュータ１６１に装着される記録媒体であるリムーバブルメディア１８１は、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（登録商標）(Mini-Disk)を含む）、もしくは半導体メモリなどより構成される。
【０２１５】
図２１において、CPU(Central Processing Unit)１７１は、ROM(Read Only Memory)１７２に記憶されているプログラム、または、記憶部１７８からRAM(Random Access Memory)１７３にロードされたプログラムに従って各種の処理を実行する。RAM１７３にはまた、CPU１７１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０２１６】
CPU１７１、ROM１７２、およびRAM１７３は、バス１７４を介して相互に接続されている。このバス１７４にはまた、入出力インタフェース１７５も接続されている。
【０２１７】
入出力インタフェース１７５には、キーボード、マウスなどよりなる入力部１７６、CRT(Cathode Ray Tube)，LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部１７７、ハードディスクなどより構成される記憶部１７８、ネットワークを介しての通信処理を行う通信部１７９が接続されている。
【０２１８】
入出力インタフェース１７５にはまた、必要に応じてドライブ１８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１８１が適宜装着され、それから読み出されたコンピュータプログラムが記憶部１７８にインストールされる。
【０２１９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２２０】
【図１】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図２】表示装置が表示する画面の例を示す図である。
【図３】図１の高画質化回路の構成例を示すブロック図である。
【図４】予測タップを構成する画素の例を示す図である。
【図５】高画質化回路の高画質化処理について説明するフローチャートである。
【図６】図１のリプレイ画像生成回路の構成例を示すブロック図である。
【図７】予測タップを構成する画素の例を示す図である。
【図８】図６の時間履歴クラス分類処理回路の構成例を示すブロック図である。
【図９】ダイナミックレンジDRの遷移について示す図である。
【図１０】ダイナミックレンジDRの遷移のパターンについて示す図である。
【図１１】リプレイ画像生成回路の圧縮処理について説明するフローチャートである。
【図１２】リプレイ画像生成回路のリプレイ画像生成処理について説明するフローチャートである。
【図１３】図１２のステップＳ３５において実行される時間履歴クラス分類処理について説明するフローチャートである。
【図１４】合成回路の出力処理について説明するフローチャートである。
【図１５】図６の時間履歴クラス分類処理回路の他の構成例を示すブロック図である。
【図１６】時間履歴クラス分類処理回路の時間履歴クラス分類処理について説明するフローチャートである。
【図１７】図３の係数メモリに記憶させる予測係数を学習する学習装置の構成例を示すブロック図である。
【図１８】図１７の学習装置の学習処理について説明するフローチャートである。
【図１９】図６の係数メモリに記憶させる予測係数を学習する学習装置の構成例を示すブロック図である。
【図２０】図１９の学習装置の学習処理について説明するフローチャートである。
【図２１】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２２１】
１  画像処理装置，  １１  高画質化回路，  １２  リプレイ画像生成回路，  １３  合成回路，  ５１  ADRCエンコーダ／デコーダ，  ５２  バッファ，  ５３  予測タップ抽出回路，  ５４  時間履歴クラス分類処理回路，  ５５  係数メモリ，  ５６  予測演算回路，  ８１  DR履歴算出回路，  ８２  波形履歴算出回路，  ８３  クラスコード算出回路，  ９１  履歴情報メモリ，  ９２  合成回路
【図１】
2005192147.tif 000011
【図２】
2005192147.tif 000012
【図３】
2005192147.tif 000013
【図４】
2005192147.tif 000014
【図５】
2005192147.tif 000015
【図６】
2005192147.tif 000016
【図７】
2005192147.tif 000017
【図８】
2005192147.tif 000018
【図９】
2005192147.tif 000019
【図１０】
2005192147.tif 000020
【図１１】
2005192147.tif 000021
【図１２】
2005192147.tif 000022
【図１３】
2005192147.tif 000023
【図１４】
2005192147.tif 000024
【図１５】
2005192147.tif 000025
【図１６】
2005192147.tif 000026
【図１７】
2005192147.tif 000027
【図１８】
2005192147.tif 000028
【図１９】
2005192147.tif 000029
【図２０】
2005192147.tif 000030
【図２１】
2005192147.tif 000031