(57)【特許請求の範囲】
【請求項１】
入力された画像データの画像から生成された前記入力された画像データの画像より上位の解像度の画像に関するユーザの嗜好に基づく嗜好情報を取得する取得手段と、
取得された前記嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数を演算する第１の係数演算手段と、
前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算手段と、
前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算手段と、
前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記取得手段は、前記嗜好情報に対応する画像表示に関するパラメータであって、前記ユーザが表示された前記入力された画像データの画像より上位の解像度の画像を見て指定した画像表示に関する指定値をさらに取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記指定値は、表示された前記入力された画像データの画像より上位の解像度の画像の解像度とノイズ除去度の一方または両方に関するパラメータを含む
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第１の係数演算手段は、前記標準的な複数の画像を予め学習することで生成された係数と、前記指定値に基づいて前記第１の係数を演算する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記第２の係数演算手段は、前記入力された画像データの画像を縮小した画像の画像データを生成し、その縮小した画像の画像データと、前記入力された画像データとから、前記第２の係数を演算する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記第３の係数演算手段は、前記第１の係数、前記第２の係数、及びユーザの満足度に基づく情報に基づいて正規方程式を生成し、その正規方程式を解くことで前記第３の係数を演算する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記データ演算手段は、
前記処理対象画像を縮小した画像の画像データを生成し、その縮小した画像の画像データと、前記処理対象画像の画像データとから、前記第４の係数を演算する第４の演算手段と、
前記処理対象画像に関する前記ユーザの満足度に基づく情報を入力する入力手段と、
前記第３の係数、前記第４の係数、および前記処理対象画像に関する前記ユーザの満足度に基づく情報に基づいて、第５の係数を演算する第５の演算手段と、
前記第５の係数と、前記処理対象画像の画像データに基づいて、前記処理対象画像より上位の解像度の画像の画素データを演算する画素データ演算手段と
を備えることを特徴とする請求項６に記載の情報処理装置。
【請求項８】
入力された画像データの画像から生成された前記入力された画像データの画像より上位の解像度の画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、
取得された前記嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数を演算する第１の係数演算ステップと、
前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、
前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、
前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップと
を含むことを特徴とする情報処理方法。
【請求項９】
入力された画像データの画像から生成された前記入力された画像データの画像より上位の解像度の画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、
取得された前記嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数を演算する第１の係数演算ステップと、
前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、
前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、
前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１０】
入力された画像データの画像から生成された前記入力された画像データの画像より上位の解像度の画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、
取得された前記嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数を演算する第１の係数演算ステップと、
前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、
前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、
前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特にユーザの嗜好に合った、より高解像度の画像を生成することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
本出願人は、入力画像からより高い解像度の画像を生成することを先に提案している（例えば、特許文献１）。
【０００３】
この先の提案においては、入力画像からその画像を間引くことで間引き画像がを生成され、入力画像と間引き画像との間で学習対がを生成される。そしてこの学習対を用いて、入力画像と間引き画像の相関関係に対応する予測係数がを生成され、この予測係数を入力画像に適用することで高解像度の画像データが生成される。
【０００４】
【特許文献１】特開平１０−１１２８４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、先の提案は、入力画像自身の特徴を予測係数に反映させることができ、実際に入力された画像の特徴に合った画像を生成することができるが、。ユーザ毎にその嗜好に合った最適な画像を提供することが困難である課題があった。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、ユーザ毎にその嗜好に合った最適な画像を提供することができるようにするものである。
【課題を解決するための手段】
【０００７】
請求項１の情報処理装置は、入力された画像データの画像から生成された前記入力された画像データの画像より上位の解像度の画像に関するユーザの嗜好に基づく嗜好情報を取得する取得手段と、取得された前記嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数を演算する第１の係数演算手段と、前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算手段と、前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算手段と、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算手段とを備えることを特徴とする。
【０００８】
前記取得手段は、嗜好情報に対応する画像表示に関するパラメータであって、ユーザが表示された入力された画像データの画像より上位の解像度の画像を見て指定した画像表示に関する指定値をさらに取得するようにすることができる。
【０００９】
前記指定値は、表示された入力された画像データの画像より上位の解像度の画像の解像度とノイズ除去度の一方または両方に関するパラメータを含むようにすることができる。
【００１０】
前記第１の係数演算手段は、標準的な複数の画像を予め学習することで生成された係数と、指定値に基づいて第１の係数を演算するようにすることができる。
【００１１】
前記第２の係数演算手段は、入力された画像データの画像を縮小した画像の画像データを生成し、その縮小した画像の画像データと、入力された画像データとから、第２の係数を演算するようにすることができる。
【００１２】
前記第３の係数演算手段は、第１の係数、第２の係数、及びユーザの満足度に基づく情報に基づいて正規方程式を生成し、その正規方程式を解くことで第３の係数を演算するようにすることができる。
【００１３】
前記データ演算手段は、処理対象画像を縮小した画像の画像データを生成し、その縮小した画像の画像データと、処理対象画像の画像データとから、第４の係数を演算する第４の演算手段と、処理対象画像に関するユーザの満足度に基づく情報を入力する入力手段と、第３の係数、第４の係数、および処理対象画像に関するユーザの満足度に基づく情報に基づいて、第５の係数を演算する第５の演算手段と、第５の係数と、処理対象画像の画像データに基づいて、処理対象画像より上位の解像度の画像の画素データを演算する画素データ演算手段とを備えるようにすることができる。
【００１４】
請求項８の情報処理方法は、入力された画像データの画像から生成された前記入力された画像データの画像より上位の解像度の画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、取得された前記嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数を演算する第１の係数演算ステップと、前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップとを含むことを特徴とする。
【００１５】
請求項９の記録媒体のプログラムは、入力された画像データの画像から生成された前記入力された画像データの画像より上位の解像度の画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、取得された前記嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数を演算する第１の係数演算ステップと、前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップとをコンピュータに実行させるためのプログラムであることを特徴とする。
【００１６】
請求項１０のプログラムは、入力された画像データの画像から生成された前記入力された画像データの画像より上位の解像度の画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、取得された前記嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数を演算する第１の係数演算ステップと、前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップとをコンピュータに実行させることを特徴とする。
【００１７】
本発明においては、ユーザの嗜好情報及び標準的な複数の画像を予め学習することで生成された係数に基づいて第１の係数が演算され、第１の係数を用いて第３の係数が演算され、第３の係数と、処理対象画像とその下位の解像度の自己相似関係を表す第４の係数とに基づいて、処理対象画像より上位の解像度の画像の画像データが演算される。
【発明の効果】
【００１８】
本発明によれば、より上位の解像度の画像の画像データを生成することが可能となる。特に、各ユーザの嗜好に合った画像の画像データを生成することが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態について説明する。図１は、本発明を適用した情報処理装置としての画像処理装置の構成例を表している。この画像処理装置１は、入力装置１１、処理装置１２、出力装置１３、および記憶装置１４により構成されている。これらの装置は、図示されているように、各々を個別の装置として独立させることもできるし、１つの装置としてまとめることもできる。
【００３２】
入力装置１１は、例えば、テレビジョン放送を受信するチューナ、あるいはディスクやテープなどの記録媒体に記録されているコンテンツデータを再生する再生装置などにより構成される。入力装置１１は、入力したコンテンツデータを処理装置１２に出力する。入力装置１１はまた、ユーザの操作に対応した操作データを処理装置１２に出力する。処理装置１２は、入力装置１１より入力されたコンテンツデータを処理し、より高品位のコンテンツデータに変換して出力装置１３に供給する。出力装置１３は、画像を表示する表示部と、音声を出力するスピーカを有し、処理装置１２より供給されたコンテンツデータを画像として表示するとともに、対応する音声を出力する。記憶装置１４は、処理装置１２より供給された操作データを記憶する。処理装置１２は、この操作データを記憶装置１４から適宜読み出し、より高品位の、具体的にはより高解像度の画像データを生成するのに必要な係数を演算する。
【００３３】
この画像処理装置１において行われる画像処理の原理について、以下に説明する。図２に示されるように、画像処理装置２１は、学習部２１と出力画像生成部２２とを有し、学習部２１において、係数創造用差分データが生成され、この係数創造用差分データを用いて出力画像生成部２２において、解像度創造処理において用いられる最終係数データが生成される。
【００３４】
学習部２１においては、ユーザの操作履歴が収集される。すなわち、図３に示されるように、画像処理装置１においては、解像度創造処理（例えば、後述する図１９のステップＳ３０の処理）により、入力されたSD（Standard Definition）画像からHD（High Definition）画像が生成される。ユーザは、生成されたHD画像をみて、そのHD画像をより自分自身の嗜好にあった画質の画像にするためにパラメータの調整を行う。この調整は、例えば、解像度とノイズ除去度のパラメータを設定することで行われる。ユーザが設定したパラメータに基づいて、解像度創造処理が行われることで、生成されるHD画像は、ユーザの嗜好に合った画質の画像となる。このとき、ユーザが画質調整のために設定したパラメータの値は、設定値操作履歴データとして記憶される（例えば、後述する図１９のステップＳ２４の処理）。
【００３５】
学習部２１においてはまた、入力画像の自己相似係数が演算される。すなわち、図４に示されるように、入力画像から、例えばその画素密度を１／４に縮小することで縮小画像（１／４SD画像）が生成される（例えば、後述する図２１のステップＳ５２の処理）。そして、その縮小画像と入力画像との相関学習が行われ、自己相似学習データ（例えば、後述する自己相似係数種）が生成される（例えば、後述する図２１のステップＳ５７の処理）。
【００３６】
このようにして生成されたSD画像と、それを縮小して生成された縮小画像（１／４SD画像）との自己相似の関係は、図５に示されるように、SD画像に対して４倍の画素密度を有する（より高解像度の）HD画像とSD画像との自己相似の関係と近似した関係を有すると考えられる。そこで、この画像処理装置１においては、このSD画像と縮小画像との自己相似関係を利用してSD画像からHD画像を生成するのであるが、この画像処理装置１においては、さらにユーザの嗜好を反映させるために、自己相似係数とユーザの操作履歴との関係を解析するための相関解析処理が行われる。
【００３７】
すなわち、図６に示されるように、この画像処理装置１においては、ユーザが視聴する画像とは無関係に標準的な画像を学習することで生成された標準的学習データ群（例えば、後述する図１７の係数種データ保持部２１１に保持されている係数種データ）が予め保持されている。この標準的学習データ群と、ユーザの嗜好を表す設定値操作履歴データを多項式演算することで、係数データβ（後述する式（２）の係数Ｗi）が演算される（例えば、後述する図２２のステップＳ７３の処理）。
【００３８】
このようにして生成された係数データβは、SD画像とその縮小画像の自己相似に基づいて生成された係数データαと形式的には同種のデータであるが、決定される系が違うので、両者の間には距離がある（差がある）。
【００３９】
このことを模式的に表すと、次のようになる。すなわち、係数データαと係数データβは、いずれも図７に示されるように、各画素位置（図７の横軸）において、所定の値（図７の縦軸）を有している。図８Ａに示されるように、係数データαは、所定の空間における所定の点として表される。図８Ａにおいては、点Ａ乃至点Ｅとして係数データαが表されている。同様に、係数データβも、図８Ｂに示されるように、所定の空間における点Ａ’乃至点Ｅ’として表される。従って、係数データαと係数データβとの差が、図８Ｃに示されるように、所定の係数空間における差分のデータとして表される。図８Ｃにおいては、点Ａ−Ａ’乃至点Ｅ−Ｅ’として表されている。
【００４０】
この係数データαと係数データβとの差により表される係数データが、図２における学習部２１において、係数創造用差分データ（例えば、後述する履歴係数種データkfij）として生成され、出力画像生成部２２に供給される。
【００４１】
出力画像生成部２２においては、ユーザがそのとき実際に視聴している処理対象としての画像（係数創造用差分データを生成するのに利用された画像とは異なる画像）の自己相似係数が、学習部２１における場合と同様にして生成される。そして、このようにして生成された自己相似係数が、学習部２１より供給された係数創造用差分データと加工されることで最終係数データ（例えば、後述する式（２３）の係数Ｂi）が生成される。そして、この最終係数データを用いて、解像度創造処理が実行される。すなわち、入力されたSD画像から対応するより高解像度のHD画像が生成される。
【００４２】
以上をまとめると、この画像処理装置１の処理は、図９乃至図１１に示されるように、３つのフェーズから構成される。第１のフェーズにおいては、図９に示されるように、入力装置１１から入力された画像に対して、標準的学習データ群と設定されたパラメータに基づいて、処理装置１２において解像度創造処理が実行される。創造されたHD画像が出力装置１３に供給され、表示される。そして、このとき、ユーザが画像をみてその画質を設定、調整する操作に対応する設定値操作履歴データが記憶装置１４に供給され、記憶される。
【００４３】
以上の処理が、例えば３ヶ月間など、所定の期間実行され、所定量の設定値操作履歴データが収集された段階で、図１０に示されるように、第２のフェーズの処理が実行される。第２のフェーズの処理においては、それまでに記憶装置１４に記憶された設定値操作履歴データが処理装置１２により読み出され、処理装置１２はこの設定値操作履歴データを統計的に解析することで係数創造用差分データを生成する。
【００４４】
そして、図１１に示されるように、第３のフェーズにおいて、入力装置１１から新たな画像が処理対象画像として入力されると、処理装置１２はこの入力画像に対して係数創造用差分データを適用することで、解像度創造処理を実行し、SD画像からHD画像を生成し、出力装置１３に出力し、表示させる。
【００４５】
次に、画像処理装置１の機能的構成例について説明する。画像処理装置１は、基本的に図１２に示されるように、画像入力部１０１、データ収集部１０２、データ解析部１０３、履歴使用信号処理部１０４、および画像出力部１０５により構成される。
【００４６】
画像入力部１０１は、図１の入力装置１１に対応し、ユーザが視聴する画像を入力する。データ収集部１０２は、図１の処理装置１２と記憶装置１４に対応し、画像入力部１０１より入力画像データを入力するとともに、ユーザの操作入力にともなうデータを収集し記憶する。すなわち、データ収集部１０２は、主に図９を参照して説明したフェーズ１の処理を実行する。データ収集部１０２は、フェーズ１の段階において、画像入力部１０１より入力されたSD画像データからHD画像データを生成し、画像出力部１０５に出力する。データ収集部１０２は、さらに、入力画像を縮小した縮小画像を生成し、入力画像と縮小画像との自己相似係数を演算し、ユーザ操作履歴データに対応して記憶する。
【００４７】
データ解析部１０３は、図１の処理装置１２により対応し、データ収集部１０２により記憶されたユーザ操作履歴データと、自己相似係数種履歴データを取得し、それらを解析することで履歴係数種データを生成する。すなわち、データ解析部１０３は、主に図１０に示されるフェーズ２の段階での処理を実行する。
【００４８】
このデータ解析部１０３は、データ収集部１０２とともに、図２における学習部２１に対応する。
【００４９】
履歴使用信号処理部１０４は、図１１を参照して説明したフェーズ３の段階の処理を主に実行する。すなわち、履歴使用信号処理部１０４は、図１の処理装置１２、並びに図２の出力画像生成部２２に対応し、データ解析部１０３により履歴係数種データが生成された後（学習処理が終了した後）、その履歴係数種データと、新たに画像入力部１０１より入力されるSD画像データと履歴係数種データに基づいてHD画像データを生成し、画像出力部１０５に出力する。
【００５０】
画像出力部１０５は、図１における出力装置１３に対応し、フェーズ１の段階においてデータ収集部１０２より供給されるHD画像データに基づくHD画像、またはフェーズ３の段階において履歴使用信号処理部１０４より供給されるHD画像データに基づくHD画像をユーザに呈示する。
【００５１】
データ収集部１０２は、図１３に示されるように、操作履歴取得部１１１と自己相似履歴取得部１１２により構成される。操作履歴取得部１１１は、ユーザの操作に基づく操作データを取得し、ユーザ操作履歴データとして記憶するとともに、画像入力部１０１より供給された入力画像（SD画像）データから出力画像（HD画像）データを生成し、画像出力部１０５に出力する。操作履歴取得部１１１はまた、収集したユーザ操作履歴データをデータ解析部１０３の係数計算部２１２（後述する図１７参照）に供給する。
【００５２】
自己相似履歴取得部１１２は、画像入力部１０１より供給された入力画像（SD画像）データから自己相似係数種履歴データを生成し、データ解析部１０３の係数差分処理部２１３（後述する図１７参照）に出力する。
【００５３】
図１４は、操作履歴取得部１１１の構成例を表している。この構成図においては、操作履歴取得部１１１は、設定値調整部１３１、操作履歴記録部１３２、および解像度創造処理部１３３により構成されている。設定値調整部１３１は、ユーザの操作に基づく操作入力を取得し、それに基づいて画質を選択調整するための画質選択信号を生成し、解像度創造処理部１３３の係数計算部１４２に出力するとともに、操作履歴記録部１３２に供給する。設定値調整部１３１はまた、ユーザからその意向を反映する意向反映度が入力されると、それを操作履歴記録部１３２に出力する。操作履歴記録部１３２は、設定値調整部１３１より供給された画質選択信号と意向反映度を対応して記録する。
【００５４】
解像度創造処理部１３３は、係数種データ保持部１４１、係数計算部１４２、および出力画素値計算部１４３により構成されている。係数種データ保持部１４１は、標準的な画像（ユーザが実際に視聴する画像とは異なる画像）を学習することで生成された係数種データを予め保持する。
【００５５】
すなわち、出力画素値計算部１４３においては、次式に基づいて入力されたSD画像データからより高解像度のHD画像データを生成し、出力画像データとして出力する。
【００５６】
【数１】
0004639613.tif 000002
【００５７】
上記式において、ｙは、HD画像の画素データを表し、ｘiは、SD画像の画素データを表し、Ｗiは最終係数データを表す。ｎは、予測タップの数を表し、ｉは予測タップの番号を表す。すなわち、HD画素データｙは、SD画素データｘiの最終係数データＷiとの積和演算により生成される。
【００５８】
最終係数データＷiは、次式により表される。
【００５９】
【数２】
0004639613.tif 000003
【００６０】
上記式において、ｗijは、係数種データを表し、係数種データ保持部１４１に予め保持されている。ｖは、解像度を表し、ｚは、ノイズ除去度を表す。解像度ｖとノイズ除去度ｚは、設定値調整部１３１より画質選択信号として供給されるパラメータである。
【００６１】
係数計算部１４２は、係数種データ保持部１４１より入力された係数種データｗij、並びに設定値調整部１３１より画質選択信号として供給された解像度ｖとノイズ除去度ｚを、上記した式（２）に適用して、最終係数データＷiを生成し、出力画素値計算部１４３に出力する。
【００６２】
なお、上記した式（２）の係数種データｗijは、ユーザが視聴する画像とは別の標準的な画像を学習して、次のようにして予め求めることができる。
【００６３】
すなわち、上記した式（２）は次のように書き換えることができる。
【００６４】
【数３】
0004639613.tif 000004
【００６５】
上記式におけるｔj（ｊ＝０乃至９）は、次式のように定義される。
【００６６】
ｔ0＝１，ｔ1＝ｖ，ｔ2＝ｚ，ｔ3＝ｖ2，ｔ4＝ｖｚ，ｔ5＝ｚ2，
ｔ6＝ｖ3，ｔ7＝ｖ2ｚ，ｔ8＝ｖｚ2，ｔ9＝ｚ3              ・・・（４）
【００６７】
学習によって未定係数ｗxyが求められる。すなわち、最小自乗法により、クラス毎に、複数のSD画素データとHD画素データを用いて、二乗誤差を最小にする係数値が決定される。学習数をｍ，ｋ（１≦ｋ≦ｍ）番目の学習データにおける誤差をｅk、二乗誤差の総和をＥとすると、式（１）および式（２）を用いて、Ｅは式（５）により表される。ここで、ｘikはSD画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のHD画像の画素データを表している。
【００６８】
【数４】
0004639613.tif 000005
【００６９】
最小自乗法による解法では、式（６）に示されるように、式（５）のｗxyによる偏微分が０になるようなｗxyが求められる。
【００７０】
【数５】
0004639613.tif 000006
【００７１】
Ｘipjq，Ｙipを、それぞれ、式（７）または式（８）のように定義すると、式（６）は、行列を用いて式（９）のように書き換えられる。
【００７２】
【数６】
0004639613.tif 000007
【００７３】
【数７】
0004639613.tif 000008
【００７４】
この方程式は、一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗxyについて解かれ、係数種データｗijが算出される。これが係数種データ保持部１４１に保持される。
【００７５】
図１４の出力画素値計算部１４３は、係数計算部１４２より供給された最終係数データＷiと、画像入力部１０１より供給されたSD画像データｘiに基づいて、式（１）に従って、出力画像データとしてのHD画像データｙを生成する。
【００７６】
この出力画素値計算部１４３は、例えば、図１５に示されるように構成される。図１５の構成例においては、出力画素値計算部１４３は、クラス分類部１６１、予測タップ抽出部１６２、および係数画素積和部１６３により構成される。
【００７７】
クラス分類部１６１は、画像入力部１０１より入力されたSD画像データから予め設定されている位置のクラスタップを抽出し、そのクラスタップの画素値に基づいてクラスコードを決定し、得られたクラスコードを係数画素積和部１６３に出力する。予測タップ抽出部１６２は、入力されたSD画像データから予め設定されている位置の予測タップを抽出し、その画素値ｘiを係数画素積和部１６３に出力する。係数画素積和部１６３にはまた、係数計算部１４２より最終係数データＷiが供給されている。係数画素積和部１６３は、クラス分類部１６１より入力されたクラスコードに対応するクラス毎に、上記した式（１）に基づいてHD画像の画素データｙを生成する。
【００７８】
図１３の自己相似履歴取得部１１２は、図１６に示されるように構成される。この構成例においては、自己相似履歴部１１２は、自己相似学習部１８１と、相似学習データ記録部１８２により構成される。
【００７９】
自己相似学習部１８１は、縮小画像生成部１９１、生徒データ取得部１９２、教師データ取得部１９３、および学習データ統計処理部１９４により構成される。縮小画像生成部１９１は、画像入力部１０１より入力されたSD画像の画像データから、水平方向および垂直方向に１画素おきに画素を間引くことで、１／４の画素密度の１／４SD画像データを縮小画像データとして生成する。生徒データ取得部１９２は、縮小画像生成部１９１より入力された１／４SD画像データから所定の画像データを生徒データとして取得し、学習データ統計処理部１９４に出力する。教師データ取得部１９３は、画像入力部１０１より入力されたSD画像データから、生徒画素データに対応する画素データを教師画素データとして取得し、学習データ統計処理部１９４に出力する。学習データ統計処理部１９４は、生徒データ取得部１９２より供給された生徒画素データと、教師データ取得部１９３より供給された教師画素データを用いて、自己相似係数種を算出する。
【００８０】
すなわち、今、縮小画像上の生徒画素データの予測タップの画素値をＰ1，Ｐ2，Ｐ3，・・・Ｐi・・・Ｐnとし、各予測タップに対応する自己相似係数種データをそれぞれＡ1，Ａ2，Ａ3，・・・Ａi・・・Ａnとすると、SD画像上の教師画素データの画素値Ｍ’を予測する式は次式で表される。
【００８１】
Ｍ’＝Ａ1Ｐ1＋Ａ2Ｐ2＋・・・＋ＡiＰi＋・・・＋ＡnＰn    ・・・（１０）
【００８２】
実際のSD画像の教師画素データの画素値をＭとすると、予測誤差は、次式で表される。
【００８３】
【数８】
0004639613.tif 000009
【００８４】
この誤差ｅに対して、最小自乗法を適用して、次式が得られる。
【００８５】
【数９】
0004639613.tif 000010
【００８６】
上記式から、次の正規方程式が得られる。
【００８７】
【数１０】
0004639613.tif 000011
【００８８】
学習データ統計処理部１９４は、この正規方程式を掃き出し法などで解くことで、自己相似係数種データＡiを算出する。算出された自己相似係数種データＡiは、相似学習データ記録部１８２に供給され、記録される。
【００８９】
図１２のデータ解析部１０３は、図１７に示されるように、係数種データ保持部２１１、係数計算部２１２、および係数差分処理部２１３により構成される。係数種データ保持部２１１は、図１４の係数種データ保持部１４１と同一の係数種データｗijを保持する。係数計算部２１２には、操作履歴取得部１１１の操作履歴記録部１３２からユーザ操作履歴データが供給される。このユーザ操作履歴データには、画質指定値信号としての解像度ｖとノイズ除去度ｚのパラメータと、ユーザの調整した画質に対する意向を反映した意向反映度ｕが含まれている。
【００９０】
係数計算部２１２は、係数種データ保持部２１１より供給された数種種データｗijと、操作履歴記録部１３２より供給された画質指定値信号としての解像度ｖとノイズ除去度ｚのパラメータに基づいて、上記した式（２）に従って係数Ｗiを計算し、係数差分処理部２１３に出力する。
【００９１】
係数差分処理部２１３は、自己相似履歴取得部１１２の相似学習データ記録部１８２より供給された自己相似係数種履歴データＡiと、係数計算部２１２より供給された係数Ｗiを用いて、履歴係数種データを生成する。
【００９２】
すなわち、上記した式（２）で表される係数Ｗiは、ユーザの意向反映度ｕと係数種を表す項ｂijによって、次式の形式で近似することができる。
【００９３】
Ｗ1＝ｂ10＋ｂ11ｕ＋ｂ12ｕ2＋ｂ13ｕ3
Ｗ2＝ｂ20＋ｂ21ｕ＋ｂ22ｕ2＋ｂ23ｕ3
・
・
・
Ｗn＝ｂn0＋ｂn1ｕ＋ｂn2ｕ2＋ｂn3ｕ3                ・・・（１４）
【００９４】
同様に、自己相似係数種Ａiは、意向反映度ｕと係数種を表す項ａijによって、次式の形式で近似することができる。
【００９５】
Ａ1＝ａ10＋ａ11ｕ＋ａ12ｕ2＋ａ13ｕ3
Ａ2＝ａ20＋ａ21ｕ＋ａ22ｕ2＋ａ23ｕ3
・
・
・
Ａn＝ａn0＋ａn1ｕ＋ａn2ｕ2＋ａn3ｕ3                ・・・（１５）
【００９６】
式（１４）と式（１５）に表されるように、係数Ｗiと自己相似係数種Ａiは、同一形式の係数データであり、同じ画像に関して得られているデータであるので、両者の間には、相関関係があることが期待される。そこで、係数Ｗiを下記のように自己相似係数種Ａiに対する倍率項（kfi0）と差分項（kfi1，kfi2，kfi3）の形式で近似的に表現する。
【００９７】
Ｗi＝kfi0・Ａi＋kfi1ｕ＋kfi2ｕ2＋kfi3ｕ3          ・・・（１６）
【００９８】
上記式（１６）におけるkfijは、履歴係数種と称する。
【００９９】
ここで係数Ｗiに対して、最小自乗法を適用することを考えると、残差ｅは、次式で表される。
【０１００】
【数１１】
0004639613.tif 000012
【０１０１】
なお、上記式（１７）において、ｔ0乃至ｔ3は、それぞれ次のように定義される。
【０１０２】
ｔ0＝Ａi
ｔ1＝ｕ
ｔ2＝ｕ2
ｔ3＝ｕ3                  ・・・（１８）
【０１０３】
差分ｅに対して、最小自乗法を適用すると次式が得られる。
【０１０４】
【数１２】
0004639613.tif 000013
【０１０５】
ここで、Ｘjk,Ｙjを次の式（２０）と式（２１）のように定義すると、式（１９）は、式（２２）のように書き換えることができる。
【０１０６】
【数１３】
0004639613.tif 000014
【０１０７】
【数１４】
0004639613.tif 000015
【０１０８】
【数１５】
0004639613.tif 000016
【０１０９】
この式（２２）は正規方程式であり、掃き出し法などの一般解で解くことにより、係数種データkfijを算出することができる。係数差分処理部２１３は、この式（２２）の正規方程式を解くことで履歴係数種データkfijを算出する。
【０１１０】
図１８は、図１２の履歴使用信号処理部１０４の構成例を表している。この履歴使用信号処理部１０４は、自己相似学習部２５１、履歴係数種データ保持部２５２、ユーザ画質値調整部２５３、ユーザ係数計算部２５４、および出力画素値計算部２５５により構成されている。
【０１１１】
自己相似学習部２５１は、縮小画像生成部２７１、生徒データ取得部２７２、教師データ取得部２７３、および学習データ統計処理部２７４により構成されている。これらの縮小画像生成部２７１、生徒データ取得部２７２、教師データ取得部２７３、および学習データ統計処理部２７４の構成と機能は、図１６における自己相似学習部１８１の縮小画像生成部１９１、生徒データ取得部１９２、教師データ取得部１９３、および学習データ統計処理部１９４と同様であるので、その説明は省略するが、自己相似学習部２５１は、入力画像に基づいて自己相似係数種データを生成し、ユーザ係数計算部２５４に出力する。
【０１１２】
履歴係数種データ保持部２５２は、データ解析部１０３の係数差分処理部２１３により生成された履歴係数種データkfijを保持する。ユーザ画質値調整部２５３は、ユーザが画質を調整するために入力した意向反映度ｕを取得し、ユーザ係数計算部２５４に出力する。ユーザ係数計算部２５４は、履歴係数種データ保持部２５２より入力された履歴係数種データkfij、学習データ統計処理部２７４より供給された自己相似係数種Ａi、並びにユーザ画質値調整部２５３より供給された意向反映度ｕを用いて、次式に従って係数Ｂiを生成する。
【０１１３】
Ｂi＝kfi0・Ａi＋kfi1ｕ＋kfi2ｕ2＋kfi3ｕ3        ・・・（２３）
【０１１４】
出力画素値計算部２５５には、ユーザが今視聴している画像（履歴係数種データkfijを生成するのに利用した画像とは異なる画像）の画像データが画像入力部１０１から供給されているとともに、ユーザ係数計算部２５４より係数Ｂiが供給される。出力画素値計算部２５５は、次式に従って出力画像データとしてHD画像データを生成する。
【０１１５】
【数１６】
0004639613.tif 000017
【０１１６】
上記式におけるｘiは、入力されたSD画像の画素データを表し、ｙは、HD画像の画素データを表す。出力画素値計算部２５５より出力されたHD画像データは、画像出力部１０５に出力される。
【０１１７】
なお、出力画素値計算部２５５は、図１５に示される解像度創造処理部１３３の出力画素値計算部１４３と同様の構成とされ、図１５は、出力画素値計算部２５５の構成としても以下に引用される。
【０１１８】
次に、図１９のフローチャートを参照して、ユーザ操作履歴取得処理を説明する。この処理は、フェーズ１における処理であり、例えば、ユーザがこの画像処理装置１を購入し、その使用を開始したときから、例えば３ヶ月間など一定の期間、あるいは充分な量のユーザの操作履歴データが取得されるまで、ユーザがコンテンツを視聴しているとき、繰り返し実行される。
【０１１９】
ステップＳ２１において、解像度創造処理部１３３の出力画素値計算部１４３は、画像入力部１０１より出力された入力画像データとしてのSD画像データを入力する。すなわち、ユーザが視聴しているコンテンツのSD画像データが、出力画素値計算部１４３のクラス分類部１６１と予測タップ抽出部１６２に入力される。ステップＳ２２において、クラス分類部１６１と予測タップ抽出部１６２は、データ終了か否かを判定する。
【０１２０】
データがまだ終了していない場合には、ステップＳ２３において、設定値調整部１３１は、ユーザの操作に基づいて画質指定値を入力する。すなわち、後述するステップＳ２９の処理で、係数画素積和部１６３により生成されたHD画像の画素データが画像出力部１０５に出力され、HD画像が表示される。ユーザはこの画像をみて、画質を調整したいと思うとき、図示せぬリモートコントローラなどを操作することで設定値調整部１３１に画質調整を指令する。このとき、設定値調整部１３１は、画像出力部１０５に、例えば、図２０に示されるような調整画面６１を表示させる。この調整画面６１には、縦軸に解像度ｖの座標軸が表示され、横軸にノイズ除去度ｚの座標軸が表示され、その座標空間上にアイコン６１ａが表示されている。ユーザは、リモートコントローラを適宜操作し、このアイコン６１ａの座標空間上の位置を調整することで、解像度ｖとノイズ除去度ｚの値を所定の値に設定することを指令する。設定値調整部１３１は、アイコン６１ａの座標位置に基づいて、指定される解像度ｖとノイズ除去度ｚを画質指定値として入力する。
【０１２１】
ステップＳ２４において、操作履歴記録部１３２は、設定値調整部１３１により入力された画質指定値としての解像度ｖとノイズ除去度ｚのパラメータの値を保存する。ステップＳ２５において、係数計算部１４２は、係数種から係数を生成する処理を実行する。すなわち、係数計算部１４２は、係数種データ保持部１４１に保持されている係数種データｗijを読み出し、ステップＳ２３で設定値調整部１３１より入力された画質指定値信号としての解像度ｖとノイズ除去度ｚのパラメータに基づいて、上記した式（２）に従って、係数Ｗiを生成する。この係数Ｗiには、フェーズ１における解像度創造処理においては最終係数となる。
【０１２２】
ステップＳ２６において、クラス分類部１６１と予測タップ抽出部１６２は、ステップＳ２１で入力された１フレーム分のSD画像データの中から、クラスタップと予測タップの画素値を取得する。ステップＳ２７において、係数画素積和部１６３は、データ終了か否か、すなわち、１フレーム分のデータが終了したか否かを判定する。１フレーム分のデータがまだ終了していない場合には、ステップＳ２８において、クラス分類部１６１は、ステップＳ２６で抽出されたクラスタップの画素値に基づいてクラスを生成する。
【０１２３】
ステップＳ２９において、係数画素積和部１６３は、HD画像の画素データを生成する。すなわち、予測タップ抽出部１６２は、入力されたSD画像データの画素データから予測タップを抽出し、係数画素積和部１６３に出力する。係数画素積和部１６３は、ステップＳ２５の処理で生成された係数Ｗiの中から、ステップＳ２８の処理で生成されたクラスの係数Ｗiを抽出し、その係数Ｗiと、ステップＳ２６で抽出された予測タップの画素値ｘiに基づいて、式（１）に従ってHD画像の画素データｙを演算する。この画素データｙは、画像出力部１０５に供給される。
【０１２４】
その後、処理はステップＳ２６に戻り、ステップＳ２７において１フレーム分のデータが終了したと判定されるまで、ステップＳ２６乃至ステップＳ２９の処理が繰り返し実行される。これにより、１フレーム分のHD画像が画像出力部１０５に表示される。
【０１２５】
ステップＳ２７において、１フレーム分のデータが終了したと判定された場合、処理はステップＳ３０に進み、設定値調整部１３１は、ユーザの意向反映度を入力する。すなわち、ユーザは、ステップＳ２９の処理で生成されたHD画像が画像出力部１０５に出力され、表示されたとき、その画像をみて、ユーザの意向が充分反映された画像であるか否かをあらわす値としての意向反映度ｕを入力する。意向反映度ｕの値は、０から100の値のいずれかの値とされる。値100は、意向を充分に反映した良好な画像であることを表し、値０はユーザの意向を十分に反映していないことを表す。ユーザは、リモートコントローラなどを操作することで、０乃至100のうちのいずれかの値を入力する。入力された意向反映度ｕは、ステップＳ２４で保存された画質指定値である解像度ｖとノイズ除去度ｚに対応して、操作履歴記録部１３２に記録される。
【０１２６】
その後、処理はステップＳ２１に戻り、それ以降の処理が、ステップＳ２２において、データが終了したと判定されるまで繰り返し実行され、データが終了したと判定された場合その処理は終了される。
【０１２７】
このような処理が一定のデータ収集の期間、繰り返し実行される結果、操作履歴記録部１３２には、ユーザ操作履歴データとして、ユーザが設定した画質指定値としての解像度ｖとノイズ除去度ｚの値、並びにそれに対応するユーザの満足度（嗜好）を表す意向反映度ｕが蓄積される。
【０１２８】
次に、図２１のフローチャートを参照して、自己相似係数履歴取得処理について説明する。この処理は、図１９を参照して説明したユーザ操作履歴取得処理と並行して、フェーズ１のデータ収集期間において実行される。
【０１２９】
ステップＳ５１において、自己相似学習部１８１の縮小画像生成部１９１と、教師データ取得部１９３は、画像入力部１０１より入力されたSD画像データを入力する。ステップＳ５２において、縮小画像生成部１９１は、ステップＳ５１で入力されたSD画像データに基づいて縮小画像を生成する。具体的には、水平方向および垂直方向に１画素ごとに画素を間引くことで、SD画像の１／４の画素密度の縮小画像（１／４SD画像）が生成される。
【０１３０】
ステップＳ５３において、生徒データ取得部１９２は、縮小画像生成部１９１より供給された縮小画像の画像データから生徒画素データを抽出し、学習データ統計処理部１９４に出力する。また、教師データ取得部１９３は、ステップＳ５１の処理で入力されたSD画像データから、生徒画素データに対応する教師画素データを抽出し、学習データ統計処理部１９４に出力する。これにより、上記した式（１３）における縮小画素の画素値Ｐiと教師画像の画素値Ｍが取得されたことになる。
【０１３１】
ステップＳ５４において、学習データ統計処理部１９４は、データ終了か否かを判定し、全フレームのデータがまだ終了していない場合には、ステップＳ５５において、学習データ統計処理部１９４は、クラスを生成する処理を実行する。すなわち、入力された画素データから、所定のクラスタップを抽出し、そのクラスタップの画素値に基づいて、クラスを生成する。学習データ統計処理部１９４は、次に、ステップＳ５６において、正規方程式を生成する。具体的には、上記した式（１３）が生成される。
【０１３２】
その後処理はステップＳ５３に戻り、ステップＳ５４において、データが終了したと判定されるまで、ステップＳ５３乃至ステップＳ５６の処理が繰り返し実行される。
【０１３３】
ステップＳ５４において、データが終了したと判定された場合、ステップＳ５７において、学習データ統計処理部１９４は、自己相似係数種を生成する。具体的には、式（１３）の正規方程式を掃き出し法などの一般解で解くことにより、自己相似係数種Ａiが算出される。ステップＳ５８において、相似学習データ記録部１８２は、ステップＳ５７の処理で生成された自己相似係数種Ａiを記録する。
【０１３４】
以上のようにして、相似学習データ記録部１８２は、操作履歴記録部１３２に記録されるユーザ操作履歴データ（解像度ｖ、ノイズ除去度ｚ、意向反映度ｕ）に対応する自己相似係数種Ａiデータが記録される。
【０１３５】
以上の図１９と図２１のフェーズ１における処理が、データ収集期間行なわれ、充分な学習データが得られたとき、データ解析部１０３により、図２２のフローチャートに示される履歴係数種生成処理が、フェーズ２の処理として実行される。
【０１３６】
ステップＳ７１において、係数計算部２１２は、操作履歴記録部１３２に記録されている画質指定値履歴データを入力する。すなわち、画質調整のパラメータとしての解像度ｖとノイズ除去度ｚの値が入力される。ステップＳ７２において、係数計算部２１２は、さらに操作履歴記録部１３２に記録されているユーザの意向反映度ｕを入力する。ステップＳ７３において、係数計算部２１２は、画質指定値と係数種より係数を生成する。すなわち、係数計算部２１２は、係数種データ保持部２１１に保持されている係数種ｗijを読み出すとともに、ステップＳ７１の処理で入力された画質指定値としての解像度ｖとノイズ除去度ｚに基づいて、式（２）に従って係数Ｗiを生成する。
【０１３７】
ステップＳ７４において、係数差分処理部２１３は、自己相似係数種の履歴データを入力する。すなわち、相似学習データ記録部１８２に記録されている自己相似係数種Ａiの履歴データが入力される。ステップＳ７５において、係数差分処理部２１３は、データ終了か否かを判定する。すなわち、操作履歴記録部１３２と相似学習データ記録部１８２に記録されたデータが終了したか否かが判定される。データがまだ終了していない場合には、ステップＳ７６において、係数差分処理部２１３は、正規方程式を生成する。具体的には、上述した式（２２）の正規方程式が生成される。その後、処理はステップＳ７１に戻り、ステップＳ７５においてデータ終了と判定されるまで、ステップＳ７１乃至ステップＳ７６の処理が繰り返し実行される。
【０１３８】
ステップＳ７５において、データが終了したと判定された場合、ステップＳ７７において、係数差分処理部２１３は履歴係数種を生成する。具体的には、式（２２）として示される正規方程式を掃き出し法などの一般解で解くことで、係数種データkfijが生成される。ステップＳ７８において、係数差分処理部２１３は、ステップＳ７７の処理で生成した履歴係数種kfijを、履歴使用信号処理部１０４の履歴係数種データ保持部２５２に供給し、記録させる。
【０１３９】
以上のようにして、データ収集期間に収集された学習データに基づいて履歴係数種kfijが生成される。
【０１４０】
履歴係数種kfijが生成された後、図２３のフローチャートに示されるフェーズ３の解像度創造処理が、ユーザがコンテンツを視聴しているとき実行される。
【０１４１】
ステップＳ１０１において、出力画素値計算部２５５は、画像入力部１０１より出力された処理対象データとしてのSD画像データを入力する。このとき入力されるSD画像データ（コンテンツ）は、一般的には、データ収集期間に入力されるSD画像データ（コンテンツ）とは異なっている。ステップＳ１０２において、出力画素値計算部２５５は、データ終了か否かを判定し、まだ全フレームのデータの処理が終了していない場合（コンテンツの視聴が終了していない場合）には、ステップＳ１０３乃至ステップＳ１０８において、上述した図２１のステップＳ５２乃至ステップＳ５７の処理と同様の処理が実行される。
【０１４２】
すなわち、ステップＳ１０３において、縮小画像生成部２７１は、画像入力部１０１より入力されたSD画像から１／４SD画像の縮小画像を生成する。ステップＳ１０４において、生徒データ取得部２７２と教師データ取得部２７３は、それぞれ生徒画素データと教師画素データを取得し、学習データ統計処理部２７４に供給する。ステップＳ１０５において、学習データ統計処理部２７４はデータ終了か否かを判定し、１フレーム分の縮小画像のデータがまだ終了していない場合には、ステップＳ１０６において、学習データ統計処理部２７４は、クラスタップを抽出し、そのクラスタップの画素値に基づいてクラスを生成する。ステップＳ１０７において、学習データ統計処理部２７４は、ステップＳ１０６で生成されたクラス毎に、式（１３）に示される正規方程式を生成する。その後、処理はステップＳ１０４に戻り、ステップＳ１０５において、縮小画像についてのデータが終了したと判定されるまで、ステップＳ１０４乃至ステップＳ１０７の処理が繰り返し実行される。
【０１４３】
ステップＳ１０５において、１フレーム分の縮小画像についてのデータが終了したと判定された場合、処理はステップＳ１０８に進み、学習データ統計処理部２７４は、式（１３）に示される正規方程式を解くことで、自己相似係数種Ａiを生成する。
【０１４４】
次に、ステップＳ１０９において、ユーザ画質値調整部２５３は、ユーザがリモートコントローラなどを操作することで入力した意向反映度ｕを入力する。すなわち、ユーザは０乃至100のうちのいずれかの値を意向反映度ｕとして入力する。図１９のステップＳ２８で入力された意向反映度ｕは、調整された画質に対するユーザの満足度を表していたが、ステップＳ１０９で取得される意向反映度ｕは、ユーザの嗜好を画質に反映させる程度を指定する機能を有する。この場合の意向反映度ｕは、その値が０である場合には、上述した式（２３）における自己相似係数種Ａiだけが係数Ｂiに反映されることになる。その結果、ユーザの嗜好が全く反映されない画質の画像が得られることになる。意向反映度ｕの値が100に近いほど（大きいほど）、係数Ｂiの値は、自己相似係数種Ａi以外の成分による重み付けが大きくなり、ユーザの嗜好がより強く反映された画像が得られることになる。
【０１４５】
ステップＳ１１０において、ユーザ係数計算部２５４は、自己相似係数種と履歴係数種から係数を生成する。すなわち、ユーザ係数計算部２５４は、ステップＳ１０８で生成された自己相似係数種Ａi、履歴係数種データ保持部２５２に記憶されている履歴係数種kfij、並びにステップＳ１０９の処理で入力された意向反映度ｕを、式（２３）に代入することで、係数Ｂiを生成する。この係数Ｂiは、フェーズ３における最終係数となる。
【０１４６】
次に、出力画素値計算部２５５は、ステップＳ１１１乃至ステップＳ１１４の処理で、図１９のステップＳ２６乃至ステップＳ２９の処理と同様にHD画像の画素データを生成する。但し、ステップＳ２６乃至ステップＳ２９の処理では、予測係数として、式（２）の係数Ｗiが使用されるが、ステップＳ１１１乃至ステップＳ１１４の処理では、予測係数として、式（２３）の係数Ｂiが使用される点が異なっている。
【０１４７】
すなわち、ステップＳ１１１において、出力画素値計算部２５５のクラス分類部１６１は、クラスタップを抽出する。また、予測タップ抽出部１６２は、入力されたSD画像から予測タップを抽出し係数画素積和部１６３に出力する。
【０１４８】
ステップＳ１１２において、係数画素積和部１６３は、データ終了か否かを判定する。まだデータが終了していない場合にはステップＳ１１３において、クラス分類部１６１は抽出したクラスタップの画素値に基づいてクラスを生成する。係数画素値積和部１６３は、ステップＳ１１０の処理で生成された係数Ｂiの中から、生成されたクラスに対応するものを抽出する。ステップＳ１１４において、係数画素積和部１６３は、ステップＳ１１３で生成されたクラスに基づく係数Ｂiと、ステップＳ１１１で取得されたSD画像の画素値ｘiを、式（２４）に適用してHD画像の画素データｙを生成し、画像出力部１０５に出力し、表示させる。
【０１４９】
ユーザは、このとき表示される画像を、意向反映度ｕの値を所定の値に設定することで、自分自身の嗜好に合った画像にすることができる。その値を所定の値（０）に設定することで、自分自身の嗜好と無関係の画像を表示させることもできる。
【０１５０】
ステップＳ１１１乃至ステップＳ１１４の処理は、ステップＳ１１２において、１フレーム分のデータの処理が終了したと判定されるまで繰り返し実行される。１フレーム分のデータの処理が終了したと判定された場合、処理はステップＳ１０１に戻り、それ以降の処理が繰り返し実行される。ステップＳ１０２において、全フレームのデータが終了したと判定された場合（コンテンツの視聴処理が終了した場合）、解像度創造処理が終了される。
【０１５１】
以上のようにして、フェーズ３においては、フェーズ１で学習した結果に基づき、フェーズ２で生成した履歴係数種に基づいて、SD画像データからより高解像度のHD画像データが生成され、出力表示される。履歴係数種には、ユーザの嗜好が反映されているため、ユーザは自分自身の嗜好にあった画像を視聴することが可能となる。また、予め用意された係数種以外に、学習により自己相似係数種を保持するようにするため、ロバスト性が向上し、より多くの数の係数生成を行うことが可能となる。その結果、より高品位の画像を生成することが可能となる。
【０１５２】
本発明は、テレビジョン受像機、ハードディスクレコーダ、DVD(Digital Versatile Disk)装置などに適用することができる。
【０１５３】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、情報処理装置は、図２４に示されるようなパーソナルコンピュータにより構成される。
【０１５４】
図２４において、CPU（Central Processing Unit）３２１は、ROM（Read Only Memory）３２２に記憶されているプログラム、または記憶部３２８からRAM（Random Access Memory）３２３にロードされたプログラムに従って各種の処理を実行する。RAM３２３にはまた、CPU３２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５５】
CPU３２１、ROM３２２、およびRAM３２３は、バス３２４を介して相互に接続されている。このバス３２４にはまた、入出力インタフェース３２５も接続されている。
【０１５６】
入出力インタフェース３２５には、キーボード、マウスなどよりなる入力部３２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３２７、ハードディスクなどより構成される記憶部３２８、モデムなどより構成される通信部３２９が接続されている。通信部３２９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５７】
入出力インタフェース３２５にはまた、必要に応じてドライブ３３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３２８にインストールされる。
【０１５８】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１５９】
この記録媒体は、図２４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア３３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３２２や、記憶部３２８に含まれるハードディスクなどで構成される。
【０１６０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１６１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【産業上の利用可能性】
【０１６２】
本発明は、パーソナルコンピュータ、テレビジョン受像機、その他の画像処理装置に適用することが可能である。
【図面の簡単な説明】
【０１６３】
【図１】本発明を適用した画像処理装置の構成例を示す図である。
【図２】本発明の画像処理装置の原理的構成を説明する図である。
【図３】操作履歴取得の処理を説明する図である。
【図４】自己相似学習を説明する図である。
【図５】階層間の自己相似の関係を説明する図である。
【図６】学習データの関係を説明する図である。
【図７】係数データを説明する図である。
【図８】係数データの関係を説明する図である。
【図９】フェーズ１の動作を説明する図である。
【図１０】フェーズ２の動作を説明する図である。
【図１１】フェーズ３の動作を説明する図である。
【図１２】画像処理装置の機能的構成を示すブロック図である。
【図１３】データ収集部の構成を示すブロック図である。
【図１４】操作履歴取得部の構成を示すブロック図である。
【図１５】出力画素値計算部の構成を示すブロック図である。
【図１６】自己相似履歴取得部の構成を示すブロック図である。
【図１７】データ解析部の構成を示すブロック図である。
【図１８】履歴使用信号処理部の構成を示すブロック図である。
【図１９】ユーザ操作履歴取得処理を説明するフローチャートである。
【図２０】調整画面の例を示す図である。
【図２１】自己相似係数履歴取得処理を説明するフローチャートである。
【図２２】履歴係数種生成処理を説明するフローチャートである。
【図２３】解像度創造処理を説明するフローチャートである。
【図２４】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０１６４】
１  画像処理装置，  １１  入力装置，１２  処理装置，  １３  出力装置，  １４  記憶装置，  １０１  画像入力部，  １０２  データ収集部，  １０３  データ解析部，  １０４  履歴使用信号処理部，  １０５  画像出力部，  １３１  設定値調整部，  １３２  操作履歴記録部，  １３３  解像度創造処理部，  １４１  係数種データ保持部，  １４２  係数計算部，  １４３  出力画素値計算部，  １６１  クラス分類部，  １６２  予測タップ抽出部，  １６３  係数画素積和部，  １８１  自己相似学習部，  １８２  相似学習データ記録部，  １９１  縮小画像生成部，  １９２  生徒データ取得部，  １９３  教師データ取得部，  １９４  学習データ統計処理部，  ２１１  係数種データ保持部，  ２１２  係数計算部，  ２１３  係数差分処理部，  ２５１  自己相似学習部，  ２５２  履歴係数種データ保持部，  ２５３  ユーザ画質値調整部，  ２５４  ユーザ係数計算部，  ２５５  出力画素値計算部，  ２７１  縮小画像生成部，  ２７２  生徒データ取得部，  ２７３  教師データ取得部，  ２７４  学習データ統計処理部
【図１】
0004639613.tif 000018
【図２】
0004639613.tif 000019
【図３】
0004639613.tif 000020
【図４】
0004639613.tif 000021
【図５】
0004639613.tif 000022
【図６】
0004639613.tif 000023
【図７】
0004639613.tif 000024
【図８】
0004639613.tif 000025
【図９】
0004639613.tif 000026
【図１０】
0004639613.tif 000027
【図１１】
0004639613.tif 000028
【図１２】
0004639613.tif 000029
【図１３】
0004639613.tif 000030
【図１４】
0004639613.tif 000031
【図１５】
0004639613.tif 000032
【図１６】
0004639613.tif 000033
【図１７】
0004639613.tif 000034
【図１８】
0004639613.tif 000035
【図１９】
0004639613.tif 000036
【図２０】
0004639613.tif 000037
【図２１】
0004639613.tif 000038
【図２２】
0004639613.tif 000039
【図２３】
0004639613.tif 000040
【図２４】
0004639613.tif 000041