(57)【要約】【課題】より高品位の画像信号を簡単な処理で迅速に生成することができるようにする。【解決手段】  参照対正規化部７６は、ダイナミック演算部７１より供給された予測タップのダイナミックレンジ、ダイナミックレンジ演算部７３より供給された参照対のダイナミックレンジ、および最小値演算部７４より供給された参照対の最小値に基づいて、SD画像抽出部７５より供給されるSD画像信号を正規化する。平均値演算部７７は、参照対正規化部７６により正規化されたSD画像信号の平均値を演算する。合成部７８は、最小値演算部７２より供給された予測タップの最小値に、平均値演算部７７より供給された平均値を加算することでHD画像信号を生成する。本発明は画像処理装置に適用することができる。【選択図】図４
2005210342.tif 000002
【特許請求の範囲】
【請求項１】
信号対を構成する第１の種類の信号と第２の種類の信号に対して所定の関係を有する入力信号の第１の範囲の基準値を演算する第１の演算手段と、
前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算手段と、
前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記入力信号は、前記第１の種類の信号と同一の種類の信号である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の演算手段は、前記入力信号の前記第１の範囲のダイナミックレンジをさらに演算し、
前記情報処理装置は、
前記信号対を構成する前記第２の種類の信号の第２の範囲の基準値とダイナミックレンジを演算する第４の演算手段と、
前記信号対を構成する前記第１の種類の信号を、前記信号対を構成する前記第２の種類の信号のダイナミックレンジと基準値、並びに前記入力信号のダイナミックレンジに基づいて正規化する正規化手段とをさらに備え、
前記第２の演算手段は、前記第１の種類の信号の平均値として、正規化された前記信号対を構成する前記第１の種類の信号の平均値を演算する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記入力信号から前記第２の種類の信号を生成する信号生成手段と、
前記入力信号から前記第１の範囲の信号を抽出する第１の抽出手段と、
前記信号生成手段により生成された、前記第１の範囲の前記入力信号に対して所定の関係を有する前記第２の種類の信号と、それに対応する前記入力信号からなる前記第１の種類の信号とで構成される前記信号対を生成する信号対生成手段と
をさらに備えることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記信号対生成手段は、
前記信号生成手段により生成された、前記第２の種類の信号の所定の探索範囲内から前記第２の範囲の信号を抽出する第２の抽出手段と、
前記第１の範囲の入力信号と前記第２の範囲の第２の種類の信号の相関関係を計算する計算手段と、
前記第１の範囲の入力信号に対して閾値以上の相関を有する前記第２の範囲の第２の種類の信号と、それに対応する前記入力信号を選択する選択手段と、
選択された前記第１の種類の信号としての前記入力信号と前記第２の範囲の第２の種類の信号を前記信号対として登録する登録手段と
を備えることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記基準値は、最小値である
ことを特徴とする請求項２に記載の情報処理装置。
【請求項７】
前記第１乃至第３の種類の信号は、それぞれ異なる解像度の画像信号である
ことを特徴とする請求項２に記載の情報処理装置。
【請求項８】
前記第２の種類の信号は前記第１の種類の信号より低い解像度の画像信号であり、
前記第３の種類の信号は前記第１の種類の信号より高い解像度の画像信号である
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記入力信号は、前記第２の種類の信号と同一の種類の信号であり、
前記第３の種類の信号は、前記第１の種類の信号と同一の種類の信号である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記信号対を記憶する記憶手段と、
前記第２の種類の信号としての前記入力信号から前記第１の範囲の信号を抽出する第１の抽出手段と、
前記第１の範囲の前記入力信号の特徴と、記憶されている前記信号対の前記第１の範囲の前記第２の種類の信号の特徴を比較し、前記第１の範囲の前記入力信号の特徴に対して所定の関係を有する前記第１の範囲の前記第２の種類の信号を含む前記信号対を検索する検索手段と
を備えることを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記第１の種類の信号と前記第２の種類の信号は画像信号であり、前記第１の種類の信号は、その解像度が前記第２の種類の信号より高い画像信号である
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
前記検索手段は、
前記第１の範囲の前記入力信号の特徴を検出する第１の検出手段と、
記憶されている前記第１の範囲の前記第２の種類の信号の特徴を検出する第２の検出手段と、
検出された前記入力信号の特徴と記憶されている前記第１の範囲の前記第２の種類の信号の特徴を比較し、その比較結果に基づいて前記信号対を選択する選択手段と
を備えることを特徴とする請求項１０に記載の情報処理装置。
【請求項１３】
前記第１の検出手段と前記第２の検出手段は、前記特徴として前記第１の範囲内の画素値を検出するか、または前記第１の範囲内の正規化画素値もしくはダイナミックレンジを検出し、
前記選択手段は、検出された値のノルム演算値、差分絶対値和、または相関係数値を比較する
ことを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記第１の検出手段と前記第２の検出手段は、前記第１の範囲内の適応的ダイナミックレンジ符号化コードを検出し、
前記選択手段は、検出したコードの一致度を比較する
ことを特徴とする請求項１２に記載の情報処理装置。
【請求項１５】
信号対を構成する第１の種類の信号と第２の種類の信号に対して所定の関係を有する入力信号の第１の範囲の基準値を演算する第１の演算ステップと、
前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップと、
前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップと
を含むことを特徴とする情報処理方法。
【請求項１６】
信号対を構成する第１の種類の信号と第２の種類の信号に対して所定の関係を有する入力信号の第１の範囲の基準値を演算する第１の演算ステップと、
前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップと、
前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１７】
信号対を構成する第１の種類の信号と第２の種類の信号に対して所定の関係を有する入力信号の第１の範囲の基準値を演算する第１の演算ステップと、
前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップと、
前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、簡単により高い予測精度で画像信号を生成することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
本出願人は、クラス分類適応処理により、標準的な画質のSD画像信号から、より高品位のHD画像信号を生成する手法を先に提案している（例えば、特許文献１）。
【０００３】
この場合、SD画像信号からHD画像信号を生成するための予測係数セットが必要となる。従来、この予測係数セットは次のようにして求められている。すなわち、HD画像信号から間引き処理などによりSD画像信号が生成され、SD画像信号の注目画素に対して所定の関係を有するクラスタップに対応して、１ビットADRC処理が行われクラスが決定される。一方、SD画像信号の注目画素に対して所定の関係にある予測タップが抽出され、その予測タップとHD画像信号との関係に基づく正規方程式がクラスごとに生成される。そしてこの正規方程式を解くことで、クラスごとの予測係数セットが求められる。
【０００４】
このように、あらかじめ用意されたHD画像信号とそれから生成されたSD画像信号に基づいて学習を行うことで予測係数セットが生成される。この学習は、多くの種類のHD画像信号に基づいて行われる。その結果、多くの種類のHD画像信号とSD画像信号との関係に基づく予測係数セットが得られることになる。
【０００５】
受信したSD画像信号にこの予測係数セットを適用することで、実際には受信していないHD画像信号を予測生成することができる。予測係数は、ある入力に対して、実際のHD画像信号に最も近くなる可能性が高いという統計的性質に基づいた係数となる。その結果、一般的なSD画像信号が入力された場合に、クラスごとにみて平均的に精度の高いHD画像信号が予測生成可能となる。
【特許文献１】特開２０００−７８５３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、予測係数を学習生成する場合に用いられるHD画像信号は、実際に予測されるHD画像信号とは異なる画像であるため、正確な予測演算処理が困難な場合があるという課題があった。
【０００７】
これを解決するには、クラスの数を充分多くする必要がある。しかしながら、クラスの数は有限であり、HD画像信号の学習時において適したクラスが存在しない場合にも、必ずどこかのクラスに割り当てる処理が行われるため、結局、正確な予測処理を行うことが困難になる場合があった。
【０００８】
さらにまた、従来の方法においては、予測係数セットを生成するためにHD画像信号を用意しなければならないという課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、簡単により正確に、高品位の画像を予測生成することができるようにするものである。
【課題を解決するための手段】
【００１０】
請求項１の情報処理装置は、信号対を構成する第１の種類の信号と第２の種類の信号に対して所定の関係を有する入力信号の第１の範囲の基準値を演算する第１の演算手段と、前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算手段と、前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算手段とを備えることを特徴とする。
【００１１】
前記入力信号は、第１の種類の信号と同一の種類の信号であるようにすることができる。
【００１２】
前記第１の演算手段は、入力信号の第１の範囲のダイナミックレンジをさらに演算し、情報処理装置は、信号対を構成する第２の種類の信号の第２の範囲の基準値とダイナミックレンジを演算する第４の演算手段と、信号対を構成する第１の種類の信号を、信号対を構成する第２の種類の信号のダイナミックレンジと基準値、並びに入力信号のダイナミックレンジに基づいて正規化する正規化手段とをさらに備え、第２の演算手段は、第１の種類の信号の平均値として、正規化された信号対を構成する第１の種類の信号の平均値を演算するようにすることができる。
【００１３】
前記入力信号から第２の種類の信号を生成する信号生成手段と、入力信号から第１の範囲の信号を抽出する第１の抽出手段と、信号生成手段により生成された、第１の範囲の入力信号に対して所定の関係を有する第２の種類の信号と、それに対応する入力信号からなる第１の種類の信号とで構成される信号対を生成する信号対生成手段とをさらに備えるようにすることができる。
【００１４】
前記信号対生成手段は、信号生成手段により生成された、第２の種類の信号の所定の探索範囲内から第２の範囲の信号を抽出する第２の抽出手段と、第１の範囲の入力信号と第２の範囲の第２の種類の信号の相関関係を計算する計算手段と、第１の範囲の入力信号に対して閾値以上の相関を有する第２の範囲の第２の種類の信号と、それに対応する入力信号を選択する選択手段と、選択された第１の種類の信号としての入力信号と第２の範囲の第２の種類の信号を信号対として登録する登録手段とを備えるようにすることができる。
【００１５】
前記基準値は、最小値であるようにすることができる。
【００１６】
前記第１乃至第３の種類の信号は、それぞれ異なる解像度の画像信号であるようにすることができる。
【００１７】
前記第２の種類の信号は記第１の種類の信号より低い解像度の画像信号であり、第３の種類の信号は第１の種類の信号より高い解像度の画像信号であるようにすることができる。
【００１８】
前記入力信号は、第２の種類の信号と同一の種類の信号であり、第３の種類の信号は、第１の種類の信号と同一の種類の信号であるようにすることができる。
【００１９】
前記信号対を記憶する記憶手段と、第２の種類の信号としての入力信号から第１の範囲の信号を抽出する第１の抽出手段と、第１の範囲の入力信号の特徴と、記憶されている信号対の第１の範囲の第２の種類の信号の特徴を比較し、第１の範囲の入力信号の特徴に対して所定の関係を有する第１の範囲の第２の種類の信号を含む信号対を検索する検索手段とを備えるようにすることができる。
【００２０】
前記第１の種類の信号と第２の種類の信号は画像信号であり、第１の種類の信号は、その解像度が第２の種類の信号より高い画像信号であるようにすることができる。
【００２１】
前記検索手段は、前記第１の範囲の入力信号の特徴を検出する第１の検出手段と、記憶されている第１の範囲の第２の種類の信号の特徴を検出する第２の検出手段と、検出された入力信号の特徴と記憶されている第１の範囲の第２の種類の信号の特徴を比較し、その比較結果に基づいて信号対を選択する選択手段とを備えるようにすることができる。
【００２２】
前記第１の検出手段と前記第２の検出手段は、特徴として第１の範囲内の画素値を検出するか、または第１の範囲内の正規化画素値もしくはダイナミックレンジを検出し、選択手段は、検出された値のノルム演算値、差分絶対値和、または相関係数値を比較するようにすることができる。
【００２３】
前記第１の検出手段と前記第２の検出手段は、第１の範囲内の適応的ダイナミックレンジ符号化コードを検出し、選択手段は、検出したコードの一致度を比較するようにすることができる。
【００２４】
請求項１５の情報処理方法は、信号対を構成する第１の種類の信号と第２の種類の信号に対して所定の関係を有する入力信号の第１の範囲の基準値を演算する第１の演算ステップと、前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップと、前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップとを含むことを特徴とする。
【００２５】
請求項１６の記録媒体のプログラムは、信号対を構成する第１の種類の信号と第２の種類の信号に対して所定の関係を有する入力信号の第１の範囲の基準値を演算する第１の演算ステップと、前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップと、前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップとを含むことを特徴とする。
【００２６】
請求項１７のプログラムは、信号対を構成する第１の種類の信号と第２の種類の信号に対して所定の関係を有する入力信号の第１の範囲の基準値を演算する第１の演算ステップと、前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップと、前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップとをコンピュータに実行させることを特徴とする。
【００２７】
本発明においては、第２の種類の信号ととともに信号対を構成する第1の種類の信号の平均値が演算され、その平均値と第1の種類の信号の基準値とに基づいて第3の種類の信号が演算される。
【発明の効果】
【００２８】
本発明によれば、異なる種類の信号を演算することが可能となる。特に、少ない演算量で簡単に、より正確に、異なる種類の信号を、必要に応じてリアルタイムで生成することが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００３０】
さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。
【００３１】
請求項１に記載の情報処理装置（例えば、図１の情報処理装置１）は、信号対（例えば、図１５の参照対）を構成する第１の種類の信号（例えば、SD画像信号）と第２の種類の信号（例えば、CIF画像信号）に対して所定の関係（例えば、閾値以上の相関関係）を有する入力信号の第１の範囲の基準値（例えば、予測タップの最小値）を演算する第１の演算手段（例えば、図４の予測タップ演算部８２）と、前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算手段（例えば、図４の平均値演算部７７）と、前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号（例えば、HD画像信号）を演算する第３の演算手段（例えば、図４の合成部７８）とを備えることを特徴とする。
【００３２】
前記入力信号は、前記第１の種類の信号と同一の種類の信号（例えば、SD画像信号）であるようにすることができる。
【００３３】
前記第１の演算手段（例えば、図４の予測タップ演算部８２のダイナミックレンジ演算部７１）は、前記入力信号の前記第１の範囲のダイナミックレンジをさらに演算し、前記情報処理装置は、前記信号対を構成する前記第２の種類の信号の第２の範囲の基準値とダイナミックレンジを演算する第４の演算手段（例えば、図４の参照対演算部８３）と、前記信号対を構成する前記第１の種類の信号（例えば、図１５のSD画像信号の画素データｓ１乃至ｓ１００）を、前記信号対を構成する前記第２の種類の信号（例えば、図１５のCIF画像信号の画素データｃ１乃至ｃ１００）のダイナミックレンジと基準値、並びに前記入力信号（例えば、図１５の予測タップPT）のダイナミックレンジに基づいて正規化する正規化手段（例えば、図４の参照対正規化部７６）とをさらに備え、前記第２の演算手段は、前記第１の種類の信号の平均値として、正規化された前記信号対を構成する前記第１の種類の信号（例えば、図１５の正規化SD画像信号の画素データｓ’１乃至ｓ’１００）の平均値を演算するようにすることができる。
【００３４】
前記入力信号から前記第２の種類の信号を生成する信号生成手段（例えば、図１の生徒画像生成部１２）と、前記入力信号から前記第１の範囲の信号を抽出する第１の抽出手段（例えば、図１の領域抽出部１１）と、前記信号生成手段により生成された、前記第１の範囲の前記入力信号に対して所定の関係（例えば、閾値以上の相関関係）を有する前記第２の種類の信号（例えば、図１５のCIF画像の画素データｃ１乃至ｃ１００）と、それに対応する前記入力信号からなる前記第１の種類の信号（例えば、図１５のSD画像の画素データｓ１乃至ｓ１００）とで構成される前記信号対を生成する信号対生成手段（例えば、図１の参照対生成部１３）とをさらに備えるようにすることができる。
【００３５】
前記信号対生成手段は、前記信号生成手段により生成された、前記第２の種類の信号の所定の探索範囲内から前記第２の範囲の信号（例えば、参照タップ）を抽出する第２の抽出手段（例えば、図３のタップ抽出部５１）と、前記第１の範囲の入力信号と前記第２の範囲の第２の種類の信号の相関関係を計算する計算手段（例えば、図３のタップ評価値計算部５２）と、前記第１の範囲の入力信号に対して閾値以上の相関を有する前記第２の範囲の第２の種類の信号と、それに対応する前記入力信号を選択する選択手段（例えば、図３の選択部６１）と、選択された前記第１の種類の信号としての前記入力信号と前記第２の範囲の第２の種類の信号を前記信号対として登録する登録手段（例えば、図３の参照対登録部５４）とを備えるようにすることができる。
【００３６】
前記信号対を記憶する記憶手段（例えば、図１８の参照対記憶部１１３）と、前記第２の種類の信号としての前記入力信号から前記第１の範囲の信号を抽出する第１の抽出手段（例えば、図１８の領域抽出部１１１）と、前記第１の範囲の前記入力信号の特徴と、記憶されている前記信号対の前記第１の範囲の前記第２の種類の信号の特徴を比較し、前記第１の範囲の前記入力信号の特徴に対して所定の関係を有する前記第１の範囲の前記第２の種類の信号を含む前記信号対を検索する検索手段（例えば、図１８のパターン照合部１１２）とを備えるようにすることができる。
【００３７】
前記第１の種類の信号と前記第２の種類の信号は画像信号であり、前記第１の種類の信号（例えば、HD画像信号）は、その解像度が前記第２の種類の信号（例えば、SD画像信号）より高い画像信号であるようにすることができきる。
【００３８】
前記検索手段は、前記第１の範囲の前記入力信号の特徴を検出する第１の検出手段（例えば、図１９の特徴量抽出部１３１）と、記憶されている前記第１の範囲の前記第２の種類の信号の特徴を検出する第２の検出手段（例えば、図１９の特徴量抽出部１３２）と、検出された前記入力信号の特徴と記憶されている前記第１の範囲の前記第２の種類の信号の特徴を比較し、その比較結果に基づいて前記信号対を選択する選択手段（例えば、図１９の比較部１３３）とを備えるようにすることができる。
【００３９】
請求項１５の情報処理方法は、信号対を構成する第１の種類の信号（例えば、SD画像信号）と第２の種類の信号（例えば、CIF画像信号）に対して所定の関係（例えば、閾値以上の相関関係）を有する入力信号の第１の範囲の基準値（例えば、予測タップの最小値）を演算する第１の演算ステップ（例えば、図１４のステップS72）と、前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップ（例えば、図１４のステップS78）と、前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップ（例えば、図１４のステップS79）とを含むことを特徴とする。
【００４０】
請求項１６の記録媒体は、信号対を構成する第１の種類の信号（例えば、SD画像信号）と第２の種類の信号（例えば、CIF画像信号）に対して所定の関係（例えば、閾値以上の相関関係）を有する入力信号の第１の範囲の基準値（例えば、予測タップの最小値）を演算する第１の演算ステップ（例えば、図１４のステップS72）と、前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップ（例えば、図１４のステップS78）と、前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップ（例えば、図１４のステップS79）とを含むことを特徴とする。
【００４１】
請求項１７のプログラムは、信号対を構成する第１の種類の信号（例えば、SD画像信号）と第２の種類の信号（例えば、CIF画像信号）に対して所定の関係（例えば、閾値以上の相関関係）を有する入力信号の第１の範囲の基準値（例えば、予測タップの最小値）を演算する第１の演算ステップ（例えば、図１４のステップS72）と、前記信号対を構成する前記第１の種類の信号の平均値を演算する第２の演算ステップ（例えば、図１４のステップS78）と、前記基準値と前記平均値に基づいて、前記第１の種類の信号に対して所定の関係を有する第３の種類の信号を演算する第３の演算ステップ（例えば、図１４のステップS79）とをコンピュータに実行させることを特徴とする。
【００４２】
次に、本発明の実施の形態について説明する。図１は、本発明を適用した情報処理装置の構成例を表している。この情報処理装置１は、領域抽出部１１、生徒画像生成部１２、参照対生成部１３、および予測演算部１４により構成されている。
【００４３】
領域抽出部１１は、入力されたSD（Standard Definition）画像信号から、あらかじめ設定されている予測領域の画素を予測タップとして抽出し、参照対生成部１３と予測演算部１４に供給する。生徒画像生成部１２は、入力されたSD画像信号を、例えば、水平方向と垂直方向にそれぞれ１画素ごとに間引くことで、生徒画像信号としてのCIF（Common Intermediate Format）画像信号を生成し、参照対生成部１３に供給する。参照対生成部１３は、領域抽出部１１より供給された予測タップと、生徒画像生成部１２より供給された生徒画像信号としてのCIF画像信号に基づいて、参照対としての信号対を生成する。予測演算部１４は、領域抽出部１１より供給された予測タップと参照対生成部１３より供給された参照対に基づいて、HD（High Definition）画像信号を生成する。
【００４４】
生徒画像生成部１２は、例えば、図２に示されるように構成される。図２の生徒画像生成部１２は、ローパスフィルタ３１、位相シフト部３２、およびサブサンプル部３３により構成されている。
【００４５】
ローパスフィルタ３１は、入力されたSD画像信号の水平方向と垂直方向の帯域を１／２に落とす処理を実行する。この実施の形態の場合、SD画像信号を４倍の密度のHD画像信号に変換するため、ローパスフィルタ３１は、ハーフバンドフィルタとして構成される。
【００４６】
位相シフト部３２は、ローパスフィルタ３１より供給された、帯域が抑圧されたSD画像信号のデータを位相シフトした後、サブサンプル部３３に供給する。サブサンプル部３３は、位相シフト部３２より供給された帯域が抑圧されたSD画像信号を、水平方向と垂直方向それぞれに、１画素おきに間引くことでCIF画像信号を生成する。
【００４７】
この実施の形態においては、予測演算部１４において、SD画像信号からHD画像信号を生成する。すなわち、SD-HD変換を行うため、生徒画像生成部１２では、その逆変換、すなわち、HD-SD変換に相当する処理を行うのであるが、予測演算部１４において、等倍画像変換処理（例えば、HD-HD変換）を行う場合には、生徒画像生成部１２における位相シフト部３２とサブサンプル部３３は省略することができる。
【００４８】
図３は、参照対生成部１３の構成例を表している。この参照対生成部１３は、タップ抽出部５１、タップ評価値計算部５２、生徒選択部５３、参照対登録部５４、および教師選択部５５により構成されている。
【００４９】
タップ抽出部５１は、生徒画像生成部１２より供給されたCIF画像信号から、処理対象とされている注目画素に対して、あらかじめ設定されている一定の相対的位置関係にある領域（参照領域）の画素としての参照タップを抽出する。
【００５０】
タップ抽出部５１における参照タップと、領域抽出部１１における予測タップの注目画素に対する相対的位置関係は、実質的に同一となるように（評価値の計算ができるように）設定されている。
【００５１】
タップ評価値計算部５２は、タップ抽出部５１により抽出された参照タップと、領域抽出部１１により抽出された予測タップの相関関係を判定する。具体的には、それぞれのタップの相関係数が計算される。
【００５２】
例えば、参照タップをＸ（Ｘ1，Ｘ2，Ｘ3，Ｘ4，Ｘ5）とし、予測タップをＹ（Ｙ1，Ｙ2，Ｙ3，Ｙ4，Ｙ5）とすると、相関係数Ｃは、次式で演算される。
【００５３】
【数１】
2005210342.tif 000003
【００５４】
なお、上記（１）式おいて、ＸM，ＹMは、それぞれＸi，Ｙiの平均値を表す。
【００５５】
あるいはまた、タップ評価値計算部５２は、参照タップと予測タップの波形距離を用いて、両者の相関関係を判定するようにしてもよい。この場合、波形距離Ｄは次式で演算される。
【００５６】
【数２】
2005210342.tif 000004
【００５７】
生徒選択部５３は、予測タップとの相関があらかじめ設定されている閾値以上である場合（相関が高い場合）、その参照タップを生徒画像信号として選択し、参照対登録部５４に供給し、登録させる。評価値として波形距離Ｄが用いられた場合には、波形距離Ｄがあらかじめ設定されている閾値より小さい場合に、その参照タップが生徒選択部５３により選択され、参照対登録部５４に供給され、登録される。
【００５８】
生徒選択部５３とともに選択部６１を構成する教師選択部５５は、生徒選択部５３により選択された参照タップに対応するSD画像信号を教師画像信号として選択する。参照対登録部５４は、生徒選択部５３より供給された生徒画像信号としてのCIF画像信号と、教師選択部５５より供給された教師画像信号としてのSD画像信号の信号対よりなる参照対を対応させて登録する。
【００５９】
図４は、予測演算部１４の構成例を表わしている。この予測演算部１４は、ダイナミックレンジ（Dynamic Range）（DR）演算部７１、最小値演算部７２、ダイナミック（DR）演算部７３、最小値演算部７４、SD画像抽出部７５、参照対正規化部７６、平均値演算部７７、および合成部７８により構成されている。
【００６０】
DR演算部７１は、領域抽出部１１より供給された予測タップのダイナミックレンジ、すなわち、最大値と最小値の差を演算し、参照対正規化部７６に出力する。最小値演算部７２は、入力された予測タップの最小値を演算し、合成部７８に出力する。このDR演算部７１と最小値演算部７２は、予測タップ演算部８２として一体化することができる。
【００６１】
DR演算部７３は、参照対生成部１３より供給された参照対のダイナミックレンジ、すなわち、最大値と最小値の差を演算し、参照対正規化部７６に出力する。最小値演算部７４は、入力された参照対の最小値を演算し、参照対正規化部７６に出力する。このDR演算部７３と最小値演算部７４は、参照対演算部８３として一体化することができる。SD画像抽出部７５は、入力された参照対（SD画像信号成分とCIF画像信号成分とで構成されている）からそこに含まれるSD画像信号成分を抽出し、参照対正規化部７６に出力する。
【００６２】
参照対正規化部７６は、SD画像抽出部７５より供給されたSD画像信号成分を、最小値演算部７４より供給された最小値、DR演算部７３より供給されたダイナミックレンジ、並びにDR演算部７１より供給されたダイナミックレンジに基づいて、正規化する処理を実行する。平均値演算部７７は、参照対正規化部７６により正規化されたSD画像信号の平均値を演算し、合成部７８に出力する。合成部７８は、平均値演算部７７より供給された平均値に、最小値演算部７２より供給された最小値を加算することで、HD画像信号を生成する。
【００６３】
すなわち、この予測演算部１４においては、SD画像抽出部７５により抽出された参照対を構成するSD画像信号成分の平均値を、予測タップ演算部８２、参照対演算部８３、および参照対正規化部７６よりなる正規化部８１により正規化した後、平均値演算部７７で演算するのであるが、正規化せずに平均値を演算する場合には、正規化部８１は省略することができる。
【００６４】
次に、図５のフローチャートを参照して、この情報処理装置１のHD画像信号生成処理について説明する。
【００６５】
最初に、ステップＳ１において、領域抽出部１１は、入力されたSD画像信号から注目画素を選択する。そして、ステップＳ２において、領域抽出部１１は、入力信号から予測タップを抽出する。すなわち、ステップＳ１で選択された注目画素に対して、あらかじめ設定されている相対的位置に位置する画素が、予測タップとして抽出される。
【００６６】
図６は、予測タップの例を表している。図６の例においては、SD画像信号の画素データｓ１乃至ｓ９よりなる９個の画素データが、予測タップとされている。また、図６の例では、注目画素は画素データｓ５であり、水平方向に１画素置きに左方向に離れて位置する画素データｓ４と、右方向に離れて位置する画素データｓ６の３個の画素データ、注目画素の画素データｓ５より１画素おいて上側に位置する画素データｓ２と、その１画素おいて左方向に位置する画素データｓ１と、１画素おいて右方向に位置する画素データｓ３の３個の画素データ、注目画素の画素データｓ５より１画素おいて下側に位置する画素データｓ８と、その１画素おいて左方向に位置する画素データｓ７と、１画素おいて右方向に位置する画素データｓ９よりなる３個の画素データにより予測タップが構成されている。
【００６７】
次に、ステップＳ３において、生徒画像生成部１２により、CIF画像信号生成処理が実行される。このCIF画像信号生成処理は、図７のフローチャートに示されている。
【００６８】
最初に、ステップＳ２１において、ローパスフィルタ３１は、入力されたSD画像信号から、高域周波数成分を除去する。これにより、折り返し歪みが発生することが防止される。次にステップＳ２２において、位相シフト部３２は、ローパスフィルタ３１より供給された高域周波数成分が除去されたSD画像信号を、水平方向と垂直方向に１／２画素ずつずらすことで位相シフトする。さらに、ステップＳ２３において、サブサンプル部３３は、サブサンプルすることでCIF画像信号を生成する。具体的には、位相シフトされたSD画像信号を、水平方向と垂直方向に１画素おきに間引くことでCIF画像信号が生成される。
【００６９】
すなわち、図８に示されるように、図中、四角形で示されるSD画像信号の画素が、ローパスフィルタ３１により高域周波数成分が除去された後、右方向と下方向にそれぞれ１／２画素分ずつ位相シフトされ、さらに１画素おきに間引かれることで、図８において「×」印で示されるCIF画像信号の画素が生成される。すなわち、１個のCIF画像信号の画素は、４個のSD画像信号の画素に対応することになる。
【００７０】
図５に戻って、次に、ステップＳ４において、参照対生成部１３により、参照対生成処理が実行される。この参照対生成処理の詳細は、図９のフローチャートに示されている。
【００７１】
ステップＳ５１において、タップ抽出部５１は、サブサンプル部３３より供給されたCIF画像信号の探索範囲内の１つの画素に対し、それを中心とした参照タップを抽出する。この参照タップは、領域抽出部１１で抽出される予測タップと、相対的に同一の位置関係になるようにあらかじめ設定されている。すなわち、図１０に示されるように、図中「×」印で示されるCIF画像信号から、１つの画素データｃ５、およびその左側に位置する１個の画素データｃ４と右側に位置する１個の画素データｃ６よりなる３個の画素データ、画素データｃ５より１画素上側に位置する画素データｃ２、およびその左側に位置する画素データｃ１と右側に位置する画素データｃ３の３個の画素データ、画素データｃ５より１画素下側に位置する画素データｃ８、およびその左側に位置する画素データｃ７と右側に位置する画素データｃ９の３個の画素データの合計９個の画素データが参照タップとして抽出される。
【００７２】
次に、ステップＳ５２において、タップ評価値計算部５２は、タップ評価値を演算する。評価値として、例えば、相関値が用いられる場合、図１１に示されるように、図５のステップＳ２で抽出された９個の予測タップｓ１乃至ｓ９と、ステップＳ５１で抽出された参照タップｃ１乃至ｃ９の相関係数Ｃが、上記した（１）式に基づいて演算される。
【００７３】
上述したように、この演算が確実に行われるように、ステップＳ２で領域抽出部１１により抽出される予測タップと、ステップＳ５１でタップ抽出部５１により抽出される参照タップは、対応するようにあらかじめ定められている。すなわち、図１１に示されるように、参照タップの画素データｃ１乃至ｃ９は、それぞれ予測タップの画素データｓ１乃至ｓ９に対応するように、その相対的位置関係が定められている。
【００７４】
次にステップＳ５３において、生徒選択部５３は、ステップＳ５２の処理で演算された評価値（今の場合、相関係数Ｃ）をあらかじめ設定されている所定の閾値と比較し、相関値Ｃが閾値以上である場合には、そのCIF画像信号（参照タップ）はSD画像信号の予測タップと高い相関関係を有しているので、これを選択し、参照対登録部５４に供給する。参照対登録部５４は、これを登録する。具体的には、図１０と図１１に示されるステップＳ５１で抽出された参照タップとしての画素データｃ１乃至ｃ９が、参照対登録部５４に登録される。
【００７５】
また、このとき教師選択部５５は、図１１に示されるように、ステップＳ３で抽出したSD画像信号の注目画素データｓ５を、図１３を参照して後述するように、参照タップｃ１乃至ｃ９に対応する教師画像信号の画素データ（対応注目画素）として選択する。参照対登録部５４は、この画素データｓ５を、画素データｃ１乃至ｃ９に対応する参照対として登録する。
【００７６】
ステップＳ５４において、タップ抽出部５１は、探索範囲を全て探索したか否かを判定し、まだ探索範囲の全てを探索していない場合には、ステップＳ５１に戻り、探索範囲内の他の１つの画素を選択し、それを中心とした参照タップを抽出する。ステップＳ５２において、タップ評価値計算部５２は、ステップＳ５１で新たに選択された参照タップに関し、上述した場合と同様にして評価値を演算する。ステップＳ５３において、生徒選択部５３は、ステップＳ５２の処理で演算された評価値が、閾値以上であるか否かを判定し、閾値以上であれば、参照対登録部５４に供給し登録させる。閾値以上でなければ、この登録処理は行われない。教師選択部５５は、生徒選択部５３により選択された画素データｃ１乃至ｃ９に対応する教師データとしてのSD画像信号の画素データｓ５を選択し、参照対登録部５４に供給する。参照対登録部５４は、供給された生徒画像信号としての参照タップｃ１乃至ｃ９と、教師画像信号としてのSD画像信号の画素データｓ５を参照対として登録する。
【００７７】
以上の処理は、図１２に示されるように、SD画像プレーン１１１上の１つの注目画素の予測タップに相関するタップを、CIF画像プレーン１１２上の探索範囲１１３内で探索することを意味する。探索範囲１１３は、例えば、200×200画素の範囲とされる。探索範囲１１３内において、注目画素に対応する予測タップと閾値以上の相関を有する参照タップが検索され、その参照タップと、それに対応するSD画像信号の対応注目画素が、参照対として登録される。
【００７８】
すなわち、図１３に示されるように、予測タップと閾値以上の相関を有する参照タップが、探索範囲１１３内において探索される。探索範囲１１３内において、予測タップと閾値以上の相関を有する参照タップが探索された場合、その参照タップに対応する対応注目画素が、SD画像プレーン１１１内において抽出される。図１３の例の場合、予測タップは、（100，150，100，150，200，150，100，150，100）とされ、これに対して閾値以上の相関値を有する探索範囲１１３内の参照タップは、（180，190，180，190，200，190，180，190，180）とされている。この参照タップの位置は、探索範囲１１３内の任意の位置となるので、必ずしも予測タップに対応する位置にあるとは限らない。そして、３×３個の参照タップの中央のタップ（画素値「２００」のタップ）に対応するSD画像プレーン１１１上の１個の画素が、対応注目画素として抽出される。図１３の例の場合、画素値「２０５」を有する画素が、参照タップに対応する対応注目画素とされている。この場合、参照タップ（180，190，180，190，200，190，180，190，180）と対応注目画素（２０５）が参照対として登録されることになる。
【００７９】
図９に戻って、以上の処理がステップＳ５４において、探索範囲を全て探索したと判定されるまで繰り返し実行される。探索範囲が全て探索されたと判定された場合、処理はステップＳ５５に進み、タップ抽出部５１は、全SD画素データを処理したか否かを判定し、まだ処理していないSD画素データが存在する場合には、ステップＳ５１に戻り、それ以降の処理を繰り返し実行する。
【００８０】
ステップＳ５５において、全てのSD画素データの処理を終了したと判定された場合、参照対生成処理は終了される。
【００８１】
以上のようにして、図５のステップＳ４の参照対生成処理が終了した後、ステップＳ５において、予測演算処理が実行される。この予測演算処理の詳細は、図１４のフローチャートに示されている。
【００８２】
ステップＳ７１において、DR演算部７１は、図５のステップＳ２の処理で抽出された予測タップのダイナミックレンジを求める。すなわち、予測タップに含まれる９個のタップ（画素）の画素値の最大値と最小値の差が、ダイナミックレンジとして求められる。ステップＳ７２において、最小値演算部７２は、予測タップの最小値を求める。最小値は、ダイナミックレンジを求めるときも必要なので、最小値演算部７２はDR演算部７１と一体化してもよい。
【００８３】
ステップＳ７３において、DR演算部７３は、ステップＳ５３の処理で参照対登録部５４に登録された参照対の中から１つの参照対を取り出し、その参照対を構成するCIF画像信号の最大値と最小値の差としてのダイナミックレンジを求める。ステップＳ７４において、最小値演算部７４は、その参照対を構成するCIF画像信号の最小値を求める。この場合にも、最小値は、ダイナミックレンジを求めるときに既に求められているので、最小値演算部７４は、DR演算部７３と一体化することができる。
【００８４】
ステップＳ７５において、SD画像抽出部７５は、参照対を構成するSD画像信号の画素値を抽出する。そして、ステップＳ７６において、参照対正規化部７６は、ステップＳ７５の処理で抽出された画素値を、次の（３）式に基づいて正規化する処理を実行する。
【００８５】
ｓ’j＝（ｓj−ｃjmin）×ＤＲPT／ＤＲj                ・・・（３）
【００８６】
上記（３）式において、ｓ’jは、正規化後のSD画素データを表し、ｓjは、ステップＳ７５で抽出されたSD画像データを表し、ｃjminは、ステップＳ７４で求められたCIF画像データの最小値を表し、DRPTは、ステップＳ７１で求められた予測タップのダイナミックレンジを表し、DRjは、ステップＳ７３で求められたCIF画像データのダイナミックレンジを表す。
【００８７】
ステップＳ７７において、参照対正規化部７６は、全参照対の処理が終了したか否かを判定し、まだ処理していない参照対が残っている場合には、ステップＳ７３に戻り、それ以降の処理を繰り返す。
【００８８】
以上の処理を図１５を参照して具体的に説明する。図１５の例の場合、予測タップPTは、（100，150，100，150，200，150，100，150，100）とされている。従って、その最小値は「１００」、最大値は「２００」なので、ステップＳ７１において、予測タップPTのダイナミックレンジとして、「１００」が求められ、ステップＳ７２において、予測タップPTの最小値として「１００」が求められる。
【００８９】
図１５においては、参照対として、１００個の参照対が示されている。第1番目の参照対は、「２０５」の値を有するSD画像信号の画素データｓ１と、（180，190，180，190，200，190，180，190，180）のCIF画素データｃ１により構成されている。従って、この参照対においては、CIF画像信号の最大値が「２００」、最小値が「１８０」であるので、ダイナミックレンジとして「２０」が、最小値として「１８０」が、それぞれステップＳ７３，Ｓ７４で求められる。そして、ステップＳ７５において、「２０５」の画素値を有するSD画素データｓ１が抽出される。
【００９０】
同様に、ｉ番目の参照対は、CIF画素データｃi（120，160，120，160，200，160，120，160，120）とSD画素データｓi（２２０）で構成されている。CIF画素データｃiの最大値は「２００」、最小値は「１２０」であるので、そのダイナミックレンジは「８０」となる。そして、SD画素データｓi（２２０）が抽出される。
【００９１】
１００番目の参照対は、CIF画素データｃ100（100，120，100，120，140，120，100，120，100）とSD画素データｓ100（１４８）とで構成されている。CIF画素データｃ100の最大値は「１４０」、最小値は「１００」であるので、ダイナミックレンジは「４０」となる。そしてSD画素データｓ100（１４８）が抽出される。
【００９２】
従って、第１番目の参照対においては、SD画素データｓ1（２０５）は、（３）式に従って、次式に示されるように正規化され、「１２５」となる。
【００９３】
１２５＝（２０５−１８０）×１００／２０            ・・・（４）
【００９４】
また、ｉ番目の参照対においては、SD画素データｓiの値「２２０」は、次式に示されるように「１２５」に正規化される。
【００９５】
１２５＝（２２０−１２０）×１００／８０            ・・・（５）
【００９６】
また、１００番目の参照対においては、SD画素データｓ100の値「１４８」は、次式に示されるように「１２０」に正規化される。
【００９７】
１２０＝（１４８−１００）×１００／４０      ・・・（６）
【００９８】
全参照対の処理が終了したとき、ステップＳ７８において、平均値演算部７７は、正規化された画素値の平均値を求める処理を実行する。図１５の例においては、１００個の正規化されたSD画素データｓ’1乃至ｓ’100の平均値が演算される。
【００９９】
ステップＳ７９において、合成部７８は、平均値と予測タップの最小値を加算する処理を実行する。すなわち、合成部７８は、次式に基づいて、ステップＳ７８の処理で演算された平均値Ａと、ステップＳ７２の処理で求められた予測タップの最小値MINを加算することでHD画像信号の画素データｈを生成する。
【０１００】
ｈ＝ＭＩＮ＋Ａ                                ・・・（７）
【０１０１】
例えば、図１５の例において、正規化された画素値の平均値の値が「１２４」であり、予測タップPTの最小値は「１００」であるので、予測タップPTの注目画素（２００）に対応するHD画像信号の画素データとして「２２４」が次式のように演算される。
【０１０２】
２２４＝１００＋１２４                        ・・・（８）
【０１０３】
この画素値が、注目画素に対応するHD画像信号の画素値となる。
【０１０４】
ステップＳ８０において、合成部７８は、ステップＳ７９の処理で演算して得られた演算結果を出力する。
【０１０５】
以上のように、本発明においては、図１３に示されるように、SD画像プレーン１１１の予測タップにおける最小値MINSDとダイナミックレンジDRSDを基にして、その下位の階層にあたる（その１／４の解像度の）CIF画像プレーン１１２の探索範囲１１３の参照タップにおける最小値MINCIFとダイナミックレンジDRCIFを合わせた（正規化した）際の、参照対における対応注目画素の正規化画素が着目される。すなわち、この実施の形態では、SD画像信号の画素データから最小値MINCIF（基準値）を減算した値に対して、比DRSD/ DRCIFに基づいて重み付けを行い、最小値MINSDを加算することでHD画像信号の画素データが生成される。
【０１０６】
あるいは、このことは、次のように表現することもできる。すなわち、本発明は、図１６に示されるように、参照対を構成するCIF画像信号の３×３個の画素データ（参照タップ）と、その４倍の解像度のSD画像信号の１個の画素データ（対応注目画素）の関係は、予測タップを構成するSD画像信号の３×３個の画素データと、その４倍の解像度のHD画像信号の１個の画素データの関係と相似しているとの原理に基づいている。
【０１０７】
本発明においては、９個の画素データの特徴は、最小値とダイナミックレンジとして把握される（ダイナミックレンジは、最小値との関係から、最大値として把握することもできる）。そして、参照タップの最小値とダイナミックレンジを、予測タップの最小値とダイナミックレンジに合わせた（正規化した）際の、参照対における対応注目画素（同様に正規化されている）がHD画像信号とみなされる。
【０１０８】
参照対、および比DRSD／DRCIFは、HD画像信号が存在していなくても、SD画像信号があれば求めることができる。従って、リアルタイムの処理が可能となる。そして平均値を利用することで、最小自乗法を利用する場合に較べて逆行列演算という複雑な演算が不要となり、処理を軽くすることができ、迅速かつ簡単にHD画像信号を生成することができる。
【０１０９】
また、最小自乗法で係数を演算する場合に比べて、ロバスト性を向上させることができる。すなわち、最小自乗法で係数を演算する場合、学習に用いる入出力母集団の数が少ないと、係数がオーバーフィッティングを起こす（ロバスト性を失う）ことがある。このようにして得られた係数を用いて予測演算を行うと、適切な画素値が得られない（出力画素値がとんでしまう）ことがある。さらに、正規化された値を平均化することで、限られた範囲である探索範囲から一定以上の相関を有する多くの参照対を得ることができ、この点からもロバスト性を向上させることができる。
【０１１０】
また、従来のクラス分類適応処理を利用する場合に比べて、リンギングを抑えつつエッジを立たせる効果がある。すなわち、通常のハイパス処理をした場合には、図１７Ｂに示されるように、立ち上がり部分と立ち下がり部分が過度に強調されたリンギングが発生するが、本実施の形態においては、図１７Ａに示されるように、このようなリンギングを抑制しつつエッジを立たせる（傾きを急峻にする）ことができる。
【０１１１】
一般のクラス分類適応処理でも同様の効果を得ることが可能であるが、例えば、１ビットADRC処理でクラス分類を行うと、さまざまな入力パターンが同じクラスに分類されるため、クラス内のどのような入力に対しても平均的に効く一方で、さまざまな入力パターンを混ぜてしまった分、効果が少なくなる。例えば、５ビットのクラスコードが「００１１１」の場合、画素値が「１２０」以上である場合「１」、画素値が「１２０」未満である場合「０」とすると、グラデーションを表すデータ（100，110，120，130，140）とエッジを表すデータ（100，100，140，140，140）が同じクラスで学習予測されることになる。
【０１１２】
これに対して、本実施の形態では、実際に処理を行う入力波形と近似した参照対だけを用いるようにしているため、リンギングを抑えかつエッジを立たせることが可能となる。
【０１１３】
図５に戻り、以上のようにして、ステップＳ５の予測演算処理が終了した後、ステップＳ６において、領域抽出部１１は、全画素の処理が処理したか否かを判定し、まだ処理していない画素が残っている場合には、ステップＳ１に戻り、入力されたSD画像信号の注目画素を新たな注目画素とし、その新たな注目画素に対する予測タップを抽出して、その予測タップに対して上述した場合と同様の処理を実行する。
【０１１４】
ステップＳ６において、全画素を処理したと判定された場合、HD画素生成処理は終了される。
【０１１５】
以上においては、入力された画像より４倍の密度を有する高品位の画像を生成する場合に、入力された画像の１／４の密度の画像を生成し、それとの間で参照対を生成するようにしたが、ｎ倍の画像を生成する場合には、１／ｎ倍の画像を生成し、それとの間で参照対を生成すればよいことになる。すなわち、上述した場合は、「ｎ＝４」の場合であるが、ｎの値は１以上の任意の値とすることができる。
【０１１６】
リアルタイムで処理を行う必要がない場合、参照対は予め学習し、記憶しておいたものを利用することができる。図１８は、この場合の情報処理装置の構成例を表している。この情報処理装置１０１は、領域抽出部１１１、パターン照合部１１２、参照対記憶部１１３、領域抽出部１１、および予測演算部１４により構成される。
【０１１７】
領域抽出部１１１は、入力されたSD画像信号から、注目画素に対応してあらかじめ定められている一定の位置の（参照領域の）画素を参照タップとして抽出する。これにより、例えば、９個の画素が参照タップとして抽出される。領域抽出部１１１により抽出された参照タップは、パターン照合部１１２に供給される。
【０１１８】
参照対記憶部１１３には、あらかじめ参照対が記憶されている。この参照対の記憶の方法については、図２３と図２４を参照して後述する。この参照対は、HD画像信号成分とSD画像信号成分とで構成されている。パターン照合部１１２は、参照タップと所定の関係を有する参照対を参照対記憶部１１３から検索し、予測演算部１４に供給する。
【０１１９】
領域抽出部１１は、入力されたSD画像信号から、予測領域の画素を予測タップとして抽出する。注目画素と予測タップとの相対的位置関係は、あらかじめ設定されている。予測領域は、領域抽出部１１１における参照領域と同一とされる。従って、領域抽出部１１１と領域抽出部１１は一方を省略してもよい。領域抽出部１１は抽出した予測タップを予測演算部１４に供給する。
【０１２０】
予測演算部１４は、領域抽出部１１より供給された予測タップと、パターン照合部１１２より供給された参照対に基づいてHD画像信号を予測演算する。
【０１２１】
図１９は、パターン照合部１１２の構成例を表している。このパターン照合部１１２は、特徴量抽出部１３１、特徴量抽出部１３２、比較部１３３、記憶部１３４、およびソーティング部１３５により構成されている。
【０１２２】
特徴量抽出部１３１は、領域抽出部１１１より供給された参照タップの特徴量を抽出し、比較部１３３に供給する。特徴量抽出部１３２は、参照対記憶部１１３より供給された学習対のうちの、SD画像信号成分の特徴量を抽出し、比較部１３３に供給する。比較部１３３は、特徴量抽出部１３１より供給された特徴量と、特徴量抽出部１３２より供給された特徴量とを比較し、両者の相関関係を求める。
【０１２３】
例えば、特徴量抽出部１３１と特徴量抽出部１３２により抽出される特徴量は、画素値そのものとすることができる。あるいはまた、正規化した画素値とすることも可能である。正規化画素値とは、例えば、その参照タップのうちの画素値の最大値を「１」とし、最小値を「０」とし、中間の画素値は、「０」と「１」の間の内分された値として表現される。具体的には画素値から最小値を減算した値を、最大値と最小値の差で割り算することで、得られた値が正規化画素値とされる。
【０１２４】
あるいはまた、特徴量としては、参照タップの最大値と最小値の差としてのダイナミックレンジを用いることも可能である。
【０１２５】
比較部１３３は、これらの画素値、正規化画素値、またはダイナミックレンジに関し、比較値として、そのノルム演算値、差分絶対値和、または相関係数値を演算し、それらに基づいて比較処理を行う。
【０１２６】
ノルム演算値は、例えば、参照タップを（ｘ1，ｘ2，ｘ3・・・，ｘ8，ｘ9）で表し、参照対に含まれるSD画像信号成分を（ｙ1，ｙ2，ｙ3・・・，ｙ8，ｙ9）で表すとき、次式により表される。
【０１２７】
【数３】
2005210342.tif 000005
【０１２８】
また、差分絶対値和は、次の（１０）式で表される。
【０１２９】
【数４】
2005210342.tif 000006
【０１３０】
相関係数Ｃは上述したように、（１）式で表される。
【０１３１】
この他、特徴量抽出部１３１と特徴量抽出部１３２により抽出される特徴量は、１ビットADRCコードとすることができる。この場合、比較部１３３により行われる比較は、1ビットADRCコードの一致度とすることができる。一致度は、対応する位置のビットであって、その値が一致するビットの数とすることができる。
【０１３２】
例えば、参照タップの1ビットADRCコードが（００００００００１）であり、参照対のSD画像信号成分も（００００００００１）である場合、全ての位置のビットにおいてその値が一致するので、一致度は「９」となる。これに対して、参照タップの1ビットADRCコードが（００００００００１）であり、参照対の参照タップ生成分が（００００００００１）である場合には、値が一致するのはMSB側の７ビットとLSBであるので、一致度は「８」となる。
【０１３３】
比較値としては、この他、相関が判定可能な各種の値を用いることができる。
【０１３４】
記憶部１３４は、比較部１３３による比較の結果を記憶する。ソーティング部１３５は、記憶部１３４に記憶された値をソーティングし、相関の高いものから順番にＮ個の比較結果を求める。そしてソーティング部１３５はその上位Ｎ個のSD画像信号成分に対応するＮ個の参照対を参照対記憶部１１３より読み出し、予測演算部１４に出力する。
【０１３５】
次に、図２０のフローチャートを参照して情報処理装置１０１におけるHD画像信号生成処理について説明する。ステップＳ１０１において、領域抽出部１１１と領域抽出部１１はそれぞれ入力されたSD画像信号から注目画素を選択する。ステップＳ１０２において、領域抽出部１１１は入力されたSD画像信号から参照タップを抽出する。参照タップの注目画素に対応する相対的位置関係は、あらかじめ定められている。
【０１３６】
ステップＳ１０３において、パターン照合部１１２は、参照対記憶部１１３に記憶されている参照対とステップＳ１０２の処理で抽出された参照タップをパターン照合する。パターン照合の処理の詳細は、図２１に示されている。
【０１３７】
すなわち、ステップＳ１２１において、特徴量抽出部１３１は、参照タップの特徴量を抽出する。例えば、特徴量として画素それ自体を抽出するものとすると、特徴量抽出部１３１は、領域抽出部１１１より供給された参照タップの特徴量としてその画素値を抽出する。抽出された画素値は、比較部１３３に供給される。
【０１３８】
特徴量抽出部１３２は、ステップＳ１２２において、参照対のSD画像信号成分の特徴量を抽出する。
【０１３９】
すなわち、特徴量抽出部１３２は、参照対記憶部１１３に記憶されている1つの参照対を読み出し、その参照対に含まれるSD画像信号成分の画素値を抽出し、比較部１３３に出力する。比較部１３３はステップＳ１２３において、供給された特徴量の比較値を演算し比較する。具体的には、比較部１３３は、特徴量抽出部１３１より供給された参照タップの画素値と、特徴量抽出部１３２より供給された参照対のSD画像信号成分の画素値の、例えば差分絶対値和を比較値として演算する。
【０１４０】
例えば、図２２に示されるように、参照タップRTが、１個の注目画素と、その上下左右斜め方向に隣接する８個の画素の、合計９（＝３×３）個の画素値で構成されている場合、参照対も９（＝３×３）個の画素値で構成されるSD画像信号成分を有する。図２２の例においては、参照タップRTの画素値は（100，148，100，152，200，152，100，148，100）となっている（注目画素は、中央の値「２００」の画素）。特徴量抽出部１３２により最初にSD画像信号SD１−１が抽出されたとすると、その画素値が（200，200，200，200，200，200，200，200，200）となっている。そこで比較部１３３は、次式のように差分絶対値和を比較値として演算する。
【０１４１】
600＝｜100−200｜＋｜148−200｜＋｜100−200｜＋｜152−200｜＋｜200−200｜
＋｜152−200｜＋｜100−200｜＋｜148−200｜＋｜100−200｜          ・・・（１１）
【０１４２】
記憶部１３４はステップＳ１２４において、比較結果を記憶する。すなわち、記憶部１３４は、以上のようにして計算して得られた比較値としての差分絶対値和の値「６００」を記憶する。
【０１４３】
次に、特徴量抽出部１３２は、参照対の第２番目のSD画像信号成分として、例えばSD画像信号SD１−２を選択し、比較部１３３に出力する。比較部１３３は、参照タップRTの画素値と、SD画像信号SD１−２のSD画像信号成分の画素値の差分絶対値和を上述した場合と同様にして求め、その値を記憶部１３４に供給し、記憶させる。
【０１４４】
以上のような処理が順次繰り返され、参照対記憶部１１３に記憶されている参照対の数に対応する差分絶対値和が演算される。ソーティング部１３５は、ステップＳ１２５において、比較結果をソーティングする。すなわち、ソーティング部１３５は、得られた比較値としての差分絶対値和のうち、その値が小さいものから順番にソーティングし、例えば上位１００個を選択する。そしてソーティング部１３５は、その１００個のSD画像信号成分を有する参照対を参照対記憶部１１３より読み出し、予測演算部１４に供給する。
【０１４５】
このようにして、例えば図２２に示されるように、SD画像信号とHD画像信号の対よりなる１００個の参照対が予測演算部１４に供給される。図２２の例においては、HD画像信号HD−uとSD画像信号SD−uよりなる参照対、HD画像信号HD−jとSD画像信号SD−jよりなる参照対、HD画像信号HD−kとSD画像信号SD−kよりなる参照対、など１００個の参照対が選択され、予測演算部１４に供給される。
【０１４６】
図２０に戻り、ステップＳ１０４において、領域抽出部１１は、入力されたSD画像信号から予測タップを抽出する。ステップＳ１０１の処理で選択された注目画素に対応する予測タップの相対的位置関係もあらかじめ設定されている。この予測タップは、領域抽出部１１１において抽出される参照タップと同一とされる。
【０１４７】
ステップＳ１０５において予測演算部１４は予測演算処理を行う。この処理は、図１４に示されている場合と同一なので、その説明は省略する。
【０１４８】
ステップＳ１０６において、領域抽出部１１１と領域抽出部１１により、処理が全画素終了したか否かが判定され、まだ全画素の処理が終了していない場合には、処理はステップＳ１０１に戻りそれ以降の処理が繰り返し実行される。全画素の処理が終了した場合にはHD画像信号生成処理は終了される。
【０１４９】
以上、説明したようにこの情報処理装置１０１においては、参照対を予め生成し、記憶しておく必要がある。この参照対の生成について、以下に説明する。
【０１５０】
図２３は、参照対を生成する情報処理装置の構成例を表している。この情報処理装置１５１は、２次元間引きフィルタ１６１、領域抽出部１６２、参照対生成部１６３、および参照対記憶部１６４により構成されている。２次元間引きフィルタ１６１は、教師画像としてのHD画像信号を水平方向と垂直方向にそれぞれ1つおきに間引くことで生徒画像としてのSD画像信号を生成する。
【０１５１】
領域抽出部１６２は、２次元間引きフィルタ１６１より入力されたSD画像信号から参照タップを抽出する。領域抽出部１６２が抽出する参照タップは、図１８における領域抽出部１１１が抽出する参照タップ（従って、領域抽出部１１が抽出する予測タップ）と同一である。
【０１５２】
参照対生成部１６３には、領域抽出部１６２により抽出された参照タップのほか、教師画像としてのHD画像信号がそのまま供給されている。参照対生成部１６３は、領域抽出部１６２より供給された参照タップと、それに対応する入力されたHD画像信号とを対とする参照対を生成し、学習対生成部１３５に供給し、記憶させる。
【０１５３】
次に、図２４のフローチャートを参照して、情報処理装置１５１における参照対生成処理について説明する。
【０１５４】
ステップＳ１５１において、２次元間引きフィルタ１６１は、教師画像としてのHD画像信号を入力する。ステップＳ１５２において、２次元間引きフィルタ１６１は、入力したHD画像信号からSD画像信号を生成する。この処理は、例えば、入力されたHD画像信号を水平方向と垂直方向について２画素に１個の割合で画素を間引くことで行われる。その具体的な処理は、図７における場合と同様となる。ステップＳ１５３において、領域抽出部１６２は、入力されたSD画像信号の注目画素を選択する。ステップＳ１５４において領域抽出部１６２は、入力されたSD画像信号から参照タップを抽出する。ステップＳ１５３の処理で選択された注目画素と参照タップとの相対的位置関係は、図１８の領域抽出部１１１における場合と同一である。
【０１５５】
ステップＳ１５５において、参照対生成部１６３は、参照対を生成する。具体的には、ステップＳ１５４で領域抽出部１６２により抽出された参照タップと、ステップＳ１５１で入力された、その参照タップに対応するHD画像信号により参照対が生成される。
【０１５６】
これにより、例えば、は図２２に示されるように、参照タップとしてのSD画素データSD１−１（200，200，200，200，200，200，200，200，200）と、それに対応するHD画素データHD−１（２００）が参照対として生成される。
【０１５７】
参照対記憶部１６４は、ステップＳ１５６において、参照対をストアする処理を実行する。すなわち、以上のようにして生成された参照対が参照対記憶部１６４に供給され、記憶される。
【０１５８】
ステップＳ１５７において、領域抽出部１６２は、以上の処理を全画素終了したか否かを判定する。まだ処理していない画素が残っている場合には、ステップＳ１５３に戻り、次の注目画素が選択され、その新たに選択された注目画素に関して同様の処理が実行される。
【０１５９】
ステップＳ１５７において、全画素についての処理が終了したと判定された場合、処理はステップＳ１５８に進み、領域抽出部１６２は、全学習データの処理を終了したか否かを判定する。まだ全学習データの処理が終了していない場合には、ステップＳ１５１に戻り、新たなHD画像信号の入力を受け、そのHD画像信号に基づく学習対生成処理が繰り返される。ステップＳ１５８において、全学習データの処理が終了したと判定された場合、学習対生成処理は終了される。
【０１６０】
以上のようにして、参照対記憶部１６４に記憶された参照対が、図１８の参照対記憶部１１３において利用されることになる。
【０１６１】
以上においては、より高品位の画像を生成する場合を例としたが、各種の種類の信号を生成する場合に本発明を適用することが可能である。さらに本発明は、画像信号に限らず、音声信号その他の信号を処理する場合にも適用することが可能である。
【０１６２】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、情報処理装置は、図２５に示されるようなパーソナルコンピュータにより構成される。
【０１６３】
図２５において、CPU（Central Processing Unit）２２１は、ROM（Read Only Memory）２２２に記憶されているプログラム、または記憶部２２８からRAM（Random Access Memory）２２３にロードされたプログラムに従って各種の処理を実行する。RAM２２３にはまた、CPU２２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６４】
CPU２２１、ROM２２２、およびRAM２２３は、バス２２４を介して相互に接続されている。このバス２２４にはまた、入出力インタフェース２２５も接続されている。
【０１６５】
入出力インタフェース２２５には、キーボード、マウスなどよりなる入力部２２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部２２７、ハードディスクなどより構成される記憶部２２８、モデムなどより構成される通信部２２９が接続されている。通信部２２９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１６６】
入出力インタフェース２２５にはまた、必要に応じてドライブ２３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２２８にインストールされる。
【０１６７】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１６８】
この記録媒体は、図２５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２２や、記憶部２２８に含まれるハードディスクなどで構成される。
【０１６９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０１７１】
【図１】本発明を適用した情報処理装置の構成例を示すブロック図である。
【図２】図１の生徒画像生成部の構成例を示すブロック図である。
【図３】図１の参照対生成部の構成例を示すブロック図である。
【図４】図１の予測演算部の構成例を示すブロック図である。
【図５】図１の情報処理装置のHD画像信号生成処理を説明するフローチャートである。
【図６】予測タップを説明する図である。
【図７】図５のステップＳ３のCIF画像信号生成処理を説明するフローチャートである。
【図８】サブサンプリングを説明する図である。
【図９】図５のステップＳ４の参照対生成処理を説明するフローチャートである。
【図１０】参照タップを説明する図である。
【図１１】予測タップと参照タップの関係を説明する図である。
【図１２】予測タップと探索範囲の関係を説明する図である。
【図１３】参照タップと対応注目画素の関係を説明する図である。
【図１４】図５のステップＳ５の予測演算処理を説明するフローチャートである。
【図１５】正規化処理を説明する図である。
【図１６】CIF画像信号、SD画像信号、およびHD画像信号の関係を説明する図である。
【図１７】エッジを立てる処理を説明する図である
【図１８】本発明を適用した他の情報処理装置の構成例を表すブロック図である。
【図１９】図１８のパターン照合部の構成例を示すブロック図である。
【図２０】図１８の情報処理装置のHD画像信号生成処理を説明するフローチャートである。
【図２１】図７のステップＳ１０３のパターン照合処理を説明するフローチャートである。
【図２２】参照対の例を示す図である。
【図２３】参照対を生成する情報処理装置の構成例を示すブロック図である。
【図２４】図２３の情報処理装置の参照対生成処理を説明するフローチャートである。
【図２５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７２】
１  情報処理装置，  １１  領域抽出部，  １２  生徒画像生成部，  １３  参照対生成部，  １４  予測演算部，  ５１  タップ抽出部，  ５２  タップ評価値計算部，  ５３  生徒選択部，  ５４  参照対登録部，  ５５  教師選択部，  ７１  DR演算部，  ７２  最小値演算部，  ７３  DR演算部，  ７４  最小値演算部，  ７５  SD画像抽出部，  ７６  参照対正規化部，  ７７  平均値演算部，  ７８  合成部，  １１１  領域抽出部，  １１２  パターン照合部，  １１３  参照対記憶部，  １３１，１３２  特徴量抽出部，  １３３  比較部，  １３４  記憶部，  １３５  ソーティング部，  １６１  ２次元間引きフィルタ，  １６２  領域抽出部，  １６３  参照対生成部，  １６４  参照対記憶部
【図１】
2005210342.tif 000007
【図２】
2005210342.tif 000008
【図３】
2005210342.tif 000009
【図４】
2005210342.tif 000010
【図５】
2005210342.tif 000011
【図６】
2005210342.tif 000012
【図７】
2005210342.tif 000013
【図８】
2005210342.tif 000014
【図９】
2005210342.tif 000015
【図１０】
2005210342.tif 000016
【図１１】
2005210342.tif 000017
【図１２】
2005210342.tif 000018
【図１３】
2005210342.tif 000019
【図１４】
2005210342.tif 000020
【図１５】
2005210342.tif 000021
【図１６】
2005210342.tif 000022
【図１７】
2005210342.tif 000023
【図１８】
2005210342.tif 000024
【図１９】
2005210342.tif 000025
【図２０】
2005210342.tif 000026
【図２１】
2005210342.tif 000027
【図２２】
2005210342.tif 000028
【図２３】
2005210342.tif 000029
【図２４】
2005210342.tif 000030
【図２５】
2005210342.tif 000031