(57)【要約】【課題】編集された素材に対しても適応的に処理をすることができ、その処理結果として統計的に確からしい処理結果を得ることができ、その結果として、ユーザ操作量の低減や、破綻や不自然な強調などを抑えることができるようにする。【解決手段】学習部２１と出力画像生成部２２は、次のような入力エネルギークラス分類を行う。即ち、画像中のエッジ部の波形の急峻度を特徴量として定義した場合、その特徴量の度合に応じてクラスが複数設けられており、ＳＤのデータＳａ，Ｓｂ，Ｓｃ或いはデータＩを構成する各画素を注目画素として、その注目画素を、先の特徴量に基づいて複数のクラスのうちの何れかに分類する、といったクラス分類をいう。本発明は、例えば編集された素材に対して高解像度化処理を施すシステムに適用可能である。【選択図】図１
2009260905.tif 000002
【特許請求の範囲】
【請求項１】
画像中のエッジ部の波形の急峻度が第１の特徴量として定義され、第１の画像を構成する画素に対して、前記第１の特徴量を用いる所定の処理を実行することで、第２の画像を構成する画素を決定する
情報処理装置。
【請求項２】
前記第１の特徴量の度合に応じて第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記第１の特徴量に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、
前記第１の種類の前記注目画素のクラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する予測演算手段と
を備える請求項１に記載の情報処理装置。
【請求項３】
前記第１の特徴量とは異なる第２の特徴量が定義され、その第２の特徴量の度合に応じて第２の種類のクラスが複数設けられており、前記注目画素を、前記第２の特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段をさらに備え、
前記予測演算手段は、前記第１の種類および前記第２の種類の前記注目画素のクラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する
請求項２に記載の情報処理装置。
【請求項４】
前記第１の特徴量は、前記注目画素に最も近いエッジ部における二次微分最大値とダイナミックレンジの除算値であり、
前記第１のクラス分類手段は、前記除算値と、１以上の閾値のそれぞれとを比較し、その比較の結果に基づいて前記注目画素のクラスを分類する
請求項２に記載の情報処理装置。
【請求項５】
第１の画像を構成する各画素を注目画素として、ｎ個（ｎは２以上の整数値）の相異なる係数群毎に、その係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素をそれぞれ予測演算し、予測演算されたｎ個の画素を画素候補として出力する予測演算手段と、
前記第１の特徴量に基づいて、前記予測演算手段から出力された前記ｎ個の画素候補の中から所定の１つを、前記第２の画像の画素として選択する選択手段と
を備える請求項１に記載の情報処理装置。
【請求項６】
前記第１の特徴量は、前記注目画素に最も近いエッジ部における二次微分最大値とダイナミックレンジの除算値であり、
前記選択手段は、前記除算値と、１以上の閾値のそれぞれとを比較し、その比較の結果に基づいて、前記ｎ個の画素候補の中から所定の１つを、前記第２の画像の画素として選択する
請求項５に記載の情報処理装置。
【請求項７】
情報処理装置が、
画像中のエッジ部の波形の急峻度が特徴量として定義され、第１の画像を構成する画素に対して、前記特徴量を用いる所定の処理を実行することで、第２の画像を構成する画素を決定する
ステップを含む情報処理方法。
【請求項８】
コンピュータが、
画像中のエッジ部の波形の急峻度が特徴量として定義され、第１の画像を構成する画素に対して、前記第１の特長量を用いる所定の処理を実行することで、第２の画像を構成する画素を決定する
ステップを実行するプログラム。
【請求項９】
第１の画像を教師として入力し、生徒として、前記第１の画像に対して所定度合の帯域制限処理を施した結果得られる第２の画像を生成する生徒生成手段と、
画像中のエッジ部の波形の急峻度が第１の特徴量として定義され、その第１の特徴量の度合に応じて第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記第１の特徴量に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、
前記第１の種類のクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する係数生成手段と
を備える情報処理装置。
【請求項１０】
前記第１の特徴量とは異なる第２の特徴量が定義され、その第２の特徴量の度合に応じて第２の種類のクラスが複数設けられており、前記注目画素を、前記第２の特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段をさらに備え、
前記係数生成手段は、前記第１の種類および前記第２の種類の前記注目画素のクラスにより特定されるクラスごとに、前記係数群を生成する
請求項９に記載の情報処理装置。
【請求項１１】
前記第１の特徴量は、前記注目画素に最も近いエッジ部における二次微分最大値とダイナミックレンジの除算値であり、
前記第１のクラス分類手段は、前記除算値と、１以上の閾値のそれぞれとを比較し、その比較の結果に基づいて前記注目画素のクラスを分類する
請求項９に記載の情報処理装置。
【請求項１２】
前記生徒生成手段は、前記第１の画像に対してｎ段階の度合（ｎは２以上の整数値）の帯域制限処理をそれぞれ施した結果得られるｎ種類の第２の画像を、前記生徒としてそれぞれ生成する
請求項９に記載の情報処理装置。
【請求項１３】
情報処理装置が、
第１の画像を教師として入力し、生徒として、前記第１の画像に対して所定度合の帯域制限処理を施した結果得られる第２の画像を生成し、
画像中のエッジ部の波形の急峻度が第１の特徴量として定義され、その第１の特徴量の度合に応じてクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記第１の特徴量に基づいて複数の前記クラスのうちの何れかに分類し、
複数の前記クラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する
ステップを含む情報処理方法。
【請求項１４】
コンピュータが、
第１の画像を教師として入力し、生徒として、前記第１の画像に対して所定度合の帯域制限処理を施した結果得られる第２の画像を生成し、
画像中のエッジ部の波形の急峻度が第１の特徴量として定義され、その第１の特徴量の度合に応じてクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記第１の特徴量に基づいて複数の前記クラスのうちの何れかに分類し、
複数の前記クラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する
ステップを含む処理を実行するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、編集された素材に対しても適応的に処理をすることができ、その処理結果として統計的に確からしい処理結果を得ることができ、その結果として、ユーザ操作量の低減や、破綻や不自然な強調などを抑えることができるようになった、情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
本出願人は、クラス分類適応処理を先に提案している（例えば、特許文献１参照）。クラス分類適応処理は、入力画像の所定の領域の複数の画素の画素値と、教師画像および生徒画像を用いた学習により予め求めておいた係数群との線形１次式（予測演算式）を演算することにより、入力画像から高解像度の出力画像を求める信号処理である。
【０００３】
ところで、近年、デジタル放送の開始に伴い、SDカメラで撮像された映像をアップコンバートしてHD信号にフォーマット化した映像素材と、HDカメラで撮像された映像素材とが編集によって混合されたような映像ソースが増加している。
【０００４】
【特許文献１】特開２００２−２１８４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの映像ソースでは、元々の映像素材の性質が違うため、フォーマットが同じでも実際の帯域などの特性に大きな違いが生じる。
【０００６】
そのため、出力として最適な結果を得るためには、元々の素材の性質によって処理を変える必要があった。
【０００７】
従来、特許文献１に記載された信号処理装置を含め、統計学習によって画像の高解像度化やズームを行う信号処理装置においては、SDカメラのアップコンバートの画像とHDカメラの画像との間で処理を切り替える場合には、ユーザ動作モードを指定する必要があった。
【０００８】
このため、ユーザにとっては、操作の頻度が多くなり負担が大きいという問題があった。また、同じ画面内にアップコンバートの画像とHDカメラの画像とが混在している場合や、頻繁にアップコンバートの画像とHDカメラの画像とが切り替る場合など、編集によって映像素材の性質が複雑に混在している信号に対してひとつの動作状態しか指定できず、各部分で最適な処理をすることが不可能であり、このような編集画像などへの対応は不完全であった。
【０００９】
また、従来、画素毎などに特徴量を判定して解像度感のコントロールを行う手法は提案されていた。しかしながら、これらの従来の手法では、局所のアクティビティを元に処理パラメータを決定しており、色々な特徴の混じる物体表面などでは正しいパラメータが選ばれる統計的な信頼性が低く、素材の元のフォーマットなどへの対応が出来ているとは言えなかった。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、編集された素材に対しても適応的に処理をすることができ、その処理結果として統計的または定性的に確からしい処理結果を得ることができ、その結果として、ユーザ操作量の低減や、破綻や不自然な強調などを抑えることができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の第１の情報処理装置は、画像中のエッジ部の波形の急峻度が第１の特徴量として定義され、第１の画像を構成する画素に対して、前記第１の特長量を用いる所定の処理を実行することで、第２の画像を構成する画素を決定する。
【００１２】
本発明の一側面の第１−１の情報処理装置は、前記第１の特徴量の度合に応じて第１の種類のクラスが複数設けられており、第１の画像を構成する各画素を注目画素として、その注目画素を、前記第１の特徴量に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、前記第１の種類の前記注目画素のクラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する予測演算手段とを備える。
【００１３】
前記第１の特徴量とは異なる第２の特徴量が定義され、その第２の特徴量の度合に応じて第２の種類のクラスが複数設けられており、前記注目画素を、前記第２の特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段をさらに備え、前記予測演算手段は、前記第１の種類および前記第２の種類の前記注目画素のクラスにより特定される係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素を予測演算する。
【００１４】
前記第１の特徴量は、前記注目画素に最も近いエッジ部における二次微分最大値とダイナミックレンジの除算値であり、前記第１のクラス分類手段は、前記除算値と、１以上の閾値のそれぞれとを比較し、その比較の結果に基づいて前記注目画素のクラスを分類する。
【００１５】
本発明の一側面の第１−２の情報処理装置は、第１の画像を構成する各画素を注目画素として、ｎ個（ｎは２以上の整数値）の相異なる係数群毎に、その係数群と、前記注目画素を含む画素のデータ群とを用いて、第２の画像を構成する画素をそれぞれ予測演算し、予測演算されたｎ個の画素を画素候補として出力する予測演算手段と、前記第１の特徴量に基づいて、前記予測演算手段から出力された前記ｎ個の画素候補の中から所定の１つを、前記第２の画像の画素として選択する選択手段とを備える。
【００１６】
前記第１の特徴量は、前記注目画素に最も近いエッジ部における二次微分最大値とダイナミックレンジの除算値であり、前記選択手段は、前記除算値と、１以上の閾値のそれぞれとを比較し、その比較の結果に基づいて、前記ｎ個の画素候補の中から所定の１つを、前記第２の画像の画素として選択する。
【００１７】
本発明の一側面の第１の情報処理方法および第１のプログラムは、上述した本発明の一側面の第１の情報処理装置に対応する方法およびプログラムである。
【００１８】
本発明の一側面の第１の情報処理装置および方法並びに第１のプログラムにおいては、画像中のエッジ部の波形の急峻度が特徴量として定義され、第１の画像を構成する画素に対して、前記特徴量を用いる所定の処理が実行されることで、第２の画像を構成する画素が決定される。
【００１９】
本発明の一側面の第２の情報処理装置は、第１の画像を教師として入力し、生徒として、前記第１の画像に対して所定度合の帯域制限処理を施した結果得られる第２の画像を生成する生徒生成手段と、画像中のエッジ部の波形の急峻度が第１の特徴量として定義され、その第１の特徴量の度合に応じて第１の種類のクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素を、前記第１の特徴量に基づいて複数の前記第１の種類のクラスのうちの何れかに分類する第１のクラス分類手段と、前記第１の種類のクラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群を生成する係数生成手段とを備える。
【００２０】
前記第１の特徴量とは異なる第２の特徴量が定義され、その第２の特徴量の度合に応じて第２の種類のクラスが複数設けられており、前記注目画素を、前記第２の特徴量に基づいて複数の前記第２の種類のクラスのうちの何れかに分類する第２のクラス分類手段をさらに備え、前記係数生成手段は、前記第１の種類および前記第２の種類の前記注目画素のクラスにより特定されるクラスごとに、前記係数群を生成する。
【００２１】
前記第１の特徴量は、前記注目画素に最も近いエッジ部における二次微分最大値とダイナミックレンジの除算値であり、前記第１のクラス分類手段は、前記除算値と、１以上の閾値のそれぞれとを比較し、その比較の結果に基づいて前記注目画素のクラスを分類する。
【００２２】
前記生徒生成手段は、前記第１の画像に対してｎ段階の度合（ｎは２以上の整数値）の帯域制限処理をそれぞれ施した結果得られるｎ種類の第２の画像を、前記生徒としてそれぞれ生成する。
【００２３】
本発明の一側面の第２の情報処理方法および第２のプログラムは、上述した本発明の一側面の第２の情報処理装置に対応する方法およびプログラムである。
【００２４】
本発明の一側面の第２の情報処理装置および方法並びに第２のプログラムにおいては、第１の画像が教師として入力され、生徒として、前記第１の画像に対して所定度合の帯域制限処理を施した結果得られる第２の画像が生成され、画像中のエッジ部の波形の急峻度が第１の特徴量として定義され、その第１の特徴量の度合に応じてクラスが複数設けられており、前記第２の画像を構成する各画素を注目画素として、その注目画素が、前記第１の特徴量に基づいて複数の前記クラスのうちの何れかに分類され、複数の前記クラスごとに、前記注目画素を含む画素のデータ群から、前記第１の画像を構成する画素を予測演算するために用いる係数群が生成される。
【発明の効果】
【００２５】
以上のごとく、本発明によれば、特に、編集された素材に対しても適応的に処理をすることができ、その処理結果として統計的または定性的に確からしい処理結果を得ることができる。その結果として、ユーザ操作量の低減や、破綻や不自然な強調などを抑えることができる。
【発明を実施するための最良の形態】
【００２６】
初めに、本発明の理解を容易なものとすべく、図１を参照して、本発明が適用される情報処理の一例について、その概要を説明する。
【００２７】
本発明が適用される情報処理とは、主に、入力された画像信号をより一段と高解像度にする信号処理をいう。この信号処理を実行するパート（処理部）としては、統計を用いたデータ解析処理を実行するパート（以下、かかるパートを、図１の記載にあわせて学習部２１と称する）と、その学習結果を用いて入力画像を処理するパート（以下、かかるパートを、図１の記載にあわせて出力画像生成部２２と称する）とに大別される。
【００２８】
ここで、説明の便宜上、入力画像をＳＤと称し、出力の高解像度画像をＨＤと称する。また、ＳＤからＨＤを生成するために使われるデータであって、解像度の違う画像間の階層関係のデータを、ＳＤの画素群に対する係数群と称する。
【００２９】
学習部２１においては、教師信号としてＨＤのデータＴａが用いられる。学習部２１は、様々な信号特性を模擬するために、データＴａに対してｎ種類（ｎは２以上の整数値）の帯域制限フィルタ等をかけることで、ｎ種類の生徒信号データを生成する。
【００３０】
例えば図１に示されるように、n=3とした場合、即ち、教師信号のぼかし方が違う３種類の帯域制限フィルタＦ１，Ｆ２，Ｆ３を用意した場合について考えてみる。この場合、学習部２１は、教師信号のデータＴａに対して３種類の帯域制限フィルタＦ１，Ｆ２，Ｆ３をそれぞれかけることで、生徒信号としてＳＤの３種類のデータＳａ，Ｓｂ，Ｓｃを生成する。
【００３１】
なお、ここでは、帯域制限フィルタとは、帯域制限がないフィルタ（１００％パスするフィルタ）も含む広義な概念のフィルタをいう。即ち、生徒信号のＳＤのデータの１種類として、帯域制限がなされていないデータ、即ち、教師信号としてのＨＤのデータＴａそのものを含めることも可能である。
【００３２】
学習部２１は、ＳＤのデータＳａ、Ｓｂ、Ｓｃに対してクラス分類を行い、クラス毎の係数群を学習する。ここで注目すべき点は、従来用いられていた波形クラス分類（ADRC等）や動きクラス分類に加え、本実施の形態ではさらに、次のようなクラス分類を行う点である。即ち、学習部２１は、注目画素に最も近い画像中のエッジ部についてエッジのアクティビティ（エッジのなまり具合）を判定し、その判定結果に基づいてクラス分類を行う点である。なお、以下、かかるクラス分類を、他のクラス分類と区別するため、入力エネルギークラス分類と称する。また、以下、エッジアクティビティを、説明の便宜上、ＥＡと称する。
【００３３】
即ち、入力エネルギークラス分類とは、画像中のエッジ部の波形の急峻度（ＥＡ）を特徴量として定義した場合、その特徴量の度合に応じてクラスが複数設けられており、ＳＤを構成する各画素を注目画素として、その注目画素を、先の特徴量に基づいて複数のクラスのうちの何れかに分類する、といったクラス分類をいう。
【００３４】
この入力エネルギークラス分類が行われると、映像フォーマットの最大帯域に対して入力信号が実際に持っているアクティビティの値の大きさによって分けられた係数群が得られることになる。なお、以下、かかる係数群を、入力エネルギークラス係数群と称する。図１の例では、入力エネルギークラス係数群Ｃ１,Ｃ２,Ｃ３が得られている。
【００３５】
なお、入力エネルギークラス係数群の種類数は、図１の例では生徒信号のデータの種類数と同一の３種類とされているが、図１の例に特に限定されない。即ち、入力エネルギークラス係数群の種類数は、生徒信号のデータの種類数と同数以上あれば足りる。
【００３６】
出力画像生成部２２は、入力信号のデータＩを構成する各画素のそれぞれに対して、クラス分類を行う。ここで注目すべき点は、学習部２１と同様に出力画像生成部２２でも、従来用いられていた波形クラス分類（ADRC等）や動きクラス分類に加え、入力エネルギークラス分類を行う点である。この入力エネルギークラス分類の結果によって、入力信号からの解像度創造効果の大きさが違う入力エネルギークラス係数群Ｃ１，Ｃ２，Ｃ３が適応的に利用される。その結果、例えば、入力信号のデータＩを構成する画像のうち、ＳＤカメラからのアップコンバート信号に対応する領域に対しては、広い範囲の情報を使った高解像度創造処理を行うことができるようになる。一方、ＨＤカメラの信号に対応する領域に対しては、注目画素近傍の狭い範囲の情報を使った解像度創造処理を行うことができるようになる。以上の結果として、破綻や解像度感不足の無い出力画像を得ることができるようになる。
【００３７】
さらに、以下、学習部２１と出力画像生成部２２の概要について、その順番で個別に説明していく。
【００３８】
はじめに、図２乃至図６を参照して、学習部２１の概要について説明する。
【００３９】
図２は、学習部２１の動作の概略を示している。
【００４０】
上述したように、学習部２１においては、教師信号としてＨＤのデータＴａが用いられる。
【００４１】
学習部２１は、教師信号のデータＴａに対して帯域制限処理を施すことで、ＳＤの生徒信号であるデータＳｋを生成する。
【００４２】
ここで、データＳｋのうちｋは、１乃至nのうちの任意の整数値を示している。即ち、上述したように、実際には、ｎ種類の帯域制限処理が施され、その結果、ｎ種類のＳＤのデータＳ１乃至Ｓｎが得られる。ここでは、説明の簡略上、ｎ種類のＳＤのデータＳ１乃至Ｓｎのうちの任意のデータＳｋに対する処理について説明していく。即ち、実際には、以下に説明する処理が、ｎ種類のＳＤのデータＳ１乃至Ｓｎのそれぞれに対して施されることになる。
【００４３】
学習部２１は、データＳｋに対応するＳＤ中のエッジ部を抽出し、その結果得られる画像（以下、エッジ画像と称する）のデータＳｋｅを生成する。
【００４４】
学習部２１は、データＴａを教師とし、データＳｋを生徒とし、データＳｋｅをサイドインフォメーションとして、入力エネルギークラス分類処理と係数学習処理とを行う。具体的には例えば、入力エネルギークラス分類処理と係数学習処理として、次のような処理が行われる。
【００４５】
例えば、クラス分類適応処理の学習系であれば、生徒であるデータＳｋ等をクラス分類した後にクラス毎に係数群を求めるといった学習が行われる。なお、等と記述したのは、学習を行うためには、当然ながら１つの生徒（データＳｋ）だけが用いられるとは限らず、その他の複数の生徒も用いられる場合があるからである。ここで注目すべき点は、本実施の形態では、クラス分類として、従来用いられているＡＤＲＣ等の波形クラス分類に加え、入力エネルギークラス分類も行われる点である。
【００４６】
具体的には例えば、データＳｋに対応するＳＤ（生徒画像）を構成する各画素が注目画素に順次設定されて、次のような入力エネルギークラス分類が行われる。
【００４７】
ここで、注目画素が図３の画素ＩＮＰであるとする。この場合、学習部２１は、エッジ画像のデータＳｋｅのデータから、注目画素ＩＮＰに最も近いエッジ部ＮＥを抽出する。次に、学習部２１は、エッジ部ＮＥの二次微分最大値ＮＥ＿ＤＩＦを求める。また、学習部２１は、エッジ部ＮＥのダイナミックレンジＮＥ＿ＤＲを求める。次に、学習部２１は、二次微分最大値ＮＥ＿ＤＩＦをダイナミックレンジＮＥ＿ＤＲで除算する。ここで、その除算の結果得られる値を、値ＮＥ＿ＥＮＧと称する。学習部２１は、予め設定されている入力エネルギークラス分類用の閾値Ｅ１，Ｅ２のそれぞれと、値ＮＥ＿ＥＮＧとを比較することで、クラス分類を行う。即ち、このようなクラス分類が、本実施の形態の入力エネルギークラス分類として行われる。
【００４８】
ここで、図４と図５を参照して、入力エネルギークラス分類に用いる情報として、エッジ部ＮＥの二次微分最大値ＮＥ＿ＤＩＦを採用している理由について説明する。
【００４９】
図４の右側の図Ｃは、帯域が制限される前のエッジ部、即ち、理想波形のエッジ部を示している。この理想波形のエッジ部に対して帯域が制限されたエッジ部が、図４の図Ａ，図Ｂに示されている。具体的には、図４の左側の図Ａは、図Ｃの波形に対して強い（図Ｂと比較して強いという意）帯域制限がなされたエッジ部、即ち、それゆえ低帯域（図Ｂと比較して低という意）のエッジ部を示している。図４の中央の図Ｂは、図Ｃの波形に対して弱い（図Ａと比較して弱いという意）帯域制限がなされたエッジ部、即ち、それゆえ高帯域（図Ａと比較して低という意）のエッジ部を示している。
【００５０】
また、図５は、図４の図Ｃとは別の理想波形のエッジ部に対して帯域が制限されたエッジ部を示している。図５中左側の図Ａは、強い（図Ｂと比較して強いという意）帯域制限がなされたエッジ部、即ち、それゆえ低帯域（図Ｂと比較して低という意）のエッジ部を示している。図５の右側の図Ｂは、弱い（図Ａと比較して弱いという意）帯域制限がなされたエッジ部、即ち、それゆえ高帯域（図Ａと比較して低という意）のエッジ部を示している。
【００５１】
図４と図５とからわかるように、一般的に、エッジ部において帯域が制限されると、エッジ全体のダイナミックレンジＮＥ＿ＤＲは大きくは変化しないのに対して、帯域制限の度合いが強いと（低帯域になるほど）二次微分最大値ＮＥ＿ＤＩＦは小さくなる、という特徴がある。
【００５２】
また、エッジ部が理想的な二値エッジの場合（例えば図４の図Ｃの場合）には、二次微分の値はダイナミックレンジの値と同じになる。
【００５３】
従って、ＳＤからのアップコンバート信号のような場合、即ち元のカメラの画像の帯域が低い信号の場合、エッジ部ＮＥの二次微分最大値ＮＥ＿ＤＩＦは小さくなる。一方で、ＨＤカメラ画像の信号のような場合、即ち帯域が高い信号の場合、エッジ部ＮＥの二次微分最大値ＮＥ＿ＤＩＦは大きくなる。
【００５４】
以上のことから、エッジ部ＮＥについて、その二次微分最大値ＮＥ＿ＤＩＦを、理想的な二値エッジ状態の場合に取ると考えられるダイナミックレンジＮＥ＿ＤＲで除算することで、そのエッジのなまり度合（即ちＥＡ）を示す入力エネルギー特徴量を得ることができる。即ち、この入力エネルギー特徴量こそが、入力エネルギークラス分類用の閾値Ｅ１，Ｅ２のそれぞれと比較される値ＮＥ＿ＥＮＧなのである。
【００５５】
そこで、学習部２１は、この値ＮＥ＿ＥＮＧと閾値Ｅ１，Ｅ２とを比較し、その比較結果に基づいて入力エネルギークラス分類を行い、入力エネルギークラス毎に係数群を求める。
【００５６】
ここで、係数群について、その概略を簡単に説明する。なお、さらなる詳細については例えば特許文献１を参照するとよい。
【００５７】
例えば本実施の形態の高解像度化処理としては、特許文献１等の従来の技術と同様な処理、即ち、ＳＤ（入力画像）におけるｉ個の画素を予測タップとして抽出し、それらの予測タップ画素値Ｔ1乃至Ｔiと係数群（係数データ）Ｗ1乃至Ｗiを、次の式（１）に代入にして演算することで、ＨＤ（出力画像）の画素の画素値Ｌ1を算出する処理が行われる。
【００５８】
【数１】
2009260905.tif 000003
・・・（１）
【００５９】
このように、式（１）とは、ＳＤにおける予測タップ画素値Ｔ1乃至Ｔiと、係数群（係数データ）Ｗ1乃至Ｗiとから、ＨＤにおける画素値を予測する予測演算式であるといえる。
【００６０】
よって、この高解像度化処理に利用される係数群（係数データ）Ｗ1乃至Ｗiは、例えば、教師であるＨＤから次のようにして求めることができる。なお、以下、係数群（係数データ）Ｗ1乃至Ｗiをまとめて、係数群Ｗと適宜称する。
【００６１】
係数群Ｗとは、ＨＤを教師画像として、そのＨＤに対して帯域制限処理を施した結果得られるＳＤを生徒画像とした場合、ＨＤとＳＤとを用いて求められる係数群をいう。即ち、ＨＤを教師画像として、ＳＤを生徒画像とした場合、最小自乗法を用いることで係数群Ｗの算出が可能になる。具体的には次の通りである。
【００６２】
即ち、実際のＨＤ上の教師信号の画素値をＬ1とし、上述した式（１）の予測された画素値（式（１）の左辺の値）をＬ1'と書きなおすと、予測誤差e1は、次の式（２）に示される通りとなる。
【００６３】
【数２】
2009260905.tif 000004
・・・（２）
【００６４】
ここで、この式（２）の予測誤差e1に対して最小二乗法を適用すると、次の式（３）のように表される。
【００６５】
【数３】
2009260905.tif 000005
・・・（３）
【００６６】
この式（３）は結局、式（４）に示される正規方程式として表される。
【００６７】
【数４】
2009260905.tif 000006
・・・（４）
【００６８】
式（４）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数群Ｗについて解くことができる。
【００６９】
即ち、ＨＤを教師画像として、そのＨＤに対して帯域制限処理を施した結果得られるＳＤを生徒画像とする。このような生徒画像と教師画像との複数のセットを学習用のサンプルとして用いて、式（４）の正規方程式を、入力エネルギークラス毎にたてて解くことにより、入力エネルギークラス毎の係数群Ｗ、即ち入力エネルギークラス係数群Ｃｍ（ｍはクラス番号を示している）を算出することが可能になる。
【００７０】
具体的には例えば、このようにして得られた入力エネルギークラス係数群Ｃ１，Ｃ２，Ｃ３の一例が図６に示されている。
【００７１】
図６において、横軸の番号は、注目画素を１１番とした場合のその近隣画素（予測タップ）の番号を示し、縦軸は、各番号の画素に対する係数の値を示している。
【００７２】
図６において、実線が、入力エネルギークラス係数群Ｃ１を表している。入力エネルギークラス係数群Ｃ１は、値ＮＥ＿ＥＮＧが大きい場合のクラスの係数群である。入力エネルギークラス係数群Ｃ１は、注目画素近傍の画像情報を用いる係数群となっていることがわかる。
【００７３】
これに対して、一点鎖線が、入力エネルギークラス係数群Ｃ３を表している。入力エネルギークラス係数群Ｃ３は、値ＮＥ＿ＥＮＧが小さい場合のクラスの係数群である。入力エネルギークラス係数群Ｃ３は、注目画素近傍のみならず、広範囲の画像情報（例えば３番や１９番の画素の画素情報等）を用いる係数群となっていることがわかる。
【００７４】
また、入力エネルギークラス係数群Ｃ１，Ｃ３の中間の性質を持つ係数群として、入力エネルギークラス係数群Ｃ２が点線で示されている。
【００７５】
以上、図２乃至図６を参照して、学習部２１の概要について説明した。
【００７６】
なお、以上の説明では、本発明の理解を容易なものとすべく、主に、入力エネルギークラス分類の説明を行った。このため、入力エネルギークラス分類のみに基づいた係数群Ｗが学習により生成されるとした。
【００７７】
しかしながら、上述したように、本実施の形態では、クラス分類として、入力エネルギークラス分類のみならず、従来用いられていた波形クラス分類（ADRC等）や動きクラス分類も行われる。よって、クラス毎の係数群Ｗとしては、実際には次のような係数群が生成される。即ち、例えば、従来のクラス分類として、波形クラス分類が行われるとする。また、入力エネルギークラス分類により分類される各クラスの番号を、以下、入力エネルギークラス番号と称し、波形クラス分類により分類される各クラスの番号を、波形クラス番号と称するとする。この場合、入力エネルギークラス番号と波形クラス番号に基づいたクラス毎の係数群Ｗが実際には生成されることになる。なお、このことの詳細については、図８以降を参照して説明する。即ち、図７を用いた出力画像生成部２２の説明としては、入力エネルギークラス分類にのみ着目した説明とする。
【００７８】
次に、図７を参照して、出力画像生成部２２の概要について説明する。
【００７９】
図７は、出力画像生成部２２の動作の概略を示している。
【００８０】
図７に示されるように、出力画像生成部２２は、入力信号のデータＩを構成する各画素をクラス分類し、各クラス毎に、学習部２１により求められた係数群Ｗ（図７の例では、入力エネルギークラス係数群Ｃ１，Ｃ２，Ｃ３）のうちの当該クラスに対応する係数群Ｗを適用した高解像度化処理を施すことで、データＯを生成し、それを出力信号として出力する。
【００８１】
ここで注目すべき点は、本実施の形態では、クラス分類として、従来用いられていた波形クラス分類（ADRC等）や動きクラス分類に加えてさらに、入力エネルギークラス分類が行われる点である。
【００８２】
即ち、出力画像生成部２２は、データＩに対応するＳＤ（入力画像）中のエッジ部を抽出し、その結果得られるエッジ画像のデータＩｅを生成する。
【００８３】
出力画像生成部２２は、データＩに対応するＳＤ（生徒画像）を構成する各画素を注目画素にそれぞれ設定し、その注目画素について、入力エネルギークラス分類処理を次のように実行する。
【００８４】
入力エネルギークラス分類は、基本的に、学習部２１による入力エネルギークラス分類と同様に行われる（図３参照）。即ち、注目画素ＩＮＰに最も近いエッジ部ＮＥから二次微分最大値ＮＥ＿ＤＩＦとダイナミックレンジＮＥ＿ＤＲとが求められる。次に、それらの除算値である値ＮＥ＿ＥＮＧが求められる。そして、その値ＮＥ＿ＥＮＧと閾値Ｅ１，Ｅ２との比較により、入力エネルギークラス分類が行われる。これにより、次の高解像度化処理では、入力エネルギークラスに対応する係数群Ｗを選定することができるようになる。
【００８５】
具体的には例えば、値ＮＥ＿ＥＮＧが閾値Ｅ１よりも小さい場合には、係数群Ｃ１が選択される。その結果、高解像度化処理によって、入力波形（データＩ）の注目画素から見て広範囲の情報を用いて解像度創造が行われる。
【００８６】
一方、値ＮＥ＿ＥＮＧが閾値Ｅ２（＞閾値Ｅ１）よりも大きい場合には、係数群Ｃ３が選択される。その結果、高解像度化処理によって、入力波形（データＩ）の注目画素の近傍の情報を用いて解像度創造が行われる。
【００８７】
また、閾値Ｅ１≦値ＮＥ＿ＥＮＧ≦閾値Ｅ２の場合には、係数群Ｃ１，Ｃ３の中間の性質を持つ係数群Ｃ２が選択される。
【００８８】
以上、本発明の概要について説明した。次に、本発明の実施の形態について説明する。
【００８９】
上述の如く、本発明が適用される画像処理システムは、係数群Ｗを学習によって求める学習部２１と、その学習により生成された係数群Ｗを用いて高解像度化を行う出力画像生成部２２とから構成される。なお、本実施の形態ではさらに、後述する図８や図１０に示されるように、学習部２１により生成された係数群Ｗのデータ（以下、係数データと適宜称する）を記録する係数記録部２３も、画像処理システムの構成要素として設けられている。
【００９０】
図８は、学習部２１の機能的構成例を示す機能ブロック図である。
【００９１】
図８の例では、学習部２１は、画像入力部３１乃至係数学習部３７を含むように構成されている。
【００９２】
画像入力部３１は、教師信号としてのＨＤのデータ（図１の例ではデータＴａ）を入力し、帯域制限画像生成部３２と係数学習部３７に提供する。
【００９３】
帯域制限画像生成部３２は、ＨＤのデータに対して帯域制限処理を施すことで、生徒信号としてＳＤのデータを生成する。ＳＤのデータは、エッジ抽出部３３乃至係数学習部３７のそれぞれに提供される。
【００９４】
例えば図１の例に対応させると、帯域制限画像生成部３２は、教師信号のデータＴａに対して３種類の帯域制限フィルタＦ１，Ｆ２，Ｆ３をそれぞれかけることで、生徒信号としてＳＤの３種類のデータＳａ，Ｓｂ，Ｓｃを生成する。なお、以下、３種類のデータＳａ，Ｓｂ，Ｓｃが、帯域制限画像生成部３２により生成されたとして、各機能ブロックの説明をしていく。
【００９５】
エッジ抽出部３３は、ＳＤのデータＳａ，Ｓｂ，Ｓｃ中のエッジ部分を抽出し、それを画像中エッジ情報として近傍エッジ決定部３４に提供する。
【００９６】
近傍エッジ決定部３４は、注目画素に最も近いエッジ部ＮＥを決定し、それを最近傍エッジ位置情報として、入力エネルギークラス分類部３５に提供する。
【００９７】
即ち、エッジ抽出部３３と近傍エッジ決定部３４が、図２でいうエッジ抽出処理を行う。なお、近傍エッジ決定部３４の処理を、エッジ抽出処理の一部と把握せずに、図２でいう入力エネルギークラス分類処理の一部と把握してもよい。
【００９８】
入力エネルギークラス分類部３５は、図２でいう入力エネルギークラス分類処理を実行することで、注目画素の入力エネルギークラス番号を決定して係数学習部３７に提供する。
【００９９】
一方、波形クラス分類部３６は、ＳＤのデータＳａ，Ｓｂ，Ｓｃに対してＡＤＲＣ等の波形分類を行うことで、波形クラス番号を決定して係数学習部３７に提供する。なお、波形クラス分類部３６の代わりに、別の種類のクラス分類、例えば、動きクラス分類を行う他のブロックを設けるようにしてもよい。
【０１００】
係数学習部３７は、図２でいう係数学習処理を実行する。ここで、図２は、入力エネルギークラス分類の結果を考慮した係数学習処理についての図である点留意すべきである。即ち、係数学習部３７の係数学習処理では、上述したように、波形クラス分類の結果も考慮される点留意すべきである。
【０１０１】
即ち、係数学習部３７は、ＨＤのデータを教師として、ＳＤのデータＳａ，Ｓｂ，Ｓｃを生徒として、入力エネルギークラス番号と波形クラス番号に基づいたクラス毎の係数データを学習により生成して、係数記録部２３に記録させる。
【０１０２】
図９は、このような機能的構成を有する学習部２１の処理例を説明するフローチャートである。
【０１０３】
ステップＳ１において、画像入力部３１は、ＨＤのデータを入力する。なお、入力の単位は特に限定されず、例えば本実施の形態では、フレーム単位またはフィールド単位で入力される。
【０１０４】
ステップＳ２において、帯域制限画像生成部３２は、帯域制限フィルタの種類を選択する。例えば図１の例では、帯域制限フィルタＦ１，Ｆ２，Ｆ３のうちの何れかの種類が選択される。
【０１０５】
ステップＳ３において、帯域制限画像生成部３２は、全ての種類を選択したか否かを判定する。
【０１０６】
用意された帯域制限フィルタの全種類について学習処理（後述するステップＳ２乃至Ｓ１６のループ処理）が終了している場合、ステップＳ３において、ＹＥＳであると判定されて、処理はステップＳ１７に進む。ただし、ステップＳ１７以降の処理については後述する。
【０１０７】
これに対して、用意された帯域制限フィルタの全種類について学習処理がまだ終了していない場合、ステップＳ３において、ＮＯであると判定されて、処理はステップＳ４に進む。
【０１０８】
ステップＳ４において、帯域制限画像生成部３２は、ステップＳ２の処理で選択した種類の帯域制限フィルタを用いて、ＨＤのデータに対して帯域制限処理を施すことで、ＳＤのデータを生成する。
【０１０９】
ステップＳ５において、エッジ抽出部３３は、画像中エッジ情報を取得する。
【０１１０】
ステップＳ６において、帯域制限画像生成部３２等が、ＳＤを構成する各画素のうちの、注目画素を中心とするクラスタップ、予測タップ位置の画素の画素値を取得する。
【０１１１】
ステップＳ７において、帯域制限画像生成部３２等が、ＳＤの全領域において学習が終了したか否かを判定する。
【０１１２】
後述するステップＳ６乃至Ｓ１６のループ処理が繰り返し実行されて、ＳＤの全領域において学習が終了した場合、ステップＳ７においてＹＥＳであると判定され、処理はステップＳ２に戻され、それ以降の処理が繰り返される。即ち、別の種類の帯域制限フィルタにより別のＳＤのデータが生成され、その別のＳＤのデータについての学習処理が実行されることになる。
【０１１３】
これに対して、ＳＤの全領域において学習が終了していない場合、ステップＳ７においてＮＯであると判定され、処理はステップＳ８に進む。
【０１１４】
ステップＳ８において、近傍エッジ決定部３４は、最近傍エッジ位置情報を取得する。即ち、近傍エッジ決定部３４は、ステップＳ５の処理で取得された画像中エッジ情報（各エッジ部ＮＥ）の中から、処理対象の中心画素（注目画素ＩＮＰ）から距離が最も近いエッジ部ＮＥを選択し、それを最近傍エッジ位置情報として、入力エネルギークラス分類部３５に提供する。
【０１１５】
ステップＳ９において、入力エネルギークラス分類部３５は、入力エネルギー演算処理を実行する。入力エネルギー演算処理とは、閾値Ｅ１，Ｅ２と比較する値ＮＥ＿ＥＮＧを演算する処理をいう。即ち、入力エネルギークラス分類部３５は、ステップＳ８の処理で取得された最近傍エッジ位置情報、即ち、エッジ部ＮＥを用いて、ダイナミックレンジＮＥ＿ＤＲと二次微分最大値ＮＥ＿ＤＩＦを演算し、それらの値を次の式（５）に代入して演算することで、値ＮＥ＿ＥＮＧを算出する。
【０１１６】
ＮＥ＿ＥＮＧ＝ＮＥ＿ＤＩＦ／ＮＥ＿ＤＲ        ・・・（５）
【０１１７】
ステップＳ１０において、入力エネルギークラス分類部３５は、ステップＳ９の処理で求められた値ＮＥ＿ＥＮＧと、予め設定されている閾値Ｅ１を比較し、ＮＥ＿ＥＮＧ＜閾値Ｅ１であるか否かを判定する。
【０１１８】
ＮＥ＿ＥＮＧ＜閾値Ｅ１である場合、入力エネルギークラス分類部３５は、ステップＳ１０においてＹＥＳであると判定し、ステップＳ１１において、注目画素の入力エネルギークラス番号として１を出力する。
【０１１９】
これに対して、ＮＥ＿ＥＮＧ≧閾値Ｅ１である場合、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ１２に進む。
【０１２０】
ステップＳ１２において、入力エネルギークラス分類部３５は、ステップＳ９の処理で求められた値ＮＥ＿ＥＮＧと、予め設定されている閾値Ｅ２（＞閾値Ｅ１）を比較し、ＮＥ＿ＥＮＧ＞閾値Ｅ２であるか否かを判定する。
【０１２１】
ＮＥ＿ＥＮＧ＞閾値Ｅ２である場合、入力エネルギークラス分類部３５は、ステップＳ１２においてＹＥＳであると判定し、ステップＳ１３において、注目画素の入力エネルギークラス番号として２を出力する。
【０１２２】
これに対して、閾値Ｅ１≦値ＮＥ＿ＥＮＧ≦閾値Ｅ２の場合、入力エネルギークラス分類部３５は、ステップＳ１２においてＮＯであると判定し、ステップＳ１４において、注目画素の入力エネルギークラス番号として３を出力する。
【０１２３】
このようにして、ステップＳ１１，１３または１４の処理により入力エネルギークラス番号が出力されると、処理はステップＳ１５に進む。
【０１２４】
ステップＳ１５において、波形クラス分類部３６は、ステップＳ６の処理で取得されたクラスタップ位置の画素値から、注目画素の波形クラス番号を生成する。
【０１２５】
ステップＳ１６において、係数学習部３７は、正規化方程式を生成する。
【０１２６】
これにより、処理はステップＳ６に戻され、それ以降の処理が繰り返される。
【０１２７】
その後、帯域制限フィルタの各種類を用いて生成されたＳＤの各データの学習処理として、ステップＳ２乃至Ｓ１６のループ処理が繰り返し実行されると、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ１７に進む。
【０１２８】
ステップＳ１７において、係数学習部３７は、クラス毎の正規方程式を掃き出し法などでそれぞれ解くことによって、クラス毎の係数群Ｗを生成する。
【０１２９】
ステップＳ１８において、係数学習部３７は、クラス毎の係数群Ｗを係数記録部２３に保存する。
【０１３０】
これにより、学習部２１の処理は終了となる。
【０１３１】
なお、以上の例では、入力エネルギークラスとして３クラス存在することが前提とされていた。このため、値ＮＥ＿ＥＮＧと比較される閾値は、閾値Ｅ１，Ｅ２の２種類のみであった。しかしながら、入力エネルギークラスのクラス数は、特に３クラスに限定されない。従って、クラス数が３クラス以外のときは、そのクラス数に応じた個数の閾値を用意するとよい。換言すると、閾値の個数を可変させることで、入力エネルギークラスのクラス数も容易に可変することができる。
【０１３２】
以上、学習部２１の詳細について説明した。次に、出力画像生成部２２の詳細について説明する。
【０１３３】
図１０は、出力画像生成部２２の機能的構成例を示している。
【０１３４】
出力画像生成部２２は、係数記録部２３に記録された係数データを用いて、画像のノイズ除去や高解像度化を行うことができる。
【０１３５】
図１０の例では、出力画像生成部２２は、処理対象画像入力部４１乃至高解像度画像出力部４７を含むように構成されている。
【０１３６】
処理対象画像入力部４１は、ＳＤのデータ（図１の例ではデータＩ）を、処理対象画像のデータとして入力し、エッジ抽出部４２乃至高解像度化処理部４６に提供する。
【０１３７】
エッジ抽出部４２は、ＳＤのデータ中のエッジ部分を抽出し、それを画像中エッジ情報として近傍エッジ決定部４３に提供する。
【０１３８】
近傍エッジ決定部４３は、注目画素に最も近いエッジ部ＮＥを決定し、それを最近傍エッジ位置情報として、入力エネルギークラス分類部４４に提供する。
【０１３９】
即ち、エッジ抽出部４２と近傍エッジ決定部４３が、図７でいうエッジ抽出処理を行う。なお、近傍エッジ決定部４３の処理を、エッジ抽出処理の一部と把握せずに、図７でいう入力エネルギークラス分類処理の一部と把握してもよい。
【０１４０】
入力エネルギークラス分類部４４は、図７でいう入力エネルギークラス分類処理を実行することで、注目画素の入力エネルギークラス番号を決定して高解像度化処理部４６に提供する。
【０１４１】
一方、波形クラス分類部４５は、ＳＤのデータに対してＡＤＲＣ等の波形分類を行うことで、波形クラス番号を決定して高解像度化処理部４６に提供する。なお、図８の学習部２１において、波形クラス分類部３５の代わりに、別の種類のクラス分類、例えば、動きクラス分類を行う他のブロックを設けられている場合、その「他のブロック」に対応する機能ブロックが波形クラス分類部４５の代わりに設けられる。
【０１４２】
高解像度化処理部４６は、入力エネルギークラス番号と波形クラス番号に基づいたクラスの係数データを係数記録部２３から取得する。そして、高解像度化処理部４６は、その係数データを用いて、図７でいう高解像度化処理を実行する。即ち、その係数データに含まれる係数群Ｗ1乃至Ｗiと、ＳＤのデータのうちの注目画素を含む予測タップ位置の画素の画素値Ｈ1乃至Ｈiとを、上述した式（１）に代入して演算することで、ＨＤの画素の画素値Ｌ1を算出する。このようにして、ＨＤの全画素について画素値Ｌ1が算出されると、そのＨＤの各画素値Ｌ1からなるデータが、ＨＤのデータ（図７の例ではデータＯ）として、高解像度画像出力部４７に提供される。
【０１４３】
高解像度画像出力部４７は、ＨＤのデータを外部機器等に出力する。
【０１４４】
図１０は、このような機能的構成を有する出力画像生成部２２の処理例を説明するフローチャートである。
【０１４５】
ステップＳ３１において、処理対象画像入力部４１は、処理対象の動画像のＳＤのデータを入力する。なお、入力の単位は特に限定されず、例えば本実施の形態では、フレーム単位またはフィールド単位で入力される。
【０１４６】
ステップＳ３２において、処理対象画像入力部４１は、動画像全体の処理が終了したか否かを判定する。
【０１４７】
動画像全体の処理が終了した場合、即ち、全フレームまたは全フィールドについて、後述するステップＳ３３乃至Ｓ４４のループ処理が実行された場合、ステップＳ３２において、ＹＥＳであると判定されて、出力画像生成部２２の処理は終了となる。
【０１４８】
これに対して、動画像全体の処理がまだ終了していない場合、ステップＳ３２において、ＮＯであると判定されて、処理はステップＳ３３に進む。
【０１４９】
ステップＳ３３において、エッジ抽出部４２は、画像中エッジ情報を取得する。
【０１５０】
ステップＳ３４において、処理対象画像入力部４１等が、ＳＤを構成する各画素のうちの、注目画素を中心とするクラスタップ、予測タップ位置の画素の画素値を取得する。
【０１５１】
ステップＳ３５において、処理対象画像入力部４１等が、ＳＤの全領域について、対応するＨＤ画素が生成されたか否かを判定する。
【０１５２】
後述するステップＳ３４乃至Ｓ４４のループ処理が繰り返し実行されて、ＳＤの全領域について、対応するＨＤ画素が生成された場合、ステップＳ３５においてＹＥＳであると判定され、処理はステップＳ３１に戻され、それ以降の処理が繰り返される。即ち、次のフレームまたはフィールドのＳＤのデータが入力され、そのＳＤのデータの全領域について、対応するＨＤ画素が生成される。
【０１５３】
これに対して、ＳＤの全領域について、対応するＨＤ画素がまだ生成されていない場合、ステップＳ３５においてＮＯであると判定され、処理はステップＳ３６に進む。
【０１５４】
ステップＳ３６において、近傍エッジ決定部４３は、最近傍エッジ位置情報を取得する。即ち、近傍エッジ決定部４３は、ステップＳ３３の処理で取得された画像中エッジ情報（各エッジ部ＮＥ）の中から、処理対象の中心画素（注目画素ＩＮＰ）から距離が最も近いエッジ部ＮＥを選択し、それを最近傍エッジ位置情報として、入力エネルギークラス分類部４４に提供する。
【０１５５】
ステップＳ３７において、入力エネルギークラス分類部４４は、入力エネルギー演算処理を実行する。入力エネルギー演算処理については、図９のステップＳ９の処理として説明した通り、閾値Ｅ１，Ｅ２と比較する値ＮＥ＿ＥＮＧを演算する処理をいう。
【０１５６】
ステップＳ３８において、入力エネルギークラス分類部４４は、ステップＳ３７の処理で求められた値ＮＥ＿ＥＮＧと、予め設定されている閾値Ｅ１を比較し、ＮＥ＿ＥＮＧ＜閾値Ｅ１であるか否かを判定する。
【０１５７】
ＮＥ＿ＥＮＧ＜閾値Ｅ１である場合、入力エネルギークラス分類部４４は、ステップＳ３８においてＹＥＳであると判定し、ステップＳ３９において、注目画素の入力エネルギークラス番号として１を出力する。
【０１５８】
これに対して、ＮＥ＿ＥＮＧ≧閾値Ｅ１である場合、ステップＳ３８においてＮＯであると判定されて、処理はステップＳ４０に進む。
【０１５９】
ステップＳ４０において、入力エネルギークラス分類部４４は、ステップＳ３７の処理で求められた値ＮＥ＿ＥＮＧと、予め設定されている閾値Ｅ２（＞閾値Ｅ１）を比較し、ＮＥ＿ＥＮＧ＞閾値Ｅ２であるか否かを判定する。
【０１６０】
ＮＥ＿ＥＮＧ＞閾値Ｅ２である場合、入力エネルギークラス分類部４４は、ステップＳ４０においてＹＥＳであると判定し、ステップＳ４１において、注目画素の入力エネルギークラス番号として２を出力する。
【０１６１】
これに対して、閾値Ｅ１≦値ＮＥ＿ＥＮＧ≦閾値Ｅ２の場合、入力エネルギークラス分類部４４は、ステップＳ４０においてＮＯであると判定し、ステップＳ４２において、注目画素の入力エネルギークラス番号として３を出力する。
【０１６２】
このようにして、ステップＳ３９，４１または４２の処理により入力エネルギークラス番号が出力されると、処理はステップＳ４３に進む。
【０１６３】
ステップＳ４３において、波形クラス分類部４５は、ステップＳ３４の処理で取得されたクラスタップ位置の画素値から、注目画素の波形クラス番号を生成する。
【０１６４】
ステップＳ４４において、高解像度化処理部４６は、ＨＤ画素を生成する。即ち、高解像度化処理部４６は、ステップＳ３９，４１若しくは４２の処理により出力された入力エネルギークラス番号と、ステップＳ４３の処理で生成された波形クラス番号とに対応する係数群Ｗ1乃至Ｗiを係数記録部２３から取得する。そして、高解像度化処理部４６は、その係数群Ｗ1乃至Ｗiと、予測タップ位置の画素値Ｔ1乃至Ｔiとを、上述した予測演算式（１）に代入して演算することで、ＨＤ画素の画素値Ｌ1を演算する。
【０１６５】
これにより、処理はステップＳ３４に戻され、それ以降の処理が繰り返される。
【０１６６】
その後、処理対象のフレームまたはフィールドのＳＤの全領域について、ステップＳ３４乃至Ｓ４４のループ処理が繰り返し実行されると、ステップＳ３５においてＹＥＳであると判定されて、処理はステップＳ３１に進む。それ以降の処理が繰り返される。
【０１６７】
なお、以上の例では、学習部２１との整合性を取るべく、入力エネルギークラスとして３クラス存在することが前提とされていた。このため、値ＮＥ＿ＥＮＧと比較される閾値は、閾値Ｅ１，Ｅ２の２種類のみであった。しかしながら、入力エネルギークラスのクラス数は、特に３クラスに限定されない。従って、クラス数が３クラス以外のときは、そのクラス数に応じた個数の閾値を用意するとよい。換言すると、閾値の個数を可変させることで、入力エネルギークラスのクラス数も容易に可変することができる。
【０１６８】
以上、出力画像生成部２２の詳細について説明した。
【０１６９】
このような本発明が適用される学習部２１と出力画像生成部２２を適用することで、帯域の違いによるクラス分類、即ち、入力エネルギークラス分類を行うことができる。
【０１７０】
その結果、例えば、SDカメラ画像からのアップコンバートされた映像素材のように特性的に帯域が低い信号と、HDカメラ画像のように特性的に帯域が高い信号が混在しているような場合について適応的に解像度変換や解像度感向上を行う処理を学習によって得ることができるようになる。
【０１７１】
また、このような学習処理結果を用いることで、低帯域の素材や高帯域の素材が混在しているような編集画像に対して解像度変換処理や解像度感向上を行うことができる。その結果、各画素に対して適応的に処理効果が変化し、全体として統計的に最適な出力画像を得ることができる。
【０１７２】
具体的には例えば、図１２は、本発明が適用される入力エネルギークラス分類の有無によるＳＮＲの違いを示す表である。即ち、表内の各数値は、ＳＮＲの値を示している。
【０１７３】
図１２に示されるように、入力エネルギークラス分類を適用することで（入力エネルギークラス有の場合）、映像中の標準的な信号より低帯域な領域、高帯域な領域の双方において処理画像のSNRの向上が得られ、定性的にも処理破綻や解像度感不足の改善効果が得られることがわかる。
【０１７４】
さらにまた、本処理は入力の信号に対してアルゴリズム側で動作を変更するため、従来人がリモコン等で入力信号に合わせて動作モードの切り替えをしていた操作も必要が無くなり、ユーザの操作の負担も軽減することも可能となる。
【０１７５】
以上、本発明が適用される情報処理装置の一実施の形態について、図１乃至図１２を参照して説明した。勿論、本発明は、図１乃至図１２の例に限定されず、様々な実施の形態
を取ることができる。
【０１７６】
以下、図１３乃至図２１を参照して、本発明が適用される情報処理装置であって、図１乃至図１２の例とは異なる実施の形態について説明する。先ず、本実施の形態の理解を容易なものとすべく、図１３を参照して、本発明が適用される情報処理であって、図１の例とは別の例について、その概要を説明する。
【０１７７】
学習部５１においては、教師信号としてＨＤのデータＴｄが用いられる。学習部５１は、様々な信号特性を模擬するために、データＴｄに対してｎ種類（ｎは２以上の整数値）の帯域制限フィルタ等をかけることで、ｎ種類の生徒信号データを生成する。
【０１７８】
例えば、図１３に示されるように、n=3とした場合、即ち、教師信号のぼかし方が違う３種類の帯域制限フィルタＦ４，Ｆ５，Ｆ６を用意した場合について考えてみる。この場合、学習部５１は、教師信号のデータＴdに対して３種類の帯域制限フィルタＦ４，Ｆ５，Ｆ６をそれぞれかけることで、生徒信号としてＳＤの３種類のデータＳd，Ｓe，Ｓfを生成する。
【０１７９】
なお、ここでも図１の例と同様に、帯域制限フィルタとは、帯域制限がないフィルタも含む広義な概念のフィルタをいう。即ち、生徒信号のＳＤのデータの１種類として、帯域制限がなされていないデータ、即ち、教師信号としてのＨＤのデータＴdそのものを含めることも可能である。
【０１８０】
学習部５１は、ＳＤのデータＳd，Ｓe，Ｓfに対してクラス分類を行って、クラス毎の係数群を学習する。なお、ここでのクラス分類の手法は、上述した入力エネルギークラス分類である必要は特に無く、従来用いられているＡＤＲＣ等の波形クラス分類であれば足りる。その結果、図１３の例では、クラス係数群Ｄ１,Ｄ２,Ｄ３が得られている。これらは、生徒信号のデータの特性の違いにより、解像度向上効果に強弱の違いがある。
【０１８１】
なお、クラス係数群の種類数は、図１３の例では生徒信号のデータの種類数と同一の３種類とされているが、図１３の例に特に限定されない。即ち、クラス係数群の種類数は、生徒信号のデータの種類数と同数以上あれば足りる。
【０１８２】
出力画像生成部５２は、入力信号のデータＪを構成する各画素のそれぞれに対して、入力信号からの解像度向上効果の大きさが違うクラス係数群Ｄ１，Ｄ２，Ｄ３を利用して、ＨＤ候補信号Ｅ１、Ｅ２、Ｅ３を生成する。
【０１８３】
次に、出力画像生成部５２は、入力信号のデータＪから求めた注目画素に最も近いエッジ部でＨＤ候補信号Ｅ１、Ｅ２、Ｅ３それぞれのアクティビティの判定を行う。出力画像生成部５２は、その判定結果に基づいて、ＨＤ候補信号Ｅ１、Ｅ２、Ｅ３の中から、最終的なＨＤ画素を選択する。
【０１８４】
具体的には例えば、アクティビティ判定の結果、破綻を生じない範囲で最も二値エッジに近いアクティビティを持つＨＤ候補信号が、最終出力のＨＤ画素として決定される。その結果、出力フォーマットで表現できる最も解像度感の高い出力として、最終処理画面を得ることができるようになる。
【０１８５】
さらに、以下、今回の例における学習部５１と出力画像生成部５２の概要について、その順番で個別に説明していく。
【０１８６】
はじめに、図１４および図１５を参照して、学習部５１の概要について説明する。
【０１８７】
図１４は、学習部５１の動作の概略を示している。
【０１８８】
上述したように、学習部５１においては、教師信号としてＨＤのデータＴdが用いられる。
【０１８９】
学習部５１は、教師信号のデータＴdに対して帯域制限処理を施すことで、ＳＤの生徒信号であるデータＳｍを生成する。
【０１９０】
ここで、データＳｍのうちｍは、１乃至ｎのうちの任意の整数値を示している。即ち、上述したように、実際には、ｎ種類の帯域制限処理が施され、その結果、ｎ種類のＳＤのデータＳ１乃至Ｓｎが得られる。ここでは、説明の簡略上、ｎ種類のＳＤのデータＳ１乃至Ｓtｎうちの任意のデータＳｍに対する処理について説明していく。即ち、実際には、以下に説明する処理が、ｎ種類のＳＤのデータＳ１乃至Ｓｎのそれぞれに対して施されることになる。
【０１９１】
学習部５１は、データＴdを教師とし、データＳｍを生徒として、クラス分類処理と係数学習処理とを行う。本実施の形態では、従来より提案されているクラス分類適応処理の学習系と同様の処理が行われる。
【０１９２】
帯域制限の強さの違うフィルタを複数用意して（図１３の例では、Ｆ４，Ｆ５，Ｆ６）それぞれに対して同様に学習を行うことで、例えば図１５に示されるように、解像度向上効果の違うクラス係数群Ｄ１，Ｄ２，Ｄ３を得ることができる。
【０１９３】
図１５において、横軸の番号は、注目画素を７番とした場合のその近隣画素（予測タップ）の番号を示し、縦軸は、各番号の画素に対する係数の値を示している。
【０１９４】
図１５において、実線がクラス係数群Ｄ１を、点線がクラス係数群Ｄ２を、一点鎖線がクラス係数群Ｄ３を、それぞれ表している。
【０１９５】
以上、図１４および図１５を参照して、今回の例における学習部５１の概要について説明した。
【０１９６】
次に、図１６を参照して、今回の例における出力画像生成部５２の概要について説明する。
【０１９７】
図１６は、出力画像生成部５２の動作の概略を示している。
【０１９８】
なお、以下の説明では、処理対象は、注目画素であるとする。
【０１９９】
出力画像生成部５２は、データＪに対応するＳＤ（入力画像）中のエッジ部を抽出し、その結果得られるエッジ画像のデータＪｅを生成する。
【０２００】
また、出力画像生成部５２は、クラス係数群Ｄ１，Ｄ２，Ｄ３をそれぞれ用いて、データJに対する高解像度化処理を施す。これにより、ＨＤ候補信号Ｅ１、Ｅ２、Ｅ３を生成する。
【０２０１】
出力画像生成部５２は、出力エネルギーによるマッピング結果の選択を行う。即ち、出力画像生成部５２は、エッジ画像のデータＪｅを用いて、マッピング結果であるＨＤ候補信号Ｅ１，Ｅ２、Ｅ３の中から１つを、最終的なＨＤ画素となるＨＤ候補信号を選択する。
【０２０２】
具体的には、注目画素ＩＮＰに最も近いエッジ部ＮＥが求められ、ＨＤ候補信号Ｅ１，Ｅ２、Ｅ３それぞれに対して、ＮＥの位置画素を中心とした二次微分最大値ＮＥ＿ＤＩＦとエッジ部ＮＥのダイナミックレンジＮＥ＿ＤＲとが求められる。次に、それらの除算値である値ＮＥ＿ＥＮＧが求められる。
【０２０３】
ここで、エッジ部ＮＥの二次微分最大値ＮＥ＿ＤＩＦ、エッジ部ＮＥのダイナミックレンジＮＥ＿ＤＲ、およびそれらの除算値である値ＮＥ＿ＥＮＧについての説明は図４及び図５を参照して説明したものと同様である。ただし、本実施の形態では、ＮＥ＿ＥＮＧを出力アクティビティ特徴量と称する。
【０２０４】
ＨＤ候補信号Ｅ１，Ｅ２、Ｅ３それぞれのエッジ部において出力アクティビティ特徴量ＮＥ＿ＥＮＧを求めると、各ＨＤ候補信号がどのくらいの解像度感を持つかを判定することができる。また、非連続なエッジ部において最も急峻である状態は二値エッジであると一般的に定義される。
【０２０５】
この時ＮＥ＿ＤＲ＝ＮＥ＿ＤＩＦとなるため、最も急峻なエッジの出力アクティビティ特徴量ＮＥ＿ＥＮＧは１となる。ＨＤ候補信号のエッジ部においてＮＥ＿ＥＮＧがこれよりも大きな値を取る場合、エッジ周辺にリンギング等が生じて破綻している可能性が高く、定性的に不自然なエッジを持った画像になっている恐れがある。
【０２０６】
これらを踏まえて、ＨＤ候補信号Ｅ１，Ｅ２，Ｅ３から求められた出力アクティビティ特徴量ＮＥ＿ＥＮＧを比較し、二値エッジのアクティビティを超えないという条件を満たした中で最もアクティビティが高いものを最終出力のＨＤ信号として選択する。
【０２０７】
具体的には例えば、図１７において、入力信号のデータＪにおける波形Ａに対して、クラス係数群Ｄ１，Ｄ２，Ｄ３のうちの何れかのひとつがそれぞれ用いられて、高解像度化処理が施され、そのマッピング結果に対する出力アクティビティ特徴量Ｂ，Ｃ、Ｄが得られたとする。出力アクティビティ特徴量Ｂは、エッジ周辺にリンギング等が生じて破綻しているため、不自然なエッジを持った画像になっている。また、出力アクティビティ特徴量Ｄは、エッジがなまっている。そこで、二値エッジのアクティビティを超えないという条件を満たした中で、最もアクティビティが高いものは出力アクティビティ特徴量Ｃとなる。
【０２０８】
よって、出力アクティビティ特徴量Ｃに対応するマッピング結果が、最終的なＨＤ画素として選択される。なお、図１７の例は、出力エネルギーによるマッピング結果の選択処理を模式的に説明した図であって、出力アクティビティ特徴量Ｃに対応するマッピング結果は必ずしも、ＨＤ候補信号Ｅ２であるとは限らない。
【０２０９】
このように、エッジ部の破綻が出る可能性が低いという条件を満たした上で最も解像度感が高い出力を選択する事が出来る。その結果、自然かつ出力フォーマットで表現出来る最も解像度感の高い出力として、データＰを得ることが出来る。
【０２１０】
次に、以上の図１３乃至図１６を用いて説明した情報処理を実行する画像処理システム、即ち、本発明が適用される画像処理システムの一実施の形態であって、図８乃至図１２の例とは異なる実施の形態について説明する。
【０２１１】
上述の如く、この例の画像処理システムは、係数群を学習によって求める学習部５１と、その学習により生成された係数群を用いて高解像度化を行う出力画像生成部５２とから構成される。なお、本実施の形態ではさらに、後述する図１８に示されるように、学習部５１により生成された係数群のデータ（以下、係数データと適宜称する）を記録する係数記録部６５も、画像処理システムの構成要素として設けられている。
【０２１２】
図１８は、学習部５１の機能的構成例を示す機能ブロック図である。
【０２１３】
図１８の例では、学習部５１は、画像入力部６１、帯域制限画像生成部６２、波形クラス分類部６３、および係数学習部６４から構成されている。
【０２１４】
画像入力部６１は、教師信号としてのＨＤのデータ（図１３の例ではデータＴd）を入力し、帯域制限画像生成部６２と係数学習部６４に提供する。
【０２１５】
帯域制限画像生成部６２は、ＨＤのデータに対して帯域制限処理を施すことで、生徒信号としてＳＤのデータを生成する。ＳＤのデータは、波形クラス分類部６３に提供される。
【０２１６】
例えば図１３の例に対応させると、帯域制限画像生成部６２は、教師信号のデータＴdに対して３種類の帯域制限フィルタＦ４，Ｆ５，Ｆ６をそれぞれかけることで、生徒信号としてＳＤの３種類のデータＳd，Ｓe，Ｓfを生成する。なお、以下、３種類のデータＳd，Ｓe，Ｓfが、帯域制限画像生成部６２により生成されたとして、各機能ブロックの説明をしていく。
【０２１７】
波形クラス分類部６３は、ＳＤのデータＳd，Ｓe，Ｓfに対してＡＤＲＣ等の波形分類を行うことで、波形クラス番号を決定して係数学習部６４に提供する。なお、波形クラス分類部６３の代わりに、別の種類のクラス分類、例えば、動きクラス分類を行う他のブロックを設けるようにしてもよい。
【０２１８】
係数学習部６４は、図１４でいう係数学習処理を実行する。ここで、図１４は、クラス分類の結果を考慮した係数学習処理についての図である点留意すべきである。即ち、係数学習部６４の係数学習処理では、上述したように、波形クラス分類の結果も考慮される点留意すべきである。
【０２１９】
即ち、係数学習部６４は、ＨＤのデータを教師として、ＳＤのデータＳd，Ｓe，Ｓfを生徒として、波形クラス番号に基づいたクラス毎の係数データを学習により生成して、係数記録部６５に記録させる。
【０２２０】
図１９は、このような機能的構成を有する学習部５１の処理例を説明するフローチャートである。
【０２２１】
ステップＳ６１において、画像入力部６１は、ＨＤのデータを入力する。なお、入力の単位は特に限定されず、例えば本実施の形態では、フレーム単位またはフィールド単位で入力される。
【０２２２】
ステップＳ６２において、帯域制限画像生成部６２は、帯域制限フィルタの種類を選択する。例えば図１３の例では、帯域制限フィルタＦ４，Ｆ５，Ｆ６のうちの何れかの種類が選択される。
【０２２３】
ステップＳ６３において、帯域制限画像生成部６２は、全ての種類を選択したか否かを判定する。
【０２２４】
用意された帯域制限フィルタの全種類について学習処理（後述するステップＳ６２乃至Ｓ６８のループ処理）が終了している場合、ステップＳ６３において、ＹＥＳであると判定されて、処理はステップＳ６９に進む。ただし、ステップＳ６９以降の処理については後述する。
【０２２５】
これに対して、用意された帯域制限フィルタの全種類について学習処理がまだ終了していない場合、ステップＳ６３において、ＮＯであると判定されて、処理はステップＳ６４に進む。
【０２２６】
ステップＳ６４において、帯域制限画像生成部６２は、ステップＳ６２の処理で選択した種類の帯域制限フィルタを用いて、ＨＤのデータに対して帯域制限処理を施すことで、ＳＤのデータを生成する。
【０２２７】
ステップＳ６５において、帯域制限画像生成部６２等が、ＳＤを構成する各画素のうちの、注目画素を中心とするクラスタップ、予測タップ位置の画素の画素値を取得する。
【０２２８】
ステップＳ６６において、帯域制限画像生成部６２等が、ＳＤの全領域において学習が終了したか否かを判定する。
【０２２９】
後述するステップＳ６５乃至Ｓ６８のループ処理が繰り返し実行されて、ＳＤの全領域において学習が終了した場合、ステップＳ６６においてＹＥＳであると判定され、処理はステップＳ６２に戻され、それ以降の処理が繰り返される。即ち、別の種類の帯域制限フィルタにより別のＳＤのデータが生成され、その別のＳＤのデータについての学習処理が実行されることになる。
【０２３０】
これに対して、ＳＤの全領域において学習が終了していない場合、ステップＳ６６においてＮＯであると判定され、処理はステップＳ６７に進む。
【０２３１】
ステップＳ６７において、波形クラス分類部６３は、ステップＳ６５の処理で取得されたクラスタップ位置の画素値から、注目画素の波形クラス番号を生成する。
【０２３２】
ステップＳ６８において、係数学習部６４は、正規化方程式を生成する。
【０２３３】
これにより、処理はステップＳ６５に戻され、それ以降の処理が繰り返される。
【０２３４】
その後、帯域制限フィルタの各種類を用いて生成されたＳＤの各データの学習処理として、ステップＳ６２乃至Ｓ６８のループ処理が繰り返し実行されると、ステップＳ６３においてＹＥＳであると判定されて、処理はステップＳ６９に進む。
【０２３５】
ステップＳ６９において、係数学習部６４は、クラス毎の正規方程式を掃き出し法などでそれぞれ解くことによって、クラス毎の係数データを生成する。
【０２３６】
ステップＳ７０において、係数学習部６４は、クラス毎の係数データを係数記録部６５に保存する。
【０２３７】
これにより、学習部５１の処理は終了となる。
【０２３８】
以上、学習部５１の詳細について説明した。次に、出力画像生成部５２の詳細について説明する。
【０２３９】
図２０は、出力画像生成部５２の機能的構成例を示している。
【０２４０】
出力画像生成部５２は、係数記録部６５に記録された係数データを用いて、画像のノイズ除去や高解像度化を行うことができる。
【０２４１】
処理対象画像入力部７１は、ＳＤのデータ（図１３の例ではデータＪ）を、処理対象画像のデータとして入力し、エッジ抽出部７２、波形クラス分類部７３および高解像度化処理部７４に提供する。
【０２４２】
高解像度化処理部７４は、波形クラス番号に基づいたクラス毎の係数データを用いて、図１６でいう高解像度化処理を実行し、ＨＤ候補信号Ｅ１，Ｅ２，Ｅ３を生成する。ＨＤ候補信号Ｅ１，Ｅ２，Ｅ３は、高解像度画像処理結果選択部７６に提供される。
【０２４３】
エッジ抽出部７２は、ＳＤのデータ中のエッジ部分を抽出し、それを画像中エッジ情報として近傍エッジ決定部７５に提供する。
【０２４４】
近傍エッジ決定部７５は、注目画素に最も近いエッジ部ＮＥを決定し、それを最近傍エッジ位置情報として、高解像度画像処理結果選択部７６に提供する。
【０２４５】
即ち、エッジ抽出部７２と近傍エッジ決定部７５が、図１６でいうエッジ抽出処理を行う。なお、近傍エッジ決定部７５の処理を、エッジ抽出処理の一部と把握せずに、図１６でいう高解像度化処理の一部と把握してもよい。
【０２４６】
係数記録部６５は、クラス毎の係数データを読み出して高解像度化処理部７４に提供する。
【０２４７】
波形クラス分類部７３は、ＳＤのデータに対してＡＤＲＣ等の波形分類を行うことで、波形クラス番号を決定して高解像度化処理部７４に提供する。
【０２４８】
高解像度画像処理結果選択部７６は、ＨＤ候補信号Ｅ１，Ｅ２、Ｅ３それぞれに対して注目画素の最近傍エッジＮＥの二次微分値ＮＥ＿ＤＩＦとダイナミックレンジＮＥ＿ＤＲを用いて、ＮＥ＿ＥＮＧを算出する（ＮＥ＿ＥＮＧ＝ＮＥ＿ＤＩＦ/ＮＥ＿ＤＲ）。
【０２４９】
高解像度画像処理結果選択部７６は、ＨＤ候補信号Ｅ１，Ｅ２、Ｅ３のＮＥ＿ＥＮＧと閾値Ｖを比較し、ＮＥ＿ＥＮＧ＜閾値Ｖという条件をみたすＨＤ候補信号の中から、最大のＮＥ＿ＥＮＧをＨＤ画素として選択する。選択されたＨＤ画素は、高解像度画像出力部７７に提供される。
【０２５０】
高解像度画像出力部７７は、選択されたＨＤ候補信号をＨＤ画素として外部機器に出力する。
【０２５１】
図２１は、このような機能的構成を有する出力画像生成部５２の処理例を説明するフローチャートである。
【０２５２】
ステップＳ９１において、処理対象画像入力部７１は、処理対象の動画像のＳＤのデータを入力する。なお、入力の単位は特に限定されず、例えば本実施の形態では、フレーム単位またはフィールド単位で入力される。
【０２５３】
ステップＳ９２において、処理対象画像入力部７１は、動画像全体の処理が終了したか否かを判定する。
【０２５４】
動画像全体の処理が終了した場合、即ち、全フレームまたは全フィールドについて、後述するステップＳ９３乃至Ｓ１０４のループ処理が実行された場合、ステップＳ９２において、ＹＥＳであると判定されて、出力画像生成部５２の処理は終了となる。
【０２５５】
これに対して、動画像全体の処理がまだ終了していない場合、ステップＳ９２において、ＮＯであると判定されて、処理はステップＳ９３に進む。
【０２５６】
ステップＳ９３において、エッジ抽出部７２は、画像中エッジ情報を取得する。
【０２５７】
ステップＳ９４において、処理対象画像入力部７１等が、ＳＤを構成する各画素のうちの、注目画素を中心とするクラスタップ、予測タップ位置の画素の画素値を取得する。
【０２５８】
ステップＳ９５において、処理対象画像入力部７１等が、ＳＤの全領域について、処理が終了したか否かを判定する。
【０２５９】
後述するステップＳ９４乃至Ｓ１０４のループ処理が繰り返し実行されて、ＳＤの全領域について処理が施された場合、ステップＳ９５においてＹＥＳであると判定され、処理はステップＳ９１に戻され、それ以降の処理が繰り返される。即ち、次のフレームまたはフィールドのＳＤのデータが入力され、そのＳＤのデータの全領域について処理が施される。
【０２６０】
これに対して、ＳＤの全領域についてまだ処理が施されていない場合、ステップＳ９５においてＮＯであると判定され、処理はステップＳ９６に進む。
【０２６１】
ステップＳ９６において、近傍エッジ決定部７５は、最近傍エッジ位置情報を取得する。即ち、近傍エッジ決定部７５は、ステップＳ９３の処理で取得された画像中エッジ情報（各エッジ部ＮＥ）の中から、処理対象の中心画素（注目画素ＩＮＰ）から距離が最も近いエッジ部ＮＥを選択し、それを最近傍エッジ位置情報として、高解像度画像処理結果選択部７６に提供する。
【０２６２】
ステップＳ９７において、高解像度化処理部７４は、波形クラス分類部７３から提供された波形クラス番号と、係数記録部６５から提供されたクラス毎の係数データを用いて、図１６でいう高解像度化処理を実行し、ＨＤ候補信号Ｅ１，Ｅ２，Ｅ３を生成する。
【０２６３】
ステップＳ９８において、高解像度画像処理結果選択部７６は、ＨＤ候補信号Ｅ１，Ｅ２、Ｅ３それぞれに対して注目画素の最近傍エッジＮＥの二次微分値ＮＥ＿ＤＩＦとダイナミックレンジＮＥ＿ＤＲを用いて、出力アクティビティ特徴量ＮＥ＿ＥＮＧ＿Ｅ１、ＮＥ＿ＥＮＧ＿Ｅ２、ＮＥ＿ＥＮＧ＿Ｅ３を算出する。
【０２６４】
ステップＳ９９において、高解像度画像処理結果選択部７６は、求められた値ＮＥ＿ＥＮＧと、予め設定されている閾値Ｖ１を比較し、ＮＥ＿ＥＮＧ＿Ｅ１＜閾値Ｖ１であるか否かを判定する。
【０２６５】
ＮＥ＿ＥＮＧ＿Ｅ１＜閾値Ｖ１である場合、高解像度画像処理結果選択部７６は、ステップＳ９９においてＹＥＳであると判定し、ステップＳ１００において、出力画素としてＨＤ候補信号Ｅ１を出力する。
【０２６６】
これに対して、ＮＥ＿ＥＮＧ＿Ｅ１≧閾値Ｖ１である場合、ステップＳ９９においてＮＯであると判定されて、処理はステップＳ１０１に進む。
【０２６７】
ステップＳ１０１において、高解像度画像処理結果選択部７６は、求められた値ＮＥ＿ＥＮＧ＿Ｅ２と、予め設定されている閾値Ｖ２（＞閾値Ｖ１）を比較し、ＮＥ＿ＥＮＧ＿Ｅ２＞閾値Ｖ２であるか否かを判定する。
【０２６８】
ＮＥ＿ＥＮＧ＿Ｅ２＞閾値Ｖ２である場合、高解像度画像処理結果選択部７６は、ステップＳ１０１においてＹＥＳであると判定し、ステップＳ１０２において、出力画素としてＨＤ候補信号Ｅ２を出力する。
【０２６９】
これに対して、閾値Ｖ１≦値ＮＥ＿ＥＮＧ≦閾値Ｖ２の場合、高解像度画像処理結果選択部７６は、ステップＳ１０１においてＮＯであると判定し、ステップＳ１０３において、出力画素としてＨＤ候補信号Ｅ３を出力する。
【０２７０】
このようにして、ステップＳ１００，１０２または１０３の処理によりＨＤ候補信号が出力されると、処理はステップＳ１０４に進む。
【０２７１】
ステップＳ１０４において、高解像度画像出力部７７は、選択されたＨＤ候補信号をＨＤ画素Ｐとして外部機器に出力する。
【０２７２】
これにより、処理はステップＳ９４に戻され、それ以降の処理が繰り返される。
【０２７３】
その後、処理対象のフレームまたはフィールドのＳＤの全領域について、ステップＳ９４乃至Ｓ１０４のループ処理が繰り返し実行されると、ステップＳ９５においてＹＥＳであると判定されて、処理はステップＳ９１に進む。それ以降の処理が繰り返される。
【０２７４】
なお、以上の例では、学習部５１との整合性を取るべく、クラス係数群の種類数として３種類存在することが前提とされていた。このため、値ＮＥ＿ＥＮＧと比較される閾値は、閾値Ｖ１，Ｖ２の２種類のみであった。しかしながら、クラス係数群の種類数は、特に３種類に限定されない。従って、クラス係数群の種類数が３種類以外のときは、そのクラス数に応じた個数の閾値を用意するとよい。換言すると、閾値の個数を可変させることで、クラス係数群の種類数の種類数も容易に可変することができる。
【０２７５】
以上、出力画像生成部５２の詳細について説明した。
【０２７６】
このような本発明が適用される学習部５１と出力画像生成部５２を適用することで、例えば、SDカメラ画像からのアップコンバートされた映像素材のように特性的に帯域が低い信号と、HDカメラ画像のように特性的に帯域が高い信号が混在しているような場合に、解像度創造効果の強さが違う複数の係数セットの中から、定性的に最も効果が大きい係数を選択して適用することができるようになる。
【０２７７】
また、このような学習処理結果を用いることで、低帯域の素材や高帯域の素材が混在しているような編集画像に対して解像度変換処理や解像度感向上を行うことができる。その結果、各画素に対して適応的に処理効果が変化し、全体として破綻が出ない範囲で解像度感向上が最も大きい出力画を生成することができる。
【０２７８】
また、本処理は入力の信号に対してアルゴリズム側で動作を変更するため、従来人がリモコン等で入力信号に合わせて動作モードの切り替えをしていた操作も必要が無くなり、ユーザの操作の負担も軽減することも可能となる。
【０２７９】
さらにまた、本発明は複数の信号処理の出力結果に対して判定を行うものであるため、従来使われていた高解像度信号処理装置を、複数個用意して判定装置を付加すればよいため、学習係数を改めて新規に用意するような作業を行わなくても、これまでに使われてきた高解像度化信号処理装置を流用して簡便に実現することも可能となる。
【０２８０】
以上まとめると、本発明が適用される装置のひとつとして、画像中のエッジ部の波形の急峻度が第１の特徴量として定義され、第１の画像を構成する画素に対して、前記第１の特徴量を用いる所定の処理を実行することで、第２の画像を構成する画素を決定するというマッピング装置が存在する。このマッピング装置の実施の形態として、図１等の出力画像生成部２２と、図１３等の出力画像生成部５２との２つの実施の形態を説明してきた。この場合、具現化する上で、クラス分類のアルゴリズムを最初から構成するような場合には、図１等の出力画像生成部２２を具現化した方が好適である。これに対して、これまでのクラス分類の資産を生かそうとする場合、例えばこれまでの回路に後付するような場合、図１３等の出力画像生成部５２を具現化した方が好適である。
【０２８１】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０２８２】
この場合、上述した情報処理システムの少なくとも一部として、例えば、図２２に示されるパーソナルコンピュータを採用してもよい。
【０２８３】
図２２において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２８４】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【０２８５】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０２８６】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【０２８７】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２８８】
このようなプログラムを含む記録媒体は、図２２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０２８９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２９０】
【図１】本発明が適用される情報処理例の概念を示す図である。
【図２】図１の情報処理のうちの学習部の処理例の概念を示す図である。
【図３】入力エネルギークラス分類の概要を説明する図である。
【図４】信号帯域、二次微分、ダイナミックレンジの関係を説明する図である。
【図５】信号帯域、二次微分、ダイナミックレンジの関係を説明する図である。
【図６】学習部の処理により得られた入力エネルギークラス毎の係数群を示す図である。
【図７】図１の情報処理のうちの出力画像生成部の処理例の概念を示す図である。
【図８】本発明が適用される学習部の機能的構成例を示す機能ブロック図である。
【図９】図８の学習部の処理例を説明するフローチャートである。
【図１０】本発明が適用される出力画像生成部の機能的構成例を示す機能ブロック図である。
【図１１】図１０の出力画像生成部の処理例を説明するフローチャートである。
【図１２】本発明の効果を示す図である。
【図１３】本発明が適用される情報処理例の概念を示す図である。
【図１４】図１３の情報処理のうちの学習部の処理例の概念を示す図である。
【図１５】学習部の処理により得られたクラス毎の係数群を示す図である。
【図１６】図１３の情報処理のうちの出力画像生成部の処理例の概念を示す図である。
【図１７】ＨＤ候補信号、出力アクティビティ特徴量の関係を説明する図である。
【図１８】本発明が適用される学習部の機能的構成例を示す機能ブロック図である。
【図１９】図１８の学習部の処理例を説明するフローチャートである。
【図２０】本発明が適用される出力画像生成部の機能的構成例を示す機能ブロック図である。
【図２１】図２０の出力画像生成部の処理例を説明するフローチャートである。
【図２２】本発明が適用される情報処理装置としてのパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０２９１】
２１  学習部，  ２２  出力画像生成部，  ２３  係数記録部，  ３１  画像入力部，  ３２  帯域制限画像生成部，  ３３  エッジ抽出部，  ３４  近傍エッジ決定部，  ３５  入力エネルギークラス分類部，  ３６  波形クラス分類部，  ３７  係数学習部，  ４１  処理対象画像入力部，  ４２  エッジ抽出部，  ４３  近傍エッジ決定部，  ４４  入力エネルギークラス分類部，  ４５  波形クラス分類部，  ４６  高解像度化処理部，  ４７  高解像度画像出力部，５１  学習部，  ５２  出力画像生成部，  ６１  画像入力部，  ６２  帯域制限画像生成部，  ６３  波形クラス分類部，  ６４  係数学習部，  ６５  係数記憶部，  ７１  処理対象画像入力部，  ７２  エッジ抽出部，  ７３  波形クラス分類部，  ７４  高解像度化処理部，  ７５  近傍エッジ決定部，  ７６  高解像度画像処理結果選択部，  ７７  高解像度画像出力部
【図１】
2009260905.tif 000007
【図２】
2009260905.tif 000008
【図３】
2009260905.tif 000009
【図４】
2009260905.tif 000010
【図５】
2009260905.tif 000011
【図６】
2009260905.tif 000012
【図７】
2009260905.tif 000013
【図８】
2009260905.tif 000014
【図９】
2009260905.tif 000015
【図１０】
2009260905.tif 000016
【図１１】
2009260905.tif 000017
【図１２】
2009260905.tif 000018
【図１３】
2009260905.tif 000019
【図１４】
2009260905.tif 000020
【図１５】
2009260905.tif 000021
【図１６】
2009260905.tif 000022
【図１７】
2009260905.tif 000023
【図１８】
2009260905.tif 000024
【図１９】
2009260905.tif 000025
【図２０】
2009260905.tif 000026
【図２１】
2009260905.tif 000027
【図２２】
2009260905.tif 000028