(57)【要約】【課題】入力された画像信号に最も適したパラメータでの超解像度化を実行できる画像処理装置、および画像処理装置の画像処理方法を提供する。【解決手段】係数器１１１により付与された係数に従って、スケーラ２（１０７）から出力された画像信号に、高域成分生成回路１０８により生成された画像信号を重畳することにより、本来生成すべき高域成分ではなく、ノイズ成分が強調されることを防止できるので、入力された画像信号がＳＤ（７２０×４８０画素）やＨＤ（１４４０×１０８０画素）などである場合に、それぞれの画像信号に最も適したパラメータでの超解像度化を可能とする。【選択図】図１
2010212991.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング手段と、
前記第１スケーリング手段により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング手段により伸張した画像信号をさらに伸張する第２スケーリング手段と、
前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング手段により伸張した画像信号の解像度より高い解像度の画像信号を生成する生成手段と、
前記特徴情報または前記制御情報に応じて、前記生成した画像信号に係数を付与する係数手段と、
前記係数に従って、前記第２スケーリング手段により伸張した画像信号に、前記生成した画像信号を重畳する重畳手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第１スケーリング手段と、前記特徴情報または前記制御情報を取得する取得手段と、を備えた第１装置と、
前記第２スケーリング手段と、前記生成手段と、前記係数手段と、前記重畳手段と、を備えた第２装置と、
前記第１スケーリング手段と前記第２スケーリング手段および前記生成手段との間で前記第１スケーリング手段により伸張した画像信号の伝送を媒介するとともに、前記取得手段と前記係数手段との間で前記特徴情報または前記制御情報の伝送を媒介する伝送路と、
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記伝送路は、前記第１スケーリング手段により伸張した画像信号の伝送と、前記特徴情報または前記制御情報の伝送とを１本のケーブルで媒介するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記伝送路は、ＨＤＭＩ規格に従って、前記第１スケーリング手段により伸張した画像信号の伝送と、前記特徴情報または前記制御情報の伝送とを１本のケーブルで媒介することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング手段と、
前記第１スケーリング手段により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング手段により伸張した画像信号をさらに伸張する第２スケーリング手段と、
前記特徴情報または前記制御情報に応じて、前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定する画素の分布を決定する決定手段と、
前記画素の分布に従って、前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング手段により伸張した画像信号の解像度より高い解像度の画像信号を生成する生成手段と、
前記第２スケーリング手段により伸張した画像信号に、前記生成した画像信号を重畳する重畳手段と、
を備えたことを特徴とする画像処理装置。
【請求項６】
前記第１スケーリング手段と、前記特徴情報または前記制御情報を取得する取得手段と、を備えた第１装置と、
前記第２スケーリング手段と、前記決定手段と、前記生成手段と、前記重畳手段と、を備えた第２装置と、
前記第１スケーリング手段と前記２スケーリング手段および前記生成手段との間で前記第１スケーリング手段により伸張した画像信号の伝送を媒介するとともに、前記取得手段と前記決定手段との間で前記特徴情報または前記制御情報の伝送を媒介する伝送路と、
を備えたことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記伝送路は、前記第１スケーリング手段により伸張した画像信号の伝送と、前記特徴情報または前記制御情報の伝送とを１本のケーブルで媒介するものであることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記伝送路は、ＨＤＭＩ規格に従って、前記第１スケーリング手段により伸張した画像信号の伝送と、前記特徴情報または前記制御情報の伝送とを１本のケーブルで媒介することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
第１スケーリング手段が、入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング工程と、
第２スケーリング手段が、前記第１スケーリング工程により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング工程により伸張した画像信号をさらに伸張する第２スケーリング工程と、
生成手段が、前記第１スケーリング工程により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング工程により伸張した画像信号の解像度より高い解像度の画像信号を生成する生成工程と、
係数手段が、前記特徴情報または前記制御情報に応じて、前記生成した画像信号に係数を付与する係数工程と、
重畳手段が、前記係数に従って、前記第２スケーリング工程により伸張した画像信号に、前記生成した画像信号を重畳する重畳工程と、
を有することを特徴とする画像処理装置の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理装置の画像処理方法に関する。
【背景技術】
【０００２】
現在、画像処理技術の一つとして、超解像度化技術が存在する。超解像度化技術とは、解像度の低い動画映像を超解像度化することにより、大画面でもクリアに映像表示させる技術で、具体的にはＤＶＤ（Digital  Versatile  Disk）や、アナログ映像などのＳＤ解像度の動画映像に対して、画素補間することにより、解像度をあげてＨＤ解像度化するものである。その際に補間する画素の決定は周囲の画素に基づいて決定していく（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１０８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年においては、ＨＤ映像の１６倍の情報量を持つ「スーパーハイビジョン」（超高精細映像システム）が開発されている。しかしながら、上記特許文献１に記載の技術によれば、入力された画像信号のフォーマットがどのようなものであっても、同一の処理内容の超解像度変換処理が施された動画映像が映像表示されるため、画素数が少ない画像信号（例えば、ＳＤ（７２０×４８０画素）など）を、超解像度変換処理により４ｘフルＨＤ（３８４０×２１６０画素）や４Ｋ（３８４０×２１６０画素）などのスーパーハイビジョンに対応させて超解像度化した場合、本来生成すべきでない画素が画素補間され、入力された画像信号に含まれるノイズ成分が強調される結果となる、という課題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、入力された画像信号に最も適したパラメータでの超解像度化が可能となる画像処理装置、および画像処理装置の画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング手段と、前記第１スケーリング手段により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング手段により伸張した画像信号をさらに伸張する第２スケーリング手段と、前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング手段により伸張した画像信号の解像度より高い解像度の画像信号を生成する生成手段と、前記特徴情報または前記制御情報に応じて、前記生成した画像信号に係数を付与する係数手段と、前記係数に従って、前記第２スケーリング手段により伸張した画像信号に、前記生成した画像信号を重畳する重畳手段と、を備えたことを特徴とする。
【０００７】
また、本発明は、入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング手段と、前記第１スケーリング手段により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング手段により伸張した画像信号をさらに伸張する第２スケーリング手段と、前記特徴情報または前記制御情報に応じて、前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定する画素の分布を決定する決定手段と、前記画素の分布に従って前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング手段により伸張した画像信号の解像度より高い解像度の画像信号を生成する生成手段と、前記第２スケーリング手段により伸張した画像信号に、前記生成した画像信号を重畳する重畳手段と、を備えたことを特徴とする。
【０００８】
また、本発明は、第１スケーリング手段が、入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング工程と、第２スケーリング手段が、前記第１スケーリング工程により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング工程により伸張した画像信号をさらに伸張する第２スケーリング工程と、生成手段が、前記第１スケーリング工程により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング工程により伸張した画像信号の解像度より高い解像度の画像信号を生成する生成工程と、係数手段が、前記特徴情報または前記制御情報に応じて、前記生成した画像信号に係数を付与する係数工程と、重畳手段が、前記係数に従って、前記第２スケーリング工程により伸張した画像信号に、前記生成した画像信号を重畳する重畳工程と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、入力された画像信号に最も適したパラメータでの超解像度化が可能となる、という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の第１実施の形態にかかる画像処理装置の構成を示すブロック図である。
【図２】図２は、ブレンド処理部から出力された画像信号の信号レベルを示す図である。
【図３】図３は、ブレンド処理部から出力された画像信号の信号レベルを示す図である。
【図４】図４は、本発明の第２実施の形態にかかる画像処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、この発明にかかる画像処理装置、および画像処理装置の画像処理方法の最良な実施の形態を詳細に説明する。
【００１２】
（第１実施の形態）
図１は、本発明の第１実施の形態にかかる画像処理装置の構成を示すブロック図である。図１に示すように、本実施の形態にかかる画像処理装置１００は、アンテナ１０１、放送受信部１０２、映像デコード部１０３、スケーラ１（１０４）、ＧＦＸ重畳回路１０５、制御部１０６、スケーラ２（１０７）、高域成分生成回路１０８、係数器１１１、ブレンド処理部１０９、および表示デバイス１１０を備えて構成される。
【００１３】
放送受信部１０２は、アンテナ１０１により受信した放送信号から所望のチャンネルの放送信号を選局し、選局したチャンネルの放送信号を復調する。そして、放送受信部１０２は、復調した放送信号を映像デコード部１０３に出力する。
【００１４】
映像デコード部１０３は、放送受信部１０２から出力された放送信号から、ＭＰＥＧ（Moving  Picture  Experts  Group）などの圧縮方式でエンコードされた画像信号をデコードする。そして、映像デコード部１０３は、デコードした画像信号をスケーラ１（１０４）に出力する。
【００１５】
スケーラ１（１０４）は、制御部１０６により設定された情報であって、映像デコード部１０３から出力された画像信号の画素数の画素数変換を制御するための制御情報（後述する）に従って、当該映像デコード部１０３から出力された画像信号の画素数を統一的な画素数である第１画素数（例えば、１９２０×１０８０画素）に画素数変換（スケーリング）して当該映像デコード部１０３から出力された画像信号を伸張する。そして、スケーラ１（１０４）は、伸張した画像信号をＧＦＸ重畳回路１０５に出力する。なお、本実施の形態では、映像デコード部１０３から出力された画像信号の画素数を第１画素数に画素数変換する例について説明するが、これに限定するものではなく、図示しない外部入力端子から入力された画像信号の画素数を第１画素数に画素数変換する場合においても同様に本発明を適用することができる。
【００１６】
また、スケーラ１（１０４）は、映像デコード部１０３から出力された画像信号の特徴を示す特徴情報（例えば、画素数、ノイズの量、信号帯域の分布情報、明るさ、色の濃さなどの信号レベルの分布情報など）を検出する。そして、スケーラ１（１０４）は、検出した画像信号の特徴情報を制御部１０６に出力する。
【００１７】
制御部１０６は、画像処理装置１００が備える各部を制御するものである。ここで、映像デコード部１０３から出力された画像信号の画素数は、７２０×４８０、１４４０×１０８０、１９２０×１０８０などの場合がある。そのため、制御部１０６は、映像デコード部１０３から出力された画像信号の特徴情報に基づいて、当該映像デコード部１０３から出力された画像信号の画素数の画素数変換を制御するための制御情報（例えば、倍率など）を、スケーラ１（１０４）に設定する。
【００１８】
また、制御部１０６は、スケーラ１（１０４）により検出した画像信号の特徴情報、またはスケーラ１（１０４）に対して設定した制御情報を取得し、取得した特徴情報または制御情報を後述する高域成分生成回路１０８および係数器１１１に出力する。なお、本実施の形態では、制御部１０６は、スケーラ１（１０４）に検出した特徴情報、またはスケール１（１０４）に設定した制御情報を取得しているが、これに限定するものではない。例えば、制御部１０６は、図示しない外部入力端子から、特徴情報または制御情報を取得しても良い。
【００１９】
さらに、制御部１０６は、映像デコード部１０３から出力された画像信号の中から番組情報を読み出して、ＥＰＧ（Electronic  Program  Guide）等のオンスクリーングラフィックデータを描画し、描画したオンスクリーングラフィックデータをＧＦＸ重畳回路１０５に出力する。
【００２０】
ＧＦＸ（グラフィックス）重畳回路１０５は、制御部１０６にて描画された番組説明やチャンネル情報などを含むＥＰＧや音量表示等のオンスクリーングラフィックデータを、スケーラ１（１０４）により伸張した画像信号に重畳する。そして、ＧＦＸ重畳回路１０５は、オンスクリーングラフィックデータを重畳した画像信号をスケーラ２（１０７）および高域成分生成回路１０８に出力する。
【００２１】
なお、ＧＦＸ重畳回路１０５は、映像デコード部１０３から出力された画像信号の解像度が７０２×４８０などのように、低解像度の場合にも綺麗なオンスクリーン文字を表示するために、映像デコード部１０３から出力された画像信号がスケーラ１（１０４）にて伸張された後に、オンスクリーングラフィックデータを重畳することが好ましい。そのため、本実施の形態では、ＧＦＸ重畳回路１０５は、スケーラ１（１０４）の後段に位置している。
【００２２】
スケーラ２（１０７）は、ＧＦＸ重畳回路１０５から出力された画像信号の画素数を、第１画素数よりも多い第２画素数であって、後述する表示デバイス１１０に表示可能な画像の画素数に一致する画素数に画素数変換（スケーリング）して、当該ＧＦＸ重畳回路１０５から出力された画像信号をさらに伸張するものである。そして、スケーラ２（１０７）は、伸張した画像信号をブレンド処理部１０９に出力する。例えば、スケーラ２（１０７）は、ＧＦＸ重畳回路１０５から出力された画像信号の画素数が１９２０×１０８０で、表示デバイス１１０に表示可能な画像の画素数が３８４０×２１６０である場合、ＧＦＸ重畳回路１０５から出力された画像信号の画素数を縦に２倍、横に２倍に画素数変換する。
【００２３】
高域成分生成回路１０８は、ＧＦＸ重畳回路１０５から出力された画像信号に、高解像度化するための画像処理（以下、「超解像度変換処理（鮮鋭化処理）」とする）を施して、ＧＦＸ重畳回路１０５から出力された画像信号（例えば、１９２０×１０８０）では表現できなかった細かい画像信号であって、ＧＦＸ重畳回路１０５から出力された画像信号の解像度より高い解像度の画像信号（高い周波数成分（以下、高域成分とする）を有する画像信号）を生成する。ここで、超解像度変換処理とは、低解像度や中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高域成分を有する高解像度の鮮鋭化画像信号を生成する鮮鋭化処理を意味する。
【００２４】
ここで、本来の画素値とは、例えば、低解像度の画像信号を得たときと同じ被写体を、高解像度の画像信号の画素数を持つカメラで撮影したときに得られる画像信号の各画素が持つ値を指す。また、「推定した画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（画像信号内または画像信号間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【００２５】
なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２００７−２７２３３４号公報等に開示された公知・公用の技術を用いることが可能である。本実施の形態の超解像度変換処理の技術としては、例えば、入力された画像信号の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像信号を復元する技術を用いる。
【００２６】
例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【００２７】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。高域成分生成回路１０８は、このような処理を行うことにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【００２８】
また、特開２００７−２７２３３４号公報に開示された凸射影の順序を最適化することで画質を高める超解像度変換処理を用いることもできる。
【００２９】
ただし、超解像度変換処理（鮮鋭化処理）の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であれば、あらゆる手法を適用することができる。
【００３０】
係数器１１１は、制御部１０６から出力された特徴情報または制御情報に応じて、高域成分生成回路１０８により生成された画像信号に係数（パラメータ）を付与する。これにより、係数器１１１は、高域成分生成回路１０８により生成された画像信号に重み付けを行う。
【００３１】
例えば、制御部１０６から出力された特徴情報が示す画素数が少ない場合（例えば、７２０×４８０画素など）、高域成分生成回路１０８が高域成分の画像信号を生成することは困難であり、本来生成すべき高域成分の画像信号ではなく、ノイズ成分が強調される結果となる。従って、係数器１１１は、制御部１０６から出力された制御情報が示す倍率が高い場合（つまり、制御部１０６から出力された特徴情報が示す画素数が少ない場合）、高域成分生成回路１０８により生成された画像信号に付与する係数を小さくする。これにより、超解像度変換処理によりノイズ成分が強調されることを防止することができる。
【００３２】
また、係数器１１１は、制御部１０６から出力された特徴情報が示すノイズの量が少ない場合、高域成分生成回路１０８により生成された画像信号に付与する係数を大きくする。また、係数器１１１は、制御部１０６から出力された特徴情報が示す明るさが明るい場合、ノイズが目立たなく傾向があるため、高域成分生成回路１０８により生成された画像信号に付与する係数を大きくする。
【００３３】
ブレンド処理部１０９は、係数器１１１により付与された係数に従って、スケーラ２（１０７）から出力された画像信号に、高域成分生成回路１０８により生成された画像信号を重畳する。
【００３４】
図２は、ブレンド処理部から出力された画像信号の信号レベルを示す図である。符号２０１で示す信号レベルは、ブレンド処理部１０９から出力された画像信号（４Ｋ：４０９６×２１６０画素）の信号レベルを示し、符号２０２で示す信号レベルは、ＧＦＸ重畳回路１０５から出力された画像信号（２Ｋ：２０４８×１０８０画素）の信号レベルを示すものである。図２に示すように、ブレンド処理部１０９から出力された画像信号の信号レベルは、係数器１１１により付与された係数が大きい場合は上がり、係数器１１１により付与された係数が小さい場合は下がる。
【００３５】
なお、本実施の形態では、係数器１１１による係数の付与により適切なパラメータによる超解像度化を可能としているが、これに限定するものではない。例えば、高域成分生成回路１０８は、制御部１０６から出力された特徴情報または制御情報に応じて、ＧＦＸ重畳回路１０５から出力された画像信号から本来の画素値を推定する画素の分布（パラメータ）を決定し（決定手段）、決定した画素の分布に従ってＧＦＸ重畳回路１０５から出力された画像信号から本来の画素値を推定して画素を増やすことにより、高域成分を有する画像信号を生成しても良い。
【００３６】
例えば、高域成分生成回路１０８は、特徴情報が示す画素数が少ない場合（例えば、７２０×４８０画素など）、推定する画素の分布を下げる。若しくは、高域成分生成回路１０８は、特徴情報が示すノイズの帯域を外した帯域の画像信号が生成されるように、推定する画素の分布を決定しても良い。そして、ブレンド処理部１０９は、スケーラ２（１０７）から出力された画像信号に、高域成分生成回路１０８により生成された画像信号を重畳する。
【００３７】
図３は、ブレンド処理部から出力された画像信号の信号レベルを示す図である。図３に示すように、ブレンド処理部１０９から出力された画像信号の解像度は、高域成分生成回路１０８により決定した画素の分布が上がった場合は上がり、高域成分生成回路１０８により決定した画素の分布が下がった場合は下がる。
【００３８】
また、本実施の形態では、係数器１１１による係数の付与または高域成分回路１０８による推定する画素の分布の決定により、適切なパラメータによる超解像度化を可能としているが、これに限定するものではない。例えば、係数器１１１による係数の付与および高域成分回路１０８による推定する画素の分布の決定により、適切なパラメータによる超解像度化を実現しても良い。
【００３９】
表示デバイス１１０は、液晶ディスプレイなどの表示部であり、スケーラ２（１０７）から出力された画像信号であって、ブレンド処理部１０９により高域成分生成回路１０８から出力された画像信号が重畳された画像信号を表示する。
【００４０】
このように本実施の形態にかかる画像処理装置１００によれば、係数器１１１により付与された係数に従って、スケーラ２（１０７）から出力された画像信号に、高域成分生成回路１０８により生成された画像信号を重畳することにより、本来生成すべき高域成分ではなく、ノイズ成分が強調されることを防止できるので、入力された画像信号がＳＤ（７２０×４８０画素）やＨＤ（１４４０×１０８０画素）などである場合に、それぞれの画像信号に最も適したパラメータでの超解像度化を可能とする。
【００４１】
（第２実施の形態）
第１実施の形態では、スケーラ１およびスケーラ２のセットが一体化したボックス内に収納されたデザインの画像処理装置について説明したが、セットのデザイン上のバリエーションとして、スケーラ１およびスケーラ２が分離したボックス内に収納されたデザインの画像処理装置にも同様に本発明を適用することができる。なお、第１実施の形態にかかる画像処理装置と同様の構成については説明を省略する。
【００４２】
図４は、本発明の第２実施の形態にかかる画像処理装置の構成を示すブロック図である。図４に示すように、本実施の形態にかかる画像処理装置４００は、受信装置４０１、表示装置４０２、伝送路４０３、およびアンテナ１０１を備えて構成される。
【００４３】
受信装置４０１は、アンテナ１０１により受信した放送信号からデコードした画像信号の画素数を第１画素数に画素数変換して当該アンテナ１０１により受信した放送信号からデコードした画像信号を伸張するものである。表示装置４０２は、受信装置４０１により伸張された画像信号の画素数を第２画素数に画素数変換して当該受信装置４０１により伸張された画像信号をさらに伸張するとともに、伸張した画像信号を表示するものである。伝送路４０３は、受信装置４０１と表示装置４０２との間で、受信装置４０１により伸張した画像信号、および特徴情報または制御情報の伝送を媒介するものである。
【００４４】
受信装置４０１は、放送受信部１０２、映像デコード部１０３、スケーラ１（１０４）、ＧＦＸ重畳回路１０５、および制御部１０６を備えて構成される。
【００４５】
表示装置４０２は、スケーラ２（１０７）、高域成分生成回路１０８、係数器１１１、ブレンド処理部１０９、および表示デバイス１１０を備えて構成される。
【００４６】
伝送路４０３は、ＨＤＭＩ（High-Definition  Multimedia  Interface1）規格によって定められた１本のケーブルであり、ＧＦＸ重畳回路１０５とスケーラ２（１０７）および高域成分生成回路１０８との間で、スケーラ１（１０４）により伸張された画像信号の伝送を媒介するとともに、制御部１０６と係数器１１１との間で特徴情報または制御情報の伝送を媒介する。
【００４７】
また、高域成分生成回路１０８が推定する画素の分布を決定する場合、伝送路４０３は、ＨＤＭＩ規格によって定められた１本のケーブルであり、ＧＦＸ重畳回路１０５とスケーラ２（１０７）および高域成分生成回路１０８との間で、スケーラ１（１０４）により伸張された画像信号の伝送を媒介するとともに、制御部１０６と高域成分生成回路１０８（決定手段）との間で特徴情報または制御情報の伝送を媒介するものとする。
【００４８】
なお、本実施の形態では、ＨＤＭＩ規格によって定められた伝送路４０３により画像信号および特徴情報（または制御情報）の伝送を媒介しているが、これに限定するものではない。例えば、ＨＤＭＩ−ＣＥＣ（Consumer  Electronics  Control）やＡＵＸ（Auxiliary）−ｃｈａｎｎｅｌなどの規格により定められた伝送路４０３により画像信号および特徴情報（または制御情報）の伝送を媒介しても良い。
【００４９】
このように本実施の形態にかかる画像処理装置４００によれば、受信装置４０１と表示装置４０２とを分離したデザインにおいても、第１実施の形態と同様の効果を得ることができる。
【符号の説明】
【００５０】
１００，４００・・・画像処理装置、１０４・・・スケーラ１、１０６・・・制御部、１０７・・・スケーラ２、１０８・・・高域成分生成回路、１０９・・・ブレンド処理部、１１１・・・係数器、４０１・・・受信装置、４０２・・・表示装置、４０３・・・伝送路。
【図１】
2010212991.tif 000003
【図２】
2010212991.tif 000004
【図３】
2010212991.tif 000005
【図４】
2010212991.tif 000006
【手続補正書】
【提出日】平成22年5月7日(2010.5.7)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、および画像処理方法に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明は、上記に鑑みてなされたものであって、入力された画像信号に最も適したパラメータでの超解像度化が可能となる画像処理装置、および画像処理方法を提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング手段と、前記第１スケーリング手段により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング手段により伸張した画像信号をさらに伸張する第２スケーリング手段と、前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング手段により伸張した画像信号の解像度より高い解像度の画像信号を生成する超解像度変換処理を行う生成手段と、前記特徴情報または前記制御情報に応じて、前記生成した画像信号に重み付けを行う重付手段と、前記生成した画像信号に対して行われた重み付けに従って、当該生成した画像信号を、前記第２スケーリング手段により伸張した画像信号に重畳する重畳手段と、を備えたことを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明は、画像処理装置で実行される画像処理方法であって、前記画像処理装置は、制御部と記憶部とを備え、前記制御部は、第１スケーリング手段が、入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング工程と、第２スケーリング手段が、前記第１スケーリング工程により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング工程により伸張した画像信号をさらに伸張する第２スケーリング工程と、生成手段が、前記第１スケーリング工程により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング工程により伸張した画像信号の解像度より高い解像度の画像信号を生成する超解像度変換処理を行う生成工程と、重付手段が、前記特徴情報または前記制御情報に応じて、前記生成した画像信号に重み付けを行う重付工程と、重畳手段が、前記生成した画像信号に対して行われた重み付けに従って、当該生成した画像信号を、前記第２スケーリング工程により伸張した画像信号に重畳する重畳工程と、を有することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
以下に添付図面を参照して、この発明にかかる画像処理装置、および画像処理方法の最良な実施の形態を詳細に説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
このように本実施の形態にかかる画像処理装置４００によれば、受信装置４０１と表示装置４０２とを分離したデザインにおいても、第１実施の形態と同様の効果を得ることができる。
なお、本実施の形態にかかる画像処理装置は、入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング手段と、前記第１スケーリング手段により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング手段により伸張した画像信号をさらに伸張する第２スケーリング手段と、前記特徴情報または前記制御情報に応じて、前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定する画素の分布を決定する決定手段と、前記画素の分布に従って、前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング手段により伸張した画像信号の解像度より高い解像度の画像信号を生成する生成手段と、前記第２スケーリング手段により伸張した画像信号に、前記生成した画像信号を重畳する重畳手段と、を備えたことを特徴とするものである。また、本実施の形態にかかる画像処理装置は、前記第１スケーリング手段と、前記特徴情報または前記制御情報を取得する取得手段と、を備えた第１装置と、前記第２スケーリング手段と、前記決定手段と、前記生成手段と、前記重畳手段と、を備えた第２装置と、前記第１スケーリング手段と前記２スケーリング手段および前記生成手段との間で前記第１スケーリング手段により伸張した画像信号の伝送を媒介するとともに、前記取得手段と前記決定手段との間で前記特徴情報または前記制御情報の伝送を媒介する伝送路と、を備えたことを特徴とするものである。また、本実施の形態にかかる画像処理装置は、前記伝送路は、前記第１スケーリング手段により伸張した画像信号の伝送と、前記特徴情報または前記制御情報の伝送とを１本のケーブルで媒介するものであることを特徴とするものである。また、本実施の形態にかかる画像処理装置は、前記伝送路は、ＨＤＭＩ規格に従って、前記第１スケーリング手段により伸張した画像信号の伝送と、前記特徴情報または前記制御情報の伝送とを１本のケーブルで媒介することを特徴とするものである。
【手続補正９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング手段と、
前記第１スケーリング手段により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング手段により伸張した画像信号をさらに伸張する第２スケーリング手段と、
前記第１スケーリング手段により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング手段により伸張した画像信号の解像度より高い解像度の画像信号を生成する超解像度変換処理を行う生成手段と、
前記特徴情報または前記制御情報に応じて、前記生成した画像信号に重み付けを行う重付手段と、
前記生成した画像信号に対して行われた重み付けに従って、当該生成した画像信号を、前記第２スケーリング手段により伸張した画像信号に重畳する重畳手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記第１スケーリング手段と、前記特徴情報または前記制御情報を取得する取得手段と、を備えた第１装置と、
前記第２スケーリング手段と、前記生成手段と、前記重付手段と、前記重畳手段と、を備えた第２装置と、
前記第１スケーリング手段と前記第２スケーリング手段および前記生成手段との間で前記第１スケーリング手段により伸張した画像信号の伝送を媒介するとともに、前記取得手段と前記重付手段との間で前記特徴情報または前記制御情報の伝送を媒介する伝送路と、
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記伝送路は、前記第１スケーリング手段により伸張した画像信号の伝送と、前記特徴情報または前記制御情報の伝送とを１本のケーブルで媒介するものであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記伝送路は、ＨＤＭＩ規格に従って、前記第１スケーリング手段により伸張した画像信号の伝送と、前記特徴情報または前記制御情報の伝送とを１本のケーブルで媒介することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記重付手段は、前記特徴情報が示す前記入力された画像信号の画素数に応じて、前記生成した画像信号に重み付けを行うことを特徴とする請求項１から４のいずれか一に記載の画像処理装置。
【請求項６】
画像処理装置で実行される画像処理方法であって、
前記画像処理装置は、制御部と記憶部とを備え、
前記制御部は、
第１スケーリング手段が、入力された画像信号の特徴を示す特徴情報に基づいて設定された情報であって、前記入力された画像信号の画素数の画素数変換を制御するための制御情報に従って、前記入力された画像信号の画素数を第１画素数に画素数変換して前記入力された画像信号を伸張する第１スケーリング工程と、
第２スケーリング手段が、前記第１スケーリング工程により伸張した画像信号の画素数を前記第１画素数よりも多い第２画素数に画素数変換して前記第１スケーリング工程により伸張した画像信号をさらに伸張する第２スケーリング工程と、
生成手段が、前記第１スケーリング工程により伸張した画像信号から本来の画素値を推定して画素を増やすことにより、前記第１スケーリング工程により伸張した画像信号の解像度より高い解像度の画像信号を生成する超解像度変換処理を行う生成工程と、
重付手段が、前記特徴情報または前記制御情報に応じて、前記生成した画像信号に重み付けを行う重付工程と、
重畳手段が、前記生成した画像信号に対して行われた重み付けに従って、当該生成した画像信号を、前記第２スケーリング工程により伸張した画像信号に重畳する重畳工程と、
を有することを特徴とする画像処理方法。