(57)【要約】【課題】高解像度表示でオンスクリーンディスプレイ機能を使用する場合でも、記憶容量を削減しつつ、グラフィクス画像を高精細に表示すること。【解決手段】画像表示装置１００において、第１解像度の画像信号を、前記第１解像度より高い第２解像度の画像信号にスケール変換するスケール変換部１２３と、第２解像度のグラフィクス画像を記憶するフラッシュメモリ２３と、グラフィックス画像が重畳された前記第２解像度の画像信号から本来の画素値を推定して画素を増やすことにより、前記第２解像度よりも高い第３解像度の画像信号を復元する超解像度変換処理を行う高解像度化部１３とを備えた。【選択図】        図２
2010039135.tif 000002
【特許請求の範囲】
【請求項１】
第１解像度の画像信号を、前記第１解像度より高い第２解像度の画像信号にスケール変換する変換部と、
前記第２解像度のグラフィクス画像を記憶する記憶部と、
前記第２解像度の画像信号に、前記グラフィクス画像を重畳させる重畳部と、
前記グラフィックス画像が重畳された前記第２解像度の画像信号から本来の画素値を推定して画素を増やすことにより、前記第２解像度よりも高い第３解像度の画像信号を復元する超解像度変換処理を行う高解像度化部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記高解像度化部は、前記超解像度変換処理に用いる鮮鋭化パラメータを、前記第１解像度に応じて設定し、設定されたパラメータにより、前記グラフィクス画像が重畳された前記第２解像度の画像信号を入力して前記超解像度変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記高解像度化部は、前記鮮鋭化パラメータとしての画質劣化補正用のフィルタの特性パラメータを、前記第２解像度の画像信号の場合において補正する周波数帯域より低域の周波数帯域を補正する特性パラメータに設定し、前記フィルタの特性パラメータを用いて、前記グラフィクス画像が重畳された前記第２解像度の画像信号を入力して前記超解像度変換処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記高解像度化部は、前記鮮鋭化パラメータとしての鮮鋭化の強度パラメータを、前記第２解像度の画像信号の場合における強度より強い強度のパラメータに設定し、設定された前記鮮鋭化の強度パラメータを用いて、前前記グラフィクス画像が重畳された前記第２解像度の画像信号を入力して前記超解像度変換処理を行うことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記変換部は、前記第１解像度と前記第２解像度が等しい場合には、前記第１解像度の画像信号に対して前記スケール変換を行わないことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記第２解像度は、水平方向１４４０画素×垂直方向１０８０ラインの解像度であり、
前記第３解像度は、水平方向１９２０画素×垂直方向１０８０ラインの解像度であることを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記超解像度変換処理により生成された前記第３解像度の画像信号のフレームレートを増加する動画改善処理部と、
を備えたことを特徴とする画像処理装置。
【請求項８】
第１解像度の画像信号を、前記第１解像度より高い第２解像度の画像信号にスケール変換する変換部と、
前記第２解像度のグラフィクス画像を記憶する記憶部と、
前記第２解像度の画像信号に、前記グラフィクス画像を重畳させる重畳部と、
前記グラフィックス画像が重畳された前記第２解像度の画像信号を、超解像度技術を用いて前記第２解像度より高い第３解像度の画像信号に高解像度化する高解像度化部と、
を備えたことを特徴とする画像処理装置。
【請求項９】
第１解像度の画像信号を、前記第１解像度より高い第２解像度の画像信号にスケール変換するステップと、
前記第２解像度の画像信号に、前記第２解像度のグラフィクス画像を重畳させるステップと、
前記グラフィックス画像が重畳された前記第２解像度の画像信号から本来の画素値を推定して画素を増やすことにより、前記第２解像度よりも高い第３解像度の画像信号を復元する超解像度変換処理を行うステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力される映像データに含まれる複数の画像フレームを高解像度化した画像信号を生成する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
高解像度のテレビなとで、メニュー等の設定画面や電子番組表等のグラフィクス画像（オンスクリーン画像）を、ディスプレイに表示された映像に重畳させて表示し、コントローラ等の操作ボタンで、グラフィクス画像のメニュー等を設定するオンスクリーンディスプレイ機能（ＯＳＤ：Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）がある。
【０００３】
このようなオンスクリーンディスプレイ機能におけるグラフィクス画像を表示する技術としては、オンスクリーン画像の水平画素数を、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）解像度（１９２０画素×１０８０ライン）の水平画素数に合わせた所定の変換比率で変換して出力する手段と、オンスクリーン画像の水平画素数をＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）解像度（７２０画素×４８０ライン）の水平画素数に合わせた所定の変換比率で変換し出力する手段を備え、処理負担を増大させることなくオンスクリーン画像をＨＤ出力またはＳＤ出力に併せて容易に変換することができる技術が知られている（例えば、特許文献１参照）。
【０００４】
一方、高解像度のテレビやディスプレイの普及に伴い、画像フレームの高解像度化が進んでいる。また、画像信号の高解像度化に伴い、当該画像信号への画像処理に係るデータ量も増大するため、より効率的に画像処理を行うことが可能な手法が望まれている。特に、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元することで、画像データの鮮鋭度を維持しつつ高解像度化を実現する超解像度処理と呼ばれる画像処理技術が登場してきている（例えば、特許文献２、特許文献３等参照）。
【０００５】
この技術により、ＤＶＤや、アナログ映像などのＳＤ解像度の画像をＨＤ解像度等の高解像度の画像に高解像度化して、高解像度のテレビやディスプレイ等において大画面でもクリアに映像表示させることができる。
【０００６】
このため、ＳＤ解像度の画像をＨＤ解像度に高解像度化して、かつメニュー等のグラフィクス画像を表示するためには、ＳＤ解像度の画像データにグラフィクス画像を重畳させて、グラフィクス画像が重畳されたＳＤ解像度の画像データを超解像度処理によって、ＨＤ解像度の画像データに変換することが必要となってくる。
【０００７】
【特許文献１】特開２００６−３０３６３１号公報
【特許文献２】特開２００７−３３６２３９号公報
【特許文献３】特開２００７−３１０８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、グラフィクス画像が重畳された低解像度の画像データを超解像度処理によって、高解像度の画像データに変換して表示すると、グラフィクス画像がぼけてしまうという問題がある。
【０００９】
一方、予め解像度ごとに異なるサイズのグラフィクス画像を容易して、表示する映像の画像に超解像度処理を施して、その結果生成された高解像度画像に、この高解像度画像の解像度と同じ解像度のグラフィクス画像を重畳させることも考えられる。
【００１０】
しかしながら、このような手法では、予め異なる解像度のグラフィクス画像を用意しておかなければならず、グラフィクス画像を記憶するメモリ等の記憶容量が増大するという問題がある。
【００１１】
本発明は、上記に鑑みてなされたものであって、高解像度表示でオンスクリーンディスプレイ機能を使用する場合でも、記憶容量を削減しつつ、グラフィクス画像を高精細に表示することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、第１解像度の画像信号を、前記第１解像度より高い第２解像度の画像信号にスケール変換する変換部と、前記第２解像度のグラフィクス画像を記憶する記憶部と、前記第２解像度の画像信号に、前記グラフィクス画像を重畳させる重畳部と、前記グラフィックス画像が重畳された前記第２解像度の画像信号から本来の画素値を推定して画素を増やすことにより、前記第２解像度よりも高い第３解像度の画像信号を復元する超解像度変換処理を行う高解像度化部と、を備えたことを特徴とする。
【００１３】
また、本発明にかかる画像処理装置は、第１解像度の画像信号を、前記第１解像度より高い第２解像度の画像信号にスケール変換する変換部と、前記第２解像度のグラフィクス画像を記憶する記憶部と、前記第２解像度の画像信号に、前記グラフィクス画像を重畳させる重畳部と、前記グラフィックス画像が重畳された前記第２解像度の画像信号を、超解像度技術を用いて前記第２解像度より高い第３解像度の画像信号に高解像度化する高解像度化部と、を備えたことを特徴とする。
【００１４】
また、本発明にかかる画像処理方法は、第１解像度の画像信号を、前記第１解像度より高い第２解像度の画像信号にスケール変換するステップと、前記第２解像度の画像信号に、前記第２解像度のグラフィクス画像を重畳させるステップと、前記グラフィックス画像が重畳された前記第２解像度の画像信号から本来の画素値を推定して画素を増やすことにより、前記第２解像度よりも高い第３解像度の画像信号を復元する超解像度変換処理を行うステップと、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、高解像度表示でオンスクリーンディスプレイ機能を使用する場合でも、記憶容量を削減しつつ、グラフィクス画像を高精細に表示することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１６】
以下に添付図面を参照して、この発明にかかる画像処理装置および画像処理方法の最良な実施の形態を詳細に説明する。
【００１７】
図１は、本実施の形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。同図に示したように、画像表示装置１００は、映像信号入力部１１と、メイン処理部１２と、画像処理装置に対応する高解像度化部１３と、動画改善処理部１４と、表示処理部１５と、表示部１６と、音声処理部１７と、音声出力部１８と、フラッシュメモリ２３と、ＥＥＰＲＯＭ２１，２２を備えている。
【００１８】
映像信号入力部１１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部１１１と、ＩＰＴＶ信号処理部１１２と、インターネット等のＩＰ網を介して送信されるデータを受信するインターネット信号処理部１１３と、アナログ信号の入力を受け付ける外部入力部１１４とを備えている。ここで「映像信号」とは、静止画像や動画像からなる画像信号（画像データ）の他、音声信号（音声データ）をも含む概念である。
【００１９】
デジタル放送受信部１１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ１１１１と、デジタル放送を選局するためのデジタルチューナ１１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部１２に出力するデジタル信号復調部１１１３とを有している。
【００２０】
ＩＰＴＶ信号処理部１１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部１２に出力する。
【００２１】
インターネット信号処理部１１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部１２に出力する。
【００２２】
外部入力部１１４は、アナログ放送を受信するためのアナログアンテナ１１４１と、アナログ放送を選局するためのアナログチューナ１１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部１２に出力する外部入力信号処理部１１４３とを有している。なお、外部入力信号処理部１１４３は、ゲーム機やＰＣ（Personal  Computer）、ＤＶＤプレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。
【００２３】
メイン処理部１２は、映像信号入力部１１から入力される映像信号に対して、ＭＥＰＧデコード処理や、映像信号の画像データと音声データへの分離処理や、画像データのスケール変換処理、オンスクリーンディスプレイ機能で用いるメニュー画面や電子番組表等のグラフィクス画像との重畳処理などを行う。
【００２４】
図２は、メイン処理部１２の機能的構成を示すブロック図である。図２に示すように、ＭＰＥＧデコーダ１２１と、音声／画像分離部１２２と、スケール変換部１２３と、重畳部１２４とを主に備えている。
【００２５】
ＭＰＥＧデコーダ１２１は、映像信号入力部１１から入力されたＭＰＥＧの映像データのデコードを行う。音声／画像分離部１２２は、デコードした映像データを音声データと画像データ（動画データ）に分離する。そして、音声／画像分離部１２２は、音声データを音声処理部１７に送出し、画像データ（動画データ）をスケール変換部１２３に送出する。
【００２６】
スケール変換部１２３は、入力した動画データの各フレームを、１４４０×１０８０（水平方向１４４０画素、垂直方向１０８０ライン）の画像サイズの画像データにスケール変換する。例えば、ＤＶＤ等から入力された動画データの場合、各フレームをＳＤ解像度（７２０×４８０）を１４４０×１０８０の画像サイズに変換する。
【００２７】
入力された動画データが１４４０×１０８０（水平方向１４４０画素、垂直方向１０８０ライン）の解像度である場合には、スケール変換部１２３はスケール変換は行わない。
【００２８】
ここで、スケール変換部１２３が行うスケール変換は、後述する超解像度変換処理とはことなり、単に画像サイズを、７２０×４８０のＳＤサイズや１２８０×７２０の画像サイズ等から１４４０×１０８０の画像サイズにスケール変換するだけであり、画素補間等の処理は行わない。
【００２９】
フラッシュメモリ２３には、オンスクリーンディスプレイ機能として表示される動画データに重畳して表示するメニュー画面や電子番組表等のグラフィクス画像データが保存されている。このグラフィクス画像データの画像サイズは、１４４０×１０８０のサイズとなっており、このサイズ以外のグラフィクス画像データは記憶していない。
【００３０】
重畳部１２４は、フラッシュメモリ２３から、このグラフィクス画像データを読み出して、動画データのフレームに重畳する。また、重畳部１２４は、グラフィクス画像データを重畳したフレームからなる動画データをフレームごとに高解像度化部１３に送出する。
【００３１】
図３は、グラフィクス画像データの一例を示す模式図である。グラフィクス画像データは、図３に示すように、１４４０×１０８０のサイズの領域に設定メニューとして表示される設定メニュー画像データが埋め込まれ、その周囲は、動画データのフレームと重畳したときに動画の映像が表示されるよう透過した領域となっている。
【００３２】
このように本実施の形態では、予め１４４０×１０８０の画像サイズのグラフィクス画像データを記憶しており、入力されたＳＤ解像度や１２８０×７２０の解像度等の低解像度の動画データのフレームを１４４０×１０８０の画像サイズにスケール変換した上で、フラッシュメモリ２３の１４４０×１０８０の画像サイズのグラフィクス画像データと重畳して、その上で、１４４０×１０８０の重畳されたフレームに後述の超解像度変換処理を行っている。このため、低解像度のフレームに低解像度のグラフィクス画像データを重畳させた後、超解像度変換処理を行う場合に比べて、グラフィクス画像を高画質に表示することができる。また、異なる画像サイズごとにグラフィクス画像データを記憶しておく必要もなく、フラッシュメモリ２３の記憶容量の削減を図ることができる。
【００３３】
図１に戻り、高解像度化部１３は、メイン処理部１２から出力される１４４０×１０８０の解像度の動画データをフレーム毎に入力し、後述する超解像度変換処理を施して、ＨＤサイズ（１９２０×１０８０）の高解像度の動画データを生成するものである。ここで、１４４０×１０８０の解像度を説明の都合上、中解像度という。
【００３４】
高解像度化部１３に入力される動画データは、１４４０×１０８０の画像サイズのグラフィクス画像データが重畳された１４４０×１０８０の中解像度の複数のフレームから構成されることになる。そして、この動画データは、中解像度フレーム１が１秒間に６０コマ表示されるように、６０ｆｐｓのフレームレートとなっている。
【００３５】
図４は、高解像度化部１３の詳細構成を示したブロック図である。図４に示すように、高解像度化部１３は、前処理部１３１と、超解像度変換処理部１３３と、後処理部１３５とを主に備えている。
【００３６】
前処理部１３１は、メイン処理部１２から入力された中解像度画像の動画データのフレーム（以下、「中解像度フレーム」）に対し、ＩＰ（インターレース・プログレッシブ）変換処理や、画像信号に含まれたノイズを除去するＮＲ（ノイズリダクション）処理等の前処理を施し、処理済みの中解像度フレームを超解像度変換処理部１３３に出力する。
【００３７】
ここで、ＩＰ変換処理としては、例えば、中解像度フレームに含まれた画像の動きを検出することで当該画像データが静止画像か動画像かを判別し、静止画像と判別したときには静止画像用の補間処理を行い、動画像と判定したときには動画用の補間処理を行うことが挙げられる。
【００３８】
また、ノイズリダクション処理としては、画像データの輪郭補整や、画像ボケやギラツキ感の低減、過度なイコライジング（高域強調）を抑える補正、水平方向にカメラが移動する際のブレ改善等の処理が挙げられる。
【００３９】
超解像度変換処理部１３３は、前処理部１３１から入力される中解像度フレームを、高解像度化するための画像処理（以下、「超解像度変換処理」という。）を施して、ＨＤサイズの高解像度の動画データのフレーム（以下、「高解像度フレーム」という。）を生成し、後処理部１３５に出力する。
【００４０】
ここで、超解像度変換処理とは、第１解像度である低解像度や中解像度の画像信号（低解像度フレームや中解像度フレーム）から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号（高解像度フレーム）を復元する鮮鋭化処理を意味する。
【００４１】
ここで、本来の画素値とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）の画像信号の画素数を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。
【００４２】
また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【００４３】
なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施の形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。
【００４４】
例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【００４５】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像度変換処理部１３３は、このような処理を行うことにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【００４６】
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。
【００４７】
ただし、超解像度変換処理部１３３における超解像度変換処理の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であれば、あらゆる手法を適用することができる。
【００４８】
また、超解像度変換処理部１３３では、鮮鋭化パラメータを設定し、この鮮鋭化パラメータを用いて超解像度変換処理を行う。
【００４９】
鮮鋭化パラメータには、例えば、画質劣化補正用のフィルタの特性パラメータや、鮮鋭化の強度を設定するための強度パラメータがある。
【００５０】
本実施の形態では、上述したように、メイン処理部１２で、入力された低解像度フレームを、１４４０×１０８０の解像度にスケール変換して、高解像度化部１３に入力している。しかし、このようにスケール変換されて入力された動画データのフレームは、もともと映像信号入力部１１に低解像度の映像信号として入力されてきた画像をスケール変換して画像サイズを大きくしただけなので、映像信号入力部１１で初めから１４４０×１０８０の中解像度の映像信号として入力された動画データのフレームに比べて、情報量が少ない。
【００５１】
このため、超解像度変換処理部１３３において、映像信号入力部１１から１４４０×１０８０の解像度で入力されてきた動画データのフレームに対して超解像変換処理を行う際、１４４０×１０８０の解像度のフレームに対して設定しても、高精細な高解像フレームを生成することは困難である。
【００５２】
このため、本実施の形態の超解像度変換処理部１３３では、スケール変換されて入力された動画データのフレームに対しては、上記鮮鋭化パラメータを、スケール変換前の解像度に応じたパラメータに設定して超解像変換処理を行っている。
【００５３】
具体的には、超解像度変換処理部１３３は、画質劣化補正用のフィルタの特性パラメータを、１４４０×１０８０の解像度のフレームの場合において補正する周波数帯域より低域の周波数帯域を補正する特性パラメータに設定して、超解像度変換処理を行う。低域とする帯域は、スケール変換前の解像度に応じて決定され、解像度が低い程、低域の帯域として設定する。
【００５４】
また、超解像度変換処理部１３３は、鮮鋭化の強度パラメータを、１４４０×１０８０の解像度のフレームの場合における強度より強い強度のパラメータに設定し、超解像度変換処理を行う。設定する強度は、スケール変換前の解像度に応じて決定され、解像度が低い程、強い強度のパラメータとして設定される。
【００５５】
このように鮮鋭化パラメータをスケール変換前の解像度に適切なパラメータと設定して、超解像度変換処理を行うことで、より高精細なグラフィクス画像、映像を表示することが可能となる。
【００５６】
後処理部１３５は、超解像度変換処理部１３３で生成された高解像度フレームの画像に対し、ガンマ補正、コントラスト伸張、階調補正、カラーマネジメント等の画像補正処理を施し、後段の動画改善処理部１４に順次出力するとともにＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１に順次保存する。なお、かかる画像補正処理を行わない構成とすることもできる。
【００５７】
図１に戻り、動画改善処理部１４は、高解像度化部１３から入力される複数の高解像度フレームからなる画像データから補間フレームを生成して、画像データのフレームレートを増大するように変換する。本実施の形態の動画改善処理部１４では、フレームレート変換処理として、２枚の高解像度フレームの画像から動き補償を行って、補間フレームを生成する補間フレーム生成処理を行っている。
【００５８】
より具体的には、動画改善処理部１４は、高解像度化部１３から出力され、超解像度変換処理が施された後の高解像度フレームを入力し、一方、この高解像度フレームより１つ前の、超解像度変換処理が施された後の高解像度フレームをＥＥＰＲＯＭ２１から読み出す。そして、二つの高解像度フレームから動きベクトルを算出して動き補償処理を行い、その結果に基づいて二つの高解像度フレームの間に内挿する補間フレームを求める。このような補間フレームの生成処理の詳細な処理としては、特開２００８−３５４０４号公報など公知の手法を用いればよい。ただし、動画改善処理部１４で行われる補間フレーム生成処理は、かかる手法に限定されるものではなく、補間フレームを生成する手法であればいずれの手法を適用することができる。
【００５９】
本実施の形態では、高解像度化部１３により超解像度変換処理が施された後の６０ｆｐｓのフレームレートの動画データを、各フレームの間に補間フレームを内挿することで、１秒あたりのフレーム数が１２０である１２０ｆｐｓのフレームレートの動画データに変換している。
【００６０】
ここで、ＥＥＰＲＯＭ２２は、補間フレームの生成の際に一時的にフレームを保存するためのメモリである。
【００６１】
なお、動画改善処理部１４による変換後のフレームレートはこれに限定されるものではない。また、本実施の形態では、高解像度フレーム４０１の間に単一の補間フレームを内挿しているが、これに限定されるものではなく、高解像度フレーム４０１の間に複数の補間フレームを挿入するように構成してもよい。
【００６２】
図１に戻り、表示処理部１５は、ディスプレイドライバ等であって、動画改善処理部１４から入力される動画データの表示部１６への表示を制御する。また、表示部１６は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction  Electron-emitter  Display）パネル等の表示デバイスであって、表示処理部１５の制御の下、画像信号に応じた画面を表示する。
【００６３】
音声処理部１７は、メイン処理部１２から入力されるデジタルの音声信号を、音声出力部１８で再生可能なフォーマットのアナログ音声信号に変換し、音声出力部１８に出力する。音声出力部１８は、スピーカ等であって、音声処理部１７から入力されるアナログ音声信号を音声出力する。
【００６４】
次に、以上のように構成された動画データの高解像度化および動画改善処理について説明する。図５は、本実施の形態の動画データの表示にかかる全体処理の手順を示すフローチャートである。
【００６５】
デジタル放送受信部１１１等で受信したデジタル放送の映像信号等は映像信号入力部１１により所定のデジタル復調処理等が施されて映像データとしてメイン処理部１２に入力される。なお、デジタル放送以外についてもメイン処理部１２に入力される。
【００６６】
メイン処理部１２は、入力された映像信号に対しフォーマット変換や映像信号のデコード処理、画像データと音声データの分離処理、グラフィクス画像データの重畳処理などのメイン処理を行う（ステップＳ１１）。
【００６７】
図６は、メイン処理部１２で行われるメイン処理の手順を示すフローチャートである。まず、ＭＰＥＧデコーダ１２１が映像データを入力し（ステップＳ３１）、この映像データのＭＰＥＧデコード処理を行う（ステップＳ３２）。
【００６８】
そして、音声／画像分離部１２２は、デコードされた映像データを音声データと動画データ（画像データ）に分離する（ステップＳ３３）。音声／画像分離部１２２は、分離された音声データを音声出力部１７に送出する（ステップＳ３４）。一方、音声／画像分離部１２２は、分離された動画データをスケール変換部１２３に送出する。
【００６９】
スケール変換部１２３は、入力された動画データを構成するフレームの画像サイズが１４４０×１０８０の中解像度画像であるか否かを調べる（ステップＳ３５）。そして、フレームの画像サイズがＳＤ解像度や１２８０×７２０等の１４４０×１０８０の中解像度画像より小さい画像サイズである場合には（ステップＳ３５：Ｎｏ）、動画データを構成する各フレームを、１４４０×１０８０の中解像度画像にスケール変換する（ステップＳ３６）。
【００７０】
一方、ステップＳ３５において、フレームの画像サイズが１４４０×１０８０の画像サイズである場合には（ステップＳ３５：Ｙｅｓ）、スケール変換処理は行われない。
【００７１】
次いで、重畳部１２４は、フラッシュメモリ２３からグラフィクス画像データ（１４４０×１０８０）を読み出し（ステップＳ３８）、フレームに読み出したグラフィクス画像データを重畳する（ステップＳ３９）。
【００７２】
次に、重畳部１２４は、グラフィクス画像データが重畳されたフレームを高解像度化部１３に送出する（ステップＳ４０）。
【００７３】
ステップＳ３８からＳ４０までの重畳処理は、動画データを構成する全てのフレームに対して実行される（ステップＳ３７ａ、Ｓ３７ｂ）。また、このような重畳処理は、ユーザがコントローラ等によりメニュー画面の表示や電子番組表の表示等、グラフィクス画像を表示する旨の指示が行われた場合にのみ実行される。
【００７４】
図５に戻り、メイン処理が終了したら、高解像度化部１３は、動画データの各フレームの高解像度化処理を行う（ステップＳ１２）。
【００７５】
図７は、ステップＳ１２の高解像度化処理の手順を示すフローチャートである。まず、前処理部１３１は、メイン処理部１２から順次出力される動画データを構成する１４４０×１０８０の画像サイズの中解像度フレームを入力する（ステップＳ５２）。そして、前処理部１３１は、入力された中解像度フレームに対して、ＩＰ（インターレース・プログレッシブ）変換処理や、画像信号に含まれたノイズを除去するＮＲ（ノイズリダクション）処理等の前処理を施す（ステップＳ５３）。
【００７６】
次いで、このような前処理が施された中解像度フレームは、超解像度変換処理部１３３に入力され、超解像度変換処理部１３３は、中解像度フレームのスケール変換前のフレームの画像サイズに応じて鮮鋭化パラメータの設定を行なう（ステップＳ５４）。具体的には、上述したように、スケール変換前の解像度に応じたパラメータを鮮鋭化パラメータとして設定する。
【００７７】
そして、超解像度変換処理部１３３は、設定された鮮鋭化パラメータを用いて、中解像度フレームに上述した超解像度変換処理を施して鮮鋭化する（ステップＳ５５）。これにより、中解像度フレームは、１９２０×１０８０の高解像度フレームに変換される。そして、超解像度変換処理により中解像度フレームから変換された高解像度フレームは、後処理部１３５でガンマ補正等の画像補正処理が施される（ステップＳ５６）。
【００７８】
後処理部１３５は、画像補正処理を施した高解像度フレームを、ＥＥＰＲＯＭ２１に保存し（ステップＳ５７）、さらに、この高解像度フレームを、動画改善処理部１４に出力する（ステップＳ５８）。かかるステップＳ５２からＳ５８までの処理は、入力される動画データの全ての中解像度フレームに対して行われる（ステップＳ５１ａ，Ｓ５１ｂ）。
【００７９】
図５に戻り、このような高解像度化処理が行われると、動画改善処理部１４は、生成された高解像度フレームからなる動画データに対して動画改善処理、すなわち補間フレームの生成および内挿の処理を行って、動画データのフレームレートを１２０ｆｐｓに変換する（ステップＳ１３）。
【００８０】
そして、フレームレートが変換された動画データを表示処理部１５が入力して、表示処理部１５が動画データを表示部１６に表示する（ステップＳ１４）。これにより、ＨＤサイズの高解像度を有し、かつ動きの滑らかな動画データが表示部１６に表示されることになる。
【００８１】
このように本実施の形態では、入力されたＳＤ解像度や１２８０×７２０等の低解像度の動画データのフレームを１４４０×４８０の画像サイズにスケール変換した上で、フラッシュメモリ２３の１４４０×４８０の画像サイズのグラフィクス画像データと重畳して、１４４０×１８０８０の重畳されたフレームに後述の超解像度変換処理を行っているので、グラフィクス画像を高画質に表示することができる。また、異なる画像サイズごとにグラフィクス画像データを記憶しておく必要もなく、フラッシュメモリ２３の記憶容量の削減を図ることができる。
【００８２】
また、本実施の形態では、グラフィクス画像データが重畳された１４４０×１０８０の画像サイズのフレームに対し超解像度変換処理を行う際に、鮮鋭化パラメータをスケール変換前の解像度に適切なパラメータと設定しているので、より高精細なグラフィクス画像、映像を表示することが可能となる。
【００８３】
なお、本実施の形態では、本発明の画像処理装置を、表示部１６、表示処理部１５、音声出力部１８および音声処理部１７を有するデジタルＴＶ等の画像表示装置１００に適用した例をあげて説明したが、表示部１６、表示処理部１５、音声出力部１８および音声処理部１７を有さない、例えば、チューナやセットトップボックス等にも本発明の画像処理装置を適用することができる。
【００８４】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【図面の簡単な説明】
【００８５】
【図１】本実施の形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。
【図２】メイン処理部の機能的構成を示すブロック図である。
【図３】グラフィクス画像データの一例を示す模式図である。
【図４】高解像度化部の詳細構成を示したブロック図である。
【図５】本実施の形態の動画データの表示にかかる全体処理の手順を示すフローチャートである。
【図６】メイン処理部で行われるメイン処理の手順を示すフローチャートである。
【図７】高解像度化処理の手順を示すフローチャートである。
【符号の説明】
【００８６】
１１  映像信号入力部
１２  メイン処理部
１３  高解像度化部
１４  動画改善処理部
１５  表示処理部
１６  表示部
１７  音声処理部
１８  音声出力部
２１，２２  ＥＥＰＲＯＭ
２３   フラッシュメモリ
１００  画像表示装置
１１２  ＩＰＴＶ信号処理部
１１４  外部入力部
１２１  ＭＰＥＧデコーダ
１２２  音声／画像分離部
１２３  スケール変換部
１２４  重畳部
１３１  前処理部
１３３  超解像度変換処理部
１３５  後処理部
１１１２  デジタルチューナ
１１４１  アナログアンテナ
【図１】
2010039135.tif 000003
【図２】
2010039135.tif 000004
【図３】
2010039135.tif 000005
【図４】
2010039135.tif 000006
【図５】
2010039135.tif 000007
【図６】
2010039135.tif 000008
【図７】
2010039135.tif 000009