(57)【要約】【課題】入力画像情報が、高解像度の画像情報であった場合でも、該画像情報に対し、超解像の手法を用いて更なる高解像度化（高画質化）を図ることができるようにする。【解決手段】動き探索部５１は、第１の縮小部３７から出力される縮小画像（Y）フレーム（n＋1）´と、第２の縮小部３９から出力される縮小画像（Y）フレーム（n）´と、第３の縮小部４１から出力される縮小画像（Y）フレーム（n−1）と、を入力する。縮小画像（Y）フレーム（n）´に含まれる対象物の画像の位置と、対象物の画像の、縮小画像（Y）フレーム（n−1）´における位置との差分、即ち、動きベクトルを生成する。縮小画像（Y）フレーム（n）´に含まれる対象物の画像の位置と、対象物の画像の、縮小画像（Y）フレーム（n＋1）´における位置との差分、即ち、別の動きベクトルをも生成する。【選択図】図３
2009177258.tif 000002
【特許請求の範囲】
【請求項１】
所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置であって、
時系列的に供給される前記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する記憶部と、
時系列的に供給される前記高解像度の画像フレームのうちの、少なくとも前記特定の画像フレームに対して、前記所定解像度に低解像度化する処理を施す解像度変換部と、
前記解像度変換部において前記所定解像度に低解像度化された後の前記特定の画像フレームと、前記特定の画像フレームと時系列的に相違する少なくとも１以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知すると共に、検知した位置ズレからそのズレ量を示す動きベクトルを生成する動きベクトル生成部と、
前記動きベクトル生成部により生成された動きベクトルから得られる所定値により、前記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する前記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す加重加算処理部と、
前記記憶部に一時的に記憶されている前記特定の画像フレームと、前記加重加算処理部において前記加重加算処理が施された後の、前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する画像情報復元部と、
を備える画像表示装置。
【請求項２】
請求項１記載の画像表示装置において、
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報の色空間フォーマットが、YUV色空間フォーマットである画像表示装置。
【請求項３】
請求項２記載の画像表示装置において、
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報のピクセルフォーマットが、4：2：0である画像表示装置。
【請求項４】
請求項３記載の画像表示装置において、
前記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報が、所定解像度の画像（Y）フレームと、それより低解像度の画像（UV）フレームとで構成されている画像表示装置。
【請求項５】
請求項１記載の画像表示装置において、
前記記憶部に一時的に記憶されている前記特定の画像フレームの、前記画像情報復元部への出力タイミングが、前記加重加算処理部からの前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームの、前記画像情報復元部への出力タイミングと同期している画像表示装置。
【請求項６】
請求項１記載の画像表示装置において、
前記特定の画像フレームが、現在の画像（Y）フレームであり、前記特定の画像フレームと時系列的に対応する、前記特定の画像フレームよりも低解像度の画像フレームが、現在の画像（UV）フレームである画像表示装置。
【請求項７】
請求項６記載の画像表示装置において、
前記特定の画像フレームと同一解像度の画像フレームであって、前記特定の画像フレームと時系列的に相違する画像フレームが、前記特定の画像フレームに対して時系列的に１フレーム前の過去の画像（Y）フレームである画像表示装置。
【請求項８】
請求項６記載の画像表示装置において、
前記特定の画像フレームと同一解像度の画像フレームであって、前記特定の画像フレームと時系列的に相違する画像フレームが、前記特定の画像フレームに対して時系列的に１フレーム後の未来の画像（Y）フレームである画像表示装置。
【請求項９】
請求項６記載の画像表示装置において、
前記現在の画像（UV）フレームと時系列的に相違する画像フレームが、前記現在の画像（UV）フレームに対して時系列的に１フレーム前の過去の画像（UV）フレームである画像表示装置。
【請求項１０】
請求項６記載の画像表示装置において、
前記現在の画像（UV）フレームと時系列的に相違する画像フレームが、前記現在の画像（UV）フレームに対して時系列的に１フレーム後の未来の画像（UV）フレームである画像表示装置。
【請求項１１】
請求項９、又は請求項１０記載の画像表示装置において、
前記加重加算部が、前記動きベクトル生成部から出力される前記動きベクトルに応じた加重値の割合で前記各々の画像（UV）フレームに対し、畳み込み演算を行うことにより前記加重加算処理を行う画像表示装置。
【請求項１２】
請求項２、請求項３、又は請求項４記載の画像表示装置において、
前記画像復元部が、前記復元された元の画像情報の色空間フォーマットを、YUV色空間フォーマットからRGB色空間フォーマットに変換する画像表示装置。
【請求項１３】
所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置であって、
時系列的に供給される前記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する第１のステップと、
時系列的に供給される前記高解像度の画像フレームのうちの、少なくとも前記特定の画像フレームに対して、前記所定解像度に低解像度化する処理を施す第２のステップと、
前記第２のステップにおいて前記所定解像度に低解像度化された後の前記特定の画像フレームと、前記特定の画像フレームと時系列的に相違する少なくとも１以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知する第３のステップと、
前記第３のステップにおいて検知した位置ズレからそのズレ量を示す動きベクトルを生成する第４のステップと、
前記第４のステップにおいて生成された動きベクトルから得られる所定値により、前記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する前記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す第５のステップと、
前記第１のステップにおいて一時的に記憶されている前記特定の画像フレームと、前記第５のステップにおいて前記加重加算処理が施された後の、前記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する第６のステップと、
を備える画像表示装置における画像情報の解像度変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置、及び画像表示装置における画像情報の解像度変換方法に関する。
【背景技術】
【０００２】
標準解像度画像情報などの解像度の低い画像情報（以下、「低解像度の画像情報」と表記する。）を、フルHD（High Definition）解像度（以下、「高解像度」と表記する。）などの解像度の高い表示装置に表示する場合、低解像度の画像情報を高解像度の画像情報に拡大する処理が必要である。上記拡大処理に際しては、例えば、１枚の低解像度の画像フレームからsinc関数等を利用した画像補間の手法が採用される。しかし、上記のような、１枚の低解像度の画像フレーム（低解像度の画像情報に含まれる信号の周波数帯域）から低解像度の画像情報を高解像度化するのは、既に、高周波帯域に属する信号の成分が限定されているため、自ずから限界がある。そこで、上記に鑑みて、複数の低解像度の画像フレームから、該低解像度の画像フレームよりも高い解像度の画像フレームを生成する、超解像と称する高解像度化のための技術が、従来より提案されている。
【０００３】
上記超解像の技術としては、まず、下記の非特許文献１に開示されている、MAP推定に基づく方法が挙げられる。また、下記の特許文献１に開示されているような、生成した超解像の画像フレームを再利用することにより、画像情報の処理量を削減するための技術（画像処理方法）も挙げられる。この技術は、より少ない演算量で、低解像度の動画像データから高解像度の動画像データを生成できるようにすることを目的として提案されたものである。
【非特許文献１】R.R. Shultz andR.L. Stevenson, “Extraction of high-resolution frames from video sequence”,IEEE transactions on Image Processing, Vol. 5, No. 6, June 1996.
【特許文献１】特開2007-52672号公報参照
【発明の開示】
【発明が解決しようとする課題】
【０００４】
以下、超解像の原理について説明する。一般に、標本化定理より、画像情報等の原信号が、標本化周波数の2分の1であるナイキスト周波数以下に帯域制限されている場合、一組の標本化信号から原信号を完全に復元することは可能である。また、原信号が帯域制限されていない、即ち、折返し歪みを含む画像情報（画像フレーム）の場合、これらの画像フレームを複数枚使用し、互いに折返し成分を打ち消し合うことで、ナイキスト周波数以下に帯域制限することができる。この帯域制限された画像フレームにより、原画像情報（原画像フレーム）の高解像度成分の復元が可能になる。これが、超解像の原理である。
【０００５】
ところで、超解像処理においては、繰返し処理の繰返し数が多いことと、超解像処理の対象である画像フレームを構成する各々の画素毎に同一の演算処理を施すため、超解像処理に係わるハードウェアの負荷が非常に大きなものにならざるを得ない。そのため、動画像情報のような、所謂リアタイム性を必要とする処理にあっては、その処理量の大きさから、超解像処理の技術を適用するのは困難である。そこで、上述したように、特許文献１に開示されているような技術が、利用されることになる。
【０００６】
特許文献１には、低解像度の画像情報をn倍に高解像度化（拡大）した画像情報を生成する技術が開示されている。該技術によれば、例えば、横720画素、縦480画素の標準解像度の画像フレームを、縦横共に２倍することにより、横1440画素、縦960画素の高解像度化された画像フレームを生成することが可能である。上記解像度は、HD解像度（横1920画素、縦1080画素）と略同一の解像度であり、上記（横1440画素、縦960画素の）高解像度化された画像フレームを、液晶ディスプレイや、プラズマディスプレイ等のHD解像度表示装置に表示出力することにより、高解像度の画像情報の表示が実現される。
【０００７】
しかし、上記ハードウェアへの入力画像情報が、上述したような低解像度の画像情報ではなく、HD解像度の画像情報のような、高解像度の画像情報であった場合には、上記超解像の手法を用いて、該画像情報に対し、HD解像度のような、高解像度を維持したままの状態で、更なる高解像度化（高画質化）を図ることができないという問題が生じる。
【０００８】
従って本発明の目的は、入力画像情報が、高解像度の画像情報であった場合でも、該画像情報に対し、超解像の手法を用いて更なる高解像度化（高画質化）を図ることができるようにすることにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点に従う画像表示装置は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力するものであって、時系列的に供給される上記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する記憶部と、時系列的に供給される上記高解像度の画像フレームのうちの、少なくとも上記特定の画像フレームに対して、上記所定解像度に低解像度化する処理を施す解像度変換部と、上記解像度変換部において上記所定解像度に低解像度化された後の上記特定の画像フレームと、上記特定の画像フレームと時系列的に相違する少なくとも１以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知すると共に、検知した位置ズレからそのズレ量を示す動きベクトルを生成する動きベクトル生成部と、上記動きベクトル生成部により生成された動きベクトルから得られる所定値により、上記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する上記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す加重加算処理部と、上記記憶部に一時的に記憶されている上記特定の画像フレームと、上記加重加算処理部において上記加重加算処理が施された後の、上記特定の画像フレームと時系列的に同一の前記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する画像情報復元部と、を備える。
【００１０】
本発明の第１の観点に係る好適な実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報の色空間フォーマットが、YUV色空間フォーマットである。
【００１１】
上記とは別の実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報のピクセルフォーマットが、4：2：0である。
【００１２】
また、上記とは別の実施形態では、上記所定解像度の画像フレームと、それより高解像度の画像フレームとで構成される画像情報が、所定解像度の画像（Y）フレームと、それより低解像度の画像（UV）フレームとで構成されている。
【００１３】
また、上記とは別の実施形態では、上記記憶部に一時的に記憶されている上記特定の画像フレームの、上記画像情報復元部への出力タイミングが、上記加重加算処理部からの前記特定の画像フレームと時系列的に同一の上記低解像度の画像フレームの、上記画像情報復元部への出力タイミングと同期している。
【００１４】
また、上記とは別の実施形態では、上記特定の画像フレームが、現在の画像（Y）フレームであり、上記特定の画像フレームと時系列的に対応する、上記特定の画像フレームよりも低解像度の画像フレームが、現在の画像（UV）フレームである。
【００１５】
また、上記とは別の実施形態では、上記特定の画像フレームと同一解像度の画像フレームであって、上記特定の画像フレームと時系列的に相違する画像フレームが、上記特定の画像フレームに対して時系列的に１フレーム前の過去の画像（Y）フレームである。
【００１６】
また、上記とは別の実施形態では、上記特定の画像フレームと同一解像度の画像フレームであって、上記特定の画像フレームと時系列的に相違する画像フレームが、上記特定の画像フレームに対して時系列的に１フレーム後の未来の画像（Y）フレームである。
【００１７】
また、上記とは別の実施形態では、上記現在の画像（UV）フレームと時系列的に相違する画像フレームが、上記現在の画像（UV）フレームに対して時系列的に１フレーム前の過去の画像（UV）フレームである。
【００１８】
また、上記とは別の実施形態では、上記現在の画像（UV）フレームと時系列的に相違する画像フレームが、上記現在の画像（UV）フレームに対して時系列的に１フレーム後の未来の画像（UV）フレームである。
【００１９】
また、上記とは別の実施形態では、上記加重加算部が、上記動きベクトル生成部から出力される上記動きベクトルに応じた加重値の割合で上記各々の画像（UV）フレームに対し、畳み込み演算を行うことにより上記加重加算処理を行う。
【００２０】
更に、上記とは別の実施形態では、上記画像復元部が、上記復元された元の画像情報の色空間フォーマットを、YUV色空間フォーマットからRGB色空間フォーマットに変換する。
【００２１】
本発明の第２の観点に従う画像表示装置における画像情報の解像度変換方法は、所定解像度の画像フレームと、それより高解像度の画像フレームとで構成され、所定のフレームレートで供給される画像情報を、解像度別に入力する画像表示装置であって、時系列的に供給される上記高解像度の画像フレームのうちの、特定の画像フレームを一時的に記憶する第１のステップと、時系列的に供給される上記高解像度の画像フレームのうちの、少なくとも上記特定の画像フレームに対して、上記所定解像度に低解像度化する処理を施す第２のステップと、上記第２のステップにおいて上記所定解像度に低解像度化された後の上記特定の画像フレームと、上記特定の画像フレームと時系列的に相違する少なくとも１以上の高解像度の画像フレームとの間において、対応する各々の画素同士の位置ズレを検知する第３のステップと、上記第３のステップにおいて検知した位置ズレからそのズレ量を示す動きベクトルを生成する第４のステップと、上記第４のステップにおいて生成された動きベクトルから得られる所定値により、上記特定の画像フレームとそれ以外の高解像度の画像フレームとに夫々時系列的に対応する上記所定解像度の画像フレームに対し、各々の画像フレーム別に所定の加重加算処理を施す第５のステップと、上記第１のステップにおいて一時的に記憶されている上記特定の画像フレームと、上記第５のステップにおいて上記加重加算処理が施された後の、上記特定の画像フレームと時系列的に同一の上記低解像度の画像フレームとを、合成することにより、元の画像情報に復元する第６のステップと、を備える。
【発明の効果】
【００２２】
本発明によれば、入力画像情報が、高解像度の画像情報であった場合でも、該画像情報に対し、超解像の手法を用いて更なる高解像度化（高画質化）を図ることができるようにすることができる。
【発明を実施するための最良の形態】
【００２３】
以下では、超解像による画像情報の高解像度化の原理を、図１に示すような構成の解像度変換装置を用いて、説明する。
【００２４】
与えられた画像情報の高解像度化は、図１に示すような機能ブロックを備える解像度変換装置１００により実現される。解像度変換装置１００には、所定のフレームレート（１秒当りのコマ数）で与えられる画像情報に含まれる現在の画像（YUV）フレーム（n）が信号入力端子３を通じて入力される。解像度変換装置１００には、上記に加えて、上記現在の画像（YUV）フレーム（n）よりも時間的に１フレーム分後の画像（YUV）フレームである未来の画像（YUV）フレーム（以下、単に「未来の画像（YUV）フレーム」と表記する。）（n＋1）も上記信号入力端子３とは別の信号入力端子１を通じて入力される。解像度変換装置１００には、更に、上記現在の画像（YUV）フレーム（n）よりも時間的に１フレーム分前の画像（YUV）フレームである過去の画像（YUV）フレーム（以下、単に「過去の画像（YUV）フレーム」と表記する。）（n−1）も上記信号入力端子１、信号入力端子３とは別の信号入力端子５を通じて入力される。
【００２５】
ここで、画像（YUV）フレームとは、輝度（Y）成分から構成される画像（Y）フレームと、色差（U）成分（輝度信号（Y）と青色成分との差分）から構成される画像（U）フレームと、色差（V）成分（輝度信号（Y）と赤色成分との差分）から構成される画像（V）フレームとの合成により生成される画像フレームのことである。
【００２６】
信号入力端子１を通じて解像度変換装置１００に入力された未来の画像（YUV）フレーム（n＋1）は、動き探索部１３、及び第１のLPF（ローパスフィルタのこと。以下同じ）７に入力される。信号入力端子３を通じて解像度変換装置１００に入力された現在の画像（YUV）フレーム（n）は、動き探索部１３、及び第２のLPF９に入力される。信号入力端子５を通じて解像度変換装置１００に入力された過去の画像（YUV）フレーム（n−1）は、動き探索部１３、及び第３のLPF１１に入力される。
【００２７】
第１のLPF７に入力された未来の画像（YUV）フレーム（n＋1）は、第１のLPF７において、フィルタリングされることによって該未来の画像（YUV）フレーム（n＋1）に含まれる高周波成分を除去される。そして、該未来の画像（YUV）フレーム（n＋1）は、画像の折返し成分を含む高密度の画像（YUV）フレームとして、第１のLPF７から加重加算部１５に出力される。同様に、第２のLPF９に入力された現在の画像（YUV）フレーム（n）についても、第２のLPF９において、フィルタリングされることによって該現在の画像（YUV）フレーム（n）に含まれる高周波成分を除去され、画像の折返し成分を含む高密度の画像（YUV）フレームとして、第２のLPF９から加重加算部１５に出力される。更に、第３のLPF１１に入力された過去の画像（YUV）フレーム（n−1）についても、第３のLPF１１において、フィルタリングされることによって該過去の画像（YUV）フレーム（n−1）に含まれる高周波成分を除去され、画像の折返し成分を含む高密度の画像（YUV）フレームとして、第３のLPF１１から加重加算部１５に出力される。
【００２８】
信号入力端子１を通じて解像度変換装置１００に入力される未来の画像（YUV）フレーム（n＋1）、信号入力端子３を通じて解像度変換装置１００に入力される現在の画像（YUV）フレーム（n）、及び信号入力端子５を通じて解像度変換装置１００に入力される過去の画像（YUV）フレーム（n−1）は、何れも動き探索部１３によって読み込まれる。そして、現在の画像（YUV）フレーム（n）に含まれる（１個又は複数個の）対象物の画像の位置と、該対象物の画像の、過去の画像（YUV）フレーム（n−1）における位置との差分、即ち、動きベクトルが、動き探索部１３において生成される。動き探索部１３では、また、現在の画像（YUV）フレーム（n）に含まれる上記対象物の画像の位置と、該対象物の画像の、未来の画像（YUV）フレーム（n＋1）における位置との差分、即ち、上記とは別の動きベクトルも生成される。
【００２９】
上記各々の動きベクトルの精度は、整数画素精度か、若しくは整数画素以下の精度であって、且つ、加重加算部１５における加重加算の処理により、上記画像の折返し成分における折返し歪みを打ち消すことが可能な精度である。上記各々の動きベクトルは、動き探索部１３において、加重加算部１５での、加重加算に用いられる加重値に変換され、動き探索部１３より加重加算部１５に出力される。
【００３０】
加重加算部１５では、第１のLPF７から未来の画像（YUV）フレーム（n＋1）が、第２のLPF９から現在の画像（YUV）フレーム（n）が、第３のLPF１１から過去の画像（YUV）フレーム（n−1）が、動き探索部１３から加重値が、夫々入力されると、現在の画像（YUV）フレーム（n）を高解像度化（拡大）するための処理が行われる。即ち、該処理の一環として、現在の画像（YUV）フレーム（n）における対象物の画像の周囲に位置付けられる画素を生成するための演算処理である加重加算処理が実行される。この加重加算処理では、上記入力された未来の画像（YUV）フレーム（n＋1）、現在の画像（YUV）フレーム（n）、及び過去の画像（YUV）フレーム（n−1）に対し、動き探索部１３より出力された上記加重値の割合で畳み込み演算が行われることで、上記現在の画像（YUV）フレーム（n）に対し、高解像度化が施される。上記加重加算処理が行われることにより、夫々の画像（YUV）フレーム（n＋1）、（n）、（n−1）における折返し歪み（成分）が打ち消され、同時に画像（YUV）フレーム（n＋1）、（n）、（n−1）における高周波成分が復元される。
【００３１】
ここで、上記折返し歪み成分には、多くの雑音が含まれているが、折返し歪み成分、及び雑音の打ち消しは、加重加算部１５に入力される画素数を増加させ、復元される折返し成分、及び雑音を共に打ち消すことによって可能になる。
【００３２】
上述したように、現在の画像（YUV）フレーム（n）における、超解像による高周波成分の復元には、現在の画像（YUV）フレーム（n）に含まれる画素と、上記過去の画像（YUV）フレーム（n−1）、及び上記未来の画像（YUV）フレーム（n＋1）に夫々含まれる上記（現在の画像（YUV）フレーム（n）に含まれる）画素と対応関係にある画素との間における移動量（即ち、動きベクトルの大きさ）を求め、夫々の画像（YUV）フレーム（n）、（n＋1）、（n−1）を、該求めた移動量に基づき多重平均する処理が必要になる。
【００３３】
加重加算部１５において高解像度化された上記現在の画像（YUV）フレーム（n）´は、加重加算部１５から信号出力端子１７を通じて解像度変換装置１００外へと出力される。
【００３４】
図２は、図１で示した解像度変換装置１００により高解像度化（即ち、大きさが拡大）される画像フレームの一例を示す説明図である。
【００３５】
図２に示す例では、高解像度化の対象である画像フレーム、即ち、現在の画像（YUV）フレームが、該現在の画像（YUV）フレームと、該現在の画像（YUV）フレームよりも時間的に１フレーム分前の過去の画像（YUV）フレームと、該現在の画像（YUV）フレームよりも時間的に１フレーム分後の未来の画像（YUV）フレームとの合計３枚分の画像（YUV）フレームを用いて高解像度化される。
【００３６】
図２では、その斜め左上から斜め右下に向かって延びている時間軸上では、矢印方向が時間（t）の進行（経過）方向である。従って、図２における３枚の画像（YUV）フレーム（n＋1）、（n）、（n−1）のうち、最も斜め右下、即ち、時間（t）の進行方向に位置する画像（YUV）フレーム（n−1）が過去の画像（YUV）フレームであり、逆に最も斜め左上、即ち、時間（t）の進行方向とは逆の方向に位置する画像（YUV）フレーム（n＋1）が未来の画像（YUV）フレームである。そして、時間軸上における両画像（YUV）フレームの中間に位置する画像（YUV）フレーム（n）が現在の画像（YUV）フレームである。過去の画像（YUV）フレーム（n−1）において、特定の対象物である女性の画像は、符号２１で示す位置（標本化位置）に存在している。しかし、上記女性の画像は、現在の画像（YUV）フレーム（n）では、符号２３で示す位置（標本化位置）に存在している。そのため、過去の画像（YUV）フレーム（n−1）において符号２１で示した位置と同一位置である、現在の画像（YUV）フレーム（n）上の点線で示した位置との間に、太線矢印２５で示す移動量（即ち、動きベクトル）が生じている。
【００３７】
一方、未来の画像（YUV）フレーム（n＋1）において、上記女性の画像は、符号２７で示す位置（標本化位置）に存在している。しかし、上記女性の画像は、上述したように、現在の画像（YUV）フレーム（n）では、符号２３で示す位置に存在しているので、未来の画像（YUV）フレーム（n＋1）において符号２７で示した位置（標本化位置）と同一位置である、現在の画像（YUV）フレーム（n）上の点線で示した位置との間に、太線矢印２９で示す移動量（即ち、動きベクトル）が生じている。これらの動きベクトル２５、２９が、図１で示した動き探索部１３において求められる。
【００３８】
換言すれば、時間の経過と共に、過去の画像（YUV）フレーム（n−1）から、現在の画像（YUV）フレーム（n）を経て、未来の画像（YUV）フレーム（n＋1）に進むにつれて、過去の画像（YUV）フレーム（n−1）、現在の画像（YUV）フレーム（n）、及び未来の画像（YUV）フレーム（n＋1）の夫々に含まれる同一対象物（図２の例では、女性の画像）の標本化位置にズレが生じる。上記標本化位置のズレ、即ち、標本化位置の移動量が、上記夫々の動きベクトルで表現される。上述した同一対象物の画像の、標本化位置のズレを利用して、各々の画像（YUV）フレーム（n−1）、（n）、（n＋1）に生じる折返し歪みを互いに打ち消し合うことにより、現在の画像（YUV）フレーム（n）の、高解像度化（拡大）された画像（YUV）フレーム（n）´が、生成される。この現在の画像（YUV）フレーム（n）の高解像度化（拡大）により、該現在の画像（YUV）フレーム（n）における対象物（女性）の画像も同様に高解像度化（拡大）され、拡大された画像（YUV）フレーム（n）´における対象物（女性）の画像になる。
【００３９】
例えば、縦の画素数と横の画素数との比が1：1の現在の画像（YUV）フレーム（n）を、縦横共に2倍に増加させる（2：2にする）高解像度化を実行することにより生成された画像（YUV）フレーム（n）´の画素数は、上記現在の画像（YUV）フレーム（n）の画素数の4倍になり、該画像（YUV）フレーム（n）´の大きさも、上記現在の画像（YUV）フレーム（n）の大きさの4倍になる。
【００４０】
次に、色空間フォーマットと、ピクセルフォーマットとについて説明する。
【００４１】
色空間フォーマットには、複数のフォーマットが存在する。例えば、赤（Red）、緑（Green）、青（Blue）の所謂光の３原色で表現するRGB色空間フォーマットや、輝度（Y）と色差（UV）とで表現するYUV色空間フォーマット等がある。一般に、人間の眼は、輝度（Y）成分に対しては敏感であるが、色差（UV）成分に対しては鈍感である。そのため、YUV色空間フォーマットでは、色差（UV）成分の縦横共に2分の1の4：2：0ピクセルフォーマットや、横成分が2分の1の4：2：2ピクセルフォーマットのように、色差（UV）成分の解像度を下げたピクセルフォーマットが存在する。このように画像（フレーム）には、複数のフォーマットが存在している。
【００４２】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００４３】
図３は、本発明の一実施形態に係る、画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図である。
【００４４】
上記解像度変換装置は、YUV4：2：0の画像データを、RGB4：4：4の画像データに変換するためのものである。以下では、YUV色空間フォーマット、及び色差（UV）成分の縦横が2分の1のサイズである4：2：0成分として説明する。また、以下の説明内容は、解像度の異なるピクセルフォーマットにて形成された入力画像の画像フレームの拡大に係わる技術に関するものであり、色空間フォーマットとピクセルフォーマットとの違いによる技術的な限定はなされない。上記解像度変換装置には、図１、及び図２で夫々示した画像（YUV）フレーム（n＋1）、画像（YUV）フレーム（n）、及び画像（YUV）フレーム（n−1）が、画像（Y）フレーム（n＋1）、画像（Y）フレーム（n）、及び画像（Y）フレーム（n−1）と、画像（UV）フレーム（n＋1）、画像（UV）フレーム（n）、及び画像（UV）フレーム（n−1）とに分離された状態で、夫々解像度変換装置２００に入力される。
【００４５】
図３に示すように、上記解像度変換装置２００は、信号入力端子３１、３３、３５、５９、６１、６３と、第１の縮小部３７と、第２の縮小部３９と、第３の縮小部４１と、第１のLPF４３と、第２のLPF４５と、第３のLPF４７と、バッファ４９と、動き探索部５１と、加重加算部５３と、色空間変換部５５と、信号出力端子５７と、を備える。
【００４６】
第１の縮小部３７、第２の縮小部３９、及び第３の縮小部４１は、何れも入力された画像（Y）フレームを、夫々縦横2分の1に縮小する機能を有する。第１の縮小部３７は、信号入力端子３１を通じて解像度変換装置２００に入力される未来の画像（Y）フレーム（n＋1）を受けて、該画像（Y）フレーム（n＋1）を、縦横比2分の1に縮小する。該画像（Y）フレーム（n＋1）の縮小画像（Y）フレーム（n＋1）´は、第１の縮小部３７から動き探索部５１に出力される。
【００４７】
第２の縮小部３９も、上記第１の縮小部３７と同様に、信号入力端子３３を通じて解像度変換装置２００に入力される現在の画像（Y）フレーム（n）を受けて、該画像（Y）フレーム（n）を、縦横比2分の1に縮小する。該画像（Y）フレーム（n）の縮小画像（Y）フレーム（n）´は、第２の縮小部３９から動き探索部５１に出力される。第３の縮小部４１も、上記第１の縮小部３７や、上記第２の縮小部３９と同様に、信号入力端子３５を通じて解像度変換装置２００に入力される過去の画像（Y）フレーム（n−1）を受けて、該画像（Y）フレーム（n−1）を、縦横比2分の1に縮小する。該画像（Y）フレーム（n−1）の縮小画像（Y）フレーム（n−1）´は、第３の縮小部４１から動き探索部５１に出力される。
【００４８】
上述した第１の縮小部３７、第２の縮小部３９、及び第３の縮小部４１における画像（Y）フレーム（n＋1）、画像（Y）フレーム（n）、画像（Y）フレーム（n−1）の縮小処理に際しては、解像度変換装置２００に入力される画像（Y）フレーム、即ち、上記画像（Y）フレーム（n＋1）、画像（Y）フレーム（n）、画像（Y）フレーム（n−1）の入力フォーマットに準拠することが望ましい。例えば、MPEG-2における色差（UV）成分の位置は、画像（Y）フレーム上では、座標（0、2、4）の位置に相当する。また、MPEG-4では、色差（UV）成分の位置は、画像（Y）フレーム上では、座標（0.5、2.5、4.5）の位置に相当する。従って、MPEG-2では、画像（Y）フレームの縮小処理に際し、該画像（Y）フレームに含まれる画素を単純間引きする手法が採用されるが、MPEG-4では、上記縮小処理に際しては、該画像（Y）フレームに含まれる４画素間の補間画像の使用が可能である。なお、画像（Y）フレームの縮小処理に際しての手法は、上記内容のみに限定されるものではない。
【００４９】
バッファ４９は、信号入力端子３３を通じて解像度変換装置２００に入力される現在の画像（Y）フレーム（n）を読み込んで、該現在の画像（Y）フレーム（n）を、一時的に蓄積する。バッファ４９は、蓄積している該現在の画像（Y）フレーム（n）を、加重加算部５３から色空間変換部５５への現在の画像（UV）フレーム（n）の出力時期に同期させて、色空間変換部５５へ出力する。
【００５０】
動き探索部５１は、第１の縮小部３７から出力される上記縮小画像（Y）フレーム（n＋1）´と、第２の縮小部３９から出力される上記縮小画像（Y）フレーム（n）´と、第３の縮小部４１から出力される上記縮小画像（Y）フレーム（n−1）と、を夫々入力する。動きベクトル探索部５１は、上記縮小画像（Y）フレーム（n）´（即ち、現在の縮小画像（Y）フレーム（n）´）に含まれる（１個又は複数個の）対象物の画像の位置と、該対象物の画像の、上記縮小画像（Y）フレーム（n−1）´（即ち、過去の縮小画像（Y）フレーム（n−1）´）における位置との差分、即ち、動きベクトルを生成する。動き探索部５１は、また、上記縮小画像（Y）フレーム（n）´に含まれる上記対象物の画像の位置と、該対象物の画像の、上記縮小画像（Y）フレーム（n＋1）´（即ち、未来の縮小画像（Y）フレーム（n＋1）´）における位置との差分、即ち、上記とは別の動きベクトルをも生成する。
【００５１】
既述のように、上記各々の動きベクトルの精度は、整数画素精度か、若しくは整数画素以下の精度であって、且つ、加重加算部５３における加重加算の処理により、上記縮小画像（Y）フレーム（n＋1）´、上記縮小画像（Y）フレーム（n）´、上記縮小画像（Y）フレーム（n＋1）´の折返し成分における折返し歪みを打ち消すことが可能な精度である。上記各々の動きベクトルは、動き探索部５１において、加重加算部５３での、加重加算に用いられる加重値に変換され、動き探索部５１より加重加算部５３に出力される。
【００５２】
第１のLPF４３は、信号入力端子５９を通じて解像度変換装置２００に入力された未来の画像（UV）フレーム（n＋1）を読み込んで、フィルタリングすることにより該未来の画像（UV）フレーム（n＋1）に含まれる高周波成分を除去する。そして、該未来の画像（UV）フレーム（n＋1）を、画像の折返し成分を含む高密度の画像として、加重加算部５３に出力する。第２のLPF４５も、第１のLPF４３と同様に、信号入力端子６１を通じて解像度変換装置２００に入力された現在の画像（UV）フレーム（n）を読み込んで、フィルタリングすることにより該現在の画像（UV）フレーム（n）に含まれる高周波成分を除去する。そして、該現在の画像（UV）フレーム（n）を、画像の折返し成分を含む高密度の画像として、加重加算部５３に出力する。第３のLPF４７も、第１のLPF４３や、第２のLPF４５と同様に、信号入力端子６３を通じて解像度変換装置２００に入力された過去の画像（UV）フレーム（n−1）を読み込んで、フィルタリングすることにより該過去の画像（UV）フレーム（n−1）に含まれる高周波成分を除去する。そして、該過去の画像（UV）フレーム（n−1）を、画像の折返し成分を含む高密度の画像フレームとして、加重加算部５３に出力する。
【００５３】
加重加算部５３は、第１のLPF４３から未来の画像（UV）フレーム（n＋1）が、第２のLPF４５から現在の画像（UV）フレーム（n）が、第３のLPF４７から過去の画像（UV）フレーム（n−1）が、動き探索部５１から上述した加重値が、夫々入力されると、現在の画像（UV）フレーム（n）を高解像度化（拡大）するための処理を行う。即ち、該処理の一環として、加重加算部５３は、現在の画像（UV）フレーム（n）における対象物の画像の周囲に位置付けられる画素を生成するための演算処理である加重加算処理を実行する。加重加算部５３は、この加重加算処理において、上記入力された未来の画像（UV）フレーム（n＋1）、現在の画像（UV）フレーム（n）、及び過去の画像（UV）フレーム（n−1）に対し、動き探索部５１より出力された上記加重値の割合で畳み込み演算を行うことで、上記現在の画像（UV）フレーム（n）に対し、高解像度化を施す。上記加重加算処理を行うことにより、加重加算部５３は、夫々の画像（UV）フレーム（n＋1）、画像（UV）フレーム（n）、画像（UV）フレーム（n−1）における折返し歪み（成分）を打ち消し、同時に画像（UV）フレーム（n＋1）、画像（UV）フレーム（n）、画像（UV）フレーム（n−1）における高周波成分を復元する。
【００５４】
なお、上記折返し歪み成分には、多くの雑音が含まれている点、折返し歪み成分、及び雑音の打ち消しが、加重加算部５３に入力される画像（UV）フレーム（n＋1）、画像（UV）フレーム（n）、画像（UV）フレーム（n−1）の画素数を増加させることで、復元される折返し成分、及び雑音を共に打ち消すことにより可能になる点については、図１の解像度変換装置１００で説明した内容と略同一である。
【００５５】
また、上述したように、現在の画像（UV）フレーム（n）における、超解像による高周波成分の復元には、現在の画像（UV）フレーム（n）に含まれる画素と、上記過去の画像（UV）フレーム（n−1）、及び上記未来の画像（UV）フレーム（n＋1）に夫々含まれる上記（現在の画像（UV）フレーム（n）に含まれる）画素と対応関係にある画素との間における移動量（即ち、動きベクトルの大きさ）を求め、夫々の画像（UV）フレーム（n）、画像（UV）フレーム（n＋1）、画像（UV）フレーム（n−1）を、該求めた移動量に基づき多重平均する処理が必要になる。
【００５６】
加重加算部５３において高解像度化された上記現在の画像（UV）フレーム（n）は、所定のタイミングで加重加算部５３から色空間変換部５５へ出力される。
【００５７】
色空間変換部５５は、加重加算部５３から所定のタイミングで出力される上記現在の画像（UV）フレーム（n）と、上記現在の画像（UV）フレーム（n）と同期してバッファ４９から出力される上記現在の画像（Y）フレーム（n）とを、夫々入力する。上記現在の画像（UV）フレームの解像度は、上記現在の画像（Y）フレームの解像度と略同程度に高解像度化（拡大）されている。色空間変換部５５は、上記現在の画像（Y）フレームと、上記現在の画像（UV）フレームとを合成処理することにより、色差（UV）成分が輝度（Y）成分並みに高解像度化された現在の画像（YUV）フレーム（n）´を生成する。そして、該生成した現在の画像（YUV）フレーム（n）´、即ち、YUVフォーマットの現在の画像フレーム（n）´を、現在の画像（RGB）フレーム（n）´、即ち、RGBフォーマットの現在の画像フレーム（n）´に変換する。
【００５８】
上記現在の画像（RGB）フレーム（n）´は、色空間変換部５５から信号出力端子５７を通じて解像度変換装置２００外へと出力される。
【００５９】
本実施形態では、色空間変換部５５において、上記現在の画像（Y）フレームと、上記現在の画像（UV）フレームとの合成処理と、該合成処理により生成された現在の画像（YUV）フレーム（n）´を、現在の画像（RGB）フレーム（n）´に変換する処理とが行われ、現在の画像（RGB）フレーム（n）´が解像度変換装置２００外へと出力されるが、上記変換処理は行わずに、上記現在の画像（YUV）フレーム（n）´を、解像度変換装置２００外へと出力するようにしてもよい。
【００６０】
以上説明したように、本発明の一実施形態によれば、例えば、YUV4：2：0等の異なる解像度で構成される画像フレームを、上述した構成の解像度変換装置２００において、超解像の手法により、画像（Y）フレームよりも低解像度で入力される画像（UV）フレームの解像度を、最大解像度で入力される上記画像（Y）フレームと略同一程度の解像度に向上させることが可能になり、画像（UV）フレームの高解像度化を図ることができる。
【００６１】
また、本発明の一実施形態によれば、上記解像度変換装置２００が、例えば、横960画素、縦540画素で構成される画像フレームの画像容量に対処可能な程度の演算処理能力しか有していない場合であっても、上記画像フレームの４倍の大きさである、横1920画素、縦1080画素で構成される画像フレームのようなHD解像度の画像フレームの更なる高解像度化にも対応可能である。換言すれば、画像フレームに対する超解像処理の処理量を決定するのに必要な構成の１つである動き探索部５１において、小さな回路規模で超解像の手法により、高画質の画像フレームを得ることができる。
【００６２】
なお、本発明の一実施形態では、現在の画像フレームと、該現在の画像フレームよりも時間的に１フレーム前の過去の画像フレームと、該現在の画像フレームよりも時間的に１フレーム後の未来の画像フレームと、から、該現在の画像フレームを高解像度化する手法について説明したが、超解像の技術では、２枚以上の画像フレームがあれば、対象となる画像フレームを、高解像度化することが可能である。よって、対象となる画像フレームの高解像度化に際して必要な画像フレームの枚数は、上述した３枚のみに限定されない。
【００６３】
図４は、本発明の他の実施形態に係る画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図である。
【００６４】
図４で示すように、本発明の他の実施形態に係る解像度変換装置３００は、図３で示した第１の縮小部３７、及び第３の縮小部４１を有しない点において、図３で示した解像度変換装置２００と構成が相違する。その他の構成については、図３で示したものと同一であるので、図４において、図３で示した物と同一物には、同一符号を付してそれらの詳細な説明を省略する。
【００６５】
図４において、動き探索部５１は、第２の縮小部３９から出力される上記縮小画像（Y）フレーム（n）´（即ち、現在の縮小画像（Y）フレーム（n）´）と、信号入力端子３１を通じて解像度変換装置３００に入力される（未来の）画像（Y）フレーム（n+1）と、信号入力端子３５を通じて解像度変換装置３００に入力される（過去の）画像（n−1）と、を夫々読み込む。動きベクトル探索部５１は、上記縮小画像（Y）フレーム（n）´に含まれる（１個又は複数個の）対象物の画像の位置と、該対象物の画像の、上記（過去の）画像（Y）フレーム（n−1）における位置との差分、即ち、動きベクトルを生成する。動き探索部５１は、また、上記縮小画像（Y）フレーム（n）´に含まれる上記対象物の画像の位置と、該対象物の画像の、上記（未来の）画像（Y）フレーム（n＋1）における位置との差分、即ち、上記とは別の動きベクトルをも生成する。
【００６６】
上記縮小画像（Y）フレーム（n）´と、上記（過去の）画像（Y）フレーム（n−1）との間、及び上記縮小画像（Y）フレーム（n）と、上記（未来の）画像（Y）フレーム（n＋1）´との間では、夫々の画像（Y）フレームにおける画素数が相違する。そのため、上記動きベクトルの生成に際しては、上記（過去の）画像（Y）フレーム（n−1）、及び上記（未来の）画像（Y）フレーム（n＋1）において、夫々１画素分間引きを行う。これにより、上記（過去の）画像（Y）フレーム（n−1）と上記縮小画像（Y）フレーム（n）´との間、及び上記（未来の）画像（Y）フレーム（n＋1）と上記縮小画像（Y）フレーム（n）´との間で画像（Y）フレームの解像度を合わせる。そして、間引き後の（過去の）画像（Y）フレーム（n−1）と上記縮小画像（Y）フレーム（n）´との間、及び間引き後の（未来の）画像（Y）フレーム（n＋1）との間において、夫々動きベクトルを生成する。
【００６７】
以上説明したように、本発明の他の実施形態によれば、動き探索部５１による対象物の画像の１画素単位での動き探索が可能になり、本発明の一実施形態に係る解像度変換装置２００と比較して生成される動きベクトルの精度を向上させることができる。
【００６８】
以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【図面の簡単な説明】
【００６９】
【図１】超解像による画像情報の高解像度化を行うのに必要な解像度変換装置の構成の一例を示す機能ブロック図。
【図２】図１で示した解像度変換装置により高解像度化される画像フレームの一例を示す説明図。
【図３】本発明の一実施形態に係る、画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図。
【図４】本発明の他の実施形態に係る画像表示装置を構成する解像度変換装置の全体構成を示す機能ブロック図。
【符号の説明】
【００７０】
３１、３３、３５、５９、６１、６３  信号入力端子
３７  第１の縮小部
３９  第２の縮小部
４１  第３の縮小部
４３  第１のLPF
４５  第２のLPF
４７  第３のLPF
４９  バッファ
５１  動き探索部
５３  加重加算部
５５  色空間変換部
５７  信号出力端子
【図１】
2009177258.tif 000003
【図２】
2009177258.tif 000004
【図３】
2009177258.tif 000005
【図４】
2009177258.tif 000006