(57)【要約】【課題】より一層鮮明かつ高精細な映像を表示するために現状では、高解像度変換技術や超解像処理回路を充分に有効活用し尽くされて無い。【解決手段】同一のフレーム表示期間内に複数回の高画質回路内処理を繰り返す事で、映像フレームの高画質化を図る。【選択図】図１
2018110325.tif 000002
【特許請求の範囲】
【請求項１】
映像入力部、映像出力部、フレームメモリおよび高画質化回路から構成される高画質化装置において、
前記フレームメモリ内に予め記録された第１の映像フレームから前記高画質化回路内で第２の映像フレームに変換される第１の映像処理と、
前記第２の映像フレームから前記高画質化回路内で第３の映像フレームに変換される第２の映像処理が実行され、
１回のフレーム表示期間内に前記第１と第２の映像処理が完了することを特徴とする高画質化装置。
【請求項２】
前記第１の映像フレームとは異なる第４の映像フレームと前記第１の映像フレームを利用して前記第２の映像フレームに変換され、
前記第２の映像フレームとは異なる第５の映像フレームと前記第２の映像フレームを利用して前記第３の映像フレームに変換される特許請求範囲第１項記載の高画質化装置。
【請求項３】
前記第１の映像フレーム内の所定画素に対して第１の動きベクトルが定義される場合、前記第１の動きベクトルに対応した前記第４の映像フレーム内の対応画素の情報を利用して前記第１の映像処理を行い、
前記第２の映像フレーム内の所定画素に対して第２の動きベクトルが定義される場合、前記第２の動きベクトルに対応した前記第５の映像フレーム内の対応画素の情報を利用して前記第２の映像処理を行う特許請求範囲第２項記載の高画質化装置。
【請求項４】
前記高画質化回路内で超解像処理を行う第３項記載の高画質化装置。
【請求項５】
前記高画質化回路内でノイズ低減処理を行う第３項記載の高画質化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、表示映像の高画質化を可能とする高画質化装置に関する。
【背景技術】
【０００２】
近年、高解像度変換部を備えたＴＶ（テレビジョン）受信装置あるいは映像に関する情報再生装置（メディアデータサーバー）が普及している。高解像度変換技術は、第１の画像信号（第１の解像度）が持つ画素周辺の仮想画素の値を推定し、第１の画像信号の画素数よりも画素数の多い第２の画像信号（第２の解像度）を生成する鮮鋭化処理技術である。また鮮鋭化処理技術には、第１の画像信号（第２の解像度）が持つ画素値の本来の値を推定し、第１の画像信号の画素値を補正して第２の画像信号（同じく第２の解像度）を生成する技術も含まれる場合がある。
【０００３】
既存の高解像度変換技術を活用した鮮明な表示画像を見慣れたユーザーは、更に鮮明な表示映像を要求している。従って上記の高解像度変換技術（超解像処理回路）を有効利用して、より一層鮮明かつ高精細な映像が表示可能な装置の開発が必要となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１８２４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
処理後の映像容量が目標とする所定値以下になるように映像圧縮処理を繰り返す技術が、特許文献１に開示されている。この特許文献１に開示された処理の繰り返しにより、適正な映像圧縮が可能となっているが、表示映像の高画質化に関しては開示されて無い。
【０００６】
上記の課題を鑑み、高解像度変換部を有効活用した一層高画質の映像表示が可能な装置の提供が望まれている。
【課題を解決するための手段】
【０００７】
本実施形態では同一のフレーム表示期間内に複数回の高画質回路内処理を繰り返す事で、映像フレームの高画質化を図る。
【０００８】
すなわち高画質化装置内は映像入力部、映像出力部、フレームメモリおよび高画質化回路から構成され、第１の映像処理では前記フレームメモリ内に予め記録された第１の映像フレームから前記高画質化回路内で第２の映像フレームに変換し、第２の映像処理では  前記第２の映像フレームから前記高画質化回路内で第３の映像フレームに変換すると共に、１回のフレーム表示期間内に前記第１と第２の映像処理を完了させる。
【図面の簡単な説明】
【０００９】
【図１】図１は本実施形態における高画質化装置の構成例説明図である。
【図２】図２はフレーム表示期間毎の処理遷移説明図である。
【図３】図３は本実施形態における高画質化装置の他の構成例説明図である。
【図４Ａ】図４Ａは６０Ｈｚ映像に高画質化処理を施して６０Ｈｚ映像として出力する従来の処理シーケンス説明図である。
【図４Ｂ】図４Ｂは２４Ｈｚ映像に高画質化処理を施して６０Ｈｚ映像として出力する従来の処理シーケンス説明図である。
【図４Ｃ】図４Ｃは２４Ｈｚ映像に時分割で２回の高画質化処理を施して６０Ｈｚ映像として出力する本実施形態における処理シーケンスを示す説明図である。
【図５】図５は複数フレームを用いた高画質化実施形態における入出力フレームの関係例の説明図である。
【図６】図６は複数フレームを用いた高画質化に関する他の実施形態での入出力フレーム関係説明図である。
【図７】図７は動きベクトルを利用した高画質化実施形態の説明図である。
【発明を実施するための形態】
【００１０】
図１は本実施形態における高画質化装置の構成例を示す。本実施形態の高画質化装置では図１に示すように、フレームメモリ４０と第１の高画質化回路１４、映像入力部２２、映像出力部２４から構成されている。この第１の高画質化回路１４内で、入力された映像に対する高画質化処理が実行される。ところでこの高画質化処理の具体的な処理例として超解像処理を行っても良いし、ノイズ低減処理を行っても良い。
【００１１】
表示パネル４００上でユーザに表示される同一フレームの表示期間４の間に本実施形態では、上記第１の高画質化回路１４を複数回利用して高画質回路内処理を繰り返して映像フレームの高画質化を図る。このように第１の高画質化回路１４を有効活用する事で、小さな回路規模で一層の高画質化を実現できる効果が有る。すなわち直列に配置された複数の高画質化回路を連続使用して高画質化効果を高める従来技術では、回路規模が大きくなり開発にコストが掛かる弊害が有る。しかし本実施形態では同一の高画質化回路１４を時分割的に繰り返して複数利用するので、回路規模を増やさずに高画質化効果が高まる。
【００１２】
映像入力部２２を経由して高画質化装置（ＴＶ受信装置内映像処理部）内に入力された（高画質化処理前の）第１の映像フレーム４２は、フレームメモリ４０内に一時保存される。そして高画質化処理の過程で、前記第１の映像フレーム４２がフレームメモリ４０から読み込まれ、第１の高画質化回路１４によって第２の映像フレーム４４に変換される。そして変換後の第２の映像フレーム４４は、再度フレームメモリ４０内に書き込まれる。その直後に、前記の第２の映像フレームが再度フレームメモリ４０から読み込まれ、同一の第１の高画質化回路１４によって再度高画質化処理が施される。この結果得られた第３の映像フレーム４６は、フレームメモリ４６内に書き込まれても良いし、直接映像出力部２４を経由して外部に出力されても良い。
【００１３】
ここで第３の映像フレーム４６がフレームメモリ４６内に書き込まれた場合には、任意のタイミングで映像出力部２４から出力できるため、外部装置との同期合わせが容易となる効果が有る。
【００１４】
図１では第１の高画質化回路１４を利用して、高画質化処理前の第１の映像フレーム４２を２回重ねて高画質化処理を行っている。しかし本実施例ではそれに限らず、同一フレーム表示期間４内で３回以上高画質化回路１４を利用しても良い。
【００１５】
図１を用いて説明した本実施形態における処理の流れを、図２では経過時間２に沿って時系列的に示している。例えば表示パネル４００上で１秒間に６０枚（または５０枚）の映像を表示する映像表示方式では、１枚の映像フレームのフレーム表示期間４は１／６０秒（または１／５０秒）となる。一方映画など（例えばＢｌｕ-ｒａｙ(登録商標)やＤＶＤの映画コンテンツ）では、１秒間に２４枚表示する（フレーム表示期間４は１／２４秒となる）。
【００１６】
この単一のフレーム表示期間４−１〜３内の前半において、フレームメモリ４０における処理８０では第１の映像フレーム４２の読み込みと第２の映像フレーム４４の書き込み５２−１〜３を行う。またこのタイミングで行う第１の高画質化回路１４内における処理８６としては、第１の映像フレーム４２に高画質化処理を施して第２の映像フレーム４４に変換する。
【００１７】
一方で上記単一のフレーム表示期間４−１〜３内の後半では、フレームメモリ４０における処理８０として第２の映像フレーム４４の読み込みと第３の映像フレーム４６の書き込み５４−１〜３を行う。またこのタイミングで行う第１の高画質化回路１４内における処理８６としては、第２の映像フレーム４４に高画質化処理を施して第３の映像フレーム４６に変換する。
【００１８】
図１に示した高画質化装置に対する他の実施例を図３に示す。図３では、情報再生装置（メディアデータサーバー）１００と表示パネル４００を有するＴＶ受信装置３００が直列に接続されている。図３における破線部（３１０Ａと３１０Ｂを合体した映像処理部３１０）が図１のＴＶ受信装置内映像処理部（高画質化装置）１０に対応する。
【００１９】
図４は装置の処理シーケンス例を示したもので、図４Ａと図４Ｂは一般的な従来例を示す。一方本実施形態は、図４Ｃが対応する。図４Ａでは映像入力部２２に６０Ｈｚの映像を入力させ、高画質化処理を施した後に、映像出力部２４から６０Ｈｚの映像として出力させる例を示している。この場合には、第１の高画質化回路１４は６０Ｈｚ映像をリアルタイムで（＝途切れずに）処理する必要が有る。
【００２０】
映画などの２４Ｈｚの映像を映像入力部２２から入力させ、高画質化処理を施した後に、映像出力部２４から６０Ｈｚの映像として出力させる例を図４Ｂに示す。この場合には第１の高画質化回路１４が６０Ｈｚの映像をリアルタイムで(＝途切れずに)処理できる能力があるため、次の映像フレームが入力されるまで非稼動となる時間が生じる。従ってこのように出力フレームレートが入力フレームレートより速い場合は、同じフレームを複数回出力させることが一般的である（＝プルダウン処理）。
【００２１】
上記の第１の高画質化回路１４内で生じる非稼動時間を有効活用し、本実施形態では一層高画質化された映像を出力させる。すなわちフレーム表示期間６−１〜４（例えば１／２４秒）内の前半で行う第１の高画質化回路１４による処理８４は、例えばｎフレーム目の映像フレーム２８４−２に対して高画質化処理を施してｎフレーム目の映像フレーム２８４−４に変換する。この処理は既に説明した図４Ｂと同じ内容を意味する。またこの第１の高画質化回路１４の処理期間８−１〜１０は例えば１／６０秒と、フレーム表示期間６−１〜４の半分以下の必要が有る。
【００２２】
そして図４Ｂの第１の高画質化回路１４内で生じる非稼動時間に対応したタイミングで、第１の高画質化回路１４による処理８６を行う。具体的には既に生成されたｎフレーム目の映像フレーム２８４−４に対して更なる高画質化処理を施してｎフレーム目の映像フレーム２８４−６に変換する。
【００２３】
本実施形態では第１の高画質化回路１４の処理期間８−１〜１０は、フレーム表示期間６−１〜４の半分以下の必要が有る。しかしそれ以外では上記処理期間８−１〜１０に対する制約は無い。従って例えば上記処理期間８−１〜１０が１／１２０秒（あるいは１／１００秒）になれば、フレーム表示期間６−１〜４が１／６０秒（あるいは１／５０秒）にも対応可能となる。従って上記処理期間８−１〜１０が１／１２０秒に設定できれば、広い範囲の映像表示方法に対応できる効果が生まれる。
【００２４】
つまり高画質化装置（ＴＶ受信装置内映像処理部）１０は映像入力部２２、映像出力部２４、フレームメモリ４０および高画質化回路１４から構成される。そして第１の映像処理過程５６では、前記フレームメモリ４０内に予め記録された第１の映像フレーム４２から前記高画質化回路１４内で第２の映像フレーム４４に変換する。その後で実施される第２の映像処理過程５８では、前記第２の映像フレーム４４から前記高画質化回路１４内で第３の映像フレーム４６に変換する。更に１回のフレーム表示期間４内で前記第１と第２の映像処理５６、５８を完了させる。
【００２５】
本実施形態の応用例として、前記高画質化回路１４内で（経過時間２に沿って）隣接する異なる複数の映像フレームを利用して高画質化された映像フレームに変換しても良い。例えば図５に示すように、処理対象フレーム（映像フレーム）４２２に対して（経過時間２に沿って）前後に隣接する参照フレームである映像フレーム４２１と４２３を利用して高画質化された映像フレーム４４２を生成する。このようにして第２の映像フレーム列４４０を生成する。
【００２６】
その直後に例えば処理対象フレーム（映像フレーム）４４２に対して（経過時間２に沿って）前後に隣接する参照フレームである映像フレーム４４１と４４３を利用して高画質化された映像フレーム４６２を生成する。このようにして第３の映像フレーム列４６０を生成する。
【００２７】
すなわち第１の映像フレーム４２２とは異なる第４の映像フレーム４２３と前記第１の映像フレーム４２２を利用して前記第２の映像フレーム４４２に変換する。次にこの第２の映像フレーム４４２とは異なる第５の映像フレーム４４３と前記第２の映像フレーム４４２を利用して前記第３の映像フレーム４６２に変換している。
【００２８】
図６は図５の変形例を示す。第１の高画質化回路１４内の高画質化に使用する複数の参照フレーム内の少なくとも１枚の参照フレームを、既に高画質化した後の映像フレームを使用しても良い。例えば映像フレーム４５２を高画質化する時に使用する参照フレームの１枚はそれと同じ階層（第２の映像フレーム列４４０）に属する映像フレーム４５３を使用する。一方で他の参照フレームとして次階層（第３の映像フレーム列４６０）に属する映像フレーム４７２を使用しても良い。
【００２９】
第１の高画質化回路１４内で行われる高画質化処理に動きベクトル５１０、５２０を使用した例を図７に示す。ここでは１枚の処理対象フレーム（映像フレーム）４９２と２枚の参照フレーム（映像フレーム）４９１、４９３を利用して動きベクトル５１０、５２０を抽出する。
【００３０】
例えば処理対象フレーム４９２内の処理対象画素５３２と動きが対応する画素５３１、５３３が、参照フレーム４９１、４９２内のどの位置にあるのか探索する。そしてその対応画素５３１、５３３を利用して処理対象画素５３２を高画質化する。
【００３１】
一般的に、動きベクトルを利用した複数フレームによると長解像度処理やノイズ低減処理では、サブピクセル単位の位置合わせを行うことにより、映像の解像感が向上したり、ノイズが低減するだけでなく、動きがスムーズになる。
【００３２】
図７では２枚の参照フレームを使用しているがそれに限らず、参照フレームとして１枚以上の何枚の映像フレームを使用しても良い。また図６で説明したように、他の階層（第１〜３の映像フレーム列４２０、４４０、４６０）に属する映像フレームを参照フレームとして使用して動きベクトルを抽出しても良い。
【００３３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。特に本実施形態の説明内容では測定対象者の動作推定を中心に説明した。しかしそれに限らず、例えば各種センサが設置された環境の状態推定に上記の実施形態を適用しても良い。
【００３４】
またこれら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００３５】
２  …  経過時間、
４、６  …  フレーム表示期間、
８  …  処理期間、
１０  …  高画質化装置（ＴＶ受信装置内映像処理部）、
１４  …  第１の高画質化回路、
２２  …  映像入力部、
２４  …  映像出力部、
４０  …  フレームメモリ、
８０  …  フレームメモリ４０における処理、
８２  …  入力を第１の映像フレームとしてフレームメモリ４０に書き込み、
８４、８６  …  第１の高画質化回路１４における処理、
８８  …  第３の映像フレームをフレームメモリ４０から読み込んで出力、
４００  …  表示パネル。
【図１】
2018110325.tif 000003
【図２】
2018110325.tif 000004
【図３】
2018110325.tif 000005
【図４Ａ】
2018110325.tif 000006
【図４Ｂ】
2018110325.tif 000007
【図４Ｃ】
2018110325.tif 000008
【図５】
2018110325.tif 000009
【図６】
2018110325.tif 000010
【図７】
2018110325.tif 000011