(57)【要約】【課題】  高画質な画像変換を低コストに実現する。【解決手段】  入力映像に対し動き探索を行って算出した第１の動きベクトル群を用いて、第１のフレームレートの映像を異なる第２のフレームレートの映像に変換するフレームレート変換部と、前記第１の動きベクトル群を変換して第２の動きベクトル群を生成する動きベクトル変換部と、前記フレームレート変換部においてフレームレート変換を行った映像に対して、前記動きベクトル変換部において生成した第２の動きベクトル群を用いて高画質化処理を行う高解像度化処理部とを備える。【選択図】  図１
2009147767.tif 000002
【特許請求の範囲】
【請求項１】
入力映像に対し動き探索を行って算出した第１の動きベクトル群を用いて、第１のフレームレートの映像を異なる第２のフレームレートの映像に変換するフレームレート変換部と、
前記第１の動きベクトル群を変換して第２の動きベクトル群を生成する動きベクトル変換部と、
前記フレームレート変換部においてフレームレート変換を行った映像に対して、前記動きベクトル変換部において生成した第２の動きベクトル群を用いて高画質化処理を行う高解像度化処理部とを備えることを特徴とする画像変換装置。
【請求項２】
前記動きベクトル変換部が生成した第２の動きベクトル群には、前記第１の動きベクトル群に含まれる１個の動きベクトルに係数を乗じて生成したベクトルと、前記第１の動きベクトル群に含まれる２個の動きベクトルに２個の係数を乗じて生成したベクトルとが含まれることを特徴とする請求項１に記載の画像変換装置。
【請求項３】
前記係数は、第２の動きベクトル群に含まれる動きベクトルに対応するフレームの表示期間と、第１の動きベクトル群に含まれる動きベクトルに対応するフレームの表示期間とが再生時間軸上で重複する期間に応じて異なる値とすることを特徴とする請求項２に記載の画像変換装置。
【請求項４】
前記フレームレート変換部は、前記第２の動きベクトル群の一つの動きベクトルに対応するフレームの表示期間が、前記第１の動きベクトル群に含まれる二つの動きベクトルのそれぞれに対応する二つのフレームの表示期間に跨って重複する場合には、該二つの動きベクトルのそれぞれに係数を乗じて加算することにより、前記第２の動きベクトル群の一つの動きベクトルを算出することを特徴とする請求項１に記載の画像変換装置。
【請求項５】
前記フレームレート変換部は、前記第２の動きベクトル群の一つの動きベクトルに対応するフレームの表示期間に、少なくとも前記第１の動きベクトル群に含まれる複数の動きベクトルのそれぞれに対応する複数のフレームの表示期間との重複部分が含まれる場合には、該複数の動きベクトルのそれぞれに係数を乗じて加算することにより、前記第２の動きベクトル群の一つの動きベクトルを算出することを特徴とする請求項１に記載の画像変換装置。
【請求項６】
映像信号を入力する入力部と、
前記入力部に入力される映像に対し動き探索を行って算出した第１の動きベクトル群を用いて、第１のフレームレートの映像を異なる第２のフレームレートの映像に変換し、前記第１の動きベクトル群を変換して第２の動きベクトル群を生成し、前記第２のフレームレートの映像に対して、前記第２の動きベクトル群を用いて高画質化処理を行う画像処理部と、
前記画像処理部が高画質化処理を行った映像を表示する表示部とを備えることを特徴とする画像表示装置。
【請求項７】
前記画像処理部が生成した第２の動きベクトル群には、前記第１の動きベクトル群に含まれる１個の動きベクトルに係数を乗じて生成したベクトルと、前記第１の動きベクトル群に含まれる２個の動きベクトルに２個の係数を乗じて生成したベクトルとが含まれることを特徴とする請求項６に記載の画像表示装置。
【請求項８】
前記係数は、第２の動きベクトル群に含まれる動きベクトルに対応するフレームの表示期間と、第１の動きベクトル群に含まれる動きベクトルに対応するフレームの表示期間とが再生時間軸上で重複する期間に応じて異なる値とすることを特徴とする請求項７に記載の画像表示装置。
【請求項９】
前記画像処理部は、前記第２の動きベクトル群の生成において、前記第２の動きベクトル群の一つの動きベクトルに対応するフレームの表示期間が、前記第１の動きベクトル群に含まれる二つの動きベクトルのそれぞれに対応する二つのフレームの表示期間に跨って重複する場合には、該二つの動きベクトルのそれぞれに係数を乗じて加算することにより、前記第２の動きベクトル群の一つの動きベクトルを算出することを特徴とする請求項６に記載の画像表示装置。
【請求項１０】
前記画像処理部は、前記第２の動きベクトル群の生成において、前記第２の動きベクトル群の一つの動きベクトルに対応するフレームの表示期間に、少なくとも前記第１の動きベクトル群に含まれる複数の動きベクトルのそれぞれに対応する複数のフレームの表示期間との重複部分が含まれる場合には、該複数の動きベクトルのそれぞれに係数を乗じて加算することにより、前記第２の動きベクトル群の一つの動きベクトルを算出することを特徴とする請求項６に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像に対してフレームレートの変換と解像度の変換処理を行う画像変換処理に関する。
【背景技術】
【０００２】
入力された映像信号のフレームレートを所望のフレームレートに変換する、いわゆるフレームレート変換技術として、フレームレート変換前の映像信号から動きベクトルを探索し、探索した動きベクトルに応じて、前後のフレームに含まれる画像の位置を移動させた新たなフレームを生成し、生成した新たなフレームを前後フレーム間に挿入することによって映像信号のフレームレートを増加させる、いわゆる動き補正型のフレームレート変換技術が知られている（例えば、特許文献１参照)。
【０００３】
【特許文献１】特開平11-112939号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献1記載のフレームレート変換技術において、フレームレート変換処理において得た動きベクトルは入力映像に対応するものであり、変換後の出力映像には対応していない。よって、特許文献１に記載のフレームレート変換処理と、動き探索を伴う高解像度化変換処理を共に行う場合、後段の超解像変換の処理ステップにおいて、画像の動き探索を行う必要がある。
【０００５】
そのため、動き探索を2 回行わければならないため、処理が複雑になり、処理回路の回路規模及びコストが大きくなってしまうという課題があった。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
【発明の効果】
【０００７】
本発明によれば、高画質な画像変換を低コストに実現することが可能となる。
【発明を実施するための最良の形態】
【０００８】
本発明の画像変換装置は、入力映像のフレームレートを所望のフレームレートに変換するフレームレート変換部と、入力した動きベクトルを出力映像のフレームレートに対応するように動きベクトルのレート変換を行う動きベクトルレート変換部と、前後2枚のフレームを入力して画像の解像感を向上させるための高画質化部とで構成する。
【実施例１】
【０００９】
図1は、本発明の画像変換装置の構成を示す図である。
【００１０】
画像変換装置100は、フレームレート変換部101と、動きベクトルレート変換部102と、高画質化部103とで構成する。フレームレート変換部101は、入力映像に対して外部の制御部等から指定する補間モード信号106に応じたフレーム内挿、いわゆるフレームレート変換を実行して、入力映像とは異なるフレームレートに変換した映像を出力する。補間モード信号106とは、フレームレート変換の動作モードを指定する制御信号のことである。動作モードは、例えば、24Hzから60Hz、50Hzから60Hz、60Hzから120Hz等がある。動きベクトルレート変換部102は、フレームレート変換部101が出力する動きベクトルを入力し、補間モード信号が指定する入力フレームレートと出力フレームレートに基づき、動きベクトルのレート変換を行う。動きベクトルレート変換部102が出力するフレーム毎の動きベクトル情報の出力タイミングは、フレームレート変換部101が出力するフレームレートのタイミングと同期する。高画質化部103は、前後2枚のフレームを入力して画像の解像感を向上させるための超解像変換処理などの高解像度化処理を行う。
【００１１】
ここで、補間モード信号の指定条件として、60Hzから60Hzのように入力側と出力側を同一フレームレートとすることも可能である。この場合、フレームレート変換部101では、フレーム内挿動作は行わずに入力フレームをそのまま出力するが、フレーム間の動き探索は実行して、その結果の動きベクトルを出力する。
【００１２】
図2は、映像フレームレートおよび動きベクトルのレート変換条件の一例を示す図である。
【００１３】
フレームレートとは、1秒間に何枚の絵を送るかを示す映像規格の一つである。テレビ放送のフレームレートは、NTSC方式の日本や米国が30fps、PAL方式の欧州およびSECOM方式のソ連が25fpsであることが知られている。また、映画は一般的に24Hzである。現在市販化されているテレビ受像機には、フレームレート変換機能を備えたモデルがある。同機能は、単純に元映像とテレビ側のフレームレート差異を解消する意味もあるが、映像品質向上の観点で、補間フレームを内挿する方法で、なめらかな被写体の動きを実現する目的もある。
【００１４】
本発明の画像変換装置100の実施例の説明では、24fps映像を30fps映像に変換して出力する動作条件を用いて説明する。但し、出力側映像をPI変換後のフィールド映像を用いて説明する都合上、以下の説明では、映像周波数(1秒間辺りの垂直同期信号の数)としてHz表記とし、24Hz(24フレーム/秒)映像を60Hz(60フィールド/秒)映像への変換と表記する。
【００１５】
同図の例は、本装置が補間モード信号として、24Hzから60Hzへフレームレート変換を行うことを指示する信号をフレームレート変換部101と動きベクトルレート変換部102へ出力している状態を示す。
【００１６】
フレームレート変換部101は、24H入力画像104を入力して60Hz映像に変換して出力と共に24Hz入力映像104から探索した24Hz動きベクトルを出力する。動きベクトルレート変換部102は、フレームレート変換部101で探索した24Hz動きベクトルを60Hz映像用の60Hz動きベクトルに変換する。高画質部103は、レート変換後の60Hz映像と、その画像に対応するレート変換後の60Hz動きベクトルを入力して、所定の画像処理アルゴリズムに基づく画像変換を行い、60Hz出力映像105として送出する。
【００１７】
図3は、フレームレート変換部の構成を示す図である。
【００１８】
フレームレート変換処理では、入力映像の時間的に隣接する2枚のフレーム間における画素単位で動きベクトルを探索し、操作対象画素の動きベクトルと内挿フレームの時間軸上の位置との関係から内挿フレーム上の画素位置を決定する手順を繰り返して、内挿フレームを生成する。入力映像の2枚のフレーム間に挿入する内挿フレームの数は、入力映像と出力映像のフレームレートの関係から一義的に決まる。例えば、入力映像と出力映像のフレームレートがそれぞれ24Hzと60Hzの場合、オリジナル入力映像の隣接フレーム間への内挿フレーム数は2枚となる。
【００１９】
入力映像300のフレームは順次フレームメモリ1(301)に保存し、フレーム遅延部304により時間的に１フレーム期間分を遅延させたフレームをフレームメモリ2(302)に保存する。動き探索部306は、フレームメモリ1(301)とフレームメモリ2(302)の2枚のフレーム間における画素単位で動きベクトルを探索する。動きベクトル変換部307は、対象画素の動きベクトルと内挿フレームの時間軸上の位置との関係から内挿フレーム上の画素位置を決定する。画像補間部305は、2枚のフレームと動きベクトルを参照して画素補間を行い、1枚の内挿フレームを作成し、フレームメモリ3(303)に保存する。切り換え部308は、オリジナル映像が保存されたフレームメモリ2(302)、または内挿フレームが保存されたフレームメモリ3(303)の何れか一方を選択して、選択した方の保存フレームを出力映像310として送出する。制御部309は、外部から指定される補間モード信号311を動きベクトル変換部307および切り換え部308へ伝達し、内挿フレームに対して補間位相に応じたタイミングを決定する。
【００２０】
図4は、高画質化部の構成を示す図である。
【００２１】
高画質化部103は、入力映像400のフレームは順次フレームメモリ11(401)に保存し、フレーム遅延部404により時間的に１フレーム期間分を遅延させたフレームをフレームメモリ12(402)に保存する。画像変換部405は、2枚のフレームと動きベクトル406を参照して所定の画像変換処理を行い、フレームメモリ13(403)に保存する。補間モード信号106で指定されたフレームレートに従って、フレームメモリ13(403)の映像を所定のタイミングで出力映像406として送出する。
【００２２】
入力映像407は、前段でフレームレート変換部101が送出した映像である。また、動きベクトル406は、前段で動きベクトルレート変換部102が出力した動きベクトルである。
【００２３】
画像変換部405の処理の一例は、例えば超解像処理である。超解像処理とは、複数のフレームの映像および動きベクトルを使用してフレーム同士の位置合わせを行う工程により、オリジナル映像に対して小数点精度の仮想標本ポイントとその仮想画素データを取得し、この仮想画素データから実際に表示する映像データを求めることによって、オリジナル映像以上の解像度映像を生成する方法である。
【００２４】
図5は、フレームレート変換部および高画質化部との動き探索の関係を示す図である。
【００２５】
図4で説明した通り、高画質化部103の画像変換では、フレーム間の動きベクトルを使用するため、通常は別途動き探索部を実装する必要がある。一般的に、動き探索は、処理負荷が非常大きく、回路規模も探索範囲に比例して大きくなることが知られている。
【００２６】
一方、本装置の構成は、前段のフレームレート変換部101において、入力するフレームのタイミングは異なるが、画素毎の動きベクトルを検出するという同一目的の動き探索部を備えている。そこで、動きベクトルレート変換部102を備えて、フレームレート変換部101で求めた入力映像(24Hz)の動きベクトルを所定の手順で出力映像(60Hz)の動きベクトルに変換することで、本来必要であった後段の高画質化部の動き探索部を省略している。この結果、処理負荷が低減でき、回路規模も大幅に抑えることができる。
【００２７】
以下に、動きベクトルレート変換部102の構成について説明する。
【００２８】
図6は、動きベクトルレート変換動作の概要を示す図である。
【００２９】
動きベクトルは、時間的に隣接する2つのフレームを参照し、所定の範囲の画素値を比較する手順によって各画素の動きに対応する動きベクトルが求められる。隣接する2つのフレームを同時参照するために、24Hz入力映像から現在読み出した24Hz映像と、１つ前に読み出した24Hz映像 (即ち１フレーム遅延された24Hz映像)の2枚を保持する、この2枚の24Hz映像を使用して24Hz動きベクトル群603（以下、複数の動きベクトルを「動きベクトル群」と記載する。）を検出する。
【００３０】
同図では、動きベクトルレート変換の動作期間Twを例に説明する。
【００３１】
24Hzから60Hzのレート変換では、2フレームの入力に対し、5フレームの出力を得る計算になる。動きベクトルの数の関係もフレームと同様であり、検出した2フレーム分の動きベクトル群に対し、5フレーム分の動きベクトル群を得る。なお、同図に示される期間は、各動きベクトルに対応したフレームの表示期間の長さと等しい。
【００３２】
24Hz映像601のフレームF1(606)のタイミングで24Hz動きベクトルMV1(613)、同様にフレームF2(607)のタイミングでMV2(614)を得る。24Hz動きベクトル群603のMV1(613)とMV2(614)は、後述する動きベクトルレート変換部102の所定の変換手順で60Hz動きベクトル群604のMVc1(615)〜MVc5(619)に変換する。期間Twでは、フレームレート変換部101により、24Hz映像301のフレームF1(606)とフレームF2(607)も所定の変換手順で60Hz映像602のフレームFc1(608)からフレームFc5(612)に変換して出力する。
【００３３】
図7は、動きベクトル変換係数テーブルの一例を示す図である。
【００３４】
24Hzから60Hzの動きベクトルレート変換では、ベクトル変換係数テーブル700を参照する。変換手順は、検出した1フレーム分または連続する2フレーム分の24Hz動きベクトル群701のそれぞれの動きベクトルに、第1係数702または第2係数703の乗じ、さらに乗算の積和を求めて60Hz動きベクトル群704とする。5フレーム分の60Hz動きベクトル群704を得るために、NO.1(705)からNO.5(709)に示した各ステップのパラメータの組み合わせを用いる。例えば、NO.1(905)のステップでは、24Hz動きベクトルMV1と第1係数KA1を乗じた結果を60H動きベクトルMVc1として得る。NO.2(706)のステップでは、24Hz動きベクトルMV1と第1係数KA2を乗じた結果を60H動きベクトルMVc2として得る。NO.3(707)のステップは、24Hz動きベクトルMV1と第1係数KA3を乗じ、さらにMV2とKB2を乗じて、その積和の結果を60H動きベクトルMVc3として得る。NO.4(708)およびNO.5(709)は、NO.1(705)の手順と同様である。
【００３５】
ここで用いる第1係数および第2係数とは、24Hz動きベクトル群を構成する動きベクトルと60Hz動きベクトル群を構成する動きベクトルが表現している時間軸上の差分を線形な重み成分として表した数値のことである。ベクトル変換係数テーブル700において、60Hz動きベクトルの数(即ちステップ数)、参照する50Hz動きベクトルの数、第1係数および第2係数は、レート変換条件の変更に応じて、任意に変更することができる。
【００３６】
以下に、第1係数および第2係数の一例を示す。
【００３７】
第1の動きベクトル群から第2の動きベクトル群への変換する場合を考える。このとき、第2の動きベクトル群における一つのベクトルに対応するフレーム表示期間が、変換元となる第1の動きベクトル群の一つの動きベクトルに対応するフレーム表示期間内に含まれる場合は、次の数式1を用いることによって、第2の動きベクトル群の動きベクトルを算出する。ここで、MVnは第1の動きベクトル群の一つのベクトル、MVcmは第２の動きベクトル群の一つのベクトル、KAmは第1係数である。
（数1）MVcm = KAm × MVn
すなわち、数式１を用いる場合は、第1の動きベクトル群の一つの動きベクトルに係数を乗じて第２の動きベクトル群の一つの動きベクトルを算出する。
【００３８】
次に、第2の動きベクトル群における１つのベクトルに対応するフレーム表示期間が、変換元となる第1の動きベクトル群における一つの動きベクトルに対応するフレーム表示期間と別の動きベクトルに対応するフレーム表示期間とに跨って重なる場合は、次の数式２を用いることによって、第2の動きベクトル群の動きベクトルを算出する。
【００３９】
すなわち、第2の動きベクトル群における１つのベクトルに対応するフレーム表示期間に、少なくとも変換元となる第1の動きベクトル群における一つの動きベクトルに対応するフレーム表示期間と重複する部分と、当該第1の動きベクトル群における動きベクトルとは異なる別の動きベクトルに対応するフレーム表示期間と重複する部分とが含まれる場合には、次の数式２を用いることによって、第2の動きベクトル群の動きベクトルを算出する。ここで、MVn1およびMVn2は隣接する2つのフレームの各々の第1の動きベクトル、MVcmは第2の動きベクトル、KAmは第1係数、KBmは第1係数である。
（数2）  MVcm = KAm × MVn1 + KBm × MVn2
すなわち、数式２を用いる場合は、第1の動きベクトル群の二つの動きベクトルに係数を乗じて第２の動きベクトル群の一つの動きベクトルを算出する。
【００４０】
上述のように、第２の動きベクトル群の動きベクトルのうち、第1の動きベクトル群における動きベクトルの変わり目部分の動きベクトルを、数式１ではなく、数式２を用いて算出することにより、出力フレームの動きをより滑らかに表現する動きベクトルに変換できる効果がある。
【００４１】
ここで、上記図6に示した24Hzから60Hzへフレームレート変換の例の場合における第2の動きベクトル群の算出方法の一例について説明する。
【００４２】
まず、上記に説明した第1の動きベクトル群と第2の動きベクトル群とのそれぞれの動きベクトルに対応するフレーム表示期間の重複関係を考慮して、数式１と数式２の何れを用いるかを決定する。
【００４３】
図６の第2の動きベクトル群のうち、MVc1、MVc2の表示期間は、第１の動きベクトル群のMV1の表示期間に含まれ、MVc4、MVc5の表示期間は、第２の動きベクトル群のMV2の表示期間に含まれる。よって、MVc1、MVc2、MVc4、MVc5の算出には、数式１を用いる。
【００４４】
図６の第2の動きベクトル群のうち、MVc3の表示期間は、第１の動きベクトル群のMV1の表示期間とMV２の表示期間に跨って重複する。すなわち、MVc3の表示期間には、少なくともMV1の表示期間と重複する部分とMV２の表示期間と重複する部分が存在する。よって、MVc3の算出には、数式2を用いる。
【００４５】
したがって、第2の動きベクトル群の動きベクトルMVc1、MVc2、MVc3、MVc4、MVc5の算出に用いる数式は以下の数式３〜数式７のようになる。ここで、MV1およびMV2は第1の動きベクトル、MVc1〜MVc5は第2の動きベクトル、KA1〜KA5は第1係数、KB3は第2係数である。
（数３）MVc1 = KA1 × MV1
（数４）MVc2 = KA2 × MV1
（数５）MVc3 = KA3 × MV1 + KB3 × MV2
（数６）MVc4 = KA4 × MV2
（数７）MVc5 = KA5 × MV2
なお、第1係数KA1、KA2、KA4、KA5の一例としては、例えば、次の数式8、第1係数KA3および第2係数KB3は次の数式9を用いればよい。ここでf1は第1のフレームレート、f2は第2のフレームレートである。また、TAはMVc3に対応するフレーム表示期間のうち、MV1に対応するフレーム表示期間と重複する期間の長さ、TBはMVc3に対応するフレーム表示期間のうち、MV2に対応するフレーム表示期間と重複する期間の長さを示す。
【００４６】
【数８】
2009147767.tif 000003
【００４７】
【数９】
2009147767.tif 000004
【００４８】
【数１０】
2009147767.tif 000005
なお、f1＝24Hz、f2＝60Hzとした例では、第1係数KA1、KA2、KA4、KA5、第1係数KA3および第2係数KB3は、それぞれ次の数式１１、数式１２に示したとおりとなる。
【００４９】
【数１１】
2009147767.tif 000006
【００５０】
【数１２】
2009147767.tif 000007
ここで、数式１２においてKA3とKB3とが同じ値になっている理由は、f1＝24Hz、f2＝60Hzとした例では、図６に示されるようにMVc3に対応するフレームの表示期間とMV1に対応するフレーム表示期間が重複する期間の長さTAと、MVc3に対応するフレームの表示期間とMV2に対応するフレーム表示期間が重複する期間の長さTBとが等しくなるためである。一般的には、数式９、数式１０にしたがって、それぞれKA3と、KB3は、算出する動きベクトルに対応するフレームの表示期間と、元となる複数の動きベクトルのそれぞれに対応するフレームの表示期間の重複期間の比率に応じて変えることが望ましい。
【００５１】
また、上述の数式5において、MVc3が2つの第1ベクトルを参照する理由は次の通りである。入力フレームとフレームレート変換後の出力フレームの関係おいて、映像の自然な動きを保持するためには、表示期間が重なるフレーム間の画像の相関関係を高く保つ必要がある。そのためには、出力フレーム表示期間が重なる関係にある全部の入力フレームを参照してフレームの変換を行うことが有効である。同様に動きベクトル変換においても、出力フレーム表示期間が重なる関係にある全部の入力フレームの動きベクトルを参照して変換することで、入力フレームの動きベクトル群と出力フレームの動きベクトル群の相関関係を高く保つことができる。このため、MVc3の変換には2つの第1ベクトルを参照する。
【００５２】
さらに、MVc3は2つの第1ベクトルを参照して変換することで、動きベクトルの時間軸上のバラつきを低減することができ、出力フレームの動きをより滑らかに表現する動きベクトルに変換できる効果がある。
【００５３】
以上説明した第２の動きベクトル群の動きベクトルの算出処理を用いることによって、フレームレート変換後の出力フレームにおいて、より滑らかな動きを表現することが可能となる。
【００５４】
図8は、24Hzと60Hの動きベクトル群の入出力関係を示す図である。
【００５５】
本装置の動きベクトルレート変換方法は、自然映像から得られる動きベクトルが、前後フレーム間の相関関係が非常に高いことを利用している。この原理を応用して、60Hz動きベクトル群802は、時間的に近接する1フレーム分または2フレーム分の24Hz動きベクトル群801を用いた線形補間処理を行って変換する。
【００５６】
例えば、60Hz動きベクトルMVc1(806)は、時間軸上において24Hz動きベクトルMV1(804)にのみ相関関係があると判断し、MV1(804)だけ参照して変換する。MVc2(807)も同様の理由でMV1(804)だけ参照して変換する。60Hz動きベクトルMVc3(808)は、24Hz動きベクトルMV1(804)およびMV2(805)に相関関係があると判断し、この2つ動きベクトルを参照して変換する。60Hz動きベクトルMVc4(809)およびMVc5(810)は、24Hz動きベクトルMV2(805)にのみ相関関係があると判断し、MV2(805)だけ参照して変換する。
【００５７】
24Hz映像2フレーム分の期間Tw(803)は、60Hz映像5フレーム分の期間に相当する。従って、24Hz動きベクトル2フレーム分から60Hz動きベクトル5フレーム分相当を動きベクトル変換処理で出力する必要がある。
【００５８】
図9は、60Hz動きベクトル変換処理の計算の概念を示す図である。
【００５９】
図9(a)は、図7のNO.1(705)、NO.2(706)、NO.4(708)およびNO.5(709)ステップのパラメータを用いた計算手順である。60Hz動きベクトルMVca(803)は、24Hz動きベクトルMV1x(901)と第1係数KAx(802)を乗じて求める。
【００６０】
図9(b)は、図7のNO.3(707)ステップのパラメータを用いた計算手順である。60Hz動きベクトルMVcb(908)は、24Hz動きベクトルMV2x(904)と第1係数KAx(906)を乗じ、24Hz動きベクトルMV3x(905)と第2係数KBx(907)を乗じて、その両者の和を求める。
【００６１】
図10は、フレームと動きベクトルの時間軸上（再生時間軸上）の関係を示す図である。
【００６２】
同図では、動きベクトルのレート変換動作の期間Twにおいて、2フレームの24Hz画像から5フレームの60Hz画像を得ることと、2フレーム分の24Hz動きベクトル群から、5フレーム分の60Hz動きベクトル群を得る例を用いて説明する。
【００６３】
図6でも説明したように、24Hz動きベクトル群のそれぞれの動きベクトルは、隣接する2つの24Hz映像のフレームを参照して生成する。例えば、MV1(1002)はフレームF1(1000)とフレームF2(1001)を参照して生成する。MV2(1003)においても隣接するフレームF2(1001)とフレームF3を参照して生成する手順は同じである。
【００６４】
2フレーム分の24Hz動きベクトル群から5フレーム分の60Hz動きベクトル群を得るための参照関係については、図8で説明したのでここでは省略する。
【００６５】
2フレームの24Hz映像から5フレームの60Hz映像を得る手順は次の通りである。まず、期間Twの起点となるフレームF1(1000)は、そのまま60Hz映像のフレームFc1(1004)として出力する。60Hz映像のフレームFc2(1005)からFc5(1008)は、24Hz映像のいずれの表示時間軸にも一致しないため、時間軸上で前後に近接する2つの24Hz映像から所定のアルゴリズムによる内挿フレームを生成して出力する。例えば、60Hz映像のフレームFc2(1005)は、時間軸上で前後に近接するフレームF1(1000)とフレームF2(1001)の2つを参照して内挿フレームを出力する。フレームFc3(1006)からフレームFc5(1008)においても、時間軸上で前後に近接する24Hz映像の2つのフレームを参照する手順は同じである。動きベクトルレート変換では、ベクトル変換係数1009を用いて所定の計算を行うが、その方法は図7および図9で説明したのでここでは省略する。
【００６６】
本発明の画像変換装置100の高画質化部103は、フレームレート変換後の60Hz映像と60Hz動きベクトル群を用いて画像変換を行うが、その時に参照される60Hz映像と60Hz動きベクトル群の対応関係は同図に示す通りである。例えば、フレームFc1(1004)は、MVc1(1009)を用いて画像変換を行う。以後同様に、フレームFc2(1005)は、MVc2(1010)、フレームFc3(1006)は、MVc3(1011)、フレームFc4(1007)は、MVc4(1012)、フレームFc5(1008)は、MVc5(1013)を用いて画像変換を行う。
【００６７】
図11は、動きベクトルレート変換部の処理タイミングの一例を示す図である。
【００６８】
24Hz動きベクトル群と60Hz動きベクトル群の参照関係は図8で説明した通りである。60Hz動きベクトル群1102の生成は、フレームレート変換部101の動き探索部306が24Hz動きベクトル群1100を検出して出力したタイミングで行う。
【００６９】
動きベクトルレート変換の手順においては、タイミング上、過去に入力した24Hz動きベクトルを参照する必要がある。このため24Hz動きベクトルの新規読み出しと同時にその動きベクトルを一時保存用メモリに格納する。
【００７０】
動きベクトルレート変換の動作期間Twを例に説明する。24Hzから60Hzへの動きベクトルレート変換では、1フレーム辺りのベクトル変換処理の最大時間長はTw/5である。
【００７１】
期間Twの最初のサイクルは、24Hz動きベクトルMV1(1103)の入力後に60Hz動きベクトルMVc1(1107)に変換する。また同時にMV1(1103)をメモリ1105に保存する。第2のサイクルは、メモリ1105から動きベクトルを読み出してMVc2(1108)に変換する。第3のサイクルは、MV2(1104)の入力およびメモリ1105から動きベクトルを読み出してMVc3(1109)に変換する。また同時にMV2(1104)をメモリ1106に保存する。第4のサイクルは、メモリ1106から動きベクトルを読み出してMVc4(1110)に変換し、第5のサイクルもメモリ1106から動きベクトルを読み出してMVc5(1111)に変換する。
【００７２】
図12は、動きベクトルレート変換部の別構成の一例を示す図である。
【００７３】
動きベクトルレート変換において、過去に入力した24Hz動きベクトルを参照して前回サイクルと同一条件の計算を実行する変換サイクルにおいては、変換処理を省略するために、一時保存用メモリ1204へ保存する動きベクトルを、60Hz動きベクトルに変換した後のデータを保存するようにしても良い。
【００７４】
例えば、24Hz動きベクトルMV1(1203)から60Hz動きベクトルMVc1(1205)の変換を行った時、このMVc1(1205)を一時保存用のメモリ1204に格納し、次の変換サイクルではメモリ1204から読み出した動きベクトルをそのままMVc2(1206)として使用する。
【００７５】
図13は、本発明の画像変換装置の動作フローを示す図である。
【００７６】
装置に入力する映像の入力フレームレートと装置が出力する映像の出力フレームレートの関係から変換周期FNを設定する。例えば、24Hzから60Hzへの画像および動きベクトルの変換周期は5に設定する(1300)。変換周期内における時間軸上の位置を識別するための周期カウンタFCNTを1に設定する(1301)。
【００７７】
以後、FCNTの値に応じて処理を分岐する。
【００７８】
ここで、FCNTが1または4の場合(1302)、隣接する2フレームの24Hz映像をから24Hz動きベクトルMVnを検出する(1303)。次に、動きベクトル変換係数テーブルから第1係数KAnを読み出し(1304)、動きベクトル変換により60H動きベクトルMVcx を出力(1305)した後、24Hz動きベクトルMVnをMVn-1として一時保存用メモリへ保存して、処理1315に移る。
【００７９】
FCNTが2または5の場合(1307)、一時保存用メモリから過去の変換サイクルで使用した24Hz動きベクトルMVn-1を読み出す(1308)。次に、動きベクトル変換係数テーブルから第1係数KAnを読み出し(1321)、動きベクトル変換により60H動きベクトルMVcx を出力(1322)して、処理1315に移る。
【００８０】
FCNTが3の場合(1309)、隣接する2フレームの24Hz映像をから24Hz動きベクトルMVnを検出する(1310)。次に、一時保存用メモリから過去の変換サイクルで使用した24Hz動きベクトルMVn-1を読み出す(1311)。さらに動きベクトル変換係数テーブルから第1係数KAnの読み出し(1312)と第2係数KBnの読み出し(1313)を行い、動きベクトル変換により60H動きベクトルMVcx を出力(1314)した後、24Hz動きベクトルMVnをMVn-1として一時保存用メモリへ保存(1323)して、処理1315に移る。
【００８１】
処理1315では、周期カウンタFCNTの全ての状態において、60H動きベクトルMVcxを用いて60Hz映像の高画質化処理を行い、画像変換後の60Hz映像として出力する(1316)。続いて、処理終了判定を行い(1317)、継続(終了しない)ならば、周期カウンタFCNTに1を加算(1318)し、FCNTが変換周期FNよりも大きいか否かの判定を行う(1319)。FCNTが変換周期FNよりも大きい場合は、周期カウンタFCNTを1にリセットして(1320)、処理1302へ戻る。処理1317の処理終了判定で処理終了ならば本装置の動作を終了する。
【００８２】
図14は、本発明の画像変換装置の一例を示す図である。
【００８３】
本実施例の画像処理方法は、例えば、入力映像に対してフレームレート変換および超解像変換を実施した後にディスプレイに表示する機能を備えたデジタルテレビに適用可能である。
【００８４】
同図では、プラズマテレビの構成として説明する。プラズマテレビ1400は、デジタルテレビ放送受信、ネットワーク上に存在するデジタル映像コンテンツのダウンロード、或いはプラズマテレビが録画した映像コンテンツを外部出力する等の動作を制御する映像入出力部1401と、録画した映像コンテンツを保存しておくための映像コンテンツ蓄積部1405と、録画および再生動作を制御する録画再生部1404と、ユーザの操作を受付けるユーザインタフェース部1402と、受付けた動作条件に応じて録画再生部1404に対して録画動作および再生動作のコントロールを行い、再生時には同時にフレームレート変換部1406に対して補間モード信号を送出する制御部1403と、補間モード信号に従ってフレーム周波数のレート変換を行うフレームレート変換部1406と、補間モード信号に従って動きベクトルのレート変換を行う動きベクトルレート変換部1407と、フレームの解像度を上げることにより映像の高画質化を行う超解像変換部1408と、再生される音声を所定の手順で変換する音声信号処理部1410、映像を表示するプラズマパネル1409と、音声を出力するスピーカ1411とで構成する。
【００８５】
本発明の画像変換処理は、ハードウエアとして実装した形態で実施しても良いし、別途映像信号処理用コントローラを用いていて、他のハードウエア機能と連動したソフトウエアの形態で実施しても良い。また、プラズマ方式のデジタルテレビ以外に、出力画像の高画質化機能を備えた液晶方式のデジタルテレビに適用しても良い。
【００８６】
本発明の画像変換装置100の実施例は、24Hzの映像を60Hzの映像に変換して出力する動作条件を用いて説明を行ったが、本発明の装置の動作は、この条件のみに限定するものではない。映像のフレームレートに関する標準規格は複数存在しており、そのいずれのフレームレートの組み合わせにおいても、本発明の動作手段において実施可能である。
【００８７】
映像フレームレートの組み合わせに関する他の動作条件の例としては、24Hzから60Hz、30Hzから60Hz、50Hzから100Hz、60Hzから120Hz等がある。この他に、映像フレームレートの入力または出力周波数として、映像周波数規格として定義されている23.98Hz、29.97Hz、59.94Hz、119.88Hz等も適用可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明の画像変換装置の構成を示す図。
【図２】映像および動きベクトルのレート変換条件の一例を示す図。
【図３】フレームレート変換部の構成を示す図。
【図４】高画質化部の構成を示す図。
【図５】フレームレート変換部および高画質化部との動き探索の関係を示す図。
【図６】動きベクトルレート変換動作の概要を示す図。
【図７】動きベクトル変換係数テーブルの一例を示す図。
【図８】動きベクトルの入出力関係を示す図。
【図９】動きベクトル変換処理の計算の概念を示す図。
【図１０】フレームと動きベクトルの時間軸上の関係を示す図。
【図１１】動きベクトルレート変換部の処理タイミングの一例を示す図。
【図１２】動きベクトルレート変換部の別構成の一例を示す図。
【図１３】本発明の画像変換装置の動作フローを示す図。
【図１４】本発明の画像変換装置の一例を示す図。
【符号の説明】
【００８９】
100・・・画像変換装置、101・・・画像入力部、102・・・画像記憶部、103・・・画像レート変換部、104・・・画像補正部、105・・・画像出力部、106・・・動きベクトル検出部、107・・・動きベクトル記憶部、108・・・動きベクトルレート変換部、109・・・入出力フレームレート制御部、110・・・映像1、111・・・映像2、112・・・出力フレームレート値、113・・・入力フレームレート検出部
【図１】
2009147767.tif 000008
【図２】
2009147767.tif 000009
【図３】
2009147767.tif 000010
【図４】
2009147767.tif 000011
【図５】
2009147767.tif 000012
【図６】
2009147767.tif 000013
【図７】
2009147767.tif 000014
【図８】
2009147767.tif 000015
【図９】
2009147767.tif 000016
【図１０】
2009147767.tif 000017
【図１１】
2009147767.tif 000018
【図１２】
2009147767.tif 000019
【図１３】
2009147767.tif 000020
【図１４】
2009147767.tif 000021