(57)【要約】【課題】映像の相関性が低い場合においても、動きベクトルの探索を１回のみとしながら画質劣化の少ない映像変換を実現すること。【解決手段】動きベクトル探索部５は、入力映像のフレームから第１の動きベクトルＭＶを求める。解像度変換部３は、第１の動きベクトルを用いて解像度変換処理を行う。動きベクトル変換部６は、フレームレートの変換条件に応じて、第１の動きベクトルを一対の第２の動きベクトルＭＶｃに変換する。フレームレート変換部４は、連続するフレームと一対の第２の動きベクトルを用いて新たなフレームを作成し、フレーム間に挿入する。一対の第２の動きベクトルＭＶｃとして、過去フレームを起点とする後方動きベクトルと、現在フレームを起点とする前方動きベクトルとを用いる。【選択図】図１
2009239698.tif 000002
【特許請求の範囲】
【請求項１】
入力映像に対して解像度変換とフレームレート変換を行う映像変換装置において、
上記入力映像に対して解像度変換を行う解像度変換部と、
解像度変換後の映像のフレームレートを変換するフレームレート変換部と、
上記入力映像の連続するフレームから第１の動きベクトルを求める動きベクトル探索部と、
上記フレームレート変換部の行うフレームレートの変換条件に応じて、上記第１の動きベクトルを変換して一対の第２の動きベクトルを作成する動きベクトル変換部を備え、
上記解像度変換部は、上記入力映像と上記第１の動きベクトルを用いて解像度変換処理を行い、
上記フレームレート変換部は、上記解像度変換後の連続するフレームと上記一対の第２の動きベクトルを用いて新たなフレームを作成し、該連続するフレーム間に挿入することを特徴とする映像変換装置。
【請求項２】
請求項１に記載の映像変換装置において、
前記動きベクトル変換部は前記一対の第２の動きベクトルとして、前記入力映像の過去フレームの対応画素から挿入するフレームの画素へ向かう後方動きベクトルと、前記入力映像の現在フレームの対応画素から挿入するフレームの画素へ向かう前方動きベクトルとを作成し、
前記フレームレート変換部は、上記過去フレームと上記後方動きベクトル、および上記現在フレームと上記前方動きベクトルを用いて新たなフレームを作成することを特徴とする映像変換装置。
【請求項３】
請求項１または２に記載の映像変換装置において、
フレームレート変換条件と挿入するフレームの位置に応じて、前記第２の動きベクトルを作成するための一対の変換係数を格納する変換係数テーブルを有し、
前記動きベクトル変換部は、上記変換係数テーブルから対応する変換係数を読み出し、前記第１の動きベクトルに該一対の変換係数を乗じて前記一対の第２の動きベクトルに変換することを特徴とする映像変換装置。
【請求項４】
請求項３に記載の映像変換装置において、
前記変換係数は、前記第１の動きベクトルと前記第２の動きベクトルが表現している時間軸上の差分を線形な重み成分として表わした数値であることを特徴とする映像変換装置。
【請求項５】
請求項２に記載の映像変換装置において、
前記フレームレート変換部は、前記過去フレームの対応画素と前記現在フレームの対応画素を、それぞれ前記後方動きベクトルと前記前方動きベクトルだけ移動して、各画素値を合成し前記新たなフレームの画素値を決定することを特徴とする映像変換装置。
【請求項６】
入力映像に対して解像度変換とフレームレート変換を行う映像変換方法において、
上記入力映像の連続するフレームから第１の動きベクトルを求めるステップと、
上記入力映像に対して上記第１の動きベクトルを用いて解像度変換を行うステップと、
フレームレートの変換条件に応じて、上記第１の動きベクトルを変換して一対の第２の動きベクトルを作成するステップと、
上記解像度変換後の連続するフレームと上記一対の第２の動きベクトルを用いて新たなフレームを作成し、該連続するフレーム間に挿入してフレームレートを変換するステップと、
を備えることを特徴とする映像変換方法。
【請求項７】
請求項６に記載の映像変換方法において、
前記一対の第２の動きベクトルとして、前記入力映像の過去フレームの対応画素から挿入するフレームの画素へ向かう後方動きベクトルと、前記入力映像の現在フレームの対応画素から挿入するフレームの画素へ向かう前方動きベクトルとを作成し、
前記フレームレートを変換するステップでは、上記過去フレームと上記後方動きベクトル、および上記現在フレームと上記前方動きベクトルを用いて新たなフレームを作成することを特徴とする映像変換方法。
【請求項８】
請求項６または７に記載の映像変換方法において、
フレームレート変換条件と挿入するフレームの位置に応じて、前記第２の動きベクトルを作成するための一対の変換係数を変換係数テーブルに格納しておき、
前記第２の動きベクトルを作成するステップでは、上記変換係数テーブルから対応する変換係数を読み出し、前記第１の動きベクトルに該一対の変換係数を乗じて前記一対の第２の動きベクトルに変換することを特徴とする映像変換方法。
【請求項９】
請求項８に記載の映像変換方法において、
前記変換係数は、前記第１の動きベクトルと前記第２の動きベクトルが表現している時間軸上の差分を線形な重み成分として表わした数値であることを特徴とする映像変換方法。
【請求項１０】
請求項７に記載の映像変換方法において、
前記フレームレートを変換するステップでは、前記過去フレームの対応画素と前記現在フレームの対応画素を、それぞれ前記後方動きベクトルと前記前方動きベクトルだけ移動して、各画素値を合成し前記新たなフレームの画素値を決定することを特徴とする映像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の解像度とフレームレートを変換する映像変換装置及び映像変換方法に関する。
【背景技術】
【０００２】
動画像の品質向上技術として、空間的に画素数を増加させる解像度変換と、時間的にフレーム数を増加させるフレームレート変換がある。解像度変換に関しては、単純な画素補間法だけでなく、時間方向に隣接する複数の映像フレームをフレーム間の動きベクトルを利用して合成することで、入力映像以上の解像度を持つ１枚の映像を出力する技術がある（例えば、特許文献１参照）。以下、この処理を「超解像処理」と呼ぶ。
【０００３】
フレームレート変換に関しては、同一フレームを繰り返し出力する簡易的方法だけでなく、入力する映像信号から動きベクトルを探索し、探索した動きベクトルに基づいて新たな挿入フレームを生成しフレーム間に挿入する技術がある（例えば、特許文献２参照）。
【０００４】
さらに、動画像の符号化方式を変換して再符号化する際に用いる動きベクトルに関し、変換前の映像の動きベクトルをそのまま再利用するか、または変換後の映像における動きベクトルを探索して用いるかのいずれかを選択するものである（例えば、特許文献３参照）。
【０００５】
【特許文献１】特開２００７−３２４７８９号公報
【特許文献２】特開平１１−１１２９３９号公報
【特許文献３】特開２００５−２３６５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般に、動きベクトルを利用した映像変換処理を組み合わせて行う場合、各々の処理に用いる動きベクトルは独立して探索する必要がある。例えば、上記特許文献１記載の解像度変換と特許文献２記載のフレームレート変換を組み合わせる場合も、隣接する映像フレームの構成が異なるゆえ、それぞれの段階で動きベクトルの探索を行う必要がある。もしも一方の動きベクトルを他方の動きベクトルとしてそのまま使用すると、映像の相関性が低い場合には大きな画質劣化が生じることになる。
【０００７】
しかしながら、映像処理における動きベクトル探索は処理負荷が大きい。よって、１フレーム分の映像処理に対して動きベクトル探索を２回行うことは、処理が複雑になり、処理回路の回路規模及びコストが増大する。
【０００８】
上記特許文献３記載の技術は、動きベクトルの相関性が高い場合には、変換前の動きベクトルを変換後の動きベクトルとしてそのまま利用することで、動きベクトルの探索を１回で済ますことができる。しかしながら、相関性が低い場合には、変換後の動きベクトルを別途探索することになり、処理負荷が大きくなることに変わりはない。
【０００９】
本発明の目的は上記課題に鑑み、映像の相関性が低い場合においても、動きベクトルの探索を１回のみとしながら画質劣化の少ない映像変換を実現することである。
【課題を解決するための手段】
【００１０】
本発明は、入力映像に対して解像度変換とフレームレート変換を行う映像変換装置であって、入力映像に対して解像度変換を行う解像度変換部と、解像度変換後の映像のフレームレートを変換するフレームレート変換部と、入力映像の連続するフレームから第１の動きベクトルを求める動きベクトル探索部と、フレームレート変換部の行うフレームレートの変換条件に応じて、第１の動きベクトルを変換して一対の第２の動きベクトルを作成する動きベクトル変換部を備える。解像度変換部は、入力映像と第１の動きベクトルを用いて解像度変換処理を行い、フレームレート変換部は、解像度変換後の連続するフレームと一対の第２の動きベクトルを用いて新たなフレームを作成し、連続するフレーム間に挿入する。
【００１１】
ここに動きベクトル変換部は一対の第２の動きベクトルとして、入力映像の過去フレームの対応画素から挿入するフレームの画素へ向かう後方動きベクトルと、入力映像の現在フレームの対応画素から挿入するフレームの画素へ向かう前方動きベクトルとを作成し、フレームレート変換部は、過去フレームと後方動きベクトル、および現在フレームと前方動きベクトルを用いて新たなフレームを作成する。
【００１２】
本発明は、入力映像に対して解像度変換とフレームレート変換を行う映像変換方法であって、入力映像の連続するフレームから第１の動きベクトルを求めるステップと、入力映像に対して第１の動きベクトルを用いて解像度変換を行うステップと、フレームレートの変換条件に応じて、第１の動きベクトルを変換して一対の第２の動きベクトルを作成するステップと、解像度変換後の連続するフレームと一対の第２の動きベクトルを用いて新たなフレームを作成し、連続するフレーム間に挿入してフレームレートを変換するステップと、を備える。
【発明の効果】
【００１３】
本発明によれば、解像度変換とフレームレート変換を含む映像変換処理において、回路規模を増大させずに高画質な映像を得ることができる。
【発明を実施するための最良の形態】
【００１４】
本発明の映像変換装置は、入力映像に対して解像度変換を行う解像度変換部と、解像度変換後の映像のフレームレートを変換するフレームレート変換部と、入力映像から動きベクトルを求める動きベクトル探索部と、求めた動きベクトルを変換してフレームレート変換部へ供給する動きベクトル変換部とを備える。以下、その実施形態を図面を用いて説明する。
【実施例１】
【００１５】
図１は、本発明に係る映像変換装置の一実施例を示す構成図である。
映像変換装置１０は、デコード部１と、スケーリング部２と、解像度変換部３と、フレームレート変換部４と、動きベクトル探索部５と、動きベクトル変換部６を備える。ここでは、動画像向け国際標準規格であるＭＰＥＧ−２等の所定の方式で符号化された入力映像Ｐ０が入力するものとし、デコード部１はこれを視聴可能な映像信号（以下、フレームと称する）に復号する。スケーリング部２は、映像変換装置１０の出力先に接続される表示装置の画面サイズに応じて、フレームの水平、垂直方向のサイズの拡大または縮小を行いフレームＰ１とする。なお、デコード部１とスケーリング部２は入力映像信号と表示装置の仕様により、省略することができる。
【００１６】
動きベクトル探索部５は、連続する２枚のフレームＰ１からフレーム間の動きベクトルＭＶ（第１の動きベクトル）を画素単位で探索する。解像度変換部３は、現在および過去の連続する２枚のフレームＰ１と、動きベクトル探索部５で求めた探索動きベクトルＭＶを参照して、映像の画素数を変換する解像度変換処理（例えば超解像処理）を行い映像Ｐ２を生成する。
【００１７】
動きベクトル変換部６は、動きベクトル探索部５が求めた動きベクトルＭＶ（第１の動きベクトル）を入力し、外部の制御部等から指定された補間モード信号Ｓｃに基づき、新たな動きベクトルＭＶｃ（第２の動きベクトル）に変換する。第２の動きベクトルは前方動きベクトルと後方動きベクトルの１対からなる。フレームレート変換部４は、解像度変換部３が生成した映像Ｐ２の連続するフレームと動きベクトル変換部６で求めた一対の第２の動きベクトルＭＶｃを参照して、補間モード信号Ｓｃに応じたフレームを作成して挿入、いわゆるフレームレート変換を行い映像Ｐ３を出力する。補間モード信号Ｓｃとは、入出力フレームレート変換の動作モードを指定する制御信号のことである。動作モードには、例えば、２４Ｈｚ→６０Ｈｚ、５０Ｈｚ→６０Ｈｚ、６０Ｈｚ→１２０Ｈｚ等のフレームレート変換がある。ところで、補間モード信号Ｓｃの設定条件として、６０Ｈｚ→６０Ｈｚのように入力側と出力側を同一フレームレートとすることも可能である。この場合、フレームレート変換部４ではフレーム挿入動作を行わずに入力フレームをそのまま出力する。
【００１８】
このように本実施例の映像変換装置では、解像度変換部３とフレームレート変換部４においてそれぞれ動きベクトルを利用する。解像度変換部３においては動きベクトル探索部５にて探索した第１の動きベクトルＭＶを用いるが、フレームレート変換部４ではこれを動きベクトル変換部６にて変換した第２の動きベクトルＭＶｃを用いるようにした。よって、本来２回必要な動きベクトルの探索工程が１回で済むので、処理時間と回路規模が簡略化できる。
【００１９】
また本実施例では、解像度変換の後でフレームレート変換を実行する構成として、解像度変換（例えば超解像処理）での負担を軽減させたが、フレームレート変換の後で解像度変換を実行する構成としてもよい。その場合にも、動きベクトル変換部を設けることで、動きベクトルの探索工程は１回で済む。
【００２０】
図２は、本実施例のフレームレート変換の具体例を示す図である。フレームレートとは、１秒間に伝送または表示する映像フレーム数を示すもので、各放送方式に対し映像規格で定められている。以下の説明では、映像周波数（１秒間当たりの垂直同期信号の数）としてＨｚ単位で表記する。フレームレートを増大することで、滑らかな被写体の動きを実現し映像品質を向上させることができる。
【００２１】
（ａ）は、６０Ｈｚ映像Ｐ１を１２０Ｈｚ映像Ｐ３に変換する場合である。補間モード信号Ｓｃとして、６０Ｈｚから１２０Ｈｚへフレームレート変換を行うことを指示する制御信号をフレームレート変換部４と動きベクトル変換部６へ出力する。解像度変換部３は、６０Ｈｚ映像Ｐ１を入力して、所定の映像処理アルゴリズムに基づく映像変換を行い６０Ｈｚ映像Ｐ２を出力する。また、動きベクトル探索部５にも６０Ｈｚ映像Ｐ１を入力して、画素毎の６０Ｈｚ動きベクトルＭＶを求めて出力する。動きベクトル変換部６は、動きベクトル探索部５で求めた６０Ｈｚ動きベクトルＭＶを１２０Ｈｚ映像用の１２０Ｈｚ動きベクトルＭＶｃに変換する。フレームレート変換部４は、動きベクトル変換部６の出力した１２０Ｈｚ動きベクトルＭＶｃを用いて、解像度変換部３が出力した６０Ｈｚ映像Ｐ２を１２０Ｈｚ映像Ｐ３に変換して出力する。
【００２２】
（ｂ）は、２４Ｈｚ映像Ｐ１を６０Ｈｚ映像Ｐ３へ変換する場合である。この場合は補間モード信号Ｓｃとして、２４Ｈｚから６０Ｈｚへフレームレート変換を行うことを指示する制御信号を用いる。解像度変換部３は、２４Ｈｚ映像Ｐ１を入力して解像度変換を行い２４Ｈｚ映像Ｐ２を出力する。また、動きベクトル探索部５にも２４Ｈｚ映像Ｐ１を入力して、２４Ｈｚ動きベクトルＭＶを出力する。動きベクトル変換部６は、２４Ｈｚ動きベクトルＭＶを６０Ｈｚ動きベクトルＭＶｃに変換する。フレームレート変換部４は、６０Ｈｚ動きベクトルＭＶｃを用いて２４Ｈｚ映像Ｐ２を６０Ｈｚ映像Ｐ３に変換して出力する。
【００２３】
図３は、解像度変換部３の内部構成の一例を示す図である。
入力映像Ｐ１は、前段のデコード部１で復号された後、スケーリング部２によって拡大または縮小された映像である。入力映像Ｐ１の各フレームは、順次フレームメモリ３１に保存されるとともに、フレーム遅延部３０により１フレーム期間分だけ遅延されたフレームをフレームメモリ３２に保存する。動きベクトル探索部５は、フレームメモリ３１，３２に保存した２枚のフレームＰ１ａ，Ｐ１ｂを参照して、フレーム間の動きベクトルＭＶを求め画素補間部３３へ送る。
【００２４】
画素補間部３３は、フレームメモリ３１，３２に保存した２枚のフレームＰ１ａ，Ｐ１ｂと、動きベクトルＭＶを参照して画素数を変更する解像度変換処理（画素補間処理）を行う。解像度変換された映像は一旦フレームメモリ３４に保存された後、入力映像Ｐ１と同じフレームレートのタイミングで出力映像Ｐ２として送出される。
【００２５】
画素補間部３３の処理の一例として、例えば動きベクトルを用いた超解像処理がある。動きベクトルを用いた超解像処理とは、複数枚のフレームの映像を用いて、画素毎に求めた動きベクトルを使用してフレーム同士の位置合わせを行い、オリジナル映像に対して小数点精度の仮想標本ポイントとその仮想画素データを取得する。この仮想画素データから実際に表示する映像データを求めることによって、折返し歪みを低減しながら元の映像以上の解像度を有する映像を生成する方法のことである。
【００２６】
図４は、フレームレート変換部４の内部構成の一例を示す図である。
入力映像Ｐ２は、前段の解像度変換部３から送出された映像である。入力映像Ｐ２の各フレームは、順次フレームメモリ４１に保存されるとともに、フレーム遅延部４０により１フレーム期間分だけ遅延されたフレームはフレームメモリ４２に保存される。動きベクトル変換部６は、動きベクトル探索部５から出力された第１の動きベクトルＭＶを変換して、フレームレート変換用の第２の動きベクトルＭＶｃを生成する。すなわち第２の動きベクトルＭＶｃは、フレームレート変換のために挿入するフレームを生成するために用いる。変換係数テーブル７は、第１の動きベクトルＭＶから第２の動きベクトルＭＶｃを算出するために必要な係数を保存する。
【００２７】
フレーム補間部４３では、フレームメモリ４１，４２から時間的に隣接する２枚のフレームＰ２ａ，Ｐ２ｂを読み出し、動きベクトル変換部６で生成された第２の動きベクトルＭＶｃを用いて、２枚のフレームＰ２ａ，Ｐ２ｂ間に挿入するフレームを生成する。フレーム間に挿入するフレームの数は、入力／出力映像のフレームレートの関係から一義的に決まる。例えば、入力／出力フレームレートがそれぞれ６０Ｈｚ／１２０Ｈｚならば挿入フレーム数は１枚であり、２４Ｈｚ／６０Ｈｚならば挿入フレーム数は２枚となる。挿入フレーム内の画素位置は、操作対象画素の動きベクトルＭＶと挿入フレームの時間軸上の位置との関係から決定する。
【００２８】
フレーム補間部４３にて生成された挿入フレームは、一旦フレームメモリ４４に保存される。切換部４５は、出力側フレームレートより決まる映像出力周期に対応して、元の映像が保存されたフレームメモリ４２、または挿入フレームが保存されたフレームメモリ４３の何れか一方を選択して、保存されているフレームを読み出して出力映像Ｐ３として送出する。制御部４６は、外部から指定される補間モード信号Ｓｃを動きベクトル変換部６および切換部４５へ伝達し、動きベクトルの変換や挿入フレームの出力タイミングを制御する。
【００２９】
図５は、動きベクトル探索と動きベクトル変換を模式的に示す図である。ここでは簡単のために、フレームレートを元の映像の２倍（例えば６０Ｈｚ→１２０Ｈｚ）に変換するため、１枚のフレームＦｃを挿入する場合を示す。動きベクトル探索部５が求めた現在フレームＦ２と過去フレームＦ１の間の動きベクトルＭＶ（第１の動きベクトル）と、フレームレート変換部４にて変換した動きベクトルＭＶｃａ，ＭＶｃｂ（第２の動きベクトル）の関係を示している。
【００３０】
動きベクトル探索部５は、連続する２枚のフレーム間における動きベクトルＭＶの探索を画素単位で行う。また、動きベクトル変換部６は、動きベクトル探索部５が求めた動きベクトルＭＶを入力し、補間モード信号Ｓｃで指定する入力／出力フレームレートの設定値に基づき、フレームレート変換用の動きベクトルＭＶｃに変換する。フレームレート変換部４は、入力映像の現在フレームＦ２と過去フレームＦ１と動きベクトルＭＶｃを用いて新たなフレームＦｃを作成して、フレームＦ１とＦ２の間に挿入する。
【００３１】
挿入フレームＦｃの作成のために、動きベクトル探索部５は挿入フレームＦｃの各画素を通過する動きベクトルを探索する。ここで、挿入フレームＦｃのある画素Ｑｃに注目した時、過去フレームＦ１と現在フレームＦ２の被写体の中からこの画素Ｑｃに対応する画素を探索する。ここでは、フレームＦ１内の画素ＱａとフレームＦ２内の画素Ｑｂが対応するものとする。そのとき、画素Ｑａ、画素Ｑｃ、画素Ｑｂの３点を結ぶ画素移動量を画素Ｑｃの第１の動きベクトルＭＶと定義する。この動きベクトルＭＶは、解像度変換部３の処理で参照する。
【００３２】
続いて動きベクトル変換部６は、第１の動きベクトルＭＶを２つの第２の動きベクトルＭＶｃａ，ＭＶｃｂへ変換する。ＭＶｃａは、過去フレームＦ１の画素Ｑａから挿入フレームＦｃの注目画素Ｑｃへの動きベクトルであり、「後方（動き）ベクトル」と呼ぶことにする。ＭＶｃｂは、現在フレームＦ２の画素Ｑｂから挿入フレームＦｃの注目画素Ｑｃへの動きベクトルであり、「前方（動き）ベクトル」と呼ぶことにする。すなわち第２の動きベクトルＭＶｃａ，ＭＶｃｂは、第１の動きベクトルＭＶに、挿入フレームＦｃの挿入位置を示す変換係数（過去フレームＦ１および現在フレームＦ２からの時間比率）を乗じて求めることができる。
【００３３】
その後フレーム補間部４３は、後方動きベクトルＭＶｃａの起点となる画素Ｑａと、前方動きベクトルＭＶｃｂの起点となる画素Ｑｂを参照して、挿入フレームＦｃ上の画素Ｑｃを生成する。この場合、過去フレームＦ１と現在フレームＦ２の両方の画素データを用いて新たな画素を生成するので、フレーム間の相関性が低い場合でも滑らかに連続する映像フレームにて補間することができる。補間フレームの画素位置のずれが少ないだけでなく、対応する画素の色や明るさが変動する場合にも滑らかな画質が得られる。
【００３４】
図５のベクトル表記について補足する。ここでは概念説明のために、第１の動きベクトルＭＶを、過去フレームＦ１から現在フレームＦ２へ向かうベクトル表記としている。つまり、フレーム内の水平、垂直方向の移動に加えて時間経過を伴った３次元の画素移動量として表記している。しかし、時間軸の移動はフレームＦｃの位置決めを意味するだけなので、実際の計算に用いる動きベクトルは同一フレーム内の２次元方向の画素移動量である。動きベクトルをフレーム内の２次元表記に直すと、ＭＶは、現在フレームＦ２内の画素Ｑａ’から画素Ｑｂへの動きベクトルＭＶ’と等価である。またＭＶｃａとＭＶｃｂは、挿入フレームＦｃ内の画素Ｑａ”から画素Ｑｃへの動きベクトルＭＶｃａ’と、画素Ｑｂ”から画素Ｑｃへの動きベクトルＭＶｃｂ’と等価である。
【００３５】
以下、図６〜図１０にて、動きベクトルの変換とフレームレート変換を具体例で説明する。ここでは、フレームレートを６０Ｈｚから１２０Ｈｚへ変換する場合を取り上げる。
【００３６】
図６は、フレームレート変換の全体概要を示す図である。６０Ｈｚから１２０Ｈｚへのフレームレート変換では、１フレームの入力に対し２フレームを出力する。このため、検出した１フレーム分の第１の動きベクトルを、２フレーム分の第２の動きベクトルに変換する。
【００３７】
（ａ）は入力する６０Ｈｚ映像を示し、フレームＦ１、フレームＦ２の順に入力する。以下、１フレームの期間Ｔｗを単位に変換の動作を行う。
【００３８】
（ｂ）は６０Ｈｚ映像動きベクトル（第１の動きベクトル）を示す。時間的に隣接する２つのフレームを参照し、所定の範囲の画素値を比較することによって各画素の動きに対応する動きベクトルＭＶを求める。隣接する２つのフレームを同時参照するために、入力する６０Ｈｚ映像から読み出した現在フレームと、１つ前に読み出した過去フレーム（即ち１フレーム遅延させた６０Ｈｚ映像）の２フレームを保持し、この２フレームを比較して６０Ｈｚ動きベクトルＭＶを検出する。その結果、フレームＦ１のタイミングで動きベクトルＭＶ１を、フレームＦ２のタイミングで動きベクトルＭＶ２を得る。
【００３９】
（ｃ）は６０Ｈｚ動きベクトルＭＶを１２０Ｈｚ動きベクトルＭＶｃ（第２の動きベクトル）に変換した状態を示す。フレームＦ１の６０Ｈｚ動きベクトルＭＶ１を、後述する動きベクトル変換部６の変換処理によって、２つの１２０Ｈｚ動きベクトルＭＶｃ１ａ，ＭＶｃ１ｂに変換する。６０Ｈｚ動きベクトルＭＶ２に対しても同様に２つの１２０Ｈｚ動きベクトルＭＶｃ２ａ，ＭＶｃ２ｂに変換する。
【００４０】
（ｄ）は６０Ｈｚ映像を１２０Ｈｚ映像にフレームレート変換した状態を示す。フレームレート変換部４は１２０Ｈｚ動きベクトルＭＶｃ１ａ，ＭＶｃ１ｂを用いて、６０Ｈｚ映像のフレームＦ１，Ｆ２から１２０Ｈｚ映像のフレームＦｃ１，フレームＦｃ２を生成する。同様に、１２０Ｈｚ動きベクトルＭＶｃ２ａ，ＭＶｃ２ｂを用いて、６０Ｈｚ映像のフレームＦ２，Ｆ３から１２０Ｈｚ映像のフレームＦｃ３，フレームＦｃ４を生成する。但し、期間Ｔｗの先頭のフレームＦｃ１，Ｆｃ３は、６０Ｈｚ映像のフレームＦ１，Ｆ２をそのまま出力するので、新たに挿入するのはフレームＦｃ２，Ｆｃ４である。
【００４１】
図７は、図６（ｃ）において動きベクトルを変換する手順を示す図である。例えば、フレームＦ１の６０Ｈｚ動きベクトルＭＶ１（第１の動きベクトル）を１２０Ｈｚ動きベクトルＭＶｃ１ａ，ＭＶｃ１ｂ（第２の動きベクトル）に変換するために、動きベクトル変換用の２つの係数ＫＡ１，ＫＢ１を用いる。１２０Ｈｚ動きベクトルＭＶｃ１ａ（後方ベクトル）は、６０Ｈｚ動きベクトルＭＶ１と第１係数ＫＡ１を乗じて求める。また１２０Ｈｚ動きベクトルＭＶｃ１ｂ（前方ベクトル）は、６０Ｈｚ動きベクトルＭＶ１と第２係数ＫＢ１を乗じて求める。同様に、フレームＦ２の６０Ｈｚ動きベクトルＭＶ２に対しても２つの変換係数ＫＡ２，ＫＢ２を乗じて、１２０Ｈｚ動きベクトルＭＶｃ２ａ，ＭＶｃ１ｂを求める。
【００４２】
図８は、６０Ｈｚ→１２０Ｈｚ変換時における動きベクトル変換用のテーブルを示す図である。
【００４３】
変換係数テーブル７には、動きベクトル変換のために使用する変換係数を格納しておき、変換の際これを参照する。変換手順は、６０Ｈｚ動きベクトル（第１の動きベクトル）に動きベクトル変換係数の第１係数を乗じた結果を１２０Ｈｚ動きベクトル（第２の動きベクトル）の後方ベクトル、第２係数を乗じた結果を１２０Ｈｚ動きベクトルの前方ベクトルとする。ここでは１つのフレームから２つのフレームを生成するので、ステップＮｏ．１とステップＮｏ．２に示した手順を繰り返して１２０Ｈｚ動きベクトルを求める。
【００４４】
ステップＮｏ．１は図６のフレームＦｃ１に対応し、６０Ｈｚ映像の入力フレームＦ１をそのまま１２０Ｈｚ映像のフレームとして出力するので、動きベクトル変換は行わない。ステップＮｏ．２は図６のフレームＦｃ２に対応し、６０Ｈｚ動きベクトルＭＶ１に第１係数ＫＡ１を乗じた結果を１２０Ｈｚ動きベクトルＭＶｃ１ａとし、ＭＶ１に第２係数ＫＢ１を乗じた結果を１２０Ｈｚ動きベクトルＭＶｃ１ｂとして格納する。
【００４５】
動きベクトル変換に用いる第１係数および第２係数は、６０Ｈｚ動きベクトルと１２０Ｈｚ動きベクトルが表現している時間軸上の差分を線形な重み成分として表わした数値である。なお、第１係数および第２係数の値は、後述するようにレート変換条件により決定する。
【００４６】
以下に、第１係数および第２係数を用いた動きベクトル変換の演算式を説明する。ここでは、６０Ｈｚ動きベクトルを第１の動きベクトル群、１２０Ｈｚ動きベクトルを第２の動きベクトル群と呼ぶ。第１の動きベクトル群から第２の動きベクトル群への変換する場合を考える。この時、第２の動きベクトル群における１つの動きベクトルに対応するフレーム表示期間が、変換元となる第１の動きベクトル群の１つの動きベクトルに対応するフレーム表示期間内に含まれるとする。この場合、次の数式（１）を用いることによって、第１の動きベクトル群の１つの動きベクトルから第２の動きベクトル群の２つの動きベクトルを算出する。ここで、ＭＶｎは第１の動きベクトル群の１つのベクトル、ＭＶｃｎａは過去フレームＦ２と挿入フレームＦｃ間における第２の動きベクトル（後方ベクトル）群の１つのベクトル、ＭＶｃｎｂは現在フレームＦ１と挿入フレームＦｃ間における第２の動きベクトル（前方ベクトル）群の１つのベクトル、ＫＡｍは第１係数、ＫＢｍは第２係数である。ｎは入力フレーム番号、ｍは挿入フレーム番号である。
ＭＶｃｎａ＝ＫＡｍ×ＭＶｎ，  ＭＶｃｎｂ＝ＫＢｍ×ＭＶｎ      （１）
但し、図８のステップＮｏ．１のように、入力映像（６０Ｈｚ映像）のフレームと出力映像（１２０Ｈｚ映像）のフレームの表示時刻が同一の時は、入力フレームをそのまま出力するため、上記の数式（１）は使用しない。
【００４７】
６０Ｈｚから１２０Ｈｚへのフレームレート変換の場合における、第２の動きベクトル群の算出方法について説明する。第２の動きベクトル群の動きベクトルの算出に用いる数式は、以下の数式（２）のようになる。ここで、ＭＶ１は第１の動きベクトル、ＭＶｃ１ａは過去フレームＦ２と挿入フレームＦｃ間における第２の動きベクトル群の１つのベクトル、ＭＶｃ１ｂは現在フレームＦ１と挿入フレームＦｃ間における第２の動きベクトル群の１つのベクトル、ＫＡ１は第１係数、ＫＢ１は第２係数である。
ＭＶｃ１ａ＝ＫＡ１×ＭＶ１，  ＭＶｃ１ｂ＝ＫＢ１×ＭＶ１      （２）
ここで、第１係数ＫＡｍおよび第２係数ＫＢｍは、それぞれ次の数式（３）を用いて設定する。ここにＴＡとＴＢはフレーム挿入により分割されたフレーム間隔である。ＴＡはＭＶｃｎａに対応するフレーム表示期間のうち、ＭＶｎに対応するフレーム表示期間と重複する期間の長さ、ＴＢはＭＶｃｎｂに対応するフレーム表示期間のうち、ＭＶｎに対応するフレーム表示期間と重複する期間の長さを示す。これらは、第１のフレームレートｆ１と第２のフレームレートｆ２により決まる。
ＫＡｍ＝ＴＡ／（ＴＡ＋ＴＢ），  ＫＢｍ＝ＴＢ／（ＴＡ＋ＴＢ）      （３）
ここで、ｆ１＝６０Ｈｚ、ｆ２＝１２０Ｈｚの場合には、ＴＡ＝ＴＢとなるため、第１係数ＫＡ１および第２係数ＫＢ１は等しく、次の数式（４）に示した通りとなる。
ＫＡ１＝ＫＢ１＝１／２      （４）
図９は、６０Ｈｚ→１２０Ｈｚ変換時における入出力フレームと動きベクトルの時間軸上の関係を示す図である。この場合、動きベクトル変換動作の期間Ｔｗにおいて、６０Ｈｚ映像の１フレームから１２０Ｈｚ映像の２フレームを得ることと、１フレーム分の６０Ｈｚ動きベクトル（第１の動きベクトル）から２フレーム分の１２０Ｈｚ動きベクトル（第２の動きベクトル）を得ることを示す。
【００４８】
６０Ｈｚ動きベクトルＭＶは、６０Ｈｚ映像の隣接する２つのフレームを参照して作成する。例えば、ＭＶ１はフレームＦ１とフレームＦ２を参照して生成する。６０Ｈｚ動きベクトルＭＶ１から１２０Ｈｚ動きベクトルＭＶｃ１ａおよびＭＶｃ１ｂへの動きベクトル変換は、６０Ｈｚ動きベクトルＭＶ１に変換係数ＫＡ１およびＫＢ１を乗じて求める。これは数式（１）〜（４）と図７、図８に述べた通りである。
【００４９】
６０Ｈｚ映像から１２０Ｈｚ映像を得る手順は次の通りである。まず、期間Ｔｗの起点となるフレームＦ１は、そのまま１２０Ｈｚ映像のフレームＦｃ１として出力する。フレームＦｃ３，Ｆｃ５についても同様で、６０Ｈｚ映像の入力フレームＦ２，Ｆ３をそのまま出力する。
【００５０】
１２０Ｈｚ映像のフレームＦｃ２は、６０Ｈｚ映像のいずれの表示時間軸にも一致しないため、挿入フレームを作成して出力する。この場合、時間軸上で前後に近接する６０Ｈｚ映像のフレームＦ１とフレームＦ２を参照し、上記１２０Ｈｚ動きベクトルＭＶｃ１ａ（後方ベクトル）およびＭＶｃ１ｂ（前方ベクトル）を用いて所定のアルゴリズムにより挿入フレームＦｃ２を作成する。挿入フレームＦｃ２内の各画素は、フレームＦ１とフレームＦ２内の対応する画素を動きベクトルＭＶｃ１ａおよびＭＶｃ１ｂに従って移動させて合成し、新たな画素値を決定する。挿入フレームＦｃ４についても同様で、動きベクトルＭＶｃ２ａおよびＭＶｃ２ｂを用いる。
【００５１】
このようにフレームレート変換では、６０Ｈｚ映像と１２０Ｈｚ動きベクトルを用いて映像変換を行う。その際挿入する新しいフレームＦｃ２は、２つのフレームＦ１，Ｆ２を参照し２つの第２の動きベクトルＭＶｃ１ａ，ＭＶｃ１ｂを用いて作成する。よって、フレームＦ１，Ｆ２間の映像の相関性が低い場合であっても、滑らかに連続するフレームＦｃ２を生成することができる。特に、対応する画素の色や明るさが変動する場合に有効である。
【００５２】
図１０は、本実施例における映像変換処理動作フローを示す図である。ここでは、６０Ｈｚ映像を入力して解像度変換と１２０Ｈｚへのフレームレート変換を行う。
【００５３】
始めに、入力映像のフレームレートと出力映像のフレームレートの関係から変換周期ＦＮを設定する。これは、図８の最大ステップ数に相当し、６０Ｈｚから１２０Ｈｚへの変換周期ＦＮは２に設定する（Ｓ１００）。周期カウンタＦＣＮＴは図８における現在のステップＮｏに相当し、初期値としてＦＣＮＴを１に設定する（Ｓ１０１）。６０Ｈｚ映像から連続する２フレーム（現在フレームおよび１フレーム前の過去フレーム）を入力し、動きベクトル探索部５により、６０Ｈｚ動きベクトルＭＶｎ（第１の動きベクトル）を求める（Ｓ１０２）。６０Ｈｚ動きベクトルＭＶｎを用いて、解像度変換部３により、入力映像の現在フレームの解像度変換を実行する（Ｓ１０３）。
【００５４】
以後、ＦＣＮＴの値に応じて処理を分岐する（Ｓ１０４）。ＦＣＮＴが１の場合（Ｓ１０４でｎｏ）、Ｓ１０３で解像度変換処理を行ったフレームをそのまま１２０Ｈｚ映像のフレームとして出力する（Ｓ１０５）。
【００５５】
ＦＣＮＴが１より大きい場合（Ｓ１０４でｙｅｓ）、動きベクトル変換部６は、動きベクトル変換係数テーブルからＦＣＮＴに対応する第１係数ＫＡｍおよび第２係数ＫＢｍの読み出しを行う。ＦＣＮＴ＝２であれば、ＫＡ１とＫＢ１を読み出す（Ｓ１０６）。ＫＡ１とＫＢ１を用いて、６０Ｈｚ動きベクトルＭＶｎを１２０Ｈｚ動きベクトルＭＶｃｎａおよびＭＶｃｎｂ（第２の動きベクトル）に変換する（Ｓ１０７）。フレームレート変換部４は、６０Ｈｚ映像の２フレームと１２０Ｈｚ動きベクトルＭＶｃｎａおよびＭＶｃｎｂを用いて挿入フレームを作成し（Ｓ１０８）、１２０Ｈｚ映像のフレームレートに変換して出力する（Ｓ１０９）。
【００５６】
処理終了判定を行い（Ｓ１１０）、継続実行ならば周期カウンタＦＣＮＴに１を加算し（Ｓ１１１）、ＦＣＮＴが変換周期ＦＮよりも大きいか否かの判定を行う（Ｓ１１２）。ＦＣＮＴがＦＮよりも大きい場合は、ＦＣＮＴを１にリセットして（Ｓ１１３）、Ｓ１０２へ戻る。Ｓ１１０の処理終了判定で処理終了ならば映像変換処理動作を終了する。
【実施例２】
【００５７】
本実施例では、２４Ｈｚから６０Ｈｚへのフレームレート変換の場合を取り上げる。映像変換装置の構成は実施例１の図１〜図４と共通である。
【００５８】
図１１は、フレームレート変換の全体概要を示す図である。２４Ｈｚから６０Ｈｚへのフレームレート変換では、６０／２４＝２．５倍、すなわち２フレームの入力に対し５フレームを出力する。動きベクトルの数もフレームと同様であり、検出した２フレーム分の第１の動きベクトルを５フレーム分の第２の動きベクトルに変換する。
【００５９】
（ａ）は入力する２４Ｈｚ映像を示し、フレームＦ１、フレームＦ２の順に入力する。以下、２フレームの期間Ｔｗを単位に変換の動作を行う。
【００６０】
（ｂ）は２４Ｈｚ映像の動きベクトル（第１の動きベクトル）を示す。入力する２４Ｈｚ映像から読み出した現在フレームと、１つ前に読み出した過去フレームの２フレームを比較して２４Ｈｚ動きベクトルＭＶを検出する。その結果、フレームＦ１のタイミングで動きベクトルＭＶ１を、フレームＦ２のタイミングで動きベクトルＭＶ２を得る。
【００６１】
（ｃ）は２４Ｈｚ動きベクトルＭＶを６０Ｈｚ動きベクトルＭＶｃ（第２の動きベクトル）に変換した状態を示す。フレームＦ１の２４Ｈｚ動きベクトルＭＶ１から、４つの６０Ｈｚ動きベクトルＭＶｃ１ａ，ＭＶｃ１ｂ，ＭＶｃ１ｃ，ＭＶｃ１ｄに変換する。２４Ｈｚ動きベクトルＭＶ２についても同様に４つの６０Ｈｚ動きベクトルＭＶｃ２ａ，ＭＶｃ２ｂ，ＭＶｃ２ｃ，ＭＶｃ２ｄに変換する。
【００６２】
（ｄ）は２４Ｈｚ映像を６０Ｈｚ映像にフレームレート変換した状態を示す。フレームレート変換部４は６０Ｈｚ動きベクトルＭＶｃ１ａ，ＭＶｃ１ｂを用いて、２４Ｈｚ映像のフレームＦ１，Ｆ２から６０Ｈｚ映像のフレームＦｃ２を生成し、６０Ｈｚ動きベクトルＭＶｃ１ｃ，ＭＶｃ１ｄを用いて、６０Ｈｚ映像のフレームＦｃ３を生成する。続いて、６０Ｈｚ動きベクトルＭＶｃ２ａ，ＭＶｃ２ｂを用いて、２４Ｈｚ映像のフレームＦ２，Ｆ３から６０Ｈｚ映像のフレームＦｃ４を生成し、６０Ｈｚ動きベクトルＭＶｃ２ｃ，ＭＶｃ２ｄを用いて、６０Ｈｚ映像のフレームＦｃ５を生成する。これらの生成したフレームＦｃ２，Ｆｃ３，Ｆｃ４，Ｆｃ５を順に出力する。但し、期間Ｔｗの先頭のフレームＦｃ１，Ｆｃ６は、２４Ｈｚ映像のフレームＦ１，Ｆ３をそのまま出力する。
【００６３】
図１２は、２４Ｈｚ→６０Ｈｚ変換時における動きベクトル変換用のテーブルを示す図である。
変換係数テーブル７には、動きベクトル変換のために使用する変換係数を格納しておき、変換の際これを参照する。変換手順は、２４Ｈｚ動きベクトル（第１の動きベクトル）に動きベクトル変換係数の第１係数を乗じた結果を６０Ｈｚ動きベクトル（第２の動きベクトル）の後方ベクトル、第２係数を乗じた結果を６０Ｈｚ動きベクトルの前方ベクトルとする。２つのフレームから５つのフレームを生成する必要があるので、ステップＮｏ．１からステップＮｏ．５に示した５通りの手順を繰り返して１２０Ｈｚ動きベクトルを求める。各ステップでは、入力する２４Ｈｚ動きベクトルの種類と、変換係数とが異なる。
【００６４】
ステップＮｏ．１は図１１のフレームＦｃ１に対応し、２４Ｈｚ映像の入力フレームＦ１をそのまま６０Ｈｚ映像のフレームとして出力するので、動きベクトル変換は行わない。ステップＮｏ．２は図１１のフレームＦｃ２に対応し、２４Ｈｚ動きベクトルＭＶ１に第１係数ＫＡ１を乗じた結果を６０Ｈｚ動きベクトルＭＶｃ１ａとし、ＭＶ１に第２係数ＫＢ１を乗じた結果を６０Ｈｚ動きベクトルＭＶｃ１ｂとして格納する。ステップＮｏ．３は図１１のフレームＦｃ３に対応し、２４Ｈｚ動きベクトルＭＶ１に第１係数ＫＡ２を乗じた結果を６０Ｈｚ動きベクトルＭＶｃ１ｃとし、ＭＶ１に第２係数ＫＢ２を乗じた結果を６０Ｈｚ動きベクトルＭＶｃ１ｄとして格納する。以下同様に２４Ｈｚ動きベクトルＭＶ２に対してステップＮｏ．３、ステップＮｏ．４を行うが、そのときに用いる第１係数ＫＡ３，ＫＡ４と第２係数ＫＢ３，ＫＢ４は前のステップの値とは異なる。
【００６５】
動きベクトル変換に用いる第１係数および第２係数とは、２４Ｈｚ動きベクトルと６０Ｈｚ動きベクトルが表現している時間軸上の差分を線形な重み成分として表わした数値のことである。なお、第１係数および第２係数は、後述するようにレート変換条件により決定する。
【００６６】
以下に、第１係数および第２係数を用いた動きベクトル変換の演算式を説明する。ここでは、２４Ｈｚ動きベクトルを第１の動きベクトル群、６０Ｈｚ動きベクトルを第２の動きベクトル群と呼ぶ。この場合も、前記数式（１）および数式（２）を用いることによって、第１の動きベクトル群の１つの動きベクトルから第２の動きベクトル群の２つの動きベクトルを算出することができる。
【００６７】
２４Ｈｚから６０Ｈｚへフレームレート変換の場合における、第２の動きベクトル群の算出方法について説明する。第２の動きベクトル群の算出に用いる数式は以下の数式（５）のようになる。ここで、ＭＶ１は第１の動きベクトル、ＭＶｃ１ａ、ＭＶｃ１ｃ、ＭＶｃ２ａ、ＭＶｃ２ｃは過去フレームＦ２と挿入フレームＦｃ間における第２の動きベクトル（後方ベクトル）群の１つのベクトル、ＭＶｃ１ｂ、ＭＶｃ１ｄ、ＭＶｃ２ｂ、ＭＶｃ２ｄは現在フレームＦ１と挿入フレームＦｃ間における第２の動きベクトル（前方ベクトル）群の１つのベクトル、ＫＡ１、ＫＡ２、ＫＡ３、ＫＡ４は第１係数、ＫＢ１、ＫＢ２、ＫＢ３、ＫＢ４は第２係数である。
ＭＶｃ１ａ＝ＫＡ１×ＭＶ１，  ＭＶｃ１ｂ＝ＫＢ１×ＭＶ１
ＭＶｃ１ｃ＝ＫＡ２×ＭＶ１，  ＭＶｃ１ｄ＝ＫＢ２×ＭＶ１
ＭＶｃ２ａ＝ＫＡ３×ＭＶ２，  ＭＶｃ２ｂ＝ＫＢ３×ＭＶ２
ＭＶｃ２ｃ＝ＫＡ４×ＭＶ２，  ＭＶｃ２ｄ＝ＫＢ４×ＭＶ２      （５）
ここで、第１係数ＫＡｍおよび第２係数ＫＢｍは、それぞれ次の数式（６）を用いて設定する。ここにＴＡｍとＴＢｍはフレーム挿入により分割されたフレーム間隔である。ＴＡｍはＭＶｃｎａまたはＭＶｃｎｃに対応するフレーム表示期間のうち、ＭＶｎに対応するフレーム表示期間と重複する期間の長さ、ＴＢｍはＭＶｃｎｂまたはＭＶｃｎｄに対応するフレーム表示期間のうち、ＭＶｎに対応するフレーム表示期間と重複する期間の長さを示す。これらは、第１のフレームレートｆ１と第２のフレームレートｆ２により決まる。またＴＡｍ、ＴＢｍの値は、挿入フレーム番号ｍによって異なる。
ＫＡｍ＝ＴＡｍ／（ＴＡｍ＋ＴＢｍ），
ＫＢｍ＝ＴＢｍ／（ＴＡｍ＋ＴＢｍ）      （６）
ここで、ｆ１＝２４Ｈｚ、ｆ２＝６０Ｈｚの場合には、第１係数ＫＡ１、ＫＡ２、ＫＡ３、ＫＡ４と、第２係数ＫＢ１、ＫＢ２、ＫＢ３、ＫＢ４は、それぞれ次の数式（７）に示した通りとなる。
ＫＡ１＝２／５，  ＫＢ１＝３／５  
ＫＡ２＝４／５，  ＫＢ２＝１／５  
ＫＡ３＝１／５，  ＫＢ３＝４／５  
ＫＡ４＝３／５，  ＫＢ４＝２／５      （７）
図１３は、２４Ｈｚ→６０Ｈｚ変換時における入出力フレームと動きベクトルの時間軸上の関係を示す図である。この場合、動きベクトル変換動作の期間Ｔｗにおいて、２４Ｈｚ映像の２フレームから６０Ｈｚ映像の５フレームを得ることと、２フレーム分の２４Ｈｚ動きベクトル（第１の動きベクトル）から５フレーム分の６０Ｈｚ動きベクトル（第２の動きベクトル）を得ることを示す。
【００６８】
２４Ｈｚ動きベクトルＭＶは、２４Ｈｚ映像の隣接する２つのフレームを参照して作成する。例えばＭＶ１はフレームＦ１とフレームＦ２を参照して生成する。ＭＶ２についても隣接するフレームＦ２とフレームＦ３を参照して生成する。
【００６９】
２４Ｈｚ動きベクトルＭＶ１から６０Ｈｚ動きベクトルＭＶｃ１ａおよびＭＶｃ１ｂへの動きベクトル変換は、２４Ｈｚ動きベクトルＭＶ１に変換係数ＫＡ１およびＫＢ１を乗じて求める。２４Ｈｚ動きベクトルＭＶ１から６０Ｈｚ動きベクトルＭＶｃ１ｃおよびＭＶｃ１ｄへの動きベクトル変換は、２４Ｈｚ動きベクトルＭＶ１に変換係数ＫＡ２およびＫＢ２を乗じて求める。同様に２４Ｈｚ動きベクトルＭＶ２から、６０Ｈｚ動きベクトルＭＶｃ２ａ，ＭＶｃ２ｂ，ＭＶｃ２ｃ，ＭＶｃ２ｄを求める。これらは数式（５）〜（７）と図１２で説明した通りである。
【００７０】
２４Ｈｚ映像から６０Ｈｚ映像を得る手順は次の通りである。まず、期間Ｔｗの起点となるフレームＦ１は、そのまま６０Ｈｚ映像のフレームＦｃ１として出力する。フレームＦｃ６についても同様で、６０Ｈｚ映像の入力フレームＦ３をそのまま出力する。
【００７１】
６０Ｈｚ映像のフレームＦｃ２からＦｃ５は、６０Ｈｚ映像のいずれの表示時間軸にも一致しないため、挿入フレームを作成して出力する。この場合、時間軸上で前後に近接する２４Ｈｚ映像の２つのフレームを参照し、上記６０Ｈｚ動きベクトルを用いて所定のアルゴリズムにより挿入フレームを作成する。例えば６０Ｈｚ映像のフレームＦｃ２は、時間軸上で前後に近接するフレームＦ１とフレームＦ２を参照し、上記６０Ｈｚ動きベクトルＭＶｃ１ａ（後方ベクトル）およびＭＶｃ１ｂ（前方ベクトル）を用いて作成する。フレームＦｃ３は、フレームＦ１とフレームＦ２を参照し、上記６０Ｈｚ動きベクトルＭＶｃ１ｃおよびＭＶｃ１ｄを用いて作成する。フレームＦｃ４とＦｃ５においては、時間軸上で前後に近接するフレームＦ２とフレームＦ３を参照し、上記６０Ｈｚ動きベクトルＭＶｃ２ａおよびＭＶｃ２ｂと、上記６０Ｈｚ動きベクトルＭＶｃ２ｃおよびＭＶｃ２ｄを用いて作成する。
【００７２】
このようにフレームレート変換では、２４Ｈｚ映像と６０Ｈｚ動きベクトルを用いて映像変換を行う。その際挿入する新しいフレームＦｃ２〜Ｆｃ５は、前後に近接する２つのフレームを参照し２つの第２の動きベクトルを用いて作成する。よって、２つのフレーム間の映像の相関性が低い場合であっても、滑らかに連続するフレームを生成することができる。
【００７３】
図１４は、本実施例における映像変換処理動作フローを示す図である。ここでは、２４Ｈｚ映像を入力して解像度変換と６０Ｈｚへのフレームレート変換を行う。
【００７４】
始めに、入力映像のフレームレートと出力映像のフレームレートの関係から変換周期ＦＮを設定する。これは、図１２の最大ステップ数に相当し、２４Ｈｚから６０Ｈｚへの変換周期ＦＮは５に設定する（Ｓ２００）。周期カウンタＦＣＮＴは図８における現在のステップＮｏに相当し、初期値としてＦＣＮＴを１に設定する（Ｓ２０１）。２４Ｈｚ映像から連続する２フレームを入力し、動きベクトル探索部５により２４Ｈｚ動きベクトルＭＶｎ（第１の動きベクトル）を求める（Ｓ２０２）。２４Ｈｚ動きベクトルＭＶｎを用いて、解像度変換部３により、入力映像の現在フレームの解像度変換を実行する（Ｓ２０３）。
【００７５】
以後、ＦＣＮＴの値に応じて処理を分岐する（Ｓ２０４）。ＦＣＮＴが１の場合（Ｓ２０４でｎｏ）、Ｓ２０３で解像度変換処理を行ったフレームをそのまま６０Ｈｚ映像のフレームとして出力する（Ｓ２０５）。
【００７６】
ＦＣＮＴが１より大きい場合（Ｓ２０４でｙｅｓ）、動きベクトル変換部６は、動きベクトル変換係数テーブルからＦＣＮＴに対応する第１係数ＫＡｍおよび第２係数ＫＢｍの読み出しを行う。すなわち、ＦＣＮＴ＝２〜５に対して、それぞれＫＡ１〜ＫＡ４、ＫＢ１〜ＫＢ４を読み出す（Ｓ２０６）。ＫＡｍとＫＢｍを用いて、２４Ｈｚ動きベクトルＭＶｎを６０Ｈｚ動きベクトルＭＶｃｎａ（ＭＶｃｎｃ）およびＭＶｃｎｂ（ＭＶｃｎｄ）（第２の動きベクトル）に変換する（Ｓ２０７）。フレームレート変換部４は、２４Ｈｚ映像の２フレームと６０Ｈｚ動きベクトルＭＶｃｎａ（ＭＶｃｎｃ）およびＭＶｃｎｂ（ＭＶｃｎｄ）を用いて４通りの挿入フレームを作成し（Ｓ２０８）、６０Ｈｚ映像のフレームレートに変換して出力する（Ｓ２０９）。
【００７７】
処理終了判定を行い（Ｓ２１０）、継続実行ならば周期カウンタＦＣＮＴに１を加算し（Ｓ２１１）、ＦＣＮＴが変換周期ＦＮよりも大きいか否かの判定を行う（Ｓ２１２）。ＦＣＮＴが変換周期ＦＮよりも大きい場合は、ＦＣＮＴを１にリセットして（Ｓ２１３）、Ｓ２０２へ戻る。Ｓ２１０の処理終了判定で処理終了ならば映像変換処理動作を終了する。
【実施例３】
【００７８】
図１５は、本発明の映像変換装置を適用した映像表示装置（テレビジョン装置）の一例を示す構成図である。本実施例の映像表示装置は、テレビ放送を受信して録画する機能と、受信した映像に解像度変換およびフレームレート変換を施した後にディスプレイに表示する機能を備えたテレビジョン装置である。
【００７９】
映像表示装置８０の構成は、映像の入出力機能として、テレビ放送の受信、ネットワークを介した映像コンテンツのダウンロード、或いは本装置が録画した映像コンテンツの外部出力などを行う映像入出力部８１と、録画した映像コンテンツを保存しておく映像コンテンツ蓄積部８３と、録画および再生動作を制御する録画再生部８２を有する。
【００８０】
前記実施例１と実施例２で説明したように、入力した映像信号の映像変換機能として、超解像処理などにより映像の解像度を上げる解像度変換部８４と、映像フレーム周波数のレート変換を行うフレームレート変換部８５と、これらの映像変換を実行するための動きベクトル探索部８６と動きベクトル変換部８７とを有する。そのとき、解像度変換部８４においては動きベクトル探索部８６にて探索した第１の動きベクトルを用いるが、フレームレート変換部８５ではこれを動きベクトル変換部８７にて変換した第２の動きベクトルを用いるので、動きベクトルの探索工程が１回で済む。
【００８１】
表示部９０は、映像変換した映像を表示する。音声信号処理部８８は、入力音声信号を所定の手順で処理し、スピーカ８９から出力する。ユーザインタフェース部９１はユーザの操作を受付ける。制御部９２は、録画再生部８２に対して録画動作および再生動作の制御を行い、フレームレート変換部８５および動きベクトル変換部８７に対してフレーム周波数の変換を行うための補間モード信号を送出する。
【００８２】
本実施例の装置の各要素は、ハードウエアとして実装した形態で実施しても良いし、信号処理用ＬＳＩを用いて、他のハードウエア機能と連動したソフトウエアの形態で実施しても良い。また表示部９０には、ＰＤＰ、液晶、有機ＥＬ等の映像表示用デバイスを適用できる。
【００８３】
本実施例の映像表示装置では、映像のフレームレートを６０Ｈｚから１２０Ｈｚに、あるいは２４Ｈｚから６０Ｈｚに変換して表示することができるが、フレームレートに関する標準規格は複数存在しており、いずれのフレームレートの変換に対しても対応可能である。例えば、３０Ｈｚから６０Ｈｚ、５０Ｈｚから１００Ｈｚの変換も可能である。また、フレームレートの周波数として、映像周波数規格として定義されている２３．９８Ｈｚ、２９．９７Ｈｚ、５９．９４Ｈｚ、１１９．８８Ｈｚ等にも対応可能である。
【００８４】
本実施例の映像表示装置によれば、任意の仕様の映像を入力し、表示部の仕様に合致した解像度変換およびフレームレート変換を実施して表示する機能をより簡単な構成で実現できる。
【図面の簡単な説明】
【００８５】
【図１】本発明に係る映像変換装置の一実施例を示す構成図。
【図２】本実施例のフレームレート変換の具体例を示す図。
【図３】解像度変換部３の内部構成の一例を示す図。
【図４】フレームレート変換部４の内部構成の一例を示す図。
【図５】動きベクトル探索と動きベクトル変換を模式的に示す図。
【図６】フレームレート変換の全体概要を示す図（６０Ｈｚ→１２０Ｈｚ）。
【図７】動きベクトルを変換する手順を示す図。
【図８】動きベクトル変換用のテーブルを示す図。
【図９】入出力フレームと動きベクトルの時間軸上の関係を示す図。
【図１０】映像変換処理動作フローを示す図。
【図１１】フレームレート変換の全体概要を示す図（２４Ｈｚ→６０Ｈｚ）。
【図１２】動きベクトル変換用のテーブルを示す図。
【図１３】入出力フレームと動きベクトルの時間軸上の関係を示す図。
【図１４】映像変換処理動作フローを示す図。
【図１５】映像変換装置を適用した映像表示装置の一例を示す構成図。
【符号の説明】
【００８６】
３，８４…解像度変換部、４，８５…フレームレート変換部、５，８６…動きベクトル探索部、６，８７…動きベクトル変換部、７…変換係数テーブル、１０…映像変換装置、３３…画素補間部、４３…フレーム補間部、４５…切換部、８０…映像表示装置、ＭＶ，ＭＶｃ…動きベクトル、ＫＡ，ＫＢ…変換係数、Ｓｃ…補間モード信号。
【図１】
2009239698.tif 000003
【図２】
2009239698.tif 000004
【図３】
2009239698.tif 000005
【図４】
2009239698.tif 000006
【図５】
2009239698.tif 000007
【図６】
2009239698.tif 000008
【図７】
2009239698.tif 000009
【図８】
2009239698.tif 000010
【図９】
2009239698.tif 000011
【図１０】
2009239698.tif 000012
【図１１】
2009239698.tif 000013
【図１２】
2009239698.tif 000014
【図１３】
2009239698.tif 000015
【図１４】
2009239698.tif 000016
【図１５】
2009239698.tif 000017