(57)【要約】【課題】  動画像の動きを滑らかにする画質の改善効果を高めることができる画像データ変換装置を提供する。【解決手段】  原プログレッシブ画像データが２−３プルダウン方式で変換されたインターレース画像データがテレシネ信号であり、１シーケンスのどの位置のものであるかをシーケンス検出手段１が検出すると、その検出結果に基づいてメモリ制御手段４４がインターレース画像データをフレームメモリ４１〜４３に書き込むとともに、フレームメモリから逆変換画像データを読み出すと、連続して読み出された２個の逆変換画像データに対して補間手段４５はそれぞれの成分が２／５ずつ変化する割合で合成して補間フレーム画像データを生成し、選択手段４６がフレームメモリから読み出された１つの逆変換画像データと補間手段で生成された４個の補間フレーム画像データとを所定の順序で選択的に取り出してプログレッシブ画像データとする。【選択図】  図３
2007081755.tif 000002
【特許請求の範囲】
【請求項１】
フィルムソースを電気信号に変換した２４コマ／秒のフィルム画像データが２−３プルダウン方式で変換されている６０フィールド／秒のインターレース画像データを、６０フレーム／秒のプログレッシブ画像データに変換する画像データ変換装置において、
前記フィルム画像データの少なくとも３コマ分の前記インターレース画像データを書き込み、前記フィルム画像データの１コマごとに前記インターレース画像データにおける奇数フィールドデータと偶数フィールドデータとを合成して前記フィルム画像データと同等画質の逆変換画像データを出力するように制御されるフレームメモリと、
前記インターレース画像データにおいて、前記フィルム画像データの第１のコマが変換されている連続する２フィールドと、前記フィルム画像データの第２のコマが変換されている連続する３フィールドとを合わせた連続する５フィールドを１シーケンスとして順次入力される、前記インターレース画像データが前記１シーケンス中に存在する前記５フィールドのうちいずれのフィールドのものであるかを検出するシーケンス検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フィルム画像データの連続する少なくとも３コマ分の前記インターレース画像データを前記フレームメモリに順次書き込むとともに、書き込まれた前記インターレース画像データを選択的に読み出す制御信号によって前記逆変換画像データを前記フレームメモリから順次読み出すメモリ制御手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから連続して読み出された２個の前記逆変換画像データを、それぞれの画像データ成分が２／５ずつ変化する割合で合成して補間フレーム画像データを生成する補間手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから読み出された１つの前記逆変換画像データが前記１シーケンス中のいずれか１つのフィールドに対応する位置に含まれ、前記補間手段で生成された４個の補間フレーム画像データが前記１シーケンス中の他の４つのフィールドにそれぞれ対応する位置に含まれ、かつ前記１シーケンスに含まれる前記逆変換画像データ及び前記補間フレーム画像データの時系列的な順序は前記逆変換画像データの成分が２／５ずつ変化するように、前記フレームメモリ及び前記補間手段から選択的に取り出して、前記プログレッシブデータとして出力する選択手段とを、
備えたことを特徴とする画像データ変換装置。
【請求項２】
フィルムソースを電気信号に変換した２４コマ／秒のフィルム画像データが２−３プルダウン方式で変換されている６０フィールド／秒のインターレース画像データを、６０フレーム／秒のプログレッシブ画像データに変換する画像データ変換装置において、
前記フィルム画像データの少なくとも３コマ分の前記インターレース画像データを書き込み、前記フィルム画像データの１コマごとに前記インターレース画像データにおける奇数フィールドデータと偶数フィールドデータとを合成して前記フィルム画像データと同等画質の逆変換画像データを出力するように制御されるフレームメモリと、
前記インターレース画像データにおいて、前記フィルム画像データの第１のコマが変換されている連続する２フィールドと、前記フィルム画像データの第２のコマが変換されている連続する３フィールドとを合わせた連続する５フィールドを１シーケンスとして順次入力される、前記インターレース画像データが前記１シーケンス中に存在する前記５フィールドのうちいずれのフィールドのものであるかを検出するシーケンス検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フィルム画像データの連続する少なくとも３コマ分の前記インターレース画像データを前記フレームメモリに順次書き込むとともに、書き込まれた前記インターレース画像データを選択的に読み出す制御信号によって前記逆変換画像データを前記フレームメモリから順次読み出すメモリ制御手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから連続して読み出された２つの前記逆変換画像データごとに、これら２つの前記逆変換画像データの相互間の動きベクトルを検出する動き検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記動き検出手段で検出された前記相互間の動きベクトルを、それぞれの成分が２／５ずつ変化する割合で内分し、この内分によって生成される２つの動きベクトルの成分をそれぞれ自身に対する動きベクトルとして前記逆変換画像データを動き補償補間し、得られた２つの動き補償補間データを平均して補間フレーム画像データを生成する動き補償手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから読み出された１つの前記逆変換画像データが前記１シーケンスのいずれか１つに対応する位置に含まれ、前記動き補償手段で生成された４個の補間フレーム画像データが前記１シーケンスの他の４つにそれぞれ対応する位置に含まれ、かつ前記１シーケンスに含まれる前記逆変換画像データ及び前記補間フレーム画像データの時系列的な順序は前記逆変換画像データの成分が順次２／５ずつ変化するように、前記フレームメモリ及び前記動き補償手段から選択的に取り出して、前記プログレッシブデータとして出力する選択手段とを、
備えたことを特徴とする画像データ変換装置。
【請求項３】
前記動き検出手段は前記逆変換画像データを複数のブロックに分割し、前記ブロックのそれぞれについて動きベクトルを検出し、
前記動き補償手段は前記動きベクトルを、それぞれの成分が２／５ずつ変化する割合で内分して生成される２つの前記動きベクトルから２つの動き補償ブロックデータを生成し、これら動き補償ブロックデータを平均して補間ブロックデータとし、前記補間ブロックデータを１フレーム全体について合成したものを前記補間フレーム画像データとする、
ことを特徴とする請求項２に記載の画像データ変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルムソースの原プログレッシブ画像データが２−３プルダウン方式で変換されたインターレース画像データを、このインターレース画像データとはフレーム周波数が等しいプログレッシブ画像データに変換する画像データ変換装置に関する。
【背景技術】
【０００２】
フィルムに記録された映画の画像を、ＤＶＤ（Digital Versatile Disc）などの記録媒体に記録し、又はデジタル放送などによって伝送する場合、毎秒２４コマの映画の画像を、フレーム周波数が２４Ｈｚ、１フレームのライン（走査線）数が、例えば５２５本のプログレッシブ画像データとして記録媒体に記録し、又は伝送する。
【０００３】
ＤＶＤプレーヤなどの再生装置や、デジタル放送受信機などの受信装置では、テレシネ変換装置や、ＭＰＥＧデコーダなどにおいて、２−３プルダウン方式によって、フレーム周波数が２４Ｈｚの原プログレッシブ画像データをフィールド周波数が６０Ｈｚのインターレース画像データに変換する。この画像データ変換方法を、図６を用いて以下に説明する。
【０００４】
図６（ａ）に示すように、原プログレッシブ画像データ（以下、１フレーム分の画像データ又は１フィールド分の画像データを単に画像とも言う）が、フレーム周波数が２４Ｈｚのフレーム画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆで構成されている。この原プログレッシブ画像データから、図６（ｂ）に示すように、周波数が６０Ｈｚのインターレース画像データを生成する場合、原プログレッシブ画像データのフレーム画像Ａの、奇数ラインを奇数フィールド画像Ａｔとして、偶数ラインを偶数フィールド画像Ａｂとして順次抽出し、原プログレッシブ画像データのフレーム画像Ｂの、奇数ラインを奇数フィールド画像Ｂｔとして、偶数ラインを偶数フィールド画像Ｂｂとして、さらに、再度、奇数ラインを奇数フィールド画像Ｂｔとして順次抽出し、原プログレッシブ画像データのフレーム画像Ｃの、偶数ラインを偶数フィールド画像Ｃｂとして、奇数ラインを奇数フィールド画像Ｃｔとして順次抽出し、原プログレッシブ画像データのフレーム画像Ｄの、偶数ラインを偶数フィールド画像Ｄｂとして、奇数ラインを奇数フィールド画像Ｄｔとして、さらに、再度、偶数ラインを偶数フィールド画像Ｄｂとして順次抽出し、以下、同様にして、原プログレッシブ画像データのフレーム画像Ｅの、奇数ラインを奇数フィールド画像Ｅｔとして、偶数ラインを偶数フィールド画像Ｅｂとして順次抽出し、原プログレッシブ画像データのフレーム画像Ｆの、奇数ラインを奇数フィールド画像Ｆｔとして、偶数ラインを偶数フィールド画像Ｆｂとして、さらに、再度、奇数ラインを奇数フィールド画像Ｆｔとして順次抽出する。
【０００５】
次に、インターレース画像データの奇数フィールド画像Ａｔ及び偶数フィールド画像Ａｂを２度にわたって読み取り、それぞれ単純に合成して逆変換画像データのフレーム画像Ａ、Ａを生成し、続いて、インターレース画像データの奇数フィールド画像Ｂｔ、偶数フィールド画像Ｂｂ及び奇数フィールド画像Ｂｔについて、隣接するフィールド画像を順次読み取り、それぞれ単純に合成して逆変換画像データのフレーム画像Ｂ、Ｂ、Ｂを生成する。以下、同様にして、逆変換画像データの逆パリティの画像を合成してフレーム画像Ｃ、Ｃ、Ｄ、Ｄ、Ｄ、Ｅ、Ｅ、Ｆ、Ｆ、Ｆを生成する。これによって、図６（ｃ）に示すように、６０Ｈｚの逆変換画像データが得られる。
【０００６】
しかしながら、上述した画像データ変換方法では、図６（ｃ）に示すとおり、フレーム画像Ａが２フレーム出力された後、フレーム画像Ｂが３フレーム出力され、以降、同様の出力状態が繰り返される。このように、同じフレームが２フレーム続く場合と、別の同じフレームが３フレーム続く場合とが交互に出現するため、動画像では動きが滑らかでない場合があった。そこで、動画像の動きを滑らかにする複数の画像データ変換方法が提案されている（例えば、下記の特許文献１参照）。
【０００７】
図７は動画の動きが滑らかに見えるように、図６（ｃ）に示した逆変換画像データを更に、補間処理することによって、フレーム周波数が６０Ｈｚのプログレッシブ画像データを得る複数の方法を示した模式図である。ここで、図７（ｄ）中に示した第１〜第５の方法のうち、第１の方法について説明すれば、第２〜第５の方法は図中の記載から容易に理解できると思われるので、第１の方法についてのみ説明し、第２〜第５の方法についてはそれらの説明を省略する。
【０００８】
第１の方法では、プログレッシブ画像データ（ｄ−１）として示すように、プログレッシブ画像データの第１フレームでは、逆変換画像データの第１フレームの画像Ａを、そのまま当該フレームの画像とし、プログレッシブ画像データの第２フレーム及び第３フレームでは、それぞれ逆変換画像データの第２フレームの画像Ａと第３のフレームの画像Ｂとを（１／２）：（１／２）の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第４フレームでは、逆変換画像データの第４フレームの画像Ｂをそのまま当該フレームの画像とし、プログレッシブ画像データの第５フレームでは、逆変換画像データの第５フレームの画像Ｂと第６フレームの画像Ｃとを（１／２）：（１／２）の比で合成した画像を、当該フレームの画像とし、以下５フレームを１シーケンス（一巡周期）として、同様の補間処理を繰り返す。
【特許文献１】特開２００４−１５７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献１に記載された第１〜第５の画像データ変換方法では、図７（ｃ）に示す逆変換画像データを図７（ｄ）に示すプログレッシブ画像データに変換する際、逆変換画像データの合成比率を１／２に固定したり、プログレッシブ画像データのフレームの位置によって１／２、１／４、３／４に変化させたり、あるいは１／２、１／３、２／３に変化させたりしている。これは、図７（ｃ）に示すように、例えばフレーム画像Ａが２フレーム出力された後、フレーム画像Ｂが３フレーム出力され、以降同様の出力状態が繰り返される逆変換画像データに対応させて合成比率を適宜に決定したと考えられる。この結果、隣接するフレーム間での合成比率の変化分がフレームによって異なることになり、動画像の動きを滑らかにする画質改善の効果が十分ではないという問題があった。
【００１０】
本発明は上記の問題点を解決するためになされたもので、その目的は、フィルムソースの原プログレッシブ画像データが２−３プルダウン方式で変換されたインターレース画像データを、このインターレース画像データとはフレーム周波数が等しいプログレッシブ画像データに変換する際、動画像の動きを滑らかにする画質の改善効果を更に高めることができる画像データ変換装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、フィルムソースを電気信号に変換した２４コマ／秒のフィルム画像データが２−３プルダウン方式で変換されている６０フィールド／秒のインターレース画像データを、６０フレーム／秒のプログレッシブ画像データに変換する画像データ変換装置において、
前記フィルム画像データの少なくとも３コマ分の前記インターレース画像データを書き込み、前記フィルム画像データの１コマごとに前記インターレース画像データにおける奇数フィールドデータと偶数フィールドデータとを合成して前記フィルム画像データと同等画質の逆変換画像データを出力するように制御されるフレームメモリと、
前記インターレース画像データにおいて、前記フィルム画像データの第１のコマが変換されている連続する２フィールドと、前記フィルム画像データの第２のコマが変換されている連続する３フィールドとを合わせた連続する５フィールドを１シーケンスとして順次入力される、前記インターレース画像データが前記１シーケンス中に存在する前記５フィールドのうちいずれのフィールドのものであるかを検出するシーケンス検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フィルム画像データの連続する少なくとも３コマ分の前記インターレース画像データを前記フレームメモリに順次書き込むとともに、書き込まれた前記インターレース画像データを選択的に読み出す制御信号によって前記逆変換画像データを前記フレームメモリから順次読み出すメモリ制御手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから連続して読み出された２個の前記逆変換画像データを、それぞれの画像データ成分が２／５ずつ変化する割合で合成して補間フレーム画像データを生成する補間手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから読み出された１つの前記逆変換画像データが前記１シーケンス中のいずれか１つのフィールドに対応する位置に含まれ、前記補間手段で生成された４個の補間フレーム画像データが前記１シーケンス中の他の４つのフィールドにそれぞれ対応する位置に含まれ、かつ前記１シーケンスに含まれる前記逆変換画像データ及び前記補間フレーム画像データの時系列的な順序は前記逆変換画像データの成分が２／５ずつ変化するように、前記フレームメモリ及び前記補間手段から選択的に取り出して、前記プログレッシブデータとして出力する選択手段とを、
備えたことを特徴とする。
【００１２】
また、本発明は、フィルムソースを電気信号に変換した２４コマ／秒のフィルム画像データが２−３プルダウン方式で変換されている６０フィールド／秒のインターレース画像データを、６０フレーム／秒のプログレッシブ画像データに変換する画像データ変換装置において、
前記フィルム画像データの少なくとも３コマ分の前記インターレース画像データを書き込み、前記フィルム画像データの１コマごとに前記インターレース画像データにおける奇数フィールドデータと偶数フィールドデータとを合成して前記フィルム画像データと同等画質の逆変換画像データを出力するように制御されるフレームメモリと、
前記インターレース画像データにおいて、前記フィルム画像データの第１のコマが変換されている連続する２フィールドと、前記フィルム画像データの第２のコマが変換されている連続する３フィールドとを合わせた連続する５フィールドを１シーケンスとして順次入力される、前記インターレース画像データが前記１シーケンス中に存在する前記５フィールドのうちいずれのフィールドのものであるかを検出するシーケンス検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フィルム画像データの連続する少なくとも３コマ分の前記インターレース画像データを前記フレームメモリに順次書き込むとともに、書き込まれた前記インターレース画像データを選択的に読み出す制御信号によって前記逆変換画像データを前記フレームメモリから順次読み出すメモリ制御手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから連続して読み出された２つの前記逆変換画像データごとに、これら２つの前記逆変換画像データの相互間の動きベクトルを検出する動き検出手段と、
前記シーケンス検出手段の検出結果に基づいて、前記動き検出手段で検出された前記相互間の動きベクトルを、それぞれの成分が２／５ずつ変化する割合で内分し、この内分によって生成される２つの動きベクトルの成分をそれぞれ自身に対する動きベクトルとして前記逆変換画像データを動き補償補間し、得られた２つの動き補償補間データを平均して補間フレーム画像データを生成する動き補償手段と、
前記シーケンス検出手段の検出結果に基づいて、前記フレームメモリから読み出された１つの前記逆変換画像データが前記１シーケンスのいずれか１つに対応する位置に含まれ、前記動き補償手段で生成された４個の補間フレーム画像データが前記１シーケンスの他の４つにそれぞれ対応する位置に含まれ、かつ前記１シーケンスに含まれる前記逆変換画像データ及び前記補間フレーム画像データの時系列的な順序は前記逆変換画像データの成分が順次２／５ずつ変化するように、前記フレームメモリ及び前記動き補償手段から選択的に取り出して、前記プログレッシブデータとして出力する選択手段とを、
備えたことを特徴とする。
【００１３】
ここで、前記動き検出手段は前記逆変換画像データを複数のブロックに分割し、前記ブロックのそれぞれについて動きベクトルを検出し、
前記動き補償手段は前記動きベクトルを、それぞれの成分が２／５ずつ変化する割合で内分して生成される２つの前記動きベクトルから２つの動き補償ブロックデータを生成し、これら動き補償ブロックデータを平均して補間ブロックデータとし、前記補間ブロックデータを１フレーム全体について合成したものを前記補間フレーム画像データとする、
ことを特徴とする。
【発明の効果】
【００１４】
本発明は上記のように構成したことにより、２−３プルダウン方式で変換されたインターレース画像データからフィルムソースの原プログレッシブ画像データと同等の逆変換画像データを生成し、さらに、この逆変換画像データを用いて補間フレーム画像データを生成しているため、プログレッシブ画像データの各フレームに含まれる逆変換画像データの成分を順次２／５ずつ変化させることが可能となり、これによって動画像の動きを滑らかにする画質の改善効果を更に高めることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。図１は本発明に係る画像データ変換装置によって実施する第１の画像データ変換方法を示す模式図である。図１（ａ）はフィルムソースの原プログレッシブ画像データであり、この原プログレッシブ画像データが２−３プルダウン方式で変換されて図１（ｂ）に示すインターレース画像データとなる。本発明に係る画像データ変換装置は、図１（ｂ）に示すインターレース画像データを入力として、まず、図１（ｃ）に示す逆変換画像データを生成し、次に、この逆変換画像データから図１（ｄ）に示すプログレッシブ画像データを生成するものであるが、理解を容易にするために図１（ａ）〜（ｄ）に示す各画像データの構成について説明した後、画像データ変換装置の実施の形態について説明することとする。
【００１６】
図１（ａ）に示すように、原プログレッシブ画像データはフレーム周波数が２４Ｈｚのフレーム画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆで構成されている。この原プログレッシブ画像データから、図１（ｂ）に示すように、周波数が６０Ｈｚのインターレース画像データを生成する場合、原プログレッシブ画像データのフレーム画像Ａの、奇数ラインを奇数フィールド画像Ａｔとして、偶数ラインを偶数フィールド画像Ａｂとして順次抽出し、原プログレッシブ画像データのフレーム画像Ｂの、奇数ラインを奇数フィールド画像Ｂｔとして、偶数ラインを偶数フィールド画像Ｂｂとして、さらに、再度、奇数ラインを奇数フィールド画像Ｂｔとして順次抽出し、原プログレッシブ画像データのフレーム画像Ｃの、偶数ラインを偶数フィールド画像Ｃｂとして、奇数ラインを奇数フィールド画像Ｃｔとして順次抽出し、原プログレッシブ画像データのフレーム画像Ｄの、偶数ラインを偶数フィールド画像Ｄｂとして、奇数ラインを奇数フィールド画像Ｄｔとして、さらに、再度、偶数ラインを偶数フィールド画像Ｄｂとして順次抽出し、以下、同様にして、原プログレッシブ画像データのフレーム画像Ｅの、奇数ラインを奇数フィールド画像Ｅｔとして、偶数ラインを偶数フィールド画像Ｅｂとして順次抽出し、原プログレッシブ画像データのフレーム画像Ｆの、奇数ラインを奇数フィールド画像Ｆｔとして、偶数ラインを偶数フィールド画像Ｆｂとして、さらに、再度、奇数ラインを奇数フィールド画像Ｆｔとして順次抽出する。
【００１７】
次に、図１（ｂ）に示すインターレース画像データの奇数フィールド画像Ａｔ及び偶数フィールド画像Ａｂを合成して逆変換画像データの第１フレームの画像Ａを生成し、続いて、インターレース画像データの奇数フィールド画像Ｂｔ及び偶数フィールド画像Ｂｂを合成して逆変換画像データの第２フレームの画像Ｂを生成する。以下、同様にして、逆変換画像データの逆パリティの画像を合成して第３〜第６フレームの画像Ｃ、Ｄ、Ｅ、Ｆを生成する。これによって、図１（ｃ）に示すように、原プログレッシブ画像データと同等の２４Ｈｚの逆変換画像データが得られる。
【００１８】
次に、図１（ｄ）に示すように、プログレッシブ画像データの第１フレームでは、逆変換画像データの第１フレームの画像Ａを、そのまま当該フレームの画像とし、プログレッシブ画像データの第２フレームでは、逆変換画像データの第１フレームの画像Ａと第２フレームの画像Ｂとを（３／５）：（２／５）の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第３フレームでは、逆変換画像データの第１フレームの画像Ａと第２フレームの画像Ｂとを（１／５）：（４／５）の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第４フレームでは、逆変換画像データの第２フレームの画像Ｂと第３フレームの画像Ｃとを（４／５）：（１／５）の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第５フレームでは、逆変換画像データの第２フレームの画像Ｂと第３フレームの画像Ｃとを（２／５）：（３／５）の比で合成した画像を当該フレームの画像とし、以下５フレームを１シーケンスとして、同様の補間処理を繰り返す。これらの補間処理は、図１（ｂ）に示すインターレース画像データのフィールド画像Ａｔ、Ａｂ、Ｂｔ、Ｂｂ、Ｂｔ、Ｃｂ、・・・・・・、Ｆｔに同期して実行され、これによって６０Ｈｚのプログレッシブ画像データが得られる。
【００１９】
図２は本発明に係る画像データ変換装置によって実施する第２の画像データ変換方法を示す模式図である。ここで、図２（ａ）、（ｂ）及び（ｃ）間の変換処理は図１（ａ）、（ｂ）及び（ｃ）間の変換処理と全く同様であるためそれらの説明を省略し、図２（ｃ）に示す逆変換画像データを図２（ｄ）に示すプログレッシブ画像データに変換する場合についてのみ説明する。
【００２０】
図２（ｄ）に示すように、プログレッシブ画像データの第１フレームでは、逆変換画像データの第１フレームの画像Ａと第２フレームの画像Ｂとを（４／５）：（１／５）の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第２フレームでは、逆変換画像データの第１フレームの画像Ａと第２フレームの画像Ｂとを（２／５）：（３／５）の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第３フレームでは、逆変換画像データの第２フレームの画像Ｂを、そのまま当該フレームの画像とし、プログレッシブ画像データの第４フレームでは、逆変換画像データの第２フレームの画像Ｂと第３フレームの画像Ｃとを（３／５）：（２／５）の比で合成した画像を当該フレームの画像とし、プログレッシブ画像データの第５フレームでは、逆変換画像データの第２フレームの画像Ｂと第３フレームの画像Ｃとを（１／５）：（４／５）の比で合成した画像を当該フレームの画像とし、以下５フレームを１シーケンスとして、同様の補間処理を繰り返す。これらの補間処理は、図２（ｂ）に示すインターレース画像データのフィールド画像Ａｔ、Ａｂ、Ｂｔ、Ｂｂ、Ｂｔ、Ｃｂ、・・・・・・、Ｆｔに同期して実行され、これによって６０Ｈｚのプログレッシブ画像データが得られる。
【００２１】
このように、図１に示す第１の画像データ変換方法及び図２に示す第２の画像データ変換方法によって変換されたプログレッシブ画像データは、それぞれ逆変換画像データＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの成分がフレームごとに順次２／５ずつ変化するように配列されており、このような補間処理を行うことによって動画像の動きを滑らかにする画質の改善効果が高められる。
【００２２】
次に、本発明に係る画像データ変換装置の実施の形態について説明する。
＜第１の実施の形態＞
図３は本発明に係る画像データ変換装置の第１の実施の形態の構成を示すブロック図である。第１の実施の形態は、入力インターレース信号が非テレシネ信号であるとき、通常の「インターレース→プログレッシブ変換処理」を行って出力プログレッシブ信号とする。反対に、入力インターレース信号がテレシネ信号と呼ばれる図１（ｂ）に示すインターレース画像データであるとき図１（ｄ）に示すプログレッシブ画像データを出力プログレッシブ信号として出力するように構成されている。
【００２３】
図３において、入力インターレース信号はシーケンス検出回路１とスイッチ（図面ではｓｗと略記する）２とに加えられる。このうち、シーケンス検出回路１は入力インターレース信号が２−３プルダウン方式で変換されたテレシネ信号であることを検出する。すなわち、シーケンス検出回路１はフィルムソースの第１のコマの原プログレッシブ画像データが変換された連続する２フィールドと、フィルムソースの第２のコマの原プログレッシブ画像データが変換された連続する３フィールドとを合わせた連続する５フィールドのインターレース画像データであることを検出し、さらに、５フィールドを１シーケンスとして、順次入力されるインターレース画像データが１シーケンスのどの位置のものであるかを検出する。スイッチ２はシーケンス検出回路１の検出結果に応じて、インターレース画像データがテレシネ信号であるか否かにより異なる端子から出力するものである。このスイッチ２の一方の出力端、すなわち非テレシネ信号の出力端には通常プログレッシブ変換回路３の入力端が接続され、他方の出力端、すなわちテレシネ信号の出力端にはテレシネ信号プログレッシブ変換回路４の入力端が接続されている。通常プログレッシブ変換回路３はこれに入力されるプログレッシブ画像データの出力タイミングを調整するもので、テレシネ信号プログレッシブ変換回路４はシーケンス検出回路１の検出結果に基づいて、インターレース画像データから２４Ｈｚの逆変換画像データを生成し、さらに、この逆変換画像データから６０Ｈｚのプログレッシブ画像データを生成するものである。そして、通常プログレッシブ変換回路３の出力端及びテレシネ信号プログレッシブ変換回路４の出力端はそれぞれ選択回路６の入力端に接続されている。選択回路６はシーケンス検出回路１の検出結果に基づき、入力インターレース信号がテレシネ信号でないとき通常プログレッシブ変換回路３の出力を選択し、入力インターレース信号がテレシネ信号であるときテレシネ信号プログレッシブ変換回路４の出力を選択してそれぞれ出力プログレッシブ信号とするものである。
【００２４】
上述したテレシネ信号プログレッシブ変換回路４は、フィルムソースの３コマ分のインターレース画像データを書き込み、フィルムソースの１コマごとに奇数フィールドデータと偶数フィールドデータとを合成して原プログレッシブ画像データと同等の逆変換画像データを生成するためのフレームメモリ４１、４２、４３と、シーケンス検出回路１の検出結果に基づいて、フィルムソースの連続する３コマ分のインターレース画像データをフレームメモリ４１、４２、４３に順次書き込むとともに、フレームメモリ４１、４２、４３で生成される逆変換画像データを順次読み出すメモリ制御部４４と、シーケンス検出回路１の検出結果に基づいて、フレームメモリ４１、４２、４３から連続して読み出された２個の逆変換画像データを、それぞれの成分が２／５ずつ変化する割合で合成して補間フレーム画像データを生成する補間回路４５と、シーケンス検出回路１の検出結果に基づいて、フレームメモリ４１、４２、４３から読み出された１つの逆変換画像データが１シーケンスのいずれか１つに対応する位置に含まれ、補間回路４５で生成された４個の補間フレーム画像データが１シーケンスの他の４つにそれぞれ対応する位置に含まれ、かつ１シーケンスに含まれる逆変換画像データ及び補間フレーム画像データの順序が逆変換画像データの成分が順次２／５ずつ変化するものをフレームメモリ４１、４２、４３及び補間回路４５から選択的に取り出して、プログレッシブデータとして出力する選択回路４６とを備えている。
【００２５】
上記のように構成された第１の実施の形態の動作について以下に説明する。まず、入力インターレース信号はシーケンス検出回路１に入力され、２−３プルダウン方式で変換されたテレシネ信号であるか否かが検出され、さらに、テレシネ信号である場合には５フィールドを１シーケンスとしてどの位置のインターレース画像データであるかが検出される。スイッチ２は入力インターレース信号がテレシネ信号でないことが検出されたとき入力インターレース信号を通常プログレッシブ変換回路３に加え、入力インターレース信号がテレシネ信号であることが検出されたときインターレース画像データをテレシネ信号プログレッシブ変換回路４に加える。通常プログレッシブ変換回路３は、入力インターレース信号がシーケンス検出回路１においてテレシネ信号でないと判断された場合、その入力信号に「インターレース→プログレッシブ変換処理」を行って出力する。この処理は、例えば、入力のフィールド画像から画面内での補間を行って現在のフィールドと逆のパリティのフィールドを生成し、元のフィールドと合成してフレームを構成することによりプログレッシブ信号を生成する。テレシネ信号プログレッシブ変換回路４はインターレース画像データから逆変換画像データを生成し、さらに、逆変換画像データからプログレッシブ画像データを生成して出力する。選択回路６はシーケンス検出回路１の検出結果に基づき、入力インターレース信号がテレシネ信号でないとき通常プログレッシブ変換回路３の出力を選択し、入力インターレース信号がテレシネ信号であるときテレシネ信号プログレッシブ変換回路４の出力を選択して出力プログレッシブ信号とする。
【００２６】
次に、テレシネ信号プログレッシブ変換回路４の詳細な動作について説明する。シーケンス検出回路１によって、入力インターレース信号がテレシネ信号であると判定されたとき、メモリ制御部４４の書き込み指令によって図１（ｂ）に示すフィールド画像データＡｔとＡｂとがフレームメモリ４１に書き込まれ、図１（ｂ）に示すフィールド画像データＢｔとＢｂとがフレームメモリ４２に書き込まれ、図１（ｂ）に示すフィールド画像データＣｂとＣｔとがフレームメモリ４３に書き込まれる。フレームメモリ４１、４２、４３はそれぞれに書き込まれた２つのフィールド画像データを合成する機能を有し、メモリ制御部４４の読み出し指令によって図１（ｃ）に示すフレーム画像データＡ、Ｂ、Ｃが２つずつ順に読み出されて補間回路４５と選択回路４６とに加えられる。
【００２７】
補間回路４５は、図１（ｄ）に示すように、逆変換画像データの第１フレームの画像Ａと第２フレームの画像Ｂとを（３／５）：（２／５）の比で合成し、次に、逆変換画像データの第１フレームの画像Ａと第２フレームの画像Ｂとを（１／５）：（４／５）の比で合成し、次に、逆変換画像データの第２フレームの画像Ｂと第３フレームの画像Ｃとを（４／５）：（１／５）の比で合成し、次に、逆変換画像データの第２フレームの画像Ｂと第３フレームの画像Ｃとを（２／５）：（３／５）の比で合成する。選択回路４６は、図１（ｄ）に示すように、フレームメモリ４１から呼び出された画像データＡが１シーケンスの第１フレームに配置され、補間回路４５で順次合成して得られた４つの画像データが第２フレーム〜第５フレームに配置されるように選択して選択回路６に加える。
【００２８】
次に、メモリ制御部４４の書き込み指令によって図１（ｂ）に示すフィールド画像データＣｂとＣｔとがフレームメモリ４１に転送され、図１（ｂ）に示すフィールド画像データＤｂとＤｔとがフレームメモリ４２に書き込まれ、図１（ｂ）に示すフィールド画像データＥｔとＥｂとがフレームメモリ４３に書き込まれる。そして、上述したと同様にして、フレームメモリ４１、４２、４３からフレーム画像データＣ、Ｄ、Ｅが読み出されて次の１シーケンスのフレーム画像データの補間処理と選択とが実行される。
【００２９】
ここで、シーケンス検出回路１の動作原理について説明する。図１（ｂ）に示すようなインターレース画像データに対して、現在のフィールドと２フィールド前のフィールドの輝度信号の差分の絶対値を画面全体について積算し、その値が所定の閾値以下である場合、現在のフィールドが繰り返しフィールドであると判定し、繰り返しフィールドが５フィールド周期で現れることを検出した場合にテレシネ信号であると判定し、繰り返しフィールドの次のフィールドから連続する５フィールドずつを１シーケンスとする。
【００３０】
以上、図１に示した第１の画像データ変換方法を実施する場合について説明したが、図２に示した第２の画像データ変換方法については、補間回路４５によって各フレーム間の合成比率を変えて補間処理することによって４つの画像データを生成し、選択回路４６によってフレームメモリ４１からの画像データの呼び出しと補間回路４５で合成された４つの画像データの選択順序を変更すれば容易に実施することができるのでその説明を省略する。
【００３１】
このようにして、第１の実施の形態によれば、図１に示した第１の画像データ変換方法及び図２に示した第２の画像データ変換方法を実施することが可能となり、これによって動画像の動きを滑らかにする画質の改善効果を従来装置以上に高めることができる。
【００３２】
＜第２の実施の形態＞
図４は本発明に係る画像データ変換装置の第２の実施の形態の構成を示すブロック図である。図中、第１の実施の形態と同一の符号を付したものはそれぞれ同一の要素を示している。第１の実施の形態ではフレームメモリ４１、４２、４３、メモリ制御部４４、補間回路４５及び選択回路４６で構成されるテレシネ信号プログレッシブ変換回路４を備えていたが、第２の実施の形態はその代わりにフレームメモリ５１、５２、５３、メモリ制御部５４、動き検出回路５５、動き補償回路５６及び選択回路５７で構成されるテレシネ信号プログレッシブ変換回路５を備えた点が異なっている。そこで、第１の実施の形態と構成を異にするテレシネ信号プログレッシブ変換回路５についてのみ、図１に示した第１の画像データ変換方法を実施する場合についてその動作を説明する。
【００３３】
シーケンス検出回路１によって、入力インターレース信号がテレシネ信号であると判定されたとき、メモリ制御部５４の書き込み指令によって図１（ｂ）に示すインターレース画像データＡｔとＡｂとがフレームメモリ５１に書き込まれ、図１（ｂ）に示すインターレース画像データＢｔとＢｂとがフレームメモリ５２に書き込まれ、図１（ｂ）に示すフィールド画像データＣｂとＣｔとがフレームメモリ５３に書き込まれる。フレームメモリ５１、５２、５３はそれぞれに書き込まれた２つのインターレース画像データを読み出し制御信号によって合成する機能を有し、メモリ制御部５４の読み出し制御信号によって図１（ｃ）に示す逆変換画像データＡ、Ｂ、Ｃが２つずつ読み出されて動き検出回路５５と動き補償回路５６と選択回路５７とに加えられる。
【００３４】
動き検出回路５５では現在のフレーム画像データ、例えばＢを基準画像、過去のフレーム画像データ、例えばＡを参照画像として検出領域ごとに動きベクトルの検出が行われる。
検出された動きベクトルは、シーケンス検出回路１の検出結果に基づいて所定の割合で内分され、２つの内分動きベクトルが算出される。その算出結果は動き補償回路５６に伝達される。動き補償回路５６ではこれらの内分動きベクトルの一方を過去のフレームからの動きベクトル、他方を現在のフレームからの動きベクトルとして、それぞれのフレームからの動き補償補間が行われ、２つの補償画像の平均を補償画像出力とする。そして、選択回路５７において、シーケンス検出回路１の検出結果に応じて、例えば、フレームメモリ５１から出力された逆変換画像データと、動き補償回路５６で補償補間が行われた４つの補償画像出力とが選択され、プログレッシブ画像データとして出力される。
【００３５】
具体的には、フレームメモリ５１にて図１（ｃ）の逆変換画像データＡが合成され、フレームメモリ５２にて図１（ｃ）の逆変換画像データＢが合成されている場合、図１（ｄ）に示すように、プログレッシブ画像データの第１フレームでは逆変換画像データＡがそのまま当該フレームの画像となるが、プログレッシブ画像データの第２フレームでは図５に示した補間画像がその画像となる。この補間画像は以下に説明するようにして生成される。すなわち、画像Ａから画像Ｂへの動きベクトルをＭＶとすると、ＭＶを２：３で内分した２つの内分動きベクトルＭＶＡ及びＭＶＢはそれぞれ次のようになる。
ＭＶＡ＝（２／５）×ＭＶ
ＭＶＢ＝−（３／５）×ＭＶ
そして、画像Ａを内分動きベクトルＭＶＡで動き補償して得られた動き補償補間データと画像Ｂを内分動きベクトルＭＶＢで動き補償して得られた動き補償補間データとを平均して得られた補間画像データを第２フレームの画像とする。
【００３６】
同様にして、第３フレームについては、画像Ａから画像Ｂへの動きベクトルＭＶを４：１で内分して次に示す２つの内分動きベクトルＭＶＡ及びＭＶＢを求める。
ＭＶＡ＝（４／５）×ＭＶ
ＭＶＢ＝−（１／５）×ＭＶ
そして、画像Ａを内分動きベクトルＭＶＡで動き補償して得られた動き補償補間データと画像Ｂを内分動きベクトルＭＶＢで動き補償して得られた動き補償補間データとを平均して得られた補間画像データを第３フレームの画像とする。
【００３７】
また、第４及び第５フレームについても、フレームメモリ５２で合成された逆変換画像データＢと、フレームメモリ５３で合成された逆変換画像データＣとについて動きベクトルを求め、その動きベクトルを１：２及び３：２で内分した動きベクトルにより動き補償補間を行ってプログレッシブ画像データを求めることができる。
【００３８】
以上、図１に示した第１の画像データ変換方法を実施する場合について説明したが、図２に示した第２の画像データ変換方法については、動き検出回路５５によって各逆変換画像データ間の動きベクトルの内分比率を変え、動き補償回路５６によって動き補償補間することによって４つの画像データを生成し、選択回路５７によってフレームメモリ５２からの逆変換画像データの呼び出しと動き補償回路５６で補償補間された４つの画像データの選択順序を変更すれば容易に実施することができるのでその説明を省略する。
【００３９】
このようにして、第２の実施の形態によっても、図１に示した第１の画像データ変換方法及び図２に示した第２の画像データ変換方法を実施することが可能となり、これによって動画像の動きを滑らかにする画質の改善効果を従来装置以上に高めることができる。
【００４０】
＜第３の実施の形態＞
上記第２の実施の形態では、逆変換画像データごとに動きベクトルを検出したが、動き検出回路５５が逆変換画像データを複数のブロックに分割し、このブロックのそれぞれについて動きベクトルを検出し、動き補償回路５６が動き検出回路５５で求められた動きベクトルを、それぞれの成分が２／５ずつ変化する割合で内分して生成される２つの内分動きベクトルから２つの動き補償ブロックデータを生成し、これら動き補償ブロックデータを平均して補間ブロックデータとし、補間ブロックデータを１フレーム全体について合成したものを補間フレーム画像データとすることも可能である。このように変形して実施しても、第１及び第２の実施の形態と同様に、動画像の動きを滑らかにする画質の改善効果を従来装置以上に高めることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明に係る画像データ変換装置によって実施する第１の画像データ変換方法を示す模式図である。
【図２】本発明に係る画像データ変換装置によって実施する第２の画像データ変換方法を示す模式図である。
【図３】本発明に係る画像データ変換装置の第１の実施の形態の構成を示すブロック図である。
【図４】本発明に係る画像データ変換装置の第２の実施の形態の構成を示すブロック図である。
【図５】本発明に係る画像データ変換装置の第２の実施の形態の動作を説明するために、動きベクトルを内分して補間画像を求める説明図である。
【図６】原プログレッシブ画像データから逆変換画像データを生成する従来の画像データ変換方法を示す模式図である。
【図７】原プログレッシブ画像データからプログレッシブ画像データを生成する従来の画像データ変換方法を示す模式図である。
【符号の説明】
【００４２】
１  シーケンス検出回路
２  スイッチ
３  通常プログレッシブ変換回路
４、５  テレシネ信号プログレッシブ変換回路
６、４６、５７  選択回路
４１〜４３、５１〜５３  フレームメモリ
４４、５４  メモリ制御部
４５  補間回路
５５  動き検出回路
５６  動き補償回路
【図１】
2007081755.tif 000003
【図２】
2007081755.tif 000004
【図３】
2007081755.tif 000005
【図４】
2007081755.tif 000006
【図５】
2007081755.tif 000007
【図６】
2007081755.tif 000008
【図７】
2007081755.tif 000009