(57)【特許請求の範囲】
【請求項１】
入力レートの入力映像から該入力レートとは異なる出力レートの動き補正された出力映像を発生する装置であって、
映像動きベクトルに応じて時間的に隣接する第１の入力映像及び第２の入力映像から上記出力レートで補間された映像を発生する出力補間器と、
上記第１の入力映像及び第２の入力映像から補間される映像のうちの上記第１の入力映像とほぼ時間的に一致する映像をテスト補間映像として、上記テスト補間映像の少なくとも一部分と、上記第１の入力映像を動き補正していない映像である非動き補正映像の少なくとも一部分との差を求めることによってエラー信号を生成するエラー信号生成手段と、
上記エラー信号に応じて上記出力レートの動き補正された出力映像を発生する動作を制御する制御手段と
を具えた動き補正出力映像発生装置。
【請求項２】
上記テスト補間映像は、上記出力補間器からの補間映像が上記第１の入力映像と時間的にほぼ一致する時に、上記出力補間器によって生成される請求項１の装置。
【請求項３】
上記出力補間器からの補間映像と時間的にほぼ一致する入力映像を、上記補間映像に対する最大のベクトルに該補間映像の上記入力映像からの時間的変位の値を乗じた値が閾値より小さいものとして、検出する閾検出器を有する請求項２の装置。
【請求項４】
上記補間器は、
第１の部分的補間ピクセル値を生成するために、上記第１の入力映像からのピクセル値に第１の時間的加重係数を乗じる第１の乗算器と、
第２の部分的補間ピクセル値を生成するために、上記第２の入力映像からのピクセル値に第２の時間的加重係数を乗じる第２の乗算器と、
補間ピクセル値を生成するために、上記第１の部分的補間ピクセル値と上記第２の部分的補間ピクセル値を加える加算器と
を含む請求項２の装置。
【請求項５】
上記エラー信号生成手段は、
上記第１の入力映像からのピクセル値に第１の減算係数を乗じる上記第１乗算器と、
上記第２の入力映像からのピクセル値に、上記第１減算係数と大きさが等しく符号が反対の第２の減算係数を乗じる上記第２乗算器と、
上記エラー信号を生成するために、上記第１及び第２の乗算器からの出力を加える上記加算器と
を有する請求項４の装置。
【請求項６】
第１の入力映像内の映像データのサーチブロックと、該サーチブロックから異なる変位ベクトルだけ変位した、時間的に隣接する第２の入力映像の部分との間の映像相関を表す相関面を計算する手段と、
上記相関面内の相関最大点に対応する動きベクトルを検出する手段と
を含む請求項１の装置。
【請求項７】
上記エラー信号が空間的にローパスろ波され、上記制御手段は、上記空間的にローパスろ波されたエラー信号に応じて、上記検出手段が、明瞭な特徴が不十分な相関最大点を除外するために使用する相関最大点確認閾値を制御する動作をする請求項６の装置。
【請求項８】
上記エラー信号が空間的にハイパスろ波され、上記制御手段は、上記空間的にハイパスろ波されたエラー信号に応じてベクトル選択ブロック突合せブロックのサイズを制御する動作をする請求項６の装置。
【請求項９】
上記制御手段は、制御入力に対してテスト調整を行い、現在の制御入力値よりも高いテスト制御入力値から上記エラー信号生成手段に第１のテストエラー信号を生成させ、現在の制御入力値よりも低いテスト制御入力値から上記エラー信号生成手段に第２のテストエラー信号を生成させ、上記第１テストエラー信号、上記第２テストエラー信号及び現在の制御入力値からの現エラー信号を比較し、より低いエラーを生じるものとして採用すべき制御入力値を識別する請求項１の装置。
【請求項１０】
上記エラー信号生成手段が、３つの連続する非動き補正映像及びテスト補間映像の対から上記第１テストエラー信号、上記第２テストエラー信号及び上記現エラー信号を生成する請求項９の装置。
【請求項１１】
上記エラー信号生成手段が、上記第１テストエラー信号、上記第２テストエラー信号及び現エラー信号をただ１つの非動き補正映像の繰返し部分及びテスト補間映像対から生成する請求項９の装置。
【請求項１２】
上記出力補間器から送られる少くとも１つの補間映像から上記テスト補間映像を補間するテスト補間器を含む請求項１の装置。
【請求項１３】
上記テスト補間器は、上記出力補間器に使用された動きベクトルに応じて動作する請求項１２の装置。
【請求項１４】
上記テスト補間器は、上記出力補間器と異なるアルゴリズムを用いて動作し、それの独自の動きベクトルを検出する請求項１２の装置。
【請求項１５】
上記制御手段が、容認できないエラー信号を与える補間映像のエラー部分が発生すると、該エラー部分を置換えるために代わりの補間映像部分を発生するもう１つの出力補間器に切替える作用をする制御入力を供給する請求項１の装置。
【請求項１６】
上記代わりの補間映像部分を用いて、上記非動き補正映像とほぼ一致する時間位置における、少なくとももう１つのテスト補間映像部分を補間するもう１つのテスト補間器と、
もう１つのエラー信号を作るために、少なくとも上記もう１つのテスト補間映像部分と上記非動き補正映像の少なくとも一部分との差を求めるもう一つのエラー信号生成手段と、
上記エラー信号と上記もう１つのエラー信号との比較に応じて上記切替えを制御する手段と
を有する請求項１５の装置。
【請求項１７】
上記もう１つの出力補間器からの上記代わりの補間映像部分と上記出力補間器からの上記補間映像とが、上記エラーブロックを中心とし該エラーブロックから離れるに従って、上記代わりの補間映像部分からの関与が減り、上記補間映像から関与が増す加重関数を用いて、一緒に結合される請求項１５の装置。
【請求項１８】
入力レートの入力映像から該入力レートと異なる出力レートの動き補正された出力映像を発生する方法であって、
映像動きベクトルに応じて時間的に隣接する第１の入力映像及び第２の入力映像から上記出力レートの補間された映像を発生するステップと、
上記第１の入力映像及び第２の入力映像から補間される映像のうちの上記第１の入力映像とほぼ時間的に一致する映像をテスト補間映像として、上記テスト補間映像の少なくとも一部分と、上記第１の入力映像を動き補正していない映像である非動き補正映像の少なくとも一部分との差を求めることによってエラー信号を作るステップと、
上記エラー信号に応じて上記出力レートの動き補正された出力映像を発生する動作を制御するステップと
を含む動き補正出力映像発生方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、動き補正映像補間の分野に関し、もっと詳しくいえば、出力レートとは異なる入力レートの入力映像から出力レートの出力映像を発生する動き補正出力映像発生方式（装置及び方法）に関するものである。
【０００２】
【従来の技術】
例えば、フィルムからテレビジョンへ又は或るテレビジョン・フォーマットから他のテレビジョン・フォーマットへの標準方式変換などに使用される動き補正映像補間は、公知である。そのような装置の一例は、英国公開特許出願ＧＢ−Ａ−２，２３１，７４９号（ソニー株式会社）に記載されている。公知の動き補正標準方式変換装置は、人為雑音（artifact）に悩まされている。これらの人為雑音は、閾値のようなシステム・パラメータや変換モードを調整して制御することができる。オペレータは、出力ビデオのエラーを調べ、それに応じてシステム・パラメータを制御すなわち修正する必要がある。これは、経費がかかるばかりでなく、オンライン動作のためには不満足である。
【０００３】
【発明が解決しようとする課題】
本発明の課題は、上述の如きシステム・パラメータをもっと効率よく制御して出力映像の質を改善することである。
【０００４】
【課題を解決するための手段及び作用】
本発明は、一面からみて、入力レートの入力映像から入力レートとは異なる出力レートの動き補正された出力映像を発生する装置であって、次の如き構成要素を含むものを提供する。  時間的に隣接する第１の入力映像及び第２の入力映像から映像動きベクトルに応じて上記出力レートで補間された映像を発生する出力補間器と、
上記第１の入力映像及び第２の入力映像から補間される映像のうちの上記第１の入力映像とほぼ時間的に一致する映像をテスト補間映像として、上記テスト補間映像の少なくとも一部分と、上記第１の入力映像を動き補正していない映像である非動き補正映像の少なくとも一部分との差を求めることによってエラー信号を生成するエラー信号生成手段、
上記エラー信号に応じて上記出力レートの動き補正された出力映像を発生する動作を制御する制御手段。
【０００５】
本発明は、時間的に隣接する第１の入力映像及び第２の入力映像から補間された映像のうちの第１の入力映像とほぼ時間的に一致する映像（テスト補間映像）を、その第１の入力映像を動き補正していない映像である非動き補正映像と比較することにより、自動帰還（フィードバック）路を設けることの認識に立っている。これら２つの映像間に差があれば、それは、動き補正補間過程で生じた何らかの人為雑音によるものと考えられる。よって、２映像間の差から導出したエラー信号は、映像内の人為雑音の量の尺度を与え、上記出力補間器への制御入力を調整するフィードバック信号として使用できる。入力映像を、人為雑音がないとすれば、動き補正補間処理が忠実に再生しうる筈である参照信号として有効に使用する。
【０００６】
本発明を実施するために付加する必要があるハードウェアの量は、上記出力補間器からの補間映像が上記第１の入力映像と時間的にほぼ一致する時に、上記テスト補間映像を上記出力補間器によって作る、本発明の好適な具体構成においてうまい具合に減少させることができる。
【０００７】
出力レート及び入力レートが異なる同期システムでは、或いは非同期のシステムでさえ、出力フレームが入力フレームと時間的にほぼ一致する時がある。これが発生するときは、入力フレームから出力フレームを作るために処理をする必要が、たとえあっても、極めて僅かであり、該システム内の予備のハードウェアの能力を利用して上述の制御動作を行うことができる。
【０００８】
同期システムでは、時間的に正確に一致する時があるように考えられるが、非同期システムでは、意味のある比較が行なえる程度にフレームが時間的にほぼ一致することを確かめるのに、或る種の閾値設定（thresholding）が必要である。１映像期間の４％より小さい一致があれば、多分容認できるであろう。
【００１０】
前述のとおり、上記出力補間器からの補間映像と第１の入力映像とが、時間的にほぼ一致する時を決定する何らかのメカニズムがあることが重要である。これを処理するよい方法は、次のような、上記出力補間器からの補間映像と時間的にほぼ一致する第１の入力映像を検出する閾（しきい）検出器を設けることである。上記検出器は、上記補間映像に対する最大の動きベクトルに該補間映像の第１の入力映像からの時間的変位（ずれ）の値を乗じた値が閾値より小さいものを、上記出力補間器からの補間映像と時間的にほぼ一致する第１の入力映像として検出する。
【００１１】
特定のシーン（場面）内で最大の動きベクトルに応答するように動作する閾検出器を設けると、システムが、テスト補間映像と対応する入力映像とが時間的に一致すると認められるほど十分に時間的に接近しているかどうかを判断する際、存在する動きの程度を考慮することができる。即ち、大きな動きがある場合には、映像は時間的に一層接近していなければならない。そうしないと、その動きによる映像間の真の差によって上記の比較が誤ったものとなる。
【００１２】
動き補正映像補間を行うシステムのデータ処理能力に対する要求は、高い。処理すべき映像データの量及び行うべき計算の数は、一般に大きい。これを処理するためには、装置が高速且つ効率的に動作する必要がある。本発明の好適な具体構成では、上記補間器は次の如き構成要素を含む。
第１の部分的補間ピクセル値を生成するために、第１の入力映像からのピクセル値に第１の時間的加重（重み付け）係数を乗じる第１の乗算器、
第２の部分的補間ピクセル値を生成するために、第２の入力映像からのピクセル値に第２の時間的加重係数を乗じる第２の乗算器、
補間ピクセル値を生成するために、上記第１の部分的補間ピクセル値と上記第２の部分的補間ピクセル値を加える加算器。
【００１３】
標準的補間動作を行う上記形式の補間器の場合、この補間器をエラー信号生成手段として使用することも可能である。したがって、好適な具体構成では、上記エラー信号生成手段は、上記第１の入力映像からのピクセル値に第１の減算係数を乗じる上記第１乗算器と、上記第２の入力映像からのピクセル値に、上記第１減算係数と大きさが等しく符号が反対の第２の減算係数を乗じる上記第２乗算器と、上記エラー信号を作るために上記第１及び第２乗算器からの出力を加える上記加算器とを含んでいる。
【００１４】
上記減算動作に対する要件は、上記第１及び第２減算係数が大きさ等しく符号反対でなければならないことである。これらの係数の大きさが１であれば、必要な処理量が減少して好都合である。
【００１５】
動き補正補間過程で使用する動きベクトルを特定するための便利なシステムは、次の手段を具えるべきである。
第１の入力映像内の映像データのサーチブロックと、該サーチブロックから異なる変位ベクトルだけ変位した、時間的に隣接する第２の入力映像の部分との間の映像相関を表す相関面を計算する手段、
上記相関面内の相関最大点に対応する動きベクトルを検出する手段。
【００１６】
かようなシステムでは、相関面におけるエイリアシング（偽物が存在する）の如き問題に対する或る程度の防止策を与える、相関面における相関最大点を識別するメカニズムを設けるのが普通である。この目的のために種々のテストを使用できるが、それらに共通の特徴は、或る種の相関最大点確認閾値を設定することである。この閾値は、これを調整することにより、システムによって生じる人為雑音の数をかなり変えることができるシステム制御パラメータとなる。よって、本発明の好適な具体構成では、上記エラー信号を空間的にローパスろ波し、上記の制御手段が上記空間的にローパスろ波されたエラー信号に応じて相関最大点確認閾値を制御する作用をする。この閾値は、上記検出手段が明瞭な特徴が不十分な相関最大点を除外するのに用いる。
【００１７】
出力の質に影響を与えるもう１つのシステム制御パラメータは、使用するベクトル選択ブロック突合せ用ブロックの大きさ（サイズ）である。したがって、好適な具体構成では、上記エラー信号を空間的にハイパスろ波し、上記制御手段が、この空間的にハイパスろ波されたエラー信号に応じてサーチブロックのサイズを制御する作用をする。
【００１８】
動き補正映像補間システムは複雑であるので、人為雑音を減らすため制御パラメータを調整すべきかどうかは、直ぐには分からない。検出されるエラー信号が増加する場合、或る映像に対してはベクトル選択ブロック突合せ用ブロックのサイズの増加が必要であるのに対し、他の映像に対しては減少が必要である。これを処理するため、好適な具体構成では、上記の制御手段は、制御入力に対してテスト調整を行い、現在の制御入力値よりも高いテスト制御入力値から上記エラー信号生成手段に第１のテストエラー信号を生成させ、現在の制御入力値よりも低いテスト制御入力値から上記エラー信号生成手段に第２のテストエラー信号を生成させ、これら第１テストエラー信号、第２テストエラー信号及び現在の制御入力値からの現エラー信号を比較して、より低いエラーを生じる制御入力値を識別し、それを採用すべきものとする。
【００１９】
こうして、制御手段は、試行錯誤法を採用して制御入力値を調整すべき方向を決定する。
かような試行錯誤方式を遂行する１つの方法は、シーン変化の相対的な不定期性及び１シーン内の遅い変化を頼りにして、上記エラー信号生成手段に３つの連続する非動き補正映像及びテスト補間映像の対から上記第１テストエラー信号、上記第２テストエラー信号及び上記現エラー信号を作らせることである。これらのテストエラー信号を比較し、出力映像を発生するために用いる最善のシステムパラメータを決定してから、該パラメータを変化させる。
【００２０】
したがって、時間的一致が５つの出力フレーム毎に生じる場合、原エラー信号は出力フレーム０で導出され、第１テストエラー信号は出力フレーム５で、第２テストエラー信号は出力フレーム１０で導出されることになる。
【００２１】
代わりの方法は、現エラー信号、第１テストエラー信号及び第２テストエラー信号を同時に導出することである。これは、上記エラー信号生成手段が上記第１テストエラー信号、上記第２テストエラー信号及び現エラー信号をただ１つの非動き補正映像の反復される部分及びテスト補間映像対から作る具体構成において、達成されるであろう。
【００２２】
これらのエラー信号の各々は同じ映像の小部分から導出されるので、映像シーンの差による差異は生じない。よって、幾つかの具体構成では、１映像シーンの中央１／３を上記３つの各エラー信号の導出に使用している。
【００２３】
もっと一般的なレベルでは、上述のエラー信号及び減算解析は、映像全体でなく映像の関係部分について行ってよいことが認められるであろう。更に、本発明は、フレーム又はフィールドのどちらを使用するシステムにも等しく適用可能である。
【００２４】
前述したように、本発明の或る種の具体構成では、出力補間映像が第１の入力映像と偶然一致したときにエラー信号を導出している。他の種類の具体構成では、上記出力補間器から送られる少なくとも１つの補間（された）映像から上記テスト補間映像を補間するテスト補間器を設けている。
【００２５】
こうすると、テスト補間器が、時間的一致が起こるのを待たずに、出力補間器により生成された補間映像から、第１の入力映像と時間的に一致するテスト補間映像を発生する。したがって、フィードバック制御が連続的に行われ且つ作用がより速くなる。
【００２６】
幾つかの具体構成では、上記テスト補間器を、上記出力補間器に使用された動きベクトルに応じて動作するようにし、必要なハードウェアの量を減らしている。入力映像の時間に逆投影補間することにより隠されるかも知れないエラーを処理できる代替策は、上記テスト補間器が、出力補間器とは異なるアルゴリズムを用いて動作し、それの独自の動きベクトルを検出するようにすることである。
【００２７】
上述の閾及びサーチブロックのサイズに対する制御パラメータの調整の外に、エラーが検出された場合、補間映像のやり直しを制御する働きをする制御パラメータを設けてもよい。したがって、好適な具体構成では、制御手段が容認できないエラー信号を与える補間映像のエラー部分が発生すると、該エラー部分を置換えるために代わりの補間映像部分を発生するもう１つの出力補間器に切替える作用をする制御入力を与えている。
【００２８】
この好ましい特徴により、万一エラーが映像の特定のエラー部分に発生したとき、上記フィードバックを用いてそれらのエラー部分をやり直すように切替えることができる。その場合は、該エラー部分における映像の質をよくするため、別のベクトルを用いるか或いは異なるサーチブロック・サイズでやり直すことになる。
【００２９】
上述したとおり、映像の質をよくするため、システムへの制御入力をどの方向に調整すべきかは、必ずしも直ぐには分からない。これは、該映像のやり直しにも当てはまる。よって、好適な具体構成では、上記代わりの補間映像部分を用いて、上記非動き補正映像とほぼ一致する時間位置における、少なくとももう１つのテスト補間映像部分を補間するもう１つのテスト補間器と、もう１つのエラー信号を作るために、少なくとも上記もう１つのテスト補間映像部分と上記非動き補正映像の少なくとも一部分との差を求めるもう一つのエラー信号生成手段と、上記エラー信号と上記もう１つのエラー信号との比較に応じて上記切替えを制御する手段とが設けられる。
【００３０】
上記もう１つのテスト補間器及び上記もう１つのエラー信号生成手段を設けると、改善があった場合、やり直されたエラー部分の質を、最初に生成され代わりに置換されただけのものと比較することが可能となる。
【００３１】
映像のエラー部分をやり直すと、やり直された部分とやり直されない部分との間の接触領域に、求められている映像の質を何ら改善しない邪魔なエッジ効果を導入する可能性がある。これを減らすため、上記もう１つの出力補間器からの上記代わりの補間映像部分と、上記出力補間器からの上記補間映像とを、加重関数を用いて一緒に結合するのがよい。この場合、加重関数は、上記エラーブロックを中心として該エラーブロックから離れるに従って、上記代わりの補間映像部分からの関与が減り、上記補間映像からの関与が増すようなものとする。
【００３２】
本発明は、もう１つの面からみて、入力レートの入力映像から入力レートと異なる出力レートの動き補正（された）出力映像を発生する方法であって、次のステップを含むものを提供する。
映像動きベクトルに応じて時間的に隣接する第１の入力映像及び第２の入力映像から上記出力レートの補間された映像を発生するステップ、
上記第１の入力映像及び第２の入力映像から補間される映像のうちの上記第１の入力映像とほぼ時間的に一致する映像をテスト補間映像として、上記テスト補間映像の少なくとも一部分と、上記第１の入力映像を動き補正していない映像である非動き補正映像の少なくとも一部分との差を求めることによってエラー信号を作るステップ、
上記エラー信号に応じて上記出力レートの動き補正された出力映像を発生する動作を制御するステップ。
【００３３】
【実施例】
以下、図面により本発明を具体的に説明する。
図１は、一連の入力映像２及び出力映像４の相対的時間位置を示す。図示のように、６つの入力映像６のグループが５つの出力映像８のグループに対応付けられ（マップされ）ている。かようなマッピングは、６０Ｈｚから５０Ｈｚへのフォーマット変換に見られる。
【００３４】
図示の例は、同期システムの場合である。この例では、各５番目の出力映像１０，１２が対応する入力映像１４，１６と時間的に一致している。２つの入力映像２の間の期間内の出力映像４の相対的時間位置を図の下部に示す。この同期システムでは、それらの位置は、ｔ＝０，０．２，０．４，０．６及び０．８である。非同期システムでは、相対的時間位置は、このようなラウンドナンバーの値でないであろうが、一連の出力映像４を通じて同じ現象が見られるであろう。即ち、対応する入力映像と時間的にほぼ一致する出力映像が周期的に生じるであろう。
【００３５】
入力映像と時間的に一致しない出力映像に対しては、時間的に隣接する入力映像間で動き補正補間が行われ、出力映像が導出される。いま出力映像１８を考えると、これは、入力映像２０からのベクトル（＋ｖで示す。）の順（前）方向投影と、入力映像２２からのベクトル（−ｖで示す。）の逆（後）方向投影とによって作られている。入力映像２０，２２間の相対的時間位置はｔ＝０．２であるので、入力映像２０からの関与が入力映像２２からの関与より大きくなるよう加重（重み付け）される。これは、入力映像２０からの関与は０．８が乗じられ、入力映像２２からの関与は０．２が乗じられる線形加重である。コサイン加重のような他の加重も可能である。
【００３６】
図２は、図１の動き補正補間動作を行う装置の一部を示すブロック図である。時間的に隣接する入力映像が、現ビデオ及び次のビデオの信号ラインに沿って入力される。これは夫々、ベクトル適用及び補間ユニット２４，２６に供給される。時間的に隣接する入力映像間で識別された動きベクトルも、これらのユニットに供給される。出力補間映像における特定のピクセル値を導出しようとするとき、当該点に対する動きベクトルを、ベクトル適用及び補間ユニット２６では逆方向投影として、ベクトル適用及び補間ユニット２４では順方向投影として適用する。これらのベクトル適用はまた、ベクトルｖ・ｔ及びｖ（１−ｔ）で示すように、２入力映像間の出力補間映像の相対的時間位置に応じて加重される。
【００３７】
逆方向及び順方向投影されたベクトルにより指し示された入力映像内のピクセル値はそれから、夫々第１及び第２の乗算器２８，３０に供給される。これらの乗算器は、出力補間映像の時間的近接度に応じてピクセル値を加重する（加重係数（１−ｔ）及びｔで示す。）。それから、それらの出力を加算器３２に供給し、そこから出力補間ピクセル値を供給する。
【００３８】
図３はエラー信号を導出するよう図２の装置を変形したものを示す。この回路の動作形式では、出力補間映像は、現ビデオ信号ラインにおける入力映像と時間的にほぼ一致する。したがって、システム出力は、乗算器２８の出力からタップを取って引出すことができる。この出力は、加算器３２による加算を除き、動き補正補間時に大抵行われる同じフィルタリング（ろ波）及び他の処理を受けたものである。システム出力として、ベクトル適用及び補間ユニット２４と乗算器２８の間から、又は等化遅延器（ＥＤ）３４を用いてベクトル適用及び補間ユニット２４の上流から、代わりのタップを取ってもよい。
【００３９】
現ビデオ信号ラインと次のビデオ信号ラインの時間的に隣接する入力映像の間の動きベクトルは、ベクトル適用及び補間ユニット２４，２６に供給される。時間位置ｔはほぼゼロであるので、ベクトル適用及び補間ユニット２４は、実効的にゼロ動き（動きのない）補正動作をする。しかし、ベクトル適用及び補間ユニット２６は、実効的に動きベクトルを最大限に逆方向投影して、システム出力（非動き補正映像）に対応すべきもの（テスト補間映像）を発生する。
【００４０】
乗算器２８及び３０には夫々、加重係数＋１及び−１が供給される。これらの係数は、加算器３２の動作と相俟って、乗算器３０からのテスト補間映像出力を、乗算器２８からの非動き補正映像出力より減算する手段を与える働きをする。加算器３２からの出力は、補間の結果そうなるべきものと補間されたものとの差を示すエラー信号に相当する。もし、補間に人為雑音がなく全く正確であれば、出力映像内のすべての点に対するエラー信号はゼロであろう。
【００４１】
ゼロ時間位置が生じるように強制的にロックされる同期システムでは、この解析を定期的に行うことができる。例えば、６０Ｈｚから５０Ｈｚへの変換では、５出力フィールド（１００ｍｓ）毎にゼロ時間位置が発生するであろう。非同期システムでも、この技法を適用しうるが、ゼロ位置はめったに生じないであろう。ｔ＝０に近い時間位置（例えば、およそｔ＜０．０４）を恰もｔ＝０の如く処理することにより、出力の時間的円滑性を犠牲にして解析の頻度を増すことが可能である。この方法の改良は、出力映像に対する最大の動きベクトル（動きベクトルを抽出する前段の処理から取出すことができる。）にアクセスし、これに該出力映像の時間位置を乗じることである。その結果を閾値と比較し、該映像の相対的時間位置及び動きの量の組合せ結果が、意味のあるエラー信号を生じるために、出力が入力と時間的にほぼ一致することを示しているかどうかを決める。
【００４２】
図４は、図２及び３の装置を構成要部とするシステム（実施例１）を示すブロック図である。このシステムは、補間器段３６を含む（標準）方式変換器３４を有する。補間器段３６は、図３に示したように、システムの解析時に、出力補間映像及び乗算器２８の下流からタップで引出された映像より成るシステム出力をライン３８に与える。図３のエラー信号はエラーフィルタ４０に送られ、そこで、種々のろ波処理、例えば空間的ローパスろ波及び空間的ハイパスろ波の処理を受ける。該ろ波処理は非線形であり、例えば、閾値設定を行って或る値より下のエラーを除去したり、或いは、指数的加重を行って高対照エラーの関与を増加したりする。エラーフィルタ４０の出力（単数又は複数）は加算ユニット４２に供給され、そこで、それらは１つの出力映像について加算される。当該映像に対するシステム性能指標（ＳＰＦ）を制御装置４４に供給し、方式変換器３４への制御入力を与えることができる。
【００４３】
エラー信号から導出されるエラーフィールドをローパスろ波により解析して、エラーの大きい領域（部分）についての情報を得ることができる。これは、相関最大点を動きベクトルのソース（根源）として用いる前に、相関最大点を明確に定めるための、ベクトル推定に用いる閾値の制御に使用することができる。更に、或いは代わりに、エラー信号をハイパスろ波してエラーの小さい部分についての情報を得てもよい。この情報は、公知の動きベクトル識別に用いるベクトル選択ブロック突合せブロックのサイズの制御に使用できる。
【００４４】
存在するエラーの量を減らすために制御パラメータを動かすべき方向は、必ずしも明瞭ではなく、特に現在処理している映像の性質によって決まると考えられる。図５及び６は、これを処理するための２つの異なる方法を示す。図５は、入力映像と出力映像との時間的一致点が５番目の出力映像毎に生じる、図１に示した変換に関するものである。制御値が値αをもつようにセットされるとすると、これは出力フレーム０に対しシステム性能指標ＳＰＦ0 を導出するのに使用され、出力フレーム５で、代わりのテスト制御値α＋δが試され、システム性能指標ＳＰＦ5 を生じる。この過程は、出力フレーム１０で繰返される。ただし、制御値が今度はα−δにセットされる。
【００４５】
これら３つのシステム性能指標を連続する非動き補正及びテスト補間映像の対に対して導出し終わったとき、最低のエラー信号（システム性能指標）を与えた制御値のセッティングを、制御値βで示すように、引続き使用するために選ぶことができる。
【００４６】
図６は、同時に試行錯誤判断を行う代わりの方法を示す。この場合は、非動き補正及びテスト補間映像の対の中央部分を比較する。映像の一部分だけを比較するので、α−δ，α及びα＋δに対する３つの比較を同時に行えるように処理能力を高めることができる。これは、テストしようとする映像のその部分を追跡する読出しアドレスを用い、図３の装置を介して入力フレームメモリから適正なピクセル値を読出すことにより、達成されるであろう。３つの試行錯誤比較が終わると、最低のシステム性能指標を与えるものとして新しいセッティングβが選ばれる。
【００４７】
図７は、システム性能指標（ＳＰＦ）対被制御システムセッティングの関数の中に１つより多い最小点が存在する場合、システムにおいて発生する可能性がある問題を示すものである。かような場合、システムが実際に最低でないシステム性能指標最小点を識別してそれを保持する可能性がある。これを防ぐため、現在使用しているかもしれない間違った最小点から逃れるために、現在使用しているセッティングとかなり異なる試行錯誤セッティングを周期的に選ぶように、システムを構成することができる。
【００４８】
図８は、出力補間器から送られた少なくとも１つの補間映像から、テスト補間映像を補間するテスト補間器を有する他の具体構成（実施例２）を示すブロック図である。こうすると、システム性能の解析を、出力映像が入力映像と一致するときばかりでなく連続的にモニタすることができる。即ち、入力ビデオ信号は、システムに対して１次補間器として働く出力補間器を含む主方式変換器４６に供給される。入力ビデオ信号はまた、等化遅延ユニット４８，５０を経て（１次）エラー解析ユニット５２及びエラー減少ユニット５４に送られる。エラー解析ユニット５２には、主方式変換器４６により使用される各ピクセルに対する動きベクトルが、等化遅延ユニット４８を介して到着する入力ビデオと同期して送られる。エラー解析ユニット５２はまた、主方式変換器４６から補間映像出力を受ける。
【００４９】
これらの補間映像は、供給された動きベクトルを用いて、それらが導出された入力映像と時間的に一致するように投影される。もし補間過程に人為雑音がなかったならば、原入力映像が上記補間映像出力から主方式変換器４６によって再発生される筈であり、エラー解析ユニット５２がこれらの映像を減じたとき、何も差は見られないことになる。人為雑音があれば、エラー解析ユニット５２における減算によって作られるエラー信号がこれを示す。
【００５０】
エラー減少ユニット５４は、等化遅延ユニット４８，５０を介して入力映像を受け、関係映像の特定部分に対し主方式変換器４６によって達成された結果よりよい結果を得るために、更に出力補間を行うものである。エラー解析ユニット５２は、エラーが生じた映像の適正なエラー部分を識別する。この情報はそれから、試行錯誤解析に基いて適切に調整された代わりのパラメータ制御値を発生するために、回路の外の場所で使用される。
【００５１】
エラー減少ユニット５３が補修を試みたエラー部分は、入力ビデオの対応する選択（された）部分と共に２次エラー解析ユニット５６に供給される。この２次エラー解析ユニット５６は、更にテスト補間器を含む。このテスト補間器は、上記エラー部分に対して補修を試みたもの（パッチ）を入力ビデオの対応部分上に逆投影し、１次エラー解析ユニット５２におけるものと類似のもう１つの減算手段により両者の差を取る。これら２つの信号の差は、もう１つのエラー信号を形成し、１次エラー解析ユニット５２からの原エラー信号と比較して、エラー減少ユニット５４が試みた補修の結果が良くなっているか或いは悪くなっているかを決めるのに用いられる。主方式変換器４６に対する制御値を、２次エラー解析ユニット５６からの出力によって調整してもよい。
【００５２】
ミキサ５８は、時間遅延線６０を介して主方式変換器４６から原出力補間映像を受けると共に、２次エラー解析ユニット５６から上記エラー部分に対する補修パッチを受ける。もし、補修部分が主方式変換器４６により作成されたものより質が良ければ、ミキサ５８はこれらを選択して出力する。その他の場合は、主方式変換器４６から出力を取る。
【００５３】
図８の具体構成の総合動作は、次のとおりである。主方式変換器４６が動き補正出力ビデオを生じ、この出力を各出力ピクセルに対して選択したベクトルと一緒にエラー解析ユニット５２に供給する。エラー解析ユニット５２は、「入力」ビデオと一致するビデオを（入力ビデオとベクトルからむ補外（推定）により）発生する。このテスト補間ビデオを参照ビデオと呼んでもよい。参照ビデオを実際の入力ビデオと比較する。かなりの差がある部分が、主方式変換器４６のエラーを発生している場所を示す。
【００５４】
エラー解析ユニット５２でフラグした（フラグを立てた）部分を、実効的にもう１つの小さい方式変換器であるエラー減少ユニット５４において（最初に用いたパラメータを変えた又は制御したパラメータを使用して）やり直すことができる。変えることができるパラメータの例としては、ベクトル推定に用いる閾値がある。制御されるパラメータの例としては、エラーを生じているピクセル位置のベクトルを、エラー減少ユニット５４内で繰返されるベクトル選択過程から隠す場合が挙げられる。
【００５５】
エラー減少ユニット５４からのやり直されたビデオは、２次エラー解析ユニット５６に供給され、入力ビデオと比較できる参照ビデオの発生に使用される。このやり直されたビデオは、そのエラーが原出力より少ない場合に出力ミキサ５８に送られる。この改善された出力を生じたパラメータの変化はまた、主方式変換器４６にも送られる。
【００５６】
出力ミキサ５８は、やり直されたビデオ部分を主方式変換器４６からの原出力と組合せる。
【００５７】
エラー減少ユニット５４のサイズは、法外なものとするには及ばない。一般に最悪の場合でも画像の１０％しかやり直す必要がない場合、エラー減少ユニット５４は、主方式変換器４６が取扱うデータの１０％に対処するよう設計するだけでよい。エラー減少ユニット５４は、主方式変換器４６のアルゴリズムと全く異なるアルゴリズムで動作するように作るのがよい。例えば、エラー減少ユニット５４におけるベクトル推定過程を、主方式変換器４６でブロック突合せに基くのに対し、位相相関に基くものとしてもよい。
【００５８】
図９は、図８の具体構成のオフライン型のもの（実施例３）を示すブロック図である。ビデオテープレコーダ６２，６４は、システムに対する入力映像及び出力映像のメモリを提供する。補間しようとする入力映像は、少なくとも２つの入力映像を記憶しうる入力時間遅延ユニット６８を介して主方式変換器６６に供給される。主方式変換器６６は、入力映像を補間して補間出力映像を出力ミキサ７０に供給する。入力映像及び補間出力映像はまた、各出力ピクセルに対するベクトルと共にエラー解析ユニット７２に供給される。
【００５９】
エラー解析ユニット７２は、出力補間映像を入力映像時間位置に逆投影し、減算を行って出力補間映像内の人為雑音を示すエラー信号を導出する。このような人為雑音が見付かると、エラー解析ユニット７２は、主方式変換器６６を制御してそれらのエラー部分をやり直す。その際、入力時間遅延ユニット６８に一時記憶した入力映像を用いる。これらのやり直した部分を、出力ミキサ７０において該映像の残りと混合し、これを出力ビデオテープレコーダ６４に供給することができる。
【００６０】
図９の具体構成は、図８に示したオンライン発生用のものを簡略化したものと考えることができる。本システムに対する入力は、主方式変換器６６によって処理され、その出力はエラー解析ユニット７２及び出力ミキサ７０に供給される。
【００６１】
エラー解析ユニット７２は、補間された映像ビデオと各出力映像ピクセルに対するベクトルとを用いて参照ビデオフレームを発生し、これを入力映像ビデオと比較する。この比較で所定閾値を越えるエラー信号が見付かると、出力ビデオの対応するエラー部分をやり直す。
【００６２】
やり直しをしようとする場合、所要の入力映像ビデオを、主方式変換器６６を介してビデオテープレコーダ６２又は任意の入力時間遅延ユニット６８のどちらか一方から再生する。今度は、主方式変換器６６が図８のエラー減少ユニット５４の機能を行う。この場合、主方式変換器６６を最大サイズのビデオデータに対処するよう設計する。そうすると、エラー減少ユニットとして動作するとき、ハードウェアの能力の範囲内でもっと多くのパラメータ変更を試みることができる。最悪の場合でもビデオの１０％しかやり直す必要がないと仮定すると、主方式変換器６６の能力で、よりよい結果を生ずる１つのパラメータを見付けるのに、システム・パラメータの１０通りの変化を試すことができることになる。主方式変換器６６によるビデオのやり直しが終わると、それを再びエラー解析ユニット７２に入れ、そこで、それを入力映像時間位置に逆補間しエラー信号を導出するのに使用する。やり直したビデオが原ビデオより良ければ、それを選択して出力ミキサ７０に前もって記憶されたものと混合する。主方式変換器６６は、映像の当該部分に対してこの改善された出力を生じたパラメータ変化を採用することができる。こうして、最良の結果を与えるものに基いて変換しようとする映像の種々異なる部分に対し、夫々異なるシステム制御パラメータで上記変換器を動作させることが可能となる。
【００６３】
図１０及び１１は、出力補間映像から参照映像、即ちテスト補間映像を発生する方法を示す。図１０では、出力補間映像が入力映像と一致する時間に順方向投影されており、図１１では、出力映像が入力映像と一致する時間に逆方向投影されている。
【００６４】
図１２は、順方向及び逆方向に投影された映像を用いてエラー信号を導出する回路を示す。入力映像ビデオは方式変換器７４に供給され、そこで出力補間映像が発生される。順方向及び逆方向投影ユニット７６，７８はそれから、図１０及び１１に示した夫々の処理を行ってテスト補間映像を生成する。減算器８０，８２は、入力映像と時間的に一致する位置に投影されたこれらの参照映像との差を、等化遅延ユニット８４を介して供給される入力映像ビデオ信号を用いて作成する。減算器８０，８２からの出力は、フィルタ及び加算ユニット８６，８８に供給され、そこで図２〜４の具体例について前に述べた種類のフィルタリング（ろ波）作用を受けたのち、加算器９０によって結合されエラー信号を生じる。
【００６５】
図１３は、目立つエッジ効果を避けるため、図８及び９のミキサ５８，７０において最初に補間された映像とやり直された補間映像とを一緒に混合するのに使用できる加重（重み付け）関数δを示す。加重関数は、エラー部分の中心における１の値からエラー部分より離れたゼロの値まで変化する。加重関数は、エラー部分の中心からの変位を表すｘ，ｙ座標に応じて決まる。
【００６６】
図１４は、図８及び９のミキサ５８，７０の動作を示す。原（最初の）ブロックとやり直されたブロックとは夫々乗算器９２，９４に供給され、そこで両者に夫々加重関数の補数（１−δx,y ）と加重関数δx,y とが乗ぜられ、加算器９６に送られる。やり直されたブロックの中心では、出力はやり直しブロックから全部取出される。こうすると、やり直されたデータと原データとの間の滑らかな移り変わりが得られる。
【００６７】
【発明の効果】
以上説明したとおり、本発明によれば、動き補正出力映像発生装置において、補間出力映像における人為雑音を減らすための装置への制御入力を自動的に調整することができる。
【図面の簡単な説明】
【図１】時間的に隣接する入力映像から動き補正補間された出力映像を発生する場合の、入力及び出力映像の時間関係を示す説明図である。
【図２】図１の動き補正補間を行う装置を示すブロック図である。
【図３】図２の装置をエラー信号の発生に用いるように変形したものを示すブロック図である。
【図４】図２及び図３の装置を使用したシステムの例（実施例１）を示すブロック図である。
【図５】制御値を調整するための映像順次試行錯誤方法を示す説明図である。
【図６】制御値を調整するための同時試行錯誤方法を示す説明図である。
【図７】制御値の最良セッティング探索に発生する問題を示す図である。
【図８】図５及び６の代わりの方法を用いる実時間型方式変換システムの例（実施例２）を示すブロック図である。
【図９】図８のシステムを非実時間型にした例（実施例３）を示すブロック図である。
【図１０】出力補間映像から参照（テスト補間）映像への順方向投影を示す説明図である。
【図１１】出力補間映像から参照（テスト補間）映像への逆方向投影を示す説明図である。
【図１２】順方向及び逆方向投影を用いてエラー信号を導出する回路を示すブロック図である。
【図１３】ミキサでやり直し及び非やり直し映像部分の混合に用いる加重関数を示す図である。
【図１４】図１３の加重関数を用いてやり直し及び非やり直し映像部分を混合するミキサの動作を示すブロック図である。
【符号の説明】
２４，２６  ベクトル適用及び補間ユニット
２８，３０  乗算器
３２  加算器
２８，３０，３２  減算手段
３６  補間器段（出力補間器及び減算手段）
４４  制御装置（制御入力調整手段）
４６  主方式変換器（１次出力補間器を含む。）
５２  １次エラー解析ユニット（減算手段を含む。）
５４  エラー減少ユニット（２次出力補間器を含む。）
５６  ２次エラー解析ユニット（減算手段、テスト補間器及び調整手段を含む。）
６６  主方式変換器（出力補間器及びエラー減少ユニットを含む。）
７２  エラー解析ユニット（２次エラー解析ユニットを含む。）
７４  方式変換器
７６，７８  テスト補間器
８０，８２  減算手段
【図１】
0003668509.tif 000002
【図２】
0003668509.tif 000003
【図３】
0003668509.tif 000004
【図４】
0003668509.tif 000005
【図５】
0003668509.tif 000006
【図６】
0003668509.tif 000007
【図７】
0003668509.tif 000008
【図８】
0003668509.tif 000009
【図９】
0003668509.tif 000010
【図１０】
0003668509.tif 000011
【図１１】
0003668509.tif 000012
【図１２】
0003668509.tif 000013
【図１３】
0003668509.tif 000014
【図１４】
0003668509.tif 000015