(57)【要約】一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する方法及び装置であり、装置は処理手段とメモリ（Ｍ）とを含み、処理手段は、連続するフィールド中の、単一の動きモデルで表わされうる連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトをセグメンテーション法を用いて識別する段階と、複数のオブジェクトの夫々について、連続するフィールド中のオブジェクトの夫々のための動きパラメータパターンを定める段階と、動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、前の段階の結果を用いてオブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行うよう配置される。
2004518341.tif 000002
【特許請求の範囲】
【請求項１】
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
前記パターンを多数の所定の動きパラメータパターンと比較する段階と、
前記比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを含む、
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する方法であって、
前記連続するフィールド中の、単一の動きモデルで表わされうる前記連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
前記連続するフィールド中の前記オブジェクトの夫々のための動きパラメータパターンを定める段階と、
前記動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前記段階の結果を用いて前記オブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行う段階とを含むことを特徴とする方法。
【請求項２】
処理手段とメモリとを含み、
前記処理手段は、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
前記パターンを多数の所定の動きパラメータパターンと比較する段階と、
前記比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを含む、
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する装置であって、
前記処理手段は、
前記連続するフィールド中の、単一の動きモデルで表わされうる前記連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
前記連続するフィールド中の前記オブジェクトの夫々のための動きパラメータパターンを定める段階と、
前記動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前記段階の結果を用いて前記オブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行うよう配置されることを特徴とする装置。
【請求項３】
前記処理手段は、動き推定技術も用いて前記複数の異なるオブジェクトを識別するよう配置される、請求項２記載の装置。
【請求項４】
前記動き推定技術を行うために並列に動作する複数の動きモデルパラメータ推定器を含む、請求項３記載の装置。
【請求項５】
前記複数のオブジェクトを識別するために再帰的セグメンテーション法を実行するセグメンテーションユニットを含む、請求項２記載の装置。
【請求項６】
データ整理ユニットを含む、請求項２記載の装置。
【請求項７】
前記所定の動きパラメータパターンは、２−２プルダウンモード、３−２プルダウンモード、及びビデオモードのうちの少なくとも１つに関連する、請求項２記載の装置。
【請求項８】
フィルム素材処理段階を行うフィルム処理ユニットを含む、請求項２記載の装置。
【請求項９】
前記フィルム処理ユニットは、ピクチャレート変換、インタレース解除、及びフィルムジャダー除去のうちの少なくとも１つの段階を行うよう配置される、請求項８記載の装置。
【請求項１０】
請求項２乃至９のうちいずれか一項記載の装置を具備したチップ。
【請求項１１】
請求項１０記載のチップを具備したテレビジョン装置。
【請求項１２】
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する命令を含み、処理手段とメモリとを含むコンピュータ装置によってロードされるべきであり、ロードされた後は前記処理手段に、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
前記パターンを多数の所定の動きパラメータパターンと比較する段階と、
前記比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを実行させる能力を与えるコンピュータプログラムプロダクトであって、
前記処理手段は、
前記連続するフィールド中の、単一の動きモデルで表わされうる前記連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
前記連続するフィールド中の前記オブジェクトの夫々のための動きパラメータパターンを定める段階と、
前記動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前記段階の結果を用いて前記オブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行う段階とを含むことを特徴とするコンピュータプログラムプロダクト。
【請求項１３】
請求項１２記載のコンピュータプログラムプロダクトを載せたデータ担体。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は、フィルム材料中の映画フィルムソースを検出する分野に関連する。
【０００２】
［従来技術］
米国特許第５，７３４，７３５号明細書には、一連のビデオ画像を解析する方法及びシステムが記載されている。これらのビデオ画像を製作するのに使用された製作媒体の種類が検出される。各一連のビデオ画像は、空間的な情報を保持するために一連のセルへ分割される。空間的な情報は、製作媒体の種類を検出するために使用される。１つの画像において、異なるソースから得られ単一の画像を形成するよう混合された異なるシーンについての製作の種類を検出する技術は開示されていない。
【０００３】
米国特許第６，０１４，１８２号明細書は、映画フィルムソースを検出する方法に関連する。かかる検出は、例えば、ラインダブラー（ｌｉｎｅ ｄｏｕｂｌｅｒ）、テレビジョン規格変換器、テレビジョンスローモーション処理、及び、ビデオ圧縮等の幾つかの環境で有用であり得る。例えば、６０ＨｚのＮＴＳＣテレビジョン信号は、そのソースとして２４フレーム毎秒の映画フィルムを有する。この場合は、３−２プルダウン比が用いられ、即ち、３つのビデオフィールドが１つのフィルムフレームから得られ次の２つのビデオフィールドが次のフィルムフレームから得られる等とされる。例えば、連続するビデオフィールドをＡ，Ｂ，Ｃ，Ｄ，Ｅとすると、３−２プルダウン比はＡＡＡＢＢＣＣＣＤＤＥＥＥのようになる。他のソースは、当業者によって知られているように、２−２プルダウン比を有するものであるかビデオカメラに関連するものである。このように、連続するフィールドを比較することにより、使用されている映画ソースについての情報が得られる。
【０００４】
米国特許第５，３６５，２８０号明細書では、異なるフィールドに対して異なる動きベクトルを使用し、映画フィルム又は映画でないフィルムに関連するフィールドの標識としてテレビ受像機によって使用されうるピクチャ信号処理モード制御信号を発生することを提案している。
【０００５】
動き推定アルゴリズムは、エム・テカルプ（Ｍ． Ｔｅｋａｌｐ）による「ディジタルビデオ処理（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｐｒｏｃｅｓｓｉｎｇ）」， プレンティス・ホール（Ｐｒｅｎｔｉｃｅ Ｈａｌｌ）出版， ＩＳＢＮ ０−１３−１９００７５−７に記載されている。オブジェクトに基づく動き推定方法については、パオロ・ヴィカリ（Ｐａｏｌｏ Ｖｉｃａｒｉ）による「領域に基づくモデルを用いた動きフィールドの表現及び規則化（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｏｆ ｍｏｔｉｏｎ ｆｉｅｌｄｓ ｗｉｔｈ ｒｅｇｉｏｎ−ｂａｓｅｄ ｍｏｄｅｌｓ）」， ミラノ理工科大学論文（ｔｈｅｓｉｓ ｆｏｒ ｔｈｅ Ｐｏｌｉｔｅｃｎｉｃｏ ｄｉ Ｍｉｌａｎｏ）， 第５９８０３４番に記載されている。
【０００６】
［発明の概要］
これまで、従来技術では、単一の映画ソースから生ずるフィールドを有するフィルムの映画ソース又は２以上の異なる映画ソースから生ずるフィールドを有するフィルムの映画ソースのいずれかを検出することについて着目してきた。しかしながら、異なる映画ソースから生じたフィールドの中の画像の混合を含むフィルムがますます多くなっている。上述の従来技術のいずれもフィルムのフィールド中の個々の画像の画像繰り返しモードを検出することができるものではない。例えば、ピクチャレート変換の適用では、フィールド内の個々の画像のソースのしるしを知ることが必要である。更に特定的には、インタレース解除及びフィルム・ジャダー除去を最適に行うために、ビデオがフィルム素材から生じたものであるかを知ることが必要である。
【０００７】
従って、本発明は、フィールド中の個々のオブジェクトのピクチャ繰り返しモードを検出することを可能とする装置及び方法を提供することを目的とする。このような場合、「オブジェクト」とはフィールド中の個々の画像の一部でありうる。「オブジェクト」は、単一の動きモデルで表わされうる画像部分として定義される。かかる「オブジェクト」は、必ずしも１つの「物理的な」オブジェクト、例えば一人の人物のピクチャを含む必要はない。オブジェクトは、１よりも多い物理的なオブジェクトに関連するものであってもよく、例えば、一人の人物が自転車に乗っており人物と自転車の動きが本質的には同じ動きモデルによって表わされてもよい。一方で、このようにして識別されるオブジェクトは、単一のフィルムソースから生じた単一の画像に属すると想定することができる。
【０００８】
本発明の目的を達成するために、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
パターンを多数の所定の動きパラメータパターンと比較する段階と、
比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを含む、
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する方法であって、
連続するフィールド中の、単一の動きモデルで表わされうる連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
連続するフィールド中のオブジェクトの夫々のための動きパラメータパターンを定める段階と、
動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前の段階の結果を用いてオブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行う段階とを含むことを特徴とする方法が提供される。
【０００９】
このように、本発明によれば、フィルムモードを検出する前に、テレビジョン信号のフィールドはセグメンテーション技術によって異なるオブジェクトへ分けられる。これを行うために任意の公知の技術が使用されうる。次に、個々のオブジェクトのフィルムモードが検出される。これを行うために任意の公知の技術が使用されうる。
【００１０】
望ましくは、動きパラメータ推定技術も使用される。
【００１１】
これまでのところ、異なるソースから生じた異なる画像部分（オブジェクト）を識別するために動きパラメータ推定の技術を用いることは、混合を理由に試みられていなかった。
【００１２】
本発明は、また、処理手段とメモリとを含み、
処理手段は、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
パターンを多数の所定の動きパラメータパターンと比較する段階と、
比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを含む、
一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する装置であって、
処理手段は、
連続するフィールド中の、単一の動きモデルで表わされうる連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
連続するフィールド中のオブジェクトの夫々のための動きパラメータパターンを定める段階と、
動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前の段階の結果を用いてオブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行うよう配置されることを特徴とする装置に関する。
【００１３】
このような装置は、有利にはチップ上に実現されうる。このようなチップを含むテレビジョンは、チップ自体と共に、本発明の請求の範囲に記載されている。
【００１４】
本発明は、また、一連の連続するフィールドを含むフィルム素材のピクチャ繰り返しモードを検出する命令を含み、処理手段とメモリとを含むコンピュータ装置によってロードされるべきであり、ロードされた後は前記処理手段に、
一連の連続するフィールドを含むフィルム素材のための動きパラメータパターンを定める段階と、
パターンを多数の所定の動きパラメータパターンと比較する段階と、
比較段階の結果を用いてピクチャ繰り返しモードを決定する段階とを実行させる能力を与えるコンピュータプログラムプロダクトであって、
処理手段は、
連続するフィールド中の、単一の動きモデルで表わされうる連続するフィールドの画像の部分として夫々が定義される複数の異なるオブジェクトを識別する段階と、
連続するフィールド中のオブジェクトの夫々のための動きパラメータパターンを定める段階と、
動きパラメータパターンを多数の所定の動きパラメータパターンと比較する段階と、
前の段階の結果を用いて前記オブジェクトの夫々のためのピクチャ繰り返しモードを決定する段階とを行う段階とを含むことを特徴とするコンピュータプログラムプロダクトに関する。
【００１５】
［望ましい実施例の説明］
以下、本発明を図示するためのものであって本発明の範囲を制限するものではない幾つかの図面を参照して、本発明について説明する。発明の範囲は特許請求の範囲によってのみ制限される。
【００１６】
［はじめに］
シーン中の個々のオブジェクトのフィルムモードを検出する方法について以下説明する。そのために、まず、シーン中の個々のオブジェクトを識別する方法について説明する。個々のオブジェクトは動き推定によって識別され、即ち、シーンのうち同じ動きモデルで示されうる部分は、シーン中の同じオブジェクトに属すると識別される。動き推定器については、例えば、参考文献［１］、［３］、［４］、［５］及び［６］等の従来技術から公知である。これらの参考文献のうち、参考文献［１］は画像のセグメンテーションを適用する必要なしにシーン中のオブジェクトを識別することを可能とする動き推定器について記載している。
【００１７】
本発明のためには、家庭用電化製品の用途に適した計算上の複雑さで、ピクチャレート変換に適しているよう、即ち参考文献［５］、［６］と同様に設計された動き推定器が望ましい。
【００１８】
前述の参考文献［１］に記載のオブジェクト動き推定器の最も大きな特徴は、他の従来技術のオブジェクト動き推定器のようにモデルパラメータの推定の前に画像をオブジェクトへとセグメンテーションする努力がいらないことである。つまり、比較的少数の関心となる画像部分が選択され、多数の並列の動きモデルパラメータ推定器が夫々のパラメータをこのデータセットに最適化しようと試みている。関心となる画像部分のうちの幾つかにおいて推定器のうちの１つが他の推定器よりもうまくいくと、その推定器はこれらの部分に焦点を当て、残る推定器は他の部分に焦点を当てる。つまり、個々の推定器は、互いに画像部分を奪い取ろうとすることで画像全体を「オブジェクト」へ分割する。従来技術のオブジェクト動き推定器は、リアルタイムのオブジェクトに基づく動き推定を可能とし、本発明のフィルム検出技術において有利に使用されうる。
【００１９】
基本的には、費用のかかる画像のセグメンテーションに対する努力という無駄のないこのようなオブジェクトに基づく動き推定器は、ブロックに基づく動き推定器に対して動作回数で対抗することが可能なはずである。なぜならば、写実的な画像ではブロックの数よりもオブジェクトの数の方が少ないと予想されるはずだからである。ブロック毎の候補ベクトルの評価と同様の努力が必要とされるのは、オブジェクトへの画像部分の割り当てだけである。オブジェクトの数が候補ベクトルの数を過度に超過するものではない場合、オブジェクトに基づく動き推定器のオーバーヘッドは無視できるほど小さいはずである。ここでは、オブジェクト一つ当たりの動きは、かなり簡単なパラメータモデルで示されうると想定する。
【００２０】
以下の説明では、使用される望ましい動きモデル、動きモデルパラメータの推定、使用される望ましい費用関数、セグメンテーション処理、及びシーン中の個々のオブジェクトのフィルムモード検出について説明する。
【００２１】
［動きモデル］
複雑さを抑えるため、各オブジェクトｏの動きは、平行移動と拡大縮小のみを示しうる単純な１次の線形モデルによって示される。当業者によれば、例えば回転を含むモデル等の更に複雑なパラメトリック動きモデルが知られており、本願で提案するアルゴリズムと組み合わせて適用されうるが、本発明によればかかる複雑なモデルはもはや時代遅れとなるような改善が提案されるため、これらの複雑なモデルについては考えないものとする。
【００２２】
使用されるモデルは、
【００２３】
【数１】
2004518341.tif 000003
であり、式中、
【００２４】
【外１】
2004518341.tif 000004
は添え字ｎを伴う画像中の
【００２５】
【外２】
2004518341.tif 000005
におけるオブジェクトｏの変位ベクトルを示す。
【００２６】
【外３】
2004518341.tif 000006
は、画素位置に関連付けられることがわかる。
【００２７】
［パラメータ推定］
動きモデルが与えられると、次にそのパラメータは画像中の所与のオブジェクトについて最適化される必要がある。静止画像部は殆ど全てのシーケンス中に生ずるため、動きが
【００２８】
【外４】
2004518341.tif 000007
、即ちゼロベクトルで示される「オブジェクトｏ，ｏ＞０」が存在すると仮定する。明らかに、これを利用可能とするには推定の努力は必要でない。追加的なオブジェクトｏ，ｏ＞０のパラメータベクトルは、別々に、並列に、図１に示されるように夫々のパラメータ推定器（ＰＥｍ，ｍ＝１，２，．．．，Ｍ）によって推定される。
【００２９】
図１は、データ整理ユニット（Ｄａｔａ Ｒｅｄｕｃｔｉｏｎ Ｕｎｉｔ）ＤＲＵの出力に並列に接続される複数のパラメータ推定器ＰＥｍ（ｎ）を含む装置を示すブロック図である。データ整理ユニットＤＲＵは、行われるべき計算において使用されるべき一組の関心となる画素を選択するよう配置される。データ整理ユニットＤＲＵへの入力は、時間ｎにおける画像と時間ｎ−１における当該の画像である。ＰＥｍ（ｎ）の各出力は、セグメンテーション装置ＳＵに接続される。
【００３０】
セグメンテーション装置ＳＵの出力はパラメータ推定器ＰＥｍ（ｎ）へフィードバックされる。なぜならばこれらは一緒となって以下に示す反復的な動作を行うことが望ましいからである。セグメンテーション処理の最終的な結果は、シーンの画素の群によって形成され、各画素群は異なるオブジェクトに属し、それに対して異なる動きベクトルが割り当てられている。これらの出力データは、オブジェクト毎のフィルムソースの種別を検出し、ピクチャレート変換等の所定のタスクを異なるオブジェクトに対して実行する処理装置ＰＵに供給される。処理装置ＰＵは、以下説明するようにフィルムソースの種別を検出するのに使用される所定の動きパラメータパターンを格納するメモリＭに接続される。メモリＭは、任意の種類、例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ハードディスク等でありうる。処理装置ＰＵの出力は、例えば、テレビ画面を制御する。
【００３１】
データ整理装置ＤＲＵ、パラメータ推定器ＰＥｍ（ｎ）、セグメンテーション装置ＳＵ、及び処理装置ＰＵは、別々のブロックとして示されている。これらのブロックは、別個のプロセッサ及びメモリを有する別々のインテリジェントな装置として実施されてもよい。しかしながら、当業者によれば明らかであるように、これらの装置は、例えばプロセッサと適当なソフトウエアがロードされた適当なメモリとを含む汎用マイクロプロセッサといった単一の装置に一体化されてもよい。かかるマイクロプロセッサについては、図示しないが、いかなるコンピュータハンドブックからも公知である。或いは、図１に示す装置は、当業者によって知られているようなハード配線論理ユニットとして実施されうる。望ましくは、図１に示される装置全体が単一のパッケージ内に単一のチップとして封入される。かかる単一チップパッケージは、テレビジョン装置内に容易に含まれうる。
【００３２】
各ＰＥｍ（ｎ）は、以前に推定されたパラメータベクトルを更新し、その後、費用関数に従ってそのオブジェクトに対する結果パラメータベクトルとして最善のパラメータ候補ベクトルが選択される。
【００３３】
式（１）の４つのパラメータモデルを考えると、オブジェクトｏ、ｏ＞０のパラメータは、
【００３４】
【外５】
2004518341.tif 000008
と考えることができ、これは、
【００３５】
【数２】
2004518341.tif 000009
で表わされ、本発明においては、多数の候補パラメータベクトル
【００３６】
【外６】
2004518341.tif 000010
から
【００３７】
【外７】
2004518341.tif 000011
を選択するタスクは、後述する費用関数の最小値を有するものを選択することであると定義する。
【００３８】
望ましくは、候補は参考文献［５］、［６］に記載の方法と同様に生成され、即ち、予測ベクトルをとり、少なくとも１つの更新ベクトルを加え、誤差規準に従って最善の候補パラメータベクトルを選択することにより生成される。候補パラメータ集合ＣＳｏ（ｎ）は、以下の式、
【００３９】
【数３】
2004518341.tif 000012
に従って３つの候補
【００４０】
【外８】
2004518341.tif 000013
を含み、更新パラメータ
【００４１】
【外９】
2004518341.tif 000014
は更新パラメータ集合ＵＳｏ（ｎ）、即ち、
【００４２】
【数４】
2004518341.tif 000015
から選択される。
【００４３】
［費用関数］
動きモデルと幾つかの候補パラメータ集合が与えられているとき、所与のオブジェクトに対する結果として、費用関数に従って最善の候補を選択する必要がある。費用関数は、ベクトルが（候補）動きモデルで発生される場合、近傍の画像からの動き補償された画素間の絶対差でありうる。しかしながら、動きモデルが割り当てられるべき領域を知る必要がある。２つの問題、即ちセグメンテーションと動き推定は、相互に依存する。１つのオブジェクト中の動きを正しく推定するには、オブジェクトが知られていなくてはならず、またオブジェクトを知らなくては１つのオブジェクト中の動きを正しく推定することができない。
【００４４】
動き推定処理の最初の段階として、関心となる画素ブロックを有する集合を定義する。これらは、全てのパラメトリックモデルの最適化の基礎として使用される「関心となる」画像部分の集合ＳＩ（ｎ）を形成する。
【００４５】
ここで、個々のパラメータ推定器の焦点は異なるオブジェクトに当てられねばならない。このために、各パラメータ推定器ＰＥｍ（ｎ）はその費用関数を集合ＳＩ中で定義される関心位置の同じ集合に対して計算し、異なる場所に対して異なる重み係数
【００４６】
【外１０】
2004518341.tif 000016
を与える。ここでは、
【００４７】
【外１１】
2004518341.tif 000017
は画素のブロックのブロックに関連付けられる。与えられるアルゴリズムは以下のとおり直接的なものである。
・以前の画像セグメンテーション段階により、ＳＩ（ｎ）中の画素が同じオブジェクト、即ち、同じパラメータ推定器に属するとき、画素値は、１よりも大きい例えば８である第１の重み係数で乗算される。
・セグメンテーションによってその位置が他のパラメータ推定器に対して割り当てられ、この推定器が低いマッチ誤差を達成したとき、画素値は１よりも小さい例えば０．１である第２の重み係数で乗算される。
【００４８】
図２は、一つの動くオブジェクト、即ち自転車に乗っている人及び動く背景を有する画像中の関心となる画素ブロックの選択の例を示す。この選択は、データ整理装置ＤＲＵによって行われる。このように、データ整理装置は最も関心となる画素（ＳＩ）の集合を表示し、かなり安価な（計算の少ない）有効なパラメータ推定を生じさせる。図２は、パラメータ推定器によりパラメータが最適化される関心となる点を選択する処理を示す画面の写真を示す。２つの連続する画像の間の時間的な差の画像は実際には計算されないが、ベクトル
【００４９】
【外１２】
2004518341.tif 000018
の高いマッチ誤差、即ち関心となる点を有する全体集合がなぜ図３Ｃに示す位置にあるかを理解するために用いられる。図３Ｄにおいて、この例において、２つのパラメータ推定器の焦点がどのようにして関心となる点の間で分けられるかが示されている。即ち、図３Ｄは、２つの異なる動きモデルが検出されることを示す。２つの部分集合は、異なる明るさで示され、即ち一つは黒、他方は灰色で示される。
【００５０】
画像の動く背景は、オブジェクトｏ＝１であり、自転車に乗る人はオブジェクトｏ＝２である。関心となるブロックを含む同じ集合に対して両方とも最適化される２つのパラメータ推定器があるが、セグメンテーションにおいて一方の推定器が領域中で最善であると選択されるとすぐに、その領域中の関心となる画素ブロックは費用関数で強調される。しばらくしてから、図示される状況に収束し、一方の推定器はＳＩ（ｎ）中の灰色のブロックに焦点を当て、他方はＳＩ（ｎ）中の白い画素ブロックに焦点を当てる。
【００５１】
更に形式的には、費用関数は以下の式、
【００５２】
【数５】
2004518341.tif 000019
に従って計算され、式中、
【００５３】
【外１３】
2004518341.tif 000020
は、添え字ｎを伴うサブサンプリングされた画像中の
【００５４】
【外１４】
2004518341.tif 000021
における輝度値であり、
【００５５】
【外１５】
2004518341.tif 000022
は
【００５６】
【外１６】
2004518341.tif 000023
における
【００５７】
【外１７】
2004518341.tif 000024
から得られるベクトルである。
【００５８】
サブサンプリングは、必要とされるメモリ帯域幅を効果的に減少させる。画像は、フィールド毎に水平方向に４倍で垂直方向に２倍でサブサンプリングされ、各元のフィールドＦ（ｎ）からサブサンプリングされた画像Ｆｓ（ｎ）を発生する。Ｆの元の画素のグリッドに対して画素の精度を達成するために、サブサンプリンググリッドに対して補間が必要である。
【００５９】
［再帰的セグメンテーション］
セグメンテーションはアルゴリズムで最も重要な段階である。セグメンテーションの役割は各画素群に１つの動きモデルを割り当てることである。各ブロックに対して、夫々の
【００６０】
【外１８】
2004518341.tif 000025
に対応する
【００６１】
【外１９】
2004518341.tif 000026
は、
【００６２】
【数６】
2004518341.tif 000027
に従って計算されうる。このセグメンテーションが有効な時点は、αによって定義される。
【００６３】
本発明では、例えば参考文献［５］に記載されるような３次元ＲＳブロックマッチング装置（３−Ｄ ＲＳ ｂｌｏｃｋ ｍａｔｃｈｅｒ）の技術に似た再帰的セグメンテーション法を採用し、即ち、最善のＰＥｍ（ｎ）の空間的及び時間的な予測を用い、空間的・時間的に近傍に生じないＰＥｍ（ｎ）を選択することによってペナルティを課すことによって行われる。式で表わすと、
【００６４】
【外２０】
2004518341.tif 000028
は最も低い局所的な変更された
【００６５】
【外２１】
2004518341.tif 000029
を有するオブジェクトｏに
【００６６】
【外２２】
2004518341.tif 000030
を割り当て、但し、
【００６７】
【数７】
2004518341.tif 000031
であり、
【００６８】
【外２３】
2004518341.tif 000032
は以下の規則、
【００６９】
【数８】
2004518341.tif 000033
かつ
【００７０】
【数９】
2004518341.tif 000034
に従って選択されるペナルティである。
【００７１】
参考文献［５］の３次元ＲＳブロックマッチング装置のために提案されているものと同様に、Ｐｕは最大のペナルティであり、Ｐｔは単に小さいものであり、Ｐｓがゼロであってはいけないかという理由はない。かなり明らかな簡単化としては、
【００７２】
【外２４】
2004518341.tif 000035
を走査方向とは逆の方向に固定し、フィールド毎に走査を変えることが行われる。図３Ａ乃至図３Ｄは、元の輝度画像でオブジェクトに基づく動き推定方法に従ったセグメンテーションの例を与える。図３Ａ乃至図３Ｄは、テレビ画面から得られた写真を示し、セグメンテーションの処理を示すものである。図３Ａは元の画像を示し、図３Ｂ乃至図３Ｄは続くセグメンテーションの結果を示す。明らかに、図３Ａ中の最初の画像は、質の低い殆どランダムなセグメンテーションを有する。しかしながら、セグメンテーションの際に個々の推定器がそれらの領域に焦点を当てることにより、すばやく有用なセグメンテーションへ収束する。図３Ｄは、２つの異なるオブジェクトが区別されることを示しており、図３Ｄの例では、自転車に乗る人に関するオブジェクトと背景に関するオブジェクトが区別されうる。
【００７３】
［従来技術のフィルムモード認識］
画像中の各オブジェクトのための動きベクトルの計算のほかに、ピクチャレート変換における適用は、画像シーケンスが最初に生成された出所を示す標識を必要とする。特に、最適にインタレース解除を行うため及びフィルムジャダーを除去するために映像がフィルム材料から生成されたものであるか否かを知る必要がある。更に、２−２プルダウン画像素材、２−３プルダウン素材、及びビデオカメラからの映像を区別することが必要である。
【００７４】
上述のように、従来技術の方法では、この検出は大局的な検出に関連し、即ちビデオカメラと様々なフィルム形式の間の区別は画像全体に対してのみなされる。
【００７５】
参考文献［８］の適用として、オブジェクトに基づく動き推定器について、画像の最も大きい領域を網羅するパラメータ推定器のみによって表わされる動きを解析し、明らかにゼロベクトル「推定器」を無視して、信頼性の高いムービー検出器が実現されうる。
【００７６】
ここで、ｍａｘ（ｎ）はパラメータベクトルＰＯ（ｎ）の最大の成分と定義し（パラメータベクトルの最大の成分をとるのではなく、パラメータ成分のいずれか又は両方の平均、絶対値又は加算された絶対値を用いることも同様に可能である）、即ち、
【００７７】
【数１０】
2004518341.tif 000036
である。ここで、最近の履歴の集合ＲＨ（ｎ）を、
【００７８】
【数１１】
2004518341.tif 000037
として集め、これは適応閾値操作により、２値ムービー検出集合ＭＤ（ｎ）へ変換され、２−２プルダウンについては、例えば、
【００７９】
【数１２】
2004518341.tif 000038
が得られ、２−３プルダウンについては、例えば、
【００８０】
【数１３】
2004518341.tif 000039
が得られ、ビデオについては、例えば、
【００８１】
【数１４】
2004518341.tif 000040
が得られる。
【００８２】
実際の集合をメモリＭに格納された限られた数の公知のパターンと比較すると、ムービーの種類とフェーズについての情報が得られる。シーンカットの場合、検出器は、信頼性が低いという出力を発生し、これは動き補償がオフとされた方がよいことを示す。
【００８３】
［本発明によるフィルムモード認識］
本発明は、シーン中の個々のオブジェクトのフィルムモードの検出に関連する。最近では制作中に異なるソースからの画像が混合されることがますます多くなっている。従って、本発明では、オブジェクトに基づく動き推定器を、シーン中のオブジェクトの動きパラメータ推定を行うと共に、どこから発生したのかを決定するよう適合することを提案する。
【００８４】
このために、全ての個々のパラメータ推定器によって示される動きを解析する。
【００８５】
ここで、ｍａｘｏ（ｎ）をパラメータベクトルＰｏ（ｎ）の最大の成分であると定義し（パラメータベクトルの最大の成分をとるかわりに、パラメータ成分のいずれか又は両方の平均値、絶対値、又は加算された絶対値を用いることも同様に可能である）、即ち、
【００８６】
【数１５】
2004518341.tif 000041
となる。ここで、最近の履歴の集合ＲＨｏ（ｎ）を、
【００８７】
【数１６】
2004518341.tif 000042
として集め、これは適応閾値処理により２値のムービー検出集合ＭＤｏ（ｎ）へ変換され、２−２プルダウンオブジェクトについては、例えば、
【００８８】
【数１７】
2004518341.tif 000043
が得られ、２−３プルダウンについては、例えば、
【００８９】
【数１８】
2004518341.tif 000044
が得られ、ビデオについては、例えば、
【００９０】
【数１９】
2004518341.tif 000045
が得られる。
【００９１】
実際の集合をメモリＭに格納された限られた数の公知のパターンと比較すると、個々のオブジェクトに対するムービーの種類とフェーズについての情報が得られる。シーンカットの場合、検出器は、信頼性が低いという出力を発生し、これは全てのオブジェクトについて動き補償がオフとされた方がよいことを示す。
【００９２】
［参考文献］
［１］国際公開第９９／１６２５１号パンフレット、ジー・デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）、アール・ジェイ・シュッテン（Ｒ．Ｊ．Ｓｃｈｕｔｔｅｎ）及びエイ・ペラゴッティ（Ａ． Ｐｅｌａｇｏｔｔｉ）による「動き推定及び動き補償された補間（Ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ）」
［２］デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）、「ＰＣ上のジャダーなしのビデオ（Ｊｕｄｄｅｒ−ｆｒｅｅ ｖｉｄｅｏ ｏｎ ＰＣ’ｓ）」、Ｐｒｏｃ． ｏｆ ｔｈｅ ＷｉｎＨＥＣ’９８、１９９８年３月、米国、オーランド、（ＣＤ−ＲＯＭ）
［３］ジー・デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）及びピー・ダブリュ・エイ・シー・ビーゼン（Ｐ． Ｗ． Ａ． Ｃ． Ｂｉｅｚｅｎ）、「パラメトリック動きモデルからの候補ベクトルを用いる効率的な真の動き推定器（Ａｎ ｅｆｆｉｃｉｅｎｔ ｔｒｕｅ−ｍｏｔｉｏｎ ｅｓｔｉｍａｔｏｒ ｕｓｉｎｇ ｃａｎｄｉｄａｔｅ ｖｅｃｔｏｒｓ ｆｒｏｍ ａ ｐａｒａｍｅｔｒｉｃ ｍｏｔｉｏｎ ｍｏｄｅｌ）」、ＩＥＥＥビデオ技術のための回路及びシステムに関する議事録（ＩＥＥＥ Ｔｒ． ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ）、第８巻、第１号、１９９８年３月、ｐ．８５−９１
［４］アール・ジェイ・シュッテン（Ｒ．Ｊ．Ｓｃｈｕｔｔｅｎ）及びジー・デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）、［プログラマブルな装置に動き推定／補償を適用するリアルタイム２−３プルダウン除去（Ｒｅａｌ−ｔｉｍｅ ２−３ ｐｕｌｌ−ｄｏｗｎ ｅｌｉｍｉｎａｔｉｏｎ ａｐｐｌｙｉｎｇ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ／ｃｏｍｐｅｎｓａｔｉｏｎ ｏｎ ａ ｐｒｏｇｒａｍｍａｂｌｅ ｄｅｖｉｃｅ）］ＩＥＥＥ家庭用電化製品に関する議事録（ＩＥＥＥ Ｔｒ． ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ）、第４４巻、第３号、１９９８年８月、ｐ．９３０−９３８
［５］ジー・デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）、ピー・ダブリュ・エイ・シー・ビーゼン（Ｐ． Ｗ． Ａ． Ｃ． Ｂｉｅｚｅｎ）、エイチ・ヒュイジェン（Ｈ． Ｈｕｉｊｇｅｎ）及びオー・エイ・オジョ（Ｏ． Ａ． Ｏｊｏ）、「３次元リカーシブ・サーチ・ブロックマッチングを用いた真の動き推定（Ｔｒｕｅ Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ Ｒｅｃｕｒｓｉｖｅ Ｓｅａｒｃｈ Ｂｌｏｃｋ−Ｍａｔｃｈｉｎｇ）」、ＩＥＥＥビデオ技術のための回路及びシステムに関する議事録（ＩＥＥＥ Ｔｒ． ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ）、第３巻、１９９３年１０月、ｐ．３６８−３８８
［６］ジー・デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）及びピー・ダブリュ・エイ・シー・ビーゼン（Ｐ． Ｗ． Ａ． Ｃ． Ｂｉｅｚｅｎ）、「３次元リカーシブ・サーチ・ブロックマッチングを用いたサブピクセル動き推定（Ｓｕｂ−ｐｉｘｅｌ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ ｒｅｃｕｒｓｉｖｅ ｓｅａｒｃｈ ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ）」、信号処理（Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）：画像通信６（Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ６）、１９９４年、ｐ．２２９−２３９。ジー・デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）、ジェイ・ケテニス（Ｊ． Ｋｅｔｔｅｎｉｓ）、及びビー・デロール（Ｂ． Ｄｅｌｏｏｒｅ）、「動き補償された１００ＨｚＴＶ用のＩＣと平滑動きムービーモード（ＩＣ ｆｏｒ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ １００Ｈｚ ＴＶ， ｗｉｔｈ ａ Ｓｍｏｏｔｈ Ｍｏｔｉｏｎ Ｍｏｖｉｅ−Ｍｏｄｅ）」、ＩＥＥＥ家庭用電化製品に関する議事録（ＩＥＥＥ Ｔｒ． ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ）、第４２巻、第２号、１９９６年５月、ｐ．１６５−１７４
［７］ジー・デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）及びピー・ダブリュ・エイ・シー・ビーゼン（Ｐ． Ｗ． Ａ． Ｃ． Ｂｉｅｚｅｎ）、「高画質テレビ受像機用の時間リカーシブのインタレース解除（Ｔｉｍｅ−ｒｅｃｕｒｓｉｖｅ ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ ｆｏｒ ｈｉｇｈ−ｑｕａｌｉｔｙ ｔｅｌｅｖｉｓｉｏｎ ｒｅｃｅｉｖｅｒｓ）」、ＨＤＴＶ及びテレビジョンの進化に関する国際研究会の議事録（Ｐｒｏｃ． ｏｆ ｔｈｅ Ｉｎｔ． Ｗｏｒｋｓｈｏｐ ｏｎ ＨＤＴＶ ａｎｄ ｔｈｅ Ｅｖｏｌｕｔｉｏｎ ｏｆ Ｔｅｌｅｖｉｓｉｏｎ）、台湾、台北、１９９５年１１月、ｐ．８Ｂ２５−８Ｂ３３
［８］米国特許第５，３６５，２８０号、１９９４年１１月１５日、ジー・デ  ハーン（Ｇ． ｄｅ Ｈａａｎ）、エイチ・ヒュイジェン（Ｈ． Ｈｕｉｊｇｅｎ）、ピー・ダブリュ・エイ・シー・ビーゼン（Ｐ． Ｗ． Ａ． Ｃ． Ｂｉｅｚｅｎ）及びオー・エイ・オジョ（Ｏ． Ａ． Ｏｊｏ）、「ムービーフィルムと非ムービーフィルを区別しピクチャ信号処理モード制御信号を発生する方法及び装置（Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ｂｅｔｗｅｅｎ ｍｏｖｉｅ ｆｉｌｍ ａｎｄ ｎｏｎ−ｍｏｖｉｅ ｆｉｌｍ ａｎｄ ｇｅｎｅｒａｔｉｎｇ ａ ｐｉｃｔｕｒｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｏｄｅ ｃｏｎｔｒｏｌ ｓｉｇｎａｌ）」
【図面の簡単な説明】
【図１】
多パラメータ推定器及びセグメント化装置を示すブロック図である。
【図２Ａ】
パラメータ推定器がそれらのパラメータを最適化する関心点を選択する処理を示すテレビジョン画面の写真を示す図である。
【図２Ｂ】
パラメータ推定器がそれらのパラメータを最適化する関心点を選択する処理を示すテレビジョン画面の写真を示す図である。
【図２Ｃ】
パラメータ推定器がそれらのパラメータを最適化する関心点を選択する処理を示すテレビジョン画面の写真を示す図である。
【図２Ｄ】
パラメータ推定器がそれらのパラメータを最適化する関心点を選択する処理を示すテレビジョン画面の写真を示す図である。
【図３Ａ】
セグメント化の処理を示すテレビジョン画面の写真を示す図である。
【図３Ｂ】
セグメント化の処理を示すテレビジョン画面の写真を示す図である。
【図３Ｃ】
セグメント化の処理を示すテレビジョン画面の写真を示す図である。
【図３Ｄ】
セグメント化の処理を示すテレビジョン画面の写真を示す図である。
【図１】
2004518341.tif 000046
【図２Ａ】
2004518341.tif 000047
【図２Ｂ】
2004518341.tif 000048
【図２Ｃ】
2004518341.tif 000049
【図２Ｄ】
2004518341.tif 000050
【図３Ａ】
2004518341.tif 000051
【図３Ｂ】
2004518341.tif 000052
【図３Ｃ】
2004518341.tif 000053
【図３Ｄ】
2004518341.tif 000054
【国際公開パンフレット】
2004518341.tif 000055
2004518341.tif 000056
2004518341.tif 000057
2004518341.tif 000058
2004518341.tif 000059
2004518341.tif 000060
2004518341.tif 000061
2004518341.tif 000062
2004518341.tif 000063
2004518341.tif 000064
2004518341.tif 000065
2004518341.tif 000066
2004518341.tif 000067
2004518341.tif 000068
2004518341.tif 000069
2004518341.tif 000070
2004518341.tif 000071
2004518341.tif 000072
2004518341.tif 000073
2004518341.tif 000074
2004518341.tif 000075
2004518341.tif 000076
2004518341.tif 000077
2004518341.tif 000078
【国際調査報告】
2004518341.tif 000079
2004518341.tif 000080
2004518341.tif 000081