(57)【特許請求の範囲】
【請求項１】
ビデオデータ信号から取得された静止画像内でのモーション表示方法であって、
(a)  ビデオデータ信号の第１の部分を取得し、
(b)  ビデオデータ信号の第２の部分を取得し、
(c)  ビデオデータ信号の第１の部分と第２の部分との間のモーションを特徴づけ、
(d)  第１の部分の少なくとも１つの各画素である選択点について、該選択点に対応する特徴づけされたモーションにもとづき、前記静止画像に、該選択点から延びる動線を追加し、
(d)は、
(d1)          前記ビデオデータ信号の前記第１の部分と第２の部分との間の特徴づけられたモーションを補償するために該ビデオデータ信号の該第１の部分および第２の部分の一方を修正し、
(d2)  前記第１の部分および第２の部分の修正された一方と、該第１の部分および第２の部分の修正されていない一方と、の間の少なくとも一つの範囲のモーションを識別し、
(d3)  前記少なくとも一つの範囲において該モーションの範囲のエッジの上に存在する点である候補点を識別し、
(d4)  識別された候補点の各々について、前記第１の部分と第２の部分との間のモーションの量および該第１の部分と第２の部分との間のモーションの方向の少なくとも一方を決定し、
(d5)  識別された前記候補点から前記選択点を選択し、
(d6)  前記第１の部分の選択された前記選択点の各々について、該選択点に対応する決定されたモーションの大きさおよび決定されたモーションの方向の少なくとも一方にもとづいて該選択点から延びる動線を追加する、
ことを含み、
(d5)は、
前記候補点の各々について、モーションの範囲において、モーションの方向について前方のエッジの上に該候補点があるか否かを識別し、
モーションの該範囲の前方のエッジに該候補点がない場合にのみ、該候補点を選択する、
ことを含み、
前記第２の部分はフィールドまたはフレームであり、
前記第１の部分は第２の部分に先行するフィールドまたはフレームである、
モーション表示方法。
【請求項２】
(d5)は、
前記候補点の各々について、該候補点が前記エッジが形成する角にあるか否かを識別し、
該候補点が角にある場合のみ、該候補点を前記選択点として選択する、
ことを含み
前記候補点の８近傍の２つまたは３つの近傍が、該候補点と同じ画像値を有し、他の５つまたは６つの近傍が異なる画像値を有する場合は、該候補点が前記エッジの角にあることが識別される、
請求項１に記載のモーション表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象とする点の軌道を表示する線を挿入することによって静止画像内でモーション（動き）を表示する方法及びシステムに関する。より詳細には、本発明は、オブジェクトと背景との間の相対的なモーションを表す線を、少なくとも２つのビデオフレーム又はフィールドのシーケンスから自動的に生成する方法及びシステムに関する。
【０００２】
【従来の技術】
ウェブページや、マイクロソフト (Microsoft、登録商標）社のワード(Word、登録商標）のファイル又はパワーポイント(PowerPoint、登録商標)のプレゼンテーションのような現代的な文書は、デジタルビデオやアニメーションを介して、モーションを含むことができる。ネットワークライブラリ、ビデオ会議、デジタルビデオカムコーダ、及びビデオキャプチャ装置など、使用可能な新しい媒体が増加している。これらの媒体は注意を引くことができ、アイデアを伝えることができるが、プリント（された媒体）との互換性はない。
【０００３】
【発明が解決しようとする課題】
ビデオ信号の静止画像が表示又はプリントされる際に、モーション情報が失われないように、ビデオ信号の静止画像内にモーション情報を自動的に表示することが望ましいであろう。
【０００４】
【課題を解決するための手段】
本発明は、ビデオ信号の静止画像内でモーションを表すために、静止画像を修正するシステム及び方法を提供する。
【０００５】
本発明は、静止画像内の１つ以上のオブジェクト及び/又は背景特徴物にモーションを表す（複数の）動線(motion line)を追加することによって、モーションを表すために、静止画像を修正するシステム及び方法を個別に提供する。
【０００６】
本発明は、モーションを表す追加された動線を、その追加された動線が静止画像の選択された点を始点として延びるように配置することによって、静止画像を修正するシステム及び方法を個別に提供する。
【０００７】
本発明は、静止画像の前景オブジェクトと静止画像の背景との間の相対的なモーションを表すように、静止画像を修正するシステム及び方法を個別に提供する。
【０００８】
本発明は、前景画像上の点及び背景画像上の点の一方又は両方にモーションを表す動線を追加することによって、静止画像の前景オブジェクトと背景との間の相対的なモーションを表すように、静止画像を修正するシステム及び方法を個別に提供する。
【０００９】
１つの例示的な実施の形態では、本発明のシステム及び方法は、ビデオカメラを動かすことによって生じたフィールド又はフレーム間のモーションを、ビデオフィールド又はフレーム内のモーションから区別することによって、２つ以上の連続するビデオフィールド又はビデオフレームを揃える。この２つのタイプのモーションは、特徴づけされる。通常は時間が早い方のフィールド又はフレームであるフィールド又はフレームの一方を、他方のベースとなるフィールド又はフレームに揃えるために、個々のビデオフィールド又はフレームは変形される。
【００１０】
一般的に“グローバルモーション（global motion）”と呼ばれる第１のタイプのモーションは、フィールド又はフレーム間でカメラが動いたことによって生じる。そのような動きは、カメラのパン及び/又はズームに起因する。これらの２つのフィールド又はフレーム内の特徴物を概ね揃えるのに必要な、第２のフィールド又はフレームに関する１つのフィールド又はフレームの調整は、このグローバルモーションを特徴づけする。本明細書で一般的に“ローカルモーション（local motion）”と呼ぶ第２のタイプのモーションは、任意のグローバルモーションについてフィールド又はフレームが概ね揃えられた後の、２つのフィールド又はフレーム間の特定の特徴物のモーションのことである。このローカルモーションは、２つのフィールド又はフレーム間でこれらの特徴物を揃えるのに必要な付加的な調整によって、更に特徴づけされる。一旦、２つのフィールド又はフレーム内の特徴物について、この２つのフィールド又はフレーム間のモーションが完全に特徴づけされたら、この２つ以上のフィールド又はフレームの時間的に遅い方に動線を追加できる。動線は、ローカルモーション、グローバルモーション、又はグローバルモーションとローカルモーションとの任意の所望の組み合わせを表示するように用いることができる。
【００１１】
本明細書に全文を参照して援用するゲズデ  ボズダギ(Gozde Bozdagi)の米国特許第5,784,115号に、グローバルモーション補償が述べられている。
【００１２】
本発明のシステム及び方法の１つの例示的な実施の形態では、動線によってローカルモーションだけが表示される場合は、フィールド又はフレーム間のグローバルモーションを補償した後で、フィールド又はフレーム内のローカルモーションを検出することができる。フィールド又はフレーム内のローカルモーションは、２つの連続ビデオフィールド又はフレーム内のオブジェクト内の対象点における明度値の間の差をとることによって決定される。モーションを生じる領域の二値マスクが形成される。このマスクは、ベースフィールド又はフレーム内の、明度値間の差が閾値を越える点だけを含むことによって、形成される。
【００１３】
様々な方法を用いて、モーション領域に含まれる点から、対象点が識別される。本発明に従ったシステム及び方法の１つの例示的な実施の形態では、対象点は、エッジに沿って位置する点に限定される。エッジは、対象点とその対象点に隣接する点との間の画像値において、選択された勾配強度を識別することによって決定される。一旦、勾配強度が決定されると、勾配強度の選択されたものが選択される。選択された勾配は、所定の閾値よりも大きく、且つ勾配の方向に沿った隣接点における勾配よりも大きい。
【００１４】
本発明のシステム及び方法の１つの例示的な実施の形態では、識別された対象点から、次に、ベースフィールド又はフレーム内の特徴物の角にある識別された対象点が選択される。角にある対象点は、近傍連結画素の画像値を調べて、対象点と類似の画像値を有する近傍連結画素の数がより少なく且つ対象点とは異なる画像値を有する近傍連結画素の数がより多い対象点を選択することによって、識別される。更に、本発明のシステム及び方法の別の例示的な実施の形態では、選択された対象点は、次に、選択された対象点が互いに所定の最小距離で離間するように選択される。
【００１５】
本発明のシステム及び方法の１つの例示的な実施の形態では、選択された各対象点のモーションは、まず、２つのシーケンシャルなビデオフレーム又はフィールドの後のフレーム又はフィールド内の、選択された各対象点を囲む画素ブロックを、２つのシーケンシャルなビデオフレーム又はフィールドの前のフレーム又はフィールド内の様々な位置の画素ブロックと照合することによって決定される。シーケンシャルなビデオフレーム間で明度差が最小となる画素ブロックが決定される。モーションは、後のフィールド又はフレーム内のその画素ブロックの位置と、前のフィールド又はフレーム内の決定された画素ブロックとの間の距離から決定される。
【００１６】
本発明のシステム及び方法の別の例示的な実施の形態では、識別された対象点からの所望の対象点の選択は、識別された対象点のモーションの大きさのＮ倍（ここではＮは約２である）の大きさを有するベクトルを、識別された対象点の最終位置に加え、次に、その結果得られた対象点が動作領域内にあるか否かを決定することを含む。得られた対象点が動作領域内にない場合は、そのベクトルが加えられた識別された対象点が、対象点として選択される。
【００１７】
選択された点のモーションを表す線が、後のフィールド又はフレームに追加される。追加された線は、選択された対象点からモーション方向に延びる。追加された線は、対応する対象点のモーションを表す方向及び長さ（大きさ）を有する。或いは、これらの線は、全ての選択点のモーションの方向を平均した方向に延びる。この場合、各線の長さは、それに対応する選択点のモーションに比例する。
【００１８】
本発明に従った動線追加システム及び方法は、フィールド又はフレーム内の特徴物の、複数のフィールド又はフレーム間のモーション表現を含む静止画像を生成する。モーションは、静止画像を含む２つ以上のビデオフィールド又はフレームのシーケンスから決定される。１つの例示的な実施の形態では、動線追加システムは、取得（capture）されデジタル変換されたモーションを含む画像のフィールド又はフレームを格納するメモリを含む。グローバルモーションシステムは、任意の２つの連続するビデオフィールド又はビデオフレーム間のグローバルモーションを除去する。候補点決定回路は、メモリに格納されているグローバルモーション補償済のベースフィールド又はベースフレーム内の候補点を決定する。モーション決定回路は、候補点で生じるモーションを推定する。候補点選択部は、候補点から選択点を抽出する。モーション表示回路は、静止画像の選択点にモーション表示を追加する。
【００１９】
本発明のシステム及び方法の別の例示的な実施の形態では、最初に２つのフィールド又はフレーム間のグローバルモーションを調整せずに、２つのフィールド又はフレームを比較することにより、モーションマスクを生成することができる。従って、モーションマスクは、対象点の補償されていない明度値を、２つのフィールド又はフレーム間で比較することによって生成される。この場合、動線は、２つのフィールド又はフレーム間のローカルモーション及びグローバルモーションの両方を表示することになる。
【００２０】
本発明の態様は、ビデオデータ信号から取得された静止画像内でのモーション表示方法であって、ビデオデータ信号の第１の部分（即ち第１のビデオフレーム又はフィールド）を取得するステップと、ビデオデータ信号の第２の部分（即ち第２のビデオフレーム又はフィールド）を取得するステップと、ビデオデータ信号の第１の部分と第２の部分との間のモーション（即ちオブジェクトと背景との間の相対的なモーション）を特徴づけるステップと、第１の部分の少なくとも１つの画素（即ち特徴点）について、前記画素に対応する特徴づけされたモーションに基づき、前記画素に動線を追加するステップとを有する、ビデオデータ信号から取得された静止画像内でのモーション表示方法である。
【００２１】
本発明のこれらの及び他の特徴及び長所は、以下の好ましい実施の形態の詳細説明で述べられ、明らかとなる。
【００２２】
【発明の実施の形態】
図１は、背景１１０と背景１１０に相対して移動している前景オブジェクト１２０とを有する、例示的な、取得されたビデオフレーム１００を示す。詳細には、移動オブジェクト１２０は、概ねビデオフレームの左下角１２２に向かって移動している。
【００２３】
図２は、図１に示されている例示的な静止ビデオ画像１００から生成された、例示的な動線追加済静止画像１００’を示す。詳細には、動線追加済静止画像１００’は動線１３０を含む。これらの動線１３０は、静止ビデオ画像１００内の背景１１０に相対するオブジェクト１２０のモーションの、静止ビデオ画像１００が取得されたビデオデータ信号の先行フィールド又はフレームに相対する、方向及び大きさを示す。動線１３０は、移動オブジェクト１２０の選択された画素から、モーション方向に平行に、即ち、静止ビデオ画像１００’の右上角１１２に向かって延びる。
【００２４】
詳細には、動線１３０は、１つ以上の直前のフィールド又はフレーム内の移動オブジェクト１２０の位置に相対する、取得された静止ビデオ画像１００を形成するために用いられたフィールド又はフレーム内の移動オブジェクト１２０の位置の、モーション量に比例する。これらの１つ以上の直前のフィールド又はフレームも、取得された静止ビデオ画像１００を形成するために用いられていてもよいが、取得された静止ビデオ画像１００を形成するためにそれらを用いる必要はない。
【００２５】
モーションの方向をより正確に表すために、動線追加済静止ビデオ画像１００’内の移動オブジェクト１２０の、動線１３０が延びる選択された画素、即ち動線１３０の始点となる画素は、概ね、移動オブジェクト１２０のモーション方向に関してオブジェクトの後方のエッジ上に存在する。従って、従来の、例えば、アニメーション化された漫画のように、動線は、取得された動線追加済静止ビデオ画像１００’内で移動オブジェクト１２０が現時点で存在する場所から、静止ビデオ画像１００が取得されたビデオデータ信号の先行フィールド又はフレーム内で移動オブジェクト１２０が占める位置へと後ろに向かって延びる。
【００２６】
図２に示されるように、動線１３０は、ビデオの先行フィールド又はフレームに相対する移動オブジェクト１２０のモーション方向に平行に延びる直線である。しかし、移動オブジェクト１２０のモーションは、取得された静止ビデオ画像１００の形成に用いられたフィールド又はフレームに先行するビデオデータ信号の幾つかのフィールド又はフレームにわたって決定することができる。移動オブジェクト１２０の、動線１３０が付けられる選択された様々な各画素のモーションの作図が可能であり、動線１３０の形状は、幾つかのビデオフィールド又はビデオフレームにわたる、選択点の様々な作図されたモーションに合わせることができる。
【００２７】
一般的に、移動オブジェクト１２０の選択点の任意の１つに対する個々の動線１３０を、他の選択点に対する動線１３０から独立して引くことができる。或いは、移動オブジェクト１２０の選択点の全てに、同一のモーションの方向及び大きさの平均を与えてもよい。更に、移動オブジェクト１２０の選択点とつながっている動線１３０は、同一の平均の方向を与えられてもよいが、動線１３０の長さは、移動オブジェクト１２０上の対応する点のモーションの特定の大きさを比例表現するように修正されてもよい。更に、動線１３０の長さは、取得された静止ビデオ画像１００を形成するのに用いられたフィールド又はフレームと、移動オブジェクト１２０のモーションの決定に用いられたビデオデータ信号の１つ以上の直前のフィールド又はフレームとの間のモーション量に、正確に対応してもよいことを認識されたい。或いは、動線１３０の長さをある選択された定数で乗算し、モーションがより明確になるようにモーションをスケーリングしてもよい。
【００２８】
各動線１３０は、黒のような同じ色で色づけされてもよく、又は様々な方法でカラー符号化されてもよいことを、更に認識されたい。動線をカラー符号化するための１つの方法として、取得された静止ビデオ画像１００’内の移動オブジェクト１２０の、各動線１３０がつけられる選択された画素の色に基づいて、動線を色づけすることができる。或いは、様々な選択点の間のモーションの相対的な量、平均モーション量と選択された各点のモーション量との間の差の量、又は平均モーション方向と選択された各点のモーションの方向との間の差の量等に従って、動線１３０がカラー符号化されてもよい。従って、動線１３０を作図するための及び/又は動線１３０をカラー符号化するための、公知の又は今後開発される任意の方法を、本発明の範囲を逸脱することなく、本発明に従ったシステム及び方法に用いることが可能なことを認識されたい。
【００２９】
図３は、本発明に従った動線追加システム４００の１つの例示的な実施の形態の機能ブロック図である。動線追加システム４００は、静止画像内の１つ以上のオブジェクトと背景特徴物との間のモーションを表すために、ビデオデータ信号等から取得された静止画像内のオブジェクト及び/又は背景特徴物に、自動的に動線を追加する。
【００３０】
図３に示されるように、ユーザインタフェース装置２２０及び（静止）画像データシンク（sink：受信側）３００は、動線追加システム４００の入出力インタフェース４２０に接続されている。ビデオ画像データソース２００も、動線追加システム４００に接続されている。詳細には、ビデオ画像データソース２００は、アナログデータリンク２１０を介して、動線追加システム４００のビデオフレームキャプチャサブシステム４４０に接続できる。ビデオ画像データソース２００は、アナログデータリンク２１０の代わりに、又はアナログデータリンク２１０に加えて、デジタルデータリンク２１２を介して、動線追加システム４００の入出力インタフェース４２０に接続できる。
【００３１】
ビデオ画像データソース２００は、ビデオカセットレコーダー又は再生装置、ビデオテープレコーダー又は再生装置、ビデオカメラ、テレビカメラ又は放送テレビジョン信号、共同アンテナテレビジョンシステム（即ちケーブルテレビ）への接続、衛星放送受信アンテナで受信する衛生放送テレビジョン通信、ＬＡＮ又はＷＡＮへの接続、イントラネット、インターネット、又は他の任意の分散形処理ネットワーク、又は他の公知の又は今後開発される任意のビデオデータ信号ソースのような、任意のビデオ画像データソースであってよい。いずれの場合にも、ビデオ画像データソース２００は、リンク２１０及び/又はリンク２１２を介して動線追加システム４００に接続される。
【００３２】
ビデオ画像データソース２００は、アナログビデオ画像データ、デジタルビデオ画像データのいずれを供給しても、又は両方を供給してもよいことを認識されたい。ビデオ画像データソース２００がアナログビデオ画像データを供給する場合は、ビデオ画像データソース２００はアナログビデオカメラ、アナログ電子カメラ、テレビジョンアンテナで受信するアナログテレビジョン信号、又は他の公知の又は今後開発される任意のアナログビデオデータ信号ソースであり得る。この場合、ビデオ画像データソース２００によるアナログビデオ画像データ出力は、後でより詳細に述べる、アナログリンク２１０を介してのビデオフレームキャプチャサブシステム４４０への出力であることを認識されたい。
【００３３】
ビデオ画像データソース２００がデジタルビデオ画像データを供給する場合は、ビデオ画像データソース２００は、デジタルビデオカメラ、デジタル電子カメラ、デジタルテレビカメラ、テレビジョンアンテナで受信するデジタルテレビジョン信号、又はデジタルビデオデータを供給する能力がある分散形処理ネットワークのノード、又は他の公知の又は今後開発される任意のデジタルビデオデータ信号ソースであり得る。例えば、ビデオ画像データソース２００は、ＬＡＮ、ＷＡＮ、イントラネット、インターネット、又は他の公知の又は今後開発される任意の分散形処理ネットワークのような分散形処理ネットワークの遠隔配置されたノードであってよい。
【００３４】
ビデオ画像データソース２００が動線追加システム４００にデジタルビデオ画像データを供給する際には、デジタルビデオ画像データの個々のフィールド及びフレームは既にデジタル形式であるので、ビデオフレームキャプチャサブシステム４４０によるデジタル変換の必要はない。従って、デジタルビデオ画像データは、ビデオ画像データソース２００によって、デジタルビデオ画像データリンク２１２を介して入出力インタフェース４２０へと、直接出力されてよい。リンク２１０及び/又はリンク２１２はそれぞれ、ビデオ画像データソース２００への有線又は無線リンクであり得ることを更に認識されたい。
【００３５】
ビデオ画像データソース２００並びにリンク２１０及び/又は２１２の特定の実施例に関わらず、動線追加システム４００は、ビデオ画像データソース２００からリンク２１０及び２１２の一方を介して、ビデオデータ信号を受信する。このビデオデータ信号は、同一シーンの少なくとも２つのフィールド又はフレームを含み、同一シーンの任意の数のフィールド又はフレームを含むことができる。本発明に従ったシステム及び方法の１つの例示的な実施の形態では、ビデオ画像データソース２００によって動線追加システム４００に出力されるビデオデータ信号は、少なくとも２つのシーケンシャルフィールド又は少なくとも２つのシーケンシャルフレームを含む。しかし、ビデオ画像データソース２００によって動線追加システム４００に出力されるビデオデータ信号のフィールド又はフレームは、同一シーンの少なくとも２つのフィールド又はフレームが存在する限りにおいて、必ずしもシーケンシャルである必要はない。
【００３６】
本明細書に援用する前述の米国特許第5,784,115号で十分に述べられているように、単一のビデオフレームは、従来的に、時間が1/60秒ずれている２つのシーケンシャルなビデオフィールドを含む。詳細には、そのフレームの一方のフィールドはそのフレームの奇数ラインを含み、他方のフィールドはそのフレームの偶数ラインを含む。そのフレームを表示又はプリントする際には、完全なフレームを形成するために、２つのフィールドの偶数ラインと奇数ラインとがインターレース（交互に配置）されなければならない。前述の米国特許第5,784,115号で述べられているように、偶数フィールドと奇数フィールドとは1/60秒ずれているので、偶数フィールド及び奇数フィールドで形成されているフレームの許容できる取得された静止画像を形成するためには、これらの２つのフィールド間で生じているグローバルモーション及びローカルモーションは、取得されたビデオフレームを形成する際に除去されるべきである。
【００３７】
詳細には、フレームの偶数フィールドと奇数フィールドとの間にローカルモーションが生じている場合、前述の米国特許第5,784,115号で開示されているシステム及び方法を用いて、そのモーションを検出及び除去することができる。一方、本発明のシステム及び方法は、取得された静止画像になるフレームを形成している２つのフィールド間のグローバルモーション及びローカルモーションを除去する前に、本発明に従って、単一のフレームの２つのフィールド間の、又は１つのフレームの一方のフィールドと先行又は後続フレームの一方のフィールドとの間の、ローカルモーションを用いて、移動している前景オブジェクトの選択点のモーションの大きさ及び方向を識別することができる。
【００３８】
或いは、本発明のシステム及び方法は、米国特許第5,784,115号に開示されているシステム及び方法を用いて、カレント（現在の、基準となる）フレーム及び先行フレームの各々を形成している２つのフィールドが組合わされて、各フレームの２つのフィールド間のグローバルモーション及び可能であればローカルモーションが除去された後で、カレントフレームと先行フレームとの間の前景オブジェクトのローカルモーションを決定してもよい。従って、以下の議論ではフィールド及びフレームの両方を参照する。
【００３９】
動線によって表されるモーションは、更に又は代わりに、１つ以上の比較的位置が固定している又は概してゆっくり動く前景オブジェクトに相対する背景のモーションを表してもよいことも認識されたい。この場合、動線が延びる選択点は、上述のように１つ以上の前景オブジェクト上の点であるか、移動する背景の１つ以上の特徴物上の点であるか、又はその両方であることが可能である。以上を念頭におきながら、以下の議論では、簡単にするために、主として移動する前景オブジェクトに焦点をおく。
【００４０】
（静止）画像データシンク３００は、動線追加済のベースとなる取得されたビデオフレームを表示、プリント、又は伝送及び/又は格納するための、公知の又は今後開発される任意の装置であってよい。（静止）画像データシンク３００は、動線追加済のベースとなる取得されたビデオフレームを視覚的に表示することができる、公知の又は今後開発される任意のタイプの表示装置であってもよい。
【００４１】
或いは、（静止）画像データシンク３００は、画像記録媒体上に、動線追加済の取得されたビデオフレームの画像を形成するための、公知の又は今後開発される任意の画像形成装置であってもよい。詳細には、この場合、（静止）画像データシンク３００は、ドットマトリックスプリンタ、レーザプリンタ、インクジェットプリンタ、サーマルプリンタ、デジタルコピー機等の任意の種類の電子写真式画像形成装置、等であってよい。
【００４２】
最後に、（静止）画像データシンク３００は、動線追加済のベースとなる取得されたビデオフレームを格納、表示、及び/又はプリントできる、ＬＡＮ、ＷＡＮ、イントラネット、又はインターネット等の分散形処理ネットワークの遠隔配置されたホストコンピュータ又は他のノードであってよい。従って、リンク３１０は、動線追加システム４００を表示装置、画像形成装置、又は分散形処理ネットワークの遠隔配置されたホストコンピュータ又は遠隔配置されたノードに接続するための、公知の又は今後開発される任意の装置であってよい。リンク３１０は詳細には有線又は無線リンクであってよい。
【００４３】
ユーザインタフェース装置２２０は、リンク２２２を介して動線追加システム４００に接続されている。ユーザインタフェース装置２２０は、ユーザが動線追加システムに制御信号を与えるのを可能にする、公知の又は今後開発される任意のシステム又は装置であってよい。リンク２２２は、リンク２１０及び３１０に関して上述したように、公知の又は今後開発される任意の接続システム又は装置であってよい。
【００４４】
２つ以上のフィールド又はフレームを含むデジタルビデオデータ信号が動線追加システム４００に入力される際は、デジタルビデオデータ信号は、コントローラ４１０の制御下で入出力インタフェース４２０を介して入力され、制御バス及びデータバスである４０５を介してメモリ４３０に転送される。次に、２つ以上のビデオフィールド又はフレームを含むデジタルビデオデータ信号は、ビデオフレームキャプチャサブシステム４４０に入力される。一方、アナログビデオデータ信号が動線追加システム４００に入力される際は、アナログビデオデータ信号は、直接ビデオフレームキャプチャサブシステム４４０に入力され、そこでアナログビデオデータ信号はデジタルビデオデータ信号に変換され、おそらくメモリ４３０に格納される。
【００４５】
ビデオフレームキャプチャサブシステム４４０は、デジタルビデオデータ信号の少なくともベースフィールド又はベースフレームを取得し、それに、動線追加システム４００が、動線１３０と、ビデオデータ信号の少なくとも１つの追加フィールド又は少なくとも１つの追加フレームとを追加する。少なくとも１つの追加フィールド又はフレームは、ベースとなる取得されたフィールド又はフレームと同じシーンを示しており、ビデオデータ信号内において、ベースとなる取得されたフィールド又はフレームと比べて時間的に早く生じる。
【００４６】
詳細には、上述のように、ビデオフレームキャプチャサブシステム４４０によって取得された追加ビデオフィールド又はフレームは、ベースとなる取得されたビデオフレームの少なくとも１つのフィールドの前にシーケンシャルに生じることができる。しかしながら、追加の取得されたビデオフィールド又はフレームが、ベースとなる取得されたビデオフレームの少なくとも１つのフィールドと同じシーンを示す限りにおいて、追加の取得されたビデオフィールド又はフレームが、ベースとなる取得されたビデオフレームの少なくとも１つのフィールドの直前にシーケンシャルに生じることが厳密に必要というわけではない。
【００４７】
一旦、ビデオフレームキャプチャサブシステム４４０が、ビデオデータ信号から２つ以上のビデオフィールド又はフレームを取得すると、取得されたビデオフィールド又はフレームは、グローバルモーション補償サブシステム４５０に入力される。グローバルモーション補償サブシステム４５０は、取得されたビデオフィールド又はフレームを解析し、取得されたビデオフィールド又はフレームからグローバルモーションを特徴づけし、可能であれは除去する。グローバルモーションは、ビデオフィールド又はフレームの様々な前景及び背景部分の全体にわたってグローバルに生じる、取得されたビデオフィールド又はフレーム間のモーションである。概して、グローバルモーションは、パン及びズーム等のカメラの動きに起因する。取得されたビデオフィールド又はフレームからグローバルモーションを特徴づけ及び除去するために、本明細書に援用する米国特許第5,784,115号に記載のグローバルモーション補償方法及びシステムのような、グローバルモーションを除去又は補償するための、公知の又は今後開発される任意のシステム及び方法を用いることができることを認識されたい。
【００４８】
一旦、取得されたビデオフィールド又はフレームからグローバルモーションが特徴づけされ、可能であれば除去又は補償されると、取得されたビデオフィールド又はフレームは（ローカル）モーション決定サブシステム４６０へと出力される。（ローカル）モーション決定サブシステム４６０は、ベースとなる取得されたビデオフィールド又はフレームと１つ以上の追加の取得されたビデオフィールド又はフレームとの間のローカルモーションの１つ以上の領域を識別する。概して、取得されたビデオフィールド又はフレーム間にローカルモーションがない取得されたフィールド又はフレームの領域では、そのような領域は２つ以上のビデオフィールド又はフレームにおいて同じに見え、それらの差は小さい。一方、取得されたビデオフィールド又はフレーム間にローカルモーションが生じる領域では、画像はフィールドごと又はフレームごとに変化し、この大きな差を検出することができる。本明細書に援用する米国特許第5,784,115号に記載のローカルモーション補償方法及びシステムのような、取得されたビデオフィールド又はフレーム間のローカルモーション領域を識別するための、公知の又は今後開発される任意の方法を、本発明に従ったシステム及び方法に用いることができることを認識されたい。
【００４９】
詳細には、本発明に従った（ローカル）モーション決定サブシステム４６０の１つの例示的な実施の形態では、取得されたビデオフィールド又はフレーム間の前景オブジェクトのローカルモーションは、追加の取得されたビデオフィールド又はフレームに相対するベースとなる取得されたビデオフィールド又はフレームのあらゆるグローバルモーションを補償した後で、画素ごとの差を決定することによって検出できる。次に、この画素ごとの差を所定の閾値と比較して、追加のビデオフィールド又はフレームの対応する画素に相対するベースとなる取得されたビデオフィールド又はフレームの各画素について、その差が、ローカルモーションであると見なされるのに十分に高いか否かを決定することができる。
【００５０】
一旦、ベースとなる取得されたビデオフィールド又はフレーム内のローカルモーション領域が識別されると、ベースとなる取得されたビデオフィールド又はフレーム及びローカルモーション情報が動線追加サブシステム４７０に供給される。動線追加サブシステム４７０は、各ローカルモーション領域内の複数の点を選択し、そのような各点に動線を追加する。本発明に従った動線追加サブシステム４７０は、ベースとなる取得されたビデオフィールド又はフレームのローカルモーション領域内の画素を選択するための、公知の又は今後開発される任意の方法を用いることができることを認識されたい。
【００５１】
一旦、ベースとなる取得されたフィールド又はフレームのローカルモーション領域内の特定の画素が選択されると、動線追加サブシステム４７０は、ベースとなる取得されたビデオフレーム、又はベースとなる取得されたビデオフィールドを含む取得されたビデオフレームに、動線を追加する。動線は、選択された画素から延びる。これらの動線は、概ね、そのような各ローカルモーション領域のローカルモーションの方向に平行に延びる。更に、動線追加サブシステム４７０によって追加される線の長さは、選択された画素と、追加の取得されたビデオフィールド又はフレーム内のローカルモーション領域の対応する部分との間の、ローカルモーションの量に対応する。
【００５２】
動線追加サブシステム４７０によって追加される動線の方向、形状、及び長さは、公知の又は今後開発される任意の方法を用いて決定できることを認識されたい。例えば、ローカルモーション領域内の各選択点についての方向は、その画素のモーションの方向に基づいて決定できる。或いは、個別の各ローカルモーション領域内の様々な点につながる全ての動線に、その個別のローカルモーション領域の全ての点についての方向の平均に対応する方向を与えてもよい。
【００５３】
同様に、各動線の長さは、動線がつけられる画素のモーションの大きさに基づいて決定できる。或いは、個別の各ローカルモーション領域の画素につけられる全ての動線の長さが、その特定のローカルモーション領域についてのモーションの大きさの平均に対応してもよい。特定の動線の長さ及び/又は方向が、その動線がつけられる画素のモーションの大きさ及び/又は方向だけに、又はその動線がつけられる特定のローカルモーション領域の全画素の何かしらの関数だけに基づいて決定されたか否かに関わらず、その線の外観は、その動線がつけられる画素のモーションの実際の大きさ及び/又は方向に基づいて変更されてよいことも認識されたい。動線の外観は、その色、太さ、画像濃度等を含むことができる。
【００５４】
単純な平均化の代わりに、他の数学的な関数を用いることができることも認識されたい。例えば、特定のローカルモーション領域の全選択点に対する動線の長さ又は方向は、最大又は最小絶対値、最高又は最低頻度値、中央値、又は公知の又は今後開発される任意の統計パラメータに基づくことができる。特定の選択された画素から延びる線の外観は、その画素の何かしらの外観の値や、動線の方向又は長さの決定に用いられる特定のデータ値に相対する、その特定の画素についての根元的なデータ値の偏差の大きさ等に基づいて決定できることも認識されたい。
【００５５】
次に、動線追加済のベースとなる取得されたビデオフレームは、メモリ４３０に格納される。その動線追加済のベースとなる取得されたビデオフレームは、次に、コントローラ４１０の制御下で入出力インタフェース４２０によって、リンク３１０を介して（静止）画像データシンク３００へと出力される。
【００５６】
上記に示したように、本発明のシステム及び方法は、ローカルモーションだけを表示する動線の追加に限定されるものではない。従って、より一般的に言えば、一旦、グローバルモーション補償サブシステム４５０が、２つ以上のフィールド又はフレーム間の、もしあれば、グローバルモーションを特徴づけすると、（ローカル）モーション決定サブシステム４６０は、より概括的に、グローバルであれローカルであれ、ベースとなる取得されたビデオフィールド又はフレームと１つ以上の追加の取得されたビデオフィールド又はフレームとの間の１つ以上のモーション領域を識別する。概して、取得されたビデオフィールド又はフレーム間にモーションがない取得されたフィールド又はフレーム領域では、そのような領域は、２つ以上のビデオフィールド又はフレームにおいて同じに見え、差は小さい。一方、取得されたビデオフィールド又はフレーム間にモーションを生じる領域では、画像はフィールドごと又はフレームごとに変化し、上述のようにこの大きな差を検出することができる。
【００５７】
続いて、一旦、ベースとなる取得されたビデオフィールド又はフレーム内のモーション領域が識別されると、動線を追加するために、ベースとなる取得されたビデオフィールド又はフレーム及びモーション情報が動線追加サブシステムに与えられ、上述のように動線が追加される。
【００５８】
従って、一般的に、グローバルモーション補償サブシステム４５０及びローカルモーション決定サブシステム４６０は、ベースとなるビデオフィールド又はフレームと１つ以上の追加のビデオフィールド又はフレームとの間のモーションを、より概括的に特徴づけする。次に、動線追加サブシステム４７０は、グローバルモーション補償サブシステム４５０及びローカルモーション決定サブシステム４６０によって特徴づけされたベースとなるビデオフィールド又はフレームと１つ以上の追加のビデオフィールド又はフレームとの間のモーションに基づいて、ベースとなるビデオフィールド又はフレームに動線を追加する。
【００５９】
図４は、図３に示されているビデオフレームキャプチャサブシステム４４０の１つの例示的な実施の形態の概要をより詳細に示すブロック図である。図４に示されるように、ビデオフレームキャプチャサブシステム４４０のこの例示的な実施の形態は、アナログ−デジタル変換器又は“デジタイザ”４４１、ビデオデータ信号バッファ４４２、フィールド/フレームセレクタ４４４、ベースフィールド/フレームバッファ４４６、及び先行フィールド/フレームバッファ４４８を含む。ビデオ画像データソース２００が動線追加システム４００にビデオ画像データを供給すると、動線追加システム４００は、リンク２１０又は２１２の一方を介してビデオ画像データソース２００からの信号、又はリンク２２２を介してユーザインタフェース装置２２０からの、現在受信中のフィールド又はフレームがビデオフレームキャプチャサブシステム４４０によって取得されるべきことを示すユーザからの信号を受信する。
【００６０】
それに応答して、ビデオフレームキャプチャサブシステム４４０は、コントローラ４１０の制御下で、先行フィールド/フレームバッファ４４８内のその指示されたフィールド又はフレームを取得する。動線追加システム４００が、現在受信中のフィールド又はフレームが取得されるべきことを示す更なる信号を受信すると、ビデオフレームキャプチャサブシステム４４０は、コントローラ４１０の制御下で、更に取得されたフィールド又はフレームをフィールド/フレームバッファ４４６又は４４８の一方に格納する。
【００６１】
詳細には、ビデオ画像データソース２００が動線追加システム４００にアナログビデオ画像データを供給する場合は、アナログビデオデータは、信号ライン２１０を介して、直接アナログ−デジタル変換器４４１に入力される。アナログ−デジタル変換器４４１はアナログビデオデータ信号をデジタル変換して、対応するデジタルビデオデータ信号を出力し、そのデジタルビデオデータ信号は、先行フィールド/フレームバッファ４４８及び/又はベースフィールド/フレームバッファ４４６に格納されることができる。動線追加システム４００が用いられる環境に依存して、動線追加システム４００が接続されているビデオ画像データソース２００によって、アナログビデオデータ信号だけ又はデジタルビデオデータ信号だけが供給されることを認識されたい。この場合は、リンク２１０又は２１２の一方だけを備えればよい。更に、このとき、ビデオ画像データソース２００によってデジタルビデオデータ信号だけが供給される場合は、ビデオフレームキャプチャサブシステム４４０からアナログ−デジタル変換器４４１を省略してもよい。
【００６２】
詳細には、１つの例示的な実施の形態では、先行フィールド/フレームバッファ４４８に最初のフィールド又はフレームを格納後、続いて取得された各フィールド又はフレームは、ベースフィールド/フレームバッファ４４６に格納される。その後、新たなフィールド又はフレームが取得される度に、その時点でベースフィールド/フレームバッファ４４６に格納されているフィールド又はフレームは先行フィールド/フレームバッファ４４８に転送され、取得されたばかりのフィールド又はフレームがベースフィールド/フレームバッファ４４６に格納される。
【００６３】
ベースフィールド/フレームバッファ４４６及び先行フィールド/フレームバッファ４４８は、それぞれ、１つ以上のフィールド又はフレームを格納できることを認識されたい。更に、ベースフィールド/フレームバッファ４４６及び先行フィールド/フレームバッファ４４８は、ベースフィールド/フレームバッファ４４６が単に、最新の取得されたフィールド又はフレームを格納することになった単独のバッファの一部であるような、単独のバッファの一部であってもよいことを認識されたい。更に、ビデオフレームキャプチャサブシステム４４０はベースフィールド/フレームバッファ４４６及び先行フィールド/フレームバッファ４４８を含むが、これらのバッファ４４６及び４４８は、メモリ４３０の専用部分としてとして実施されてもよいことを認識されたい。
【００６４】
ビデオ画像データソース２００から信号リンク２１０又は２１２を介して出力されたビデオデータ信号がメモリ４３０に一次的に記憶されるか否かに関わらず、ビデオデータ信号は、ビデオフレームキャプチャサブシステム４４０のビデオデータ信号バッファ４４２に入力される。ビデオデータ信号バッファ４４２は、コントローラ４１０の制御下で、ビデオデータ信号のその時点で受信中のフレームの完全なフィールド（即ち偶数フィールド又は奇数フィールド）が受信されるまで、ビデオデータ信号を格納する。次に、ビデオデータ信号バッファ４４２は、コントローラ４１０の制御下で、そのフィールドをベースフィールド/フレームバッファ４４６又は先行フィールド/フレームバッファ４４８のいずれかに出力する。
【００６５】
ビデオデータ信号バッファ４４２は、ビデオフレームキャプチャサブシステム４４０の一部を形成するが、メモリ４３０の専用部分として実施されてもよいことを認識されたい。
【００６６】
一旦、取得されるべき全てのフィールド又はフレームがビデオフレームキャプチャサブシステム４４０によって取得されると、フィールド/フレームセレクタ４４４は、コントローラ４１０の制御下で、ベースフィールド/フレームバッファ４４６及び/又は先行フィールド/フレームバッファ４４８に格納されている、ある１つのフィールド又はフレームを、グローバルモーション補償サブシステム４５０、（ローカル）モーション決定サブシステム４６０、又は動線追加サブシステム４７０に出力するために、選択することができる。
【００６７】
図５は、図３に示されているグローバルモーション補償サブシステム４５０の１つの例示的な実施の形態の概要をより詳細に示すブロック図である。図５に示されるように、グローバルモーション補償サブシステム４５０は、グローバルモーション解析部４５２、グローバルモーション補償部４５４、及びローカルモーション補償部４５６を含む。取得されるべきフィールド又はフレームがビデオフレームキャプチャサブシステム４４０によって取得された後、フィールド/フレームセレクタ４４４は、コントローラ４１０の制御下で、上述のように、補償されていないフィールド又はフレームの対をグローバルモーション補償サブシステム４５０に出力する。詳細には、ビデオデータ信号の相対的な補償をされていないフィールド又はフレームの対が、グローバルモーション解析部４５２に入力される。グローバルモーション解析部４５２は、入力された２つのフィールド又はフレームを比較して、入力された２つのフィールド又はフレーム間の画像におけるグローバル変形を表す１組の値を決定する。
【００６８】
１つの例示的な実施の形態では、取得された２つの画像間のグローバル変形を定義する値は、１組のアフィンパラメータである。詳細には、これらのアフィンパラメータは、本明細書に援用する米国特許第5,784,115号、及び/又は本明細書に参照として援用する米国特許出願番号09/239,296号（1999年1月29日出願）で述べられているように、決定することができる。しかしながら、２つのフィールド又はフレーム間のグローバルモーション及び/又はローカルモーションを特徴づけするための、公知の又は今後開発される任意の方法を用いることができることを認識されたい。本明細書に援用する米国特許第5,784,115号及び本明細書に援用する米国特許出願番号09/239,296号で述べられているように、２つの入力フィールド又はフレーム間のグローバルモーションは、２つの入力フィールド又はフレーム間のモーションの大きさに依存して、１画素ごと又は１ブロックごとに決定される。
【００６９】
詳細には、グローバルモーション解析部４５２が、単独のフレームの２つのフィールド間のグローバルモーションを決定する際には、グローバルモーションは概して、本明細書に援用する米国特許第5,784,115号に述べられているように、１画素ごとに決定される。一方、グローバルモーション解析部４５２が、連続していなくてもよい２つのフレーム間、又は同じく連続していなくてもよい一方のフレームの第１フィールドと他方のフレームの第２フィールドとの間のグローバルモーションを決定する際には、グローバルモーションの量は、米国特許出願番号09/239,296号に概要を述べられているブロックごとのグローバルモーション決定システム及び方法が用いられるべきであるだろう。更に、ブロックの高さ及び幅がともに１画素分だけである場合には、１ブロックごとの解析（の規模）は１画素ごとの解析と同じになることを認識されたい。２つのフィールド又はフレーム間のグローバルモーションの量を決定するための、他の公知の又は今後開発される任意の方法が、グローバルモーション解析部４５２によって用いられてもよいことも認識されたい。
【００７０】
一旦、グローバルモーション解析部４５２が、２つのフィールド又はフレーム間の相対的なグローバルモーションの量を決定したら、このグローバルモーションを特徴づける、グローバルモーション解析部４５２によって決定された１つ以上の値が、グローバルモーション補償部４５４に出力される。グローバルモーション補償部４５４は、グローバルモーション解析部４５２によって出力された１組のモーションの値に基づいて、２つのフィールド又はフレームの一方の画像値を修正する。詳細には、１つの例示的な実施の形態では、グローバルモーション補償部４５４は、本明細書に援用する米国特許第5,784,115号及び本明細書に援用する米国特許出願番号09/239,296号に概要を述べられているように操作を行う。つまり、グローバルモーション補償部４５４は、修正された方のフィールド又はフレーム内の画素値が、修正されていない方のフィールド又はフレーム内の画素値と大体揃うように、一方のフィールド又はフレーム内の各画素の画像値を修正する。詳細には、修正されたフィールド又はフレームの一部が、修正されていないフィールド又はフレーム内の対応領域と対応しない場合は、その領域がローカルモーション領域である。
【００７１】
動線追加システム４００が、単独フレームの２つのフィールド間、又は一方のフレームの第１フィールドと他方のフレームの第２フィールドとの間のローカルモーションの大きさ及び方向の決定に用いられる際には、そのようなフレームは、ローカルモーション決定サブシステム４６０によって解析される前に、グローバルモーションを除去されるだけでよいことを認識されたい。一方、動線追加システム４００が２つのフレーム間のローカルモーションを表す動線を追加する際には、まず、それらのフレームを形成するフィールドを結合することによって、それらの各フレームを形成しなければならない。更に、それらの各フレームの偶数フィールドと奇数フィールドとの間のグローバルモーション及びローカルモーションの除去及び/又は補償もされなければならない。従って、この場合、グローバルモーション補償サブシステム４５０は、ローカルモーション補償部４５６も含むことになる。ローカルモーション補償部４５６は、本明細書に援用する米国特許第5,784,115号に概要を述べられているように、単独フレームの２つのフィールド間のローカルモーションを除去する。詳細には、ローカルモーション補償部４５６は、米国特許第5,784,115号に概要を述べられている、エッジ適応的補償技術を用いることができる。
【００７２】
図６は、図３に示されているローカルモーション決定サブシステム４６０の１つの例示的な実施の形態の概要を示すブロック図である。図６に示されるように、ローカルモーション決定サブシステム４６０は、モーションマスク生成部４６１と候補点選択サブシステム４６５とを含む。モーションマスク生成部４６１は、グローバルモーション補償サブシステム４５０によって生成された、グローバルモーション及び可能であればローカルモーション補償済のフィールド又はフレームを比較し、モーション領域を識別するモーションマスクを生成する。モーションマスクは候補点選択サブシステム４６５に入力され、モーション領域内の候補点の位置が割り出される。次に、候補点選択サブシステム４６５は、識別された各候補点について、フィールド又はフレーム間のモーションの推定を生成する。次に、候補点選択サブシステム４６５は、動線追加サブシステム４７０に、識別された候補点のリスト及び推定されたモーションを出力する。
【００７３】
図７は、モーションマスク生成部４６１の１つの例示的な実施の形態の概要をより詳細に示すブロック図である。図７に示されるように、モーションマスク生成部４６１は、フィールド/フレーム補償部４６２とモーションマスクバッファ４６３とを含む。フィールド/フレームセレクタ４４４によってベースフィールド/フレームバッファ４４６及び先行フィールド/フレームバッファ４４８から選択されたフィールド又はフレームは、フィールド／フレーム補償部４６２に入力され、フィールド／フレーム補償部４６２はそれらを比較して、ローカルモーション領域を決定する。詳細には、フィールド／フレーム補償部４６２の１つの例示的な実施の形態では、フィールド／フレーム補償部４６２は、カレント（ベース）フィールド又はフレームの各画素と先行フィールド又はフレームの各対応画素との間の、１画素ごとの画像値の差を得る。
【００７４】
次に、フィールド／フレーム補償部４６２は、各組の対応する画素間の差に閾値を適用し、閾値より大きな差を有する領域を決定する。つまり、モーションがない画像領域は、２つのフィールド又はフレーム間において同じに見え、従って差は小さい。しかし、モーションの領域では、２つのフィールド又はフレーム間で、画像は各画素ごとに大きく変化する。このより大きな差は、適切な閾値を選択することによって検出できる。フレームの差を閾値処理した結果、カレント（ベース）フィールド又はフレーム内のモーションを生じる場所を示す二値マスクが提供される。つまり、差が閾値より大きい場所では、フィールド/フレーム補償部によって行われる閾値処理の出力は論理値１になり、一方、モーションのない領域では、フィールド/フレーム補償部によって行われる閾値処理の結果は論理値０になる。
【００７５】
フィールド／フレーム補償部４６２によって生成される二値マスクは、カレント（ベース）フィールド又はフレームと先行フィールド又はフレーム間の差が大きい領域を示すことによってフィールド又はフレーム内のモーションを示すが、この二値マスクは、モーションの大きさ又は方向の表示は全く与えないことを認識されたい。更に、この二値マスクは、背景を覆うように移動する前景オブジェクト、静止している前景オブジェクトの背後から現れるように移動する背景オブジェクト、移動する背景に対する前景オブジェクトの位置の変化、又は相互に相対的に移動する前景オブジェクトの部分の判別はしない。
【００７６】
フィールド又はフレーム間の差は、ビデオデータ信号中のノイズに起因することがある。このノイズを低減又は除去するために、公知の又は今後開発される任意の方法、或いは方法の組み合わせを用いることができる。従って、フィールド/フレーム補償部４６２は、モーションマスクを得るためにフィールド又はフレームを比較する前に、各フィールド又はフレームをローパスフィルタで処理してぼかしてもよい。フィールド/フレーム補償部４６２は、生じたモーションマスクに、メディアンフィルタを適用するか、又は形態的な拡張(morphological dilate)や形態的な閉鎖(morphological close)を適用することもできる。一旦、フィールド/フレーム補償部４６２がモーションマスクを生成したら、そのモーションマスクはモーションマスクバッファ４６３に格納される。
【００７７】
図８は、候補点選択サブシステム４６５の１つの例示的な実施の形態の概要をより詳細に示すブロック図である。図８に示されるように、候補点選択サブシステム４６５は、候補点選択部４６６、候補点リストバッファ４６７、及びモーション推定部４６８を含む。詳細には、フィールド/フレーム補償部４６２によって生成され、モーションマスクバッファ４６３に格納されたモーションマスクは、候補点選択部４６６に入力される。詳細には、候補点選択部４６６は、フィールド/フレーム補償部４６２によって生成されたモーションマスクに基づいて、モーション領域内の候補点をサーチする。
【００７８】
詳細には、１つの例示的な実施の形態では、候補点選択部４６６は、モーション領域内のエッジ上に存在する点を探す。そのようなエッジを検出するためには、公知の又は今後開発される任意の方法を用いることができる。当該技術には公知のエッジ検出方法が多数存在する。１つのそのような方法は、ある閾値より大きく且つ近傍の勾配よりも大きい、モーション領域内の画素の画素値における勾配を識別することからなる。
【００７９】
一旦、候補点選択部４６６が候補点の最初のリストを生成したら、その候補点は候補点リストバッファ４６７に格納される。全てのエッジ画素が選択されるべきというわけではないことを認識されたい。このことは、複数の理由から真である。例えば、全てのエッジ画素が選択された場合、動線は、相互に隣接してエッジから延びることになり、これにより背景を不明瞭にしがちであり、意図されたモーション情報の提供に失敗することになろう。従って、候補点選択部４６６は、次に、候補点から更に特定の対象点を識別するために、候補点リストバッファ４６７に格納された候補点の検討を開始する。
【００８０】
詳細には、より対象とすべきエッジ画素は、エッジが角を形成する場所のエッジ画素か、又はエッジに沿って色が変わる場所のエッジ画素である。候補点選択部４６６は、候補点リスト内のどの候補点が、そのような角又はそのような色の変わる領域に存在するかを、各候補点の８近傍を調べることによって決定する。２又は３つの連結近傍が、候補点と本質的に同じ画像値を有し、一方、他の５又は６つの近傍が異なる画像値を有する場合は、候補点選択部４６６は、その候補点を対象点として選択する。詳細には、候補点選択部４６６が、ある候補点が対象点ではないと決定する場合は、その候補点は、候補点リストバッファ４６７に格納されている候補点リストから削除される。
【００８１】
対象点は密集し過ぎないべきであることを、更に認識されたい。対象点が密集し過ぎないことを確実にするために、公知の又は今後開発される任意の方法を用いることができる。対象点が密集し過ぎないことを確実にするために、当業者に明白且つ予測可能な使用できる方法が多数存在する。詳細には、候補点選択部４６６で実施可能な１つの例示的な方法は、候補点リストバッファ４６７に格納されている候補点リスト上の隣り合う対象点に、コスト値を割付けることを含む。詳細には、コスト値は、選択された対象点からの距離に基づいて減少する。個々の対象点が選択されると、その選択された対象点の近傍の対象点に割付けられたコスト値が、それら近傍の対象点の、他の選択中の対象点から生じたコスト値に加算される。そのコストは距離に基づいて減らされて配分されるので、選択されていない対象点に割付けられたコスト値は、他の選択された対象点から遠いほど低くなる。従って、そのような対象点は選択されやすくなる。
【００８２】
詳細には、様々な対象点が選択され、他の対象点にコスト値が加算されると、そのような加算された点に割付けられたコスト値が閾値と比較される。コスト値が閾値よりも高い場合は、その対象点は候補点リストバッファ４６７に格納されている候補点リストから削除され、削除された対象点のコスト値の合計を補償するために、残りの対象点のコストの合計がそれに従って調整される。一方、選択された対象点が閾値より低いコスト値を有する場合は、その対象点は選択され、その近傍の対象点に付加されたコスト値が分配される。これは、候補点リストバッファ４６７に格納されている全ての対象点が、選択又は削除されるまで続く。
【００８３】
候補点選択部４６６は、角の選択及びコスト値の選択の両方を同時に適用できることも認識されたい。この場合、モーションマスクバッファ４６３に格納されているモーションマスクによって、角選択テストに基づいて識別されたモーション領域内の各画素が選択される際に、その選択された画素を囲む画素に、距離とともに減少するコスト値が与えられる。次に、モーション領域内の次の画素が対象点として選択可能になる前に、その画素の関連するコスト値は閾値より低くなければならない。
【００８４】
一旦、候補点リストバッファ４６７に格納されている候補点リストが、識別された対象点だけが残るように減らされたら、次に、モーション推定部４６８は、識別された各対象点のモーションを決定できる。選択された対象点のモーションを推定するために、公知の又は今後開発される任意の方法を用いることができる。詳細には、モーション推定部４６８の１つの例示的な実施の形態では、モーション推定部４６８は公知のブロックマッチング技術を用いる。ブロックマッチングでは、識別された各対象点について、モーション推定部が、ローパスフィルタ処理後のカレント（ベース）フィールド又はフレームのバージョン内で識別された対象点を囲む領域又は画素ブロックを識別する。次に、モーション推定部４６８によって識別された、識別された領域又は画素ブロックは、フィールド/フレーム補償部４６２によって用いられた先行フィールド又はフレームのバージョン内の様々な点で、対応する画素ブロックと比較される。ローパスフィルタ処理後の先行フレーム内の最小差を生じる領域又は画素ブロックの位置が、先行フィールド又はフレーム内の対象点のロケーションとして識別される。２つのフィールド又はフレーム間の差及び位置が、オブジェクト上のその対象点のモーションである。
【００８５】
一旦、ローパスフィルタ処理後の先行するフィールド又はフレーム内の対応する点が識別されたら、モーション推定部４６８は、フィールド/フレームセレクタ４４４に、先行フィールド/フレームバッファ４４８から更に先行するのフレームを選択させることができることを認識されたい。次に、この更に先行するフィールド又はフレームも、ローパスフィルタ処理することができ、モーション推定部４６８によって同じ方法で更なるフィールド又はフレーム内の候補対象点の位置を識別し、選択された対象点のモーションを時間を遡って追跡することができる。
【００８６】
モーションマスクバッファ４６３及び候補点リストバッファ４６７は、（ローカル）モーション決定サブシステム４６０の一部として述べられているが、これらのバッファは、実際にはメモリ４３０の一部として実施できることを認識されたい。或いは、それらは独立した記憶装置又は構造であってもよい。
【００８７】
モーション推定部４６８によってカレント（ベース）フィールド又はフレームと先行フィールド又はフレームとの間でブロックの良好な一致が検出できない場合は、その対象点を候補点リストバッファ４６７に格納されている候補点リストから削除できることも認識されたい。同様に、モーション推定部４６８は、カレント（ベース）画像内の全ての点の平均のモーションを決定してもよい。次に、モーション推定部４６８は、識別された対象点の任意の１つのモーションと決定された平均モーションとの間の差を決定できる。次に、モーション推定部４６８は、候補点リストバッファ４６７に格納されている候補点リストから、平均距離から閾値を越えて異なるモーション値を有する（即ち、平均距離とモーション値との差が閾値を越える場合）任意の識別された対象点を削除できる。つまり、候補対象点が、平均モーション値とは大きく異なるモーション値を有する場合は、その候補対象点のモーション値は誤りであるとしてよい。更に、モーション推定部４６８は、カレント（ベース）フィールド又はフレームのグローバル平均を決定できることを認識されたい。或いは、モーション推定部４６８は、カレント（ベース）フィールド又はフレーム内の個別の各モーション領域の、そのモーション領域内の候補対象点だけに用いられるローカル平均を決定できる。
【００８８】
図９は、図３に示されている動線追加サブシステム４７０の１つの例示的な実施の形態の概要をより詳細に示すブロック図である。図９に示されるように、動線追加サブシステム４７０は、選択点抽出部４７２、選択点リストバッファ４７４、及び動線生成部４７６を含む。選択点抽出部４７２は、候補点リストバッファ４６７に格納されている候補点リスト上に残っている各対象点を順次選択する。
【００８９】
選択点抽出部４７２は、候補点リストバッファ４６７から各対象点を選択し、その候補対象点が、モーション領域の前方エッジ上又は後方エッジ上のいずれに存在するか（即ち、移動方向に対してモーション領域の前方に存在するエッジ上か後方に存在するエッジ上か）を決定する。例えば、そのモーション領域が、取得されたフィールド又はフレーム内を特定の方向に移動する大きな前景オブジェクトである場合は、そのオブジェクトの前方エッジからモーション方向に延びる動線の追加は、そのような動線は移動オブジェクト内に完全に入ってしまう傾向が非常に高いので、必要ないか又は望ましくないことが一般的である。更に、そのような線が移動オブジェクト内に完全には入らない場合でも、オブジェクトの前方エッジに動線を追加すると、移動オブジェクトの構造を不明瞭にするか又は乱す傾向がある。最後に、動線は、１つ以上の先行する位置からカレント位置への（即ち、１つ以上の先行するフィールド又はフレーム内の位置からカレント（ベース）フィールド又はフレーム内の位置への）対象点のモーションを示すように意図されているので、観察者は、しばしば、そのような動線がオブジェクト又は他のモーション領域の後方エッジだけから延びているのを見ることを期待する。
【００９０】
モーション推定部４６８によって決定された、候補点リスト内に残っている点からの各選択点のモーションの方向及び値が、選択点抽出部４７２に入力される。次に、選択点抽出部４７２は、モーションの量を増加して、選択された対象点から、選択点と先行フレーム内の対応する点との間の距離よりも遠く離れたカレント（ベース）フレーム内の点を識別する。例えば、１つの例示的な実施の形態では、選択点抽出部４７２は、モーションの量を２倍にして、選択された対象点から、選択点と先行フレーム内の対応する点との間の距離の２倍離れているカレント（ベース）フレーム内の点を識別する。しかし、モーション量は、モーション量に任意のオフセット値を加算することによって、及び/又はモーション量に任意の実数を乗算することによって増加されてもよいことを認識されたい。
【００９１】
次に、選択点抽出部４７２は、モーションマスクバッファ４６３に格納されているモーションマスクを調べ、モーションマスク内の識別された点の値を決定する。ある点についてのモーションマスクが、その点にはモーションがないことを示す場合は、候補点リストバッファ４６７に格納されている候補点リストから、選択点抽出部４７２によって選択された選択対象点が、選択点リストバッファ４７４に格納されている選択点リストに追加される。別の場合、即ちモーションマスクがカレント（ベース）フィールド又はフレーム内の識別された点にモーションがあることを示す場合は、その選択対象点は破棄される。
【００９２】
選択点リストバッファ４７４及び候補点リストバッファ４６７は、物理的に同じ同一のロケーションのバッファ又はメモリセットであってよいことも認識されたい。つまり、独立した選択点リストバッファ４７４を備える代わりに、候補点リストバッファ４６７が選択点リストバッファ４７４として働いてもよい。この場合、候補点リストバッファ４６７に格納されている候補点リストから選択点抽出部４７２によって選択された選択対象点を、選択点リストバッファ４７４にコピーする代わりに、選択点抽出部４７２によって選択された選択対象点は、候補点リストバッファ４６７に格納されている候補点リストから削除されない。つまり、選択された対象点についてのモーションマスクが、識別された点にモーションがあることを示す場合は、選択点抽出部４７２によって選択された選択対象点は、候補点リストバッファ４６７に格納されている候補点リストから削除される。従って、候補点リストバッファ４６７内に残っている点のセットは事実上の選択点リストであり、候補点リストバッファ４６７が選択点リストバッファ４７４になったのである。
【００９３】
一旦、選択点抽出部４７２が、候補点リストバッファ４６７内に格納されている残りの識別された各対象点を選択及び解析し、残りの選択された対象点を選択点リストバッファ４７４に格納したら、次に、動線生成部４７６は、選択された各対象点を選択する。次に、動線生成部４７６は、選択された各対象点について、カレント（ベース）フィールド又はフレームのその選択された対象点に追加される動線を生成する。動線を生成してカレント（ベース）フィールド又はフレームに追加するための、当業者には明白且つ予測可能な、様々な方法があることを認識されたい。例えば、動線生成部４７６は、選択された各対象点に対して、その対象点から先行フィールド又はフレーム内の位置へと後ろ向きにモーション方向に延びる直線の動線を生成できる。
【００９４】
或いは、モーション推定部４６８が、選択された各対象点のモーションを、複数の先行フィールド又はフレームを遡って追跡した場合は、動線生成部４７６は、選択された対象点に対応する先行フィールド又はフレーム内の様々な位置に合うスプライン曲線を生成できる。動線生成部４７６は、選択された各対象点に対して、そのモーション値に基づいた異なる動線も生成できる。或いは、動線生成部４７６は、上記に概要を述べたように、平均又はグローバルなモーション値に対応する長さを有する動線を生成できる。
【００９５】
同様に、動線生成部４７６は、カレント（ベース）フィールド又はフレーム内の動線に、選択された各対象点について決定されたモーション方向に従った向きをつけることができる。或いは、動線生成部４７６は、上述のようにグローバルに又はローカルに、選択された対象点の平均方向を決定できる。この場合、選択された各対象点の動線の長さを、対応する選択された対象点の平均方向のモーションに合うようにスケーリングできる。
【００９６】
更に、動線生成部４７６は、正確にモーション値の長さを有する線を生成できることを認識されたい。或いは、動線生成部４７６は、モーションがより良く表されるように、動線を拡大又は縮小できる。
【００９７】
更に、動線生成部４７６は、各線を、同じ色か又は各動線が延びる選択された対象点の色で色づけできることを認識されたい。更に、動線生成部４７６は、動線を、平均モーション値、平均モーション方向、又はその両方からの各動線の偏差を示すようにカラー符号化できることを認識されたい。
【００９８】
いずれにしても、一旦、選択点抽出部４７２が、選択された対象点の最終的なセットを決定し、それらを選択点リストバッファ４７４に格納すると、動線生成部４７６は、選択された各対象点を順次選択し、上記に概要を述べたように、ベースフィールド/フレームバッファ４４６に格納されているカレント（ベース）フィールド又はフレームに動線を追加する。追加された動線は、選択された対象点に対応するカレント（ベース）フレーム又はフィールドの画素へのモーション方向に延びる。
【００９９】
次に、ベースフィールド/フレームバッファ４４６に格納されている動線追加済フィールド又はフレームを、メモリ４３０に格納、及び/又はコントローラ４１０の制御下で入出力インタフェース４２０を介して画像データシンク３００に出力できる。
【０１００】
図１０は、モーションマスク生成部４６１の第２の例示的な実施の形態の概要を示すブロック図である。図１０に示されるように、モーションマスク生成部４６１の第２の例示的な実施の形態は、フィールド/フレーム補償部４６２及びモーションマスクバッファ４６３に加えて、モーションマスク解析部４６４を含む。モーションマスク解析部４６４は、モーションマスクバッファに格納されているモーションマスクを解析し、グローバルモーション補償済のフィールド又はフレーム内のモーションの量を決定する。
【０１０１】
先に示したように、上記の動線追加システム４００の例示的な実施の形態の大まかな説明では、グローバルモーション補償サブシステム４５０及びローカルモーション決定サブシステム４６０は、ベースフィールド又はフレームと１つ以上の先行フィールド又はフレームとの間のあらゆるグローバルモーションを除去した後で、１つ以上の先行フィールド又はフレームに相対するベースフィールド又はフレーム内のモーション領域を識別することに関係して述べられている。しかしながら、先に示したように、動線追加システム４００は、ベースフィールド又はフレームと１つ以上の追加の先行フィールド又はフレームとの間のモーションの任意のタイプに基づいて、より概括的に動線を追加できることを認識されたい。つまり、上述のように、ベースフィールド又はフレームと１つ以上の追加の先行フィールド又はフレームとの間のローカルモーションを表示するだけではなく、代わりに又は加えて、ベースフィールド又はフレームの特徴物と１つ以上の先行フィールド又はフレームの特徴物との間のローカルモーション、グローバルモーション、又はより概括的に、モーションを表示することが望ましい、又は必要とされるかもしれない。この場合、グローバルモーション補償サブシステム４５０及びローカルモーション決定サブシステム４６０は、ベースフィールド又はフレームと１つ以上の先行フィールド又はフレームとの間のモーションをより概括的に特徴づけする。次に、動線追加サブシステム４７０は、この特徴づけ情報を用いて、ベースフィールド又はフレーム内の様々な特徴物に動線を追加する。
【０１０２】
図３から図１０に示されている各要素は、適切にプログラムされた汎用コンピュータの一部として実施できることを理解されたい。或いは、図３から図１０に示されている各要素は、ＡＳＩＣ内の物理的に別々のハードウェア回路として、又はＦＰＧＡ、ＰＤＬ、ＰＬＡ、又はＰＡＬを用いて、又は離散論理素子又は離散回路素子を用いて、実施できる。図３から図１０に示されている各要素がとる特定の形態は、設計上の選択によって異なり、上述の説明に基づいて、当業者には明白且つ予測可能であろう。
【０１０３】
図１１は、本発明に従った動線追加システム５００の第２の例示的な実施の形態を示す。図１１に示されるように、ビデオ画像データはビデオバッファ５１０に格納される。フレームセレクタ５２０は、ビデオバッファ５１０からのビデオ画像データのフィールド又はフレームを選択する。詳細には、フレームセレクタ５２０は、ビデオバッファに格納されているビデオデータから第１又はベースフィールドを選択し、それをベースフィールドバッファ５２２に出力する。同様に、フレームセレクタは、ビデオバッファ５１０に格納されているビデオデータから第２フィールドを選択し、それを第２フィールドバッファ５２４に出力し、第２フィールドは第２フィールドバッファ５２４に格納される。ベースフィールドバッファ５２２に格納されている第１フィールド及び第２フィールドバッファ５２４に格納されている第２フィールドは、グローバルモーション解析部５３０に出力される。グローバルモーション解析部５３０は、第１フィールド及び第２フィールドを解析し、第１フィールドと第２フィールドとの間のグローバルモーションを識別する。
【０１０４】
グローバルモーション解析部５３０は、グローバルモーションによって生じた第１フィールドと第２フィールドとの間の変形を定義する１組のアフィンパラメータを、グローバルモーション補償部５３２に出力する。グローバルモーション補償部５３２に、グローバルモーション解析部５３０からの１組のアフィンパラメータと第２フィールドバッファ５２４に格納されている第２フィールドとが入力される。次に、グローバルモーション補償部５３２は、１組のアフィンパラメータに基づいて第２フィールドの全画素の画素値を修正し、調整済第２フィールドを形成する。次に、この調整済第２フィールドは、グローバルモーション補償部５３２によって調整済第２フィールドバッファ５３４に出力され、調整済第２フィールドは調整済第２フィールドバッファ５３４に格納される。
【０１０５】
次に、ベースフィールドバッファ５２２に格納されている第１フィールドと、調整済第２フィールドバッファ５３４に格納されている調整済第２フィールドとは、フレーム比較部５３６に出力される。フレーム比較部５３６は、ベースフィールドと調整済第２フィールドとを比較し、ベースフィールド内のモーション領域を識別する。詳細には、フレーム比較部５３６は、ベースフィールド及び調整済第２フィールド内の対応する画素の各対の、画素値の差を決定する。次に、フレーム比較部５３６は、ベースフィールド及び調整済第２フィールド内の対応する画素の画素値間の差に閾値を適用する。フレーム比較部５３６は、閾値を適用することにより、この差を二値の値に変換する。詳細には、閾値を越える値を示す“１”はベースフィールドと調整済第２フィールドとの間にモーションがあることを示し、閾値以下の値を示す“０”はベースフィールドと調整済第２フィールドとの間にモーションがないことを示す。次に、この二値の値はフレーム比較部５３６によってモーションマスクバッファ５４０へと出力され、モーションマスクバッファ５４０はこの二値の値を格納する。
【０１０６】
次に、ベースフィールドバッファによって点決定部５５０へとベースフィールドが出力され、点決定部５５０にはモーションマスクバッファ５４０からの二値モーション値も入力される。点決定部５５０は、モーションマスクバッファ５４０に格納されている二値の値に基づいて、ベースフィールド内の候補点を決定する。次に、点決定部５５０は、決定された候補点を候補点リストメモリ５５２に出力する。
【０１０７】
次に、候補点リストメモリ５５２に格納されている候補点リストとともに、ベースフィールドバッファ５２２及び調整済第２フィールドバッファ５３４からベースフィールド及び調整済第２フィールドが、モーション推定部５６０に入力される。モーション推定部５６０は、このデータに基づいて、候補点リストメモリに格納されている各候補点の、ベースフィールドバッファ５２２及び調整済第２フィールドバッファ５３４から受信されたベースフィールドと調整済第２フィールドとの間のモーションの量を識別する。次に、モーション推定部５６０は、候補点リストメモリ５５２に格納されている候補点について決定されたモーション値及びモーション方向を、選択点抽出部５７０に出力する。
【０１０８】
選択点抽出部５７０には、候補点リストメモリ５５２に格納されている候補点リスト及びモーションマスクバッファ５４０に格納されているモーションマスクも入力される。このデータに基づいて、選択点抽出部５７０は、候補点リストメモリ５５２に格納されている候補点のうちの選択された点を識別し、選択点リストを選択点リストメモリ５７２に格納する。
【０１０９】
次に、選択点リストメモリ５７２に格納されている選択点リストは、ベースフィールドバッファ５２２に格納されているベースフィールドとともに、モーション表示生成部５８０に出力される。モーション表示生成部５８０は、ベースフィールドバッファ５２２に格納されているベースフィールドの画像データに基づいて、選択点リストメモリ５７２から受信された選択点リスト内の各点に対する動線を生成する。詳細には、モーション表示生成部５８０は、図９に示されている動線生成部４７６に関して概要を上述した様々な技術の任意の１つを用いて動線を生成する。
【０１１０】
一旦、モーション表示生成部５８０が、選択点リストメモリ５７２に格納されている各点に対する動線を生成したら、得られた修正済ベースフィールドは、モーション表示生成部５８０によって結果画像バッファ５８２に出力される。
【０１１１】
上述したように、結果画像バッファ５８２に格納されている得られた画像は、無期限に格納されてもよく、又はリンク３１０を介して画像データシンク３００に出力されてもよい。
【０１１２】
上記の動線追加システム５００の大まかな説明は、ベースフィールドバッファ５２２及び第２フィールドバッファ５２４に格納されている２つのフィールドに関して述べられたが、ベースフィールドバッファ５２２及び第２フィールドバッファ５２４は、フレームセレクタ５２０によって、ビデオバッファ５１０に格納されているビデオデータから選択された、ビデオ画像データの完全なフレームを格納してもよいことを認識されたい。これらの各フレームは、上述のように、インターレースを解除された１対のフィールドからなる（即ち、インターレースによって得られた１対のフィールドの走査線を交互に配置することによって構成される）。同様に、この場合、調整済第２フィールドバッファ５３４は、第２フィールドだけではなく、完全なフレームを格納することになる。この場合、ベースフィールドバッファ５２２及び第２フィールドバッファ５２４に格納されている各フレームを形成する２つのフィールドは、好ましくは、米国特許第5,784,115号及び米国特許出願番号09/239,296号に関して概要を上述したグローバルモーション補償システム及びローカルモーション補償システムを用いて、２つの構成フィールドから形成される。
【０１１３】
図１２は、本発明に従った動線追加方法の１つの例示的な実施の形態の概要を示す。図１２に示されるように、制御はステップＳ１００で開始し、ステップＳ２００に進む。ステップＳ２００で、ビデオデータ信号が入力される。次に、ステップＳ３００で、ビデオフィールド又はフレームが取得される。次に、ステップＳ４００で、更にフィールド又はフレームを取得する必要があるか否かが決定される。そうである場合（即ち、取得する必要がある場合）は、制御はステップＳ３００にジャンプして戻る。そうでない場合は、制御はステップＳ５００へと続く。
【０１１４】
ステップＳ５００では、取得されたビデオフィールド及び/又はフレームの１つ以上の対について、１対のフィールド又はフレーム内のフィールド又はフレーム間のあらゆるグローバルモーションが除去される。次に、ステップＳ６００で、最後に取得されたビデオフィールド又はフレームが、カレント画像として設定される。次に、ステップＳ７００で、カレント画像と少なくとも１つの先行画像との間のローカルモーション領域が決定される。次に、制御はステップＳ８００へと続く。
【０１１５】
ステップＳ８００では、決定されたローカルモーション領域内の対象点が識別される。次に、ステップＳ９００で、識別された対象点のローカルモーションの方向及び大きさが決定される。次に、ステップＳ１０００で、対象点から、選択された動線追加点が識別される。１つの例示的な実施の形態では、選択された動線追加点は、選択された各対象点の対応するローカルモーションの大きさ及び方向に基づいて、識別された対象点から選択される。次に、制御はステップＳ１１００へと続く。
【０１１６】
ステップＳ１１００では、カレント画像内の選択された各動線追加点に動線が追加される。１つの例示的な実施の形態では、動線は、カレント画像がフレームである場合はカレントフレームに追加され、カレント画像がフィールドである場合はカレント画像（即ちフィールド）を含むフレームに追加される。次に、ステップＳ１２００で、例えばカレントフレーム又はカレントフィールドを含むフレームであるカレント画像が、選択された動線追加点から延びる追加された動線とともに出力される。次に、制御はステップＳ１３００へと続き、そこで制御ルーチンが終了する。
【０１１７】
図１３は、ビデオフィールド/フレーム取得ステップＳ３００の１つの例示的な実施の形態の概要をより詳細に示すフロー図である。制御はステップＳ３００で開始し、ステップＳ３１０へと続き、そこで、ビデオデータ信号のカレントフレームの第１フィールドが取得される。次に、ステップＳ３２０で、完全なビデオフレームを取得すべきか否かが決定される。取得しない場合は、制御はステップＳ３６０にジャンプする。取得する場合は、制御はステップＳ３３０へと続く。
【０１１８】
ステップＳ３３０では、ビデオデータ信号のカレントフレームの第２フィールドが取得される。次に、ステップＳ３４０で、カレントフレームの第１フィールドと第２フィールドとの間のモーションが除去される。カレントフレームの第１フィールドと第2フィールドとの間のモーションを除去するために、公知の又は今後開発される任意の方法、及び方法の組み合わせを用いることができる。詳細には、１つの例示的な実施の形態では、まず、カレントフレームの第１フィールドと第２フィールドとの間のグローバルモーションが除去され、次に、カレントフレームのグローバルモーション補償済の第１フィールドと第２フィールドとの間のローカルモーションが除去される。次に、制御はステップＳ３５０へと続く。
【０１１９】
ステップＳ３５０では、カレントフレームを形成するために、モーション補償済の第１及び第２フィールドが結合される。次に、制御はステップＳ３６０へと続き、そこで制御はステップＳ４００に戻る。
【０１２０】
図１４は、グローバルモーション除去ステップＳ５００の１つの例示的な実施の形態の概要をより詳細に示すフロー図である。制御はステップＳ５００で開始し、ステップＳ５１０へと続き、そこで、取得された最新のフィールド又はフレームがカレント画像として選択される。次に、ステップＳ５２０で、より早く取得されたフィールド又はフレームが先行画像として選択される。次に、ステップＳ５３０で、カレント画像に相対する先行画像内の各画素又は各画素ブロックについて、複数組のアフィンパラメータが決定される。詳細には、ブロックは正方形又は長方形であってよく、１画素から横に延びた形状でもよいことを認識されたい。詳細には、１画素×１画素のブロックは１画素と等しい。次に、制御はステップＳ５４０へと続く。
【０１２１】
ステップＳ５４０では、複数組のアフィンパラメータがクラスタ化される。次に、ステップＳ５５０では、ステップＳ５４０で決定されたブロックアフィンパラメータのクラスタに基づいて、１組の画像アフィンパラメータが決定される。次に、ステップＳ５６０では、ステップＳ５５０で決定された１組の画像アフィンパラメータに基づいて、先行画像が歪曲される。次に、制御はステップＳ５７０へと続く。
【０１２２】
ステップＳ５７０では、追加のフィールド又はフレームからグローバルモーションが除去される必要があるか否かが決定される。そうである場合（即ち、除去される必要がある場合）は、制御はステップＳ５２０にジャンプして戻る。そうでない場合は、制御はステップＳ５８０へと続き、そこで制御はステップＳ６００に戻される。
【０１２３】
図１５は、対象点の識別の１つの例示的な実施の形態の概要をより詳細に示すフロー図である。制御はステップＳ８００で開始し、ステップＳ８１０へと続き、そこで、最初の画素がカレント画素として選択される。次に、ステップＳ８２０で、カレント画素が解析され、カレント画素がローカルモーション領域内にあるか否かが決定される。そうである場合（即ち、カレント画素がローカルモーション領域内にある場合）は、制御はステップＳ８３０へと続く。そうでない場合は、制御はステップＳ８７０にジャンプする。
【０１２４】
ステップＳ８３０では、カレント画素が更に解析され、カレント画素がカレント（ベース）フィールド又はフレーム内の特徴物のエッジ上にあるか否かが決定される。そうである場合は、制御はステップＳ８４０へと続く。そうでない場合は、制御はここでもステップＳ８７０にジャンプする。
【０１２５】
ステップＳ８４０では、カレント画素が解析され、カレント画素が特徴物の角にあるか否かが決定される。そうである場合は、制御はステップＳ８５０へと続く。そうでない場合は、制御はここでもステップＳ８７０にジャンプする。
【０１２６】
ステップＳ８５０では、カレント画素が解析され、カレント画素が、他の、前に識別された対象点から十分に離れているか否かが決定される。そうである場合は、制御はステップＳ８６０へと続く。そうでない場合は、制御はここでもステップＳ８７０にジャンプする。
【０１２７】
ステップＳ８６０では、カレント画素がローカルモーション領域内にあり、カレント（ベース）フィールド又はフレーム内の特徴物のエッジの角にあり、他の、前に識別された対象点から十分に離れているので（即ち、ステップＳ８２０、Ｓ８３０、Ｓ８４０、及びＳ８５０でYESと判定されたので）、カレント画素はもう１つの対象点として識別される。次に、ステップＳ８７０で、カレント（ベース）フィールド又はフレームがチェックされ、カレント（ベース）フィールド又はフレーム内の全画素が選択されたか否かが決定される。カレント（ベース）フィールド又はフレーム内にまだ選択されるべき画素が残っている場合は、制御はステップＳ８８０へと続く。そうでない場合は、制御はステップＳ８９０にジャンプする。
【０１２８】
ステップＳ８８０では、カレント（ベース）フィールド又はフレームの次の画素がカレント画素として選択される。次に、制御はステップＳ８２０にジャンプして戻る。一方、ステップＳ８９０では、制御は制御Ｓ９００に戻る。
【０１２９】
図１６は、動線追加点の選択の１つの例示的な実施の形態の概要をより詳細に示すフロー図である。制御はステップＳ１０００で開始し、ステップＳ１０１０へと続き、そこで、平均モーション量が決定される。次に、ステップＳ１０２０で、最初の対象点がカレント対象点として選択される。次に、ステップＳ１０３０で、カレント対象点が解析され、カレント対象点のモーションが平均モーションに近いか否かが決定される。そうである場合（即ち、カレント対象点のモーションが平均モーションに近い場合）は、制御はステップＳ１０４０へと続く。そうでない場合は、制御はステップＳ１０７０にジャンプする。
【０１３０】
ステップＳ１０４０では、カレント対象点のモーションの線に沿った第２の点が識別される。次に、ステップＳ１０５０で、第２の対象点が解析され、第２の対象点もモーション領域内にあるか否かが決定される。モーション領域内にない場合は、制御はステップＳ１０６０へと続く。モーション領域内にある場合は、制御はステップＳ１０７０にジャンプする。
【０１３１】
ステップＳ１０６０では、カレント対象点のモーションが平均モーションに近く、識別された第２の点もモーション領域内にないので（即ち、ステップＳ１０４０でYESに分岐し、ステップＳ１０５０でNOに分岐したので）、カレント対象点が動線追加点として選択される。次に、ステップＳ１０７０で、対象点のリストがチェックされ、まだ選択されるべき対象点が残っているか否かが決定される。まだ選択されるべき対象点が残っている場合は、制御はステップＳ１０８０へと続く。そうでない場合は、制御はステップＳ１０９０にジャンプする。
【０１３２】
ステップＳ１０８０では、次の対象点がカレント対象点として選択される。次に、制御はステップＳ１０３０にジャンプして戻る。一方、ステップＳ１０９０では、制御はステップＳ１１００に戻る。
【０１３３】
図３から図１０に示されている動線追加システム４００は、好ましくは、プログラムされた汎用コンピュータ上で実現される。しかしながら、動線追加システム４００は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、離散素子回路のようなハードワイヤード(hardwired)電子又は論理回路、又は、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬのようなプログラム可能論理デバイス等でも実現可能である。一般的に、有限状態機械の実施能力があり、ひいては図１２から図１６のフロー図の実施能力がある、任意の装置を用いて、動線追加システム４００を実現することができる。
【０１３４】
同様に、図１１の動線追加システム５００は、好ましくは、プログラムされた汎用コンピュータ上で実現される。しかしながら、動線追加システム５００は、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、離散素子回路のようなハードワイヤード電子又は論理回路、又は、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬのようなプログラム可能論理デバイス等でも実現可能である。一般的に、有限状態機械の実施能力があり、ひいては図１２から図１６のフロー図の実施能力がある、任意の装置を用いて、動線追加システム５００を実現することができる。
【０１３５】
図３から図１０に示されているメモリ４３０並びに種々のバッファ４４２、４４６、４４８、４６３、４６７、及び４７４、並びに図１１に示されている種々のバッファ及びメモリ５２２、５２４、５３４、５４０、５５２、及び５８２は、好ましくは、スタティック又はダイナミックＲＡＭを用いて実現される。しかしながら、図３から図１０に示されているメモリ４３０並びに種々のバッファ４４２、４４６、４４８、４６３、４６７、及び４７４、並びに図１１に示されている種々のバッファ及びメモリ５２２、５２４、５３４、５４０、５５２、及び５８２は、フロッピーディスク及びディスクドライブ、書き込み可能光ディスク及びディスクドライブ、ハードドライブ、フラッシュメモリ、又は他の公知の又は今後開発される任意の可変揮発性又は不揮発性記憶装置又はシステムを用いて実現することも可能である。
【０１３６】
図３は、動線追加システム４００をビデオ画像データソース２００とは別の装置として示しているが、動線追加システム４００は一体化された装置であってもよい。そのような構成にして、例えば、ビデオ画像データソース２００、動線追加システム４００、及び画像データシンク３００が単独の装置に含まれてもよい。
【０１３７】
或いは、動線追加システム４００は、画像データシンク３００又はビデオ画像データソース２００上で実行されるソフトウェアとして実現されてもよい。例えば、動線追加システム４００は、ビデオカメラ又はビデオキャプチャ/プリンタシステムに組込まれても良い。図３に示されている要素の他の構成も、本発明の精神及び範囲を逸脱することなく用いられ得る。
【０１３８】
本発明は、概要を上述した特定の例示的な実施の形態と関係して述べられてきたが、当業者にとって多くの代替、修正、及び変更が明白であることは明らかである。従って、上述の本発明の好ましい実施の形態は、本発明の説明を意図するものであり、本発明を限定するものではない。本発明の精神及び範囲を逸脱することなく、様々な変更が行われ得る。
【図面の簡単な説明】
【図１】本発明に従ったシステム及び方法を用いて動線が追加されるベース静止画像を示す図である。
【図２】図１の静止画像に動線を追加して示す図である。
【図３】本発明に従った動線追加システムの１つの例示的な実施の形態の概要を示すブロック図である。
【図４】図３のビデオフレームキャプチャサブシステムの１つの例示的な実施の形態の概要をより詳細に示すブロック図である。
【図５】図３のグローバルモーション補償サブシステムの１つの例示的な実施の形態の概要をより詳細に示すブロック図である。
【図６】本発明に従った図３の（ローカル）モーション決定サブシステムの１つの例示的な実施の形態の概要をより詳細に示すブロック図である。
【図７】図６のモーションマスク生成部の１つの例示的な実施の形態の概要をより詳細に示すブロック図である。
【図８】図６の候補点選択サブシステムの１つの例示的な実施の形態の概要をより詳細に示すブロック図である。
【図９】本発明に従った図３の動線追加サブシステムの１つの例示的な実施の形態の概要を示すブロック図である。
【図１０】図６のモーションマスク生成部の第２の例示的な実施の形態の概要を示すブロック図である。
【図１１】本発明に従った動線追加システムの第２の例示的な実施の形態の概要を示すブロック図である。
【図１２】本発明に従った動線追加方法の１つの例示的な実施の形態の概要を示すフロー図である。
【図１３】図１２のカレントフレーム比較方法の１つの例示的な実施の形態の概要をより詳細に示すフロー図である。
【図１４】本発明に従った図１２の対象点識別方法（グローバルモーション除去方法）の１つの例示的な実施の形態の概要をより詳細に示すフロー図である。
【図１５】本発明に従った図１２の対象点識別方法の１つの例示的な実施の形態の概要をより詳細に示すフロー図である。
【図１６】本発明に従った図１２の動線追加点選択方法の１つの例示的な実施の形態の概要をより詳細に示すフロー図である。
【符号の説明】
４００    動線追加システム
４１０    コントローラ
４２０    入出力インタフェース
４３０    メモリ
４４０    ビデオフレームキャプチャサブシステム
４５０    グローバルモーション補償サブシステム
４６０    ローカルモーション決定サブシステム
４７０    動線追加サブシステム
【図１】
0004514264.tif 000002
【図２】
0004514264.tif 000003
【図３】
0004514264.tif 000004
【図４】
0004514264.tif 000005
【図５】
0004514264.tif 000006
【図６】
0004514264.tif 000007
【図７】
0004514264.tif 000008
【図８】
0004514264.tif 000009
【図９】
0004514264.tif 000010
【図１０】
0004514264.tif 000011
【図１１】
0004514264.tif 000012
【図１２】
0004514264.tif 000013
【図１３】
0004514264.tif 000014
【図１４】
0004514264.tif 000015
【図１５】
0004514264.tif 000016
【図１６】
0004514264.tif 000017