(57)【要約】   時間連続入力画像のシーケンスに基づいて出力画像（１０８）を生成する方法が開示されている。本発明は、入力画像のうちの第一の画像（１０２）において特定の物体の特定の部分（１００）を識別するステップと、入力画像のうちの第一の画像（１０２）から画素の第一のグループ（１１０）をフェッチし、画素の第一のグループ（１１０）は、特定の物体の特定の部分（１００）に対応するステップと、入力画像のうちの第二の画像（１０４）において特定の物体の特定の部分（１００）を局在化するステップと、入力画像のうちの第二の画像（１０４）から画素の第二のグループ（１１０）をフェッチし、画素の第二のグループ（１１０）は、前記特定の物体の特定の部分（１００）に対応するステップと、画素の第二のグループ（１１０）を画素の第一のグループ（１１０）に追加して出力画像を形成するステップとを有する。
2007536671.tif 000002
【特許請求の範囲】
【請求項１】
時間連続入力画像のシーケンスに基づいて出力画像を生成する方法であって、
−  前記入力画像のうちの第一の画像において特定の物体の特定の部分を識別するステップと、
−  前記入力画像のうちの第一の画像から画素の第一のグループをフェッチし、前記画素の第一のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記入力画像のうちの第二の画像において前記特定の物体の特定の部分を局在化するステップと、
−  前記入力画像のうちの第二の画像から画素の第二のグループをフェッチし、前記画素の第二のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記画素の第二のグループを前記画素の第一のグループに追加して前記出力画像を形成するステップと
を有する方法。
【請求項２】
前記追加するステップが、前記画素の第一のグループ及び前記画素の第二のグループの各画素値の加重総和値を有する請求項１に記載の方法。
【請求項３】
前記画素の第一のグループは、前記入力画像のうちの第一の画像の画素の複数の列の画素に対応する請求項１に記載の方法。    
【請求項４】
前記画素の第一のグループは、前記入力画像のうちの第一の画像の画素の複数の行の画素に対応する請求項１に記載の方法。
【請求項５】
前記画素の列の数は、前記特定の物体のトラッキングに基づく請求項３に記載の方法。
【請求項６】
前記画素の行の数は、前記特定の物体のトラッキングに基づく請求項４に記載の方法。
【請求項７】
前記トラッキングは、複数の動きベクトル候補を評価するステップに基づいており、当該評価ステップは最小一致誤りを確定するステップを有する請求項５又は６に記載の方法。  
【請求項８】
前記一致誤りは、前記入力画像のうちの第一の画像及び／又は前記入力画像のうちの第二の画像における前記特定の物体に対応する各画素の間の差に対応する請求項７に記載の方法。
【請求項９】
前記画素の列の数は、前記入力画像のうちの第一の画像及び／又は前記入力画像のうちの第二の画像における前記背景の動きを追跡するステップに基づく請求項５に記載の方法。
【請求項１０】
前記画素の行の数は、前記入力画像のうちの第一の画像及び／又は前記入力画像のうちの第二の画像における前記背景の動きを追跡するステップに基づく請求項６に記載の方法。
【請求項１１】
前記画素の列の数が、
−  前記入力画像のうちの第一の画像において前記特定の物体の特定の部分を識別するステップに基づいて第一の画素座標を決定するステップと、
−  前記入力画像のうちの第三の画像において前記特定の物体の特定の部分を識別するステップに基づいて第二の画素座標を決定するステップと、
−  前記入力画像のうちの第一の画像と前記入力画像のうちの第三の画像との間に一時的に位置されている連続入力画像の数を決定するステップと、
−  前記第一の画素座標、前記第二の画素座標、及び前記連続入力画像の数に基づいて前記列の数を計算するステップと
を有する請求項５に記載の方法。    
【請求項１２】
時間連続入力画像のシーケンスに基づいて出力画像を生成する命令を有し、コンピュータ装置によってロードされるべきコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後、前記処理手段に
−  前記入力画像のうちの第一の画像における特定の物体の特定の部分の位置を受けるステップと、
−  前記入力画像のうちの第一の画像から画素の第一のグループをフェッチし、前記画素の第一のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記入力画像のうちの第二の画像において前記特定の物体の特定の部分を局在化するステップと、
−  前記入力画像のうちの第二の画像から画素の第二のグループをフェッチし、前記画素の第二のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記画素の第二のグループを前記画素の第一のグループに追加して前記出力画像を形成するステップと
を実行する機能をもたらすコンピュータプログラム。  
【請求項１３】
時間連続入力画像のシーケンスに基づいて出力画像を生成するように構成される画像処理装置であって、
−  前記入力画像のうちの第一の画像における特定の物体の特定の部分の位置を受けるステップと、
−  前記入力画像のうちの第一の画像から画素の第一のグループをフェッチし、前記画素の第一のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記入力画像のうちの第二の画像において前記特定の物体の特定の部分を局在化するステップと、
−  前記入力画像のうちの第二の画像から画素の第二のグループをフェッチし、前記画素の第二のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記画素の第二のグループを前記画素の第一のグループに追加して前記出力画像を形成するステップと
を実行する機能を備える処理手段を有する画像処理装置。
【請求項１４】
前記出力画像を表示するためのディスプレイデバイスを更に有する請求項１３に記載の画像処理装置。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間（一時）連続入力画像（temporally consecutive input image）のシーケンスに基づいて出力画像を生成する方法に関する。
【０００２】
本発明は更に、時間連続入力画像のシーケンスに基づいて出力画像を生成する命令を有する、コンピュータ装置によってロードされるべきコンピュータプログラムに関する。
【０００３】
本発明は更に、時間連続入力画像のシーケンスに基づいて出力画像を生成するように構成される画像処理装置に関する。
【背景技術】
【０００４】
時間連続入力画像のシーケンスを示す利点は、ダイナミックイベント（動的事象（dynamic event））が映像化され得ること、例えば物体（オブジェクト（object））の動きが自身の背景（バックグラウンド）に対して示され得ることにある。例えば、ボールの実際の動きが関連するフットボールのようなスポーツゲームが示され得る。放送中、フットボールゲームに対応する画像のシーケンスの部分を繰り返すことは共通の特徴になる。通常、これらの部分は、ゲームの最も興奮させる（エキサイティングな）瞬間に対応する。しかしながら、例えば新聞又は他の種類の印刷媒体（メディア）においてこのような興奮させる瞬間を示すことが必要とされるとき、イベントの魅力のほとんどは失われる。このことは、新聞における写真（ピクチャ（画像））がイベントのダイナミクスを示さないことによる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、出力画像におけるダイナミックイベントを要約するために冒頭の段落に記載の種類の方法を提供することにある。  
【課題を解決するための手段】
【０００６】
本発明の目的は、
−  入力画像のうちの第一の画像において特定の物体の特定の部分を識別するステップと、
−  前記入力画像のうちの第一の画像から画素（ピクセル（pixel））の第一のグループをフェッチし、前記画素の第一のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記入力画像のうちの第二の画像において前記特定の物体の特定の部分を局在（部）化するステップと、
−  前記入力画像のうちの第二の画像から画素の第二のグループをフェッチし、前記画素の第二のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記画素の第二のグループを前記画素の第一のグループに追加して前記出力画像を形成するステップと
を有する方法によって達成される。
【０００７】
ダイナミックイベントを示す自明の既存のアプローチは、概略図、例えば擬似的な図的表現を生成することにある。本発明による方法は、異なる時点における入力画像の物体を有する静的（スタティックな）、すなわち空間画像（spatial image）を生成するために、時間連続入力画像のシーケンス、すなわち時空データ（spatio-temporal data）が使用されるという点で異なる。
【０００８】
部分は、ダイナミック（動的）（x,y,t）入力画像から選択され、単一のスタティック（静的）（x,y）出力画像を形成するように結合される。このことは、静的出力画像が、例えば物体の動きのようなダイナミックイベントを示す態様でなされる。特性的な特徴（characteristic feature）は、出力画像が、異なる時点でサンプリングされる特定の物体の特定の部分の画像データを有することにある。すなわち、特定の物体の特定の部分は、出力画像において複数回現れる。このことは、画素の第二のグループが、通常画素の第二のグループに隣接して画素の第一のグループに追加されることによる。
【０００９】
異なるより小さな画像を互いに合わせることによって一つの大きな全景図（パノラマビュー）を生成する従来技術との明らかな差異が存在する。その場合、空間画像データのセットが、より大きな出力画像を生成するために使用される。従来技術による方法において、連続画像の部分は、異なる態様で結合される。通常、空間的にオーバラップする画像領域の各画素は併合（マージ）される。結果として、出力画像において一度だけ各々の物体が現れる。
【００１０】
本発明による方法において、異なる時点における単一の物体を表すデータが明示的に使用される。
【００１１】
本発明による方法の実施例において、追加ステップは、画素の第一のグループ及び画素の第二のグループの各画素値の加重（重み付けされた）総和（合計）値（weighted summation）を有する。加重総和値の利点は、画素の第一のグループから画素の第二のグループへの輝度（luminance）及び／又は色の遷移が平滑化（スムージング）されることにある。代わりに、画素の第二のグループは、画素の第一のグループにちょうど隣接して置かれる。通常、画素のグループを位置させるステップと、遷移のために加重総和値を使用するステップとの組み合わせが使用される。従って、二つの画像の部分が選択されると共に、補間（interpolation）のある形態を通じて、すなわち互いに隣接して部分を単に位置させるステップか、又は加重平均するステップの何れかを通じて結合される。
【００１２】
本発明による方法の実施例において、画素の第一のグループは、入力画像の第一の画像の画素の複数の列（column）の画素に対応する。本発明による方法の実施例において、画素の第一のグループと、更に画素の連続グループとは、入力画像に対応する画素行列（マトリックス）の（完）全高さ（complete height）に渡って延在する。このことは、特定の物体の特定の部分を表す画素を有する列において位置される全ての画素が選択されると共に、出力画像を構成するためにスライスの一種として使用されることを意味する。すなわち、出力画像は、連続入力画像からフェッチされるスライスのセットを有する。スライスの各々は、各入力画像における特定の物体の特定の部分を示す。通常、スライスは、前（面）で特定の物体が動いている背景も表す。本発明による実施例は、物体の水平の動きを示す出力画像を生成するのに有利になる。
【００１３】
本発明による方法の実施例において、画素の第一のグループは、入力画像の第一の画像の画素の複数の行(row)の画素に対応する。本発明による方法の実施例において、画素の第一のグループと、更に画素の連続グループとは、入力画像に対応する画素行列の（完）全幅（complete width）に渡って延在する。このことは、特定の物体の特定の部分を表す画素を有する行において位置される全ての画素が選択されると共に、出力画像を構成するためにスライスの一種として使用されることを意味する。すなわち、出力画像は、連続入力画像からフェッチされるスライスのセットを有する。スライスの各々は、各入力画像における特定の物体の特定の部分を示す。通常、スライスは、前（面）で特定の物体が動いている背景も表す。本発明による実施例は、物体の垂直の動きを示す出力画像を生成するのに有利になる。
【００１４】
画素の第一のグループが、入力画像の第一の画像の画素の複数の列の画素に対応する本発明による方法の実施例において、画素の列の数は、特定の物体のトラッキング（追跡（tracking））に基づいている。特定の物体の動きは推定される（見積もられる）。推定された動きは画素の第一のグループの寸法（ディメンション）を決定する。例えば、特定の物体の特定の部分の推定された動きが２０画素に等しくなる場合、画素の列の数も２０になる。
【００１５】
画素の第一のグループが、入力画像の第一の画像の画素の複数の行の画素に対応する本発明による方法の実施例において、画素の行の数は、特定の物体のトラッキングに基づいている。特定の物体の動きは推定される。推定された動きは、画素の第一のグループの寸法を決定する。例えば、特定の物体の特定の部分の推定された動きが２０画素に等しくなる場合、画素の行の数も２０になる。
【００１６】
本発明による実施例において、トラッキングは、複数の動きベクトル候補を評価するステップに基づいており、当該評価ステップは最小一致（合致）誤り（ミニマルマッチエラー（minimal match error））を確定するステップを有する。この技術は概して、動き推定（motion estimation）として知られている。好ましくは、一致誤りは、入力画像の第一の画像及び／又は入力画像の第二の画像における特定の物体に対応する各画素の間の差に対応する。  
【００１７】
動きは相対的な特性（relative quantity）である。動きは、連続入力画像の画素行列に対して表現され得る。連続入力画像が固定位置カメラ（stationary positioned camera）によって得られる場合、このアプローチは適切である。このことは、入力画像の第一の画像における特定の物体の特定の部分の座標及び入力画像の第二の画像における特定の物体の特定の部分の座標が、物体の動きを計算するために直接使用され得ることを意味する。しかしながら、多くの場合、カメラは、動く物体の捕捉の間、パン（pan）及び／又はズーム（zoom）している。
【００１８】
時間連続入力画像のシーケンスが、このような捕捉に基づく場合、当該カメラの動きに対する補正は好ましい。本発明による好ましい実施例において、画素の列の数は、入力画像の第一の画像及び／又は入力画像の第二の画像における背景の動きを追跡（トラッキング）するステップに基づいている。代わりに、画素の行の数は、入力画像の第一の画像及び／又は入力画像の第二の画像における背景の動きを追跡するステップに基づいている。概して、背景の動きモデルによる補償が実現される。これは、背景モデルを移動（translation）とスケーリング（scaling）との組み合わせとしてモデル化するいわゆるパン−ズームモデル（pan-zoom model）であってもよいが、当該モデルはより複雑であってもよく、更に透視投影（perspective projection）及び回転のような他の態様をカバーしていてもよい。
【００１９】
上述のように、フェッチされた列／行の数は動きに基づいている。当該動きは、前で物体が動いている背景に関連している。固定位置カメラの場合、当該動きは、様々な画素行列に対する動きに対応する。
【００２０】
動きベクトルの評価に基づいて動き推定によって特定の物体を追跡するための代わりとして、特定の物体はほぼ手動（semi-manually）でも追跡され得る。この場合，画素の列の数は、
−  前記入力画像のうちの第一の画像において前記特定の物体の特定の部分を識別するステップに基づいて第一の画素座標を決定するステップと、
−  前記入力画像のうちの第三の画像において前記特定の物体の特定の部分を識別するステップに基づいて第二の画素座標を決定するステップと、
−  前記入力画像のうちの第一の画像と前記入力画像のうちの第三の画像との間に一時的に位置されている連続入力画像の数を決定するステップと、
−  前記第一の画素座標、前記第二の画素座標、及び前記連続入力画像の数に基づいて前記列の数を計算するステップと
によって決定される。
【００２１】
本発明による実施例において、 ユーザは、複数の画像において、特定の物体の特定の部分がどこに位置されるかを示さなければならない。このことは、表示された入力画像に対してカーソルを移動させることによってなされ得る。
【００２２】
本発明の更なる目的は、出力画像におけるダイナミックイベントを要約するために冒頭の段落に記載の種類のコンピュータプログラムを提供することにある。
【００２３】
本発明の当該目的は、コンピュータプログラムが、処理手段及びメモリを有するコンピュータ装置でロードされた後、前記処理手段に、
−  前記入力画像のうちの第一の画像における特定の物体の特定の部分の位置を受けるステップと、
−  前記入力画像のうちの第一の画像から画素の第一のグループをフェッチし、前記画素の第一のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記入力画像のうちの第二の画像において前記特定の物体の特定の部分を局在化するステップと、
−  前記入力画像のうちの第二の画像から画素の第二のグループをフェッチし、前記画素の第二のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記画素の第二のグループを前記画素の第一のグループに追加して前記出力画像を形成するステップと
を実行する機能をもたらすことにより達成される。
【００２４】
本発明の更なる目的は、出力画像におけるダイナミックイベントを要約するために冒頭の段落に記載の種類の画像処理装置を提供することにある。
【００２５】
本発明の当該目的は、画像処理装置が、処理手段に、
−  前記入力画像のうちの第一の画像における特定の物体の特定の部分の位置を受けるステップと、
−  前記入力画像のうちの第一の画像から画素の第一のグループをフェッチし、前記画素の第一のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記入力画像のうちの第二の画像において前記特定の物体の特定の部分を局在化するステップと、
−  前記入力画像のうちの第二の画像から画素の第二のグループをフェッチし、前記画素の第二のグループは、前記特定の物体の特定の部分に対応するステップと、
−  前記画素の第二のグループを前記画素の第一のグループに追加して前記出力画像を形成するステップと
を実行する機能をもたらすことにより達成される。
【００２６】
前記方法の修正及びその変形は、記載の画像処理装置及びコンピュータプログラムの修正及び変形に対応していてもよい。
【００２７】
本発明による方法及びコンピュータプログラムの画像処理装置のこれら及び他の態様は、以下に記載の実施態様及び実施例並びに図面に関連して明らかになるであろう。
【発明を実施するための最良の形態】
【００２８】
図面を通じて同様の部分を示すために同じ参照番号が使用される。    
【００２９】
図１は、入力画像102, 104,  及び106の捕捉の間、カメラが固定されている本発明による方法を概略的に示す。入力画像102, 104,  及び106は物体、すなわち、均質な背景の前で動いているボール１００を表す。入力画像102, 104,  及び106の捕捉の間、カメラは動いていない。ボール１００が、入力画像102, 104,  及び106に対応する画素行列に対して左から右に動いていることは明らかに理解され得る。入力画像102, 104,  及び106に基づいている出力画像１０８は、各入力画像102, 104,  及び106の複数のスライス110, 112,  及び114を有する。スライスの場合、入力画像の複数の列（又は行）に対応する画素のセットが意味される。図１における矢印は、入力画像102, 104,  及び106からフェッチされるスライスと、出力画像１０８を形成するように結合されているスライスとの間の関係を示す。これらのスライスのサイズ（大きさ）は、画素行列に対するボール１００の動きに基づいている。出力画像１０８は、最初の入力画像１０２の開始部分１１６及び最後の入力画像１０６の終了部分１１８も有する。開始部分１１６及び終了部分１１８のサイズは、ボール１００の動きに関係していない。
【００３０】
図２Ａは、入力画像の捕捉の間、カメラがパンしている本発明による方法を概略的に示す。入力画像102, 104,  及び106は物体、すなわち、家（ハウス）の前で動いているボール１００を表す。入力画像102, 104,  及び106の捕捉の間、カメラはパンしている。ボール及びカメラの動きの方向は互いに等しくなる。カメラ移動の速度はボール１００の速度よりも高くなる。入力画像102, 104,  及び106に基づいている出力画像２０８は、各入力画像102, 104,  及び106の複数のスライス110, 112,  及び114を有する。図２Ａにおける矢印は、入力画像102, 104,  及び106からフェッチされるスライスと、出力画像２０８を形成するように結合されているスライスとの間の関係を示す。これらのスライスのサイズは、背景に対するボール１００の動きに基づいている。出力画像２０８は、最初の入力画像１０２の開始部分１１６及び最後の入力画像１０６の終了部分１１８も有する。開始部分１１６及び終了部分１１８のサイズは、ボール１００の動きに関係していない。出力画像２０８を入力画像102, 104,  及び106と比較することによって、出力画像はより大きくなることが明らかになる。出力画像２０８は完全な家を示すが、異なる入力画像は家の部分を示す。このことは、本発明による方法が、空間的に関係付けられた画像データも選択的に結合されるようにされ、その結果、比較的大きな出力画像がもたらされることを意味する。
【００３１】
入力画像の新たなスライスがその時まで構成されている出力画像に追加されるたびに、新たな出力画像は生成されることが明らかになるであろう。すなわち、スライスと共に追加される第一の出力画像が第二の出力画像になる。このような構成中の一連の出力画像を示すことにより、ユーザに、イベントの経過部分の履歴と組み合わされる生のダイナミックイベントの印象がもたらされる。ユーザは、サイズが異なる一連の出力画像を示される。すなわち、後続する出力画像はそれの先行する画像よりも大きくなる。
【００３２】
代わりに、まず最初に、入力画像のシーケンスに基づいて比較的大きな概略画像（overview image）が構成される。ここで、当該概略画像は、入力画像によって取り込まれる全シーン（場面）を表す。しかしながら、上記のように複製は除かれる。このことは、好ましくは、動く物体を表す画素を有さない画素のストリップを使用することによってなされる。通常、これらのストリップは入力画像の境界部（ボーダ（border））において位置される。これらのストリップのサイズは、追跡されるべき特定の物体の動きに関係していないが、カメラに対する背景の動きに関係している。当該大きな概略画像が生成された後、本発明による方法が適用される。本方法の中間結果、すなわち後続する出力画像は概略画像と組み合わされる。基本的にこのことは、後続する出力画像が各部分、すなわち概略画像の残りの部分と共に追加されることを意味する。図２Ｂは、当該アプローチにより構成される複数の出力画像202, 204,  及び208を概略的に示す。出力画像２０２の第一の画像は、ボール１００が一度だけ見える前記概略画像を示す。出力画像２０４の第二の画像において、ボール１００は二回見え、出力画像２０８の第三の画像において、ボール１００は三回見える。
【００３３】
図３は、フットボール試合の複数の入力画像102, 104,  及び106と、これらの入力画像102, 104,  及び106に基づいて本発明により生成される出力画像３０８とを概略的に示す。示されている入力画像102, 104,  及び106が、連続入力画像のより長いシーケンスの単なる部分にすぎないことは注意されるべきである。入力画像102, 104,  及び106はフットボール試合を表す。入力画像１０２の第一の画像において、選手がボール１００を蹴ることは理解され得る。丸が参照される。入力画像１０４の第二の画像において、ボール１００が空を通って飛んでいることは理解され得る。再び丸が参照される。入力画像１０６の第三の画像において、ボール１００がゴールに達していることは理解され得る。図３は、示されている入力画像102, 104,  及び106に基づくと共に約４０の示されていない入力画像に基づく出力画像３０８も示す。ボールの実際の軌道は、出力画像３０８においてはっきりと見える。
【００３４】
図４は、本発明による画像処理装置１００の第一の実施例を概略的に示す。画像処理装置４００は、入力画像コネクタ４１０において入力画像のシーケンスを備え、画像出力コネクタ４１４において最終出力画像及び中間出力画像のシーケンスをもたらすように構成される。好ましくは、本発明による画像処理装置は、ユーザ対話（user interaction）によって、すなわち、複数の入力画像において対象の物体を示しているユーザによってもたらされる位置情報によってもたらされる。画像処理装置１００は、
−  位置情報入力インタフェース部４１２によって入力画像のうちの第一の画像における特定の物体の特定の部分の位置を受けるステップと、
−  入力メモリデバイス４０２において一時的に記憶される入力画像のうちの第一の画像から画素プロセッサ４０４によって画素の第一のグループをフェッチし、前記画素の第一のグループは、前記特定の物体の特定の部分に対応するステップと、
−  局在化ユニット４０８によって前記入力画像のうちの第二の画像において前記特定の物体の特定の部分を局在化するステップと、
−  入力画像のうちの第一の画像の後に入力メモリデバイス４０２において一時的に記憶される入力画像のうちの第二の画像から画素プロセッサ４０４によって画素の第二のグループをフェッチし、前記画素の第二のグループも、前記特定の物体の特定の部分に対応するステップと、
−  前記画素の第二のグループを前記画素の第一のグループに追加して前記出力画像を形成するステップと
を実行する機能を備える処理手段を有する。画素プロセッサ４０４は、アクセスされた画素値の第二のグループ複製（コピー）を生成すると共に、出力メモリデバイス４０６における適切な位置において複製を画素値に書き込むように構成される。
【００３５】
図５は、本発明による画像処理装置５００の第二の実施例を概略的に示す。この実施例５００は基本的に、図４に関連して記載の実施例４００と同じである。差は、この実施例５００がカメラの動きを補償するように構成されていることにある。画像処理装置の当該実施例は、カメラの動きの効果を補償し得るべき背景の動き推定を実行するように構成されている。当該実施例５００は、第二の入力画像の一時記憶のための更なるメモリデバイスを有する。局在化ユニット４０８は、対象の目的物(ターゲット)、すなわち入力画像のシーケンス内で追跡されるべき特定の物体の位置情報を備える。それに加えて、局在化ユニット４０８は、前で目的物体が動いている背景のための広域（グローバル）動きベクトル（global motion vector）を計算するように構成される。広域動きベクトルは、一対の入力画像に基づいて計算される複数の動きベクトルを結合させることによって計算される。動きベクトルは、好ましくは局在化ユニット４０８に組み込まれる標準動き推定器（standard motion estimator）によって計算される。動き推定器は例えば、文献ビデオ技術のための回路及びシステムに関する会報、第３巻、第５号、１９９３年１０月、368乃至379頁（IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pages 368-379）におけるG. de Haan氏他による“３Ｄ再帰的探索ブロックマッチング機能を備える真運動（正確な動き）推定（True-Motion Estimation with 3-D Recursive Search Block Matching）” において特定されている。
【００３６】
代わりに、文献電子レター、第２５巻、２９乃至３０頁（Electronic Letters Vol 25, p.29-30）におけるJ.S.Kim氏及びR-H. Park氏による“特徴に基づくブロックマッチングアルゴリズムインテグラルプロジェクション（feature-based block matching algorithm integral projections）”において記載のように、全画像のための動きベクトルは、平均画像行（ｘ成分）及び平均画像列（ｙ成分）に基づいて計算される。
【００３７】
画素プロセッサ４０４及び局在化ユニット４０８は、一つのプロセッサを使用して実現されてもよい。通常、これらの機能は、ソフトウエアプログラムの制御下で実行される。実行の間、通常、ソフトウエアプログラムは、ＲＡＭのようなメモリにロードされると共にそこから実行される。プログラムは、ＲＯＭ、ハードディスク、又は磁気及び／もしくは光記憶のような背景メモリからロードされてもよく、又はインタネットのようなネットワークを介してロードされてもよい。選択的に、特定用途向け集積回路（application specific integrated circuit）は、開示されている機能をもたらす。
【００３８】
図５に示されている画像処理装置の実施例の作用は、フットボールにおけるフリーキックを表す入力画像のシーケンスを含む例を使用して説明されるであろう。いくつかの入力画像、すなわちビデオフレームが、図３に示されている。カメラは、キックの位置からゴールまで非定数の速度でパンしている。出力画像において取り込まれるべきダイナミックイベントは、ゴールに飛んでいくボールであり、それ故にボールは入力画像のシーケンスにおいて追跡されなければならない。
【００３９】
ボールの動きは、ｘ方向（これは入力画像において左右軸に沿う方向）における一定速度を使用することによって近似される。このことは、キックと、ゴールネットのような物体との最初の後続するコンタクトとの間のボールの動きの合理的な仮定である。当該例において、ｙ方向（入力画像における上下軸）における動きは無視される。フットボールのｘ位置の場合、
【数１】
2007536671.tif 000003
がもたらされ得る。ここで、n0は参照入力画像数であり、スクリーン（画面）上のボールのｘ位置（xscreen）、すなわち画素行列及びカメラの相対位置（xcamera）は知られているとみなされる。ボールの実際の位置は、スクリーン位置とカメラ位置との和によって与えられる。
【００４０】
例えば、ボールが“実”世界において右に移動する場合、カメラは、ボールが移動する速さよりも速く右にパンすることは可能になり、この場合、ボールはスクリーン上で左に移動するように見られ得る。この効果を補償するため、カメラ位置は等式（１）に含まれる。
【００４１】
入力画像n1における第二のスクリーン位置が知られている場合、真の速度ｖは
【数２】
2007536671.tif 000004
を使用して計算され得る。
【００４２】
当該実施例の場合、イベントの開始及び終了ポイントをもたらすと共に速度ｖを決定することを可能にするため、ユーザは、入力画像niに対して二つ又はそれより多くの時空位置xscreen(ni)をもたらすことが必要とされる。
【００４３】
広域動き推定アルゴリズムを使用して、各々の入力画像nに対して相対カメラ位置xcamera(n)はビデオシーケンスから自動的に計算される。そのとき、ｖはイベントから計算され、各々の入力画像nに対して、対象の（関心）水平領域、すなわちスクリーン座標において入力画像の複数の列を有するスライスは、等式（１）から計算され得るxscreen(n)の周りに集中させられる。
【数３】
2007536671.tif 000005
【００４４】
対象のこれらの領域、すなわちスライスは、出力画像の適切な部分に複製される。
【００４５】
ここに記載の実施例はある程度制限されるが、このことはより高度な処理技術で克服され得る。最も注意されることに、このことは、開始及び終了入力画像をもたらすと共に、“関心のある物体”の開始及び終了位置をもたらすユーザ対話に依存している。これは、（物体に基づく）動き推定を使用して、更にイベントに対する開始及び終了フレームに対する知能的自動選択（intelligent automatic choice）で、（“ボールに後続（follow the ball）”）とより一般化され得る。
【００４６】
本発明による方法、コンピュータプログラム、及び画像処理装置はいくつかの用途に対して有用になり得る。例えば、
−  フィルムスタジオ、放送スタジオにおける業務用画像処理、又は新聞及び他の種類の印刷媒体を作成するための業務用画像処理と、
−  テレビジョン、セットトップボックス、及びパーソナルビデオ記録デバイスのような消費者電子デバイス（コンシューマエレクトロニクスデバイス）と、
−  教育目的と、
−  例えばホームビデオを作成するための消費者ビデオ処理ソフトウエアと
である。
【００４７】
上記の実施例は本発明を限定するものではなく、当業者が、特許請求の範囲から逸脱することなく、代わりの実施例を設計し得ることは注意されるべきである。請求項において、括弧の間に位置される何れの参照符号も請求項を限定するものではない。語‘有する’は、請求項に記載されていない構成要素又はステップの存在を排除するものではない。構成要素に先行する語”a”又は”an”は、複数の構成要素の存在を排除するものではない。本発明は、いくつかの独自の構成要素を有するハードウエアによって、及び好適にプログラムされたコンピュータによって実現され得る。いくつかの手段を列挙するユニットクレームにおいて、これらの手段のいくつかは、ハードウエアの一つ且つ同じアイテム（項目）によって実施され得る。第一、第二、及び第三などの語の用法はいかなる順序も示すものではない。これらの語は名称と解釈されるべきである。
【図面の簡単な説明】
【００４８】
【図１】入力画像の捕捉の間、カメラが固定されている本発明による方法を概略的に示す。
【図２Ａ】入力画像の捕捉の間、カメラがパンしている本発明による方法を概略的に示す。
【図２Ｂ】本発明による複数の出力画像を概略的に示す。
【図３】フットボール試合の複数の入力画像及びこれらの入力画像に基づいて本発明により生成される出力画像を概略的に示す。
【図４】本発明による画像処理装置の第一の実施例を概略的に示す。
【図５】本発明による画像処理装置の第二の実施例を概略的に示す。
【図１】
2007536671.tif 000006
【図２Ａ】
2007536671.tif 000007
【図２Ｂ】
2007536671.tif 000008
【図３】
2007536671.tif 000009
【図４】
2007536671.tif 000010
【図５】
2007536671.tif 000011
【国際調査報告】
2007536671.tif 000012
2007536671.tif 000013
2007536671.tif 000014