(57)【要約】      （修正有）【課題】ビデオシーケンスＦx,y,t内のオブジェクトを境界設定するための方法を提供する。【解決手段】オブジェクト内に配置される画素のサブセットを、ビデオシーケンスの各々のフレーム内で取得する。空間時間的スライシングは、そのビデオシーケンスＦx,y,t上で、そのサブセットを中心に実行され、第１のスライスの水平連結により取得される第１画像Ｆy,tと、第２のスライスの垂直連結により取得される第２画像Ｆx,tを生じさせ、そのサブセットの軌道が表示される。輪郭検出方法を使用して、第１境界および第２境界は、その第１画像Ｆy,tおよび第２画像Ｆx,tの両方上で、そのサブセットのその軌道の周囲で取得される。そのオブジェクトの周囲の境界設定フォームは、そのフレームｔに対する、その第１境界および第２境界内に配置される４つの点の座標から取得され、矩形、その矩形の内接楕円、または、その４つの点を含む楕円である。【選択図】図３
2016224930.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンス内のオブジェクトを、画素のサブセット（４０３、６０３）から前記ビデオシーケンスのフレームごとに境界設定するための方法であって、
−  第１の空間時間的スライシングから第１の画像（５１）を取得するステップ（Ｓ３１１）であって、前記第１の画像（５１）は、前記ビデオシーケンスに沿ったフレームに対する画素の前記サブセット（４０３、６０３）を含む第１のスライス（４０１、６０１）の水平連結である、前記第１の画像を取得するステップ（Ｓ３１１）と、
−  第２の空間時間的スライシングから第２の画像（５２）を取得するステップ（Ｓ３１２）であって、前記第２の画像（５２）は、前記ビデオシーケンスに沿ったフレームに対する画素の前記サブセット（４０３、６０３）を含む第２のスライス（４０２、６０２）の垂直連結であり、前記第２のスライス（４０２、６０２）の各々は、同じフレームの前記第１のスライス（４０１、６０１）に直交する、前記第２の画像を取得するステップ（Ｓ３１２）と、
−  前記第１の画像（５１）および第２の画像（５２）の各々上で、第１の境界（５１１、５２１）および第２の境界（５１２、５２２）を、画素の前記サブセット（４０３、６０３）の周囲で、フレームごとに、輪郭検出方法により取得するステップ（Ｓ３３１、Ｓ３３２）と、
−  前記ビデオシーケンスの各々のフレームにおいて、前記オブジェクトの周囲の４つの点から、境界設定フォーム（５４０、５４１、５４２、６０５）を取得するステップ（Ｓ３４）であって、フレームｔ内の前記４つの点の座標は、そのフレームｔに対する前記第１の画像（５１）および第２の画像（５２）の、前記第１の境界（５１１、５２１）および第２の境界（５１２、５２２）内に配置される前記点の前記座標から取得される、前記境界設定フォームを取得するステップ（Ｓ３４）と、
をさらに含む、前記方法。
【請求項２】
前記第１のスライス（４０１）の各々は垂直スライスである、請求項１に記載の方法。
【請求項３】
前記第１のスライス（６０１）の各々は、垂直線（６０）に対して傾斜させられる、請求項１に記載の方法。
【請求項４】
前記垂直線（６０）に対する前記第１のスライス（６０１）の前記傾斜（α）は、前記ビデオシーケンスの連続するフレームのセットに対して一定である、請求項３に記載の方法。
【請求項５】
前記垂直線（６０）に対する前記第１のスライス（６０１）の前記傾斜（α）は、ユーザにより、前記ビデオシーケンスの連続するフレームのセットに対して調整可能である、請求項３または４に記載の方法。
【請求項６】
前記垂直線（６０）に対する前記第１のスライス（６０１）の前記傾斜（α）は、ユーザにより、前記ビデオシーケンスの複数のフレーム上で調整可能であり、前記傾斜（α）は、前記ビデオシーケンスの前記フレームの残りの部分に対して補間処理される、請求項３乃至５のいずれかに記載の方法。
【請求項７】
画素の前記サブセット（４０３、６０３）は、
−  単一の画素、
−  ４つの画素のブロック、
−  ８つの画素のブロック、
−  １６個の画素のブロック
の中で選択される、請求項１乃至６のいずれかに記載の方法。
【請求項８】
前記境界設定フォーム（５４０、５４１、５４２、６０５）は、
−  前記４つの点から描画される矩形、
−  前記４つの点を含む楕円、
−  前記４つの点から描画される矩形の内接する楕円
の中で選択される、請求項１乃至７のいずれかに記載の方法。
【請求項９】
画素の前記サブセット（４０３、６０３）の第１の軌道（５１０）および第２の軌道（５２０）を、フレームごとに、前記第１の画像（５１）および前記第２の画像（５２）の各々上で取得するステップ（Ｓ３２１、Ｓ３２２）と、前記第１の画像（５１）内の画素の前記サブセット（４０３、６０３）の前記軌道（５１０）を調整するステップ（Ｓ３２１０）と、前記第２の画像（５２）の更新されたバージョンを取得するステップ（Ｓ３１２）と、前記第２の軌道（５２０）の更新されたバージョンを取得するステップ（Ｓ３２２）と、前記第１の境界（５２１）および第２の境界（５２２）の更新されたバージョンを、前記第２の画像（５２）の前記更新されたバージョン上の前記第２の軌道（５２０）の前記更新されたバージョンの周囲で取得するステップ（Ｓ３３２）と、前記境界設定フォーム（５４０、５４１、５４２、６０５）の更新されたバージョンを前記オブジェクトの周囲で取得するステップ（Ｓ３４）と、をさらに含む、請求項１乃至８のいずれかに記載の方法。
【請求項１０】
前記第１の軌道（５１０）はユーザにより調整される、請求項９に記載の方法。
【請求項１１】
ビデオシーケンス内のオブジェクトを、画素のサブセット（４０３、６０３）からフレームごとに境界設定するためのデバイス（１）であって、プロセッサー（２１０）を含むデバイス（１）において、前記プロセッサー（２１０）は、
−  第１の空間時間的スライシングから第１の画像（５１）を取得することであって、前記第１の画像（５１）は、前記ビデオシーケンスに沿ったフレームに対する画素の前記サブセット（４０３、６０３）を含む第１のスライス（４０１、６０１）の水平連結である、前記第１の画像を取得することと、
−  第２の空間時間的スライシングから第２の画像（５２）を取得することであって、前記第２の画像（５２）は、前記ビデオシーケンスに沿ったフレームに対する画素の前記サブセット（４０３、６０３）を含む第２のスライス（４０２、６０２）の垂直連結であり、前記第２のスライス（４０２、６０２）の各々は、同じフレームの前記第１のスライス（４０１、６０１）に直交する、前記第２の画像を取得することと、
−  前記第１の画像（５１）および第２の画像（５２）の各々上で、第１の境界（５１１、５２１）および第２の境界（５１２、５２２）を、画素の前記サブセット（４０３、６０３）の周囲で、フレームごとに、輪郭検出方法により取得することと、
−  前記ビデオシーケンスの各々のフレームにおいて、前記オブジェクトの周囲の４つの点から、境界設定フォーム（５４０、５４１、５４２、６０５）を取得することであって、フレームｔ内の前記４つの点の座標は、そのフレームｔに対する前記第１の画像（５１）および第２の画像（５２）の、前記第１の境界（５１１、５２１）および第２の境界（５１２、５２２）内に配置される前記点の前記座標から取得される、前記境界設定フォームを取得することと、
を行うように構成される、前記デバイス（１）。
【請求項１２】
前記第１のスライス（６０１）の各々は、垂直線（６０）に対して傾斜させられる、請求項１１に記載のデバイス（１）。
【請求項１３】
前記垂直線（６０）に対する前記第１のスライス（６０１）の前記傾斜（α）は、ユーザにより、前記ビデオシーケンスの連続するフレームのセットに対して調整可能である、請求項１２に記載のデバイス（１）。
【請求項１４】
ビデオシーケンス内のオブジェクトを、画素のサブセット（４０３、６０３）からフレームごとに境界設定するためのコンピュータプログラムであって、それは、
−  第１の空間時間的スライシングから第１の画像（５１）を取得することであって、前記第１の画像（５１）は、前記ビデオシーケンスに沿ったフレームに対する画素の前記サブセット（４０３、６０３）を含む第１のスライス（４０１、６０１）の水平連結である、前記第１の画像を取得することと、
−  第２の空間時間的スライシングから第２の画像（５２）を取得することであって、前記第２の画像（５２）は、前記ビデオシーケンスに沿ったフレームに対する画素の前記サブセット（４０３、６０３）を含む第２のスライス（４０２、６０２）の垂直連結であり、前記第２のスライス（４０２、６０２）の各々は、同じフレームの前記第１のスライス（４０１、６０１）に直交する、前記第２の画像を取得することと、
−  前記第１の画像（５１）および第２の画像（５２）の各々上で、第１の境界（５１１、５２１）および第２の境界（５１２、５２２）を、画素の前記サブセット（４０３、６０３）の周囲で、フレームごとに、輪郭検出方法により取得することと、
−  前記ビデオシーケンスの各々のフレームにおいて、前記オブジェクトの周囲の４つの点から、境界設定フォーム（５４０、５４１、５４２、６０５）を取得することであって、フレームｔ内の前記４つの点の座標は、そのフレームｔに対する前記第１の画像（５１）および第２の画像（５２）の、前記第１の境界（５１１、５２１）および第２の境界（５１２、５２２）内に配置される前記点の前記座標から取得される、前記境界設定フォームを取得することと、
を行うためにプロセッサーにより実行可能なプログラムコード命令を含む、前記コンピュータプログラム。
【請求項１５】
ビデオシーケンス内のオブジェクトを、画素のサブセット（４０３、６０３）からフレームごとに境界設定するためのコンピュータプログラム製品であって、非一時的コンピュータ可読媒体上に記憶され、それは、
−  第１の空間時間的スライシングから第１の画像（５１）を取得することであって、前記第１の画像（５１）は、前記ビデオシーケンスに沿ったフレームに対する画素の前記サブセット（４０３、６０３）を含む第１のスライス（４０１、６０１）の水平連結である、前記第１の画像を取得することと、
−  第２の空間時間的スライシングから第２の画像（５２）を取得することであって、前記第２の画像（５２）は、前記ビデオシーケンスに沿ったフレームに対する画素の前記サブセット（４０３、６０３）を含む第２のスライス（４０２、６０２）の垂直連結であり、前記第２のスライス（４０２、６０２）の各々は、同じフレームの前記第１のスライス（４０１、６０１）に直交する、前記第２の画像を取得することと、
−  前記第１の画像（５１）および第２の画像（５２）の各々上で、第１の境界（５１１、５２１）および第２の境界（５１２、５２２）を、画素の前記サブセット（４０３、６０３）の周囲で、フレームごとに、輪郭検出方法により取得することと、
−  前記ビデオシーケンスの各々のフレームにおいて、前記オブジェクトの周囲の４つの点から、境界設定フォーム（５４０、５４１、５４２、６０５）を取得することであって、フレームｔ内の前記４つの点の座標は、そのフレームｔに対する前記第１の画像（５１）および第２の画像（５２）の、前記第１の境界（５１１、５２１）および第２の境界（５１２、５２２）内に配置される前記点の前記座標から取得される、前記境界設定フォームを取得することと、
を行うためにプロセッサーにより実行可能なプログラムコード命令を含む、前記コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
以下では、ビデオシーケンス内の移動するオブジェクトを境界設定するための方法が開示される。そのような方法は、ビデオ内の領域またはオブジェクトを、それらの位置を指示するために、および／または、様々な目的で使用され得るテキストもしくはコンテキストの情報を加えるために、注釈付けするために有用である。これは、例えば、非難する目的で、ビデオのエリアを隠すために、または、そのエリアにぼかしを加えるために使用され得る。別の例では、ビデオ内の領域を注釈付けすることは、オブジェクトまたは顔検出アルゴリズムなどのコンピュータビジョンアルゴリズムを評価するために使用され得るグランドトルース（ｇｒｏｕｎｄ  ｔｒｕｔｈ）を構築することを可能とする。対応するデバイスもまた開示される。
【背景技術】
【０００２】
本セクションは、下記で説明および／または請求される、本発明の様々な特徴に関係付けられ得る、技術の様々な特徴に読者を紹介することが意図される。本論考は、読者に背景情報を提供して、本発明の様々な特徴のより良好な理解を促進することにおいて役立つことが確信される。したがって、これらの記述は、この見方で、および、従来技術の自白としてではなく読み取られるべきであるということが理解されるべきである。
【０００３】
ビデオの注釈付けは、例えば、非難する目的で移動するオブジェクトを隠す、またはぼかすことなどの、様々なアプリケーションに対して非常に有用である。それは、コンピュータビジョンでのオブジェクト検出アルゴリズムを評価するためにグランドトルースを生成することを、アルゴリズムをトレーニングするため、および、その性能を試験するための両方で行うためにもまた非常に有用である。直線的な早い手法は、ビデオシーケンスの各々のフレームを手作業で注釈付けすることであるが、それは非常に退屈で時間を消費し得る。注釈付けするオブジェクトが相当に静的であるとき、または、その形状がビデオシーケンスに沿って変動しないとき、数個のフレームが注釈付けされ、オブジェクトの軌道が追従される、いくつかの従来技術方法が知られている。例えば米国特許第７９１１４８２号明細書「Ｍｅｔｈｏｄ  ａｎｄ  ｓｙｓｔｅｍ  ｆｏｒ  ｅｆｆｉｃｉｅｎｔ  ａｎｎｏｔａｔｉｏｎ  ｏｆ  ｏｂｊｅｃｔ  ｔｒａｊｅｃｔｏｒｉｅｓ  ｉｎ  ｉｍａｇｅ  ｓｅｑｕｅｎｃｅｓ」は、ビデオ内のオブジェクトを注釈付けするための方法を開示する。方法は、初期に実行されるビデオシーケンスの初期の時間的サブサンプリングを含む。サブサンプリングされた画像シーケンスは、２つの直交する方向で、インタラクティブスクリーンの全体で表示される。ユーザは、注釈付けするオブジェクトを、２つの直交するサブサンプリングされたシーケンスの全体で、インタラクティブスクリーンによって追従することにより、２つの直交する軌道を描画する。方法は、ビデオシーケンスの残りに対してさらに補間処理される新軌道を取得することをさらに説明する。しかしながらそのような方法は、変動するサイズおよび形状のオブジェクトをビデオシーケンスに沿って精確に注釈付けすることに失敗する。実際のところ従来技術の方法は、移動するオブジェクトの軌道を捕捉することは可能であるが、それらは、ビデオの各々のフレームの注釈付けされる領域のサイズを、注釈付けするオブジェクトの変動するサイズ／形状に適応させることは可能でない。したがって、何らかの新しい効率的な方法が、あらゆるフレームを手作業で編集および注釈付けすることを要することなく、ビデオシーケンス内の変動するサイズおよび／または形状の移動するオブジェクトを自動的に注釈付けするために必要とされる。
【発明の概要】
【０００４】
ビデオシーケンスＦx,y,t内のオブジェクトを境界設定するための方法が開示される。その方法は、注釈付けするそのオブジェクト内に配置される画素のサブセットを、そのビデオシーケンスの各々のフレーム内で取得するステップを含む。空間時間的スライシングは、そのビデオシーケンスＦx,y,t上で、画素のその取得されるサブセットを中心に行われて実行され、そのことは、画素のその取得されるサブセットを含む、第１のスライスの水平連結により取得される第１の画像Ｆy,tを結果として生じさせ、第２のスライスの垂直連結により取得される第２の画像Ｆx,tを結果として生じさせる。画素のその取得されるサブセットの軌道は、その第１の画像Ｆy,tおよび第２の画像Ｆx,tの両方上で表示される。輪郭検出方法を使用することにより、第１の境界および第２の境界は、その第１の画像Ｆy,tおよび第２の画像Ｆx,tの両方上で、画素のその取得されるサブセットのその軌道の周囲で取得される。注釈付けするそのオブジェクトの周囲の境界設定フォーム（ｂｏｕｎｄｉｎｇ  ｆｏｒｍ）は、４つの点から、そのビデオシーケンスの各々のフレーム内で取得され、フレームｔのその４つの点の座標は、そのフレームｔに対するその第１の画像および第２の画像の、その第１の境界および第２の境界内に配置されるその点のその座標から取得される。有利にはその境界設定フォームは、その４つの点から描画される矩形、または、その矩形に内接する楕円、または、その４つの点を含む楕円である。
【０００５】
好ましい実施形態によると、境界設定フォームは、実例として、ユーザを、その第１の画像または第２の画像Ｆy,tまたはＦx,tの一方を編集することに、その取得されるサブセットのその対応する（第１または第２の）軌道を調整することに関わらせることにより、および、他方の画像Ｆy,tまたはＦx,tを自動的に再生成することにより、インタラクティブに微調整される。より精確にはその方法は、その第１の画像内の画素のそのサブセットのその軌道を調整するステップと、その第２の画像の更新されたバージョンを取得するステップと、その第２の軌道の更新されたバージョンを取得するステップと、その第１の境界および第２の境界の更新されたバージョンを、その第２の画像のその更新されたバージョン上のその第２の軌道のその更新されたバージョンの周囲で取得するステップと、その境界設定フォームの更新されたバージョンをそのオブジェクトの周囲で取得するステップと、をさらに含む。
【０００６】
特に有利な変形形態によると、その第１のスライスは垂直スライスであり、その第２のスライスは水平スライスである。
【０００７】
特に有利な変形形態によると、その第１のスライスの各々は、垂直線に対して傾斜させられ、その傾斜は、そのビデオシーケンスの連続するフレームのセットに対して一定である。
【０００８】
特に有利な変形形態によると、その垂直線に対するその第１のスライスのその傾斜は、ユーザにより、そのビデオシーケンスの複数のフレーム上で調整可能であり、その傾斜は、そのビデオシーケンスのそのフレームの残りの部分に対してさらに補間処理される。
【０００９】
特に有利な変形形態によると、画素のそのサブセットは、
−  単一の画素、
−  ４つの画素のブロック、
−  ８つの画素のブロック、
−  １６個の画素のブロック
の中で選択される。
【００１０】
第２の態様では、ビデオシーケンス内のオブジェクトを、画素のサブセットからフレームごとに境界設定するためのデバイスもまた開示される。そのデバイスは、
−  第１の画像を第１の空間時間的スライシングから取得することであって、その第１の画像は、そのビデオシーケンスに沿ったフレームに対する画素のそのサブセットを含む第１のスライスの水平連結である、取得することと、
−  第２の画像を第２の空間時間的スライシングから取得することであって、その第２の画像は、そのビデオシーケンスに沿ったフレームに対する画素のそのサブセットを含む第２のスライスの垂直連結であり、その第２のスライスの各々は、同じフレームのその第１のスライスに直交する、取得することと、
−  画素のそのサブセットの第１の軌道および第２の軌道を、フレームごとに、その第１の画像および第２の画像の各々上で取得することと、
−  その第１の画像および第２の画像の各々上で、第１の境界および第２の境界を、その第１の軌道および第２の軌道の周囲で、輪郭検出方法により取得することと、
−  境界設定フォームを、４つの点から、そのオブジェクトの周囲で、そのビデオシーケンスの各々のフレーム内で取得することであって、フレームｔ内のその４つの点の座標は、そのフレームｔに対するその第１の画像および第２の画像の、その第１の境界および第２の境界内に配置されるその点のその座標から取得される、取得することと、
を行うように構成されるプロセッサーを含む。
【００１１】
第３の態様では、ビデオシーケンス内のオブジェクトを、画素のサブセットからフレームごとに境界設定するためのコンピュータプログラムもまた開示される。そのコンピュータプログラムは、
−  第１の画像を第１の空間時間的スライシングから取得することであって、その第１の画像は、そのビデオシーケンスに沿ったフレームに対する画素のそのサブセットを含む第１のスライスの水平連結である、取得することと、
−  第２の画像を第２の空間時間的スライシングから取得することであって、その第２の画像は、そのビデオシーケンスに沿ったフレームに対する画素のそのサブセットを含む第２のスライスの垂直連結であり、その第２のスライスの各々は、同じフレームのその第１のスライスに直交する、取得することと、
−  画素のそのサブセットの第１の軌道および第２の軌道を、フレームごとに、その第１の画像および第２の画像の各々上で取得することと、
−  その第１の画像および第２の画像の各々上で、第１の境界および第２の境界を、その第１の軌道および第２の軌道の周囲で、輪郭検出方法により取得することと、
−  境界設定フォームを、４つの点から、そのオブジェクトの周囲で、そのビデオシーケンスの各々のフレーム内で取得することであって、フレームｔ内のその４つの点の座標は、そのフレームｔに対するその第１の画像および第２の画像の、その第１の境界および第２の境界内に配置されるその点のその座標から取得される、取得することと、
を行うためにプロセッサーにより実行可能なプログラムコード命令を含む。
【００１２】
第４の態様では、ビデオシーケンス内のオブジェクトを、画素のサブセットからフレームごとに境界設定するためのコンピュータプログラム製品もまた開示される。そのコンピュータプログラム製品は、非一時的コンピュータ可読媒体上に記憶され、
−  第１の空間時間的スライシングから第１の画像を取得することであって、その第１の画像は、そのビデオシーケンスに沿ったフレームに対する画素のそのサブセットを含む第１のスライスの水平連結である、第１の画像を取得することと、
−  第２の空間時間的スライシングから第２の画像を取得することであって、その第２の画像は、そのビデオシーケンスに沿ったフレームに対する画素のそのサブセットを含む第２のスライスの垂直連結であり、その第２のスライスの各々は、同じフレームのその第１のスライスに直交する、第２の画像を取得することと、
−  画素のそのサブセットの第１の軌道および第２の軌道を、フレームごとに、その第１の画像および第２の画像の各々上で取得することと、
−  その第１の画像および第２の画像の各々上で、第１の境界および第２の境界を、その第１の軌道および第２の軌道の周囲で、輪郭検出方法により取得することと、
−  そのビデオシーケンスの各々のフレームにおいて、そのオブジェクトの周囲の４つの点から、境界設定フォームを取得することであって、フレームｔ内のその４つの点の座標は、そのフレームｔに対するその第１の画像および第２の画像の、その第１の境界および第２の境界内に配置されるその点のその座標から取得される、取得することと、
を行うためにプロセッサーにより実行可能なプログラムコード命令を含む。
【００１３】
明示的に説明されないが、本実施形態は、任意の組み合わせまたはサブコンビネーションで用いられ得る。例えば本発明は、その説明される画素のサブセットおよび境界設定フォーム変形形態に制限されず、画素のサブセットまたは境界設定フォーム変形形態の任意の配置構成が使用され得る。さらに本発明は、その説明される空間時間的スライシング特性に制限されず、そのビデオシーケンスの全体にわたってそのスライス傾斜を調整するための他の手段が使用され得る。
【００１４】
さらに、その境界設定方法に対して説明される任意の特性または実施形態は、その開示される方法を処理することが意図されるデバイスと、および、プログラム命令を記憶するコンピュータ可読ストレージ媒体と適合する。
【図面の簡単な説明】
【００１５】
図面では、本発明の実施形態が例示される。
【図１】本発明の特定の、および非制限的な実施形態による、ビデオ内のオブジェクトを境界設定するための処理デバイスを示す図である。
【図２】本発明の特定の、および非制限的な実施形態による、図１の処理デバイスの例示的なアーキテクチャを表す図である。
【図３】好ましい実施形態による、ビデオ内のオブジェクトを境界設定するための方法を例解する図である。
【図４】好ましい実施形態による、ビデオシーケンスの例、画素のサブセット選択の例、および、スライシングの例を例解する図である。
【図５】好ましい実施形態による、空間時間的スライシング結果の例、および、境界設定フォームの例を例解する図である。
【図６】代替的実施形態による、スライシングおよび境界設定の例を例解する図である。
【発明を実施するための形態】
【００１６】
図１は、ビデオシーケンスＦx,y,t内のオブジェクトを境界設定するための処理デバイス１を図示し、画素のサブセットが、ビデオシーケンスＦx,y,tのフレームごとに取得される。本発明の特定の、および非制限的な実施形態によると、処理デバイス１は、ビデオシーケンスを受信するように構成される入力１０を含む。ビデオシーケンスは、ソースから取得される。本発明の異なる実施形態によると、ソースは、
−  ローカルメモリ、例えば、ビデオメモリ、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＤカード、
−  ストレージインターフェイス、例えば、マスストレージ、ＲＯＭ、光学ディスク、または、磁気支持体とのインターフェイス、
−  通信インターフェイス、例えば、ワイヤラインインターフェイス（例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス）、または、ワイヤレスインターフェイス（ＩＥＥＥ８０２．１１インターフェイス、Ｂｌｕｅｔｏｏｔｈ（登録商標）インターフェイス、セルラーモバイルフォンインターフェイスなど）
を含むセットに属する。
【００１７】
入力１０は、選択データをユーザからフレームに関して受信するようにさらに構成される。選択データは、ユーザにより、選択手段（表されない）によって、注釈付けするオブジェクト内に含まれる画素のサブセットを取得するために生成される。本発明の異なる実施形態によると、選択手段は、
−  スタイラスまたは指などの外部物体と協働して、ビデオシーケンスの少なくとも１つのフレーム内の画素のサブセットを選択することが可能な、タッチスクリーンセンサ、およびその付随するコントローラベースのファームウェア、
−  ビデオシーケンスの少なくとも１つのフレーム内の画素のサブセットを選択するように、他の入力信号（キーボードの何らかのキーなど）と組み合わされ、何らかのビデオディスプレイ能力に関連付けられるマウス
を含むセットに属する。
【００１８】
より一般的には、ビデオシーケンスの少なくとも１つのフレーム内の、注釈付けするオブジェクト内に含まれる画素のサブセットを取得することを可能とする任意の選択手段が、本発明と適合する。
【００１９】
入力１０は、ビデオシーケンスの少なくとも１つのフレーム内の、注釈付けするオブジェクト内に含まれる、場所を表す選択データからの画素のサブセットを取得するように構成される処理モジュール１１に連結され、ビデオシーケンスの少なくとも１つのフレームは、ビデオシーケンスの時間的サブサンプリングから結果として生じる。有利には処理モジュール１１は、ビデオシーケンスの各々のフレーム内の画素のサブセットを、サブサンプリングされたフレームの画素の選択されるサブセットをフレームの残りの部分に対して補間処理することにより取得するように構成される。変形形態では処理モジュール１１は、デバイス１に対して外部にあり、そのような事例では、ビデオシーケンスのフレームごとの画素のサブセットは、デバイス１により、入力１０によって受信される。処理モジュール１１は、第１の画像および第２の画像を取得するように構成される、２つの空間時間的スライシングモジュール１２１および１２２に連結される。第１の画像は、空間時間的スライシングモジュール１２１から、第１のスライスの水平連結により取得され、第１のスライスは、処理モジュール１１によりビデオシーケンスのフレームに対して取得される画素のサブセットを含む。第２の画像は、空間時間的スライシングモジュール１２２から、第２のスライスの垂直連結により取得され、第２のスライスは、処理モジュール１１によりビデオシーケンスのフレームに対して取得される画素のサブセットを含み、第２のスライスの各々は、ビデオシーケンスに沿った同じフレームの第１のスライスに直交する。
【００２０】
空間時間的スライシングモジュール１２１および１２２の各々は、第１の軌道および第２の軌道を、それぞれ第１の画像および第２の画像上でそれぞれ取得するように構成される、処理モジュール１３１および１３２にそれぞれ連結される。より精確には処理モジュール１３１は、第１の画像の水平に連結されるスライスに沿った画素のサブセットにより占有されるエリアを連結して、第１の軌道を結果として生じさせるように構成される。同様に処理モジュール１３２は、第２の画像の垂直に連結されるスライスに沿った画素のサブセットにより占有されるエリアを連結して、第２の軌道を結果として生じさせるように構成される。個別の実施形態によると、結果として生じる第１の軌道および第２の軌道は、第１の画像および第２の画像と共に、処理モジュール１３１および１３２により、ディスプレイ手段などの出力１８に送信される。画素のサブセットの第１の軌道、および、画素のサブセットの第２の軌道は、それぞれ、第１の画像および第２の画像とともにディスプレイ手段上で表示される。ユーザは、画素のサブセットの第１の軌道または第２の軌道のいずれかの位置を、対応する（第１または第２のいずれかの）画像上で調整することを決定する場合があり、他方の画像（第２のもの、または第１のもののいずれか）が再計算される。例えばユーザは、第１の軌道を第１の画像上で調整することを決める。これは、選択するデータを、選択する手段によって処理モジュール１３１に送信することにより行われ、その処理モジュール１３１は、修正された画像をディスプレイ手段に、出力１８によって送信する。処理モジュール１３１は、画素のサブセットの調整された軌道を空間時間的スライシングモジュール１２２に送信し、その空間時間的スライシングモジュール１２２は、第２の画像を、ビデオシーケンスに沿ったフレームに対する更新された軌道から取得される画素のサブセットを含む第２のスライスの垂直連結から再計算するように構成される。再計算された第２の画像は、第２の画像上の画素のサブセットの更新された軌道を取得するために処理モジュール１３２に送信される。結果として生じる再計算された第２の画像、および更新された第２の軌道は、出力１８に送信され、ユーザに表示される。ユーザが第２の画像上の画素のサブセットの第２の軌道の位置を調整し、第１の画像が再計算される、同様のプロセスもまた適用可能である。
【００２１】
処理モジュール１３１および１３２の各々はさらには、それぞれ第１の境界および第２の境界を、その対応する第１の軌道または第２の軌道の周囲で取得するように構成される、処理モジュール１４１、１４２にそれぞれ連結される。いいかえると、処理モジュール１３１は、第１の画像、および、画素のサブセットの第１の軌道に対応するデータを、第１の境界および第２の境界を第１の軌道の周囲で取得するように構成される処理モジュール１４１に送信する。同様に処理モジュール１３２は、第２の画像、および、画素のサブセットの第２の軌道に対応するデータを、第１の境界および第２の境界を第２の軌道の周囲で取得するように構成される処理モジュール１４２に送信する。
【００２２】
処理モジュール１４１および１４２の各々は、第１の画像および第２の画像、ならびに、その第１の境界および第２の境界に対応するデータを、注釈付けするオブジェクトの周囲で境界設定フォームを取得するように構成される処理モジュール１６にそれぞれ送信する。境界設定フォームは、ビデオシーケンスの各々のフレーム内で、４つの点からフレームごとに取得され、フレームｔ内の４つの点の座標（Ｘ，Ｙ）は、そのフレームｔに対する第１の画像および第２の画像の、第１の境界および第２の境界内に位置する点の座標から取得される。個別の実施形態によると、処理モジュール１６は、結果として生じる注釈付けされたビデオシーケンスをビデオ出力１８に送信し、ビデオシーケンスのオブジェクトは、取得された境界設定フォームにより各々のフレームで境界設定される。
【００２３】
個別の実施形態によると、ディスプレイ手段はデバイスに対して外部にあり、出力１８は、表示するデータを外部ディスプレイ手段に送信する。本発明の異なる実施形態によると、内部または外部のディスプレイ手段は、
−  パーソナルコンピュータスクリーン、
−  ＴＶスクリーン、
−  タブレット、
−  スマートフォンスクリーン
を含むセットに属する。
より一般的には、境界設定フォームを、ビデオシーケンス内の注釈付けするオブジェクトの周囲で表示することを可能とする任意のディスプレイ手段が、本発明と適合する。
【００２４】
変形形態では、境界設定フォーム、および／または、その対応する４つの点座標は、メモリ内に記憶される。例としてそのような情報は、リモートメモリ内に、または、ローカルメモリ、例えば、ビデオメモリもしくはＲＡＭ、ハードディスク内に記憶される。
【００２５】
図２は、本発明の特定の、および非制限的な実施形態による、処理デバイス１の例示的なアーキテクチャを表し、処理デバイス１は、ビデオシーケンス内のオブジェクトを境界設定するように構成される。メモリは、注釈付けするオブジェクトを含むビデオシーケンスのフレームを記憶する。処理デバイス１は、例えば、ＣＰＵ、ＧＰＵ、および／またはＤＳＰ（ディジタル信号プロセッサーの英語頭字語）である、１または複数のプロセッサー２１０を、内部メモリ２２０（例えば、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ）とともに含む。処理デバイス１は、出力情報を表示するために送信するように、ならびに／または、ユーザがコマンドおよび／もしくはデータを入れることを可能とするように（例えば、キーボード、マウス、タッチパッド、ウェブカメラ、ディスプレイ）、ならびに／または、データをネットワークインターフェイスによって送信／受信するように適応させられる、１つまたはいくつかの入力／出力インターフェイス２３０と、処理デバイス１に対して外部にあり得るパワーソース２４０とを含む。
【００２６】
本発明の例示的および非制限的な実施形態によると、処理デバイス１は、メモリ２２０内に記憶されるコンピュータプログラムをさらに含む。コンピュータプログラムは命令を含み、それらの命令は、処理デバイス１により、特にプロセッサー２１０により実行されるときに、処理デバイス１に、図３に対する参照によって説明される処理方法を実行する。変形形態によると、コンピュータプログラムは、処理デバイス１に対して外部に、非一時的ディジタルデータ支持体上に、例えば、すべては当技術において知られている、ＳＤカード、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、読み取り専用および／もしくはＤＶＤ駆動装置、ならびに／または、ＤＶＤ読み取り／書き込み駆動装置などの外部ストレージ媒体上に記憶される。したがって処理デバイス１は、コンピュータプログラムを読み取るためのインターフェイスを含む。さらに処理デバイス１は、１または複数のユニバーサルシリアルバス（ＵＳＢ）タイプストレージデバイス（例えば、「ｍｅｍｏｒｙ  ｓｔｉｃｋ（商標）」）に、対応するＵＳＢポート（示されない）によってアクセスし得る。例示的および非制限的な実施形態によると、処理デバイス１は、
−  モバイルデバイス、
−  通信デバイス、
−  ゲームデバイス、
−  タブレット（または、タブレットコンピュータ）、
−  スマートフォン、
−  ラップトップ、
−  静止画カメラ、
−  ビデオカメラ、
−  静止画サーバー、
−  ビデオサーバー（例えば、ブロードキャストサーバー、ビデオオンデマンドサーバー、またはウェブサーバー）
を含むセットに属するデバイスである。
【００２７】
図３は、好ましい実施形態による、ビデオシーケンス内のオブジェクトを境界設定するための方法を例解する。何らの制限、または一般性の損失も伴わずに、ただし明瞭性を増大するために、および図４で説明されるように、ビデオシーケンス４０は、３つの次元（ｘ，ｙ，ｔ）のボリュームと考えられ、ただし（ｘ，ｙ）はフレーム４００の空間的次元を表し、ｔは時間的次元を表す。ボリュームはさらには、各々が次元（ｘ，ｔ）または（ｙ，ｔ）を伴う空間時間的２Ｄカットのセットにより形成されるとみなされ得るものであり、空間時間的２Ｄカットは、時間の値を増大することによる、あらゆるフレームの同じ選択される位置内の、直線的スライスとも呼ばれる１Ｄスライスの連結である。
【００２８】
画素のサブセットの３Ｄ軌道を取得する
ステップＳ３１で、画素のサブセット４０３が、ビデオシーケンス４０の少なくとも１つのフレーム４００内で、選択手段から受信される選択データによって取得される。ビデオシーケンス４０の少なくとも１つのフレーム４００を視覚化するユーザは、例えば近似的に、注釈付けするオブジェクトの中心に配置される、視覚化される少なくとも１つのフレームの小部分を、例えばマウス、またはタッチスクリーン上のスタイラスなどの選択手段を使用することにより選択する。第１の変形形態では、少なくとも１つのフレーム４００上の画素の取得されるサブセット４０３は、フレーム４００の選択されるエリア内に含まれる画素に対応する。第２の変形形態では、少なくとも１つのフレーム４００上の画素の取得されるサブセット４０３は、フレーム４００の選択されるエリアの中心に配置される単一の画素に対応する。別の変形形態では、少なくとも１つのフレーム４００上の画素の取得されるサブセット４０３は、フレーム４００の選択されるエリアの中心に配置される４つの画素のブロックに対応する。さらに別の変形形態では、少なくとも１つのフレーム４００上の画素の取得されるサブセット４０３は、フレーム４００の選択されるエリアの中心に配置される８つまたは１６個の画素のブロックに対応する。より一般的には、選択されるエリアから取得される任意のブロックサイズおよびフォームが、開示される方法と適合する。
【００２９】
第１の実施形態では、画素のサブセット４０３は、単一のフレーム４００内で、ユーザから受信される選択データから、および、上記で説明された任意の変形形態によって選択される。初期３Ｄ軌道４２と呼ばれる、フレームごとの画素のサブセット４０３は、１つのフレーム４００に対して取得される画素のサブセット４０３の位置を、シーケンス４０のフレームすべてに対して、ビデオシーケンス４０に対応するボリューム内の時間的軸に沿った直線的ラインにしたがう補間処理することにより取得される。これは、単一の手作業の注釈付けが、ユーザに対して、初期３Ｄ軌道を取得するために要され、その軌道が次いで、後で説明されるインタラクティブプロセスにしたがって微調整され得るという意味で有利である。
【００３０】
第２の実施形態では、ビデオシーケンスは複数のフレーム４００に時間的にサブサンプリングされ、それらのフレーム４００がユーザにより手作業で注釈付けされ、そのことが、上記で説明された任意の変形形態による、ユーザから受信される選択データから取得される画素の複数のサブセット４０３を結果として生じさせる。フレーム４００ごとの画素のサブセット４０３は、画素のサブセットのサブサンプリングされた位置をフレームの残り部分に対して補間処理することにより取得され、そのことが、図４で例解されるような初期３Ｄ軌道４１を結果として生じさせる。
【００３１】
空間時間的接続
ステップＳ３１１で、図５に示されるような第１の画像５１が、第１の空間時間的スライシングから取得され、少なくとも１つの第１のスライス４０１が、ビデオシーケンス４０の各々のフレーム内で取得され、フレームの第１のスライス４０１は、垂直線に対する傾斜、幅、および、そのフレームに対する画素の取得されるサブセット４０３により特徴付けられる直線的スライスである。有利には第１のスライス４０１幅は、正確に、画素の取得されるサブセット４０３の幅である。しかし、取得されるサブセット４０３幅より小さい、または大きい別の幅もまた、開示される方法と適合する。有利には、第１のスライス４０１の各々は、図４で図示されるように垂直スライスである。ビデオシーケンスのすべてのフレームに対する取得される第１のスライス４０１は、図５に示されるように、時間ｔの値を増大することにより左から右に水平に連結され、そのことが、第１の画像５１を結果として生じさせる。時間ｔの値を増大することによる右から左への第１のスライス４０１の水平連結は、方法の可能な変形形態である。第１の画像５１の横軸は、ビデオシーケンス４０の時間ｔであり、ｔの与えられる値に対して、第１の画像５１の縦軸は、その時間ｔでのビデオシーケンスの第１のスライス４０１に対応する。いいかえると、第１の画像５１は、画素のサブセットの取得される３Ｄ軌道４１、４２、および、第１のスライス４０１の傾斜にしたがう、ビデオシーケンスボリューム４０内のカットと見られ得る。後でさらに詳述されるように、開示される空間時間的スライシングは、カットが線状でない（垂直線に対する第１のスライスの傾斜は、時間を経て変化する）という意味で有利である。
【００３２】
同様にステップＳ３１２で、図５に示されるような第２の画像５２が、第２の空間時間的スライシングから取得され、少なくとも１つの第２のスライス４０２が、ビデオシーケンスの各々のフレーム内で取得され、フレームの第２のスライス４０２は、同じフレームの第１のスライス４０１に直交し、幅、および、そのフレームに対する画素の取得されるサブセット４０３によりさらに特徴付けられる直線的スライスである。第１のスライス４０１が垂直である事例では、対応する第２のスライス４０２は、図４に示されるように水平である。第１のスライス４０１と第２のスライス４０２との間の直交性は、後で説明されるように、画素のサブセットの３Ｄ軌道をインタラクティブプロセスで微調整する間の本質的な特性である。有利には第２のスライス４０２幅は、正確に、画素の取得されるサブセット４０３の幅である。しかし、取得されるサブセット４０３幅より小さい、または大きい別の幅もまた、開示される方法と適合する。ビデオシーケンス４０のすべてのフレーム４００に対する取得される第２のスライス４０２は、図５に示されるように、時間ｔの値を増大することにより上から下に垂直に連結され、そのことが、第２の画像５２を結果として生じさせる。時間ｔの値を増大することによる下から上への第２のスライスの垂直連結は、方法の可能な変形形態である。第２の画像５２の縦軸は、ビデオシーケンスの時間ｔであり、ｔの与えられる値に対して、第２の画像５２の横軸は、その時間ｔでのビデオシーケンスの第２のスライス４０２に対応する。いいかえると、第２の画像５２は、画素のサブセットの取得される３Ｄ軌道４１、４２、および、第２のスライス４０２の傾斜にしたがう、ビデオシーケンスボリューム４０内のカットと見られ得る。
【００３３】
より正式には、
ビデオシーケンスＦx,y,tを画素の立方体と考え、画素は、立方体内のその座標（ｘ，ｙ，ｔ）により定義される。
Ｔt＝（ｘ，ｙ）を、時間ｔでの画素のサブセットの中心に配置される画素の座標（ｘ，ｙ）を与える、３Ｄ軌道関数とする。
Ｔt，ｘ＝ｘを、時間での画素のサブセットの中心に配置される画素の座標（ｘ）を与える、投影される３Ｄ軌道関数とする。
第１の画像５１は、画素のセットであるマトリックスＩとみなされ得る。
【００３４】
【数１】
2016224930.tif 000003
【００３５】
第２の画像５２は、画素のセットであるマトリックスＪとみなされ得る。
【００３６】
【数２】
2016224930.tif 000004
【００３７】
ただしａおよびｂは、それぞれマトリックスＩおよびＪに対する、水平軸および垂直軸に対応するインデックスである。
【００３８】
境界を取得する
ステップＳ３２１で、図５に示されるような第１の軌道５１０が、第１の画像５１上で、画素のサブセットにより占有されるエリアを、第１の画像５１の水平に連結される第１のスライス４０１に沿って連結することにより取得される。第１の軌道５１０は、それは第１の画像５１に属するので、以前に説明された３Ｄ軌道４１、４２とは異なる。第１の画像５１上の画素のサブセットの軌道である第１の軌道５１０は、注釈付けするオブジェクトの中心を表す。画素のサブセットが、注釈付けするオブジェクトの内側で、ビデオシーケンスに沿って良好に位置決めされるならば、および、注釈付けするオブジェクトがビデオシーケンスに沿って明確に可視であるとき、帯状部分（ｂａｎｄ）５１５が第１の画像５１上で明確に可視である。
【００３９】
ステップＳ３３１で、第１の境界５１１および第２の境界５１２が、第１の画像５１上の第１の軌道５１０の周囲で取得され、そのことが、第１の帯状部分５１５を結果として生じさせる。第１の変形形態では、第１の境界５１１および第２の境界５１２は、第１の軌道５１０の周囲で、ユーザにより選択手段によって位置決めされる。第２の変形形態では、第１の境界５１１および第２の境界５１２は、第１の軌道５１０の周囲で、自動的な輪郭検出技法により位置決めされる。有利には、手作業の技法および自動的な技法の両方の組み合わせが、第１の境界５１１および第２の境界５１２を、第１の画像５１上の第１の軌道５１０の周囲で取得するために使用される。
【００４０】
同様にステップＳ３２２で、図５に示されるような第２の軌道５２０が、第２の画像５２上で、画素のサブセットにより占有されるエリアを、第２の画像５２の垂直に連結される第２のスライス４０２に沿って連結することにより取得される。第２の軌道５２０は、それは第２の画像５２に属するので、以前に説明された３Ｄ軌道４１、４２とは異なる。第２の画像５２上の画素のサブセットの軌道である第２の軌道５２０は、注釈付けするオブジェクトの中心を表す。ここでもやはり、画素のサブセットが、注釈付けするオブジェクトの内側で、ビデオシーケンスに沿って良好に位置決めされるならば、および、注釈付けするオブジェクトがビデオシーケンスに沿って明確に可視であるとき、帯状部分５２５が第２の画像５２上で明確に可視である。
【００４１】
ステップＳ３３２で、第１の境界５２１および第２の境界５２２が、第２の画像５２上の第２の軌道５２０の周囲で取得され、それにより、結果として第２の帯状部分５２５を生じる。第１の変形形態では、第１の境界５２１および第２の境界５２２は、第２の軌道５２０の周囲で、ユーザにより選択手段によって位置決めされる。第２の変形形態では、第１の境界５２１および第２の境界５２２は、第２の軌道５２０の周囲で、自動的な輪郭検出技法により位置決めされる。有利には、手作業の技法および自動的な技法の両方の組み合わせが、第１の境界５２１および第２の境界５２２を、第２の画像５２上の第２の軌道５２０の周囲で取得するために使用される。
【００４２】
インタラクティブ微調整
ステップＳ３２１のサブステップＳ３２１０で、第１の軌道５１０は、第１の画像５１上で、例えばユーザにより選択手段によって調整される。第１の画像５１上の第１の軌道５１０の位置の修正は、ビデオシーケンスボリューム４０内のそのフレームの第１のスライスの方向に沿って画素の対応するサブセット４０３の位置の修正をもたらす。いいかえると、第１の画像５１上の第１の軌道５１０を調整することで、ビデオシーケンス４０内の画素のサブセット４０３の３Ｄ軌道を調整することが可能となる。第１のスライスと第２のスライスとの間の直交性のために、第１の画像５１上の第１の軌道５１０を調整しても、第２の画像５２上の第２の軌道５２０の変化を生じない。しかしながら、画素のサブセットの３Ｄ軌道は第１のスライスの方向に沿って展開したので、第２の画像５２は有利には再生成され得る。第２の画像５２の更新されたバージョンが、ステップＳ３１２での第２の空間時間的スライシングから、画素のサブセット４０３の更新された３Ｄ軌道をベースに取得される。第１の画像５１上の第１の軌道５１０を調整することＳ３２１０、第２の画像５２を、画素の更新されたサブセット上の第２の空間時間的スライシングから取得することＳ３１２、第２の画像５２上の第２の軌道５２０を取得することＳ３２２のシーケンスが、第１の画像５１および第２の画像５２上の、第１の軌道５１０および第２の軌道５２０を微調整するように、いくつかの回数、反復され得るものであり、それによって、結果としてインタラクティブプロセスが生ずる。
【００４３】
対称的に、ステップＳ３２２のサブステップＳ３２２０で、第２の軌道５２０は、第２の画像５２上で、例えばユーザにより選択手段によって調整される。第２の画像５２上の第２の軌道５２０の位置の修正もまた、ビデオシーケンス４０内のそのフレームの第２のスライスの方向に沿って、画素上の対応するサブセットの位置の修正をもたらす。これは、結果として画素上のサブセットの３Ｄ軌道の更新をもたらす。第１の画像５１の更新されたバージョンが、ステップＳ３１１での第１の空間時間的スライシングから、画素のサブセットの更新された３Ｄ軌道をベースに取得される。第２の画像５２上の第２の軌道５２０を調整することＳ３２２０、第１の画像５１を、画素のサブセットの更新された３Ｄ軌道上の第１の空間時間的スライシングから取得することＳ３１１、第１の画像５１上の第１の軌道５１０を取得することＳ３２１のシーケンスが、第１の画像５１および第２の画像５２上の、第１の軌道５１０および第２の軌道５２０を微調整するように、いくつかの回数、反復され得る。
【００４４】
有利には、第１の画像５１および第２の画像５２上の、第１の帯状部分５１５および第２の帯状部分５２５をインタラクティブ微調整することは、代替的に、一方での、第１の軌道５１０を調整することＳ３２１０、および第２の画像を取得することＳ３１２、ならびに、他方での、第２の軌道５２０を調整することＳ３２２０、および第１の画像を取得することＳ３１１により行われる。
【００４５】
有利には、第１の画像５１および第２の画像５２上の、第１の帯状部分および第２の帯状部分をインタラクティブ微調整することは、第１の境界５１１および第２の境界５１２を第１の軌道５１０の周囲で取得することＳ３３１、ならびに、第１の境界５２１および第２の境界５２２を第２の軌道５２０の周囲で取得することＳ３３２もまた含む。
【００４６】
いうまでもなく当業者は、第１の画像（５１）および第２の画像（５２）の各々上で、第１の境界（５１１、５２１）および第２の境界（５１２、５２２）を、画素のサブセット（４０３、６０３）の周囲で、フレームごとに、輪郭検出方法により、第１の軌道および第２の軌道を取得すること、ならびにインタラクティブ微調整をスキップして、取得することもまた可能であろう。
【００４７】
境界設定フォームを取得する
ステップＳ３４で、ビデオシーケンスの各々のフレーム５３０、５３１、５３２において、注釈付けするオブジェクトの周囲の４つの点から、境界設定フォーム５４０、５４１が５４２が取得され、フレームｔ内の４つの点の座標（Ｘ，Ｙ）は、そのフレームｔに対する第１の画像５１および第２の画像５２の、第１の境界５１１、５２１および第２の境界５１２、５２２内に位置する点の座標から取得される。いいかえると、第１の画像５１から、ｔの任意の値で、２つの値Ｙ1およびＹ2が、ｔのその値に対する第１の境界５１１および第２の境界５１２内に位置する点から取得される。同様に、第２の画像５２から、およびｔの同じ値に対して、２つの値Ｘ1およびＸ2が、第１の境界５２１および第２の境界５２２内に位置する点から取得される。フレームｔに対して、４つの点の座標は、（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）、（Ｘ1，Ｙ2）、および（Ｘ2，Ｙ1）である。第１の変形形態では境界設定フォームは、４つの点から描画される矩形である。第２の変形形態では境界設定フォームは、４つの点から描画される矩形の内接する楕円である。さらに別の変形形態では境界設定フォームは、４つの点を含む楕円である。オブジェクトを楕円によって境界設定することは、オブジェクトが例えば人間の顔であるときに有利である。
【００４８】
図６は、代替的実施形態による、ビデオシーケンス内のオブジェクトを境界設定するための方法を例示し、第１のスライス６０１は、垂直線６０に対して角度αによって傾斜させられる。この実施形態では、第１のスライス６０１に直交する第２のスライス６０２もまた、水平線に対して同じ角度αによって傾斜させられる。この実施形態では、第１のスライス６０１は必ずしも垂直ではなく、第２のスライス６０２は必ずしも水平ではない。この特性（第１のスライスの垂直性、および、第２のスライスの水平性）にもかかわらず、上記で説明された変形形態すべてが適用可能である。ステップＳ３４で以前に説明されたように４つの点から描画される、フレーム６００内の注釈付けするオブジェクトの周囲の境界設定フォーム６０５は、垂直線に対して、同じフレーム６００に対する第１のスライス６０１と同じ角度によって傾斜させられる。
【００４９】
より精確には、注釈付けするオブジェクトの周囲の境界設定フォーム６０５は、第１の画像および第２の画像から抽出される４つの点から取得され、ビデオシーケンスのフレームｔ内の４つの点の座標（Ｘ，Ｙ）は、そのフレームｔに対する第１の画像および第２の画像の、第１の境界および第２の境界内に位置する点の座標から取得される。
【００５０】
Ｙ’1およびＹ’2を、ｔの任意の値に対する、第１の画像の第１の境界および第２の境界内に位置する点から取得される２つの値とする。
【００５１】
同様にＸ’1およびＸ’2を、ｔの任意の値に対する、第２の画像の第１の境界および第２の境界内に位置する点から取得される２つの値とする。フレームｔに対して、４つの点は、以下の座標（Ｘ’1，Ｙ’1）、（Ｘ’2，Ｙ’2）、（Ｘ’1，Ｙ’2）、および（Ｘ’2，Ｙ’1）を伴って取得される。
【００５２】
フレームに対する画素のサブセット６０３を中心に行われ、そのフレームｔに対する第１のスライス６０１の傾斜に対応する逆角度による回転が、次いで、これらの４つの点（Ｘ’1，Ｙ’1）、（Ｘ’2，Ｙ’2）、（Ｘ’1，Ｙ’2）、および（Ｘ’2，Ｙ’1）の各々に供給され、そのことが、４つの点（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）、（Ｘ3，Ｙ3）、および（Ｘ4，Ｙ4）を結果として生じさせ、それらの結果として生じた４つの点から、境界設定フォームが取得される。
【００５３】
注意：αが、垂直線に対する第１のスライスの傾斜に対応する角度であると考えると、逆角度は−αである。
より正式には、
Ｒt＝（ｃx，ｃy，α）を、角度（α）の、座標（ｃx，ｃy）の点を中心に行われる回転とする。
−Ｒt＝（ｃx，ｃy，−α）を、逆角度に対応する角度（−α）の、座標（ｃx，ｃy）の点を中心に行われる回転とする。
Ｒｏｔａｔｅ（Ｉ，ｒ）を、回転ｒを画像Ｉに供給する関数とする。
【００５４】
ビデオシーケンスＦx,y,tを画素の立方体と考え、画素は、立方体内のその座標（ｘ，ｙ，ｔ）により定義されるとすると、Ｆ’x’,y’,tは、各々のフレームに対する画素のサブセット６０３を中心に行われる回転から取得される、画素の回転させられた立方体と定義される。
【００５５】
Ｒｏｔａｔｅ（Ｆx,y,t，Ｒt）＝Ｆ’x’,y’,t、ただしＲt＝（ｃx，ｃy，α）であり、（ｃx，ｃy）は、画素のサブセット６０３の中心の座標であり、αは、垂直線に対する第１のスライス６０１の傾斜である。
【００５６】
第１のスライス６０１が垂直線６０に対して角度αによって傾斜させられる事例では、第１および第２の空間時間的スライシングが、画素の回転させられた立方体Ｆ’x’,y’,tで供給される。第１の画像および第２の画像の、第１の境界および第２の境界内に位置する点から取得される座標は、回転させられた立方体Ｆ’x’,y’,tに対応する。
【００５７】
座標（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）、（Ｘ3，Ｙ3）、および（Ｘ4，Ｙ4）の４つの点であって、それらの点から境界設定フォームが描画される、４つの点は、回転−Ｒt＝（ｃx，ｃy，−α）を、第１の画像および第２の画像の、第１の境界および第２の境界内に位置する点に供給することにより取得される。
【００５８】
（Ｘk，Ｙk）＝Ｒｏｔａｔｅ（（Ｘ’i，Ｙ’j），−Ｒt）、ただしｋ∈｛１，２，３，４｝、ｉ∈｛１，２｝、ｊ∈｛１，２｝
第１の変形形態では、垂直線に対する第１のスライス６０１の傾斜αは、ビデオシーケンスに対して一定である。有利には傾斜αは、ビデオシーケンスに沿って変動し、ビデオシーケンスに沿って注釈付けするオブジェクトの傾斜および幾何学図形的配列の変動に依存する。有利には傾斜αは、ビデオシーケンスの時間に沿って、ユーザにより、インタラクティブ軌道微調整プロセスの部分として調整される。例えば傾斜αは、ユーザにより、複数のサブサンプリングされたフレーム上で調整され、傾斜αは、フレームの残りの部分に対して補間処理される。
【図１】
2016224930.tif 000005
【図２】
2016224930.tif 000006
【図３】
2016224930.tif 000007
【図４】
2016224930.tif 000008
【図５】
2016224930.tif 000009
【図６】
2016224930.tif 000010
【外国語明細書】
2016224930000001.pdf