(57)【特許請求の範囲】
【請求項１】
動画像を一組の静的画像キーフレームにリアルタイムで変換する方法であって、
前記動画像を複数のフレームにデジタル化するステップと、
前記複数のフレームの各フレームから、複数の高勾配位置を識別して前記複数の高勾配位置に対応する複数の主要点を前記フレームの重要部分として選択するステップと、
前記複数の主要点に関する変化をアフィン変換として表してリアルタイムで計算し、第１のしきい値によってしきい値処理された前記アフィン変換のアフィンパラメータの連続フレーム間における差異が、所定数の連続フレームにわたって第２のしきい値よりも小さい場合に、前記所定数の連続フレームが前記重要部分の大域動作を含む複数のフレームであると識別するステップと、
前記大域動作を含む複数のフレームの中から、前記一組の静的画像キーフレームを選択するステップと、
から成る前記方法。
【請求項２】
動画像を表す一連の静止画像からなる複数のキーフレームを前記動画像から選択する方法であって、
動画像を表す一つのデータストリームを、処理デバイスで受信するステップと、
前記データストリームを、各々動画像に対応する複数のピクセルから成る一連のフレームにセグメント化するステップと、
前記一連のフレームの各々から、複数の高勾配位置を前記複数の高勾配位置に対応する複数のピクセルを画像の重要な特徴を表わす一組の主要ピクセルとして選択するステップと、
前記一組の主要ピクセルに関する変化をアフィン変換により表し、第１のしきい値によってしきい値処理された前記アフィン変換のアフィンパラメータの連続フレーム間における差異が、選択された時間にわたって第２のしきい値よりも小さい場合に、前記選択された時間内のフレームが前記重要な特徴の大域動作を含む一連のフレームであると識別するステップと、
前記大域動作を含む一連のフレームの中から、前記複数のキーフレームを選択するステップと、
を含む前記方法。
【請求項３】
動画像を複数の静的キーフレームのコンパイルから成る表現に変換するシステムであって、
前記動画像を、各々複数のピクセルから成る複数の静的フレームにセグメント化する手段と、
前記複数の静的フレームの各々から、複数の高勾配位置を前記複数の高勾配位置に対応する複数のピクセルを複数の重要な主要ピクセルとして選択する手段と、
前記複数の重要な主要ピクセルに関する変化をアフィン変換により表し、第１のしきい値によってしきい値処理された前記アフィン変換のアフィンパラメータの連続フレーム間における差異が、選択された時間にわたって第２のしきい値よりも小さい場合に、前記選択された時間内のフレームが大域動作を含む一組の連続静的フレームであると決定する手段と、
前記大域動作を含む一連の静的フレームの中から、前記複数の静的キーフレームのコンパイルを選択する手段と、
を備える前記システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データ(dynamic video data)を、動画像内の選択された重要な情報から成る、静的フレームの表現コンパイルに変換することに関する。このようなコンパイルは、消費するメモリスペースがより少なくて済むだけでなく、好都合なインデックスを動画像に付与することもできる。より具体的には、本発明は、データ処理を動画像のかなり主要な点のみに限定することにより、大域動作を含む動画像の一部分から、静的キーフレームをリアルタイムで選択することに関する。
【０００２】
【従来の技術】
動画像データを動的なものから静的なものへ変換するには、動的媒体（動画像、アニメーション）を、動的媒体内の選択された重要な情報を含む多数の静止画像で表す。例えば、単なるパン又はズームシーケンス（即ち、大域動作）から成る動画像の場合には、パン又はズームの開始、中間、及び終了フレームを含むのが効率的な表現である。会社により製造されるいろいろな製品のショートクリップから成る商用の動画像の場合には、動画像に示されている各製品から１つの画像を含むのが効率的な表現である。オペレータが動画像全体を見れば、これらの画像を見出すことは容易であるが、このような編集精製は非常に時間がかかる。従って、動的媒体情報をリアルタイムで分析して、動的媒体を表しているキーフレームを適切に選択することのできる方法及びシステムが、かなり必要とされている。
【０００３】
従って本発明は、動画像内の大域動作を含むシーンから、複数のキーフレームをリアルタイムで選択する、改良された方法に特に適用することができる。
【０００４】
キーフレームを選択する際の重要な問題は、フレーム間における大域動作の概算である。時間領域大域動作概算方法は、特徴対応方法、オプティカルフロー方法、及び直接的方法の３つのグループに分類することができる。特徴対応方法は、２つ又は３つのフレーム間において多数の点を対応させる必要があり、これは、アプリオリとして知られる又は概算される。動作パラメータは、これらの対応から計算される。その他の２つの方法は、異なる特徴点を決定する必要はないが、その代わりに、２つの対応するビュー間においてオプティカルフロー制約(optical flow constraint)を用いる。オプティカルフロー方法は、２つのステップ、つまり、オプティカルフローフィールドを概算するステップと、この概算されたオプティカルフローを用いて動作パラメータを再生するステップとから成る。一方、直接的方法は、時空画像輝度勾配のみを用いて動作を概算する。これらのカテゴリーのそれぞれに関して、多くの動作概算器が文献に提案されてきたが、これらの方法は全て何らかの欠点があり、専らオフラインで計算するように設計されている。
【０００５】
動画像における全てのピクセル位置に対する特定の値を識別するのに必要とされるデータの量により、上述した従来技術の方法はいずれも、リアルタイムで動作を概算し、動画像を表す静的キーフレームを判断することができない。従って、リアルタイムで計算を行って、遅れるオフライン計算という欠点を回避できるように、必要な計算を減らすことのできる方法もまた必要とされている。
【０００６】
【発明が解決しようとする課題】
本発明は、上述した問題及びその他の問題を克服する新しい改良された方法及びシステムを意図し、動画像における大域動作を識別する新しい方法を提供する。この方法において、動画像の大域動作部分を表す複数の静的キーフレームを生成するための基本的な計算は、リアルタイムで行うことができる。
【０００７】
【課題を解決するための手段】
本発明によれば、動画像を、動画像の大域動作部分を表す１組の静的キーフレームに、リアルタイムで変換する方法が提供される。この方法は、動画像を時間的に連続する静止画像フレームにデジタル化するステップと、主要点から成るフレームの重要部分を指定するステップと、主要点に関する変化をリアルタイムで計算して、主要点の動作軌道をトラッキングすることにより、大域動作を識別するステップと、大域動作を含むフレームから、動画像を表す１組の静的フレームから成るキーフレームを選択するステップとから成る。この重要部分は、高勾配領域を含む動画像内の画像フレームの部分又はエッジから成るのが好ましい。計算処理が行われる主要点は、フレームを分散格子で仕切り、各格子セルから主要点を１つだけ選択することにより、さらに減らされる。従って、最小化された主要点、即ち減らされた数のピクセルにおける差を計算するだけで、計算時間を最小化し、動画像を１組の静的フレームにリアルタイムで迅速に処理することができる。
【０００８】
本発明のもう１つ別の態様によれば、予め決定された時間における動作軌道に沿った主要点の一定輝度を概算して、大域動作を識別する。この概算は、動作軌道を、選択されたオプティカルフロー式からの複数のアフィンパラメータで表すことにより、行われる。このアフィンパラメータにおける変化は、予め選択されたしきい値と比較されて、大域動作が生じているかいないかが判断される。大域動作が検出される場合には、大域動作時間中に、予め決定された割合でフレームを捕らえることにより、キーフレームが選択される。
【０００９】
本発明の請求項２の態様は、動画像から複数のキーフレームを選択する方法であって、前記複数のキーフレームは動画像を表す一連の複数の静止画像から成っており、この方法は、動画像を表す１つのデータストリームを、処理デバイスで受信するステップと、前記データストリームを、各々動画像に対応する複数のピクセルから成る一連の複数のフレームにセグメント化するステップと、画像の重要な特徴と関連するフレームから、一定のピクセルを選択するステップと、前記一定のピクセルを選択された時間にわたり比較して、前記重要な特徴の大域動作を識別するステップと、前記大域動作中に、前記連続フレームからキーフレームを選択するステップとを含む。
【００１０】
本発明の請求項３の態様は、動画像を静的キーフレームのコンパイルから成る表現に変換するシステムであって、動画像を、各々複数のピクセルから成る複数の静的フレームにセグメント化する手段と、高勾配位置におけるピクセルを識別する複数の手段を含み、前記複数のピクセルから重要な主要ピクセルを選択する手段と、前記重要な主要ピクセルから、１組の連続静的フレームが大域動作をイメージングしているかどうかを決定する手段と、前記大域動作をイメージングしている静的フレームから、静的キーフレームを選択する手段とを備える。
【００１１】
本発明を用いることにより得られる１つの利点は、動画像データのストリームを受信すると同時に主要点のピクセル値を比較して、キーフレームをリアルタイムで選択することができる点である。
【００１２】
本発明により得られるもう１つ別の利点は、主要点を予め選択された重要な領域、即ち、例えば黒から白への変わり目のような、高勾配を有しエッジ部分を示す領域に限定することにより、フレームにおいて得られる全てのピクセルから主要点を選択して、リアルタイムでの計算を容易にする方法である。フレームを格子に分割し、各格子セルに対して主要点を１つだけ選択することにより、主要点はさらに限定される。誤差を概算する従来の処理オペレータで、主要点の値における変化を判断することにより、フレーム全体にわたって分散された主要点を観察し、大域動作を識別することができる。
【００１３】
【発明の実施の形態】
本発明は、一定の部分及びステップ、並びにアレンジした部分及びステップにおいて、物理的形式を取り得る。本発明の好適な実施の形態及び別の実施の形態について、本明細書中に詳細に説明し、本発明の一部を形成する添付した図面に示す。
【００１４】
ここで図面を参照するが、これらの図面は、本発明の好適な実施の形態を例示する目的で示されているにすぎず、本発明を限定する目的で示されているのではない。本発明は、動画像のより小さな静的表現、即ちドキュメントコンパイルを生成する方法及びシステムに関する。このようなコンパイルは、メモリスペースの消費、並びに処理における容易性及び利便性に関して大きな利点を有し、また、好都合なインデックスをオリジナル動画像データベースに付与することもできる。本発明は特に、動画像の特定の部分、即ち、一般的に動画像の、例えばパノラマ式走査、ズーミング、又はトラッキングというような大域動作を含む部分に対する、静的フレームコンパイルを生成することに関する。上述したように、時間と共に変化して大域動作を含むピクセルデータは、全てのピクセルデータにおける変化を測定しようとすることが実現不可能になるほど大量のデータから成り得る。しかし、本発明は、動画像全体から比較的少数の選択されたキーフレームのみを選んで、必要とされる完全な大域動作の適切な表現をもたらす場合には、大域動作全体の十分な静的表現を得るのに、このような変化の全てが必要なわけではない、ということを利用する。
【００１５】
本発明の記述において注目するべきもう１つ別の重要な態様は、選択されたキーフレームを識別する処理がリアルタイムで、即ち、オリジナル動画像データ自体を得るのと本質的に同時に行われるということである。これにより、従来技術のシステムで行われていたような、大量の動画像データを得て格納し、このデータをオフラインで長時間にわたって処理して、キーフレームを識別するという、周知である従来の問題が克服される。
【００１６】
特に図１を参照すると、本発明の処理方法のフローチャートが示されている。この方法では第１のステップにおいて、動画像を受信し（１０）、この動画像を時間的に連続する複数の静止画像フレームにデジタル化することにより、動画像ストリームを異なるセグメントに分割する（１２）。各画像フレームは、シーン内容に対応する関連したピクセル信号レベルを有する、多数のデジタル化された画素又はピクセルの２次元座標アレイから成る。
【００１７】
図２は、２人の人間を示しているデジタル化された静止画像フレームをごく簡単に表しているが、本発明の原理を伝えるにはこれで十分である。図２の複数のフレームは、それぞれがデジタル値を有する複数のピクセルから成る。従来技術の動作概算システムのほとんどは、画像全体のピクセルデータを処理する必要があった。本発明は、画像全体の一部分のみに対するピクセルデータの差を識別することにより、計算時間を短縮するという、重要な特徴を有する。選択された差は大域動作を概算するのに用いられ、この計算はリアルタイムで行うことができる。注目するべき重要な点は、画像の観察しやすい部分だけでなく、動作を示す可能性が高い部分も見る、また、選択された時間にわたりトラッキングされた場合には、最終的に大域動作部分を見る、ということだけである。従って、図１の方法における第３のステップでは、適切な主要点を選択する（１４）。
【００１８】
図２に関して、画像に示されている人々のエッジラインは高勾配領域から成る。この領域は従来のさまざまなオペレータで容易に識別され、主要点から成るピクセル位置が識別される。例えば、画像エッジライン上の“ｘ”で示された領域３０、３２、及び３４は全て、図２の画像フレームにおいて識別することのできる主要点全体の一部から成る。これらの主要点は、時間の経過に伴う大域動作を示すように意図されている、ということに注目することは重要である。動作概算オペレータは典型的には画像微分係数に依存するので、高勾配点位置が、このタイプの計算処理の好都合な要素として選択される。高勾配点は従来のさまざまなオペレータ（図示せず）で得られ、得られた高勾配点はしきい値処理されて、最終的に選択される主要点の候補となり得る全ての点が得られる。以下のプロセッサは本質的には、画像全体にわたって格子３６を配置し、主要点の候補数を各格子セル即ちます目につき１つに減らすことによって、主要点の総数を減らすだけでなく、画像全体にわたって主要点を確実に均一に分散させる。格子は画像全体にわたって配置されるので、３０、３２、及び３４で識別される主要点は、選択される主要点の候補となり得る。格子の各セルは、８×８ピクセルから成るのが好ましいが、その他の格子サイズも可能である。
【００１９】
本発明の全体的な目的は、画像の大域動作を識別することであり、像におけるただ１つの対象が移動するかどうかを識別することではない、ということに留意されたい。格子３６の各セルに対して主要点を１つに制限することにより、主要点を十分に分散させ、主要点が極度に集まってしまうのを避けることができる。
【００２０】
主要点が選択された後、本発明の方法（図１）における次の重要なステップでは、その主要点の構成が時間と共に異なっているかどうかを検出する（１６）。より具体的には、動作概算オペレータが、時間の経過に伴う主要点の動作、即ちオプティカルフローをトラッキングするのに用いられる。実際の計算において、大域動作は、動作軌道をトラッキングする動作概算オペレータによって、軌道に沿った一定輝度を概算することにより、特に、オプティカルフロー式の概算における誤差を定義することにより、検出される。下の式は、従来の動作概算オペレータから成り、ここで、大域動作は６つのアフィンパラメータで表すことができるとする。また、ピクセルデータの輝度は動作軌道に沿って一定であるとすると、オプティカルフロー式における誤差は、次のように定義される。
【数１】
0004666706.tif 000002
ここで、Ｉx、Ｉyはそれぞれｘ及びｙ方向における画像微分係数を示し、Ｉtは時間ｔ及びｔ＋１におけるフレーム間のピクセル差を示し、Ｓは演算において用いられる画像ピクセルの組を示し、ａ0及びａ3はそれぞれ水平方向及び垂直方向における移動を表し、ａ1、ａ2、ａ4、ａ5は回転及び均一なスケーリングを表す。アフィンパラメータａ0〜ａ5は基本的には変換の係数である。この変換は本質的には、オプティカルフローの最小誤差を計算する機能を果たし、これにより、選択された主要点のピクセルデータの移動、スケーリング、及び回転をトラッキングすることができる。言い換えれば、２つの画像間における時間の経過に伴うピクセルデータの差に関して、アフィンパラメータのゼロ点誤差値を計算することにより、その画像間における動作をトラッキングすることができ、しきい値処理が行われている場合には、大域動作が生じているかどうかを決定するのに、しきい値を用いることができる。上記組“Ｓ”は、演算処理できる可能性のある全てのピクセル位置の主要点を表している、ということに留意されたい。というのは、画像データフレーム全体は、アフィンパラメータに関して式（１）を式（２）に最小化することが実現不可能なほど大量のデータから成っており、また、１組の主要点“Ｂ”が、下の式（２）を解くのに必要とされる計算を実質的に減らして、アフィンパラメータに対する概算をもたらすからである。
【数２】
0004666706.tif 000003
【００２１】
式（１）を式（２）に最小化すると、高勾配領域から成る選択された主要点のみが計算の対象となる効果があり、演算及び計算全体から、画像の主要点でない点全てが取り除かれる。このように計算対象を減らすことにより、動作をリアルタイムで概算し、所望の大域動作を検出し、最終的にはキーフレームを選択することができる。
【００２２】
ステップ１８（図１）は最後の計算ステップであり、アフィンパラメータをしきい値処理し、このしきい値と、選択された時間にわたり前に概算した値とを比較して、大域動作があるかないかを決定する。しきい値は経験的に選択されるが、これにはノイズを最小化する効果がある。比較によって、概算された動作はパターンを伴うか伴わないかが決定される。パターンが検出される場合、システムは、動作の終わりまで１秒あたり予め選択された割合でフレームを捕らえる。このようにフレームを捕らえることによって、大域動作フレームからキーフレームを選択する（２０）。捕らえる割合としては、大域動作の終わりまで１秒あたり４フレームが適当である。
【００２３】
特に図３を参照すると、連続フレーム間における動作ベクトルの差を計算するステップを説明する、フローチャートが示されている。ステップ４０で計算処理は初期化される。ここで、“ｉ”はフレームの数を表し、“ｎ”は大域動作が判断されるフレームの数を表す。連続フレーム間における動作情報ｍiが、ステップ４２で計算され、ステップ４３でしきい値０によるしきい値処理される。すぐ次のフレームに対する動作情報が、ステップ４４で計算され、ステップ４５でしきい値０によるしきい値処理される。このようなしきい値処理によって、これらのフレームは大域動作状態にあるとみなすことができるほど、十分な動作がフレーム間にあるかどうかが決定される。ステップ４６で差の計算Ｋiが行われ、この動作ベクトルの差が、ステップ４８で示されているように、予め決定されたしきい値、即ちしきい値１よりも小さい場合には、大域動作が存在する可能性があるということがわかる。しかし、しきい値計算はノイズにも応じてしまうことがあるので、動作が一定数のフレーム（パラメータｎ）に及んでいるかどうかを検出するのに、パラメータを１つ余分に増やす必要がある。ｎが一定のしきい値、即ち同じく予め選択された値であるしきい値２よりも大きい場合には、システムは、大域動作パターンが検出されたということを示している。従って、ステップ５０でｎがインクリメントされ、ステップ５２で比較が行われて、評価されたフレームの数が予め選択されたしきい値、即ちしきい値２よりも大きいかどうかが決定される。しきい値２よりも大きい場合には、大域動作が検出される（５４）。あるいはまた、動作ベクトルの差Ｋiがしきい値１では十分でない場合には、ｎは再度初期化される（４９）。また、適切な数のフレームが評価されなかったため、ｎがしきい値２よりも小さい場合には、その次の増加されたフレームとの間における動作情報が計算される（５６）。次に、動画像の終わりまで、動画像における動作情報の領域全てを識別することができる（５８）。１つの好適な実施の形態において、動画像が２０フレーム／秒であった場合、しきい値２として７が選択された。
【００２４】
このような進歩性のある方法を、動画像データ全体に対してシーンカット処理を行うプロセッサに組み込むことにより、オペレータは、大域動作がある場合には２つ以上のフレームを、動作が全くない又は局所動作しかない場合には１つのフレームのみを捕らえて、動画像全体を表す選択されたキーフレームの適切なコンパイルをもたらすことができる。
【００２５】
本発明の大域動作及び識別方法は、関連するヒストグラム及びピクセルの差に基づいたシーンカット検出アルゴリズムと、組み合わせることができる。このような検出アルゴリズムは、まずヒストグラム及びフレームの差を分析することができるので、その両方が一定のしきい値よりも大きい場合には、そのフレームはキーフレームとして識別される。しきい値よりも小さい場合には、その動作情報は本発明を用いて分析されて、大域動作が検出される場合には、２つ以上のフレームがキーフレームとして選択される。このように総合的に組み合わせることにより、動画像を、シーンカット及び大域動作の選択されたキーフレームに精製して、キーフレームがパンニング、ズーミング、及び急激なシーンカットから成るようにすることができる。
【００２６】
本発明は、さまざまな実施の形態に関して詳細に説明されてきた。本発明の趣旨から逸脱しなければさまざまな変更を行ってもよい、ということが意図される。例えば、この好適な実施の形態は、プリントシステムに関して言えるような、画像ではなくドキュメント形態を生成することに関して述べられてきたが、本発明は、ディスプレイシステムにおいても適用することができ、容易に実行することができる。さらに、本発明は、ＡＳＩＣ、即ちプログラム可能なゲートアレイにおいて、又はソフトウェアにおいても容易に実行することができるので、この処理を走査デバイス、電子サブシステム、プリンタ、又はディスプレイデバイスに組み込むことができる。さらに、本発明は、高勾配主要点を識別するのに適した範囲内に動画像があり、二進又はデジタル処理システムには必ずというわけではないが、あらゆるレンダリングシステムに適用することができるような、処理システムにおいても実行することができる、ということが意図される。
【００２７】
特に、本発明の概念は、モノクローム即ち白黒環境に対してだけでなく、カラー環境に対しても、容易に適用することができる。
【００２８】
本発明は、好適な実施の形態に関して説明されてきた。明らかに、第三者が本明細書を読み理解すれば、変更した形態及び別の形態を思いつくであろう。上記の特許請求の範囲又はそれと同等の範囲内であれば、そのような変更した形態及び別の形態は全て本発明に含まれる、ということが意図される。
【図面の簡単な説明】
【図１】本発明の処理方法のフローチャートである。
【図２】選択された主要点を特に示している、定型化された静的フレームを表す図である。
【図３】キーフレーム選択処理の処理方法のフローチャートである。
【符号の説明】
３０、３２、３４    領域
３６    格子
【図１】
0004666706.tif 000004
【図２】
0004666706.tif 000005
【図３】
0004666706.tif 000006