(57)【特許請求の範囲】
【請求項１】
画像内のオブジェクトを処理する画像処理装置であって、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出手段と、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定手段と、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較手段と、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記線状画素設定手段は、前記第１の画像内で取り出された該注目画素を通過する前記オブジェクトに関するエッジの法線に平行な直線上の複数の画素を線状画素として設定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
エッジ情報に基づいて取り出されたすべての画素について、前記線状画素設定手段による線状画素の設定、前記画素データ比較手段による画素データ比較、並びに前記対応画素特定手段による前記第２の画像内の対応画素の特定を実行して、得られた対応画素群を基に、前記オブジェクトの前記第２の画像内におけるエッジ情報を抽出するエッジ情報抽出手段をさらに備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記線状画素設定手段は、前記対応画素特定手段により特定された対応画素の位置に応じて線状画素の長さを決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記対応画素特定手段は、前記線状画素上の画素のうちで前記第１の画像内で取り出された該注目画素に対応する画素データとの差が閾値以下となる画素データを持つものを対応画素として特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１の画像内のエッジ情報に基づいて取り出された隣接する複数の注目画素における前記画素データ比較手段による画素データの比較結果に基づいて、前記対応画素特定手段により特定された該複数の注目画素における対応画素を評価する対応画素評価手段をさらに備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記対応画素特定手段により対応画素が特定されなかった場合、前記線状画素設定手段により設定した線状画素の長さを増して、前記画素データ比較手段による画素データの比較及び前記対応画素特定手段による対応画素の特定を改めて行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記対応画素特定手段により対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間での前記オブジェクトの動き量を推定して、該推定された動き量に基づいて前記線状画素設定手段により設定した線状画素にオフセットを与えて、前記画素データ比較手段による画素データの比較及び前記対応画素特定手段による対応画素の特定を改めて行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記対応画素特定手段により対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間で前記オブジェクトが等速で動いたと仮定して、該仮定された速度から算出される動き量に基づいて前記線状画素設定手段により設定した線状画素にオフセットを与えて、前記画素データ比較手段による画素データの比較及び前記対応画素特定手段による対応画素の特定を改めて行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記対応画素特定手段により対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間で前記オブジェクトが等加速で動いたと仮定して、該仮定された加速度から算出される動き量に基づいて前記線状画素設定手段により設定した線状画素にオフセットを与えて、前記画素データ比較手段による画素データの比較及び前記対応画素特定手段による対応画素の特定を改めて行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
コンピュータを用いて画像内のオブジェクトを処理する画像処理方法であって、
前記コンピュータがエッジ抽出備える手段が、第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出ステップと、
前記コンピュータが備える線状画素設定手段が該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定ステップと、
前記コンピュータが備える画素データ比較手段が前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較ステップと、
前記コンピュータが備える対応画素特定手段が該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
画像内に存在するオブジェクトに関する処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは前記コンピュータを、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出手段と、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定手段と、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較手段と、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定手段と、
として機能させることを特徴とする記憶媒体。
【請求項１３】
画像内に存在するオブジェクトに関する処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出手段と、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定手段と、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較手段と、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定手段と、
として機能させるためのコンピュータ・プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、時系列的に配列された複数の画像からなる動画像を処理する画像処理装置及び方法、記憶媒体、コンピュータ・プログラムに係り、特に、動画像フレーム内に出現する登場人物などのオブジェクトを処理する画像処理装置及び方法、記憶媒体、コンピュータ・プログラムに関する。
【０００２】
更に詳しくは、本発明は、動画像フレーム内に出現する登場人物などのオブジェクトを追跡するための画像処理装置及び方法、記憶媒体、コンピュータ・プログラムに係り、特に、オブジェクト追跡のために各画像フレーム内でのオブジェクトのエッジ情報を抽出する画像処理装置及び方法、記憶媒体、コンピュータ・プログラムに関する。
【０００３】
【従来の技術】
昨今の情報処理技術の革新に伴い、さまざまな分野にコンピュータ処理が採り入れられるようになってきた。例えば、動画像や静止画、音響などの各種メディア情報の生成や編集などの処理をパーソナル・コンピュータ（ＰＣ）やワークステーション（ＷＳ）などのコンピュータ上で処理することができる。
【０００４】
例えば動画像の編集をコンピュータ処理に委ねた場合、シーンの切り替わり検出や、画像に出現又は登場するオブジェクトの抽出やトラッキングなどの処理を自動化することができる。
【０００５】
ところで、動画像中のオブジェクトの動きをトラックする場合、一般には、連続する画像フレーム間でブロック・マッチングや勾配法を適用して、オブジェクトの動きベクトルを抽出することができる。
【０００６】
しかしながら、ブロック・マッチングなどの単純な画像比較に基づく手法によってオブジェクトの動きをトラックする場合、オブジェクトが剛体であり変形による影響がないことが前提となる。何故ならば、実際には同じオブジェクトであっても、画像間での変形の度合いに応じてマッチング度が低下して、同じオブジェクトとして認識できなくなり、動き抽出の誤りが生じるからである。
【０００７】
また、画像フレーム間でオブジェクトの動きベクトルを抽出するためには、各画像フレームにおいてオブジェクトの輪郭などのエッジ情報を正確に求める必要がある。
【０００８】
例えば、Ju Guo，Jongwon Kim，及びC.-C. Jay Kuo共著の論文"An Interactive Adaptive System for Semantic Object Extraction from Image Sequences"には、動画像からオブジェクトを抽出する手法について提案されている。該論文によれば、画像フレーム間の差分などブロック・マッチング法により動きベクトルを検出して、オブジェクトのエッジ情報を一旦抽出しておき、さらにオブジェクトのエッジを膨張させて緩衝領域を設定してから、この緩衝領域内で改めてエッジ情報を抽出するようになっている。エッジの膨張により緩衝領域を設定することにより、ブロック・マッチング処理時におけるエッジ情報の曖昧差やオブジェクトの多少の変形などによる影響を除去することができる。
【０００９】
しかしながら、この方法による場合、ブロック・マッチングなどにより一旦オブジェクトのエッジを抽出しながら、エッジを膨張処理して再度エッジ抽出を行うので、膨張処理に要する演算時間や、再度のエッジ抽出を行う計算機負荷などが問題となる。
【００１０】
【発明が解決しようとする課題】
本発明の目的は、動画像フレーム内に出現する登場人物などのオブジェクトを処理することができる、優れた画像処理装置及び方法、記憶媒体、コンピュータ・プログラムを提供することにある。
【００１１】
本発明の更なる目的は、動画像におけるオブジェクト追跡などのために各画像フレーム内でのオブジェクトのエッジ情報を好適に抽出することができる、優れた画像処理装置及び方法、記憶媒体、コンピュータ・プログラムを提供することにある。
【００１２】
本発明の更なる目的は、各画像間でオブジェクトが変形する場合であっても、各画像フレーム内でのオブジェクトのエッジ情報を好適に抽出することができる、優れた画像処理装置及び方法、記憶媒体、コンピュータ・プログラムを提供することにある。
【００１３】
本発明の更なる目的は、各画像フレーム内でのオブジェクトのエッジ情報を抽出するための処理時間や演算量を軽減することができる、優れた画像処理装置及び方法、記憶媒体、コンピュータ・プログラムを提供することにある。
【００１４】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像内のオブジェクトを処理する画像処理装置又は方法であって、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出手段又はステップと、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定手段又はステップと、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較手段又はステップと、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定手段又はステップと、
を具備することを特徴とする画像処理装置又は方法である。
【００１５】
ここで、前記線状画素設定手段又はステップは、例えば、前記第１の画像内で取り出された該注目画素を通過する前記オブジェクトに関するエッジの法線に平行な直線上の複数の画素を線状画素として設定する。
【００１６】
本発明の第１の側面に係る画像処理装置又は方法によれば、過去画像フレームにおけるオブジェクトのエッジ情報から注目画素を逐次取り出して、この注目画素上におけるエッジの法線上の画素を線状画素として設定する。現在画像フレームにおいて、線状画素上で注目画素と類似する画素データを持つ画素を探索して、対応画素を検出することができる。
【００１７】
対応画素が検出された線状画素を、緩衝領域を構成する線分として用いることができる。また、線状画素上で対応画素が検出された位置に応じて、線状画素の長さを決定することができる。また、過去画像フレームにおけるオブジェクトのエッジ上のすべての注目画素について線状画素上での対応画素の検出を行うことにより、現在画像フレームにおけるオブジェクトのエッジの緩衝領域を生成することができる。緩衝領域とは、オブジェクトのエッジを膨張させることに相当し、後段の処理では、この緩衝領域内で改めてエッジ情報を抽出するようになっている（前述）。エッジの膨張により緩衝領域を設定することにより、エッジ情報の曖昧差やオブジェクトの変形や移動などによる影響を効果的に除去することができる。
【００１８】
本発明の第１の側面に係る画像処理装置又は方法によれば、画像フレーム間のブロック・マッチングなどの処理を行うことなく、過去画像フレームから得られたエッジ情報を基に、現在画像フレームにおけるオブジェクトのエッジの緩衝領域を効率的に生成するので、各画像フレーム内でのオブジェクトのエッジ情報を抽出するための処理時間や演算量を軽減することができる。
【００１９】
本発明の第１の側面に係る画像処理装置又は方法において、前記線状画素設定手段又はステップは、前記対応画素特定手段又はステップにより特定された対応画素の位置に応じて線状画素の長さを決定するようにしてもよい。例えば、注目画素に近い位置で対応画素が発見された場合には、緩衝領域を大きく設定する必要がないので、線状画素の線分長を短くすることで、後段のエッジ抽出のための計算量を軽減することができる。
【００２０】
また、前記対応画素特定手段又はステップは、前記線状画素上の画素のうちで前記第１の画像内で取り出された該注目画素に対応する画素データとの差が閾値以下となる画素データを持つものを対応画素として特定するようにしてもよい。あるいは、前記線状画素上の画素のうちで前記第１の画像内で取り出された該注目画素に対応する画素データに最も近い画素データを持つものを対応画素として特定するようにしてもよい。
【００２１】
また、本発明の第１の側面に係る画像処理装置又は方法は、前記第１の画像内のエッジ情報に基づいて取り出された隣接する複数の注目画素における前記画素データ比較手段による画素データの比較結果に基づいて、前記対応画素特定手段又はステップにより特定された該複数の注目画素における対応画素を評価する対応画素評価手段又はステップをさらに備えてもよい。
【００２２】
このような場合、前記対応画素特定手段又はステップにより対応画素が特定されなかった場合、前記線状画素設定手段又はステップにより設定した線状画素の長さを増して、前記画素データ比較手段又はステップによる画素データの比較及び前記対応画素特定手段又はステップによる対応画素の特定を改めて行うようにしてもよい。
【００２３】
また、前記対応画素特定手段又はステップにより対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間での前記オブジェクトの動き量を推定して、該推定された動き量に基づいて前記線状画素設定手段又はステップにより設定した線状画素にオフセットを与えて、前記画素データ比較手段又はステップによる画素データの比較及び、前記対応画素特定手段又はステップによる対応画素の特定を改めて行うようにしてもよい。
【００２４】
あるいは、前記対応画素特定手段又はステップにより対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間で前記オブジェクトが等速で動いたと仮定して、該仮定された速度から算出される動き量に基づいて前記線状画素設定手段又はステップにより設定した線状画素にオフセットを与えて、前記画素データ比較手段又はステップによる画素データの比較、及び前記対応画素特定手段又はステップによる対応画素の特定を改めて行うようにしてもよい。
【００２５】
あるいは、前記対応画素特定手段又はステップにより対応画素が特定されなかった場合、前記第１の画像及び前記第２の画像間で前記オブジェクトが等加速で動いたと仮定して、該仮定された加速度から算出される動き量に基づいて前記線状画素設定手段又はステップにより設定した線状画素にオフセットを与えて、前記画素データ比較手段又はステップによる画素データの比較、及び前記対応画素特定手段又はステップによる対応画素の特定を改めて行うようにしてもよい。
【００２６】
また、本発明の第２の側面は、画像内に存在するオブジェクトに関する処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出ステップと、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定ステップと、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較ステップと、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定ステップと、
を具備することを特徴とする記憶媒体である。
【００２７】
本発明の第２の側面に係る記憶媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＣＤ（Compact Disc）やＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００２８】
このような記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第２の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置及び方法と同様の作用効果を得ることができる。
【００２９】
また、本発明の第３の側面は、画像内に存在するオブジェクトに関する処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
第１の画像内のオブジェクトに関するエッジ情報を抽出するエッジ抽出ステップと、
該抽出されたエッジ情報に基づいて注目画素を取り出し、第２の画像内で該注目画素の位置に対応する所定長の線状画素を設定する線状画素設定ステップと、
前記第１の画像内で取り出された該注目画素に対応する画素データと、前記第２の画像内で設定された前記線状画素の各画素データとを比較する画素データ比較ステップと、
該比較結果に基づいて、前記第１の画素内で取り出された該注目画素に対応する前記第２の画像内の対応画素を特定する対応画素特定ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００３０】
本発明の第３の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するように記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第３の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置及び方法と同様の作用効果を得ることができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００３３】
図１には、本発明の実現に供される画像処理装置１の機能構成を模式的に示している。同図に示すように、画像処理装置１は、画像をフレーム単位で入力する入力部１０と、入力した画像フレームを一時記憶するフレーム・メモリ２０と、入力した画像フレームとフレーム・メモリ２０中の過去画像フレームと比較する緩衝領域生成部３０と、画像マッチングの結果に基づいて画像フレーム中のオブジェクトのエッジを抽出するエッジ抽出部４０と、エッジ抽出結果を外部に出力する出力部５０とで構成される。
【００３４】
出力部５０は、エッジ抽出結果を、例えば、ディスプレイ（図示しない）に表示出力したり、ハード・ディスク（図示しない）に格納したり、あるいはネットワーク経由で外部端末（図示しない）に転送したりする。
【００３５】
なお、エッジ抽出部４０は、画像マッチングの結果によらず、ユーザ・インターフェース部６０を介したユーザ入力に従ってオブジェクトのエッジ情報を生成するようにしてもよい（例えば、緩衝領域生成部３０によって生成された緩衝領域の範囲内からは良好なエッジ情報が得られない場合など）。
【００３６】
緩衝領域生成部３０では、フレーム・メモリ２０から取り出された過去画像フレームと、入力部１０で受信される現在画像フレームを比較して、過去画像フレームにおけるオブジェクトのエッジ情報を現在画像フレーム内で抽出するために、現在画像フレームにおけるオブジェクトのエッジ情報の緩衝領域を生成するようになっている。
【００３７】
ここで、緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を、図２〜図５を参照しながら概略的に説明する。
【００３８】
図２には、過去画像フレームを描写しているが、該画像フレームの略左方にトラッキング対象となるオブジェクトが存在している。また、図３には、現在画像フレームを描写しているが、トラッキング対象となるオブジェクトは右方に向かって少し移動している。
【００３９】
図４には、現在画像フレーム上でオブジェクトのエッジの緩衝領域を抽出する様子を描写している。同図に示すように、過去画像フレームから抽出されたオブジェクトのエッジ情報と現在画像フレームを比較することによって、緩衝領域を生成する。図５には、生成された緩衝領域を描写している。緩衝領域を生成するための処理手順の詳細については後述に譲る。
【００４０】
図６には、この画像処理装置１上の処理動作によって動画像の画像フレームからオブジェクトのエッジ情報を抽出するための処理手順の一例をフローチャートの形式で概略的に示している。以下、このフローチャートに従って、オブジェクトのエッジ情報抽出処理について説明する。
【００４１】
まず、緩衝領域生成部３０により、現在画像フレームにおけるオブジェクトのエッジ情報の緩衝領域の生成を試みる（ステップＳ１）。緩衝領域の生成は、フレーム・メモリ２０から取り出された過去画像フレームと、入力部１０で受信される現在画像フレームを比較することによって行われるが、その詳細な処理手順については後述に譲る。
【００４２】
次いで、緩衝領域が成功裏に生成されたか否かをチェックする（ステップＳ２）。緩衝領域の生成に成功した場合には、エッジ抽出部４０により、緩衝領域を基にオブジェクトのエッジ情報の抽出を試みる（ステップＳ３）。生成された緩衝領域からのエッジ情報抽出処理の詳細については後述に譲る。
【００４３】
他方、緩衝領域の生成に失敗した場合には（ステップＳ２）、その原因として、過去画像フレームから現在画像フレームの間でオブジェクト（登場人物など）が大きく動いたため、緩衝領域生成部３０では、過去画像フレームのエッジ情報からは現在画像フレーム上で緩衝領域を探索できないことが考えられる（図７を参照のこと）。このような場合には、過去画像フレームと現在画像フレーム間でオブジェクトの大動き補正をした後（ステップＳ４）、再び緩衝領域生成部３０に投入して、緩衝領域の生成を試みる（ステップＳ５）。この大動き補正は、フレーム間でのオブジェクトの動き量を推定して、この推定された動き量に基づいて過去フレーム中のオブジェクトのエッジ情報にオフセットを与えることにより行われる（図８を参照のこと）。
【００４４】
そして、緩衝領域が成功裏に生成されたか否かをチェックする（ステップＳ６）。緩衝領域の生成に成功した場合には、エッジ抽出部４０により、緩衝領域を基にオブジェクトのエッジ情報の抽出を試みる（ステップＳ３）。再投入しても緩衝領域を得ることができなかった場合には、ステップＳ８に進んで、ユーザ・インターフェース部６０を介した人手によるエッジ抽出処理に委ねる。
【００４５】
ステップＳ３において、エッジ抽出部４０によるオブジェクトのエッジ情報抽出を試みた後、成功裏にエッジ情報を得ることができたか否かをチェックする（ステップＳ７）。
【００４６】
現在画像フレーム中でオブジェクトのエッジ情報の抽出に成功した場合には、本処理ルーチン全体を終了する。
【００４７】
他方、エッジ抽出部４０によりオブジェクトの良好なエッジ情報を得ることができなかった場合には、ステップＳ８に進んで、ユーザ・インターフェース部６０を介した人手によるエッジ抽出処理に委ねる。
【００４８】
なお、ステップＳ４におけるオブジェクトの大動き補正は、画像フレーム間でのブロック・マッチングを利用することができる。この場合、オブジェクトの大動き補正は、図９に示すように、ブロック・マッチングによるオブジェクトの動き量を大まかに推定し（ステップＳ４−１）、次いで、推定された動き量に応じて過去画像フレーム中のオブジェクトのエッジ情報にオフセットを与える（ステップＳ４−２）。
【００４９】
あるいは、ステップＳ４におけるオブジェクトの大動き補正の他の例として、これまでのオブジェクトの移動履歴を基にオブジェクトが等速で移動していると仮定することを利用する。この場合、オブジェクトの大動き補正は、図１０に示すように、等速仮定により現在画像フレーム上でのオブジェクトの現在位置を推定して（ステップＳ４−１’）、次いで、この推定された現在位置に応じて過去画像フレーム中のオブジェクトのエッジ情報にオフセットを与える（ステップＳ４−２’）。
【００５０】
あるいは、ステップＳ４におけるオブジェクトの大動き補正の他の例として、これまでのオブジェクトの移動履歴を基にオブジェクトが等加速で移動していると仮定することを利用する。この場合、オブジェクトの大動き補正は、図１１に示すように、等加速仮定により現在画像フレーム上でのオブジェクトの現在位置を推定して（ステップＳ４−１”）、次いで、この推定された現在位置に応じて過去画像フレーム中のオブジェクトのエッジ情報にオフセットを与える（ステップＳ４−２”）。
【００５１】
次いで、緩衝領域生成部３０による、オブジェクトのエッジの緩衝領域を生成する処理について説明する。緩衝領域生成部３０は、図６に示したフローチャートのうち、ステップＳ１並びにステップＳ５における緩衝領域生成処理を実行する。
【００５２】
ここで言う緩衝領域とは、オブジェクトのエッジを膨張させることに相当し、後段の処理では、この緩衝領域内で改めてエッジ情報を抽出するようになっている（前述）。エッジの膨張により緩衝領域を設定することにより、エッジ情報の曖昧差やオブジェクトの変形や移動などによる影響を効果的に除去することができる。
【００５３】
本実施形態では、緩衝領域生成部３０は、画像フレーム間のブロック・マッチングなどの処理を行うことなく、過去画像フレームから得られたエッジ情報を基に、現在画像フレームにおけるオブジェクトのエッジの緩衝領域を生成する。より具体的には、過去画像フレームにおけるオブジェクトのエッジ情報から注目画素を逐次取り出して、この注目画素上におけるエッジの法線上の画素を線状画素として設定する。そして、現在画像フレームにおいて、この線状画素上で注目画素と類似する画素データを持つ画素を探索して、注目画素に対応する対応画素を検出することができる
【００５４】
対応画素が検出された線状画素を、緩衝領域を構成する線分として用いることができる。また、線状画素上で対応画素が検出された位置に応じて、線状画素の長さを決定することができる。また、過去画像フレームにおけるオブジェクトのエッジ上のすべての注目画素について線状画素上での対応画素の検出を行うことにより、現在画像フレームにおけるオブジェクトのエッジの緩衝領域を生成することができる。
【００５５】
図１２には、緩衝領域生成部３０の一構成例を示している。同図に示すように、この緩衝領域生成部３０Ａは、エッジ抽出部３１と、注目点での法線設定部３２と、線分設定部３３と、画素マッチング部３４とで構成される。
【００５６】
エッジ抽出部３１は、フレーム・メモリ２０に格納されている過去画像フレームを基に、過去画像フレーム中のオブジェクトのエッジ情報を抽出する機能モジュールである。
【００５７】
この過去画像フレームからオブジェクトのエッジ情報を抽出するエッジ抽出部３１の構成は任意である。例えば、エッジ抽出部４０（前述）により求められた現在画像フレーム中のオブジェクトのエッジ情報出力を、次の画像フレーム処理時における過去画像フレームのエッジ情報として利用するようにしてもよい（図１３を参照のこと）。あるいは、フレーム・メモリ２０に格納されている過去画像フレームを用いてフレーム間差分を行うフレーム間差分部３１−１と、フレーム間差分結果に基づいてエッジを抽出するエッジ抽出部３１−２とで構成することができる（図１４を参照のこと）。あるいは、ユーザ・インターフェース部６０を介した人手入力に応じてエッジ情報を抽出するようにしてもよい（図１５を参照のこと）。
【００５８】
例えば、図１６に示すような過去画像フレームにおいて、畳や障子などからなる和室を背景とする該画像フレームの略中央に配置された登場人物（和服を着た女性）を抽出対象のオブジェクトとしてエッジ抽出部３１でエッジ抽出を行うと、図１７に示すようなエッジ情報を得ることができる。
【００５９】
注目点の法線設定部３２は、過去画像フレーム中のオブジェクトのエッジ情報から注目画素を逐次取り出して、その注目画素を通過するエッジの法線を設定する。
【００６０】
例えば、図１７に示すような過去画像フレームにおけるエッジ情報から１つの注目画素を取り出した場合、図１８に示すように、注目画素を通過するエッジの法線が設定される。
【００６１】
線分設定部３３は、入力部１０から入力された現在画像フレーム上で、注目画素と同じ位置に、注目点の法線設定部３２から与えられた法線方向に伸びる所定長の線分を設定する。
【００６２】
マッチング部３４は、過去画像フレームと現在画像フレームの間で、線分設定部３３によって設定された所定長の線分上で画素毎に注目画素との画素データのマッチングを行う。そして、この線分上で注目画素と画素データが一致する、あるいは差が閾値内に収まるような対応画素が発見された場合には、その線分全体を緩衝領域の「解」として出力するようになっている。
【００６３】
また、マッチング部３４の出力を線分設定部３３にフィードバックして、線分長の決定に利用することができる。例えば、対応画素が発見された位置に応じて線分長を決定することができる。
【００６４】
ここで、図１９を参照しながら、マッチング部３４による注目画素の対応画素を探索する処理について説明する。
【００６５】
同図において、左側は過去画像フレームを、右側は現在画像フレームを、それぞれ示している。画像フレーム内の各カラムは１画素に相当し、また、各カラム内の数値はその画素の画素データ値に相当する。
【００６６】
過去画像フレームにおいて、太線で描かれたカラムは、エッジ抽出部３１により得られたオブジェクトのエッジに相当する画素であり、その内側がオブジェクト、外側が背景にそれぞれ相当する。
【００６７】
ここで、画素データ値１６３を持つ略中央の画素を注目点として考えてみる。この場合、注目点の法線設定部３２により、注目画素を通過するエッジの法線が設定され、さらに、線分設定部３３により、注目画素に対応する位置を通過する、エッジの法線に平行な所定長の線状画素が現在画像フレーム上に設定される。図１９の右側に示す画像フレーム中の太線で描かれたカラムが線状画素を構成する。勿論、画像フレーム間でオブジェクトが移動又は変形する場合には、推定される動き量に応じたオフセットを与えて線状画素を現在画像フレーム上に設定するようにしてもよい。
【００６８】
図１９に示す例では、線状画素上の各画素は、それぞれ、…，１１７，１１７，１１９，１６２，１６４，１８０，１７６，…という画素データ値を持っている。
【００６９】
マッチング部３４は、各画素の画素データ値を、過去画像フレーム上の注目画素の画素データ値１６３と比較する。そして、画素データ値が一致する、又は差が所定の閾値内となる対応画素が線状画素上で発見された場合には、線分設定部３３により設定された線分を、緩衝領域の「解」（すなわち注目画素の対応画素が存在する範囲）として出力する。あるいは、線状画素上で、注目画素との画素データ値の差が所定の閾値以下となる範囲を、緩衝領域の「解」（すなわち注目画素の対応画素が存在する範囲）として出力する。
【００７０】
マッチング部３４におけるマッチング処理すなわち線状画素の評価は、各線状画素単位で行うのではなく、連続する複数の注目画素に設定された複数本（又は所定本数）の線状画素毎に行うようにしてもよい。
【００７１】
例えば、図２０に示すように、連続する複数個（又は所定個数）の注目画素に対応して現在画像フレーム上に設定された複数本（又は所定本数）の線状画素の各々において、注目画素が持つ画素データ値との差分が最小となる対応画素をそれぞれ求める。そして、各対応画素における注目画素との画素データ値の差分の総和が所定の閾値以下に収まるか否かで、この領域における線状画素で構成される緩衝領域の有効性を評価する。閾値以下に収まる場合には、この領域で求められた線状画素が有効な緩衝領域を構成するとして、マッチング結果を出力する。他方、閾値を越える場合には、この領域で求められた線状画素が無効であるというマッチング結果を出力する。無効という判定に対しては、線状画素の線分長の再設定や動き推定による線状画素のオフセット設定、ユーザ・インターフェース部６０を介した人手入力などによって、有効な緩衝領域を設定すればよい。
【００７２】
図２１には、緩衝領域生成部３０の他の構成例を示している。同図に示すように、この緩衝領域生成部３０Ｂは、エッジ抽出部３１と、注目点での法線設定部３２と、線分設定部３３と、画素マッチング部３４と、動き推定部３５とで構成される。
【００７３】
エッジ抽出部３１は、フレーム・メモリ２０に格納されている過去画像フレームを基に、過去画像フレーム中のオブジェクトのエッジ情報を抽出する機能モジュールである。エッジ抽出部３１は、例えば、図１３〜図１５に示したいずれかの例に従って構成することができる（同上）。
【００７４】
注目点の法線設定部３２は、過去画像フレーム中のオブジェクトのエッジ情報から注目画素を逐次取り出して、その注目画素を通過するエッジの法線を設定する（同上）。
【００７５】
動き推定部３５は、注目点の法線設定部３２経由で受け取る過去画像フレームと、入力部１０経由で受け取る現在画像フレームを基に、フレーム間におけるオブジェクトの動き量を推定する。オブジェクトの動き量の推定には、例えば、大まかなブロック・マッチング（図９を参照のこと）、オブジェクトが等速で移動していると仮定することを利用した動き量の推定（図１０を参照のこと）、あるいは、オブジェクトが等加速で移動していると仮定することを利用した動き量の推定（図１１を参照のこと）などを適用することができる。
【００７６】
線分設定部３３は、入力部１０から入力された現在画像フレーム上で、注目画素と同じ位置に、注目点の法線設定部３２から与えられた法線方向に伸びる所定長の線分すなわち線状画素を設定する。
【００７７】
過去画像フレームから現在画像フレームの間でオブジェクト（人物など）が大きく動いたため、後段のマッチング部３４において注目画素の対応画素を線状画素上から検出できない場合がある。このような場合には、線分設定部３３は、動き推定部３５の推定結果に応じて注目画素にオフセットを与えた位置に線状画素を設定するようにすればよい。
【００７８】
マッチング部３４は、過去画像フレームと現在画像フレームの間で、線分設定部３３によって設定された所定長の線分上で画素毎に注目画素との画素データのマッチングを行う。そして、この線分上で注目画素と画素データが一致する、あるいは差が閾値内に収まるような対応画素が発見された場合には、その線分全体を緩衝領域の「解」として出力するようになっている（同上）。
【００７９】
また、マッチング部３４の出力を線分設定部３３にフィードバックして、線分長の決定に利用することができる。例えば、対応画素が発見された位置に応じて線分長を決定することができる。
【００８０】
図２２には、図１２又は図２１に示した緩衝領域生成部３０による緩衝領域生成処理の手順の一例をフローチャートの形式で示している。このフローチャートで示された処理は、例えば図６にフローチャートの形式で示したオブジェクトのエッジ情報抽出処理のステップＳ４に適用される。以下、このフローチャートに従って、緩衝領域の生成処理について説明する。
【００８１】
まず、エッジ抽出部３１によって得られた過去画像フレームにおけるオブジェクトのエッジ情報に基づいて、未処理の注目画素を取り出す（ステップＳ１１）。そして、注目点の法線設定部３２により、過去画像フレームにおいて注目画素を通過するエッジの法線を求める（ステップＳ１２）。
【００８２】
次いで、線分設定部３３において、現在画像フレーム上の注目画素と対応する位置に、ステップＳ１２で求められたエッジの法線方向に伸びる所定長の線分すなわち線状画素を設定する（ステップＳ１３）。
【００８３】
但し、過去画像フレームから現在画像フレームの間でオブジェクト（登場人物など）が大きく動いたため、後段のマッチング部３４において注目画素の対応画素を線状画素上から検出できない場合には、線分設定部３３は、動き推定部３５の推定結果に応じて注目画素にオフセットを与えた位置に線状画素を設定するようにすればよい。
【００８４】
次いで、マッチング部３４において、過去画像フレームと現在画像フレームの間で、線分設定部３３によって設定された所定長の線状画素上で画素毎に注目画素との画素データのマッチングを行う（ステップＳ１４）。
【００８５】
そして、マッチングした結果、線状画素上で、注目画素と画素データ値が一致する、又は差分が所定の閾値以下となる対応画素が存在するか否かをチェックする（ステップＳ１５）。
【００８６】
線状画素上で対応画素を発見できた場合には、マッチング部３４は、線状画素上にあるすべての画素を緩衝領域の「解」であるとして出力する（ステップＳ１６）。
【００８７】
未処理の注目点が残っている場合には（ステップＳ１７）、ステップＳ１１に復帰して、上記と同様の処理を繰り返して実行する。また、オブジェクトのエッジを構成するすべての注目点について上述した処理を終了した場合には、本処理ルーチン全体を終了する。
【００８８】
他方、ステップＳ１５において、線状画素上で対応画素を発見できなかったと判断された場合には、線状画素の長さを延長して（ステップＳ１８）、ステップＳ１４に復帰してマッチング処理を再度試行する。但し、線状画素が所定長（例えば、５〜１０画素）を越えている場合には（ステップＳ１９）、緩衝領域として不適切なサイズになるので、本処理ルーチンを異常終了させる。異常終了した場合、例えば、ユーザ・インターフェース部６０を介した人手入力により緩衝領域を設定することができる。
【００８９】
また、図２３には、図１２又は図２１に示した緩衝領域生成部３０による緩衝領域生成処理の手順の他の例をフローチャートの形式で示している。以下、このフローチャートに従って、緩衝領域の生成処理について説明する。
【００９０】
まず、エッジ抽出部３１によって得られた過去画像フレームにおけるオブジェクトのエッジ情報に基づいて、未処理の注目画素を取り出す（ステップＳ２１）。そして、注目点の法線設定部３２により、過去画像フレームにおいて注目画素を通過するエッジの法線を求める（ステップＳ２２）。
【００９１】
次いで、線分設定部３３において、現在画像フレーム上の注目画素と対応する位置に、所定長の線分すなわち線状画素を設定する（ステップＳ２３）。過去画像フレームから現在画像フレームの間でオブジェクトが大きく動いたため、後段のマッチング部３４において注目画素の対応画素を線状画素上から検出できない場合には、動き推定部３５の推定結果に応じて注目画素にオフセットを与えた位置に線状画素を設定するようにすればよい。
【００９２】
次いで、マッチング部３４において、過去画像フレームと現在画像フレームの間で、線分設定部３３によって設定された所定長の線状画素上で画素毎に注目画素との画素データのマッチングを行う（ステップＳ２４）。
【００９３】
そして、マッチングした結果、線状画素上で、注目画素と画素データ値が一致する、又は差分が所定の閾値以下となる対応画素が存在するか否かをチェックする（ステップＳ２５）。
【００９４】
線状画素上で対応画素を発見できた場合には、マッチング部３４は、対応がその位置に応じて線状画素の線分長を決定して（ステップＳ２６）、この線状画素上のすべての画素を緩衝領域の「解」であるとして出力する（ステップＳ２７）。例えば、注目画素に近い位置で対応画素が発見された場合には、緩衝領域を大きく設定する必要がないので、線状画素の線分長を短くすることで、後段のエッジ抽出部４０による計算量を軽減することができる。
【００９５】
未処理の注目点が残っている場合には（ステップＳ２８）、ステップＳ２１に復帰して、上記と同様の処理を繰り返し実行する。また、エッジ上のすべての注目点について処理を終了した場合には、本処理ルーチン全体を終了する。
【００９６】
他方、ステップＳ２５において、線状画素上で対応画素を発見できなかったと判断された場合には、線状画素の長さを延長して（ステップＳ２９）、ステップＳ１４に復帰してマッチング処理を再度試行する。但し、線状画素が所定長（例えば、５〜１０画素）を越えている場合には（ステップＳ３０）、緩衝領域として不適切なサイズになるので、本処理ルーチンを異常終了させる。
【００９７】
また、図２４には、図１２又は図２１に示した緩衝領域生成部３０による緩衝領域生成処理の手順の他の例をフローチャートの形式で示している。以下、このフローチャートに従って、緩衝領域の生成処理について説明する。
【００９８】
まず、エッジ抽出部３１によって得られた過去画像フレームにおけるオブジェクトのエッジ情報に基づいて、未処理の注目画素を取り出す（ステップＳ３１）。そして、注目点の法線設定部３２により、過去画像フレームにおいて注目画素を通過するエッジの法線を求める（ステップＳ３２）。
【００９９】
次いで、線分設定部３３において、現在画像フレーム上の注目画素と対応する位置に、所定長の線分すなわち線状画素を設定する（ステップＳ３３）。過去画像フレームから現在画像フレームの間でオブジェクトが大きく動いたため、後段のマッチング部３４において注目画素の対応画素を線状画素上から検出できない場合には、動き推定部３５の推定結果に応じて注目画素にオフセットを与えた位置に線状画素を設定するようにすればよい。
【０１００】
次いで、マッチング部３４において、過去画像フレームと現在画像フレームの間で、線分設定部３３によって設定された所定長の線状画素上で画素毎に注目画素との画素データのマッチングを行う（ステップＳ３４）。
【０１０１】
そして、マッチングした結果、線状画素上で、注目画素と画素データ値が一致する、又は差分が所定の閾値以下となる対応画素が存在するか否かをチェックする（ステップＳ３５）。
【０１０２】
線状画素上で対応画素を発見できた場合には、連続する複数の注目画素に設定された複数本（又は所定本数）の線状画素毎に緩衝領域の評価を行う（ステップＳ３６）（上述及び図２０を参照のこと）。
【０１０３】
そして、この線状画素上のすべての画素を緩衝領域の「解」であるとして出力する（ステップＳ３７）。
【０１０４】
未処理の注目点が残っている場合には（ステップＳ３８）、ステップＳ２１に復帰して、上記と同様の処理を繰り返し実行する。また、エッジ上のすべての注目点について処理を終了した場合には、本処理ルーチン全体を終了する。
【０１０５】
他方、ステップＳ３５において、線状画素上で対応画素を発見できなかったと判断された場合には、線状画素の長さを延長して（ステップＳ３９）、ステップＳ１４に復帰してマッチング処理を再度試行する。但し、線状画素が所定長（例えば、５〜１０画素）を越えている場合には（ステップＳ４０）、緩衝領域として不適切なサイズになるので、本処理ルーチンを異常終了させる。
【０１０６】
例えば、図１６に示すような過去画像フレーム（図１７に示すようなオブジェクトのエッジ情報を持つ）を基に、図２５に示すオブジェクトのエッジ情報を持つ現在画像フレームに対して緩衝領域生成処理を行った場合には、図２６に示すような緩衝領域が生成される。
【０１０７】
図２２〜図２４でそれぞれ示した緩衝領域の処理手順では、過去画像フレーム中の注目画素と現在画像フレーム中の対応画素との画素データ値の比較を行う。この画素データの比較に用いる閾値、すなわち過去画像フレームと現在画像フレームとで画素データの差分がどのくらい以内であれば、線状画素が緩衝領域として正しいとするかが問題となる。
【０１０８】
図２８には、過去画像フレームと現在画像フレームの各々から特定の領域を切り出して、その領域内での画素データ値を表示している。但し、説明の簡素化のため、過去画像フレームではオブジェクトの形状すなわちエッジが既知であるとする。また、エッジが垂直方向、すなわちその法線方向が水平方向であるとする。このような場合、現在画像フレームでは、網掛け表示された範囲が線状画素＃１〜＃５として設定され、図２２〜図２４に示すフローチャートに従って評価される領域となる。
【０１０９】
図２８には、注目画素との差分の閾値を１から５まで変えていったときに、図２７に示した各線状画素＃１〜＃５が「解」として判定されたか否かを、解であれば"○"で、解でなければ"×"で表記している。また、解であった場合には、そのときに線状画素上で閾値を越える対応画素の個数を、同図上に併せて表記している。
【０１１０】
また、図２９には、注目画素との差分の閾値を１から５まで変えていったときに、線状画素＃１〜＃５の範囲内で、「解」と判定された線状画素の個数（以下、「データａ」とする）と、注目画素との画素データ値の差分が閾値以下となった画素の個数（以下、「データｂ」とする）をそれぞれ表記している。
【０１１１】
この閾値を変える手法は幾つか想到される。まず、マッチする画素や候補領域が少ないときには閾値を大きくする。そして、多くなれば閾値を小さくすればよい。例えば、データａがある所定値以下の場合には、差分の閾値を大きくする。また、データｂがある所定値以上の場合には、差分の閾値を小さくすることができる。
【０１１２】
例えば、「この領域の現在の差分閾値が２で、ある領域で３候補以下の場合には閾値を大きくする」という現在の条件が設定されていたとする。このとき、この領域では２候補が正しいと評価されている。すなわち、３候補以下なので、閾値を広げ、次回には閾値を３にして評価する。
【０１１３】
あるいは、「現在の差分閾値は４で、あるマッチングされた画素数の和が８以上の場合には差分閾値を小さくする」という現在の条件が設定されていたとする。このとき、マッチングされた画素数の和は１０なので、差分閾値を小さくするという処理が実行される。
【０１１４】
上述した例では、図２７において縦方向に積算された情報を用いることになるが、それぞれのラインすなわち線状画素上の最大値や最小値を用いて閾値を設定するという手法も想到される。例えば、それぞれのライン上で差分が閾値以下の画素が３になったラインの数を縦方向で数えて、その合計を使用する手法や、１つの点でも閾値以下の画素がＮ個以上になった場合には閾値を小さくする手法などをあげることができる。
【０１１５】
図３０には、注目画素との画素データ比較に用いる閾値を設定するための処理手順をフローチャートの形式で示している。以下、このフローチャートに従って、閾値の設定処理について説明する。
【０１１６】
まず、初期閾値を導入する（ステップＳ５１）。
【０１１７】
次いで、この閾値を用いて、線状画素で構成される候補領域内に、注目画素に対応する画素が存在するか探索する（ステップＳ５２）。
【０１１８】
次いで、候補領域で検出された対応画素の個数をカウントする（ステップＳ５３）。
【０１１９】
そして、上述したステップＳ５２〜Ｓ５３の処理を複数の注目点について、繰り返し実行する（ステップＳ５４）。
【０１２０】
次いで、カウントされた対応画素の数が少なすぎるか否かをチェックする（ステップＳ５５）。
【０１２１】
カウントされた対応画素数が少な過ぎる場合には、閾値を広げる（ステップＳ５６）。また、カウントされた対応画素数が少な過ぎない場合には、逆に、カウントされた対応画素数が多過ぎないかチェックする（ステップＳ５７）。多過ぎれば、閾値を狭め（ステップＳ５８）、多すぎなければ、閾値をそのままに維持する（ステップＳ５９）。
【０１２２】
そして、終了判定し（ステップＳ６０）、判定結果が肯定的であれば本処理ルーチン全体を終了し、否定的であれば、ステップＳ５２に復帰して、上述した処理を繰り返し実行する。
【０１２３】
次いで、エッジ抽出部４０において、緩衝領域生成部３０で生成された緩衝領域を利用して、現在画像フレーム上のオブジェクトのエッジを抽出する処理について、図３１に示したフローチャートを参照しながら説明する。
【０１２４】
まず、緩衝領域を探索して、各線状画素についてエッジに相当する画素を見つけ出す（ステップＳ７１，Ｓ７２）。
【０１２５】
そして、各線状画素におけるエッジ探索の評価値が閾値以内となる領域を求める（ステップＳ７３）。
【０１２６】
次いで、各線状画素毎に、エッジ候補領域の重心を求める（ステップＳ７４）。
【０１２７】
次いで、各重心間のスムージングを行い（ステップＳ７５）、スムージングした曲線をエッジとして出力する（ステップＳ７６）。
【０１２８】
図１に示した画像処理装置１によるオブジェクトのエッジ抽出処理の全体フローについては、図６を参照しながら既に説明した通りである。ここでは、オブジェクトのエッジ抽出処理の他の例について、図３２に示すフローチャートを参照しながら説明する。
【０１２９】
まず、ユーザがユーザ・インターフェース部６０を介して、ｔ番目の画像フレームにおいて、オブジェクトのエッジ情報の初期値を入力する（ステップＳ８１）。但し、この段階では、オブジェクトの輪郭をわりと大雑把に入力するだけで充分である。
【０１３０】
次いで、この人手で入力されたオブジェクトの輪郭の外形を基に、エッジを抽出して、ｔ番目の画像フレームについての正確な輪郭情報を求める（ステップＳ８２）。
【０１３１】
そして、次のｔ＋１番目の画像フレームに進み（ステップＳ８３）、緩衝領域生成部３０において、この画像フレームについて、緩衝領域の生成を行う（ステップＳ８４）。緩衝領域は、ｔ番目の画像フレームで求めたエッジ上の各注目画素におけるエッジの垂線用いて、ｔ＋１番目の画像フレームにおけるエッジの候補画素すなわち線状画素を求める。より具体的には、図２２〜図２４の各図に示したフローチャートが規定する処理手順に従う。
【０１３２】
次いで、ｔ＋１番目の画像フレームにおいて求めた緩衝領域が良好か否かをチェックする（ステップＳ８５）。緩衝領域が孤立点になったり、緩衝領域が途切れるなど、生成された緩衝領域が良好でない場合には、ユーザ・インターフェース部６０を介した人手入力により緩衝領域を修正する（ステップＳ９４）。
【０１３３】
次いで、エッジ抽出部４０では、求められた緩衝領域を基に、ｔ＋１番目の画像フレームにおけるオブジェクトのエッジ情報を抽出する（ステップＳ８５）。
【０１３４】
次いで、抽出されたエッジ情報が良好か否かをチェックする（ステップＳ８６）。抽出がうまくいかず、エッジの位置を正確に求めることができなかった場合には、ユーザ・インターフェース部６０を介した人手入力により緩衝領域を修正する（ステップＳ９５）。
【０１３５】
そして、次のｔ＋２番目の画像フレームに進み（ステップＳ８８）、緩衝領域生成部３０において、この画像フレームについて、緩衝領域の生成を行う（ステップＳ８９）。緩衝領域は、ｔ＋１番目の画像フレームで求めたエッジ上の各注目画素におけるエッジの垂線用いて、ｔ＋１番目の画像フレームにおけるエッジの候補画素すなわち線状画素を求める。より具体的には、図２２〜図２４の各図に示したフローチャートが規定する処理手順に従う。
【０１３６】
次いで、ｔ＋２番目の画像フレームにおいて求めた緩衝領域が良好か否かをチェックする（ステップＳ９０）。緩衝領域が孤立点になったり、緩衝領域が途切れるなど、生成された緩衝領域が良好でない場合には、ユーザ・インターフェース部６０を介した人手入力により緩衝領域を修正する（ステップＳ９６）。
【０１３７】
次いで、エッジ抽出部４０では、求められた緩衝領域を基に、ｔ＋２番目の画像フレームにおけるオブジェクトのエッジ情報を抽出する（ステップＳ９１）。
【０１３８】
次いで、抽出されたエッジ情報が良好か否かをチェックする（ステップＳ９２）。抽出がうまくいかず、エッジの位置を正確に求めることができなかった場合には、ユーザ・インターフェース部６０を介した人手入力により緩衝領域を修正する（ステップＳ９７）。
【０１３９】
そして、次のｔ＋３番目の画像フレームに進み（ステップＳ９３）、上述と同様の処理を繰り返していく。
【０１４０】
このようにして、連続する各画像フレームから求められた特定のオブジェクトのエッジ情報を基に、例えばオブジェクト（登場人物）のトラッキングなどを行うことができる。
【０１４１】
なお、図３２では図示しないが、緩衝領域の生成において、オブジェクトの動き補正（図９〜図１１を参照のこと）を採用するようにしてもよい。
【０１４２】
上述したような画像処理を、専用のハードウェア構成を備えた画像処理装置によって実現することも可能であるが、汎用的な処理が可能な一般的な計算機システム上で、図６、図２２〜図２４、図３０〜図３２の各フローチャートで示した処理手順をコンピュータ可読形式で記述した画像処理ソフトウェアを実行するという形態でも、本発明を実装することができる。
【０１４３】
図３３には、本発明を実現することができる計算機システム１００のハードウェア構成を模式的に示している。以下、同図を参照しながら、システム１００内の各構成要素について説明する。
【０１４４】
システム１００のメイン・コントローラであるＣＰＵ（Central Processing Unit）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ＣＰＵ１０１は、例えば、図６、図２２〜図２４、図３０〜図３２の各フローチャートで示した処理手順をコンピュータ可読形式で記述した画像処理ソフトウェアを実行することができる。図示の通り、ＣＰＵ１０１は、バス１０８によって他の機器類（後述）と相互接続されている。
【０１４５】
メモリ１０２は、ＣＰＵ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、不揮発及び揮発メモリ双方を含むものと理解されたい。
【０１４６】
ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ１１１によって画面出力される。
【０１４７】
入力機器インターフェース１０４は、キーボード１１２やマウス１１３などのユーザ入力機器を計算機システム１００に接続するための装置である。
【０１４８】
ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従って、システム１００をＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【０１４９】
ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信が行うことができる。例えば、図６、図２２〜図２４、図３０〜図３２の各フローチャートで示した処理手順をコンピュータ可読形式で記述した画像処理ソフトウェアを、ネットワーク経由でダウンロードすることができる。また、画像処理の結果として生成される緩衝領域データを、ネットワーク経由で配信することもできる。
【０１５０】
外部機器インターフェース１０７は、ハード・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ドライブ１１５などの外部装置をシステム１００に接続するための装置である。
【０１５１】
ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１４上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。
【０１５２】
例えば、図６、図２２〜図２４、図３０〜図３２の各フローチャートで示した処理手順をコンピュータ可読形式で記述した画像処理ソフトウェアを、ＨＤＤ１１４上にインストールすることができる。また、画像処理の結果として生成される緩衝領域データをＨＤＤ１１４上に保存することもできる。
【０１５３】
メディア・ドライブ１１５は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【０１５４】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、図６、図２２〜図２４、図３０〜図３２の各フローチャートで示した処理手順をコンピュータ可読形式で記述した画像処理ソフトウェアを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、画像処理の結果として生成される緩衝領域データを、これら可搬型メディアを利用して機器間で物理的に流通・配布することができる。
【０１５５】
なお、図３３に示すような計算機システム１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ"ＰＣ／ＡＴ（Personal Computer/Advanced Technology）"の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る計算機システム１００として適用することも可能である。
【０１５６】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１５７】
【発明の効果】
以上詳記したように、本発明によれば、各画像フレーム間でオブジェクトが変形・移動する場合であっても、各画像フレーム内でのオブジェクトのエッジ情報を好適に抽出することができる、優れた画像処理装置及び方法、記憶媒体、コンピュータ・プログラムを提供することができる。
【０１５８】
また、本発明によれば、各画像フレーム内でのオブジェクトのエッジ情報を抽出するための処理時間や演算量を軽減することができる、優れた画像処理装置及び方法、記憶媒体、コンピュータ・プログラムを提供することができる。
【図面の簡単な説明】
【図１】  本発明の実現に供される画像処理装置１の機能構成を模式的に示したブロック図である。
【図２】  緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を説明するための図である。
【図３】  緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を説明するための図である。
【図４】  緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を説明するための図である。
【図５】  緩衝領域生成部３０によりオブジェクトのエッジ情報の緩衝領域を生成する様子を説明するための図である。
【図６】  画像処理装置１上の動作によって動画像の画像フレームからオブジェクトのエッジ情報を抽出するための処理手順を概略的に示したフローチャートである。
【図７】  過去画像フレームから現在画像フレームの間でオブジェクト（人物など）が大きく動いたため、過去画像フレームのエッジ情報からは現在画像フレーム上で緩衝領域を探索できない様子を描写した図である。
【図８】  オブジェクトの大動き補正をした様子を描写した図である。
【図９】  図６に示したステップＳ４で実行されるオブジェクトの大動き補正の処理手順の一例を示した図である。
【図１０】  図６に示したステップＳ４で実行されるオブジェクトの大動き補正の処理手順の他の例を示した図である。
【図１１】  図６に示したステップＳ４で実行されるオブジェクトの大動き補正の処理手順の他の例を示した図である。
【図１２】  緩衝領域生成部３０の一構成例を示した図である。
【図１３】  エッジ抽出部３１の一構成例を示した図である。
【図１４】  エッジ抽出部３１の他の構成例を示した図である。
【図１５】  エッジ抽出部３１の他の構成例を示した図である。
【図１６】  過去画像フレームの一例を示した図である。
【図１７】  図１６に示す過去画像フレームに対してエッジ抽出部３１でエッジ抽出処理を行った結果を示した図である。
【図１８】  過去画像フレームにおけるオブジェクトのエッジ情報から取り出された注目画素を通過するエッジの法線を設定する様子を示した図である。
【図１９】  マッチング部３４による注目画素の対応画素を探索する処理を説明するための図である。
【図２０】  連続する複数の注目画素に設定された複数本（又は所定本数）の線状画素毎に線状画素を評価する処理手順を説明するための図である。
【図２１】  緩衝領域生成部３０の他の構成例を示した図である。
【図２２】  緩衝領域生成部３０による緩衝領域生成処理の手順の一例を示したフローチャートである。
【図２３】  緩衝領域生成部３０による緩衝領域生成処理の手順の他の例を示したフローチャートである。
【図２４】  緩衝領域生成部３０による緩衝領域生成処理の手順の他の例を示したフローチャートである。
【図２５】  現在画像フレームのエッジ情報を例示した図である。
【図２６】  図２５に示す現在画像フレームに対して生成された緩衝領域を示した図である。
【図２７】  過去画像フレームと現在画像フレームの各々から特定の領域を切り出して、その領域内での画素データ値を表示した図である。
【図２８】  注目画素との差分の閾値を１から５まで変えていったときに、図２７に示した各線状画素＃１〜＃５が「解」として判定されたか否かを表記した図である。
【図２９】  注目画素との差分の閾値を１から５まで変えていったときに、線状画素＃１〜＃５の範囲内で、「解」と判定された線状画素の個数と、注目画素との画素データ値の差分が閾値以下となった画素の個数をそれぞれ表記した図である。
【図３０】  注目画素との画素データ比較に用いる閾値を設定するための処理手順を示したフローチャートである。
【図３１】  エッジ抽出部４０において、緩衝領域生成部３０で生成された緩衝領域からオブジェクトのエッジを抽出する処理手順を示したフローチャートである。
【図３２】  画像処理装置１上の動作によって動画像の画像フレームからオブジェクトのエッジ情報を抽出するための処理手順の他の例を示したフローチャートである。
【図３３】  画像処理を実現可能な計算機システム１００の構成を模式的に示した図である。
【符号の説明】
１０…入力部
２０…フレーム・メモリ
３０…緩衝領域生成部
３１…エッジ抽出部
３２…注目点の法線設定部
３３…線分設定部
３４…マッチング部
３５…動き推定部
４０…エッジ抽出部
５０…出力部
６０…ユーザ・インターフェース部
１００…計算機システム
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…ネットワーク・インターフェース
１０７…外部機器インターフェース，１０８…バス
１１１…ディスプレイ，１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置，１１５…メディア・ドライブ
【図１】
0004622120.tif 000002
【図２】
0004622120.tif 000003
【図３】
0004622120.tif 000004
【図４】
0004622120.tif 000005
【図５】
0004622120.tif 000006
【図６】
0004622120.tif 000007
【図７】
0004622120.tif 000008
【図８】
0004622120.tif 000009
【図９】
0004622120.tif 000010
【図１０】
0004622120.tif 000011
【図１１】
0004622120.tif 000012
【図１２】
0004622120.tif 000013
【図１３】
0004622120.tif 000014
【図１４】
0004622120.tif 000015
【図１５】
0004622120.tif 000016
【図１６】
0004622120.tif 000017
【図１７】
0004622120.tif 000018
【図１８】
0004622120.tif 000019
【図１９】
0004622120.tif 000020
【図２０】
0004622120.tif 000021
【図２１】
0004622120.tif 000022
【図２２】
0004622120.tif 000023
【図２３】
0004622120.tif 000024
【図２４】
0004622120.tif 000025
【図２５】
0004622120.tif 000026
【図２６】
0004622120.tif 000027
【図２７】
0004622120.tif 000028
【図２８】
0004622120.tif 000029
【図２９】
0004622120.tif 000030
【図３０】
0004622120.tif 000031
【図３１】
0004622120.tif 000032
【図３２】
0004622120.tif 000033
【図３３】
0004622120.tif 000034