(57)【特許請求の範囲】
【請求項１】
画像から所定のオブジェクトを抽出する画像処理装置であって、
注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出手段と、
前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択手段と、
前記選択手段において選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映手段と、
前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出に用いられた処理の内容である処理履歴と、ユーザからの入力に基づいて、注目画面からオブジェクトを抽出する処理の内容を決定する決定手段と、
前記処理履歴を記憶する処理履歴記憶手段と
を備え、
前記複数の処理は、異なる閾値を用いた処理であり、
前記履歴情報は、前記オブジェクトを構成する画素ごとの、前記オブジェクトの抽出に用いられた閾値を含み、
前記決定手段は、
前記ユーザが入力した前記注目画面の所定の点を、前記注目画面と前記注目画面より時間的に前に処理された前画面との間の動きベクトルによって補正することにより、前記注目画面の所定の点に対応する、前記前画面の点を求め、
前記前画面についての前記処理履歴に基づいて、前記注目画面の所定の点に対応する、前記前画面の点の画素がオブジェクトとして抽出されたときに用いられた所定の閾値を取得し、
前記所定の閾値と、前記所定の閾値を用いた所定の演算により求められる値とを、前記注目画面の所定の点を含むオブジェクトを抽出する複数の処理に用いられる閾値に決定する
画像処理装置。
【請求項２】
前記処理履歴記憶手段は、前記注目画面から、前記前画面についての前記処理履歴に基づいて抽出されたオブジェクトが、前記注目画面の最終的なオブジェクト抽出結果に反映された場合、前記前画面についての前記処理履歴に含まれる前記オブジェクトを構成する画素ごとの閾値を、前記注目画面と前画面との間の動きベクトルによって補正することにより得られる、その動きベクトル分だけ移動した位置の画素ごとの閾値を、前記注目画面についての処理履歴としてコピーする処理履歴の継承を行う
請求項１に記載の画像処理装置。
【請求項３】
前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出時にユーザが入力した点の座標の履歴である入力履歴を記憶する入力履歴記憶手段をさらに備え、
前記決定手段は、前記ユーザが前記注目画面の点を入力する前に、
前記前画面についての前記入力履歴に基づいて、前記前画面において、前記ユーザが入力した所定の点を、前記注目画面と前画面との間の動きベクトルによって補正することにより、前記前画面の所定の点に対応する、前記注目画面の点を求め、
前記前画面についての前記処理履歴に基づいて、前記前画面の所定の点の画素がオブジェクトとして抽出されたときに用いられた閾値を取得し、
前記前画面の所定の点の画素がオブジェクトとして抽出されたときに用いられた閾値を、前記前画面の所定の点に対応する、前記注目画面の点を含むオブジェクトを抽出する処理に用いられる閾値に決定する
請求項１に記載の画像処理装置。
【請求項４】
前記入力履歴記憶手段は、前記前画面についての入力履歴に基づいて前記注目画面から抽出されたオブジェクトが、注目画面の最終的なオブジェクト抽出結果に反映された場合、前記前画面についての入力履歴である、前記前画面の所定の点を、前記注目画面と前画面との間の動きベクトルによって補正することにより得られる、前記前画面の所定の点に対応する、前記注目画面の点を、前記注目画面についての入力履歴としてコピーする入力履歴の継承を行う
請求項３に記載の画像処理装置。
【請求項５】
画像から所定のオブジェクトを抽出する画像処理方法であって、
注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出ステップと、
前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択ステップと、
前記選択ステップにおいて選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映ステップと、
前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出に用いられた処理の内容である処理履歴と、ユーザからの入力に基づいて、注目画面からオブジェクトを抽出する処理の内容を決定する決定ステップと、
前記処理履歴を記憶する処理履歴記憶ステップと
を備え、
前記複数の処理は、異なる閾値を用いた処理であり、
前記履歴情報は、前記オブジェクトを構成する画素ごとの、前記オブジェクトの抽出に用いられた閾値を含み、
前記決定ステップでは、
前記ユーザが入力した前記注目画面の所定の点を、前記注目画面と前記注目画面より時間的に前に処理された前画面との間の動きベクトルによって補正することにより、前記注目画面の所定の点に対応する、前記前画面の点を求め、
前記前画面についての前記処理履歴に基づいて、前記注目画面の所定の点に対応する、前記前画面の点の画素がオブジェクトとして抽出されたときに用いられた所定の閾値を取得し、
前記所定の閾値と、前記所定の閾値を用いた所定の演算により求められる値とを、前記注目画面の所定の点を含むオブジェクトを抽出する複数の処理に用いられる閾値に決定する
画像処理方法。
【請求項６】
画像から所定のオブジェクトを抽出する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出手段と、
前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択手段と、
前記選択手段において選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映手段と、
前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出に用いられた処理の内容である処理履歴と、ユーザからの入力に基づいて、注目画面からオブジェクトを抽出する処理の内容を決定する決定手段と、
前記処理履歴を記憶する処理履歴記憶手段と
して、コンピュータを機能させるためのプログラムであり、
前記複数の処理は、異なる閾値を用いた処理であり、
前記履歴情報は、前記オブジェクトを構成する画素ごとの、前記オブジェクトの抽出に用いられた閾値を含み、
前記決定手段は、
前記ユーザが入力した前記注目画面の所定の点を、前記注目画面と前記注目画面より時間的に前に処理された前画面との間の動きベクトルによって補正することにより、前記注目画面の所定の点に対応する、前記前画面の点を求め、
前記前画面についての前記処理履歴に基づいて、前記注目画面の所定の点に対応する、前記前画面の点の画素がオブジェクトとして抽出されたときに用いられた所定の閾値を取得し、
前記所定の閾値と、前記所定の閾値を用いた所定の演算により求められる値とを、前記注目画面の所定の点を含むオブジェクトを抽出する複数の処理に用いられる閾値に決定する
プログラムが記録されている記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びに記録媒体に関し、特に、例えば、容易な操作で、的確なオブジェクト抽出を行うことができるようにする画像処理装置および画像処理方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
画像から、いわゆる前景等となっている物体の部分であるオブジェクトを抽出する方法としては、様々な手法が提案されている。
【０００３】
即ち、例えば、特開平１０−２６９３６９号公報には、あるフレームについて、オブジェクトの輪郭を検出することにより、オブジェクトを抽出し、その次のフレームについては、前のフレームのオブジェクトの周辺を探索して、オブジェクトの輪郭を検出し、さらに、その検出結果に基づいて、オブジェクトを抽出することを繰り返す方法が記載されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、注目している注目フレームからの輪郭の検出を、その前のフレームのオブジェクトの周辺に制限して行うと、注目フレームにおいて、オブジェクトが大きく変形した場合や移動した場合に、そのオブジェクトの輪郭の検出を誤る可能性が高くなり、的確なオブジェクト抽出が困難となる。
【０００５】
一方、例えば、ユーザに、各フレームごとに、オブジェクトの輪郭を指定してもらい、その指定された輪郭に基づいて、オブジェクトを抽出するのでは、ユーザの操作負担が大になる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、容易な操作で、的確なオブジェクト抽出を行うことができるようにするものである。
【０００７】
【課題を解決するための手段】
本発明の一側面の画像処理装置、又は、記録媒体は、画像から所定のオブジェクトを抽出する画像処理装置であって、注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出手段と、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択手段と、前記選択手段において選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映手段と、前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出に用いられた処理の内容である処理履歴と、ユーザからの入力に基づいて、注目画面からオブジェクトを抽出する処理の内容を決定する決定手段と、前記処理履歴を記憶する処理履歴記憶手段とを備え、前記複数の処理は、異なる閾値を用いた処理であり、前記履歴情報は、前記オブジェクトを構成する画素ごとの、前記オブジェクトの抽出に用いられた閾値を含み、前記決定手段は、前記ユーザが入力した前記注目画面の所定の点を、前記注目画面と前記注目画面より時間的に前に処理された前画面との間の動きベクトルによって補正することにより、前記注目画面の所定の点に対応する、前記前画面の点を求め、前記前画面についての前記処理履歴に基づいて、前記注目画面の所定の点に対応する、前記前画面の点の画素がオブジェクトとして抽出されたときに用いられた所定の閾値を取得し、前記所定の閾値と、前記所定の閾値を用いた所定の演算により求められる値とを、前記注目画面の所定の点を含むオブジェクトを抽出する複数の処理に用いられる閾値に決定する画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムが記録されている記録媒体である。
【０００８】
本発明の一側面の画像処理方法は、画像から所定のオブジェクトを抽出する画像処理方法であって、注目している注目画面の画像から、複数の処理によってオブジェクトを抽出するオブジェクト抽出ステップと、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものを、ユーザからの入力に基づいて選択する選択ステップと、前記選択ステップにおいて選択されたオブジェクト抽出結果を、最終的なオブジェクト抽出結果に反映させる反映ステップと、前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出に用いられた処理の内容である処理履歴と、ユーザからの入力に基づいて、注目画面からオブジェクトを抽出する処理の内容を決定する決定ステップと、前記処理履歴を記憶する処理履歴記憶ステップとを備え、前記複数の処理は、異なる閾値を用いた処理であり、前記履歴情報は、前記オブジェクトを構成する画素ごとの、前記オブジェクトの抽出に用いられた閾値を含み、前記決定ステップでは、前記ユーザが入力した前記注目画面の所定の点を、前記注目画面と前記注目画面より時間的に前に処理された前画面との間の動きベクトルによって補正することにより、前記注目画面の所定の点に対応する、前記前画面の点を求め、前記前画面についての前記処理履歴に基づいて、前記注目画面の所定の点に対応する、前記前画面の点の画素がオブジェクトとして抽出されたときに用いられた所定の閾値を取得し、前記所定の閾値と、前記所定の閾値を用いた所定の演算により求められる値とを、前記注目画面の所定の点を含むオブジェクトを抽出する複数の処理に用いられる閾値に決定する画像処理方法である。
【００１０】
本発明の一側面においては、注目している注目画面の画像から、複数の処理によってオブジェクトが抽出され、前記複数の処理によるオブジェクト抽出結果から、最終的なオブジェクト抽出結果に反映させるものが、ユーザからの入力に基づいて選択されて、その選択されたオブジェクト抽出結果が、最終的なオブジェクト抽出結果に反映される。また、前記最終的なオブジェクト抽出結果に反映されたオブジェクトの抽出に用いられた処理の内容である処理履歴と、ユーザからの入力に基づいて、注目画面からオブジェクトを抽出する処理の内容が決定される一方、前記処理履歴が記憶される。なお、前記複数の処理は、異なる閾値を用いた処理であり、前記履歴情報には、前記オブジェクトを構成する画素ごとの、前記オブジェクトの抽出に用いられた閾値が含まれる。この場合に、前記ユーザが入力した前記注目画面の所定の点を、前記注目画面と前記注目画面より時間的に前に処理された前画面との間の動きベクトルによって補正することにより、前記注目画面の所定の点に対応する、前記前画面の点が求められ、前記前画面についての前記処理履歴に基づいて、前記注目画面の所定の点に対応する、前記前画面の点の画素がオブジェクトとして抽出されたときに用いられた所定の閾値が取得される。そして、前記所定の閾値と、前記所定の閾値を用いた所定の演算により求められる値とが、前記注目画面の所定の点を含むオブジェクトを抽出する複数の処理に用いられる閾値に決定される。
【００１１】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態のハードウェア構成例を示している。
【００１２】
この画像処理装置は、コンピュータをベースに構成されており、コンピュータには、後述するようなオブジェクト抽出を行うための一連の処理を実行するプログラム（以下、適宜、オブジェクト抽出処理プログラムという）がインストールされている。
【００１３】
なお、画像処理装置は、このように、コンピュータにプログラムを実行させることによって構成する他、それ専用のハードウェアにより構成することも可能である。
【００１４】
ここで、オブジェクト抽出処理プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録される。
【００１５】
あるいはまた、オブジェクト抽出処理プログラムは、フロッピーディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）される。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【００１６】
なお、オブジェクト抽出処理プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるオブジェクト抽出処理プログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【００１７】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているオブジェクト抽出処理プログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているオブジェクト抽出処理プログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたオブジェクト抽出処理プログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたオブジェクト抽出処理プログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、後述するようなフローチャートにしたがった処理、あるいは後述するブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【００１８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【００１９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【００２０】
図２は、図１の画像処理装置の機能的構成例を示している。なお、この機能的構成は、図１のCPU１０２がオブジェクト抽出処理プログラムを実行することによって実現される。
【００２１】
ストレージ１は、オブジェクトを抽出する対象の動画の画像データを記憶する。また、ストレージ１は、処理制御部７から供給される、後述するような各フレームの履歴情報等も記憶する。
【００２２】
注目フレーム処理部２は、ストレージ１に記憶された画像データの所定のフレームを注目フレームとして、その注目フレームの画像データを読み出し、処理制御部７からの制御にしたがい、注目フレームに関する処理を行う。
【００２３】
即ち、注目フレーム処理部２は、注目フレームバッファ２１、背景バッファ２２、オブジェクトバッファ２３、およびセレクタ２４等から構成されている。注目フレームバッファ２１は、ストレージ１から読み出された注目フレームの画像データを記憶する。背景バッファ２２は、注目フレームバッファ２１に記憶された注目フレームの画像のうち、後述するオブジェクトバッファ２３に記憶された部分以外の残りを、背景画像として記憶する。オブジェクトバッファ２３は、後述するオブジェクト抽出部３で抽出される注目フレームのオブジェクトを記憶する。セレクタ２４は、注目フレームバッファ２１に記憶された注目フレーム、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれか１つを選択し、表示部５に供給する。
【００２４】
オブジェクト抽出部３は、処理制御部７の制御にしたがい、注目フレームバッファ２１に記憶された注目フレームから、複数の処理によってオブジェクトを抽出する。
【００２５】
即ち、オブジェクト抽出部３は、境界検出部３１、切り出し部３２、および結果処理部３３等から構成されている。境界検出部３１は、注目フレームバッファ２１に記憶された注目フレームの画像の境界部分を検出し、その境界部分と、境界部分でない部分（以下、適宜、非境界部分という）とを表す２値で構成される、複数種類（ここでは、例えば、３種類）の境界画像を作成する。切り出し部３２は、境界検出部３１において作成された３つの境界画像を参照し、注目フレームバッファ２１に記憶された注目フレームから、オブジェクトを構成する領域を切り出す。さらに、切り出し部３２は、３つの出力バッファ３２Ａ乃至３２Ｃを有しており、３種類の境界画像を参照して切り出した領域を、出力バッファ３２Ａ乃至３２Ｃにそれぞれ記憶させる。結果処理部３３は、切り出し部３２が有する３つの出力バッファ３２Ａ乃至３２Ｃに対応して、３つの結果バッファ３３Ａ乃至３３Ｃを有しており、オブジェクトバッファ２３に記憶されたオブジェクトの抽出結果に、出力バッファ３２Ａ乃至３２Ｃの記憶内容それぞれを合成して、その３つの合成結果を、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶させる。さらに、結果処理部３３は、ユーザがマウス９を操作することによって与えられる入力に基づいて、結果バッファ３３Ａ乃至３３Ｃの記憶内容のうちのいずれかを選択し、オブジェクトバッファ２３の記憶内容に反映させる。
【００２６】
履歴管理部４は、処理制御部７の制御の下、履歴情報を管理する。
【００２７】
即ち、履歴管理部４は、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３等から構成されている。指定位置記憶部４１は、ユーザがマウス９を操作することにより入力した注目フレーム上の位置の座標の履歴を記憶する。履歴画像記憶部４２は、オブジェクト抽出部４２における処理の内容の履歴を表す履歴画像を記憶し、パラメータテーブル記憶部４３は、その履歴画像を構成する画素値としてのＩＤに対応付けて、オブジェクト抽出部３における処理の内容を表すパラメータを記憶する。即ち、パラメータテーブル記憶部４３は、オブジェクト抽出部３における処理の内容を表すパラメータを、ユニークなＩＤと対応付けて記憶する。そして、履歴画像記憶部４２は、オブジェクトを構成する画素ごとに、オブジェクトを構成する画素として抽出するのに用いた処理の内容に対応するＩＤを記憶する。従って、オブジェクトを構成するある画素を、オブジェクトとして抽出するのに用いた処理の内容は、その画素の履歴画像における画素値としてのＩＤに対応付けられている、パラメータテーブル記憶部４３のパラメータを参照することで認識することができる。
【００２８】
ここで、履歴画像記憶部４２には、上述のように、画素をオブジェクトとして抽出したときの処理の内容を表すパラメータに対応付けられているＩＤを、画素値として、そのような画素値で構成される画像が記憶されるため、その画像は、オブジェクト抽出に用いた処理の内容の履歴を表していることから、履歴画像と呼んでいる。また、以下、適宜、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３における記憶内容をまとめて、履歴情報という。
【００２９】
なお、指定位置記憶部４１、履歴画像記憶部４２、およびパラメータテーブル記憶部４３は、少なくとも２つのバンクを有しており、バンク切り替えによって、注目フレームと、その注目フレームの１フレーム前のフレーム（前フレーム）についての履歴情報を記憶することができるようになっている。
【００３０】
表示部５は、セレクタ２４が出力する画像（注目フレームの画像、背景画像、またはオブジェクト）と、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃに記憶された画像を表示する。
【００３１】
動き検出部６は、処理制御部７の制御の下、注目フレームの画像の、前フレームの画像を基準とする動きベクトルを検出し、処理制御部７に供給する。
【００３２】
即ち、動き検出部６は、前フレームバッファ６１を内蔵しており、ストレージ１から、前フレームの画像データを読み出し、前フレームバッファ６１に記憶させる。そして、動き検出部６は、前フレームバッファ６１に記憶された前フレームの画像データと、注目フレーム処理部２の注目フレームバッファ２１に記憶された注目フレームの画像データとを対象としたブロックマッチング等を行うことにより、動きベクトルを検出して、処理制御部７に供給する。
【００３３】
処理制御部７は、イベント検出部８から供給されるイベント情報等に基づき、注目フレーム処理部２、オブジェクト抽出部３、履歴管理部４、および動き検出部６を制御する。さらに、処理制御部７は、イベント検出部８から供給されるイベント情報や、履歴管理部４で管理されている履歴情報に基づいて、オブジェクト抽出部３における処理の内容を決定し、その決定結果に基づいて、オブジェクト抽出部３にオブジェクトを抽出させる。また、処理制御部７は、位置補正部７１を内蔵しており、イベント検出部８からイベント情報として供給される注目フレームの画像上の位置の情報や、履歴管理部４の指定位置記憶部４１に記憶された位置の情報等を、動き検出部６からの動きベクトルにしたがって補正する。この補正された位置の情報は、後述するように、オブジェクト抽出部３に供給され、オブジェクトの抽出に用いられる。あるいは、また、履歴管理部４１に供給され、指定位置記憶部４１で記憶される。
【００３４】
イベント検出部８は、ユーザがマウス９を操作することにより発生するイベントを検出し、そのイベントの内容を表すイベント情報を、処理制御部７に供給する。
【００３５】
マウス９は、表示部５に表示された画像上の位置を指定する場合や、所定のコマンドを装置に与える場合等に、ユーザによって操作される。
【００３６】
次に、図３は、表示部５における画面の表示例を示している。
【００３７】
オブジェクト抽出処理プログラムが実行されると、表示部５には、図３に示すような横と縦がそれぞれ２分割されたウインドウが表示される。
【００３８】
この４分割されたウインドウにおいて、左上の画面は、基準画面とされており、右上、左下、右下の画面は、それぞれ結果画面＃１，＃２，＃３とされている。
【００３９】
基準画面には、セレクタ２４が出力する画像が表示される。上述したように、セレクタ２４は、注目フレームバッファ２１に記憶された注目フレーム、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれか１つを選択し、表示部５に供給するので、基準画面には、注目フレームの画像（原画像）、オブジェクト、または背景のうちのいずれかが表示される。表示部５に、上述のいずれの画像を表示させるかは、ユーザが、マウス９を操作することにより切り替えることができるようになっている。図３の実施の形態においては、背景バッファ２２に記憶された背景画像、即ち、原画像から、オブジェクトバッファ２３にオブジェクトとして取り込まれた画像を除いた画像が、基準画面に表示されている。なお、基準画面において斜線を付してある部分が、現在、オブジェクトバッファ２３に取り込まれている部分を表している（以下、同様）。
【００４０】
また、基準画面の左下には、チェンジディスプレイ(Change Display)ボタン２０１、ユースレコード(Use Record)ボタン２０２、デリートパートリィ(Delete Partly)ボタン２０３、およびアンドゥ(Undo)ボタン２０４が設けられている。
【００４１】
チェンジディスプレイボタン２０１には、基準画面に表示させる画像を切り替えるときに操作される。即ち、セレクタ２４は、チェンジディスプレイボタン２０１がマウス９でクリックされるごとに、注目フレームバッファ２１、背景バッファ２２、オブジェクトバッファ２３の出力を、いわば巡回的に選択し、その結果、基準画面に表示される画像が、原画像、オブジェクト、背景の順に、巡回的に切り替えられる。
【００４２】
ユースレコードボタン２０２は、注目フレームバッファ２１に記憶された注目フレームからオブジェクトを抽出するのに、履歴管理部４に記憶されている履歴情報を利用するかどうかを設定するときに操作される。即ち、ユースレコードボタン２０２がマウス９でクリックされると、基準画面には、履歴情報の利用を許可するかどうか等を設定するためのプルダウンメニューが表示されるようになっている。なお、本実施の形態では、基本的に、履歴情報の利用が許可されているものとする。
【００４３】
デリートパートリィボタン２０３は、オブジェクトバッファ２３に、オブジェクトとして記憶された画像の一部を削除する（オブジェクトから背景に戻す）ときに操作される。即ち、ユーザがマウス９を操作することにより、基準画面に表示されたオブジェクトの所定の部分を範囲指定した後、デリートパートリィボタン２０３をマウス９でクリックすると、その範囲指定されたオブジェクトの所定の部分が、オブジェクトバッファ２３から削除される。従って、デリートパートリィボタン２０３は、例えば、オブジェクトバッファ２３に、背景の一部が、オブジェクトとして取り込まれた場合に、その背景部分を、オブジェクトから削除するような場合に使用される。
【００４４】
アンドゥボタン２０４は、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃから、オブジェクトバッファ２３に、オブジェクトとして取り込まれた画像のうち、前回取り込まれた部分を削除するときに操作される。従って、アンドゥボタン２０４が操作されると、オブジェクトバッファ２３に記憶された画像は、結果バッファ３３Ａ乃至３３Ｃから画像が取り込まれる直前の状態に戻る。なお、オブジェクトバッファ２３は、複数バンクを有しており、結果バッファ３３Ａ乃至３３Ｃから画像が取り込まれる直前の状態を、少なくとも保持している。そして、アンドゥボタン２０４が操作された場合には、オブジェクトバッファ２３は、直前に選択していたバンクへのバンク切り替えを行うことにより、セレクタ２４に出力する画像を切り替える。
【００４５】
結果画面＃１乃至＃３には、注目フレームから、異なる処理で抽出されたオブジェクトが記憶された結果バッファ３３Ａ乃至３３Ｃの記憶内容、即ち、３つの異なる処理で行われたオブジェクト抽出の結果がそれぞれ表示される。また、結果画面＃１乃至＃３それぞれの左下には、ランクリザルト(Rank Result)ボタン２０６、グラブオール(Grab All)ボタン２０７、およびグラブパートリィ(Grab Partly)ボタン２０８が設けられている。
【００４６】
ランクリザルトボタン２０６は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果の順位付けを行うときに操作される。即ち、結果画面＃１乃至＃３それぞれのランクリザルトボタン２０６を、ユーザがマウス９を操作することにより、オブジェクト抽出結果として好ましいと考える順番でクリックすると、そのクリック順に、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果に対して、順位付けが行われる。そして、オブジェクト抽出部３では、その順位付けに基づいて、再度、オブジェクトの抽出が行われ、そのオブジェクト抽出結果が、結果画面＃１乃至＃３に表示される。
【００４７】
グラブオールボタン２０７は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかを、オブジェクトバッファ２３に反映する（取り込む）ときに操作される。即ち、ユーザがマウス９を操作することにより、結果画面＃１乃至＃３のうちの、好ましいと考えるオブジェクト抽出結果が表示されているもののグラブオールボタン２０７をクリックすると、その結果画面に表示されたオブジェクト抽出結果を記憶している結果バッファの記憶内容のすべてが選択され、オブジェクトバッファ２３に反映される。
【００４８】
グラブパートリィボタン２０８は、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかの一部を、オブジェクトバッファ２３に反映する（取り込む）ときに操作される。即ち、ユーザがマウス９を操作することにより、結果画面＃１乃至＃３のうちの、好ましいと考えるオブジェクト抽出結果の一部分を範囲指定した後、グラブパートリィボタン２０８をマウス９でクリックすると、その範囲指定されたオブジェクト抽出結果の一部分が選択され、オブジェクトバッファ２３に反映される。
【００４９】
次に、図４のフローチャートを参照して、図２の画像処理装置の処理の概要について説明する。
【００５０】
ユーザがマウス９を操作することにより、何らかのイベントが生じると、イベント検出部８は、ステップＳ１において、そのイベントの内容を判定する。
【００５１】
ステップＳ１において、イベントが、表示部５の基準画面に表示させる画像を切り替える「画面選択」を指示するものであると判定された場合、即ち、チェンジディスプレイボタン２０１（図３）がクリックされた場合、イベント検出部８は、「画面選択」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「画面選択」を表すイベント情報を受信すると、ステップＳ２に進み、注目フレーム処理部２のセレクタ２４を制御し、処理を終了する。
【００５２】
これにより、セレクタ２４は、注目フレームバッファ２１、背景バッファ２２、またはオブジェクトバッファ２３の出力の選択を切り替え、その結果、基準画面に表示される画像が、図５に示すように、注目フレームバッファ２１に記憶された注目フレームの原画像、背景バッファ２２に記憶された背景画像、またはオブジェクトバッファ２３に記憶されたオブジェクトのうちのいずれかに切り替えられる。
【００５３】
また、ステップＳ１において、イベントが、オブジェクトバッファ２３に直前反映された画像を削除する「アンドゥ」を指示するものであると判定された場合、即ち、アンドゥボタン２０４がクリックされた場合、イベント検出部８は、「アンドゥ」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「アンドゥ」を表すイベント情報を受信すると、ステップＳ３に進み、注目フレーム処理部２のオブジェクトバッファ２３を制御し、オブジェクトバッファ２３に直前に反映されたオブジェクトの部分を削除させ、ステップＳ４に進む。
【００５４】
ステップＳ４では、処理制御部７は、履歴管理部４１を制御することにより、ステップＳ３でオブジェクトバッファ２３から削除された画像に関する履歴情報を削除させ、処理を終了する。
【００５５】
即ち、オブジェクトバッファ２３に、オブジェクトとなる画像が反映された（取り込まれた）場合、後述するように、その反映された画像に関して、履歴管理部４で管理されている履歴情報が更新される。このため、オブジェクトバッファ２３から画像が削除された場合には、その削除された画像に関する履歴情報が削除される。
【００５６】
一方、ステップＳ１において、イベントが、オブジェクトバッファ２３に反映された画像の一部分を削除する「部分削除」を指示するものであると判定された場合、即ち、所定の範囲が指定され、さらに、デリートパートリィボタン２０３がクリックされた場合、イベント検出部８は、「部分削除」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「部分削除」を表すイベント情報を受信すると、ステップＳ５に進み、注目フレーム処理部２のオブジェクトバッファ２３を制御し、オブジェクトバッファ２３にオブジェクトとして記憶された画像のうちの、範囲指定された部分を削除させ、ステップＳ４に進む。
【００５７】
ステップＳ４では、処理制御部７は、履歴管理部４１を制御することにより、ステップＳ５でオブジェクトバッファ２３から削除された画像に関する履歴情報を削除させ、処理を終了する。
【００５８】
従って、例えば、図６（Ａ）に示すように、オブジェクトバッファ２３に、人間の胴体部分を表すオブジェクトｏｂｊ１が記憶されているとともに、背景バッファ２２に、人間の頭部を表すオブジェクトｏｂｊ２とともに、風景等の背景が記憶されている場合において、オブジェクト抽出部３において、人間の頭部を表すオブジェクトｏｂｊ２が抽出され、オブジェクトバッファ２３に反映されると、図６（Ｂ）に示すように、オブジェクトバッファ２３の記憶内容は、オブジェクトｏｂｊ１とｏｂｊ２となり、背景バッファ２２の記憶内容は、風景等の背景部分のみとなる。
【００５９】
この場合に、ユーザが、マウス９で、アンドゥボタン２０４をクリックすると、図６（Ｃ）に示すように、オブジェクトバッファ２３の記憶内容は、人間の頭部を表すオブジェクトｏｂｊ２が反映される前の、人間の胴体部分を表すオブジェクトｏｂｊ１だけが記憶されている状態に戻り、背景バッファ２２の記憶内容も、人間の頭部を表すオブジェクトｏｂｊ２とともに、風景等の背景が記憶されている状態に戻る。即ち、背景バッファ２２およびオブジェクトバッファ２３の記憶内容は、図６（Ａ）に示した状態に戻る。
【００６０】
また、ユーザが、マウス９を操作することにより、例えば、図６（Ｂ）に示すように、人間の頭部を表すオブジェクトｏｂｊ２の一部を範囲指定し、さらに、デリートパートリィボタン２０３をクリックすると、図６（Ｄ）に示すように、オブジェクトバッファ２３の記憶内容は、オブジェクトｏｂｊ２のうちの、範囲指定された部分が削除された状態となり、背景バッファ２２の記憶内容は、その範囲指定された部分が、風景等の背景部分に加えられた状態になる。
【００６１】
一方、ステップＳ１において、イベントが、基準画面または結果画面＃１乃至＃３のうちのいずれかに表示された画像上の位置を指定する「位置指定」を表すものであると判定された場合、即ち、例えば、図７に示すように、ユーザがマウス９を操作することにより、基準画面に表示された原画像や背景画像におけるオブジェクトのある位置をクリックした場合、イベント検出部８は、「位置指定」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「位置指定」を表すイベント情報を受信すると、ステップＳ６に進み、マウス９でクリックされた位置等に基づいて、オブジェクト抽出部３に行わせる３つのオブジェクト抽出処理の内容を決定し、その３つのオブジェクト抽出処理によりオブジェクトの抽出を行うように、オブジェクト抽出部３を制御する。
【００６２】
これにより、オブジェクト抽出部３は、ステップＳ７において、３つのオブジェクト抽出処理を行い、その結果得られる３つのオブジェクト抽出結果を、結果処理部３３の結果バッファ３３Ａ乃至３３Ｃに、それぞれ記憶させる。
【００６３】
そして、ステップＳ８に進み、表示部５は、結果バッファ３３Ａ乃至３３Ｃに記憶されたオブジェクト抽出結果を、結果画面＃１乃至＃３にそれぞれ表示し、処理を終了する。
【００６４】
また、ステップＳ１において、イベントが、結果画面＃１乃至＃３それぞれに表示されたオブジェクト抽出結果の（良好さの）順位を指定する「順位指定」を表すものであると判定された場合、即ち、結果画面＃１乃至＃３それぞれに表示されたランクリザルトボタン２０６が、所定の順番でクリックされた場合、イベント検出部８は、「順位指定」を表すイベント情報を、処理制御部７に供給する。処理制御部７は、「順位指定」を表すイベント情報を受信すると、ステップＳ６に進み、「順位指定」によって指定された順位に基づいて、オブジェクト抽出部３に行わせる３つのオブジェクト抽出処理の内容を決定し、その３つのオブジェクト抽出処理によりオブジェクトの抽出を行うように、オブジェクト抽出部３を制御する。そして、以下、ステップＳ７，Ｓ８に順次進み、上述した場合と同様の処理が行われる。
【００６５】
一方、ステップＳ１において、イベントが、結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかを選択し、その全部または一部を、オブジェクトバッファ２３に反映する「全取得」または「部分取得」を表すものであると判定された場合、即ち、結果画面＃１乃至＃３のうちのいずれかのグラブオールボタン２０７がクリックされた場合、または結果画面＃１乃至＃３に表示されたオブジェクト抽出結果のうちのいずれかの一部が範囲指定され、さらに、グラブパートリィボタン２０８がクリックされた場合、イベント検出部８は、「全取得」または「部分取得」を表すイベント情報を、処理制御部７に供給し、処理制御部７は、「全取得」または「部分取得」を表すイベント情報を受信すると、ステップＳ９に進む。
【００６６】
ステップＳ９では、処理制御部７が、オブジェクト抽出部３の結果処理部３３を制御することにより、結果画面＃１乃至＃３のうちの、グラブオールボタン２０７がクリックされたものに対応する結果バッファに記憶されたオブジェクト抽出結果の全体を選択させ、オブジェクトバッファ２３に反映させる（記憶させる）。あるいは、また、ステップＳ９では、処理制御部７が、オブジェクト抽出部３の結果処理部３３を制御することにより、結果画面＃１乃至＃３のうちの、グラブパートリィボタン２０８がクリックされたものに対応する結果バッファに記憶されたオブジェクト抽出結果のうちの範囲指定された部分を選択させ、オブジェクトバッファ２３に反映させる。
【００６７】
従って、例えば、オブジェクトバッファ２３の記憶内容が、図８（Ａ）に示すようなものであり、ある結果画面＃ｉに対応する結果バッファに記憶されたオブジェクト抽出結果が、図８（Ｂ）に示すようなものである場合において、結果画面＃ｉに表示されたグラブオールボタン２０７が操作されたときには、オブジェクトバッファ２３の記憶内容は、図８（Ｃ）に示すように、図８（Ｂ）に示した結果バッファに記憶されたオブジェクト抽出結果に更新（上書き）される。
【００６８】
また、結果画面＃ｉに表示されたオブジェクト抽出結果のうちの一部が、図８Ｂ）に長方形で囲んで示すように範囲指定され、さらに、結果画面＃ｉに表示されたグラブパートリィボタン２０８が操作されたときには、オブジェクトバッファ２３の記憶内容は、図８（Ｄ）に示すように、図８（Ａ）に示したオブジェクトに、図８（Ｂ）に示した範囲指定された部分のオブジェクト抽出結果を加えた（合成した）ものに更新される。
【００６９】
そして、ステップＳ１０に進み、処理制御部７は、履歴管理部４を制御することにより、ステップＳ９でオブジェクトバッファ２３に反映させた画像に関して、履歴情報を更新させ、処理を終了する。
【００７０】
以上のように、３つのオブジェクト抽出処理によるオブジェクト抽出結果が結果画面＃１乃至＃３にそれぞれ表示され、ユーザが、結果画面＃１乃至＃３のうちのいずれかにおけるグラブオールボタン２０７またはグラブパートリィボタン２０８をクリックすると、その結果画面に表示されたオブジェクト抽出結果が、オブジェクトバッファ２３に反映される。従って、ユーザは、結果画面＃１乃至＃３に表示された異なるオブジェクト抽出処理によるオブジェクト抽出結果を見て、良好なものを選択する操作をするだけで良く、さらに、オブジェクトバッファ２３には、異なるオブジェクト抽出処理により得られたオブジェクト抽出結果のうち、ユーザが良好であると判断して選択したものが反映される。その結果、容易な操作で、的確なオブジェクト抽出を行うことができる。
【００７１】
また、結果画面＃１乃至＃３には、それぞれ異なる処理によって抽出されたオブジェクトが表示されるが、ある処理によるオブジェクト抽出結果が、全体としては、それほど良好でなくても、その一部についてだけ見れば、良好な場合がある。この場合、その一部を範囲指定して、グラブパートリィボタン２０８をクリックすることにより、その良好に抽出されているオブジェクトの一部分を、オブジェクトバッファ２３に反映させることができ、その結果、最終的には、オブジェクトバッファ２３に、良好なオブジェクト抽出結果が記憶されることになる。
【００７２】
一方、ステップＳ１において、イベントが、注目フレームからの最終的なオブジェクト抽出結果を、オブジェクトバッファ２３に記憶された画像に確定する「確定」を表すものであると判定された場合、イベント検出部８は、「確定」を表すイベント情報を、処理制御部７に供給する。
【００７３】
処理制御部７は、「確定」を表すイベント情報を受信すると、ステップＳ１１に進み、注目フレーム処理部２から、オブジェクトバッファ２３に記憶された注目フレームのオブジェクトを読み出すとともに、履歴管理部４から、注目フレームについての履歴情報を読み出し、ストレージ１に供給して記憶させる。そして、ステップＳ１２に進み、処理制御部７は、ストレージ１に、注目フレームの次のフレームが記憶されているかどうかを判定し、記憶されていないと判定した場合、ステップＳ１３およびＳ１４をスキップして、処理を終了する。
【００７４】
また、ステップＳ１２において、ストレージ１に、注目フレームの次のフレームが記憶されていると判定された場合、ステップＳ１３に進み、処理制御部７は、その、次のフレームを、新たに注目フレームとし、注目フレームバッファ２１に供給して記憶させる。さらに、処理制御部７は、背景バッファ２２、結果バッファ３３Ａ乃至３３Ｃ、前フレームバッファ６１の記憶内容をクリアして、ステップＳ１４に進む。ステップＳ１４では、処理制御部７の制御の下、ステップＳ１３で注目フレームバッファ２１に新たに記録された注目フレームについて、後述するような初期抽出処理が行われ、処理を終了する。
【００７５】
次に、図２のオブジェクト抽出部３が行うオブジェクト抽出処理について説明する。
【００７６】
本実施の形態では、オブジェクト抽出部３は、基本的に、注目フレームにおける境界部分を検出し、その境界部分で囲まれる領域を、オブジェクトとして抽出するようになっている。
【００７７】
即ち、図９は、オブジェクト抽出部３の境界検出部３１の構成例を示している。
【００７８】
ＨＳＶ分離部２１１は、注目フレームバッファ２１に記憶された注目フレームを読み出し、その画素値を、Ｈ（色相），Ｓ（彩度），Ｖ（明度）の各成分に分離する。即ち、注目フレームの画素値が、例えば、ＲＧＢ(Red, Green, Blue)で表現されている場合、ＨＳＶ分離部２１１は、例えば、次式にしたがって、ＲＧＢの画素値を、ＨＳＶの画素値に変換する。
【００７９】
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ）
Ｘ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
Ｓ＝（Ｖ−Ｘ）／Ｖ×２５５
Ｈ＝（Ｇ−Ｂ）／（Ｖ−Ｘ）×６０        但し、Ｖ＝Ｒのとき
Ｈ＝（Ｂ−Ｒ）／（Ｖ−Ｘ＋２）×６０    但し、Ｖ＝Ｇのとき
Ｈ＝（Ｒ−Ｇ）／（Ｖ−Ｘ＋４）×６０    但し、上記以外のとき
なお、ここでは、注目フレームの元の画素値であるＲ，Ｇ，Ｂの各成分が、例えば、８ビット（０乃至２５５の範囲の整数値）で表されるものとしてある。また、ｍａｘ（）は、カッコ内の値の最大値を表し、ｍｉｎ（）は、カッコ内の値の最小値を表す。
【００８０】
ＨＳＶ分離部２１１は、ＨＳＶの各成分に変換した画素値のうち、Ｈ，Ｓ，Ｖ成分を、それぞれ、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖに供給する。
【００８１】
エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖは、ＨＳＶ分離部２１１からのＨ，Ｓ，Ｖ成分で構成される画像（以下、適宜、それぞれを、Ｈプレーン、Ｓプレーン、Ｖプレーンという）それぞれを対象に、エッジ検出を行う。
【００８２】
即ち、エッジ検出部２１２Ｈは、Ｈプレーンの画像に、ソーベルオペレータ(Sobel Operator)によるフィルタリングを行うことで、Ｈプレーンの画像からエッジを検出する。
【００８３】
具体的には、Ｈプレーンの画像の左からｘ＋１番目で、上からｙ＋１番目の画素のＨ成分を、Ｉ（ｘ，ｙ）と表すとともに、その画素のソーベルオペレータによるフィルタリング結果をＥ（ｘ，ｙ）と表すと、エッジ検出部２１２Ｈは、次式で表される画素値Ｅ（ｘ，ｙ）で構成されるエッジ画像を求める。
【００８４】
0004482779.tif 000002
【００８５】
エッジ検出部２１２Ｓと２１２Ｖでも、エッジ検出部２１２Ｈにおける場合と同様にして、ＳプレーンとＶプレーンの画像について、エッジ画像が求められる。
【００８６】
Ｈ，Ｓ，Ｖプレーンの画像から得られたエッジ画像は、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖから、二値化部２１３Ｈ，２１３Ｓ，２１３Ｖにそれぞれ供給される。二値化部２１３Ｈ，２１３Ｓ，２１３Ｖは、Ｈ，Ｓ，Ｖプレーンのエッジ画像を、所定の閾値と比較することで二値化し、その結果得られるＨ，Ｓ，Ｖプレーンの二値化画像（画素値が０か、または１の画像）を、細線化部２１４Ｈ，２１４Ｓ，２１４Ｖにそれぞれ供給する。
【００８７】
細線化部２１４Ｈ，２１４Ｓ，２１４Ｖは、二値化部２１３Ｈ，２１３Ｓ，２１３Ｖから供給されるＨ，Ｓ，Ｖプレーンの二値化画像における境界部分の細線化を行い、その結果得られるＨ，Ｓ，Ｖプレーンの境界画像を、境界画像記憶部２１５Ｈ，２１５Ｓ，２１５Ｖにそれぞれ供給して記憶させる。
【００８８】
次に、図１０を参照して、図９の細線化部２１４Ｈにおいて、Ｈプレーンの二値化画像を対象に行われる細線化処理について説明する。
【００８９】
細線化処理では、図１０（Ａ）のフローチャートに示すように、まず最初に、ステップＳ２１において、所定のフラグｖが０にリセットされ、ステップＳ２２に進む。ステップＳ２２では、Ｈプレーンの二値化画像を構成する画素が、ラスタスキャン順に参照され、ステップＳ２３に進む。ステップＳ２３では、Ｈプレーンの二値化画像を構成する画素のうち、ラスタスキャン順で、まだ参照されていない画素が存在するかどうかが判定され、まだ参照されていない画素が存在すると判定された場合、ラスタスキャン順で最初に検出される、まだ参照されていない画素を、注目画素として、ステップＳ２４に進む。
【００９０】
ステップＳ２４では、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０であり、かつ注目画素の画素値ｃが所定の値ａ（０および１以外の値）に等しくないかどうかが判定される。ステップＳ２４において、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０でないと判定されるか（従って、隣接する４つの画素の中に、画素値が０のものがない）、または注目画素の画素値ｃが所定の値ａに等しいと判定された場合、ステップＳ２２に戻り、以下、同様の処理を繰り返す。
【００９１】
また、ステップＳ２４において、注目画素の上下左右にそれぞれ隣接する４つの画素のうちの１以上の画素値が０であり、かつ注目画素の画素値ｃが所定の値ａに等しくないと判定された場合、ステップＳ２５に進み、フラグｖに１がセットされ、ステップＳ２６に進む。
【００９２】
ステップＳ２６では、図１０（Ｂ）に示すような、注目画素ｃに隣接する８つの画素の画素値ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８の加算値（ａ１＋ａ２＋ａ３＋ａ４＋ａ５＋ａ６＋ａ７＋ａ８が６以下であるかどうかが判定される。
【００９３】
ステップＳ２６において、注目画素ｃに隣接する８つの画素値の加算値が６以下でないと判定された場合、ステップＳ２８に進み、注目画素の画素値ｃに、所定の値ａがセットされ、ステップＳ２２に戻る。
【００９４】
また、ステップＳ２６において、注目画素ｃに隣接する８つの画素値の加算値が６以下であると判定された場合、ステップＳ２７に進み、次の条件式が成立するか否かが判定される。
【００９５】
(a2+a4+a6+a8)-(a1&a2&a3)-(a4&a5&a6)-(a7&a8&a1)=1
但し、&は、論理積を表す。
【００９６】
ステップＳ２７において、条件式が成立しないと判定された場合、ステップＳ２８に進み、上述したように、注目画素の画素値ｃに、所定の値ａがセットされ、ステップＳ２２に戻る。
【００９７】
また、ステップＳ２７において、条件式が成立すると判定された場合、ステップＳ２９に進み、注目画素の画素値ｃが０とされ、ステップＳ２２に戻る。
【００９８】
一方、ステップＳ２３において、Ｈプレーンの二値化画像を構成する画素のうち、ラスタスキャン順で、まだ参照されていない画素が存在しないと判定された場合、即ち、二値化画像を構成するすべての画素を注目画素として処理を行った場合、ステップＳ３０に進み、フラグｖが０であるかどうかが判定される。
【００９９】
ステップＳ３０において、フラグｖが０でないと判定された場合、即ち、フラグｖが１である場合、ステップＳ２１に戻り、以下、同様の処理が繰り返される。また、ステップＳ３０において、フラグｖが０であると判定された場合、処理を終了する。
【０１００】
その後、細線化部２１４Ｈは、上述の細線化処理の結果得られた画像を構成する画素のうち、画素値が所定の値ｃになっているものの画素値を１に変換し、その変換後の画像を、境界画像として、境界画像記憶部２１５Ｈに供給する。これにより、境界画像記憶部２１５Ｈには、Ｈプレーンの画像において境界部分が１で、非境界部分が０となっている境界画像が記憶される。
【０１０１】
細線化部２１４Ｓと２１４Ｖでも、細線化部２１４Ｈにおける場合と同様の処理が行われることにより、ＳとＨプレーンの境界画像がそれぞれ求められる。
【０１０２】
ここで、図１０で説明したような細線化の方法については、例えば、横井、鳥脇、福村、「標本化された２値図形のトポロジカルな性質について」、電子情報通信学会論文誌（Ｄ），Ｊ５６−Ｄ，ｐｐ．６６２−６６９，１９７３等に、その詳細が開示されている。なお、細線化の方法は、上述した手法に限定されるものではない。
【０１０３】
図１１は、境界画像の例を示している。
【０１０４】
図１１（Ａ）は、原画像を示しており、図１１（Ｂ）は、図１１（Ａ）の原画像から得られたＶプレーンの境界画像を示している。また、図１１（Ｃ）は、図１１（Ａ）の原画像から得られたＨプレーンの境界画像を示している。図１１（Ｂ）と図１１（Ｃ）を比較することにより、Ｖプレーンでは、比較的小さな凹または凸部分も、境界部分として検出されているのに対して、Ｈプレーンでは、比較的大きな凹または凸部分だけが、境界部分として検出されていることが分かる。このように、Ｈ，Ｓ，Ｖプレーンでは、境界部分として検出される凹または凸部分のレベルが異なる。
【０１０５】
ここで、図１１（Ｂ）および図１１（Ｃ）では、白抜きの部分（境界部分）が、境界画像において画素値が１になっている部分を表しており、黒塗りの部分が、境界画像において画素値が０になっている部分を表している。
【０１０６】
なお、境界検出部３１では、上述のように、Ｈ，Ｓ，Ｖプレーンそれぞれについて、３つの境界画像が作成される他、いずれか１つのプレーンについて、二値化するときの閾値を３つ用いることにより、その３つの閾値にそれぞれ対応する３つの境界画像が作成される場合がある。以下、適宜、Ｈ，Ｓ，Ｖプレーンについて、３つの境界画像が作成される場合に用いられる閾値を、それぞれ、ＴＨH，ＴＨS，ＴＨVと表す。また、ある１つのプレーンについて３つの境界画像が作成される場合に用いられる３つの閾値を、以下、適宜、ＴＨ１，ＴＨ２，ＴＨ３と表す。
【０１０７】
次に、図１２のフローチャートを参照して、図２の切り出し部３２で行われる切り出し処理について説明する。なお、境界検出部３１では、上述したように、３つの境界画像が得られるが、ここでは、そのうちの１つの境界画像に注目して、切り出し処理を説明する。また、以下、適宜、３つの出力バッファ３２Ａ乃至３２Ｃのうちの、注目している境界画像（注目境界画像）に基づいて、注目フレームから切り出される画像が記憶されるものを、注目出力バッファという。
【０１０８】
切り出し処理では、注目出力バッファの記憶内容がクリアされた後、ステップＳ４１において、ユーザが、マウス９を操作することにより指定した注目フレームの画像上の位置（指定位置）にある画素の画素値が、注目フレームバッファ２１から読み出され、注目出力バッファに書き込まれる。即ち、オブジェクト抽出部３は、図４で説明したように、ユーザが「位置指定」または「順位指定」を行った場合に処理を行うが、ステップＳ４１では、ユーザが直前に行った「位置指定」によって指定した注目フレーム上の位置にある画素の画素値が、注目出力バッファに書き込まれる。そして、ステップＳ４２に進み、注目出力バッファに、未処理の画素（画素値）が記憶されているかどうかが判定される。
【０１０９】
ステップＳ４２において、注目出力バッファに、未処理の画素が記憶されていると判定された場合、ステップＳ４３に進み、注目出力バッファに記憶されている画素のうちの、未処理の画素の任意の１つが、注目画素とされ、ステップＳ４４に進む。ステップＳ４４では、注目画素の上、下、左、右、左上、左下、右上、右下にそれぞれ隣接する８画素の画素値が、境界画像から取得され、ステップＳ４５に進む。
【０１１０】
ステップＳ４５では、境界画像における、注目画素に隣接する８画素の画素値の中に、境界部分となっている境界画素（本実施の形態では、画素値が１になっている画素）が存在するかどうかが判定される。ステップＳ４５において、注目画素に隣接する８画素の画素値の中に、境界画素が存在すると判定された場合、ステップＳ４６をスキップして、ステップＳ４２に戻り、以下、同様の処理が繰り返される。即ち、注目画素に隣接する８画素の画素値の中に、境界画素が存在する場合は、その８画素の画素値の注目出力バッファへの書き込みは行われない。
【０１１１】
また、ステップＳ４５において、注目画素に隣接する８画素の画素値の中に、境界画素が存在しないと判定された場合、ステップＳ４６に進み、その８画素の画素値が、注目フレームバッファ２１から読み出され、注目出力バッファの対応するアドレスに記憶される。即ち、注目画素に隣接する８画素の画素値の中に、境界画素が存在しない場合は、その８画素が、ユーザがマウス９でクリックした位置（「位置指定」により指定した位置）を含むオブジェクトの内部の領域であるとして、その８画素の画素値が、注目出力バッファに書き込まれる。
【０１１２】
その後は、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１１３】
なお、注目出力バッファに対して、ステップＳ４６で画素値を書き込もうとしている画素に、画素値が、既に書き込まれている場合は、画素値が上書きされる。また、画素値が上書きされた画素が、既に、注目画素とされている場合には、その画素は、上書きが行われても、未処理の画素とはされず、処理済みの画素のままとされる。
【０１１４】
一方、ステップＳ４２において、注目出力バッファに、未処理の画素が記憶されていないと判定された場合、処理を終了する。
【０１１５】
次に、図１３を参照して、切り出し部３２が行う切り出し処理について、さらに説明する。
【０１１６】
切り出し部３２は、図１３（Ａ）に示すように、ユーザが、マウス９を操作することにより指定した注目フレームの画像上の位置（指定位置）にある画素の画素値を、注目フレームバッファ２１から読み出し、出力バッファに書き込む。さらに、切り出し部３２は、出力バッファに記憶されている画素のうちの、未処理の画素の任意の１つを、注目画素とし、その注目画素に隣接する８画素の画素値を、境界画像から取得する。そして、切り出し部３２は、境界画像における、注目画素に隣接する８画素の画素値の中に、境界画素が存在しない場合には、その８画素の画素値を、注目フレームバッファ２１から読み出し、出力バッファに書き込む。その結果、出力バッファには、図１３（Ｂ）に示すように、ユーザがマウス９によって指定した位置にある画素（図１３（Ｂ）において、●印で示す）を起点として、境界画素で囲まれる領域の内部を構成する画素の画素値が書き込まれていく。
【０１１７】
以上の処理が、出力バッファに記憶された画素の中に、未処理の画素がなくなるまで行われることにより、出力バッファには、注目フレームの画像のうちの、境界画素で囲まれる領域が記憶される。
【０１１８】
従って、以上のような切り出し処理によれば、ユーザが、オブジェクトであるとして指定した点を起点として、その起点を含む、境界部分で囲まれる注目フレームの領域が切り出されるので、オブジェクトを構成する領域を、精度良く切り出すことができる。即ち、オブジェクトを構成する領域の切り出しを、すべて自動で行う場合には、ある領域が、オブジェクトを構成するかどうかの判断が困難であり、その結果、オブジェクトを構成しない画素から、領域の切り出しが開始されることがある。これに対して、図１２の切り出し処理では、ユーザが、オブジェクトであるとして指定した点を起点として、領域の切り出しが行われるので、必ず、オブジェクトを構成する領域の画素から、領域の切り出しが開始され、オブジェクトを構成する領域を、精度良く切り出すことができる。
【０１１９】
なお、図１２の切り出し処理は、境界検出部３１で得られる３つの境界画像それぞれに基づいて行われ、その３つの境界画像に基づいて得られる領域の切り出し結果は、それぞれ、出力バッファ３２Ａ乃至３２Ｃに記憶される。そして、その出力バッファ３２Ａ乃至３２Ｃの記憶内容が、結果バッファ３３Ａ乃至３３Ｃにそれぞれ転送され、その結果、結果画面＃１乃至＃３には、それぞれ、異なる処理によって得られたオブジェクト抽出結果が表示される。
【０１２０】
次に、図１４乃至図１６を参照して、図２の履歴管理部４が管理する履歴情報について説明する。
【０１２１】
「部分取得」または「全取得」によって、結果バッファ３３Ａ乃至３３Ｃのうちのいずれかに記憶されたオブジェクト抽出結果の全部または一部が、オブジェクトバッファ２３に反映されると（書き込まれると）、履歴管理部４は、指定位置記憶部４１に記憶された指定位置、履歴画像記憶部４２に記憶された履歴画像、およびパラメータテーブル記憶部４３のエントリを更新する。
【０１２２】
即ち、例えば、いま、人間の全身が表示された注目フレームから、その人間が表示された部分をオブジェクトとして抽出する場合において、その胴体部分と下半身部分の画像が、オブジェクトとして、既に抽出され、オブジェクトバッファ２３に記憶されているとすると、履歴画像記憶部４２には、例えば、図１４（Ａ）に示すように、胴体部分を抽出するのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値に対応付けられたＩＤ１が画素値となっている胴体部分の画素、および下半身部分を抽出するのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値に対応付けられたＩＤ２が画素値となっている下半身部分の画素からなる履歴画像が記憶されている。
【０１２３】
なお、図１４（Ａ）の実施の形態では、胴体部分を抽出するのに用いた境界画像のプレーンはＨプレーンとなっており、そのＨプレーンの境界画像を得るのに用いた閾値（境界画像を得るための二値化に用いられた閾値）は１００となっている。また、下半身部分を抽出するのに用いた境界画像のプレーンはＶプレーンとなっており、その境界画像を得るのに用いた閾値は８０となっている。
【０１２４】
そして、この場合、パラメータテーブル記憶部４３には、ＩＤ１と、Ｈプレーンおよび閾値１００とが対応付けられて記憶されているとともに、ＩＤ２と、Ｖプレーンおよび閾値８０とが対応付けられて記憶されている。
【０１２５】
ここで、オブジェクトバッファ２３に記憶されたオブジェクトの抽出に用いられた境界画像のプレーンと、その境界画像を得るのに用いられた閾値とのセットを、以下、適宜、パラメータセットという。
【０１２６】
その後、ユーザが、人間の全身が表示された注目フレームにおける頭部の画素をマウス９でクリックして指定すると、オブジェクト抽出部３では、上述したようにして、３種類のオブジェクト抽出処理が行われ、その３種類のオブジェクト抽出処理による頭部のオブジェクト抽出結果が、図１４（Ｂ）に示すように、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶されるとともに、その結果バッファ３３Ａ乃至３３Ｃの記憶内容が、結果画面＃１乃至＃３にそれぞれ表示される。
【０１２７】
そして、ユーザが、結果画面＃１乃至＃３に表示された頭部のオブジェクト抽出結果を参照して、良好なものを「全取得」すると、結果画面＃１乃至＃３に表示された頭部のオブジェクト抽出結果のうち、「全取得」が指示されたものが選択され、図１４（Ｃ）に示すように、オブジェクトバッファ２３に反映される。
【０１２８】
この場合、履歴管理部４は、オブジェクトバッファ２３に反映された頭部のオブジェクト抽出結果を得るのに用いた境界画像のプレーンと、その境界画像を得るのに用いた閾値のパラメータセットとを、ユニークなＩＤ３に対応付けて、パラメータテーブル記憶部４３に登録する。
【０１２９】
さらに、履歴管理部４は、図１４（Ｄ）に示すように、履歴画像記憶部４２の頭部を構成する画素の画素値に、ＩＤ３を書き込み、これにより、履歴画像を更新する。ここで、図１４（Ｄ）の実施の形態では、頭部を抽出するのに用いた境界画像のプレーンはＳプレーンとなっており、その境界画像を得るのに用いた閾値は５０となっている。
【０１３０】
また、履歴管理部４は、図１４（Ｅ）に示すように、オブジェクトバッファ２３に反映された頭部のオブジェクト抽出結果を得るときにユーザがクリックした注目フレーム上の点の位置（指定位置）を表す座標（ｘ４，ｙ４）を、指定位置記憶部４１に追加する。ここで、図１４（Ｅ）の実施の形態では、指定位置記憶部４１には、既に、３つの指定位置の座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）が記憶されており、そこに、新たな座標（ｘ４，ｙ４）が追加されている。
【０１３１】
以上のような注目フレームについての履歴情報は、例えば、その次のフレームが新たに注目フレームとされた場合に、その新たな注目フレームからのオブジェクトの抽出に利用される。
【０１３２】
即ち、例えば、いま、注目フレームの１フレーム前のフレーム（前フレーム）について、図１５（Ａ）に示すような履歴画像を得ることができたとして、注目フレームのある点を、ユーザがマウス９によってクリックしたとする。この場合、処理制御部７は、動き検出部６を制御することにより、ユーザがマウス９でクリックした点である指定位置（ｘ，ｙ）の、前フレームを基準とする動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、指定位置（ｘ，ｙ）を、動きベクトル（ｖx，ｖy）によって補正させることにより、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ’，ｙ’）＝（ｘ，ｙ）−（ｖx，ｖy）によって、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）を求める。
【０１３３】
その後、処理制御部７は、指定位置（ｘ，ｙ）に対応する前フレーム上の位置（ｘ’，ｙ’）におけるパラメータセットのＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０１３４】
これにより、オブジェクト抽出部３では、図１５（Ｂ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しが行われ、これにより、３パターンのオブジェクトが抽出される。このようにして注目フレームから抽出された３パターンのオブジェクトは、図１５（Ｃ）に示すように、結果バッファ３３Ａ乃至３３Ｃにそれぞれ記憶され、結果画面＃１乃至＃３においてそれぞれ表示される。
【０１３５】
注目フレームからオブジェクトを抽出する場合に、ユーザにより入力された指定位置の部分のオブジェクト抽出は、前フレームの対応する部分のオブジェクト抽出と同様に行うことにより、良好なオブジェクト抽出を行うことができると予想されるから、上述のように、決定情報に対応するパラメータセットに基づく境界画像の作成、およびその境界画像からの、指定位置（ｘ，ｙ）を起点とする領域の切り出しを行うことにより、迅速に、良好なオブジェクト抽出結果を得ることが可能となる。
【０１３６】
即ち、オブジェクト抽出部３では、例えば、ユーザが、「位置指定」を行うと、その「位置指定」によって指定された位置を起点として、３つの処理によるオブジェクト抽出が行われるが、その３つの処理によるオブジェクト抽出結果のうちのいずれもが良好でないときには、ユーザによって「順位指定」が行われ、後述するように、パラメータセットを替えてのオブジェクト抽出が行われる。従って、上述のように、前フレームの履歴情報を利用しない場合には、ある程度良好なオブジェクト抽出結果を得るために、ユーザが、「順位指定」を何度が行わなければならないことがある。これに対して、前フレームの履歴情報を利用する場合には、ユーザが「順位指定」を行わなくても、注目フレームのオブジェクト上の幾つかの点を指定するという容易な操作だけで、良好なオブジェクト抽出結果を、即座に得ることができる可能性が高くなる。
【０１３７】
また、注目フレームからのオブジェクト抽出にあたって、前フレームについての履歴情報は、例えば、次のように利用することも可能である。
【０１３８】
即ち、例えば、いま、注目フレームの１フレーム前のフレーム（前フレーム）について、図１６（Ａ）に示すような履歴画像と、図１６（Ｂ）に示すような３つの指定位置（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）を得ることができたとする。
【０１３９】
この場合、処理制御部７は、動き検出部６を制御することにより、前フレームの指定位置（ｘ１，ｙ１）を基準とする注目フレームの動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、前フレームの指定位置（ｘ１，ｙ１）を、動きベクトル（ｖx，ｖy）によって補正させることにより、前フレームの指定位置（ｘ，ｙ）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ１’，ｙ１’）＝（ｘ１，ｙ１）＋（ｖx，ｖy）によって、前フレームの指定位置（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求める。
【０１４０】
その後、処理制御部７は、前フレームの指定位置（ｘ１，ｙ１）におけるパラメータセットのＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、前フレームの指定位置（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０１４１】
これにより、オブジェクト抽出部３では、図１６（Ｃ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、位置（ｘ１’，ｙ１’）を起点とする領域の切り出しが行われることにより、３パターンのオブジェクトが抽出される。
【０１４２】
前フレームの３つの指定位置（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）のうちの残りの２つの指定位置（ｘ２，ｙ２）と（ｘ３，ｙ３）についても同様の処理が行われ、これにより、その２つの指定位置に対応する注目フレーム上の位置（ｘ２’，ｙ２’）と（ｘ３’，ｙ３’）それぞれを起点とする３パターンのオブジェクトが抽出される。
【０１４３】
このようにして、前フレームの各指定位置に対応する注目フレーム上の位置それぞれを起点として、注目フレームから抽出されたオブジェクトの各部は、その後合成され、その結果得られるオブジェクト抽出結果は、図１６（Ｄ）に示すように、結果バッファに記憶され、結果画面において表示される。
【０１４４】
上述したように、注目フレームからのオブジェクトの抽出は、前フレームの対応する部分のオブジェクト抽出と同様に行うことにより、良好なオブジェクト抽出を行うことができると予想されるから、決定情報に対応するパラメータセットに基づく３つの境界画像の作成、およびその３つの境界画像からの、前フレームの指定位置（ｘ，ｙ）に対応する注目フレームの位置を起点とする領域の切り出しを行うことにより、図１５における場合と同様に、迅速に、良好なオブジェクト抽出結果を得ることが可能となる。
【０１４５】
さらに、図１５における場合には、ユーザが、注目フレームのオブジェクト上の点を指定する必要があったが、図１６における場合においては、ユーザが、そのような指定を行う必要がないので、ユーザの操作負担を、より軽減することができる。
【０１４６】
なお、図１６で説明したように、ユーザが、注目フレームのオブジェクト上の点を指定する前に、前フレームについての履歴情報を利用して、注目フレームのオブジェクト抽出を行い、そのオブジェクト抽出結果を、結果画面＃１乃至＃３に表示するか否かは、例えば、上述した基準画面のユースレコードボタン２０２（図３）をクリックすることにより表示されるプルダウンメニューにおいて設定することができる。
【０１４７】
次に、図１７のフローチャートを参照して、処理制御部７が図４のステップＳ６で行う、複数のオブジェクト抽出処理の内容を決定する処理について説明する。
【０１４８】
処理制御部７は、まず最初に、ステップＳ５１において、イベント検出部８からのイベント情報が、「位置指定」を表すものであるか、または「順位指定」を表すものであるかを判定する。ステップＳ５１において、イベント情報が、「位置指定」を表すものであると判定された場合、ステップＳ５２に進み、処理制御部７は、前フレームの履歴情報が、履歴管理部４に記憶されているかどうかを判定する。
【０１４９】
ステップＳ５２において、前フレームの履歴情報が、履歴管理部４に記憶されていると判定された場合、ステップＳ５３に進み、処理制御部７は、例えば、図１５で説明したように、前フレームの履歴情報に基づいて、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５０】
また、ステップＳ５２において、前フレームの履歴情報が、履歴管理部４に記憶されていないと判定された場合、即ち、例えば、注目フレームが、ストレージ１に記憶された動画のフレームの中で、最初に注目フレームとされたものである場合、ステップＳ５４に進み、処理制御部７は、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を、デフォルト値に決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５１】
一方、ステップＳ５１において、イベント情報が、「順位指定」を表すものであると判定された場合、ステップＳ５５に進み、処理制御部７は、ユーザがマウス９を操作することにより行った順位付けに基づいて、注目フレームからオブジェクトを抽出する３つのオブジェクト抽出処理の内容を決定し、その旨の決定情報を、オブジェクト抽出部３に供給して、処理を終了する。
【０１５２】
次に、図１８のフローチャートを参照して、図１７のステップＳ５３乃至Ｓ５５における、オブジェクト抽出処理の内容の決定方法について、具体的に説明する。なお、イベント情報が「位置指定」を表すものである場合には、ユーザがマウス９をクリックすることにより、注目フレーム上のある位置を指定した場合であるが、そのユーザが指定した位置の座標は、イベント情報に含まれるものとする。また、イベント情報が「順位指定」を表すものである場合には、ユーザが、マウス９を操作することにより、３つの結果画面＃１乃至＃３に表示されたオブジェクト抽出結果に順位付けを行った場合であるが、そのオブジェクト抽出結果の順位（ここでは、第１位乃至第３位）も、イベント情報に含まれるものとする。
【０１５３】
図１７のステップＳ５３において、前フレームの履歴情報に基づいて、オブジェクト抽出処理の内容を決定する場合には、図１８（Ａ）のフローチャートに示すように、まず最初に、ステップＳ６１において、処理制御部７は、前フレームの履歴情報を参照することにより、前フレームの最終的なオブジェクト抽出結果（オブジェクトバッファ２３に最終的に記憶されたオブジェクト）が得られたときに用いられた境界画像のプレーンと同一のプレーンの境界画像を用いることを決定する。
【０１５４】
即ち、処理制御部７は、ユーザがマウス９によって指定した注目フレームの位置に対応する前フレームの位置の画素が、オブジェクトとして抽出されたときに用いられた境界画像のプレーンを、前フレームの履歴情報を参照することにより認識し、そのプレーンの境界画像を、境界検出部３１で作成することを決定する。ここで、このようにして、注目フレームのオブジェクト抽出に用いることが決定された境界画像のプレーンを、以下、適宜、決定プレーンという。
【０１５５】
そして、ステップＳ６２に進み、処理制御部７は、ユーザがマウス９によって指定した注目フレームの位置に対応する前フレームの位置の画素が、オブジェクトとして抽出されたときに境界画像を得るための二値化で用いられた閾値を、前フレームの履歴情報を参照することにより認識し、その閾値を、注目画像について、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３のうちの２番目の閾値ＴＨ２として決定する。ここで、このようにして決定された閾値ＴＨ２を、以下、適宜、決定閾値という。
【０１５６】
その後、処理制御部７は、ステップＳ６３に進み、３つの閾値ＴＨ１乃至ＴＨ３のうちの決定閾値ＴＨ２以外の残りの２つの閾値ＴＨ１とＴＨ３を、決定閾値ＴＨ２に基づき、例えば、式ＴＨ１＝ＴＨ２−２０と、ＴＨ３＝ＴＨ２＋２０にしたがって決定し、決定プレーン、決定閾値ＴＨ２、決定閾値ＴＨ２に基づいて決定された閾値ＴＨ１とＴＨ３を、決定情報として、オブジェクト抽出部３に供給して、処理を終了する。
【０１５７】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーンの画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、決定閾値ＴＨ２、および決定閾値ＴＨ２を用いて決定された閾値ＴＨ１とＴＨ３の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１５８】
以上のように、前フレームの履歴情報が存在する場合には、その履歴情報と、ユーザが指定した注目フレーム上の位置に基づいて、注目フレームについてのオブジェクト抽出処理の内容が決定されるので、注目フレームにおいて、前フレームと同じような特徴を有する部分については、前フレームにおける場合と同様の処理によって、オブジェクト抽出が行われる。従って、容易な操作で、的確なオブジェクト抽出を行うことが可能となる。
【０１５９】
次に、図１８（Ｂ）のフローチャートを参照して、図１７のステップＳ５４において、オブジェクト抽出処理の内容をデフォルト値に決定する場合の処理制御部７の処理について説明する。
【０１６０】
この場合、まず最初に、ステップＳ７１において、処理制御部７は、ユーザがマウス９でクリックした注目フレーム上の位置（指定位置）の画素付近の画素のＶ成分の平均値、即ち、例えば、指定位置の画素を含む横×縦が８×８画素のＶ成分の平均値が、５０未満であるかどうかを判定する。
【０１６１】
ステップＳ７１において、指定位置の画素を含む８×８画素のＶ成分の平均値が５０未満であると判定された場合、ステップＳ７２に進み、処理制御部７は、Ｖプレーンの境界画像を、境界検出部３１で作成することを決定する。
【０１６２】
即ち、Ｖ成分が小さい領域については、ＨやＳプレーンの境界画像を用いた場合には、Ｖプレーンの境界画像を用いた場合に比較して、領域の切り出しが不正確になることが経験的に認められるため、ステップＳ７２では、上述のように、決定プレーンがＶプレーンとされる。
【０１６３】
そして、ステップＳ７３に進み、処理制御部７は、決定プレーンであるＶプレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、デフォルト値である、例えば、４０，１００，１８０にそれぞれ決定し、決定プレーンがＶプレーンである旨と、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１６４】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーンであるＶプレーンの画像についてエッジ検出を行うエッジ検出部２１２Ｖにおいて、エッジ検出が行われる。そして、エッジ検出部２１２Ｖに接続する二値化部２１３Ｖにおいて、閾値ＴＨ１乃至ＴＨ３としての４０，１００，１８０の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１６５】
一方、ステップＳ７１において、指定位置の画素を含む８×８画素のＶ成分の平均値が５０未満でないと判定された場合、ステップＳ７４に進み、処理制御部７は、Ｈ，Ｓ，Ｖプレーンそれぞれの境界画像を、境界検出部３１で作成することを決定する。
【０１６６】
即ち、Ｖ成分がある程度大きい領域については、その領域の特徴によって、正確に、領域を切り出すことのできる境界画像のプレーンが異なる。さらに、いまの場合、前フレームの履歴情報が存在しないため、いずれのプレーンの境界画像が領域の切り出しに適切であるかを予測することが困難である。そこで、ステップＳ７４では、Ｈ，Ｓ，Ｖの３つのプレーンが、決定プレーンとされる。
【０１６７】
そして、ステップＳ７５に進み、処理制御部７は、決定プレーンであるＨ，Ｓ，Ｖプレーンの境界画像をそれぞれ得るための二値化に用いる閾値ＴＨH，ＴＨS，ＴＨVを、例えば、いずれも、デフォルト値である１００に決定し、決定プレーンがＨ，Ｓ，Ｖプレーンである旨と、閾値ＴＨH，ＴＨS，ＴＨVを、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１６８】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖそれぞれにおいて、Ｈ，Ｓ，Ｖプレーンの画像について、エッジ検出が行われる。そして、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖに接続する二値化部２１３Ｈ，２１３Ｓ，２１３Ｖそれぞれにおいて、閾値ＴＨH，ＴＨS，ＴＨV（上述したように、ここでは、いずれも１００）を用いて二値化が行われ、これにより、３つのＨ，Ｓ，Ｖプレーンの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成されたＨ，Ｓ，Ｖプレーンの境界画像それぞれについて、ユーザが指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１６９】
次に、図１８（Ｃ）のフローチャートを参照して、図１７のステップＳ５５において、指定順位に基づいて、オブジェクト抽出処理の内容を決定する場合の処理制御部７の処理について説明する。
【０１７０】
この場合、まず最初に、ステップＳ８１において、処理制御部７は、順位付けが、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像を用いて得られたオブジェクト抽出結果に対して行われたもの（以下、適宜、プレーンに対する順位付けという）であるか、または、ある１つのプレーンの境界画像であって、３つの異なる閾値による二値化により作成されたものを用いて得られたオブジェクト抽出結果に対して行われたもの（以下、適宜、閾値に対する順位付けという）であるかを判定する。
【０１７１】
ステップＳ８１において、順位付けが、プレーンに対する順位付けであると判定された場合、ステップＳ８２に進み、処理制御部７は、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像を用いて得られたオブジェクト抽出結果に対する順位を認識し、第１位のオブジェクト抽出結果が得られたプレーンの境界画像を、境界検出部３１で作成することを決定する。即ち、処理制御部７は、第１位のオブジェクト抽出結果が得られた境界画像のプレーンを、決定プレーンとする。
【０１７２】
そして、ステップＳ８３に進み、処理制御部７は、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、デフォルト値である、例えば、４０，１００，１８０にそれぞれ決定し、決定プレーンが例えばＶプレーンである旨と、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１７３】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーン（第１位の順位付けが行われたオブジェクト抽出結果が得られた境界画像のプレーン）の画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、閾値ＴＨ１乃至ＴＨ３としての４０，１００，１８０の３つの閾値を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが直前に指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１７４】
一方、ステップＳ８１において、順位付けが、閾値に対する順位付けであると判定された場合、ステップＳ８４に進み、処理制御部７は、その順位付けが行われた注目フレームのオブジェクト抽出結果を得たときに用いられた境界画像のプレーンと同一のプレーンの境界画像を、境界検出部３１で作成することを決定する。即ち、処理制御部７は、注目フレームについての前回のオブジェクト抽出結果を得たときに用いられた境界画像のプレーンを、決定プレーンとする。
【０１７５】
そして、ステップＳ８５に進み、処理制御部７は、決定プレーンの境界画像を得るための二値化に用いる３つの閾値ＴＨ１乃至ＴＨ３を、閾値に対する順位付けに基づいて決定する。即ち、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第１位に指定された閾値を、閾値ＴＨ１に決定する。さらに、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第１位に指定された閾値と第２位に指定された閾値の平均値を、閾値ＴＨ２に決定する。また、処理制御部７は、前回のオブジェクト抽出結果を得たときに用いられた３つの閾値のうち、第２位に指定された閾値を、閾値ＴＨ３に決定する。その後、処理制御部７は、決定プレーンと、閾値ＴＨ１乃至ＴＨ３を、決定情報として、オブジェクト抽出部３に供給し、処理を終了する。
【０１７６】
この場合、オブジェクト抽出部３の境界検出部３１（図９）では、エッジ検出部２１２Ｈ，２１２Ｓ，２１２Ｖのうち、決定プレーン（前回のオブジェクト抽出結果を得たときに用いられた境界画像のプレーンと同一のプレーン）の画像についてエッジ検出を行うものにおいて、エッジ検出が行われる。そして、そのエッジ検出部に接続する二値化部において、前回用いられた閾値の順位付けに基づいて上述のように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて二値化が行われ、これにより、３つの境界画像が作成される。さらに、オブジェクト抽出部３の切り出し部３２では、境界検出部３１で作成された３つの境界画像それぞれについて、ユーザが直前に指定した注目フレーム上の位置を起点とした、図１２および図１３で説明した領域の切り出しが行われる。
【０１７７】
以上のようにして、オブジェクト抽出処理の内容を決定する場合においては、ユーザが、注目フレーム上のある位置を指定すると、前フレームの履歴情報が存在しない場合であって、指定位置付近のＶ成分の平均値が５０以上である場合には、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｂ）におけるステップＳ７１，Ｓ７４，Ｓ７５）。そして、その３つのオブジェクト抽出結果に対して、プレーンに対する順位付けが行われると、第１位の１つのプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｃ）におけるステップＳ８１乃至Ｓ８３）。
【０１７８】
さらに、ユーザが、注目フレーム上のある位置を指定した場合に、前フレームの履歴情報が存在せず、かつ、指定位置付近のＶ成分の平均値が５０未満であるときも、１つのプレーンであるＶプレーンの画像と、デフォルトの３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ｂ）におけるステップＳ７１乃至Ｓ７３）。
【０１７９】
また、ユーザが、注目フレーム上のある位置を指定した場合に、前フレームの履歴情報が存在するときも、その履歴情報に基づいて決定される１つのプレーンの画像と、履歴情報に基づいて決定される３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められる（図１８（Ａ））。
【０１８０】
以上のように、１つのプレーンの画像と、３つの閾値から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められた後に、その３つのオブジェクト抽出結果に対して順位付け（閾値に対する順位付け）が行われると、上述したように、その順位付けに基づいて、３つの閾値ＴＨ１乃至ＴＨ３が更新されていく（図１８（Ｃ）におけるステップＳ８１，Ｓ８４，Ｓ８５）。
【０１８１】
即ち、例えば、図１９（Ａ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第１位、第２位、第３位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｂ）に示すように、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。さらに、このように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて得られる３つのオブジェクト抽出結果に対して順位付けが行われ、これにより、図１９（Ｂ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第３位、第１位、第２位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｃ）に示すように、やはり、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。そして、このように決定された３つの閾値ＴＨ１乃至ＴＨ３を用いて得られる３つのオブジェクト抽出結果に対して、再び、順位付けが行われ、これにより、図１９（Ｃ）に示すように、閾値ＴＨ１，ＴＨ２，ＴＨ３が、第３位、第１位、第２位に、それぞれ指定された場合には、次のオブジェクト抽出処理においては、図１９（Ｄ）に示すように、やはり、閾値ＴＨ１は、前回の第１位の閾値に、閾値ＴＨ２は、前回の第１位と第２位の閾値の平均値に、閾値ＴＨ３は、前回の第２の閾値に、それぞれ決定される。
【０１８２】
従って、順位付けを繰り返すことにより、閾値ＴＨ１，ＴＨ２，ＴＨ３は、注目フレームからオブジェクトを抽出するのに、より適した値に収束していくことになり、その結果、的確なオブジェクト抽出が可能となる。
【０１８３】
さらに、前フレームの履歴情報が存在する場合には、その履歴情報に基づいて、３つの閾値ＴＨ１乃至ＴＨ３が決定されることにより、その３つの閾値ＴＨ１乃至ＴＨ３は、注目フレームからオブジェクトを抽出するのにある程度適した値となることから、ユーザは、「順位指定」の操作を、それほどの回数行わなくても、即ち、最良の場合には、「順位指定」の操作を一度も行わなくても、注目フレームについて、良好なオブジェクト抽出結果を得ることが可能となる。
【０１８４】
なお、図１８および図１９の実施の形態では、履歴情報がない場合において、指定位置付近のＶ成分の平均値が５０以上であるときには、Ｈ，Ｓ，Ｖの３つのプレーンの境界画像から、３つのオブジェクト抽出結果が求められ、その３つのオブジェクト抽出結果に対して、プレーンに対する順位付けが行われると、第１位の１つのプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められ、その後に、閾値に対する順位付けが可能な状態となる。
【０１８５】
これに対して、履歴情報がない場合でも、指定位置付近のＶ成分の平均値が５０未満であるときには、上述したように、経験則から、１つのプレーンであるＶプレーンの画像と、３つの閾値ＴＨ１乃至ＴＨ３から作成される３つの境界画像から、３つのオブジェクト抽出結果が求められ、その後に、閾値に対する順位付けが可能な状態となる。従って、この場合、ユーザは、プレーンに対する順位付けを行う必要がなく、その分、ユーザの操作負担を軽減することができる。
【０１８６】
次に、図４のステップＳ１４における初期抽出処理について説明する。
【０１８７】
初期抽出処理では、新たな注目フレームについて、ユーザが、オブジェクトの位置を指定する「位置指定」を行わなくても、前フレームから得られた最終的なオブジェクト抽出結果や履歴情報を利用して、複数（本実施の形態では、３つ）のオブジェクト抽出処理が行われ、そのオブジェクト抽出結果が、表示部５に表示される。
【０１８８】
即ち、図２０は、新たな注目フレームについて、初期抽出処理が行われた直後の表示部５における画面の表示例を示している。
【０１８９】
図２０の実施の形態において、基準画面には、新たな注目フレームの画像（原画像）が表示されており、結果画面＃１乃至＃３には、前フレームから得られた最終的なオブジェクト抽出結果や履歴情報を利用して行われた３つのオブジェクト抽出処理による３つのオブジェクト抽出結果が、それぞれ表示されている。
【０１９０】
なお、図２０の実施の形態では、基準画面のアンドゥボタン２０４の下部に、リセットレコードボタン(Reset Record)２０５が新たに表示されているが、このリセットレコードボタン２０５は、前フレームの履歴情報を消去するときに操作される。即ち、リセットレコードボタン２０５を、マウス９によりクリックすると、履歴管理部４に記憶されている前フレームの履歴情報が使用不可になる。但し、リセットレコードボタン２０５を再度クリックすると、履歴情報は、使用可能な状態となる。
【０１９１】
結果画面＃１乃至＃３に表示される、新たな注目フレームについてのオブジェクト抽出結果は、オブジェクト抽出部３において、例えば、次のような第１乃至第３の初期抽出処理が行われることにより、それぞれ求められる。
【０１９２】
即ち、例えば、いま、前フレームについて、図２１（Ａ）に示すような履歴画像を得ることができていたとする。ここで、図２１（Ａ）の実施の形態は、人間の全身が表示された前フレームから、その人間が表示された部分がオブジェクトとして抽出された場合の履歴画像を示している。さらに、図２１（Ａ）の履歴情報は、人間の頭部の領域については、Ｓプレーンの画像と、二値化における閾値５０を用いて、胴体部分の領域については、Ｈプレーンの画像と、二値化における閾値１００を用いて、下半身部分の領域については、Ｖプレーンの画像と、二値化における閾値８０を用いて、それぞれ、オブジェクト抽出が行われたことを表している。従って、図２１の履歴画像において、人間の頭部の領域を構成するすべての画素、胴体部分の領域を構成するすべての画素、または下半身部分の領域を構成するすべての画素の画素値は、それぞれ同一のＩＤとなっている。
【０１９３】
第１の初期抽出処理では、例えば、処理制御部７が、まず、前フレームの履歴画像において同一のＩＤを画素値とする画素の集合でなる領域の重心を求める。従って、図２１（Ａ）の実施の形態では、人間の頭部の領域、胴体部分の領域、下半身部分の領域の重心がそれぞれ求められる。
【０１９４】
なお、ある領域の重心の座標を（Ｘ，Ｙ）と表すと、重心（Ｘ，Ｙ）は、例えば、次式にしたがって求められる。
【０１９５】
Ｘ＝Σｘk／Ｎ
Ｙ＝Σｙk／Ｎ
但し、Ｎは、ある領域を構成する画素数を表し、Σは、変数ｋを１からＮに変えてのサメーションを表す。また、（ｘk，ｙk）は、ある領域を構成するｋ番目の画素の座標を表す。
【０１９６】
人間の頭部の領域、胴体部分の領域、下半身部分の領域のそれぞれについて、例えば、図２１（Ｂ）に示すように、重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）が求められると、処理制御部７は、動き検出部６を制御することにより、前フレームの重心（ｘ１，ｙ１）を基準とする注目フレームの動きベクトル（ｖx，ｖy）を求めさせる。さらに、処理制御部７は、その内蔵する位置補正部７１に、前フレームの指定位置（ｘ１，ｙ１）を、動きベクトル（ｖx，ｖy）によって補正させることにより、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求めさせる。即ち、この場合、位置補正部７１は、例えば、式（ｘ１’，ｙ１’）＝（ｘ１，ｙ１）＋（ｖx，ｖy）によって、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を求める。
【０１９７】
その後、処理制御部７は、前フレームの重心（ｘ１，ｙ１）の画素の画素値であるＩＤを、履歴画像記憶部４２に記憶された前フレームの履歴画像を参照することで取得し、さらに、そのＩＤに対応付けられたパラメータセットを、パラメータテーブル記憶部４３を参照することで取得する。そして、処理制御部７は、上述のようにして取得したパラメータセットに基づく境界画像の作成、およびその３つの境界画像からの、前フレームの重心（ｘ１，ｙ１）に対応する注目フレーム上の位置（ｘ１’，ｙ１’）を起点とする領域の切り出しを行うことを決定し、その旨の決定情報を、オブジェクト抽出部３に供給する。
【０１９８】
処理制御部７は、図２１（Ｂ）に示した３つの領域の重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）のうちの残りの２つの重心（ｘ２，ｙ２）と（ｘ３，ｙ３）についても、それぞれ同様の処理を行う。
【０１９９】
これにより、オブジェクト抽出部３では、図２１（Ｃ）に示すように、注目フレームを対象として、決定情報に対応するパラメータセットに基づく境界画像の作成、およびその境界画像からの、前フレームの重心（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）に対応する注目フレーム上の位置（ｘ１’，ｙ１’），（ｘ２’，ｙ２’），（ｘ３’，ｙ３’）をそれぞれ起点とする領域の切り出しが行われ、オブジェクトが抽出される。このオブジェクト抽出結果は、図２１（Ｄ）に示すように、結果バッファ３３Ａに記憶され、図２０に示したように、結果画面＃１において表示される。
【０２００】
次に、第２の初期抽出処理では、オブジェクト抽出部３は、例えば、テンプレートマッチングを行うことによって、注目フレームからオブジェクトを抽出する。
【０２０１】
即ち、オブジェクト抽出部３は、注目フレーム処理部２を介して、ストレージ１から、前フレームの最終的なオブジェクト抽出結果と、注目フレームを読み出し、図２２（Ａ）に示すように、前フレームの最終的なオブジェクト抽出結果と、注目フレームとを重ねて、対応する画素の画素値（例えば、輝度）どうしの絶対値差分の総和を演算する。オブジェクト抽出部３は、このような絶対値差分の総和を、図２２（Ｂ）に示すように、前フレームの最終的なオブジェクト抽出結果と、注目フレームとを重ね合わせる位置を、例えば、１画素ごとに変えて求め、絶対値差分の総和が最小になるときの、前フレームの最終的なオブジェクト抽出結果と、注目フレームとの位置関係を求める。さらに、オブジェクト抽出部３は、図２２（Ｃ）に示すように、その位置関係において、前フレームの最終的なオブジェクト抽出結果との画素値どうしの絶対値差分が、例えば２０以下になる画素を、注目フレームから検出し、その画素値を、注目フレームについてのオブジェクト抽出結果として、結果バッファ３３Ｂに書き込む。このようにして結果バッファ３３Ｂに書き込まれたオブジェクト抽出結果は、図２０に示したように、結果画面＃２において表示される。
【０２０２】
次に、第３の初期抽出処理では、オブジェクト抽出部３は、例えば、図１６で説明した場合と同様にして、注目フレームからオブジェクトを抽出する。このオブジェクト抽出結果は、結果バッファ３３Ｃに書き込まれ、図２０に示したように、結果画面＃３において表示される。
【０２０３】
以上の初期抽出処理は、注目フレームが新たなフレームに変更された後に、ユーザからの入力を特に待つことなく、いわば自動的に行われるため、「位置指定」や「順位指定」といったユーザの操作負担を軽減することができる。
【０２０４】
ところで、初期抽出処理によって得られた３つのオブジェクト抽出結果のうちのいずれかに対して、ユーザが、「全取得」または「部分取得」の操作を行い、これにより、その３つのオブジェクト抽出結果のうちのいずれかの全部または一部が、オブジェクトバッファ２３に反映され、注目フレームの最終的なオブジェクト抽出結果とされた場合には、その最終的なオブジェクト抽出結果のうち、初期抽出処理によって得られた部分については、履歴情報が存在しないこととなり、次のフレームが注目フレームとされたときに、前フレームの履歴情報が存在せず、その結果、ユーザの操作負担が増加することがある。
【０２０５】
そこで、前フレームの履歴情報は、次のフレームの履歴情報に継承することが可能である。
【０２０６】
即ち、例えば、図２３（Ａ）に示すように、前フレームについて最終的なオブジェクト抽出結果が得られた後に、初期抽出処理が行われることにより、注目フレームのオブジェクト抽出結果が結果画面に表示され、そのオブジェクト抽出結果の一部が、ユーザによる「部分取得」操作によって、オブジェクトバッファ２３に反映されたとする。
【０２０７】
この場合、処理制御部７は、オブジェクトバッファ２３に反映されたオブジェクトの部分の動きベクトルを、動き検出部６を制御することにより求めさせ、図２３（Ｂ）に示すように、その動きベクトルによって、前フレームの履歴画像の、オブジェクトバッファ２３に反映された領域に対応する部分の位置を補正する。さらに、処理制御部７は、履歴管理部４を制御することにより、その補正後の履歴画像の部分を、注目フレームの履歴画像としてコピーさせる。
【０２０８】
また、処理制御部７は、注目フレームの履歴画像としてコピーした前フレームの履歴画像の範囲内に、ユーザがマウス９をクリックすることによって指定した前フレーム上の位置が存在するかどうかを、指定位置記憶部４１を参照することにより判定し、存在する場合には、図２３（Ｃ）に示すように、その位置（指定位置）を、図２３（Ｂ）で説明した動きベクトルによって補正する。そして、処理制御部７は、履歴管理部４を制御することにより、その補正後の指定位置の座標を、注目フレームの指定位置の座標として、指定位置記憶部４１に記憶させる。
【０２０９】
なお、このような履歴情報の継承は、上述の第１乃至第３の初期抽出処理のうちの、第１と第３の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合にのみ行い、第２の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合には行わないようにすることが可能である。
【０２１０】
即ち、第１と第３の初期抽出処理では、上述したように、前フレームの履歴情報に基づいて、注目フレームからのオブジェクト抽出が行われるため、そのオブジェクト抽出結果が、オブジェクトバッファ２３に反映されるということは、注目フレームについて、前フレームの履歴情報を用いずにオブジェクト抽出を行ったとしても、前フレームと同様の処理によって得られたオブジェクト抽出結果が、最終的なオブジェクト抽出結果とされる可能性が高く、従って、前フレームと同様の履歴情報が作成される可能性が高い。
【０２１１】
これに対して、第２の初期抽出処理では、上述したように、テンプレートマッチングによって、注目フレームからオブジェクトが抽出されるため、そのオブジェクト抽出結果が、オブジェクトバッファ２３に反映されたとしても、その反映された部分は、前フレームの履歴情報とは無関係に、注目フレームから抽出されたものであるから、前フレームの履歴情報を用いずにオブジェクト抽出を行ったときに、前フレームと同様の処理によって得られたオブジェクト抽出結果が、最終的なオブジェクト抽出結果とされる可能性が高いとはいえず、従って、前フレームと同様の履歴情報が作成される可能性が高いともいえない。
【０２１２】
このため、上述したように、履歴情報の継承は、第１と第３の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合にのみ行い、第２の初期抽出処理によって得られたオブジェクト抽出結果が、オブジェクトバッファ２３に反映された場合には行わないようにすることができる。
【０２１３】
但し、履歴情報の継承は、第１乃至第３の初期抽出処理によって得られたオブジェクト抽出結果のうちのいずれが、オブジェクトバッファ２３に反映された場合であっても行うようにすることが可能である。
【０２１４】
以上のように、複数の処理によって、複数のオブジェクト抽出結果を求め、その複数のオブジェクト抽出結果の中から、良好なものを、ユーザに判断してもらい、最終的なオブジェクト抽出結果に反映するようにしたので、容易な操作で、的確なオブジェクト抽出を行うことができる。
【０２１５】
さらに、前フレームの履歴情報が存在する場合には、その履歴情報と、ユーザにより入力された注目フレーム上の位置に基づいて、注目フレームのオブジェクト抽出を行うようにしたので、やはり、容易な操作で、的確なオブジェクト抽出を行うことができる。
【０２１６】
即ち、図２の画像処理装置では、ユーザが、注目フレームのオブジェクト上のある位置を指定すると、その位置を起点として、注目フレームの領域が、３つの処理によって切り出され（オブジェクト抽出され）、その結果得られる３つのオブジェクト抽出結果が表示される。さらに、ユーザが、必要に応じて、３つのオブジェクト抽出結果に対して順位を指定すると、その順位に基づく３つの処理によって、注目フレームの領域が再度切り出され、その結果得られる３つのオブジェクト抽出結果が表示される。そして、ユーザが、３つのオブジェクト抽出結果の中から、適切と思うものを指定すると、その指定されたオブジェクト抽出結果が、最終的なオブジェクト抽出結果に反映される。従って、ユーザが、オブジェクト上の位置の指定、必要な順位の指定、および適切なオブジェクト抽出結果の指定という負担の少ない操作を、必要な回数だけ繰り返すことにより、注目フレームから、的確に、オブジェクトを抽出することができる。
【０２１７】
さらに、次のフレームが注目フレームとされた場合には、その１フレーム前のフレーム（前フレーム）について作成された履歴情報を参照することにより、注目フレーム上のユーザ入力した位置の画素に対応する前フレームの画素をオブジェクトとして抽出するのに用いられたパラメータセットが認識され、そのパラメータセットに基づいて、３つのオブジェクト抽出処理の内容が決定される。従って、ユーザは、注目フレームのオブジェクト上の位置を指定するという負担の少ない操作を行うだけで、注目フレームから、良好なオブジェクト抽出結果を得ることができる。
【０２１８】
なお、本実施の形態では、ユーザに、注目フレームのオブジェクト上の位置を指定してもらうようにしたが、その他、例えば、注目フレームのオブジェクトの一部の範囲を指定してもらうようにすることも可能である。
【０２１９】
また、本実施の形態では、注目フレームのオブジェクト抽出を、前フレームのみの履歴情報に基づいて行うようにしたが、注目フレームのオブジェクト抽出は、その他、例えば、過去数フレームの履歴情報に対して重み付けをし、その重み付けされた履歴情報に基づいて行うことも可能である。また、本実施の形態では、時間順に、フレームを処理するものとして、前フレームの履歴情報を、注目フレームからのオブジェクト抽出に用いることとしたが、その他、例えば、時間の逆順に、フレームが処理される場合には、注目フレームからのオブジェクト抽出には、時間的に後行するフレームの履歴情報を用いることが可能である。
【０２２０】
さらに、本実施の形態では、動画の各フレームからオブジェクトを抽出するようにしたが、本発明は、静止画からのオブジェクト抽出にも適用可能である。
【０２２１】
また、本発明は、いわゆる前景となっている部分を抽出する場合の他、例えば、背景の一部の構成要素を抽出する場合にも適用可能である。
【０２２２】
さらに、本実施の形態で説明したオブジェクト抽出処理は例示であり、どのようなオブジェクト抽出処理を採用するかは、特に限定されるものではない。
【０２２３】
また、本発明は、放送システムや編集システム等の画像処理装置に広く適用可能である。
【発明の効果】
本発明の一側面によれば、容易な操作で、的確なオブジェクト抽出を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態のハードウェア構成例を示すブロック図である。
【図２】図１の画像処理装置の機能的構成例を示すブロック図である。
【図３】表示部５における画面の表示例を示す図である。
【図４】図２の画像処理装置の処理を説明するフローチャートである。
【図５】基本画面における表示の切り替え説明するための図である。
【図６】「アンドゥ」と「部分削除」を説明するための図である。
【図７】ユーザが、オブジェクト上の点を指定する様子を示す図である。
【図８】「全取得」と「部分取得」を説明するための図である。
【図９】境界検出部３１の構成例を示すブロック図である。
【図１０】細線化処理を説明するための図である。
【図１１】境界画像を示す図である。
【図１２】切り出し部３２の処理を説明するためのフローチャートである。
【図１３】切り出し部３２の処理を説明するための図である。
【図１４】履歴情報の更新を説明するための図である。
【図１５】履歴情報に基づくオブジェクト抽出を説明するための図である。
【図１６】履歴情報に基づくオブジェクト抽出を説明するための図である。
【図１７】処理制御部７の処理を説明するためのフローチャートである。
【図１８】図１７のステップＳ５３乃至Ｓ５５の処理のより詳細を説明するためのフローチャートである。
【図１９】閾値の更新を説明するための図である。
【図２０】表示部５における画面の表示例を示す図である。
【図２１】第１の初期抽出処理を説明するための図である。
【図２２】第２の初期抽出処理を説明するための図である。
【図２３】履歴情報の継承を説明するための図である。
【符号の説明】
１  ストレージ，  ２  注目フレーム処理部，  ３  オブジェクト抽出部，  ４  履歴管理部，  ５  表示部，  ６  動き検出部，  ７  処理制御部，  ８  イベント検出部，  ９  マウス，  ２１  注目フレームバッファ，  ２２  背景バッファ，  ２３  オブジェクトバッファ，  ２４  セレクタ，  ３１  境界検出部，  ３２  切り出し部，  ３２Ａ乃至３２Ｃ  出力バッファ，  ３３  結果処理部，  ３３Ａ乃至３３Ｃ  結果バッファ，  ４１  指定位置記憶部，  ４２履歴画像記憶部，  ４３  パラメータテーブル記憶部，  ６１  前フレームバッファ，  ７１  位置補正部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体，  ２０１  チェンジディスプレイボタン，  ２０２  ユースレコードボタン，  ２０３  デリートパートリィボタン，２０４  アンドゥボタン，  ２０５  リセットレコードボタン，  ２０６  ランクリザルトボタン，  ２０７  グラブオールボタン，  ２０８  グラブパートリィボタン，  ２１１  ＨＳＶ分離部，  ２１２Ｈ，２１２Ｓ，２１２Ｖ  エッジ検出部，  ２１３Ｈ，２１３Ｓ，２１３Ｖ  二値化部，  ２１４Ｈ，２１４Ｓ，２１４Ｖ  細線化部，  ２１５Ｈ，２１５Ｓ，２１５Ｖ  境界画像記憶部
【図１】
0004482779.tif 000003
【図２】
0004482779.tif 000004
【図３】
0004482779.tif 000005
【図４】
0004482779.tif 000006
【図５】
0004482779.tif 000007
【図６】
0004482779.tif 000008
【図７】
0004482779.tif 000009
【図８】
0004482779.tif 000010
【図９】
0004482779.tif 000011
【図１０】
0004482779.tif 000012
【図１１】
0004482779.tif 000013
【図１２】
0004482779.tif 000014
【図１３】
0004482779.tif 000015
【図１４】
0004482779.tif 000016
【図１５】
0004482779.tif 000017
【図１６】
0004482779.tif 000018
【図１７】
0004482779.tif 000019
【図１８】
0004482779.tif 000020
【図１９】
0004482779.tif 000021
【図２０】
0004482779.tif 000022
【図２１】
0004482779.tif 000023
【図２２】
0004482779.tif 000024
【図２３】
0004482779.tif 000025