(57)【要約】【課題】ツールに習熟する必要無く、複雑な背景画像から目的のオブジェクトの輪郭を簡単に抽出する。【解決手段】２次元の画像にユーザが切り取りたい領域を指定し（Ｓ２０３）、エッジ抽出処理（Ｓ２０４）された画像のエッジを構成する画素間でドロネー網処理（Ｓ２０５）し、ユーザが指定した領域から内側へドロネー網上で重み付け関数に基づいて領域をオブジェクトに近づけた後（Ｓ２０６）、最初のノードとなる画素から次のノードとなる画素まで各隣り合う画素を一対の始点と終点として取り扱いながら知的鋏処理を行ってオブジェクト輪郭を抽出（Ｓ２０７）する。【選択図】図２
2006011996.tif 000002
【特許請求の範囲】
【請求項１】
２次元の画像から所望するオブジェクトの輪郭を抽出する場合に、ユーザが前記２次元の画面に所望の切り取り領域を指定し、前記ユーザが指定した前記切り取り領域に基づいて前記オブジェクトの輪郭を抽出するオブジェクト輪郭抽出方法。
【請求項２】
２次元の画像にユーザが切り取り領域を指定するステップと、
前記ユーザが指定した前記切り取り領域のエッジを抽出するステップと、
前記切り取り領域のエッジを構成する画素間によりネットワークを構成するステップと、前記ネットワーク上で前記ユーザが指定した前記切り取り領域から内側へ、重み付け関数に基づいて、前記ネットワークを切り取り領域内のオブジェクトに近づけるステップと、前記ネットワークの最初のノードとなる画素から次のノードとなる画素まで各隣り合う画素を一対の始点と終点として取り扱いながら知的鋏処理を行って前記オブジェクトの輪郭を抽出するステップと
を有するオブジェクト輪郭抽出方法。
【請求項３】
２次元の画像から所望するオブジェクトの輪郭を抽出する場合に、ユーザが前記２次元の画面に所望の切り取り領域を指定するユーザインタフェースと、
前記切り取り領域のエッジを抽出するエッジ抽出手段と、
前記切り取り領域のエッジを構成する画素間によりネットワークを構成するネットワーク構成手段と、
前記オブジェクトの周囲まで前記切り取り領域を遷移させたオブジェクト領域を抽出するオブジェクト領域抽出手段と、
抽出した前記オブジェクト領域のデータに基づいて前記オブジェクトの輪郭を抽出するオブジェクト輪郭抽出手段と
を備えたオブジェクト輪郭抽出装置。
【請求項４】
前記オブジェクト領域抽出手段は、前記ネットワーク構成手段で構成したネットワークを用いてユーザが指定した前記切り取り領域から所望するオブジェクトの輪郭の周囲まで、前記切り取り領域を遷移させることを特徴とする請求項３に記載のオブジェクト輪郭抽出装置。
【請求項５】
前記オブジェクト輪郭抽出手段は、前記ノード列と前記知的鋏を用いて前記オブジェクトの輪郭を抽出することを特徴とする請求項３に記載のオブジェクト輪郭抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複雑な背景の２次元画像から、画像の中にあるオブジェクトの輪郭をできるだけ正確に切り取るオブジェクト輪郭抽出方法およびオブジェクト輪郭抽出装置に関する。
【背景技術】
【０００２】
複雑な背景の画像からオブジェクトを切り取るには従来、特許文献１および非特許文献１、２に示すような技術がある。
【０００３】
図６は特許文献１に記載された画像処理方法を説明する図で、図６（ａ）は入力画像を色特性に基づいて色ごとに領域分割したことを示す図、図６（ｂ）はフローチャートにおけるＳ５とＳ６の処理を説明する図である。特許文献１における処理では、まず図６（ａ）に示す画像を入力し、画像の色の特性を取得する。つぎに、領域分割処理を利用して入力画像を図６（ａ）に示すように、家２２、ビル２３、樹木２４、空２５、土壌２６を色成分毎の領域に分割する。つぎにユーザが図６（ｂ）の太線４２に示すように切り取りたいオブジェクトを多角形で囲んで領域を指定し、指定した領域の等高線４１、４２、４３、４４、４５を指定した領域の内外に引く。つぎに各等高線４１、４２、４３、４４、４５の内側における家の画像を含む画素数からどの等高線４１、４２、４３、４４、４５がオブジェクトの領域として適切かを判断し、オブジェクトの領域としての等高線を選択してオブジェクトの領域を抽出する。つぎに、抽出した等高線からより精密にオブジェクトを切り取るために、たとえば非特許文献２に示すような輪郭抽出方式を行って最終的なオブジェクトの輪郭とする。
【０００４】
図７は非特許文献１に示す処理を説明する図である。図７（ａ）は入力画像に円で示す始点Ａと矩形で示す終点Ｂを指定し、非特許文献１の処理を行った結果破線４７のように領域をたどったことを示す図である。図７（ｂ）は非特許文献１の処理で入力画像にグラジエント（Gradient）処理を行った結果を数値で示し、始点Ａと終点Ｂを示した図である。図７（ｃ）は重み関数に基づいて始点Ａから終点Ｂまで経路探索した結果を示す図である。
【０００５】
非特許文献１に示す方式では以下のようにしてオブジェクトの輪郭を抽出する。まず、図７（ａ）に示す画像を入力する。つぎに、入力画像に対してグラジエント処理を行い、図７（ｂ）に示す数値空間を作成し、円形で示す始点Ａと矩形で示す終点Ｂを指定する。始点Ａと終点Ｂが指定されると、始点Ａから終点Ｂまで各画素間で重み関数に基づいた重みを計算し、始点Ａから終点Ｂまでの重みの総和が最も軽くなる経路を求める。この処理をオブジェクトの輪郭に沿って適切な間隔で繰り返すことによりオブジェクトの輪郭を取り出す。
【０００６】
図８（ａ）と図８（ｂ）は非特許文献２に示す処理を説明する図である。図８（ａ）は入力図にオブジェクト抽出するための領域を指定したことを示す図、図８（ｂ）はオブジェクトの輪郭を抽出した図である。
【０００７】
非特許文献２に示す方式では以下のようにしてオブジェクトの輪郭を抽出する。入力画像に対して図８（ａ）に点列Ｐで一例を示すように複数の点をユーザが所望するオブジェクトの回りに指定領域として入力し、指定された点を線で繋いで指定領域とする。次に、入力画像に対してグラジエント処理を行って図７（ｂ）に示したような数値空間を形成し、エネルギー関数に基づいて指定領域の内側に指定領域を遷移させて、図８（ｂ）に示すようにオブジェクトの領域を抽出する。
【特許文献１】特開平１１−４５３４５号公報
【非特許文献１】Eric Mortensen and William Barrett  著  「Intelligent Scissors for Image Composition」  インターネット＜ＵＲＬ：http://ihome.ust.hk/~fuhb/doc/Intelligent Scissors for Image Composition.pdf＞
【非特許文献２】M. Kass, A. Witkin, and D. Terzopoulos  著  「Snakes: Active Contour Models」  the First International Conference on Computer Vision, London, England、２５９頁〜２６８頁、 June 1987
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１に示す技術ではオブジェクトを囲む多角形を指定しなければならずユーザの負担が高いという課題があった。
【０００９】
非特許文献１に示す手法では以下の課題があった。
（ａ）角張ったオブジェクトを切り出す場合に丸みを帯びてしまう。
（ｂ）複雑な背景でのオブジェクトを切り出す場合には、オブジェクト周辺まで輪郭が収束していかない。
【００１０】
非特許文献２に示す手法では以下の課題があった。
（ａ）始点と終点を複数組指定して切り出す手間が必要である。
（ｂ）オブジェクトの形状によっては、始点と終点を細かく指定しなければならないなど、ツールへの習熟が必要であった。
【００１１】
このように、特許文献１および非特許文献１、２に示される従来技術は、複雑な背景でオブジェクトの形状をできるだけ正確に切り出すためには、ユーザの手間が大きくなるという課題があった。
【００１２】
本発明はこのような課題を解決するもので、ツールに習熟する必要無く、複雑な背景画像から目的のオブジェクトの輪郭を簡単に抽出することができるオブジェクト輪郭抽出方法およびオブジェクト輪郭抽出装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
この課題を解決するために本発明は、エッジ抽出処理された画像のエッジを構成する画素間でネットワークを構成して、ユーザが指定した領域から内側へネットワーク上で重み付け関数に基づいて領域をオブジェクトに近づけることにより、ユーザに従来よりも手間のかからないオブジェクト輪郭抽出装置を提供するものである。
【００１４】
本発明の第１の態様によるオブジェクト輪郭抽出方法は、２次元の画像から所望するオブジェクトの輪郭を抽出する場合に、ユーザが前記２次元の画面に所望の切り取り領域を指定し、前記ユーザが指定した前記切り取り領域に基づいて前記オブジェクトの輪郭を抽出するものである。本態様によれば、ツールに習熟する必要無く、複雑な背景画像から目的のオブジェクトの輪郭を簡単に抽出することができる。
【００１５】
本発明の第２の態様によるオブジェクト輪郭抽出方法は、２次元の画像にユーザが切り取り領域を指定するステップと、前記ユーザが指定した前記切り取り領域のエッジを抽出するステップと、前記切り取り領域のエッジを構成する画素間によりネットワークを構成するステップと、前記ネットワーク上で前記ユーザが指定した前記切り取り領域から内側へ、重み付け関数に基づいて、前記ネットワークを切り取り領域内のオブジェクトに近づけるステップと、前記ネットワークの最初のノードとなる画素から次のノードとなる画素まで各隣り合う画素を一対の始点と終点として取り扱いながら知的鋏処理を行って前記オ
ブジェクトの輪郭を抽出するステップとを有するものである。本態様によれば、ツールに習熟する必要無く、複雑な背景画像から目的のオブジェクトの輪郭を簡単に抽出することができる。
【００１６】
本発明の第３の態様によるオブジェクト輪郭抽出装置は、２次元の画像から所望するオブジェクトの輪郭を抽出する場合に、ユーザが前記２次元の画面に所望の切り取り領域を指定するユーザインタフェースと、前記切り取り領域のエッジを抽出するエッジ抽出手段と、前記切り取り領域のエッジを構成する画素間によりネットワークを構成するネットワーク構成手段と、前記オブジェクトの周囲まで前記切り取り領域を遷移させたオブジェクト領域を抽出するオブジェクト領域抽出手段と、抽出した前記オブジェクト領域のデータに基づいて前記オブジェクトの輪郭を抽出するオブジェクト輪郭抽出手段とを備えたものである。本態様によれば、ツールに習熟する必要無く、複雑な背景画像から目的のオブジェクトの輪郭を簡単に抽出することができる。
【００１７】
本発明の第４の態様は、第３の態様によるオブジェクト輪郭抽出装置において、オブジェクト領域抽出手段は、ネットワーク構成手段で構成したネットワークを用いてユーザが指定した前記切り取り領域から所望するオブジェクトの輪郭の周囲まで、前記切り取り領域を遷移させるものである。本態様によれば、ツールに習熟する必要無く、複雑な背景画像から目的のオブジェクトの輪郭を簡単に抽出することができる。
【００１８】
本発明の第５の態様は、第３の態様によるオブジェクト輪郭抽出装置において、オブジェクト輪郭抽出手段は、前記ノード列と前記知的鋏を用いて前記オブジェクトの輪郭を抽出するものである。本態様によれば、ツールに習熟する必要無く、複雑な背景画像から目的のオブジェクトの輪郭を簡単に抽出することができる。
【発明の効果】
【００１９】
本発明によれば、ユーザはオブジェクトを囲む矩形などの単純な多角形や楕円を指定するか、または、オブジェクトの中心を指定する等の単純な操作により、ツールに習熟する必要無く、複雑な背景画像から目的のオブジェクトの輪郭を抽出することができる。
【発明を実施するための最良の形態】
【００２０】
以下本発明の実施の形態について、図面を用いて説明する。
【００２１】
（実施の形態１）
図１乃至図５は本発明の実施の形態に関わるオブジェクト輪郭抽出処理を説明する図である。本実施の形態ではネットワークとしてドロネー網を用いたオブジェクト抽出処理について説明する。具体的には、読み込んだ画像にエッジ抽出処理を行い、その結果得られたエッジ画素をノードとしてドロネー網を構成する。ユーザがオブジェクト領域を指定すると、指定領域の内側にあるオブジェクトの輪郭を抽出して表示するものである。
【００２２】
図１はオブジェクト抽出処理装置の全体構成図で、オブジェクト輪郭抽出処理装置１、処理対象とする入力画像データベース２およびユーザインタフェース３の３つの要素から構成されている。オブジェクト輪郭抽出処理装置１はオブジェクト抽出処理においてエッジの抽出処理を行うエッジ処理部１０、抽出したエッジ画素間でドロネー網を構成するネットワーク構成部１１、構成したドロネー網上において、指定領域内部でオブジェクトを抽出するオブジェクト領域抽出部１２、ドロネー網上で抽出したオブジェクトに近いエッジ画素と知的鋏を用いて画像上で切り取るオブジェクトの輪郭を切り取る処理を行うオブジェクト輪郭抽出部１３、およびこれらの各構成要素の制御を行う制御部１４から構成されている。
【００２３】
入力画像データベース２は、オブジェクトの輪郭を抽出するための２次元の画像データが蓄積されているデータベースであり、あらかじめ画像データが蓄積されているが、新たに追加したり、不要なものを除去することもできる。ユーザは、ユーザインタフェース３を利用して、この入力画像データベース２からオブジェクトの輪郭を抽出するための画像を選択してオブジェクト輪郭抽出処理装置１に入力する。
【００２４】
ユーザインタフェース３はユーザが入力画像データベース２からオブジェクトの輪郭を抽出するための画像を入力する入力装置および処理中の画像を表示する画像表示装置を備えている。
【００２５】
つぎに図１におけるオブジェクト輪郭抽出装置の動作を図２のフローチャートとともに、説明する。オブジェクト抽出処理は制御部１４から起動される。オブジェクト抽出処理が起動されると（Ｓ２０１）、入力画像データベース２から図５（ａ）に示すような入力画像５１を入力する（Ｓ２０２）。つぎに、図５（ｂ）のように、ユーザがユーザインタフェース３によりオブジェクト切り取り領域５２を指定する（Ｓ２０３）。オブジェクト切り取り領域５２の指定は、矩形等の単純な多角形や楕円形など任意の閉曲線で囲んで指定したり、切り取り領域の中心を指定するなどの単純な操作により行なわれる。
【００２６】
つぎに、エッジ処理部１０で入力した画像のエッジ抽出を行う（Ｓ２０４）。エッジ抽出した画素はネットワーク構成部１１で図５（ｆ）のようにノードとしてドロネー網５６を構成する（Ｓ２０５）。つぎに、オブジェクト領域抽出部１２を起動してオブジェクト領域の抽出処理をする（Ｓ２０６）。オブジェクト領域の抽出処理は図３に示すフローチャートに従って行われる。まず、オブジェクト領域抽出処理を起動すると（Ｓ３０１）、図５（ｇ）に示すようにドロネー網５６上にあり、かつオブジェクト切り取り領域５２の内部で最も外側のノードを抽出してポリゴンを構成してカレントポリゴン(currentPolygon)５３とする。その際ユーザインタフェース３上に図５（ｃ）に黒の実線で示すようにカレントポリゴン５３を表示しても良い（Ｓ３０２）。ここで、カレントポリゴン５３とは処理対象となっているポリゴンのことである。
【００２７】
カレントポリゴン５３はドロネー網５６を構成するノードとリンクから構成されており、それぞれカレントノード（currentNodes）とカレントリンク（currentLinks）と呼ぶ。カレントリンクを構成する各リンクは、リンク両端の各ノードを構成する画素に関連する値またはノード間、すなわち、ノードを構成する画素間に基づく重み関数により重みの値を持つカレントノードに接続する。
【００２８】
つぎに、カレントノードの内側のノードで構成されるポリゴンでカレントリンクを構成する各リンクの重みの総和より小さくなるネクストポリゴン(nextPolygon)があるかを調べる（Ｓ３０３）。無い場合は終了する（Ｓ３０６）。ある場合はネクストポリゴンを新たなカレントポリゴンにする（Ｓ３０４）。次に予め指定された終了条件、例えばカレントポリゴンとネクストポリゴンで変更したノード数が閾値以下となった場合等を満たすかを調べ（Ｓ３０５）、満たしている場合はオブジェクト領域抽出処理を終了する（Ｓ３０６）。満たしていない場合はＳ３０３に戻り、カレントノードの内側のノードで構成されるポリゴンでカレントリンクを構成する各リンクの重みの総和より小さくなるネクストポリゴン(nextPolygon)があるかを調べるステップを予め指定された終了条件が満たされるまで繰り返す。すなわち、ユーザが指定したオブジェクト切り取り領域５２から所望するオブジェクトの輪郭の周辺まで領域を遷移させる。
【００２９】
オブジェクト領域抽出処理を終了した際のドロネー網５６にあるカレントポリゴンは、図５（ｈ）に示すような状態のカレントポリゴン５４となる。なお、この状態のカレントポリゴン５４を、ユーザインタフェース３上で図５（ｄ）に黒の実線で示すように入力画
像５１に重ねて表示しても良い。
【００３０】
オブジェクト領域抽出処理（Ｓ２０６）を終了すると（Ｓ３０６）、制御部１４はオブジェクト輪郭抽出部１３を起動し（Ｓ２０７）、図４のフローチャートに示すオブジェクト輪郭抽出処理を開始する（Ｓ４０１）。まず、最初のノードとなる画素から次のノードとなる画素まで各隣り合う画素を一対の始点と終点として取り扱いながら知的鋏処理を行う（Ｓ４０２）。この知的鋏処理は非特許文献１に記載されている方法と同様にして行われる。この知的鋏処理（Ｓ４０２）をオブジェクト領域を構成する画素がなくなるまで繰り返し（Ｓ４０３）、オブジェクト領域を構成する画素がなくなったら知的鋏処理（Ｓ４０２）を終了し（Ｓ４０４）、図５（ｅ）に示すオブジェクト輪郭抽出の抽出結果５５をユーザインタフェース３に表示して、オブジェクト輪郭抽出処理を終了する（Ｓ２０８）。
【産業上の利用可能性】
【００３１】
本発明にかかるオブジェクト抽出処理は、切り出したオブジェクトを別の背景画像に貼り付けて画像を合成する処理として有用である。また、画像検索において、標本画像（クエリー画像）からオブジェクトの特徴量を抽出して、オブジェクトが撮影されている画像を検索する際に、標本画像（クエリー画像）からオブジェクトを抽出する際に有用である。また、移動体をトラッキングする処理において、移動体を表示する際に移動体の輪郭を表示する際に、本発明を動画の各フレームに適用することにより移動体の輪郭を抽出して表示することが可能である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施例によるオブジェクト輪郭抽出装置の全体構成を示すブロック図
【図２】本発明の実施例によるオブジェクト輪郭抽出方法の処理全体のフローチャート
【図３】本発明の実施例によるオブジェクト輪郭抽出装置のオブジェクト領域抽出処理を示すフローチャート
【図４】本発明の実施例によるオブジェクト輪郭抽出装置のオブジェクト輪郭抽出処理を示すフローチャート
【図５】（ａ）本発明の実施例によるオブジェクト輪郭抽出装置における入力画像を示す図（ｂ）本発明の実施例によるオブジェクト輪郭抽出装置におけるユーザが抽出部を設定した状態を示す図（ｃ）（ｂ）で指定した抽出部から最初のカレントポリゴンを抽出したことを示す図（ｄ）本発明の実施例によるオブジェクト輪郭抽出装置におけるオブジェクト領域を抽出した図（ｅ）本発明の実施例によるオブジェクト輪郭抽出装置におけるオブジェクト領域からオブジェクト輪郭を抽出した図（ｆ）（ａ）の入力図から構成したドロネー網を示す図（ｇ）本発明の実施例によるオブジェクト輪郭抽出装置におけるドロネー網上で最初のカレントポリゴンを抽出したことを説明する図（ｈ）本発明の実施例によるオブジェクト輪郭抽出装置におけるドロネー網上でオブジェクト領域を抽出したことを説明する図
【図６】（ａ）従来の画像処理方法における入力画像を色特性に基づいて色事に領域分割したこと示す図（ｂ）従来の画像処理方法のフローチャートにおける要部の処理を説明する図
【図７】（ａ）従来の画像処理方法の入力画像に円で示す始点Ａと矩形で示す終点Ｂを指定し処理を行った結果を示す図（ｂ）従来の画像処理方法の入力画像にグラジエント処理を行った結果を数値で示した図（ｃ）従来の画像処理方法の重み関数に基づいて視点から終点まで経路探索した結果を示す図
【図８】（ａ）従来の画像処理方法において入力図にオブジェクト抽出するための領域を指定したことを示す図（ｂ）従来の従来の画像処理方法においてオブジェクトの輪郭を抽出した図
【符号の説明】
【００３３】
１  オブジェクト輪郭抽出装置
２  入力画像データベース
３  ユーザインタフェース
１０  エッジ処理部
１１  ネットワーク構成部
１２  オブジェクト領域抽出部
１３  オブジェクト輪郭抽出部
１４  制御部
５１  入力画像
５２  オブジェクト切り取り領域
５３  カレントポリゴン
５４  オブジェクト領域抽出処理の終了したカレントポリゴン
５５  オブジェクト輪郭の抽出結果
５６  ドロネー網
【図１】
2006011996.tif 000003
【図２】
2006011996.tif 000004
【図３】
2006011996.tif 000005
【図４】
2006011996.tif 000006
【図６】
2006011996.tif 000007
【図８】
2006011996.tif 000008
【図５】
2006011996.tif 000009
【図７】
2006011996.tif 000010