(57)【要約】【課題】  静止物体についても物体の輪郭線を精度よく抽出することが可能な画像処理装置を提供する。【解決手段】  対象物２００を複数のカメラ１１〜１ｎで撮影した画像中から対象物２００の抽出を行う画像処理装置において、少なくとも一つのカメラ１１で取得した画像を画像中の特徴量に基づいて領域分割する領域分割手段２１と、分割された領域の境界線を作成する境界線作成手段２２と、各境界線をはさむ領域の画像の奥行き方向の距離の差を、複数のカメラ１１〜１ｎで取得した画像を基に判定する奥行判定手段２３と、判定した距離差が所定値以上の場合に、その境界線を対象物２００の輪郭線の一部に設定する輪郭判定手段２４と、設定した輪郭線情報から対象物２００の輪郭を抽出する輪郭抽出手段２５と、を備えている。【選択図】  図１
2005309870.tif 000002
【特許請求の範囲】
【請求項１】
対象物を複数のカメラで撮影した画像中から該対象物の抽出を行う画像処理装置において、
少なくとも一つのカメラで取得した画像を画像中の特徴量に基づいて領域分割する手段と、
分割された領域の境界線を作成する手段と、
各境界線をはさむ領域の画像の奥行き方向の距離の差を、複数のカメラで取得した画像を基に判定する手段と、
距離差が所定値以上の場合に、該境界線を該対象物の輪郭線の一部に設定する手段と、
設定した輪郭線情報から該対象物の輪郭を抽出する手段と、
を備えていることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物を撮像した画像中から画像処理によって対象物画像を抽出する画像処理装置に関する。
【背景技術】
【０００２】
画像中から画像処理によって対象物を認識・把握する各種の画像処理技術が知られている（例えば、特許文献１、２参照）。特許文献１の技術では、画像中からエッジを抽出し、分断されているエッジを、例えば、その線分方向に追跡して連結して補正するものであり、対象物の輪郭を正確に認識できると記載されている。また、特許文献２の技術は、物体の動きを検出するものであって、画像濃度差の時間的な変動量が大きい境界を物体の輪郭線として検出している。
【特許文献１】特開平７−３３４６８９号公報
【特許文献２】特開平８−１６３５６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１の技術は、エッジを接続することで、輪郭情報の欠落を防止することができるが、検出したエッジが物体の輪郭線なのか、物体内のテクスチャーの境界を示す線なのかを識別することが困難である。
【０００４】
また、特許文献２の技術は、刻々と変化する背景中を移動する物体については、その輪郭線と物体内のテクスチャーの境界とを識別することが可能であるが、背景が均一で変化が少ない場合や、静止している物体においては、境界の内外で時間的に画像濃度差が発生しないため、輪郭とテクスチャーの境界とを識別することができないという問題がある。
【０００５】
そこで本発明は、静止物体についても物体の輪郭線を精度よく抽出することが可能な画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像処理装置は、対象物を複数のカメラで撮影した画像中からこの対象物の抽出を行う画像処理装置において、少なくとも一つのカメラで取得した画像を画像中の特徴量に基づいて領域分割する手段と、分割された領域の境界線を作成する手段と、各境界線をはさむ領域の画像の奥行き方向の距離差を、複数のカメラで取得した画像を基に判定する手段と、距離差が所定値以上の場合に、その境界線を対象物の輪郭線の一部に設定する手段と、設定した輪郭線情報からその対象物の輪郭を抽出する手段と、を備えていることを特徴とする。
【０００７】
本発明によれば、まず、エッジやテクスチャー等の特徴量に基づいてあるカメラで取得した画像を小領域に分割する。そして、分割された小領域の境界線間の画面奥行き方向を判定することで、輪郭線か内部のテクスチャー等の境界線かを識別する。この距離差の判定には複数のカメラで取得した画像を対比することにより行うことができる。同一物体のテクスチャーの境界の場合には、境界の両側で距離差が大きくなることはない。一方、異なる物体間の境界においては、境界の両側での距離差が発生する。したがって、距離差により物体の輪郭線を構成する境界線が識別可能である。
【発明の効果】
【０００８】
本発明によれば、静止画像や背景との輝度差の小さい画像中からも物体の輪郭を精度よく抽出することが可能となる。このため、画像中から物体を抽出して、物体認識等の各種の画像処理を行うことが容易になる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【００１０】
図１は、本発明に係る画像処理装置の実施形態を示すブロック構成図である。この画像処理装置１００は、対象物２００を異なる視点から撮像する複数のカメラ１１〜１ｎと、カメラの映像信号を受信して画像処理を行う画像処理部２と、処理結果を表示するモニタ３とからなる。
【００１１】
カメラ１１〜１ｎは、例えば、ビデオカメラであって、毎秒３０フレームで画像を画像処理部２へ転送することができる。このときの映像信号は、１画面が６４０×４８０ドットで構成され、各画素は、ＲＧＢそれぞれ８ビットで表されるデジタル信号である。なお、カメラ１１〜１ｎ側でデジタル信号へと変換して画像処理部２へ転送する形態のほか、カメラ１１〜１ｎに、アナログ映像信号（例えば、ＮＴＳＣ形式）を出力するタイプのものを使用し、画像処理部２内にＡ／Ｄ変換器を設ける構成や、画像処理部２との間に独立してＡ／Ｄ変換器を設ける構成を採用してもよい。カメラ１１〜１ｎは、２台（つまり、ｎ＝２）あれば、対象物の立体視が可能であるが、３台以上としてもよい。さらに、３台以上用いる場合には、全部のカメラの映像を用いるのではなく、任意の２台以上の画像を適宜組み合わせて画像処理を行ってもよい。
【００１２】
画像処理部２は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、入力された映像信号中の各画像に対して所定の画像処理を施し、処理結果をモニタ３へと出力するものである。この画像処理部２は、内部に領域分割手段２１と、境界線作成手段２２と、奥行判定手段２３と、輪郭判定手段２４と、輪郭抽出手段２５とを備えている。各手段２１〜２５は、それぞれがハードウェア的に区分されていてもよいが、そのうちの一部または全部がハードウェアの一部または全部を共用していてもよい。さらに、輪郭抽出処理に特化した専用のハードウェアとして構成されていてもよいし、パーソナルコンピュータやワークステーションといった汎用の計算機を用い、これらの計算機上で作動するソフトウェアによって本発明に係る画像処理装置を実現してもよい。
【００１３】
この本発明に係る画像処理装置１００の動作について、以下に具体的に説明する。図２は、その処理内容を示すフローチャートであり、図３〜図８は、個々の処理を説明する図である。以下、２台のカメラ１１、１２を用いて処理を行う例を説明するが、３台以上のカメラ１１〜１ｎを用いる場合も同様の処理が行われる。
【００１４】
まず、各カメラ１１、１２から対応する１画像フレーム分の映像信号を取得する（ステップＳ１）。図３は、カメラ１１、１２で取得した画像の一例を示している。ここでは、机上に配置された四角柱（空箱）２０１、円柱（空缶）２０２、球（オレンジ）２０３という３つの物体を斜め上方から撮像している。
【００１５】
次に、領域分割手段２１が、取得した画像をその特徴量に基づいて複数の領域に分割する（ステップＳ２）。この領域分割の手法としては、画像中のエッジを検出して、エッジの切り替わる部分を境界として複数の領域に分割する手法、色または輝度情報を用いて、その類似度に応じて複数の領域に分割する手法、テクスチャー情報を検出して、それに基づいて複数の領域に分割する手法等を用いることができる。図４は、得られた画像を基にして色・輝度情報を用いて領域を分割した結果を示している。分割した領域のそれぞれをＲｉ（ｉ＝１〜ｎ、ｎは分割数。）で表す。
【００１６】
次に境界線作成手段２２は、各領域Ｒｉと隣接する領域Ｒｊ間の境界線を作成する（ステップＳ３）。ここで、境界線は、図５に示されるように複数の直線を組み合わせて折れ線によって近似するとよい。このように、折れ線として近似することで、複雑な境界線についても情報量を削減することができるので、後続の処理における計算量を低減することができ、処理の高速化と、計算機資源の効率的な使用が可能となる。以下、折れ線のそれぞれをＬｉ（ｉ＝１〜ｍ）とする。
【００１７】
各領域Ｒｉと隣接する領域Ｒｊ間の境界線を表す折れ線Ｌｉの作成が終了したら、折れ線Ｌｉから境界線を抽出する処理を行う。この処理はループ処理であり、まず、ループ回数をカウントする変数ｉに１を設定する（ステップＳ４）。そして、奥行判定手段２３は、折れ線Ｌｉの両側の距離差を判定する（ステップＳ５）。この距離差の判定は、カメラ１１、１２で取得したステレオ画像から各点の距離を色で表示した距離画像（図６参照。）を作成しておき、折れ線Ｌｉの両側の距離差（例えば、線分の中心から画面上で所定距離離れた点それぞれの距離差をとればよい。）を変数Ｄｉに格納することで行えばよい（図７参照）。この距離画像の生成手法としては、例えば各画像間で輝度や色相を対比することにより生成する手法が知られており、これらの公知の手法を用いることが可能である。
【００１８】
次に、輪郭判定手段２４は、折れ線が物体の輪郭線の一部か内部線の一部かを判定する。まず、求めたＤｉとしきい値Ｄthとを比較する（ステップＳ６）。ＤｉがＤth以上の場合には、ステップＳ７に移行して、Ｌｉを輪郭線の一部に設定する。一方、ＤｉがＤth未満の場合には、ステップＳ８へと移行して、Ｌｉを物体内部の境界線に設定する。
【００１９】
ステップＳ７、Ｓ８の処理後はステップＳ９へと移行して、変数ｉがｍに達したか否かを判定することで、全てのＬｉの判定処理が終了したか否かを判定する。ｉがｍ未満の場合には、ｉに１を加算して（ステップＳ１０）、ステップＳ５へと戻るループ処理を行うことで、全部の折れ線について輪郭線か内部線かの判定を行う。
【００２０】
ステップＳ９でｉがｍに達したと判定された場合には、全てのＬｉの判定処理が終了していることを意味するから、ステップＳ１１へと移行して、輪郭抽出手段２５が輪郭線の抽出を行う。具体的には、輪郭と判定したＬｉと、別途抽出した画像中のエッジを対比することで、輪郭判定手段２４が輪郭と認定したＬｉに合致するエッジ部分を取り出す。そして、エッジを連結することで、輪郭の抽出処理を行う。抽出後は、抽出したエッジの位置を出力して（ステップＳ１２）、処理を終了する。
【００２１】
本発明によれば、物体間あるいは物体と背景との境界線（輪郭線）と、物体内部のテクスチャー等の境界線（内部境界線）とを奥行情報を用いて識別しているため、輪郭線と内部境界線とを精度よく識別して分離することができる。このため、画像中に複数の物体が存在するような場合でも、個々の物体の輪郭線を精度よく抽出して、物体を分離することが可能となる。また、背景が複雑であったり、逆に単調で動きのない状況においても対象物を分離することができる。
【００２２】
図８はこうして抽出された輪郭線を元画像に重ね合わせて表示したものである。ここでは、空箱２０１、円柱２０２、オレンジ２０３が接近し、一部が重なり合うように配置されている。また、背景となる机は、模様のない比較的均一な表面を有している。このような状況でも本発明によれば、個々の対象物の輪郭線を精度よく分離できることが確認された。
【００２３】
このように精度よく輪郭を抽出することができるため、抽出した輪郭から物体を識別する際の識別精度も向上させることができる。また、複数のカメラで検出した画像それぞれについて輪郭部を抽出して、例えば、Shape from Silhouette法を用いて統合することにより、物体の３次元形状を復元することもできる。
【００２４】
ここでは、静止画像中から物体の輪郭を抽出する例を説明したが、動画像中においても、同一タイミングで取得した画像中からそのタイミングにおける物体の輪郭を抽出することができる。これにより、輪郭の変化、つまり、物体の移動や形状の変化等を識別することもできる。
【産業上の利用可能性】
【００２５】
本発明は、輪郭を用いて物体の識別や３次元復元を行う場合の前処理としての輪郭抽出処理に好適に適用できる。
【図面の簡単な説明】
【００２６】
【図１】本発明に係る画像処理装置の実施形態を示すブロック構成図である。
【図２】図１の装置の画像処理内容を示すフローチャートである。
【図３】カメラ１１、１２で取得した画像の一例を示す図である。
【図４】得られた画像を基にした領域分割結果を示す図である。
【図５】領域境界線の折れ線近似の様子を示す図である。
【図６】距離画像の一例を示す図である。
【図７】折れ線の両側の距離比較を説明する図である。
【図８】抽出された輪郭線を元画像に重ね合わせて表示した図である。
【符号の説明】
【００２７】
１１〜１ｎ…カメラ、２…画像処理部、３…モニタ、２１…領域分割手段、２２…境界線作成手段、２３…奥行判定手段、２４…輪郭判定手段、２５…輪郭抽出手段、１００…画像処理装置、２００…対象物、２０１…空箱、２０２…円柱、２０３…オレンジ。
【図１】
2005309870.tif 000003
【図２】
2005309870.tif 000004
【図３】
2005309870.tif 000005
【図４】
2005309870.tif 000006
【図５】
2005309870.tif 000007
【図６】
2005309870.tif 000008
【図７】
2005309870.tif 000009
【図８】
2005309870.tif 000010