(57)【要約】【課題】前景画像を撮像した実環境に応じて対象物体を示す物体領域を検出する。【解決手段】物体領域検出装置は、前景画像データにおける照明条件に基づいて定められた変換領域と、該変換領域に対応付けられた表色系とを示すマスク情報に基づいて、前景画像データが示す画像における表色系を変換し、表色系が変換された前景画像データの色分布に基づいて、検出対象となる対象物体が撮像されていない背景画像データ及び前記前景画像データが示す画像を複数の部分領域に分割し、複数の部分領域ごとに、前景画像データ及び背景画像データそれぞれのヒストグラムを算出して、該部分領域に対応する前景画像データ及び背景画像データのヒストグラムの類似度に基づいて、前記対象物体が存在するか否かを判定し、前景画像データのうち、前記対象物体が存在すると判定された部分領域に対応する画像データを出力する。【選択図】図２
2013003898.tif 000002
【特許請求の範囲】
【請求項１】
対象物体を検出する対象としての前景画像データ、及び、該前景画像データにおける照明条件に基づいて定められた変換領域と、該変換領域に対応付けられた表色系とを示すマスク情報が入力され、前記前景画像データが示す画像における該変換領域内の各画素の表色系を該変換領域に対応付けられた表色系に変換する表色系変換部と、
前記表色系変換部が表色系を変換した前景画像データの色分布に基づいて、検出対象となる対象物体が撮像されていない背景画像データ及び前記前景画像データが示す画像を複数の部分領域に分割する領域分割部と、
前記複数の部分領域ごとに、前記前景画像データのヒストグラムを算出する前景画像ヒストグラム算出部と、
前記複数の部分領域ごとに、前記背景画像データのヒストグラムを算出する背景画像ヒストグラム算出部と、
前記複数の部分領域ごとに、該部分領域に対応する前記前景画像データのヒストグラムと、該部分領域に対応する前記背景画像データのヒストグラムとの類似度に基づいて、前記対象物体が存在するか否かを判定する対象物体検出部と、
前記前景画像データのうち、前記対象物体が存在すると判定された部分領域に対応する画像データを出力する対象物体領域出力部と
を備えることを特徴とする物体領域検出装置。
【請求項２】
検出対象となる対象物体が撮像されていない背景画像データが入力されるステップと、
前記対象物体を検出する対象としての前景画像データが入力されるステップと、
前記前景画像データにおける照明条件に基づいて定められた変換領域と、該変換領域に対応付けられた表色系とを示すマスク情報が入力されるステップと、
前記前景画像データが示す画像における前記変換領域内の各画素の表色系を該変換領域に対応付けられた表色系に変換するステップと、
表色系を変換した前記前景画像データの色分布に基づいて、前記前景画像データ及び前記背景画像データが示す画像を複数の部分領域に分割するステップと、
前記複数の部分領域ごとに、前記前景画像データのヒストグラムを算出するステップと、
前記複数の部分領域ごとに、前記背景画像データのヒストグラムを算出するステップと、
前記複数の部分領域ごとに、該部分領域に対応する前記前景画像データのヒストグラムと、該部分領域に対応する前記背景画像データのヒストグラムとの類似度に基づいて、前記対象物体が存在するか否かを判定するステップと、
前記前景画像データのうち、前記対象物体が存在すると判定された部分領域に対応する画像データを出力するステップと
を有することを特徴とする物体領域検出方法。
【請求項３】
検出対象となる対象物体が撮像されていない背景画像データが入力されるステップと、
前記対象物体を検出する対象としての前景画像データが入力されるステップと、
前記前景画像データにおける照明条件に基づいて定められた変換領域と、該変換領域に対応付けられた表色系とを示すマスク情報が入力されるステップと、
前記前景画像データが示す画像における前記変換領域内の各画素の表色系を該変換領域に対応付けられた表色系に変換するステップと、
表色系を変換した前記前景画像データの色分布に基づいて、前記前景画像データ及び前記背景画像データが示す画像を複数の部分領域に分割するステップと、
前記複数の部分領域ごとに、前記前景画像データのヒストグラムを算出するステップと、
前記複数の部分領域ごとに、前記背景画像データのヒストグラムを算出するステップと、
前記複数の部分領域ごとに、該部分領域に対応する前記前景画像データのヒストグラムと、該部分領域に対応する前記背景画像データのヒストグラムとの類似度に基づいて、前記対象物体が存在するか否かを判定するステップと、
前記前景画像データのうち、前記対象物体が存在すると判定された部分領域に対応する画像データを出力するステップと
をコンピュータに実行させるための物体領域検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体領域検出装置、物体領域検出方法、及び物体領域検出プログラムに関する。
【背景技術】
【０００２】
近年、ＣＣＤなどの撮像素子を有するカメラを視覚センサーとして用いるロボットビジョン、マシンビジョンなどの分野において、撮像により得られた画像データにおいて人や車などの対象物体を示す対象領域を検出することが行われている。
【０００３】
図３は、対象領域を検出する処理の一例を示すフローチャートである。同図に示すように、予め撮像された背景画像が入力される（ステップＳ３０１）。この背景画像は、検出する対象となる対象物体が含まれていない画像である。
物体領域の検出の対象となる前景画像が入力され（ステップＳ３０２）、背景画像と前景画像とに含まれる画素に対して、画素ごとに画素値の比較計算を行う（ステップＳ３０３）。
画素ごとの比較計算の結果に基づいて閾値を算出し、算出した閾値と、前景画像の各画素とを比較して、対象物体が撮像された領域であるか否かの判定を行う（ステップＳ３０４）。
対象物体が撮像された領域であると判定された画素を出力する（ステップＳ３０５)。
【０００４】
上述のようにして、背景画像に基づいて、前景画像において対象物体が撮像された領域を検出する技術が検討されている（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Gary Bradski、Adrian Kaehler（著）、松田晃一（訳）、「詳解ＯｐｅｎＣＶ−コンピュータビジョンライブラリを使った画像処理・認識」、株式会社オライリー・ジャパン、２００９年８月２４日、ｐ．２６７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のような処理では、実際の撮影状況を考慮しておらず、すべての画素に対して同じ閾値を用いた比較を行っている。そのため、前景画像を撮像した状況や、対象物体である被写体に応じた領域の検出を行うことができず、実環境に応じた対象物体を示す物体領域の検出を柔軟に行うことができないという問題があった。
【０００７】
本発明は、上記問題を解決すべくなされたもので、その目的は、前景画像を撮像した実環境に応じて、対象物体を示す物体領域を検出することができる物体領域検出装置、物体領域検出方法、及び物体領域検出プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記問題を解決するために、本発明は、対象物体を検出する対象としての前景画像データ、及び、該前景画像データにおける照明条件に基づいて定められた変換領域と、該変換領域に対応付けられた表色系とを示すマスク情報が入力され、前記前景画像データが示す画像における該変換領域内の各画素の表色系を該変換領域に対応付けられた表色系に変換する表色系変換部と、前記表色系変換部が表色系を変換した前景画像データの色分布に基づいて、検出対象となる対象物体が撮像されていない背景画像データ及び前記前景画像データが示す画像を複数の部分領域に分割する領域分割部と、前記複数の部分領域ごとに、前記前景画像データのヒストグラムを算出する前景画像ヒストグラム算出部と、前記複数の部分領域ごとに、前記背景画像データのヒストグラムを算出する背景画像ヒストグラム算出部と、前記複数の部分領域ごとに、該部分領域に対応する前記前景画像データのヒストグラムと、該部分領域に対応する前記背景画像データのヒストグラムとの類似度に基づいて、前記対象物体が存在するか否かを判定する対象物体検出部と、前記前景画像データのうち、前記対象物体が存在すると判定された部分領域に対応する画像データを出力する対象物体領域出力部とを備えることを特徴とする物体領域検出装置である。
【０００９】
また、本発明は、検出対象となる対象物体が撮像されていない背景画像データが入力されるステップと、前記対象物体を検出する対象としての前景画像データが入力されるステップと、前記前景画像データにおける照明条件に基づいて定められた変換領域と、該変換領域に対応付けられた表色系とを示すマスク情報が入力されるステップと、前記前景画像データが示す画像における前記変換領域内の各画素の表色系を該変換領域に対応付けられた表色系に変換するステップと、表色系を変換した前記前景画像データの色分布に基づいて、前記前景画像データ及び前記背景画像データが示す画像を複数の部分領域に分割するステップと、前記複数の部分領域ごとに、前記前景画像データのヒストグラムを算出するステップと、前記複数の部分領域ごとに、前記背景画像データのヒストグラムを算出するステップと、前記複数の部分領域ごとに、該部分領域に対応する前記前景画像データのヒストグラムと、該部分領域に対応する前記背景画像データのヒストグラムとの類似度に基づいて、前記対象物体が存在するか否かを判定するステップと、前記前景画像データのうち、前記対象物体が存在すると判定された部分領域に対応する画像データを出力するステップとを有することを特徴とする物体領域検出方法である。
【００１０】
また、本発明は、検出対象となる対象物体が撮像されていない背景画像データが入力されるステップと、前記対象物体を検出する対象としての前景画像データが入力されるステップと、前記前景画像データにおける照明条件に基づいて定められた変換領域と、該変換領域に対応付けられた表色系とを示すマスク情報が入力されるステップと、前記前景画像データが示す画像における前記変換領域内の各画素の表色系を該変換領域に対応付けられた表色系に変換するステップと、表色系を変換した前記前景画像データの色分布に基づいて、前記前景画像データ及び前記背景画像データが示す画像を複数の部分領域に分割するステップと、前記複数の部分領域ごとに、前記前景画像データのヒストグラムを算出するステップと、前記複数の部分領域ごとに、前記背景画像データのヒストグラムを算出するステップと、前記複数の部分領域ごとに、該部分領域に対応する前記前景画像データのヒストグラムと、該部分領域に対応する前記背景画像データのヒストグラムとの類似度に基づいて、前記対象物体が存在するか否かを判定するステップと、前記前景画像データのうち、前記対象物体が存在すると判定された部分領域に対応する画像データを出力するステップとをコンピュータに実行させるための物体領域検出プログラムである。
【発明の効果】
【００１１】
この発明によれば、マスク情報に示された照明条件に対応する表色系に基づいて前景画像データにおける領域分割を行い、前景画像データと背景画像データとのヒストグラムを部分領域ごとに比較して、各部分領域に対象物体が存在するか否かを判定して物体領域を検出する。このとき、照明条件に応じて表色系を変えることにより、前景画像を撮像した実環境に応じた領域分割を実現することができるので、前景画像を撮像した実環境に応じて、対象物体が存在する物体領域を前景画像データから検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態における物体領域検出装置１００の構成を示す概略ブロック図である。
【図２】本実施形態における物体領域検出装置１００の物体領域検出の処理を示すフローチャートである。
【図３】対象領域を検出する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態における物体領域検出装置、物体領域検出方法、及び物体領域検出プログラムを説明する。
【００１４】
図１は、本実施形態における物体領域検出装置１００の構成を示す概略ブロック図である。物体領域検出装置１００には、背景画像データ、前景画像データ、及び、マスク情報が入力される。背景画像データは、予め撮像された画像であって検出の対象となる対象物体が含まれていない画像を示す。前景画像データは、対象物体が含まれているか否かの判定の対象となる画像を示す。以下、本実施形態において、背景画像データと前景画像データとは、画像サイズ、解像度、表色系が同じ場合について説明する。
【００１５】
マスク情報は、前景画像データが示す画像における照明条件に基づいて定められた画像内の変換領域を示す情報と、変換領域ごとに対応付けられた表色系を示す情報とが含まれている。照明条件とは、例えば、前景画像における明るさ（輝度値）である。照明条件に基づいて定められた変換領域は、光源を表す領域、十分に照明を受けている領域、物体による影の領域などに分けられて、定められる領域である。
前景画像データにおいて定められた各変換領域には、当該変換領域に応じた表色系が対応付けられている。例えば、十分に照明を受けている領域にはＲＧＢ表色系が対応付けられ、影の領域にはＨＳＶ表色系が対応付けられ、表色系の特徴が生かせるように予め対応付けられている。このマスク情報は、入力される前景画像データに基づいて、物体領域検出装置１００のユーザが予め定める情報である。
物体領域検出装置１００は、背景画像データ及びマスク情報に基づいて、入力された前景画像データに、対象物体が含まれているか否かを判定し、対象物体が含まれている場合、物体領域画像データを出力する。物体領域画像データは、前景画像において対象物体が示されている領域の画像データである。
【００１６】
以下、物体領域検出装置１００の構成について説明する。
物体領域検出装置１００は、図１に示すように、前景画像記憶部１０１、背景画像記憶部１０２、表色系変換部１０３、領域分割部１０４、領域情報記憶部１０５、前景画像ヒストグラム算出部１０６Ａ、背景画像ヒストグラム算出部１０６Ｂ、前景ヒストグラム記憶部１０７Ａ、背景ヒストグラム記憶部１０７Ｂ、対象物体検出部１０８、及び、対象物体領域出力部１０９を備えている。
【００１７】
前景画像記憶部１０１には、外部より入力される前景画像データが記憶される。
背景画像記憶部１０２には、外部より入力される背景画像データが記憶される。
表色系変換部１０３は、マスク情報が外部より入力されると、前景画像記憶部１０１に記憶されている前景画像データを読み出す。表色系変換部１０３は、マスク情報に基づいて、前景画像データが示す前景画像内の変換領域ごとに、当該領域に含まれる画素の色を示す情報を領域に対応付けられた表色系に変換する。
【００１８】
領域分割部１０４は、表色系変換部１０３が表色系を変換した前景画像データに対して、色分布に基づいて表色系ごとに領域の分割を行い、分割した領域である部分領域それぞれを示す領域情報を領域情報記憶部１０５に記憶させる。なお、領域分割部１０４は、例えば、コンピュータビジョン用に開発されたライブラリＯｐｅｎＣＶを用いて実現される場合、関数「ｃｖＰｙｒＭｅａｎＳｈｉｆｔＦｉｌｔｅｒｉｎｇ（）」を用いるようにしてもよい（参考文献：「ＣＶ画像分割、画像結合、輪郭抽出（Image Segmentation, Connected Components and Contour Retrieval）リファレンスマニュアル」インターネット＜URL:http://opencv.jp/opencv-1.1.0/document/opencvref_cv_segmentation.html＞）。すなわち、領域分割部１０４は、各表色系に用いられるパラメータに基づいたＭｅａｎ−Ｓｈｉｆｔ法を用いて、前景画像データを複数の部分領域に分割するセグメント化を行うようにしてもよい。
【００１９】
前景画像ヒストグラム算出部１０６Ａは、領域情報記憶部１０５に記憶されている領域情報を順に読み出し、読み出した領域情報が示す部分領域における前景画像データのヒストグラムを算出し、算出したヒストグラムを示す情報を前景ヒストグラム記憶部１０７Ａに記憶させる。
背景画像ヒストグラム算出部１０６Ｂは、領域情報記憶部１０５に記憶されている領域情報を順に読み出し、読み出した領域情報が示す部分領域における背景画像データのヒストグラムを算出し、算出したヒストグラムを示す情報を背景ヒストグラム記憶部１０７Ｂに記憶させる。
前景ヒストグラム記憶部１０７Ａと、背景ヒストグラム記憶部１０７Ｂとが記憶するヒストグラムを示す情報には、各ヒストグラムに対応する部分領域を示す情報が含まれている。
【００２０】
対象物体検出部１０８は、前景ヒストグラム記憶部１０７Ａに記憶されているヒストグラムと、背景ヒストグラム記憶部１０７Ｂに記憶されているヒストグラムとを比較し、ヒストグラムの類似度を算出する。このとき、対象物体検出部１０８は、前景ヒストグラム記憶部１０７Ａから順にヒストグラムを示す情報を読み出し、読み出した情報と部分領域が一致するヒストグラムを示す情報を背景ヒストグラム記憶部１０７Ｂから読み出す。対象物体検出部１０８は、読み出した、前景画像データのヒストグラムと、背景画像データのヒストグラムとを比較して、類似度を算出する。
【００２１】
対象物体検出部１０８が算出する類似度は、取り得る値が０（零）から１の間になるように正規化され、数値が大きいほど比較したヒストグラムが類似していることを示す。なお、対象物体検出部１０８は、例えば、ライブラリＯｐｅｎＣＶを用いて実現される場合、関数「ｃＶＣｏｍｐａｒｅＨｉｓｔ（）」を用いるようにしてもよい（参考文献：「ＣＶヒストグラム（Histograms）リファレンスマニュアル」インターネット＜URL:http://opencv.jp/opencv-1.1.0/document/opencvref_cv_histograms.html＞）。
【００２２】
また、対象物体検出部１０８は、類似度に基づいて、前景画像データにおける部分領域に対象物体が存在する確率を算出する。例えば、対象物体検出部１０８は、類似度が大きいほど対象物体が前景画像データにおける部分領域に存在する確率が低いと判定する。つまり、類似度をＬとし、対象物体の存在する確率をＰとして表したとき、Ｌが取り得る値は０＜Ｌ＜１となり、確率Ｐは、Ｐ＝１−Ｌとして算出する。対象物体検出部１０８は、前景画像データの部分領域に対する類似度が予め定められた閾値以上である場合、部分領域に対象物体が存在すると判定し、類似度が閾値未満である場合、部分領域に対象物体が存在しないと判定する。ここで、判定に用いられる閾値には、例えば、複数の前景画像データと背景画像データとを用いた試行を繰り返して算出された値を用いる。
【００２３】
対象物体領域出力部１０９は、対象物体検出部１０８の判定結果に基づいて、対象物体が存在すると判定された部分領域の前景画像データを出力する。
【００２４】
図２は、本実施形態における物体領域検出装置１００の物体領域検出の処理を示すフローチャートである。
物体領域検出装置１００において、背景画像データが入力されて背景画像記憶部１０２に記憶され（ステップＳ１０１）、前景画像データが入力されて前景画像記憶部１０１に記憶される（ステップＳ１０２）。マスク情報が入力される（ステップＳ１０３）。
表色系変換部１０３は、外部からマスク情報が入力されると（ステップＳ１０３）、入力されたマスク情報に基づいて、前景画像データにおける各変換領域の表色系を変換する（ステップＳ１０４）。
【００２５】
領域分割部１０４は、表色系が変換された前景画像データを色分布に基づいて、前景画像データに対して領域分割（セグメント化）を行い、分割した各部分領域を示す情報を領域情報記憶部１０５に記憶させる（ステップＳ１０５）。
前景画像ヒストグラム算出部１０６Ａは、領域情報記憶部１０５に記憶されている領域情報ごとに、前景画像記憶部１０１に記憶されている前景画像データのヒストグラムを算出し、算出したヒストグラムを示す情報を前景ヒストグラム記憶部１０７Ａに記憶させる（ステップＳ１０６)。
背景画像ヒストグラム算出部１０６Ｂは、領域情報記憶部１０５に記憶されている領域情報ごとに、背景画像記憶部１０２に記憶されている背景画像データのヒストグラムを算出し、算出したヒストグラムを示す情報を背景ヒストグラム記憶部１０７Ｂに記憶させる（ステップＳ１０７）。
【００２６】
対象物体検出部１０８は、前景ヒストグラム記憶部１０７Ａに記憶されているヒストグラムを示す情報を順に読み出し、読み出したヒストグラムに対応する部分領域のヒストグラムを示す情報を背景ヒストグラム記憶部１０７Ｂから読み出す。対象物体検出部１０８は、読み出した、前景画像のヒストグラムと背景画像のヒストグラムとの類似度に基づいて、前景画像データの当該ヒストグラムが対応する部分領域において対象物体の存在する確率を算出する（ステップＳ１０８）。
対象物体検出部１０８は、算出した確率と予め定められた閾値とを比較して、比較したヒストグラムに対応する部分領域に対象物体が存在するか否かを判定する（ステップＳ１０９）。
【００２７】
対象物体検出部１０８は、ステップＳ１０５において分割された部分領域ごとに、ステップＳ１０８及びステップＳ１０９の処理を繰り返して行う。
対象物体領域出力部１０９は、対象物体検出部１０８がすべての部分領域に対する判定が完了すると前景画像記憶部１０１から前景画像データを読み出し、判定結果に基づいて、前景画像データのうち対象物体が存在すると判定された部分領域の画像データを物体領域画像データとして出力する（ステップＳ１１０）。
【００２８】
上述のようにして、物体領域検出装置１００は、マスク情報に示された照明条件に対応する表色系に基づいて前景画像データにおける領域分割を行い、前景画像データと背景画像データとのヒストグラムを部分領域ごとに比較して、各部分領域に対象物体が存在するか否かを判定して物体領域を検出する。このとき、照明条件に応じて表色系を変えることにより、前景画像を撮像した実環境に応じた領域分割を実現することができるので、前景画像を撮像した実環境に応じて、対象物体が存在する物体領域を前景画像データから検出することができる。
【００２９】
また、ＲＧＢ表色系のように輝度の属性値に独立性がない表色系では、前景画像データの画像領域を実環境に応じて部分領域に分割することが困難である。そこで、本実施形態における物体領域検出装置１００では、マスク情報において、前景画像データにおける物体の影や、輝度の低い部分の領域に対してＨＳＶ表色系を対応付けることにより、実環境における照明条件に応じて画像領域を部分領域に分割するセグメント化を行うことができ、物体領域を前景画像データから検出する精度を向上させることができる。
【００３０】
なお、物体領域検出装置１００は、入力される前景画像データと背景画像データとの画像サイズや、解像度、表色系などが異なる場合、予め定められた画像サイズ、解像度、及び表色系に変換してから前景画像記憶部１０１、背景画像記憶部１０２に記憶させる変換部を設けるようにしてもよい。
【００３１】
上述の物体領域検出装置１００は内部に、コンピュータシステムを有していてもよい。その場合、上述した物体領域検出の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われることになる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【産業上の利用可能性】
【００３２】
本発明による画像上の対象領域抽出をする技術は、カメラを視覚センサーとして用いるロボットビジョン、マシンビジョン分野のみならず、マンマシンインターフェースや、エンターテインメントなどの分野にも広く応用することができるコアテクノロジーであり、映像コミュニケーション分野におけるキラーアプリケーションの創出に大いに貢献できる。
【符号の説明】
【００３３】
１００…物体領域検出装置、１０１…前景画像記憶部、１０２…背景画像記憶部、１０３…表色系変換部、１０４…領域分割部、１０５…領域情報記憶部、１０６Ａ…前景画像ヒストグラム算出部、１０６Ｂ…背景画像ヒストグラム算出部、１０７Ａ…前景ヒストグラム記憶部、１０７Ｂ…背景ヒストグラム記憶部、１０８…対象物体検出部、１０９…対象物体領域出力部
【図１】
2013003898.tif 000003
【図２】
2013003898.tif 000004
【図３】
2013003898.tif 000005