(57)【要約】【課題】記憶領域や比較処理量の増大を招くことなく、物品が検出対象物品であるか否かを正しく判別することができる物品検出装置を得ることを目的とする。【解決手段】カメラ２から出力された物品１の画像と全周囲画像記憶部３に記憶されている全周囲画像を比較して、その全周囲画像の中に物品１の画像と相関がある領域が含まれているか否かを判定する判定処理部４を設け、検出対象物品認定部５が、判定処理部４の判定結果が物品の画像と相関がある領域が含まれている旨を示していれば、その物品１が検出対象物品であると認定する。【選択図】図１
2009003647.tif 000002
【特許請求の範囲】
【請求項１】
各種の検出対象物品の全周囲が撮影されている全周囲画像を記憶する全周囲画像記憶手段と、物品を撮影して、上記物品の画像を出力する物品撮影手段と、上記物品撮影手段から出力された物品の画像と上記全周囲画像記憶手段に記憶されている全周囲画像を比較して、上記全周囲画像の中に上記物品の画像と相関がある領域が含まれているか否かを判定する判定手段と、上記判定手段の判定結果が上記物品の画像と相関がある領域が含まれている旨を示していれば、上記物品が検出対象物品であると認定する検出対象物品認定手段とを備えた物品検出装置。
【請求項２】
各種の検出対象物品の全周囲が撮影されている全周囲画像を記憶する全周囲画像記憶手段と、複数の視点から物品を撮影して、上記物品の全周囲画像を生成する全周囲画像生成手段と、上記全周囲画像生成手段により生成された物品の全周囲画像と上記全周囲画像記憶手段に記憶されている全周囲画像を比較して、双方の全周囲画像の相関を判定する判定手段と、上記判定手段の判定結果が相関がある旨を示していれば、上記物品が検出対象物品であると認定する検出対象物品認定手段とを備えた物品検出装置。
【請求項３】
全周囲画像生成手段は、複数の視点から物品を撮影して、上記物品の３次元形状データを生成し、上記３次元形状データを極座標系に投影することで全周囲画像を生成することを特徴とする請求項２記載の物品検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、物品を撮影して、その物品が検出対象の物品であるか否かを判定する物品検出装置に関するものである。
【背景技術】
【０００２】
従来の物品検出装置は、検出対象の物品を検出する準備段階において、検出対象物品を撮影して、検出対象物品の基準パラメータ（例えば、検出対象物品の画像、検出対象物品の画像から抽出された特徴量など）を用意する。
物品検出装置は、実際に検出対象の物品を検出する運用段階では、物品を撮影して、その物品のパラメータを生成し、その物品のパラメータと検出対象物品の基準パラメータを比較し、両者が一致すれば、その物品が検出対象物品であると認定する。
【０００３】
ただし、物品検出装置は、準備段階における検出対象物品の撮影角度と、運用段階における物品の撮影角度とが異なると、その物品が検出対象物品であるかを正しく判別することができない。
そこで、物品検出装置は、準備段階において、検出対象物品の撮影角度を少しずつ変えて、各種の検出対象物品毎に、複数の基準パラメータを用意するようにしている（例えば、特許文献１を参照）。
【０００４】
【特許文献１】特開２０００−２４２７８７号公報（段落番号［００１３］から［００２０］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の物品検出装置は以上のように構成されているので、各種の検出対象物品毎に、複数の基準パラメータを用意すれば、検出対象物品の検出精度を高めることができる。しかし、検出精度を高めるために数多くの基準パラメータを用意しようとすると、基準パラメータの記憶領域を増やす必要があり、また、パラメータの比較処理量が増大してしまうなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、記憶領域や比較処理量の増大を招くことなく、物品が検出対象物品であるか否かを正しく判別することができる物品検出装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る物品検出装置は、物品撮影手段から出力された物品の画像と全周囲画像記憶手段に記憶されている全周囲画像を比較して、その全周囲画像の中に物品の画像と相関がある領域が含まれているか否かを判定する判定手段を設け、検出対象物品認定手段が、判定手段の判定結果が物品の画像と相関がある領域が含まれている旨を示していれば、その物品が検出対象物品であると認定するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、物品撮影手段から出力された物品の画像と全周囲画像記憶手段に記憶されている全周囲画像を比較して、その全周囲画像の中に物品の画像と相関がある領域が含まれているか否かを判定する判定手段を設け、検出対象物品認定手段が、判定手段の判定結果が物品の画像と相関がある領域が含まれている旨を示していれば、その物品が検出対象物品であると認定するように構成したので、記憶領域や比較処理量の増大を招くことなく、物品が検出対象物品であるか否かを正しく判別することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による物品検出装置を示す構成図であり、図において、物品１は物品検出装置により検出対象の物品であるか否かを判別される対象である。
カメラ２は物品１を撮影して、物品１の画像を出力する撮影装置であり、例えば、デジタルビデオカメラやデジタルスチルカメラなどが該当し、コンポジット映像信号やコンポーネント映像信号などを判定処理部４に出力する。なお、カメラ２は物品撮影手段を構成している。
【００１０】
全周囲画像記憶部３は各種の検出対象物品の全周囲が撮影されている全周囲画像（例えば、全周囲カメラにより撮影された画像であり、当該画像は検出対象物品の概略全体が球上に投影されてデジタル化されたものである）を記憶しているメモリである。なお、全周囲画像記憶部３は全周囲画像記憶手段を構成している。
【００１１】
判定処理部４は例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＩＥＥＥ１３９４（Ｆｉｒｅ  Ｗｉｒｅ、または、ｉ．ＬＩＮＫ）のような有線、または、ＩＥＥＥ８０２．１１ａ／ｂ／ｇのような無線ＬＡＮによってカメラ２と接続され、カメラ２から出力された物品１の画像と全周囲画像記憶部３に記憶されている全周囲画像を比較して、その全周囲画像の中に物品１の画像と相関がある領域が含まれているか否かを判定する処理を実施する。なお、判定処理部４は判定手段を構成している。
検出対象物品認定部５は判定処理部４の判定結果が物品１の画像と相関がある領域が含まれている旨を示していれば、物品１が検出対象物品であると認定する処理を実施する。
なお、検出対象物品認定部５は検出対象物品認定手段を構成している。
【００１２】
図１の例では、物品検出装置の構成要素である判定処理部４及び検出対象物品認定部５がそれぞれ専用のハードウェア（例えば、ＭＰＵなどを実装している半導体集積回路基板）で構成されているものを想定しているが、物品検出装置がコンピュータで構成される場合には、判定処理部４及び検出対象物品認定部５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による物品検出装置の処理内容を示すフローチャートである。
【００１３】
次に動作について説明する。
通常の画像は、被写体を任意の平面に投影してデジタル化（離散化、量子化）したものであるため、被写体の前面と背面を同時に写すことができない。
これに対して、全周囲画像記憶部３に記憶される検出対象物品の全周囲画像は、例えば、全周囲カメラにより撮影された画像であって、被写体である検出対象物品の概略全体が球上に投影されてデジタル化されたものであるため、被写体の前面と背面を区別せず、あらゆる方向から被写体の外見の全体を同時に写すことができる。
【００１４】
例えば、検出対象物品がサイコロであれば、外接球に包まれたサイコロ（図２（ａ）を参照）を外接球面に投影する（図２（ｂ）を参照）。
その後、図３に示すように、例えば、メルカトル図法によって外接球面に投影したサイコロを平面に投影することで、サイコロの全周囲画像を得ることができる。
【００１５】
カメラ２は、検出対象物品であるか否かを判定する対象の物品１を撮影して、その物品１の画像を判定処理部４に出力する（ステップＳＴ１）。
判定処理部４は、カメラ２から物品１の画像を受けると、その画像には物品１以外の画像（例えば、背景画像）も映っているので、その画像から物品１のみが映っている領域を抽出する（ステップＳＴ２）。以下、物品１のみが映っている領域を「部分画像」と称する。
【００１６】
部分画像を抽出する方法としては、例えば、背景差分法がある。
背景差分法を用いる場合、予め、準備段階において、物品１が映っていない背景画像を撮影し、運用段階において、カメラ１により撮影された画像から背景画像を差し引くことにより得られる前景領域を部分画像として抽出するようにする。
この際、画像に混入したノイズの影響により前景領域のみを抽出することができないことがあるため、数平方ピクセル程度の微小な領域はノイズとして除去するようにする。
また、複数の物品が映ってしまうことにより、複数の前景領域が得られた場合、各々の前景領域を個別の物品の領域として扱うようにする。即ち、複数の物品１の部分画像を抽出するものとする。
【００１７】
判定処理部４は、物品１のみが映っている部分画像を抽出すると、全周囲画像記憶部３に記憶されているＭ種類の全周囲画像の中から、１つの全周囲画像ｍを取得する（ステップＳＴ３，ＳＴ４）。ただし、ｍ＝１，２，３，・・・，Ｍであるとする。
判定処理部４は、全周囲画像記憶部３から１つの全周囲画像ｍを取得すると、その全周囲画像ｍと物品１のみが映っている部分画像とのパターンマッチングを実施することにより、その全周囲画像ｍの中に部分画像と相関がある領域が含まれているか否かを判定する（ステップＳＴ５）。
即ち、判定処理部４は、全周囲画像ｍに含まれている各領域と部分画像とのパターンマッチングを実施して、各領域と部分画像の相関値を算出し、予め設定された閾値より高い相関値があれば、全周囲画像ｍの中に部分画像と相関がある領域が含まれていると判定する。
なお、画像のパターンマッチング自体は、公知の手法を用いればよいため、詳細な説明は省略する。
【００１８】
検出対象物品認定部５は、判定処理部４の判定結果が、全周囲画像ｍの中に部分画像と相関がある領域が含まれている旨を示していれば（ステップＳＴ６）、物品１が検出対象物品であると認定し（ステップＳＴ９）、一連の処理を終了する。
判定処理部４の判定結果が、全周囲画像ｍの中に部分画像と相関がある領域が含まれていない旨を示していれば（ステップＳＴ６）、全周囲画像を示す変数ｍに“１”を加算し（ステップＳＴ７）、変数ｍが全周囲画像記憶部３に記憶されている検出対象物品の種類数Ｍを超えていなければ（ステップＳＴ８）、ステップＳＴ４の処理に戻り、ステップＳＴ４からＳＴ６の処理を繰り返し実施する。
一方、変数ｍが全周囲画像記憶部３に記憶されている検出対象物品の種類数Ｍを超えると（ステップＳＴ８）、物品１が検出対象物品であると認定せずに、一連の処理を終了する。
【００１９】
以上で明らかなように、この実施の形態１によれば、カメラ２から出力された物品１の画像と全周囲画像記憶部３に記憶されている全周囲画像を比較して、その全周囲画像の中に物品１の画像と相関がある領域が含まれているか否かを判定する判定処理部４を設け、検出対象物品認定部５が、判定処理部４の判定結果が物品の画像と相関がある領域が含まれている旨を示していれば、その物品１が検出対象物品であると認定するように構成したので、記憶領域や比較処理量の増大を招くことなく、物品１が検出対象物品であるか否かを正しく判別することができる効果を奏する。
【００２０】
実施の形態２．
図５はこの発明の実施の形態２による物品検出装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
カメラ２ａは物品１を撮影して、物品１の画像を出力する撮影装置であり、例えば、デジタルビデオカメラやデジタルスチルカメラなどが該当し、コンポジット映像信号やコンポーネント映像信号などを３次元形状生成部１１に出力する。
カメラ２ｂはカメラ２ａと同様の撮影装置であるが、カメラ２ａと異なる視点から物品１を撮影している。
【００２１】
３次元形状生成部１１はカメラ２ａ，２ｂにより複数の視点から撮影された物品１の画像から、物品１の３次元形状データを生成する処理を実施する。
全周囲画像生成部１２は３次元形状生成部１１により生成された物品１の３次元形状データを極座標系に投影することで、物品１の全周囲画像を生成する処理を実施する。
なお、カメラ２ａ，２ｂ、３次元形状生成部１１及び全周囲画像生成部１２から全周囲画像生成手段が構成されている。
【００２２】
判定処理部１３は全周囲画像生成部１２により生成された物品１の全周囲画像と全周囲画像記憶部３に記憶されている全周囲画像を比較して、双方の全周囲画像の相関を判定する処理を実施する。なお、判定処理部１３は判定手段を構成している。
検出対象物品認定部１４は判定処理部１３の判定結果が、双方の全周囲画像が相関がある旨を示していれば、物品１が検出対象物品であると認定する処理を実施する。
なお、検出対象物品認定部１４は検出対象物品認定手段を構成している。
【００２３】
図５の例では、物品検出装置の構成要素である３次元形状生成部１１、全周囲画像生成部１２、判定処理部１３及び検出対象物品認定部１４がそれぞれ専用のハードウェア（例えば、ＭＰＵなどを実装している半導体集積回路基板）で構成されているものを想定しているが、物品検出装置がコンピュータで構成される場合には、３次元形状生成部１１、全周囲画像生成部１２、判定処理部１３及び検出対象物品認定部１４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図６はこの発明の実施の形態２による物品検出装置の処理内容を示すフローチャートである。
【００２４】
次に動作について説明する。
カメラ２ａ，２ｂは、相互に異なる視点から、検出対象物品であるか否かを判定する対象の物品１を撮影して、その物品１の画像を３次元形状生成部１１に出力する（ステップＳＴ１１）。
【００２５】
３次元形状生成部１１は、カメラ２ａ，２ｂから物品１の画像を受けると、その画像には物品１以外の画像（例えば、背景画像）も映っているので、その画像から物品１のみが映っている部分画像を抽出する（ステップＳＴ１２）。部分画像の抽出方法としては、上記実施の形態１で説明した背景差分法などがある。
３次元形状生成部１１は、視点が異なる複数のカメラ画像から部分画像を抽出すると、例えば、視体積交差法を用いて、視点が異なる複数の部分画像から物品１の３次元形状データを生成する（ステップＳＴ１３）。
【００２６】
ここでは、キャリブレーションされた２台のカメラ２ａ，２ｂを用いて、物品１の３次元形状データを生成するものについて示したが、キャリブレーションされた３台以上のカメラを用いて、物品１の３次元形状データを生成するようにしてもよい。
なお、キャリブレーションは、カメラの外部パラメータ、内部パラメータ、レンズ歪みパラメータなどを求めることにより、Ｔｓａｉの手法やＺｈａｎｇの手法を用いることで実現することができる。
【００２７】
全周囲画像生成部１２は、３次元形状生成部１１が物品１の３次元形状データを生成すると、物品１の３次元形状データを極座標系に投影することで、物品１の全周囲画像を生成する（ステップＳＴ１４）。
全周囲画像の生成方法としては、例えば、世界地図を作成する際に用いられる公知のメルカトル図法などを用いることができる。
【００２８】
判定処理部１３は、全周囲画像生成部１２が物品１の全周囲画像を生成すると、全周囲画像記憶部３に記憶されているＭ種類の全周囲画像の中から、１つの全周囲画像ｍを取得する（ステップＳＴ１５，ＳＴ１６）。
判定処理部１３は、全周囲画像記憶部３から１つの全周囲画像ｍを取得すると、その全周囲画像ｍと全周囲画像生成部１２により生成された物品１の全周囲画像とのパターンマッチングを実施することにより、双方の全周囲画像の相関を判定する（ステップＳＴ１７）。
即ち、判定処理部１３は、全周囲画像ｍと物品１の全周囲画像とのパターンマッチングを実施して、双方の全周囲画像の相関値を算出し、その相関値が予め設定された閾値より高ければ、双方の全周囲画像は相関があるものと判定する。
なお、画像のパターンマッチング自体は、公知の手法を用いればよいため、詳細な説明は省略する。
【００２９】
検出対象物品認定部１４は、判定処理部１３の判定結果が、双方の全周囲画像が相関がある旨を示していれば（ステップＳＴ１８）、物品１が検出対象物品であると認定し（ステップＳＴ２１）、一連の処理を終了する。
判定処理部１３の判定結果が、双方の全周囲画像が相関がない旨を示していれば（ステップＳＴ１８）、全周囲画像を示す変数ｍに“１”を加算し（ステップＳＴ１９）、変数ｍが全周囲画像記憶部３に記憶されている検出対象物品の種類数Ｍを超えていなければ（ステップＳＴ２０）、ステップＳＴ１６の処理に戻り、ステップＳＴ１６からＳＴ１８の処理を繰り返し実施する。
一方、変数ｍが全周囲画像記憶部３に記憶されている検出対象物品の種類数Ｍを超えると（ステップＳＴ２０）、物品１が検出対象物品であると認定せずに、一連の処理を終了する。
【００３０】
以上で明らかなように、この実施の形態２によれば、複数の視点から物品１を撮影して、物品１の全周囲画像を生成し、判定処理部１３が物品１の全周囲画像と全周囲画像記憶部３に記憶されている全周囲画像ｍを比較して、双方の全周囲画像の相関を判定し、検出対象物品認定部１４が、判定処理部１３の判定結果が相関がある旨を示していれば、物品１が検出対象物品であると認定するように構成したので、記憶領域や比較処理量の増大を招くことなく、物品１が検出対象物品であるか否かを正しく判別することができる効果を奏する。
【図面の簡単な説明】
【００３１】
【図１】この発明の実施の形態１による物品検出装置を示す構成図である。
【図２】外接球に包まれたサイコロと、外接球面に投影されたサイコロを示す説明図である。
【図３】平面に投影されたサイコロを示す説明図である。
【図４】この発明の実施の形態１による物品検出装置の処理内容を示すフローチャートである。
【図５】この発明の実施の形態２による物品検出装置を示す構成図である。
【図６】この発明の実施の形態２による物品検出装置の処理内容を示すフローチャートである。
【符号の説明】
【００３２】
１  物品、２  カメラ（物品撮影手段）、２ａ，２ｂ  カメラ（全周囲画像生成手段）、３  全周囲画像記憶部（全周囲画像記憶手段）、４  判定処理部（判定手段）、５  検出対象物品認定部（検出対象物品認定手段）、１１  ３次元形状生成部（全周囲画像生成手段）、１２  全周囲画像生成部（全周囲画像生成手段）、１３  判定処理部（判定手段）、１４  検出対象物品認定部（検出対象物品認定手段）。
【図１】
2009003647.tif 000003
【図２】
2009003647.tif 000004
【図３】
2009003647.tif 000005
【図４】
2009003647.tif 000006
【図５】
2009003647.tif 000007
【図６】
2009003647.tif 000008