(57)【要約】【課題】  記憶するデータ量を少なくするとともに、高速で検出対象物の検出を行うことができる画像処理装置および画像処理方法を提供する。【解決手段】  画像処理装置１は、第一カメラ２および第二カメラ３で撮像された画像を三次元復元部１１で三次元復元する。画素抽出部１２では、第一カメラ２が設置されている位置から所定距離の範囲内にある物体を映し出す画素を抽出する。顔円形比較部１３には、第一カメラ２からの距離に応じた顔の形状および大きさのデータが記憶されている。顔円形比較部１３では、第一カメラ２が設置されている位置から所定距離の範囲内にある物体を映し出す画素の形状と、顔の形状および大きさのデータとを比較し、その比較結果に基づいて顔を抽出する。【選択図】  図１
2005301833.tif 000002
【特許請求の範囲】
【請求項１】
所定の位置関係にある複数の撮像手段で撮影した画像内における物体を検出する画像処理装置であって、
前記複数の撮像手段によって撮影された物体を三次元形状に復元する三次元復元手段と、
前記三次元復元手段によって三次元復元された物体における所定位置からの距離が所定の範囲内にある位置を映す画素を抽出する所定距離画素抽出手段と、
前記所定位置からの距離ごとに、検出対象物体の大きさが予め記憶されており、前記検出対象物体の大きさと、前記所定距離画素抽出手段で抽出された画素が前記撮像手段によって撮像された画像中で占める大きさと、を比較することにより、検出対象物体を検出する比較検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
所定の位置関係にある複数の撮像手段で撮影した画像内における物体を検出する画像処理方法であって、
前記複数の撮像手段によって撮影された物体を三次元形状に復元する三次元復元工程と、
前記三次元復元工程によって三次元復元された物体における所定位置からの距離が所定の範囲内にある位置を映す画素を抽出する所定距離画素抽出工程と、
予め記憶された前記所定位置からの距離ごとの検出対象物体の大きさと、前記所定距離画素抽出工程で抽出された画素が前記撮像手段によって撮像された画像中で占める大きさと、を比較することにより、検出対象物体を検出する比較検出工程と、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に係り、特に、撮像手段で撮像された画像中における顔などの物体を検出する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
顔向き計測や個人認証などを行う際、カメラで撮影された顔を含む画像中から、顔を検出ことが要求される。このような顔を検出するものとして、特開平５−１９７７９３号に開示された顔画像特徴点抽出装置がある。この顔画像特徴点抽出装置は、画像中における顔のエッジ抽出を行い、エッジ抽出後に形状データとの一致度を算出する、いわゆるパターンマッチングを行うことにより、顔を検出するというものである。
【特許文献１】特開平５−１９７７９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、カメラで撮影された顔の大きさは一定とはならないものである。このため、上記特許文献１に開示された顔画像特徴点抽出装置においては、形状データとの一致度を算出するにあたり、多くのサイズの形状データを持っていなければならず、データベースが膨大となり、画像処理装置に記憶されるデータ量が多くなるという問題があった。さらには、多くのサイズの形状データについて一致度を算出するので、検出を行う際に長時間を要するという問題があった。
【０００４】
そこで、本発明の課題は、記憶するデータ量を少なくするとともに、高速で検出対象物の検出を行うことができる画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決した本発明に係る画像処理装置は、所定の位置関係にある複数の撮像手段で撮影した画像内における物体を検出する画像処理装置であって、複数の撮像手段によって撮影された物体を三次元形状に復元する三次元復元手段と、三次元復元手段によって三次元復元された物体における所定位置からの距離が所定の範囲内にある位置を映す画素を抽出する所定距離画素抽出手段と、所定位置からの距離ごとに、検出対象物体の大きさが予め記憶されており、検出対象物体の大きさと、所定距離画素抽出手段で抽出された画素が撮像手段によって撮像された画像中で占める大きさと、を比較することにより、検出対象物体を検出する比較検出手段と、を備えるものである。
【０００６】
また、上記課題を解決した本発明に係る画像処理方法は、所定の位置関係にある複数の撮像手段で撮影した画像内における物体を検出する画像処理方法であって、複数の撮像手段によって撮影された物体を三次元形状に復元する三次元復元工程と、三次元復元工程によって三次元復元された物体における所定位置からの距離が所定の範囲内にある位置を映す画素を抽出する所定距離画素抽出工程と、予め記憶された所定位置からの距離ごとの検出対象物体の大きさと、所定距離画素抽出工程で抽出された画素が撮像手段によって撮像された画像中で占める大きさと、を比較することにより、検出対象物体を検出する比較検出工程と、を含むことを特徴とする。
【０００７】
本発明に係る画像処理装置および画像処理方法においては、三次元復元された物体における所定位置からの距離が所定の範囲内にある画素を抽出し、抽出された画素が占める大きさと、予め記憶された検出対象物体の大きさとを比較している。また、検出対象物体の大きさは、所定位置からの距離ごとに設定されている。このため、検出対象物の大きさと画素が占める大きさとを比較することにより、検出対象物を検出することができる。
【０００８】
ここで、本発明においては、検出対象物体の大きさを比較しているので、画像処理装置は、検出対象物の大きさに対応するデータが記憶され、顔自体のデータは不要である。したがって、画像処理装置に記憶されるデータ量を少なくすることができるとともに、高速での検出を行うことができる。
【発明の効果】
【０００９】
本発明に係る画像処理装置および画像処理方法によれば、記憶するデータを少なくするとともに、高速で検出対象物の検出を行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態に係る画像処理装置のブロック構成図である。
【００１１】
図１に示すように、本実施形態に係る画像処理装置１は、三次元復元部１１、所定距離画素抽出手段である画素抽出部１２、および比較検出手段である顔円形比較部１３を備えている。また、画像処理装置１には、複数の撮像手段である第一カメラ２および第二カメラ３が接続されている。第一カメラ２および第二カメラ３は、互いに所定の位置関係にあるものである。第一カメラ２および第二カメラ３は、人の顔などを撮影した画像を画像処理装置１における三次元復元部１１に出力している。本実施形態では、人の顔を検出対象物体としている。
【００１２】
三次元復元部１１は、第一カメラ２および第二カメラ３で撮影された画像を三次元復元し、三次元復元画像を作成する。三次元復元部１１は、復元した三次元復元画像を画素抽出部１２に出力する。
【００１３】
画素抽出部１２は、所定位置、たとえば第一カメラ２が設置されている位置から所定距離の範囲内にある物体を映す画素を抽出する。画素抽出部１２では、第一カメラ２からの所定距離の範囲を複数設定している。これら複数の所定距離のそれぞれについて、その所定距離範囲内にある画素を抽出する。
【００１４】
画素抽出部１２における抽出結果は、顔円形比較部１３に出力される。顔円形比較部１３には、検出対象物体である顔の形状と大きさが所定位置、たとえば第一カメラ２からの距離ごとにテンプレートとして予め記憶されている。顔の形状は、楕円に近似される形状にモデル化することができ、画素抽出部１２には、第一カメラ２からの距離に応じた大きさの楕円形がテンプレートとして記憶されている。顔円形比較部１３では、画素抽出部１２から出力された抽出結果と、予め記憶されたテンプレートとから、円形度を比較する。この円形度の比較により、検出対象物体である顔の検出を行う。
【００１５】
以上の構成を有する本実施形態に係る画像処理装置を用いた画像処理方法について説明する。図２は、本実施形態に係る画像処理方法の手順を示すフローチャートである。
【００１６】
図２に示すように、本実施形態に係る画像処理方法では、まず第一カメラ２および第二カメラ３によって画像を撮影し、画像処理装置１における三次元復元部１１に出力する。三次元復元部１１では、カメラ２，３で撮影した画像および２つのカメラ２，３のカメラパラメータに基づいて、撮像した画像を三次元復元する（Ｓ１）。
【００１７】
復元結果は、第一カメラ２から見た画像の各画素が、第一カメラ２の光軸方向を奥行きとしたときの距離画像として算出される。そして、最終的なここでの処理結果は、第一カメラ２で撮影した各画素が、第一カメラ２の奥行き方向にどれ位離れた場所に位置するかを示す画像となり、その距離が画素ごとに求められる。
【００１８】
こうして三次元復元をしたら、画素抽出部１２において、画素抽出を行う。画素の抽出を行う際には、カウンタを０に設定する（Ｓ２）。カウンタを０に設定したら、次に、第一カメラ２から所定範囲の距離に存在する位置を映す画素を抽出する（Ｓ３）。カウンタが０のときには、第一カメラ２からの距離が０〜５０ｍｍの範囲に位置する物体を示す画素を抽出する。
【００１９】
このように、第一カメラ２からの距離が０〜５０ｍｍの範囲に位置する物体を示す画素を抽出したら、顔円形比較部１３において、抽出した画素が占める大きさと、予め記憶されている検出対象物体である顔の大きさとを比較する。こうして、抽出した画素が占める大きさが、予め記憶されているテンプレートに対して所定のしきい値、たとえば７０％以上を占める領域を探索する（Ｓ４）。
【００２０】
第一カメラ２で顔を撮影していると、図３に模式的に示すように、第一カメラ２からの距離が０〜５０ｍｍの範囲Ｒ１では、顔ＦＡにおける鼻の部分程度が存在する。このときには、図４（ａ）に示すように、画面Ｐ１における存在画素Ｅ１は、わずかの領域のみを占めるに過ぎないものとなる。
【００２１】
また、画像に映し出される顔の大きさは、第一カメラ２からの距離によって異なり、第一カメラ２からの距離が短いほど、画像に映し出される顔の大きさは大きくなり、第一カメラ２からの距離が長いほど、画像に映し出される顔の大きさは小さくなる。顔円形比較部１３には、第一カメラ２からの距離に応じた顔の大きさのテンプレートが記憶されている。
【００２２】
図５（ａ）〜（ｇ）に示すように、顔円形比較部１３に記憶されるテンプレートの大きさは、第一カメラ２からの距離の範囲によって変わっている。第一カメラ２からの距離が０〜５０ｍｍでは、図５（ａ）に示す大きさのテンプレートＯ１が記憶されている。顔の形状は、一般的に楕円に近い形状をなしている。テンプレートＯ１は、顔の輪郭を一般化した楕円形をなしており、図６に示すように、第一カメラ２の光軸に直交し、顔ＦＡの前部を横断する面を想定して設定されている。
【００２３】
第一カメラ２からの距離が１０〜６０ｍｍでは、図５（ｂ）に示す大きさのテンプレートＯ２が記憶されている。図５（ｂ）に示すテンプレートＯ１は、図５（ａ）に示すテンプレートＯ１よりも若干小さく設定されている。
【００２４】
以後、第一カメラ２からの距離の範囲が１０ｍｍ後退するごとに、図５（ｃ）に示すテンプレートＯ３、図５（ｄ）に示すテンプレートＯ４、図５（ｅ）に示すテンプレートＯ５、図５（ｆ）に示すテンプレートＯ６、および図５（ｇ）に示すテンプレートＯ７の順に小さくなっていく。これらのテンプレートＯ２〜Ｏ６についても、テンプレートＯ１と同様、第一カメラ２の光軸に直交し、顔ＦＡの前部を横断する面を想定して設定されている。
【００２５】
ステップＳ４に戻り、抽出した画素が占める大きさが、予め記憶されているテンプレートに対して所定のしきい値以上の領域を占める領域が検出されたら、検出された領域が顔候補となる。また、抽出した画素が占める大きさが、予め記憶されているテンプレートに対して所定のしきい値以上の領域を占める領域が探索されなかったら、顔候補は検出されなかったことになる。ここでは、顔候補となる領域は検出されなかったことになる。
【００２６】
こうして、ｉ＝０での検出が終了したら、カウンタを１増やし（Ｓ５）、ｉ＝ｎ（＝８）となって終了するか否かを判断する（Ｓ６）。その結果、終了しないと判断したら、ステップＳ３に戻って、第一カメラ２からの距離が１０〜６０ｍｍの範囲Ｒ２に位置する物体を示す画素を抽出する。
【００２７】
その後、顔円形比較部１３において、抽出した画素が占める大きさと、予め記憶されている検出対象物体である顔の大きさとを比較する。こうして、抽出した画素が占める大きさが、予め記憶されているテンプレートに対して所定のしきい値以上の領域を占める領域を探索する（Ｓ４）。
【００２８】
以後、同様にして、ｉ＝ｎに到達するまで、ステップＳ２からステップＳ４の処理を繰り返し、第一カメラ２からの距離が２０〜７０ｍｍの範囲Ｒ３、第一カメラ２からの距離が３０〜８０ｍｍの範囲Ｒ４、および第一カメラ２からの距離が４０〜９０ｍｍの範囲Ｒ５について、テンプレートに対して所定のしきい値以上の領域を占める領域を探索する。また、第一カメラ２からの距離が５０〜１００ｍｍの範囲Ｒ６、第一カメラ２からの距離が６０〜１１０ｍｍの範囲Ｒ７、および第一カメラ２からの距離が７０〜１２０ｍｍの範囲Ｒ８について、テンプレートに対して所定のしきい値以上の領域を占める領域を探索する。
【００２９】
このように、１０ｍｍ刻みで各刻みにおいて５０ｍｍ間隔の範囲内に存在する画素を抽出する。そして、各刻みにおけるテンプレートとの比較により、テンプレート中を占める領域割合がしきい値以上である場合に、顔候補とする。図４（ｂ）〜（ｇ）に、画像Ｐ２〜Ｐ７に映し出される存在範囲Ｅ２〜Ｅ７と、テンプレートＯ２〜Ｏ７との関係を示す。図４に示す例では、（ｄ）、（ｅ）に示す場合がしきい値を超えており、顔として検出することができる。
【００３０】
このように、本実施形態に係る画像処理方法では、顔の大きさと画素が占める大きさとを比較することにより、確実に顔を検出することができる。また、画像処理装置１では、顔の大きさに対応するデータを記憶し、顔自体に対するデータは不要である。このため、画像処理装置１におけるデータ量を少なくすることができ、しかも高速での検出を可能とすることができる。
【００３１】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態において、移動する物体として人の顔を例示しているが、たとえば自動車などの移動体などを移動する物体とすることができる。また、上記実施形態では、顔のテンプレートを楕円形に設定したが、顔の凹凸を考慮して、たとえば鼻の部分を除いた形状をテンプレートとして設定することができる。このように、テンプレートの形状は、検出対象物に応じて適宜調整することにより、さらに精度の高い検出を行うことができる。
【図面の簡単な説明】
【００３２】
【図１】本発明に係る画像処理装置のブロック構成図である。
【図２】本発明に係る画像処理方法の手順を示すフローチャートである。
【図３】第一カメラと顔との距離関係を示す模式図である。
【図４】（ａ）〜（ｇ）とも、画像に映された物体が存在する画素とテンプレートとの関係を示す図である。
【図５】（ａ）〜（ｇ）とも、テンプレートの大きさを示す図である。
【図６】画像とテンプレートとを比較する際の位置関係を説明する図である。
【符号の説明】
【００３３】
１…画像処理装置、２…第一カメラ、３…第二カメラ、１１…三次元復元部、１２…画素抽出部、１３…顔円形比較部、ＦＡ…顔、Ｏ１〜Ｏ７…テンプレート、Ｐ１〜Ｐ７…画面、Ｅ１〜Ｅ７…存在範囲。
【図１】
2005301833.tif 000003
【図２】
2005301833.tif 000004
【図３】
2005301833.tif 000005
【図４】
2005301833.tif 000006
【図５】
2005301833.tif 000007
【図６】
2005301833.tif 000008