(57)【要約】【課題】検出対象のオブジェクトが一部重複した範囲を撮影した隣り合う撮影範囲の画像に跨がる場合でも、画像の奥行き方向における位置変動に対応しながら当該オブジェクトを検出する。【解決手段】検出領域（W）を隣り合う撮影範囲の左側画像（LP）と右側画像（RP）とに跨がる境界位置に設定する場合には、当該検出領域（W）を設定対象の画像（LP, RP）毎に分割した２つの分割領域（w1, w2）からなるパターンとし、これら２つの分割領域（w1, w2）を、設定対象の画像（LP, RP）に対し、検出領域（W）のサイズに対応する設定対象の画像（LP, RP）間の視差量（Pd）を考慮して重複範囲を除く位置に適応的に設定する。【選択図】図６
2015106360.tif 000002
【特許請求の範囲】
【請求項１】
一部重複する範囲を撮影して得られた画像データが示す視差のある複数の画像から既知のサイズのオブジェクトを検出するオブジェクト検出方法であって、
前記複数の画像に対して複数のサイズの検出領域を隣り合う撮影範囲の画像に跨がる境界位置を含む複数の位置に設定し、該検出領域内の部分画像について前記オブジェクトの存在の有無を判定する検出処理を行い、
前記境界位置に前記検出領域を設定する場合には、該検出領域を設定対象の画像毎に分割した複数の分割領域からなるパターンとし、これら複数の分割領域を、前記設定対象の画像に対し、前記検出領域のサイズに対応する設定対象の画像間の視差量を考慮して重複範囲を除く位置に適応的に設定する
ことを特徴とするオブジェクト検出方法。
【請求項２】
請求項１に記載されたオブジェクト検出方法において、
前記画像に対する前記検出領域の設定位置に応じて該検出領域を当該画像の光学系による光学歪みに倣ったパターンとし、
前記検出領域内の部分画像を示す画像データを前記光学歪みを補正しながら抽出し、該光学歪みが補正された抽出データに対して前記オブジェクトの検出処理を行う
ことを特徴とするオブジェクト検出方法。
【請求項３】
一部重複する範囲を撮影して得られた画像データが示す視差のある複数の画像から既知のサイズのオブジェクトを検出するオブジェクト検出装置であって、
前記複数の画像に対して複数のサイズの検出領域を隣り合う撮影範囲の画像に跨がる境界位置を含む複数の位置に設定する検出領域設定部と、
前記検出領域内の部分画像について前記オブジェクトの存在の有無を判定する検出処理を行うオブジェクト検出部と、を備え、
前記検出領域設定部は、前記境界位置に前記検出領域を設定する場合に、該検出領域を設定対象の画像毎に分割した複数の分割領域からなるパターンとし、これら複数の分割領域を、前記設定対象の画像に対し、前記検出領域のサイズに対応する設定対象の画像間の視差量を考慮して重複範囲を除く位置に適応的に設定する
ことを特徴とするオブジェクト検出装置。
【請求項４】
請求項３に記載されたオブジェクト検出装置において、
前記検出領域内の部分画像を示す画像データを抽出するデータ抽出部をさらに備え、
前記検出領域設定部は、前記画像に対する前記検出領域の設定位置に応じて該検出領域を当該画像の光学系による光学歪みに倣ったパターンとし、
前記データ抽出部は、前記検出領域内の部分画像を示す画像データを前記光学歪みを補正しながら抽出し、
前記オブジェクト検出部は、前記データ抽出部で抽出された抽出データに対して前記オブジェクトの検出処理を行う
ことを特徴とするオブジェクト検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像データが示す画像から所定のオブジェクトを検出するオブジェクト検出方法及びオブジェクト検出装置に関する。
【背景技術】
【０００２】
従来から、撮影装置で撮影した画像からオブジェクトを検出する方法として、画像内における複数の位置に検出窓と呼ばれる領域指定パターンを順次移動させながら設定し、その領域指定パターンで指定された検出領域内の部分画像に検出対象のオブジェクトが存在するか否かを検査するものが一般的である。
【０００３】
このようなオブジェクト検出方法は、検出対象のオブジェクト全体が検出領域内に内包されることを仮定とした手法であるが、オブジェクトの検出処理が簡便になることから広く利用されている。そして、このようなオブジェクト検出方法には、領域指定パターンの移動経路などを工夫することで効率良くオブジェクトを検出する手法が種々提案されている（例えば、特許文献１参照）。
【０００４】
また、撮影装置としては、広い範囲の視野を撮影可能な広視野角のカメラが知られている。この種のカメラには、広角レンズを用いたカメラや、広角の被写界領域を複数の撮影光学系で分割し隣り合う撮影光学系で一部重複する範囲を撮影する被写界分割型の複眼カメラ（例えば、特許文献２参照）がある。従来は広角レンズを用いたカメラが広く用いられてきたが、近年は用途に応じて被写界分割型の複眼カメラの適用も見られる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２３７６３３号公報
【特許文献２】特開２００９−２１１０１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記被写界分割型の複眼カメラを用いて撮影された複数の画像からオブジェクトを検出するのに上述の一般的なオブジェクト検出方法を適用すると、複数の撮影光学系で分割して撮影された画像の境界位置に検出対象のオブジェクトが存在する場合、つまり検出対象のオブジェクトが隣り合う撮影範囲の画像に跨がっている場合には、当該オブジェクトは、各画像上では分割された一部だけが存在し、個々の画像に設定される検出領域内に全体が内包されないため、被写界領域に存在するにも拘わらず検出されない。
【０００７】
さりとて、分割して撮影された視差のある画像同士を重複した撮影範囲を除いて合成処理した上でその合成画像に対してオブジェクトの検出処理を行うとなると、画像合成に際して画像の奥行きに相当するオブジェクトの検出距離を一定に定める必要がある。このため、画像の境界位置にある検出対象のオブジェクトがその一定の検出距離とは異なる画像の奥行き位置に存在する場合には、当該オブジェクトを検出できなくなる。すなわち、画像の奥行き方向における検出対象のオブジェクトの位置変動に対応できず、当該オブジェクトを３次元的に検出することができない事態に陥る。
【０００８】
本発明は、斯かる点に鑑みてなされたものであり、その目的とするところは、検出対象のオブジェクトが一部重複した範囲を撮影した隣り合う撮影範囲の画像に跨がる場合でも、画像の奥行き方向における位置変動に対応しながら当該オブジェクトを検出することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、この発明では、隣り合う撮影範囲の画像に跨がるように検出領域を複数の分割領域に分割し、これら分割領域同士が互いに重複した撮影範囲を含まないように検出領域の設定の仕方を工夫した。
【００１０】
具体的には、本発明は、一部重複する範囲を撮影して得られた画像データが示す視差のある複数の画像から既知のサイズのオブジェクトを検出するオブジェクト検出方法及びオブジェクト検出装置を対象としている。ここで、「既知のサイズのオブジェクト」とは、例えば人の顔や手のようにサイズの標準偏差が小さい被写体を撮影した画像内のオブジェクトを意味する。そして、本発明は、以下の解決手段を講じたものである。
【００１１】
本発明における第１の態様は、オブジェクト検出方法であって、複数の画像に対して複数のサイズの検出領域を隣り合う撮影範囲の画像に跨がる境界位置を含む複数の位置に設定し、その検出領域内の部分画像についてオブジェクトの存在の有無を判定する検出処理を行う。そして、前記境界位置に検出領域を設定する場合には、その検出領域を設定対象の画像毎に分割した複数の分割領域からなるパターンとし、これら複数の分割領域を、設定対象の画像に対し、検出領域のサイズに対応する設定対象の画像間の視差量を考慮して重複範囲を除く位置に適応的に設定する。
【００１２】
この第１の態様では、複数の画像を一括して合成処理せずに、これら複数の画像に対して複数のサイズの検出領域を複数の位置に設定し、その検出領域内にオブジェクトが存在するか否かを検出するようにしたから、画像の奥行き方向における検出対象のオブジェクトの位置変動に対応して当該オブジェクトを３次元的に検出することができる。また、検出領域を隣り合う撮影範囲の画像に跨がる境界位置に設定する場合には、これら隣り合う撮影範囲の画像に対して、当該検出領域を分割した複数の分割領域を重複範囲を除く位置に適応的に設定するようにしたので、検出対象のオブジェクトが隣り合う撮影範囲の画像に跨がって分割されている場合でも、当該オブジェクトを検出することができる。
【００１３】
第１の態様においては、画像に対する検出領域の設定位置に応じてその検出領域を当該画像の光学系による光学歪みに倣ったパターンとし、検出領域内の部分画像を示す画像データを光学歪みを補正しながら抽出して、その光学歪みが補正された抽出データに対してオブジェクトの検出処理を行うことが好ましい。
【００１４】
このようにすれば、検出領域内の部分画像を示す画像データを抽出する際に併せてその画像データの光学歪みが補正されるので、画像データの抽出処理とは別個に画像データの光学歪みを補正する処理を行わなくて済む。これによって、オブジェクトの検出処理を行う際の処理量を削減できる。
【００１５】
また、本発明における第２の態様は、オブジェクト検出装置であって、複数の画像に対して複数のサイズの検出領域を隣り合う撮影範囲の画像に跨がる境界位置を含む複数の位置に設定する検出領域設定部と、その検出領域内の部分画像についてオブジェクトの存在の有無を判定する検出処理を行うオブジェクト検出部と、を備える。そして、検出領域設定部は、前記境界位置に検出領域を設定する場合に、その検出領域を設定対象の画像毎に分割した複数の分割領域からなるパターンとし、これら複数の分割領域を、設定対象の画像に対し、検出領域のサイズに対応する設定対象の画像間の視差量を考慮して重複範囲を除く位置に適応的に設定する。
【００１６】
この第２の態様では、検出領域設定部で複数の画像に対して複数のサイズの検出領域を複数の位置に設定し、オブジェクト検出部で検出領域内にオブジェクトが存在するか否かを検出するようにしたから、画像の奥行き方向における検出対象のオブジェクトの位置変動に対応して当該オブジェクトを３次元的に検出することができる。また、検出領域設定部で検出領域を隣り合う撮影範囲の画像に跨がる境界位置に設定する場合には、これら隣り合う撮影範囲の画像に対して、当該検出領域を分割した複数の分割領域を重複範囲を除く位置に適応的に設定するようにしたので、検出対象のオブジェクトが隣り合う撮影範囲の画像に跨がって分割されている場合でも、当該オブジェクトを検出することができる。
【００１７】
第２の態様においては、検出領域内の部分画像を示す画像データを抽出するデータ抽出部をさらに備えていてもよい。そして、検出領域設定部が、画像に対する検出領域の設定位置に応じてその検出領域を当該画像の光学系による光学歪みに倣ったパターンとし、データ抽出部が、検出領域内の部分画像を示す画像データを前記光学歪みを補正しながら抽出し、オブジェクト検出部が、データ抽出部で抽出された抽出データに対してオブジェクトの検出処理を行うことが好ましい。
【００１８】
このような構成によると、データ抽出部で検出領域内の部分画像を示す画像データを抽出する際に併せてその画像データの光学歪みが補正されるので、画像データの抽出処理とは別個に画像データの光学歪みを補正する処理を行わなくて済む。これによって、オブジェクトの検出処理を行う際の処理量を削減できる。
【発明の効果】
【００１９】
本発明によれば、検出対象のオブジェクトが一部重複する範囲を撮影した隣り合う撮影範囲の画像に跨がる場合でも、画像の奥行き方向における位置変動に対応しながら当該オブジェクトを検出することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施形態１に係るオブジェクト検出装置のハードウェア構成を示す図である。
【図２】図２（ａ）は、被写界分割型の複眼カメラで隣り合う撮影範囲の境界位置に検出対象のオブジェクトの被写体（人の顔）が存在する場合の一例を示す模式図であり、図２（ｂ）は、図２（ａ）の場合に撮影される左右２つの画像を示す図である。
【図３】図３は、本発明の実施形態１に係る画像処理装置のソフトウェア構成を示すブロック図である。
【図４】図４は、本発明の実施形態１に係るオブジェクト検出方法の流れを示すフローチャート図である。
【図５】図５（ａ）〜（ｄ）は、左右２つの画像において検出領域が移動する様子を示す模式図である。
【図６】図６は、図２（ｂ）の２つの画像において検出対象のオブジェクト（顔画像）を内包するように検出領域が設定された様子を示す模式図である。
【図７】図７は、本発明の実施形態２に係るオブジェクト検出装置のブロック図である。
【図８】図８は、本発明の実施形態２に係る検出領域のパターンの一例を示す模式図である。
【発明を実施するための形態】
【００２１】
以下、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、或いはその用途の範囲を制限することを意図するものではない。
【００２２】
《発明の実施形態１》
この実施形態１では、本発明に係るオブジェクト検出方法及びオブジェクト検出装置について、被写界分割型の複眼カメラで撮影して得られる２つの画像から検出対象のオブジェクトとして人の顔画像を検出する場合を例に挙げて説明する。
【００２３】
図１は、この実施形態１に係るオブジェクト検出装置１のハードウェア構成を示す図である。図２（ａ）は、被写界分割型の複眼カメラ３で隣り合う撮影範囲の境界位置に人の顔Ｆが存在する場合の一例を示す模式図であり、図２（ｂ）は、図２（ａ）の場合に撮影される２つの画像ＬＰ，ＲＰを示す図である。図３は、画像処理装置５のソフトウェア構成を示すブロック図である。
【００２４】
オブジェクト検出装置１は、図１に示すように、被写界分割型の複眼カメラ３と、この複眼カメラ３で得られた画像データＬＰｄ，ＲＰｄを処理して当該画像データＬＰｄ，ＲＰｄが示す画像ＬＰ，ＲＰから人の顔画像Ｘを検出する画像処理装置５と、この画像処理装置５で顔画像Ｘを検出したことを何らかの形式でユーザーに表示するディスプレイ７と、を備えている。
【００２５】
複眼カメラ３は、図２（ａ）に示すように、広角の被写界領域を左右に分割して一部重複した範囲Ａ３を撮影する２つの撮影光学系を備え、これら２つの撮影光学系がその光学レンズの光軸を平行に並べて配置された、いわゆる平行ステレオカメラである。複眼カメラ３は、これら２つの撮影光学系で撮影して取得した左側画像データＬＰｄ及び右側画像データＲＰｄを画像処理装置５に送信する。
【００２６】
図２（ａ）において、左上がりの斜線部分は左側の撮影光学系での撮影範囲Ａ１を示し、右上がりの斜線部分は右側の撮影光学系での撮影範囲Ａ２を示している。左側の撮影光学系で撮影した画像データＬＰｄが示す左側画像ＬＰと右側の撮影光学系で撮影した画像データＲＰｄが示す右側画像ＲＰとは、共に例えば縦４８０［ｐｉｘｅｌ］×横６４０［ｐｉｘｅｌ］のＶＧＡ（Video Graphics Array）サイズの画像であって、図２（ｂ）に示すように、互いに一部重複する範囲（図２（ａ）で左上がりの斜線と右上がりの斜線が交差した格子状の斜線部分Ａ３）を有している。
【００２７】
この左側画像ＬＰと右側画像ＲＰとの重複範囲の左右の幅は、これら両画像ＬＰ，ＲＰの奥行き方向における位置に応じて変化する。つまり、これら２つの画像ＬＰ，ＲＰを合成処理するには、奥行き方向における位置を一定に定める必要がある。本実施形態の画像処理装置５は、左側画像ＬＰと右側画像ＲＰとの合成処理を行わずに、これら２つの画像ＬＰ，ＲＰ内において、個々の画像ＬＰ，ＲＰに存在する顔画像Ｘと、図２（ｂ）に示すように、これら２つの画像ＬＰ，ＲＰの境界位置に存在する顔画像Ｘ、つまり２つの画像ＬＰ，ＲＰに跨って存在し個々の画像ＬＰ，ＲＰでは分割されて一部だけが存在する顔画像Ｘとを検出する。
【００２８】
画像処理装置５は、図３に示すように、オペレーションシステム（ＯＳ）９と、同システム９上で動作するディスプレイドライバ１１及び画像処理アプリケーション１３と、を備える。ＯＳ９は各プログラム間のインターフェイスを提供し、ディスプレイドライバ１１はディスプレイ７の表示動作を制御するための処理を実行する。画像処理アプリケーション１３は、光学歪み補正部１５と、検出領域設定部１７と、視差量テーブル１９、データ抽出部２１と、オブジェクト検出部２３と、を備える。
【００２９】
光学歪み補正部１５は、画像処理装置５に入力された左側画像データＬＰｄ及び右側画像データＲＰｄに対して、これら各画像データＬＰｄ，ＲＰｄを撮影した撮影光学系が有する光学レンズ固有の歪曲収差に起因して生じた光学歪みを補正する歪み補正処理を行う。この歪み補正処理は、予め求めておいた光学レンズ毎の光学歪みを補正する補正マトリクスに基づき、１次変換（行列計算）を用いて実現できる。
【００３０】
検出領域設定部１７は、光学歪み補正部１５で歪み補正処理がされた後の左側画像データＣＬＰｄが示す左側画像ＬＰと右側画像データＣＲＰｄが示す右側画像ＲＰとに対して、顔画像Ｘの検出処理を行う複数のサイズの検出領域Ｗを、上下左右に所定の幅ずつずらした複数の位置に、いわゆるラスタースキャン順に順次設定する。検出領域Ｗは、データ抽出用マスクからなる検出窓と呼ばれる領域指定パターンで画像ＬＰ，ＲＰ内に設定される矩形状の領域である。この検出領域Ｗの設定位置には、当該検出領域Ｗが左側画像ＬＰと右側画像ＲＰとに跨がる境界位置を含む。ここでいう境界位置とは、検出領域Ｗが、左側画像ＬＰと右側画像ＲＰとの重複範囲にかかり、その重複範囲を除いてもこれら２つの画像ＬＰ，ＲＰの両方に設定される位置である。
【００３１】
検出領域設定部１７は、左側画像ＬＰと右側画像ＲＰとに対して別々に検出領域Ｗをラスタースキャン順に設定するのではなく、これら２つの画像ＬＰ，ＲＰ全体に対してラスタースキャン順に設定する。すなわち、検出領域Ｗを左側画像ＬＰの左端位置から右端位置まで順次シフトさせ、さらに検出領域Ｗが左側画像ＬＰの右端から右側にはみ出る境界位置を経て、右側画像ＲＰの右端位置にまでシフトさせる左側画像ＬＰから右側画像ＲＰに連続した左右方向のスキャンを、左側画像ＬＰ及び右側画像ＲＰの上下方向における上端位置から下端位置にかけて隈なく行う。そして、検出領域設定部１７は、検出領域Ｗを上記境界位置に設定する場合には、検出領域Ｗのうち左側画像ＬＰからはみ出た部分を右側画像ＲＰに分割して設定する。この検出領域設定部１７は、サイズ設定部２５と、パターン設定部２７と、を備える。
【００３２】
サイズ設定部２５は、検出領域Ｗのサイズ、つまり検出領域Ｗにおける縦方向の画素数と横方向の画素数とを設定する。人の顔Ｆは既知のサイズであるから、顔画像Ｘのサイズは、画像ＬＰ，ＲＰの奥行き方向における被写位置に応じて変化する。つまり、顔画像Ｘは、その被写体である顔Ｆが、複眼カメラ３から離れた位置にあるほど小さく、逆に複眼カメラ３に近い位置にあるほど大きく画像ＬＰ，ＲＰ内に存在する。
【００３３】
サイズ設定部２５は、複眼カメラ３と離れた位置から近い位置へ向かって顔画像Ｘの検出距離を変えるように、最小サイズ（例えば縦４０［ｐｉｘｅｌ］×横２５［ｐｉｘｅｌ］）から最大サイズ（例えば縦１００［ｐｉｘｅｌ］×横６５［ｐｉｘｅｌ］）にまで所定倍率（例えば１．１倍）ずつ検出領域Ｗのサイズを大きくする。この検出領域Ｗのサイズは、標準的な人の顔Ｆのサイズを縦２４０ｍｍ×横１６０ｍｍとし、このサイズの顔Ｆが複眼カメラ３から１５００ｍｍ〜４０００ｍｍ離れた位置に存在することを想定している。検出領域設定部１７は、このサイズ設定部２５で設定された検出領域Ｗのサイズから、視差量テーブル１９に基づき、そのサイズに対応する顔画像Ｘを探索する場合における左側画像ＬＰと右側画像ＲＰとの間の視差量Ｐｄを取得する。
【００３４】
視差量テーブル１９は、検出領域Ｗのサイズ及びカメラパラメータと、左側画像ＬＰ及び右側画像ＲＰの２つの画像ＬＰ，ＲＰ間の視差量Ｐｄとを対応付けて格納したルックアップテーブルである。カメラパラメータには、複眼カメラ３における２つの撮影光学系の光学レンズの中心間の長さである基線長やこれら各光学レンズの倍率及び焦点距離などの情報が含まれている。左側画像ＬＰと右側画像ＲＰとの視差量Ｐｄは、これらカメラパラメータと検出領域Ｗのサイズとによって一意に決定される。このことについて、以下に詳述する。
【００３５】
検出領域Ｗのサイズと検出対象のオブジェクト（本実施形態では人の顔画像Ｘ）までの距離とは透視投影の関係式によって計算できる。すなわち、実空間で横Ｘ［ｍｍ］、縦Ｙ［ｍｍ］のオブジェクトが複眼カメラ３からＺ［ｍｍ］なる距離にあるとした場合、そのカメラで撮影した画像ＬＰ，ＲＰ上のオブジェクトのサイズｘ［ｐｉｘｅｌ］、ｙ［ｐｉｘｅｌ］は、複眼カメラ３の撮影光学系のレンズの焦点距離ｆ［ｍｍ］及び画素ピッチｋ［ｐｉｘｅｌ／ｍｍ］を用いて、以下のように記述できる。
Ｚｘ＝Ｘｆｋ  ・・・  （式１）
Ｚｙ＝Ｙｆｋ  ・・・  （式２）
【００３６】
サイズＸ，Ｙが既知のオブジェクトの検出を目的として検出領域Ｗのサイズを上記ｘ、ｙと設定した場合、上記焦点距離ｆ及び画素ピッチｋは複眼カメラ３の撮影光学系の構造からカメラパラメータとして既知であるから、上記式１及び式２から距離Ｚを計算できる。  そして、複眼カメラ３が平行ステレオカメラであって基線長がＢ［ｍｍ］である場合、距離Ｚにあるオブジェクト上の点（物点）の左側画像ＬＰと右側画像ＲＰとの視差量Ｐｄは、以下の式３から計算できる。
Ｚｄ＝Ｂｆｋ  ・・・  （式３）
【００３７】
以上のことから、左側画像ＬＰと右側画像ＲＰとの視差量Ｐｄが、カメラパラメータと検出領域Ｗのサイズとによって一意に決定される。この視差量Ｐｄは、複眼カメラ３からＺなる距離にあるオブジェクト（顔画像Ｘ）を探索すべく検出領域Ｗのサイズをｘ、ｙとした場合における左側画像ＬＰと右側画像ＲＰとの重複範囲の左右の幅を示している。
【００３８】
パターン設定部２７は、検出領域Ｗを設定する位置に応じて当該検出領域Ｗのパターンを設定する。具体的には、個々の画像（左側画像ＬＰ又は右側画像ＲＰ）に検出領域Ｗを設定する場合には、その検出領域Ｗを連続した単一パターンとし、左側画像ＬＰと右側画像ＲＰとに跨がる境界位置に検出領域Ｗを設定する場合には、その検出領域Ｗを設定対象の画像ＬＰ，ＲＰ毎に分割した分割パターンとする。
【００３９】
分割パターンの検出領域Ｗは、左側画像ＬＰに設定される左側分割領域ｗ１と、右側画像ＲＰに設定される右側分割領域ｗ２とからなる。検出領域設定部１７は、これら左側分割領域ｗ１と右側分割領域ｗ２とを、設定対象の画像ＬＰ，ＲＰに対し、検出領域Ｗのサイズに対応するこれら２つの画像ＬＰ，ＲＰの間の視差量Ｐｄを考慮して重複範囲を除く位置に適応的に設定する。具体的には、左側分割領域ｗ１は、左側画像ＬＰの右端位置に設定し、右側分割領域ｗ２は、検出領域Ｗのサイズに対応する視差量Ｐｄ分だけ右側画像ＲＰの左端から右側にずらした位置に設定する。
【００４０】
データ抽出部２１は、光学歪み補正部１５で歪み補正された左側画像データＣＬＰｄ及び右側画像データＣＲＰｄが示す２つの画像ＬＰ，ＲＰにおいて、検出領域設定部１７で設定された検査領域Ｗ内の部分画像を示す画像データを一時作業メモリに抽出する。オブジェクト検出部２３は、この作業メモリに抽出された抽出データＥｄに対して顔画像Ｘの検出処理を行い、当該抽出データＥｄが示す部分画像に顔画像Ｘが存在するか否かを判定する。
【００４１】
顔画像Ｘの検出処理には、予め標準的な顔画像について多次元の特徴量を学習したニューラルネットワークを用い、抽出データＥｄが示す部分画像から算出した同じ多次元の特徴量に基づいてこれら各特徴量の類似度から顔画像Ｘの存在を判定する方法や、テンプレートマッチングなどの種々の公知の方法を適用することが可能である。
【００４２】
次に、上記オブジェクト検出装置１による顔画像Ｘの検出処理について、図４及び図５を参照しながら説明する。図４は、顔画像Ｘを検出するオブジェクト検出方法の流れを示すフローチャート図である。図５（ａ）〜（ｄ）は、左側画像ＬＰ及び右側画像ＲＰにおいて検出領域Ｗが移動する様子を示す模式図である。
【００４３】
画像処理装置５は、複眼カメラ３で撮影された左側画像データＬＰｄ及び右側画像データＲＰｄ（共に例えば縦６４０［ｐｉｘｅｌ］×横４８０［ｐｉｘｅｌ］のサイズの画像のデータ）が入力されると、光学歪み補正部１５でこれら２つの画像データＬＰｄ，ＲＰｄに歪み補正処理を行った後に、歪み補正された２つの画像データＣＬＰｄ，ＣＲＰｄが示す左側画像ＬＰ及び右側画像ＲＰから顔画像Ｘを検出する処理を、図４に示すフローに従って行う。
【００４４】
すなわち、まず、ステップＳＴ１において、サイズ設定部２５で検出領域Ｗのサイズを予め決められた最小サイズ（例えば縦４０［ｐｉｘｅｌ］×横２５［ｐｉｘｅｌ］）に設定する。このステップＳＴ１では、次回以降実行される毎に、検出領域Ｗのサイズを、予め決められた最大サイズ（例えば縦１００［ｐｉｘｅｌ］×横６５［ｐｉｘｅｌ］）にまで所定倍率（例えば１．１倍）ずつ順次拡大していき、次第に大きなサイズに設定する。ステップＳＴ１で検出領域Ｗのサイズが設定されると、ステップＳＴ２に進む。
【００４５】
ステップＳＴ２では、ステップＳＴ１で設定された検出領域Ｗのサイズから視差量テーブル１９に基づき、左側画像ＬＰと右側画像ＲＰとの間の視差量Ｐｄを決定する。ステップＳＴ２で視差量Ｐｄが決定されると、ステップＳＴ３に進む。
【００４６】
ステップＳＴ３では、左側画像ＬＰ及び右側画像ＲＰの少なくとも一方の画像に対して検出領域Ｗを設定する位置を、予め設定された初期位置である左側画像ＬＰの左上の隅位置に決定する。このとき、検出領域Ｗの位置は、当該検出領域Ｗの中心位置、すなわち同領域Ｗのうち縦横共に中央の位置を基準に決定される。このステップＳＴ３では、次回以降実行される毎に、検出領域Ｗの設定位置をラスタースキャン順に移動させる。すなわち、検出領域Ｗを、図５（ａ）〜（ｄ）に示すように右側画像ＲＰの右端位置にまで複数の位置を連続して順次シフトさせた後に、左側画像ＬＰの左端の一段下の位置に設定し、さらに右側画像ＲＰの右端位置にまで連続して順次シフトさせることを予め決められた最終位置である右側画像ＲＰの右下の隅位置まで繰り返す。ステップＳＴ３で検出領域Ｗの設定位置が決定されると、ステップＳＴ４に進む。
【００４７】
ステップＳＴ４では、検出領域Ｗの設定位置が左側画像ＬＰと右側画像ＲＰとに跨がる境界位置であるか否かを判定する。具体的には、左側画像ＬＰの右端から検出領域Ｗの中心位置までの距離が当該検出領域Ｗの横幅の半分以上の長さである場合には、検出領域Ｗの設定位置が境界位置でないと判定する。また、左側画像ＬＰの右端から検出領域Ｗの中心位置までの距離が当該検出領域Ｗの横幅の半分未満の長さである場合には、検出領域Ｗの設定位置が境界位置であると判定する。ここで、検出領域Ｗの設定位置がこれら２つの画像ＬＰ，ＲＰに跨がる境界位置でない場合には、ステップＳＴ５に進む。他方、ステップＳＴ４で検出領域Ｗの設定位置が境界位置である場合には、ステップＳＴ６に進む。
【００４８】
ステップＳＴ５では、左側画像ＬＰ又は右側画像ＲＰに対し、ステップＳＴ３で決定された検出領域Ｗの設定位置に基づいて単一パターンの検出領域Ｗを設定する。また、ステップＳＴ６では、左側画像ＬＰ及び右側画像ＲＰに対し、ステップＳＴ３で決定された検出領域Ｗの設定位置に基づき、これら画像ＬＰ，ＲＰ毎に分割された分割パターンの検出領域Ｗ、すなわち左側分割領域ｗ１及び右側分割領域ｗ２を、ステップＳＴ２で決定された視差量Ｐｄを考慮して重複範囲を除く位置に適応的にそれぞれ設定する。具体的には、図５（ｂ），（ｃ）に示すように、検出領域Ｗのうち左側画像ＬＰに収まる部分を左側分割領域ｗ１として左側画像ＬＰの右端位置に設定し、左側画像ＬＰからはみ出る部分を右側分割領域ｗ２として検出領域Ｗのサイズに対応する視差量Ｐｄ分だけ右側画像ＲＰの左端から右側にずらした位置に設定する。これらステップＳＴ５及びステップＳＴ６で検出領域Ｗが設定されると、ステップＳＴ７に進む。
【００４９】
ステップＳＴ７では、左側画像ＬＰ及び右側画像ＲＰのうち少なくとも一方の画像に設定された検出領域Ｗ内の画像部分を示す画像データを作業メモリに抽出し、ステップＳＴ８に進む。このとき、検出領域Ｗが分割パターンの検出領域Ｗである場合には、左側分割領域ｗ１内の部分画像を示す画像データＣＬＰｄと右側分割領域ｗ２内の部分画像を示す画像データＣＲＰｄとを、作業メモリ内で単一パターンの検出領域Ｗと同様に取り扱えるように統合しておく。
【００５０】
ステップＳＴ８では、ステップＳＴ７で作業メモリに抽出された抽出データＥｄに対して、その抽出データＥｄが示す部分画像について顔画像Ｘの存在の有無を判定する検出処理を行う。ステップＳＴ８で抽出データＥｄに対する顔画像Ｘの検出処理を終えると、ステップＳＴ９に進む。
【００５１】
ステップＳＴ９では、ステップＳＴ３で決定された検出領域Ｗの設定位置がラスタースキャン順での最終位置、つまり右側画像ＲＰの右下の隅位置であるか否かを判定する。ここで、検出領域Ｗの設定位置が最終位置でない場合には、ステップＳＴ３に戻って検出領域Ｗの設定位置を移動させた後に、再びステップＳＴ４〜ステップＳＴ８を実行する。他方、検出領域Ｗの設定位置が最終位置である場合には、ステップＳＴ１０に進む。
【００５２】
ステップＳＴ１０では、ステップＳＴ１で設定された検出領域Ｗのサイズが最大サイズであるか否かを判定する。ここで、検出領域Ｗのサイズが最大サイズでない場合には、ステップＳＴ１に戻って検出領域Ｗのサイズを１サイズ大きくした後に、再びステップＳＴ２〜ステップＳＴ９を実行する。他方、検出領域Ｗのサイズが最大サイズである場合には、左側画像データＣＬＰｄ及び右側画像データＣＲＰｄに対する顔画像Ｘの検出処理を終了する。
【００５３】
以上のようにして、被写界分割型の複眼カメラ３で撮影した左側画像ＬＰ及び右側画像ＲＰから顔画像Ｘを検出することができる。
【００５４】
−実施形態１の効果−
図６は、図２（ｂ）に示す左側画像ＬＰ及び右側画像ＲＰに分割された顔画像Ｘを内包するように検出領域Ｗが設定された様子を示す模式図である。この実施形態１によると、左側画像ＬＰ及び右側画像ＲＰを一括して合成処理せずに、これら２つの画像ＬＰ，ＲＰに対し複数のサイズの検出領域Ｗを複数の位置に設定し、その検出領域Ｗ内に顔画像Ｘが存在するか否かを検出するようにしたから、画像ＬＰ，ＲＰの奥行き方向における顔画像Ｘの位置変動に対応して当該顔画像Ｘを３次元的に検出することができる。また、検出領域Ｗを左側画像ＬＰと右側画像ＲＰとに跨がる境界位置に設定する場合には、これら２つの画像ＬＰ，ＲＰに対して、当該検出領域Ｗを分割した左側分割領域ｗ１と右側分割領域ｗ２とを重複範囲を除く位置に適応的にそれぞれ設定するようにしたので、図６に例示するように顔画像Ｘが左側画像ＬＰと右側画像ＲＰとに跨がって分割されている場合でも、当該顔画像Ｘを検出領域Ｗ内に完全に内包して正確に検出することができる。
【００５５】
《発明の実施形態２》
この実施形態２に係るオブジェクト検出装置１は、画像処理装置５の構成の一部が上記実施形態１と異なる。なお、以降の各実施形態では、画像処理装置５の構成の一部が上記実施形態１と異なる他はオブジェクト検出装置１について上記実施形態１と同様に構成されているので、構成の異なる画像処理装置５の部分についてのみ説明し、同一の構成箇所は図１〜図６に基づく上記実施形態１の説明に譲ることにして、その詳細な説明を省略する。
【００５６】
図７は、この実施形態２に係るオブジェクト検出装置１のブロック図である。図８は、この実施形態２に係る検出領域Ｗのパターンの一例を示す模式図である。なお、図８（ａ）では、便宜上、画像ＬＰ，ＲＰに光学歪みを示す格子状の線（グリッドパターン）を付している。上記実施形態１では、画像処理装置５が検出領域設定部１７とは別個に光学歪み補正部１５を備え、この光学歪み補正部１５で光学歪みが補正された画像データＣＬＰｄ，ＣＲＰｄに矩形状の検出領域Ｗを設定するとしたが、本実施形態では、検出領域設定部１７とは別個には光学歪み補正部１５を備えず、図７に示すように、検出領域設定部１７及びデータ抽出部２１に光学歪み補正部１５の機能を担わせる構成とした。
【００５７】
すなわち、本実施形態の検出領域設定部１７のうちパターン設定部２７は、予め求めておいた各撮影光学系の光学レンズ毎の光学歪みの情報を有している。パターン設定部２７は、この光学歪みの情報に基づき、画像ＬＰ，ＲＰに対する検出領域Ｗの設定位置に応じてその検出領域Ｗを、図８（ａ）に分割パターン（左側分割領域ｗ１及び右側分割領域ｗ２）の一例を示すように、当該画像ＬＰ，ＲＰの光学系による光学歪みに倣ったパターンとする。データ抽出部２１は、この光学歪みに倣ったパターンの検出領域Ｗ内の部分画像を示す画像データを光学歪みを補正しながら作業メモリに抽出する。
【００５８】
このように作業メモリに抽出された抽出データＥｄは、図８（ｂ）に示すように光学歪みが補正された左側画像ＬＰ及び右側画像ＲＰの同一位置に矩形状の検出領域ＣＷ（左側分割領域Ｃｗ１及び右側分割領域Ｃｗ２）を設定した場合における、その検出領域ＣＷ内の部分画像を示す画像データと同一のデータである。そして、オブジェクト検出部２３は、データ抽出部２１で光学歪みが補正された作業メモリ内の抽出データＥｄに対して、上記実施形態１と同様に顔画像Ｘの検出処理を行う。
【００５９】
−実施形態２の効果−
この実施形態２によると、検出領域Ｗ内の部分画像を示す画像データを抽出する際に併せてその画像データの光学歪みが補正されるので、画像データの抽出処理とは別個に画像データの光学歪みを補正する処理を行わなくて済む。これによって、顔画像Ｘの検出処理を行う際の処理量を削減できる。その他については、上記実施形態１と同様の効果を得ることができる。
【００６０】
なお、上記実施形態１では、検出領域Ｗをラスタースキャン順に左側画像ＬＰ及び右側画像ＲＰのうち少なくとも一方の画像に設定するとしたが、本発明はこれに限らず、検出領域Ｗは、前処理によって顔画像Ｘの検出可能性が高いと推測される位置に優先的に設定し、顔画像Ｘの検出可能性がないと推測される位置には設定しない手法や、ランダムな位置に順次設定する手法など、その他の公知なスキャン手法で２つの画像ＬＰ，ＲＰに対し複数の位置に設定されてもよい。
【００６１】
また、上記実施形態１では、検出領域Ｗについてサイズを変える毎に２つの画像ＬＰ，ＲＰに対し検出領域Ｗをラスタースキャン順で複数の位置に設定するとしたが、本発明はこれに限らず、検出領域Ｗについて設定位置を変える毎に検出領域Ｗのサイズを最小サイズから最大サイズまで変更しながら、各サイズの検出領域Ｗ内にある部分画像について顔画像Ｘの存在の有無を判定する検出処理を行っても構わない。
【００６２】
また、上記実施形態１では、複眼カメラ３が２つの撮影光学系を備えるとしたが、本発明はこれに限らず、複眼カメラ３は、互いに撮影範囲が重複する３つ以上の撮影光学系を備えていてもよい。また、複眼カメラ３は、平行ステレオカメラに限らず、複数の光学撮影系がその光学レンズの光軸同士を交差させて配置されたカメラであってもよい。さらに、オブジェクト検出装置１は、複眼カメラ３に代えて、複数台のカメラを備えていても構わない。
【００６３】
その他、上記実施形態１及び２では、検出対象のオブジェクトを顔画像Ｘとしたオブジェクト検出装置１及びオブジェクト検出方法を例に挙げて説明したが、本発明に係るオブジェクト検出装置及びオブジェクト検出方法で検出対象とするオブジェクトは、例えば人の手などの個人差でサイズのばらつきの小さな人体の一部や、その他、サイズの標準偏差が小さい被写体を撮影した既知のサイズのオブジェクトであればよい。
【産業上の利用可能性】
【００６４】
以上説明したように、本発明は、オブジェクト検出方法及びオブジェクト検出装置について有用であり、特に、検出対象のオブジェクトが複眼カメラで撮影された隣り合う撮影範囲の画像に跨がる場合でも、画像の奥行き方向における位置変動に対応しながら当該オブジェクトを検出することが要望されるオブジェクト検出方法及びオブジェクト検出装置に適している。
【符号の説明】
【００６５】
ＬＰ    左側画像
ＲＰ    右側画像
Ｐｄ    視差量
Ｗ      検出領域
ｗ１    左側分割領域
ｗ２    右側分割領域
Ｘ      顔画像（オブジェクト）
１      オブジェクト検出装置
３      複眼カメラ
５      画像処理装置
７      ディスプレイ
９      オペレーティングシステム
１１    ディスプレイドライバ
１３    画像処理アプリケーション
１５    光学歪み補正部
１７    検出領域設定部
１９    視差量テーブル
２１    データ抽出部
２３    オブジェクト検出部
２５    サイズ設定部
２７    パターン設定部
【図１】
2015106360.tif 000003
【図２】
2015106360.tif 000004
【図３】
2015106360.tif 000005
【図４】
2015106360.tif 000006
【図５】
2015106360.tif 000007
【図６】
2015106360.tif 000008
【図７】
2015106360.tif 000009
【図８】
2015106360.tif 000010