(57)【要約】【構成】歪みレンズ１２を有する撮像手段１００によって画像データを取得する。ＣＰＵ２６は、取得された画像データから特徴量を検出し、検出された特徴量を、歪みレンズに対応する空間座標系から平面座標系に変換する。そして、座標変換後の特徴量に対して特定物体像のパターン認識を実行することで、特定物体像を検出する。【効果】座標変換にかかる演算量が非常に少なくなり、かつ、高精度に物体を検出することができる。【選択図】図２
2014146214.tif 000002
【特許請求の範囲】
【請求項１】
歪みレンズを有する撮像手段、
前記撮像手段により取得された画像を入力画像として受け付ける入力手段、
前記歪みレンズに対応する空間座標系において、前記入力画像の特徴量を検出する特徴量検出手段、
前記空間座標系で検出された特徴量を平面座標系に変換する座標変換手段、および
前記座標変換後の前記特徴量に対して所定の特定物体像のパターン認識を実行することによって、前記所定の特定物体像を検出する検出手段を備える、像検出装置。
【請求項２】
前記特徴量検出手段は、前記特徴量として、前記入力画像のエッジを検出する、請求項１記載の像検出装置。
【請求項３】
前記歪みレンズが広角レンズである、請求項１または２記載の像検出装置。
【請求項４】
前記歪みレンズが魚眼レンズである、請求項１または２記載の像検出装置。
【請求項５】
前記特定物体は人物の顔に相当する、請求項１ないし４のいずれかに記載の像検出装置。
【請求項６】
前記特定物体は人物の人体に相当する、請求項１ないし４のいずれかに記載の像検出装置。
【請求項７】
前記特定物体は動物に相当する、請求項１ないし４のいずれかに記載の像検出装置。
【請求項８】
歪みレンズを有する撮像手段を備える像検出装置のプロセッサに、
前記撮像手段により取得された画像を入力画像として受け付ける入力ステップ、
前記歪みレンズに対応する空間座標系において、前記入力画像の特徴量を検出する特徴量検出ステップ、
前記空間座標系で検出された特徴量を平面座標系に変換する座標変換ステップ、および
前記座標変換後の前記特徴量に対して所定の特定物体像のパターン認識を実行することによって、前記所定の特定物体像を検出する検出ステップを実行させるための、像検出プログラム。
【請求項９】
歪みレンズを有する撮像手段を備える像検出装置によって実行される像検出方法であって、
前記撮像手段により取得された画像を入力画像として受け付ける入力ステップ、
前記歪みレンズに対応する空間座標系において、前記入力画像の特徴量を検出する特徴量検出ステップ、
前記空間座標系で検出された特徴量を平面座標系に変換する座標変換ステップ、および
前記座標変換後の前記特徴量に対して所定の特定物体像のパターン認識を実行することによって、前記所定の特定物体像を検出する検出ステップを備える、像検出方法。
【請求項１０】
歪みレンズを有する撮像手段、および、
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える像検出装置に供給される外部制御プログラムであって、
前記撮像手段により取得された画像を入力画像として受け付ける入力ステップ、
前記歪みレンズに対応する空間座標系において、前記入力画像の特徴量を検出する特徴量検出ステップ、
前記空間座標系で検出された特徴量を平面座標系に変換する座標変換ステップ、および
前記座標変換後の前記特徴量に対して所定の特定物体像のパターン認識を実行することによって、前記所定の特定物体像を検出する検出ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１１】
歪みレンズを有する撮像手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える像検出装置であって、
前記外部制御プログラムは、
前記撮像手段により取得された画像を入力画像として受け付ける入力ステップ、
前記歪みレンズに対応する空間座標系において、前記入力画像の特徴量を検出する特徴量検出ステップ、
前記空間座標系で検出された特徴量を平面座標系に変換する座標変換ステップ、および
前記座標変換後の前記特徴量に対して所定の特定物体像のパターン認識を実行することによって、前記所定の特定物体像を検出する検出ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、像検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、像検出装置に関し、特に歪みレンズを利用して取得された画像から所定の被写体の画像を検出する装置およびその検出方法に関する。
【背景技術】
【０００２】
この種の像検出装置の一例が、特許文献１および２に開示されている。特許文献１には、魚眼レンズカメラにより撮影した画像から、移動する像を抽出することで、魚眼レンズ画像の歪み補正の画像変形処理を高速化することが記載されている。また、特許文献２には、広角カメラで得られた画像から所定の被写体像をより早く確実に検出することが可能な像検出装置および像検出方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−４８４４３号公報
【特許文献２】特開２０１０−２１７９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１記載の技術では、画像自体に歪み補正の画像変形処理を行っており、この画像変形にかかる処理量は非常に多いという問題がある。また、前記特許文献２記載の技術では、歪み補正の画像変形処理を、円柱面画像に写像する方法で行うことで、画像変形にかかる処理量の減少を図っている。しかしながら、前記２文献に記載の技術はいずれも、画像自体を座標変換する画像変形処理を行ったうえで所定の被写体の特徴量を抽出しているため、この画像変形処理にかかる処理量が多くなっており、画像処理性の向上は十分なものとは言えなかった。
【０００５】
それゆえに、この発明の主たる目的は、画像処理性能を高めることができる、像検出装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う像検出装置(10：実施例で相当する参照符号。以下同じ)は、歪みレンズ(12)を有する撮像手段(1,100)、撮像手段により取得された画像を入力画像として受け付ける入力手段(2,S5)、歪みレンズに対応する空間座標系において、入力画像の特徴量を検出する特徴量検出手段(3,S103)、空間座標系で検出された特徴量を平面座標系に変換する座標変換手段(4,S107)、および座標変換後の特徴量に対して所定の特定物体像のパターン認識を実行することによって(S111〜S129)、所定の特定物体像を検出する検出手段(5,S71〜S87)を備える。
【０００７】
好ましくは、特徴量検出手段は、特徴量として、入力画像のエッジを検出する。
【０００８】
好ましくは、歪みレンズが広角レンズである。
【０００９】
好ましくは、歪みレンズが魚眼レンズである。
【００１０】
好ましくは、特定物体は人物の顔に相当する。
【００１１】
好ましくは、特定物体は人物の人体に相当する。
【００１２】
好ましくは、特定物体は動物に相当する。
【００１３】
この発明に従う像検出プログラムは、歪みレンズ(12)を有する撮像手段(100)を備える像検出装置(10)のプロセッサ(26)に、撮像手段により取得された画像を入力画像として受け付ける入力ステップ(S5)、歪みレンズに対応する空間座標系において、入力画像の特徴量を検出する特徴量検出ステップ(S103)、空間座標系で検出された特徴量を平面座標系に変換する座標変換ステップ(S107)、および座標変換後の特徴量に対して所定の特定物体像のパターン認識を実行することによって、所定の特定物体像を検出する検出ステップ(S71〜S87)を実行させるための、像検出プログラムである。
【００１４】
この発明に従う像検出方法は、歪みレンズ(12)を有する撮像手段(100)を備える像検出装置(10)によって実行される像検出方法であって、撮像手段により取得された画像を入力画像として受け付ける入力ステップ(S5)、歪みレンズに対応する空間座標系において、入力画像の特徴量を検出する特徴量検出ステップ(S103)、空間座標系で検出された特徴量を平面座標系に変換する座標変換ステップ(S107)、および座標変換後の特徴量に対して所定の特定物体像のパターン認識を実行することによって、所定の特定物体像を検出する検出ステップ(S71〜S87)を備える、像検出方法である。
【００１５】
この発明に従う外部制御プログラムは、歪みレンズ(12)を有する撮像手段(100)、および、メモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える像検出装置に供給される外部制御プログラムであって、撮像手段により取得された画像を入力画像として受け付ける入力ステップ(S5)、歪みレンズに対応する空間座標系において、入力画像の特徴量を検出する特徴量検出ステップ(S103)、空間座標系で検出された特徴量を平面座標系に変換する座標変換ステップ(S107)、および座標変換後の特徴量に対して所定の特定物体像のパターン認識を実行することによって、所定の特定物体像を検出する検出ステップ(S71〜S87)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１６】
この発明に従う像検出装置(10)は、歪みレンズ(12)を有する撮像手段(100)、外部制御プログラムを取り込む取り込み手段(60)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える像検出装置であって、外部制御プログラムは、撮像手段により取得された画像を入力画像として受け付ける入力ステップ(S5)、歪みレンズに対応する空間座標系において、入力画像の特徴量を検出する特徴量検出ステップ(S103)、空間座標系で検出された特徴量を平面座標系に変換する座標変換ステップ(S107)、および座標変換後の特徴量に対して所定の特定物体像のパターン認識を実行することによって、所定の特定物体像を検出する検出ステップ(S71〜S87)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１７】
この発明によれば、魚眼レンズ，広角レンズ等の歪みレンズで撮影した画像上で、物体の特徴量を求め、その特徴量を歪み空間から平面に座標変換した後にパターン認識を行うので、画像自体の変換と比較して座標変換にかかる演算量は非常に少なくなり、かつ高精度に物体を検出できる。このため、高い画像処理性能を有する像検出装置を提供することが可能となる。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】顔検出処理において用いられる顔検出枠の一例を示す図解図である。
【図６】図２実施例で参照される顔辞書の構成の一例を示す図解図である。
【図７】図２実施例において参照されるレジスタの構成の一例を示す図解図である。
【図８】図２実施例において参照される他のレジスタの構成の一例を示す図解図である。
【図９】顔検出処理の一部を示す図解図である。
【図１０】顔検出処理の一部を示す図解図である。
【図１１】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１８】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２１】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は、歪みレンズを有する。入力手段２は、撮像手段１により取得された画像を入力画像として受け付ける。特徴量検出手段３は、歪みレンズに対応する空間座標系において、入力画像の特徴量を検出する。座標変換手段４は、空間座標系で検出された特徴量を平面座標系に変換する。検出手段５は、座標変換後の特徴量に対して所定の特定物体像のパターン認識を実行することによって、所定の特定物体像を検出する。
【００２２】
魚眼レンズ，広角レンズ等の歪みレンズで撮影した画像上で、物体の特徴量を求め、その特徴量を歪み空間から平面に座標変換した後にパターン認識を行うので、画像自体の変換と比較して座標変換にかかる演算量は非常に少なくなり、かつ高精度に物体を検出できる。このため、画像処理性能を高めることができる。
［実施例］
【００２３】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動される歪みレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、ドライバ１８ｃによって駆動されるイメージセンサ１６の撮像面に照射され、光電変換を施される。また、歪みレンズ１２，絞りユニット１４，イメージセンサ１６，およびドライバ１８ａ〜１８ｃは、撮像ブロック１００を構成する。これらの部材によって、イメージセンサ１６によって捉えられたシーンに対応した電荷が生成される。
【００２４】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ（Ｓｉｇｎａｌ  Ｇｅｎｅｒａｔｏｒ）から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、イメージセンサ１６の撮像面をそれぞれ露光し、かつイメージセンサ１６の撮像面で生成された電荷をラスタ走査態様でそれぞれ読み出す。イメージセンサ１６からは読み出された電荷に基づく生画像データが周期的に出力される。
【００２５】
前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通して図３に示すＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００２６】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と特徴量の検出処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび抽出画像（特徴量）データが個別に作成される。表示画像データは、メモリ制御回路３０によって図３に示すＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込まれる。抽出画像（特徴量）データは、メモリ制御回路３０によって図３に示すＳＤＲＡＭ３２の抽出画像（特徴量）エリア３２ｃに書き込まれる。
【００２７】
ここで、特徴量は、エッジ検出および形状パターン検出等によって画像データから検出されるエッジ、形状パターン等である。特徴量としてエッジを検出して人物の顔を検出する場合、画像データから検出されたエッジ成分に関して、準備された顔辞書とのパターンマッチングを行い、顔の輪郭、目、鼻、口等の顔部品の候補を抽出することで、顔の検出を行うことができる。
【００２８】
また、後処理回路３４は、抽出画像（特徴量）エリア３２ｃに格納された特徴量データをメモリ制御回路３０を通して読み出し、読み出された特徴量データに平面座標系への変換処理を行う。作成された平面座標変換データは、メモリ制御回路３０によって図３に示す探索画像（座標変換特徴量）エリア３２ｄに書き込まれる。
【００２９】
ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００３０】
図４を参照して、イメージセンサ１６の撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。この結果、ＲＧＢデータが前処理回路２０から出力される。
【００３１】
ＡＥ評価回路２２は、ＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、撮像ブロックに対応する２５６個の積分値、つまり撮像ブロックに対応する２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。
【００３２】
ＡＦ評価回路２４は、ＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、撮像ブロックに対応する２５６個の積分値、つまり撮像ブロックに対応する２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００３３】
撮像モードが静止画モードに設定されているとき、ＣＰＵ２６は撮像タスクの下で以下の処理を実行する。
【００３４】
シャッタボタン２８ｓｈが非操作状態のときＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を実行し、適正なＥＶ値を算出する。算出されたＥＶ値を定義する絞り量および露光時間はドライバ１８ｂ，および１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが適度に調整される。
【００３５】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＦ評価回路２４からの出力に基づく厳格ＡＦ処理を実行する。この結果、合焦点に歪みレンズ１２が配置され、スルー画像の鮮鋭度が向上する。
【００３６】
厳格ＡＦ処理が完了すると、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく厳格ＡＥ処理を実行する。厳格ＡＥ処理によって算出されたＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂ，および１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳密に調整される。
【００３７】
シャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は静止画取り込み処理および記録処理を実行する。シャッタボタン２８ｓｈが全押しされた時点のＹＵＶ画像データは、静止画取り込み処理によって図３に示すＳＤＲＡＭ３２の記録画像エリア３２ｅに取り込まれる。取り込まれた１フレームのＹＵＶ画像データは、記録処理に関連して起動したＩ／Ｆ４０によって記録画像エリア３２ｅから読み出され、ファイル形式で記録媒体４２に記録される。
【００３８】
このようにして、静止画ファイルが、記録媒体４２に作成される。
【００３９】
撮像モードが動画モードに設定されているとき、ＣＰＵ２６は撮像タスクの下で以下の処理を実行する。
【００４０】
ＣＰＵ２６は、２５６個のＡＦ評価値に基づいてコンティニュアス厳格ＡＦ処理を実行する。合焦点に歪みレンズ１２が配置され、スルー画像および記録画像の鮮鋭度が継続的に向上する。
【００４１】
ＣＰＵ２６はまた、２５６個のＡＥ評価値に基づいてコンティニュアス厳格ＡＥ処理を実行する。コンティニュアス厳格ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂ，および１８ｃにそれぞれ設定される。この結果、スルー画像および記録画像の明るさの厳格な調整が継続的に実行される。
【００４２】
キー入力装置２８に設けられた記録ボタン２８ｒｅｃに向けて記録開始操作が行われると、ＣＰＵ２６は、記録処理を開始するべく動画記録タスクを起動し、ＭＰＥＧ４コーデック４６およびＩ／Ｆ４０を動画記録タスクの下で起動する。Ｉ／Ｆ４０は、記録媒体４２にアクセスし、動画ファイルを記録媒体４２に新規に作成する（作成された動画ファイルはオープンされる）。ファイル作成＆オープン処理が完了すると、ＣＰＵ２６は、ＭＰＥＧ４符号化処理の開始をＭＰＥＧ４コーデック４６に命令する。
【００４３】
ＭＰＥＧ４コーデック４６は、垂直同期信号Ｖｓｙｎｃに応答して、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データをＭＰＥＧ４方式に従って符号化し、そして符号化画像データつまりＭＰＥＧ４データをメモリ制御回路３０を通して図３に示す記録画像エリア３２ｅに書き込む。
【００４４】
ＣＰＵ２６はまた、書き込まれたＭＰＥＧ４データをオープン状態の動画ファイルに転送する。転送されたＭＰＥＧ４データは、Ｉ／Ｆ４０を通して動画ファイルに書き込まれる。
【００４５】
記録ボタン２８ｒｅｃに向けて記録終了操作が行われると、ＣＰＵ２６は、ＭＰＥＧ４符号化処理の停止をＭＰＥＧ４コーデック４６に命令し、記録処理が終了する。また、オープン状態の動画ファイルはクローズされる。
【００４６】
ＣＰＵ２６は、探索画像（座標変換特徴量）エリア３２ｄに格納された座標変換後の特徴量データから人物の顔画像を探索するべく、垂直同期信号Ｖｓｙｎｃの発生毎に顔検出タスクの下で顔検出処理を繰り返し実行する。このような顔検出タスクのために、図５に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…、図６に示す顔辞書ＤＣｆ、図７に示す人物検出ワークレジスタＲＧＳＴｗｋ、図８に示す顔レジスタＲＧＳＴｆｃが準備される。顔辞書ＤＣｆには５つの辞書画像（＝向きが互いに異なる顔画像）が収められる。なお、顔辞書ＤＣｆはフラッシュメモリ４４に保存される。
【００４７】
顔検出処理ではまず、座標変換後の評価エリアＥＶＡの全域が探索エリアとして設定される。また、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＦＳＺｍａｘが“２００”に設定され、最小サイズＦＳＺｍｉｎが“２０”に設定される。
【００４８】
顔検出枠ＦＤは、探索エリアの開始位置（左上位置）から終了位置（右下位置）に向かって、ラスタ走査態様で既定量ずつ移動される（図９参照）。また、顔検出枠ＦＤのサイズは、顔検出枠ＦＤが終了位置に到達する毎に“ＦＳＺｍａｘ”から“ＦＳＺｍｉｎ”まで“５”ずつ縮小される。
【００４９】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをメモリ制御回路３０を通して探索画像エリア３２ｄから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、標準顔辞書ＤＣｆの各々の特徴量と照合される。照合度が基準値ＴＨ１を上回ると、顔画像が検出されたものとみなされ、現時点の顔検出枠ＦＤの位置およびサイズが、顔情報として人物検出ワークレジスタＲＧＳＴｗｋに格納される。
【００５０】
したがって、図１０（ｄ）の状態で正面を向いた人物ＨＭ１が、歪みレンズを用いた撮像面に図１０（ａ）に示す要領で捉えられる場合、人物検出ワークレジスタＲＧＳＴｗｋ１に登録される顔情報は、特徴量検出（図１０（ｂ））後に座標変換された、図１０（ｃ）顔検出枠ＦＤ１の位置およびサイズを示す。
【００５１】
顔検出処理の完了後に人物検出ワークレジスタＲＧＳＴｗｋに顔情報が格納されていたとき、ＣＰＵ２６は、人物検出ワークレジスタＲＧＳＴｗｋに格納された顔情報の中から主要な被写体とすべき顔情報を、顔検出タスクの下で決定する。人物検出ワークレジスタＲＧＳＴｗｋに１つの顔情報が格納されている場合、ＣＰＵ２６は、格納された顔情報を主要被写体顔情報とする。人物検出ワークレジスタＲＧＳＴｗｋに複数の顔情報が格納されている場合、ＣＰＵ２６は、位置が撮像面中央に最も近い顔情報を主要被写体顔情報とする。主要被写体顔情報とされた顔情報の位置およびサイズは、顔レジスタＲＧＳＴｆｃに格納される。
【００５２】
また、ＣＰＵ２６は、人物の顔を発見したことを表明するべくフラグＦＬＧｆｃを“１”に設定する。
【００５３】
顔検出処理の完了後、人物検出ワークレジスタＲＧＳＴｗｋに顔情報の登録がなかった場合、すなわち人物の顔が発見されなかった場合、ＣＰＵ２６は、フラグＦＬＧｆｃを“０”に設定する。
【００５４】
ＣＰＵ２６は、図１１〜図１３に示す撮像タスク，図１４に示す動画記録タスク，および図１５に示す顔検出タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００５５】
図１１〜図１３を参照して、ステップＳ１ではパン・フォーカス設定処理を行う。ステップＳ３では、顔検出タスクを起動する。ステップＳ５では、動画（スルー画像）取り込み処理を実行する。
【００５６】
ステップＳ７では、撮像モードが動画モードに設定されているか否かを判別し、判別結果がＹＥＳであればステップＳ３９に進む一方、判別結果がＮＯであればステップＳ９に進む。
【００５７】
ステップＳ９では、シャッタボタン２８ｓｈがＯＦＦであるか否かを判別し、判別結果がＹＥＳであればステップＳ１１の処理を経てステップＳ９に戻る一方、判別結果がＮＯであればステップＳ１３に進む。ステップＳ１１では簡易ＡＥ処理を実行する。この結果、スルー画像の明るさが適度に調整される。
【００５８】
ステップＳ１３では、シャッタボタン２８ｓｈが半押しに変化したか否かを判別し、判別結果がＹＥＳであればステップＳ１７に進む一方、判別結果がＮＯであればステップＳ１５に進む。ステップＳ１５では、シャッタボタン２８ｓｈの半押しが継続しているか否かを判別し、判別結果がＹＥＳであればステップＳ９に戻る。一方、判別結果がＮＯであれば、ステップＳ２９に進む。
【００５９】
ステップＳ１７では、フラグＦＬＧｆｃが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１９に進み、ＡＦ対象を検出された顔とし、ステップＳ２３に進みフォーカス位置設定（厳格顔ＡＦ処理）を行う。一方、判別結果がＮＯであればステップＳ２１に進みＡＦ対象を画面中央とし、ステップＳ２５に進み厳格ＡＦ処理を行う。
【００６０】
ステップＳ２３またはステップＳ２５の処理が完了すると、ステップＳ２７に進む。ステップＳ２７では厳格ＡＥ処理を実行する。この結果、スルー画像の明るさが厳格に調整される。ステップＳ２７の処理が完了すると、ステップＳ９に戻る。
【００６１】
ステップ２９では、シャッタボタン２８ｓｈが全押しされたか否かを判別し、判別結果がＹＥＳであればステップＳ３１に進む一方、判別結果がＮＯであれば撮影終了か否かをステップＳ３７で判別する。ステップＳ３７の判別結果がＮＯであればステップＳ７に戻る一方、ステップＳ３７の判別結果がＹＥＳであれば処理を終了する。
【００６２】
ステップＳ３１およびＳ３３では静止画撮影処理および記録処理をそれぞれ実行する。シャッタボタン２８ｓｈが全押しされた時点の１フレームのＹＵＶ画像データは、静止画取り込み処理によって記録画像エリア３２ｅに取り込まれる。取り込まれた１フレームのＹＵＶ画像データは、記録処理に関連して起動したＩ／Ｆ４０によって記録画像エリア３２ｅから読み出され、ファイル形式で記録媒体４２に記録される。ステップＳ３３の処理が完了すると、ステップＳ３５でパン・フォーカス設定処理を行い、ステップＳ７に戻る。
【００６３】
ステップＳ３９ではコンティニュアス厳格ＡＦ処理を実行する。この結果、合焦点に歪みレンズ１２が配置され、スルー画像および記録画像の鮮鋭度が継続的に向上する。ステップＳ４１では、コンティニュアス厳格ＡＥ処理を実行する。この結果、スルー画像および記録画像の明るさの厳格な調整が継続的に実行される。
【００６４】
ステップＳ４３では記録ボタン２８ｒｅｃに向けて記録開始操作が行われたか否かを判別し、判別結果がＹＥＳであればステップＳ４７に進む一方、判別結果がＮＯであれば記録ボタン２８ｒｅｃに向けて記録終了操作が行われたか否かをステップＳ４５で判別する。ステップＳ４５の判別結果がＹＥＳであればステップＳ５１に進む一方、ステップＳ４５の判別結果がＮＯであればステップＳ７に戻る。
【００６５】
ステップＳ５１ではフラグＦＬＧｓｔｐに“１”を設定し、その後にステップＳ３９に戻る。
【００６６】
ステップＳ４７ではフラグＦＬＧｓｔｐに“０”を設定し、その後にステップＳ４９に進み、ステップＳ４９では動画記録タスクを起動する。
【００６７】
ステップＳ４９の処理が完了すると、ステップＳ３９に戻る。
【００６８】
図１４を参照して、ステップＳ６１ではオープン状態の動画ファイルを記録媒体４２に新規に作成し、ステップＳ６３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯであればステップＳ６７に進み、判別結果がＹＥＳであればＭＰＥＧ４データをオープン状態の動画ファイルにステップＳ６５で転送する。転送されたＭＰＥＧ４データは、Ｉ／Ｆ４０を通して動画ファイルに書き込まれる。
【００６９】
ステップＳ６７ではフラグＦＬＧｓｔｐが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ６３に戻る一方、判別結果がＹＥＳであればステップＳ６９に進む。ステップＳ６９では、オープン状態の動画ファイルをクローズして記録処理を終了する。ステップＳ６９の処理が完了すると、動画記録タスクは終了する。
【００７０】
図１５を参照して、ステップＳ７１ではフラグＦＬＧｆｃに“０”を設定し、ステップＳ７３では顔レジスタＲＧＳＴｆｃの登録内容を初期化するべくクリアする。ステップＳ７５では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ７７に進む。
【００７１】
ステップＳ７７では、探索画像データから人物の顔画像を探索するべく、顔検出処理を実行する。ステップＳ７９では、ステップＳ７７の処理によって人物検出ワークレジスタＲＧＳＴｗｋに顔情報が格納されたか否かを判別し、判別結果がＹＥＳであればステップＳ８１に進む一方、判別結果がＮＯであればステップＳ８９に進む。
【００７２】
ステップＳ８１では、人物検出ワークレジスタＲＧＳＴｗｋに複数の顔情報が格納されたか否かを判別し、判別結果がＮＯであればステップＳ８５に進む一方、判別結果がＹＥＳであればステップＳ８３の処理を経てステップＳ８５に進む。
【００７３】
ステップＳ８３では、人物検出ワークレジスタＲＧＳＴｗｋに格納された位置が画像中央に最も近い顔情報を主要被写体顔情報と決定し、ステップＳ８５では、主要被写体顔情報とされた顔情報の位置およびサイズを、顔レジスタＲＧＳＴｆｃに登録する。ステップＳ８７ではフラグＦＬＧｆｃに“１”を設定する。
【００７４】
ステップＳ８９では、フラグＦＬＧｆｃに“０”を設定する。
【００７５】
ステップＳ８７またはＳ８９の処理が完了すると、ステップＳ７５に戻る。
【００７６】
ステップＳ７７の顔検出処理は、図１６〜図１７に示すサブルーチンに従って実行される。
【００７７】
図１６および図１７を参照して、ステップＳ９１では、人物検出ワークレジスタＲＧＳＴｗｋを初期化すべく格納内容をクリアする。
【００７８】
ステップＳ９３では変数Ｎｍａｘを顔辞書ＤＣｆの登録数に設定し、ステップＳ９５では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ９７では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＦＳＺｍａｘを“２００”に設定し、最小サイズＦＳＺｍｉｎを“２０”に設定する。
【００７９】
ステップＳ９９では顔検出枠ＦＤのサイズを“ＦＳＺｍａｘ”に設定し、ステップＳ１０１では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１０３では、顔検出枠ＦＤに属する一部の抽出画像（特徴量）データを抽出画像（特徴量）エリア３２ｃから読み出し、読み出された抽出画像（特徴量）データの特徴量を算出する。
【００８０】
ステップＳ１０５では、撮像ブロック１００に含まれるレンズが、魚眼レンズ，広角レンズ等の歪みレンズであるか否かを判別し、判別結果がＹＥＳであればステップＳ１０７の処理を経てステップＳ１０９に進む一方、判別結果がＮＯ（標準レンズ）であればステップＳ１０９に進む。
【００８１】
ステップＳ１０７では、検出枠内のレンズ歪みに基づいて特徴量を、歪みレンズに対応する空間座標系から平面座標系へ座標変換する。
【００８２】
ステップＳ１０９では変数Ｎを“１”に設定し、ステップＳ１１１では、ステップＳ１０７で座標変換された特徴量，または標準レンズの場合にはステップＳ１０３で算出された特徴量と、顔辞書ＤＣｆのＮ番目に収められた辞書画像の特徴量とを照合する。照合の結果、閾値ＴＨ１を超える照合度が得られたか否かをステップＳ１１３で判別し、判別結果がＮＯであればステップＳ１１５に進む一方、判別結果がＹＥＳであればステップＳ１１９に進む。
【００８３】
ステップＳ１１５では変数Ｎをインクリメントし、ステップＳ１１７では変数ＮがＮｍａｘを超えたか否かを判別する。判別結果がＮＯであればステップＳ１１１に戻る一方、判別結果がＹＥＳであればステップＳ１２１に進む。
【００８４】
ステップＳ１１９では、現時点の顔検出枠ＦＤの位置およびサイズを顔情報として人物検出ワークレジスタＲＧＳＴｗｋに登録する。ステップＳ１２１では顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１２５に進む一方、判別結果がＮＯであれば、ステップＳ１２３で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ１０３に戻る。
【００８５】
ステップＳ１２５では顔検出枠ＦＤのサイズが“ＦＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１２７に進む。
【００８６】
ステップＳ１２７では顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１２９では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１２９の処理が完了すると、ステップＳ１０３に戻る。
【００８７】
以上の説明から分かるように、本発明における像検出装置は、歪みレンズ１２を有する撮像手段１００によって画像データを取得する。ＣＰＵ２６は、取得された画像データから特徴量を検出し(S103)、検出された特徴量を、歪みレンズに対応する空間座標系から平面座標系に変換する(S107)。そして、座標変換後の特徴量に対して特定物体像のパターン認識を実行することで(S111〜S129)、特定物体像を検出する。
【００８８】
魚眼レンズ，広角レンズ等の歪みレンズで撮影した画像自体に、歪み補正等の画像変形処理を行うことなく、撮影画像上で物体の特徴量を求め、その特徴量を歪み空間から平面に座標変換した後にパターン認識が実行される。そのため、画像自体の変換と比較して、座標変換にかかる演算量は非常に少なくなり、かつ、高精度に物体を検出することができる。
【００８９】
なお、この実施例では、人物の顔を検出するようにしたが、人体、人物以外の動物またはその他の物体を検出するようにしてもよい。
【００９０】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、図１８に示すように通信Ｉ／Ｆ６０をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００９１】
また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００９２】
１０  …  ディジタルカメラ
１２  …  歪みレンズ
１６  …  イメージセンサ
２６  …  ＣＰＵ
【図１】
2014146214.tif 000003
【図２】
2014146214.tif 000004
【図３】
2014146214.tif 000005
【図４】
2014146214.tif 000006
【図５】
2014146214.tif 000007
【図６】
2014146214.tif 000008
【図７】
2014146214.tif 000009
【図８】
2014146214.tif 000010
【図９】
2014146214.tif 000011
【図１０】
2014146214.tif 000012
【図１１】
2014146214.tif 000013
【図１２】
2014146214.tif 000014
【図１３】
2014146214.tif 000015
【図１４】
2014146214.tif 000016
【図１５】
2014146214.tif 000017
【図１６】
2014146214.tif 000018
【図１７】
2014146214.tif 000019
【図１８】
2014146214.tif 000020