(57)【要約】【課題】迅速に画像処理が行える画像処理装置及び画像処理方法を提供すること。【解決手段】対象物を撮像した撮像画像から対象物の特徴点画像を抽出し（Ｓ２３）、その抽出された特徴点画像を予めデータベースに複数記録され対象物の特徴点を表すサンプル画像と照合し、その照合されたサンプル画像のうち最も類似するサンプル画像を選定し（Ｓ２４）、その選定されたサンプル画像における対象物の位置及び向きのデータに基づいて撮像画像における対象物の位置及び向きを推定する（Ｓ２５）。これにより、対象物の位置及び向きの推定を迅速に行える。【選択図】  図２
2007304721.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮像した撮像画像から前記対象物の特徴点画像を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点画像を予めデータベースに複数記録され前記対象物の特徴点を表すサンプル画像と照合し、その照合されたサンプル画像のうち最も類似するサンプル画像を選定する類似画像探索手段と、
前記類似画像探索手段により選定されたサンプル画像における対象物の位置及び向きのデータに基づいて撮像画像における対象物の位置及び向きを推定する推定手段と、
を備えた画像処理装置。
【請求項２】
前記類似画像探索手段は、前記対象物の位置及び向きを第一サンプリング間隔で設定してなる第一サンプル画像群から最も類似するサンプル画像を選定した後、前記第一サンプリング間隔より細かい第二サンプリング間隔で設定された第二サンプル画像群から最も類似するサンプル画像を選定することにより全サンプル画像のうち最も類似するサンプル画像を選定すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象物を撮像した画像から前記対象物の特徴点についての特徴点画像を抽出し、その特徴点の三次元座標値を検出してモデルを生成するモデル化手段と、
前記モデル化手段により生成されたモデルに基づき前記対象物の位置及び向きを変えて複数のサンプル画像を生成するサンプル画像生成手段と、
前記サンプル画像生成手段により生成されたサンプル画像とそのサンプル画像が生成された際の前記対象物の位置及び向きとを関連付けて記録するデータベースと、
を備えたことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
対象物を撮像した撮像画像から前記対象物の特徴点画像を抽出する特徴点抽出工程と、
前記特徴点抽出工程により抽出された特徴点画像を予めデータベースに複数記録され前記対象物の特徴点を表すサンプル画像と照合し、その照合されたサンプル画像のうち最も類似するサンプル画像を選定する類似画像探索工程と、
前記類似画像探索工程により選定されたサンプル画像における対象物の位置及び向きのデータに基づいて撮像画像における対象物の位置及び向きを推定する推定工程と、
を備えた画像処理方法。
【請求項５】
類似画像探索工程において、前記対象物の位置及び向きを第一サンプリング間隔で設定してなる第一サンプル画像群から最も類似するサンプル画像を選定した後、前記第一サンプリング間隔より細かい第二サンプリング間隔で設定された第二サンプル画像群から最も類似するサンプル画像を選定することにより全サンプル画像のうち最も類似するサンプル画像を選定すること、
を特徴とする請求項４に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識対象物の位置と向きの推定に適した画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、認識対象物の位置や向きを推定する装置として、例えば特開２００３−３０８５３３号公報に記載されるように、認識対象物のさまざまな向きに対するワイヤフレームモデルとテンプレートからなる参照データを生成し、参照データと入力画像のそれとの照合によって認識対象物の向きを推定するものが知られている。
【特許文献１】特開２００３−３０８５３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような装置にあっては、画像処理が迅速に行えず認識対象物の検出及びその位置と向きの推定が困難となるという問題点がある。例えば、車両のドライバの視線監視を行うに際し、各時刻の撮影画像に基づいてドライバの状態を検出する必要があるが、参照データの処理負荷やデータサイズが多大なものになり、ドライバの向きを検出する処理に膨大な時間を要する。
【０００４】
本発明は、上記した事情に鑑みて為されたものであり、迅速に画像処理が行える画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち本発明に係る画像処理装置は、対象物を撮像した撮像画像から前記対象物の特徴点画像を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された特徴点画像を予めデータベースに複数記録され前記対象物の特徴点を表すサンプル画像と照合し、その照合されたサンプル画像のうち最も類似するサンプル画像を選定する類似画像探索手段と、前記類似画像探索手段により選定されたサンプル画像における対象物の位置及び向きのデータに基づいて撮像画像における対象物の位置及び向きを推定する推定手段とを備えて構成されている。
【０００６】
この発明によれば、撮像した対象物の特徴点画像のみをサンプル画像と照合して類似するサンプル画像を選定するため、データベースの照合における処理負荷を軽減することができる。これにより、対象物の位置及び向きの推定を迅速に行える。
【０００７】
また本発明に係る画像処理装置において、前記類似画像探索手段は、前記対象物の位置及び向きを第一サンプリング間隔で設定してなる第一サンプル画像群から最も類似するサンプル画像を選定した後、前記第一サンプリング間隔より細かい第二サンプリング間隔で設定された第二サンプル画像群から最も類似するサンプル画像を選定することにより全サンプル画像のうち最も類似するサンプル画像を選定することが好ましい。
【０００８】
この発明によれば、最初にサンプリング間隔の粗い第一サンプル画像群から類似するサンプル画像を選定した後、さらに細かいサンプリング間隔の第二サンプル画像群から類似するサンプル画像を選定することにより、全サンプル画像と照合することなく、サンプル画像の選定を迅速に行うことができる。
【０００９】
また本発明に係る画像処理装置は、前記対象物を撮像した画像から前記対象物の特徴点についての特徴点画像を抽出し、その特徴点の三次元座標値を検出してモデルを生成するモデル化手段と、前記モデル化手段により生成されたモデルに基づき前記対象物の位置及び向きを変えて複数のサンプル画像を生成するサンプル画像生成手段と、前記サンプル画像生成手段により生成されたサンプル画像とそのサンプル画像が生成された際の前記対象物の位置及び向きとを関連付けて記録するデータベースと、を備えたことを特徴とする。
【００１０】
この発明によれば、対象物のモデルを用いて対象物の位置及び向きを変えて複数のサンプル画像を作成することができる。このため、サンプル画像に関連付けられる位置及び向きの分解能を向上させることができ、対象物の位置及び向きのより高精度な推定が可能になる。
【００１１】
本発明に係る画像処理方法は、対象物を撮像した撮像画像から前記対象物の特徴点画像を抽出する特徴点抽出工程と、前記特徴点抽出工程により抽出された特徴点画像を予めデータベースに複数記録され前記対象物の特徴点を表すサンプル画像と照合し、その照合されたサンプル画像のうち最も類似するサンプル画像を選定する類似画像探索工程と、前記類似画像探索工程により選定されたサンプル画像における対象物の位置及び向きのデータに基づいて撮像画像における対象物の位置及び向きを推定する推定工程と、を備えて構成されている。
【００１２】
この発明によれば、撮像した対象物の特徴点画像のみをサンプル画像と照合して類似するサンプル画像を選定するため、データベースの照合における処理負荷を軽減することができる。これにより、対象物の位置及び向きの推定を迅速に行える。
【００１３】
本発明に係る画像処理方法は、類似画像探索工程において、前記対象物の位置及び向きを第一サンプリング間隔で設定してなる第一サンプル画像群から最も類似するサンプル画像を選定した後、前記第一サンプリング間隔より細かい第二サンプリング間隔で設定された第二サンプル画像群から最も類似するサンプル画像を選定することにより全サンプル画像のうち最も類似するサンプル画像を選定することが好ましい。
【００１４】
この発明によれば、最初にサンプリング間隔の粗い第一サンプル画像群から類似するサンプル画像を選定した後、さらに細かいサンプリング間隔の第二サンプル画像群から類似するサンプル画像を選定することにより、全サンプル画像と照合することなく、サンプル画像の選定を迅速に行うことができる。
【発明の効果】
【００１５】
本発明によれば、画像処理の負荷を低減することによって対象物の位置及び向きの推定を迅速に行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【００１７】
図１に本発明の実施形態に係る画像処理装置の構成概要図を示す。
【００１８】
図１に示すように、本実施形態に係る画像処理装置１は、対象物を撮影しその撮影画像を画像処理して対象物の位置及び向きを検出する装置である。本発明に適用される対象物は特に限定されないが、以下の実施形態では人物の顔１０とする。画像処理装置１には、カメラ２及び画像処理部３を備えている。カメラ２は、人物の顔１０を撮影する撮影手段であり、例えばＣＣＤ、Ｃ−ＭＯＳなどの撮像素子を備えたものが用いられる。
【００１９】
画像処理部３は、撮影画像を入力して画像処理することにより人物の顔１０の有無や位置及び向きを検出する画像処理手段である。この画像処理部３は、カメラ２と接続され、カメラ２により撮影された撮影画像データが入力される。画像処理部３としては、例えば、画像メモリ、画像処理プロセッサ及び信号出力インターフェースを備えたものが用いられる。
【００２０】
図２に本実施形態に係る画像処理装置１の動作についてのフローチャートを示す。図２のＳ２０〜Ｓ２５に示すように、画像処理部３により、モデル化処理、サンプル画像生成処理、データベース化処理、特徴点抽出処理、類似画像探索処理、推定処理が順次実行される。Ｓ２０のモデル化処理からＳ２２のデータベース化処理までは、例えば、初回の装置起動時などに１回実行すれば、以後省略してもよい。また、Ｓ２３の特徴点抽出処理からＳ２５の推定処理までは、装置の起動中において所定の時間間隔で繰り返し実行される。
【００２１】
まず、Ｓ２０では、モデル化処理が行われる。モデル化処理は、人物の顔１０を撮像した参照画像から顔１０の特徴点についての特徴点画像を抽出し、その特徴点の三次元座標値を検出してモデルを生成する処理である。顔１０の特徴点としては、例えば目尻や口角などが設定される。
【００２２】
そして、Ｓ２１に移行し、サンプル画像生成処理が行われる。サンプル画像生成処理は、Ｓ２０のモデル化処理により生成されたモデルに基づき顔１０の位置及び向きを変えて複数の特徴点画像（以下、「サンプル画像」という。）を生成する処理である。このサンプル画像生成処理は、例えば、以下の手順により行われる。
【００２３】
まず、装置が顔１０を認識できる位置と向きの範囲（以下、「認識可能範囲」という。）の設定が行われ、その認識可能範囲において顔１０の位置及び向きが第一サンプリング間隔で変えられてモデルに入力され、その位置及び向きごとに顔１０のサンプル画像が生成される。
【００２４】
例えば、図３に示すように、第一サンプリング間隔で設定された顔１０の位置及び向きに応じたサンプル画像が生成される。第一サンプリング間隔としては、例えば、顔１０の位置（距離）が１０ｃｍごとの間隔とされ、顔１０の向きが１０度ごとの間隔とされる。
【００２５】
そして、顔１０の位置及び向きごとに得られたサンプル画像における各特徴点が投影される画像上の位置が計算される。そして、その計算により得られた各特徴点付近の輝度パターンが特徴点ごとに生成される。この輝度パターンの生成は、例えば、次の式（１）を用いて行えばよい。
【数１】
2007304721.tif 000003
【００２６】
この式（１）において、（ｕ１、ｖ１）は参照画像上の座標値、（ｕ２、ｖ２）は変換後のサンプル画像上の座標値、ＨｉはＡ２・（Ｒｔ＋（ｔ１・ｎｉＴ）／（Ｍｉ・ｎｉＴ））・Ａ１−１、αはスケール比率を表すパラメータ、Ａ１は参照画像の撮影時のカメラ内部パラメータ、Ａ２は入力画像の撮影時のカメラ内部パラメータ、Ｒｔは顔運動の回転行列、ｔｔは顔運動の並進ベクトル、ｎｉは参照画像撮影時の基準座標系におけるｉ番目の特徴点における法線ベクトル、Ｍｉは参照画像撮影時の基準座標系におけるｉ番目の特徴点の三次元座標値である。また、ｉは特徴点の個数値であり、例えば特徴点が６つの場合にはｉ＝１〜６となる。
【００２７】
そして、第二サンプリング間隔によるサンプル画像の生成が行われる。第二サンプリング間隔は、第一サンプリング間隔より細かく設定される間隔である。認識可能範囲において顔１０の位置及び向きが第二サンプリング間隔で変えられてモデルに入力され、その位置及び向きごとに顔１０のサンプル画像が生成される。
【００２８】
例えば、図４に示すように、第二サンプリング間隔で設定された顔１０の位置及び向きに応じたサンプル画像が生成される。第二サンプリング間隔としては、例えば、顔１０の位置（距離）が１ｃｍごとの間隔とされ、顔１０の向きが１度ごとの間隔とされる。
【００２９】
そして、顔１０の位置及び向きごとに得られたサンプル画像における各特徴点が投影される画像上の位置が計算される。そして、その計算により得られた各特徴点付近の輝度パターンが特徴点ごとに生成される。この輝度パターンの生成は、例えば、上述した式（１）を用いて行えばよい。
【００３０】
なお、第一サンプリング間隔と第二サンプリング間隔を分けてサンプル画像を生成する場合について説明したが、間隔の細かい第二サンプリング間隔でサンプル画像を作成した後、その第二サンプリング間隔で生成したサンプル画像を第一サンプリング間隔で抽出して第一サンプリング間隔のサンプル画像として設定してもよい。
【００３１】
そしてＳ２２に移行し、データベース化処理が行われる。このデータベース処理は、サンプル画像生成処理により生成されたサンプル画像とそのサンプル画像が生成された際の顔１０の位置及び向きとを関連付けて記録する処理である。記録方法としては、例えば、ハードディスクなどの読み出し速度が高速な不揮発性メモリを用いることが好ましい。図５は、データベースに格納されるデータの概念を示した図である。
【００３２】
そして、Ｓ２３に移行し、特徴点抽出処理が行われる。この特徴点抽出処理は、認識対象物となる人物の顔１０を撮像した撮像画像（入力画像）において顔１０の特徴点画像を抽出する処理である。顔１０の特徴点としては、例えば目尻や口角などが設定される。抽出方法としては、例えばharrisオペレータを用いて行われる。文献「C.Harris and M.Stephens, A combined cornerand edge detector, Proc.4th Alvey Vision Conf., Aug. 1988, Manchester, U.K.,pp.147-151」に記載される手法などを用いるとよい。
【００３３】
そして、Ｓ２４に移行し、類似画像探索処理が行われる。類似画像探索処理は、特徴点抽出処理により抽出された特徴点画像を顔１０の特徴点を表すサンプル画像と照合し、その照合されたサンプル画像のうち最も類似するサンプル画像を選定する処理である。この類似画像探索処理は、まず、第一サンプリング間隔で設定してなる第一サンプル画像群のサンプル画像と特徴点画像（入力画像）との類似度が算出され、最も類似するサンプル画像が選定される。そして、その最も類似するサンプル画像に近隣する顔１０の位置及び向きの範囲において、第一サンプリング間隔より細かい第二サンプリング間隔で設定された第二サンプル画像群から最も類似するサンプル画像が選定され、全サンプル画像のうち最も類似するサンプル画像が選定される。入力画像に対応する特徴点画像とサンプル画像との類似度は、例えば、次の式（２）を用いて算出される。
【数２】
2007304721.tif 000004
【００３４】
この式（２）において、Ｉ（ｕ、ｖ）は入力画像（特徴点画像）における位置（ｕ、ｖ）における輝度であり、Ｔ（ｕ、ｖ）はサンプル画像における位置（ｕ、ｖ）における輝度である。
【００３５】
そして、Ｓ２５に移行し、推定処理が行われる。推定処理は、類似画像探索処理により選定されたサンプル画像における顔１０の位置及び向きのデータに基づいて入力画像（撮影画像）における顔１０の位置及び向きを推定する処理である。例えば、この推定処理により、選定されたサンプル画像における顔１０の位置及び向きのデータを撮像画像における顔の位置及び向きのデータとして、認識対象物となる人物の顔１０の位置及び向きを検出することができる。
【００３６】
次に、本実施形態に係る画像処理装置におけるモデル化処理について詳述する。
【００３７】
図５にモデル化処理のフローチャートを示す。図５の３０に示すように、モデル化処理として、まず対象物である顔１０の二方向画像の読み込み処理が行われる。この二方向画像読み込み処理は、異なる方向から同一の人物の顔１０を同時に撮像した二つの参照画像のデータを読み込む処理である。
【００３８】
そして、Ｓ３１に移行し、特徴点抽出処理が行われる。特徴点抽出処理は、二つの参照画像について、それぞれ顔１０の特徴点周辺部分の画像（特徴点画像）の抽出を行う処理である。顔１０の特徴点としては、例えば目尻や口角などが設定することが好ましい。抽出方法としては、例えば、上述したharrisオペレータを用いた手法が用いられる。
【００３９】
そして、Ｓ３２に移行し、特徴点対応付け処理が行われる。特徴点対応付け処理は、二つの特徴点画像において、各特徴点のどれとどれが対応しているか決定する処理である。この処理は、例えば一方の特徴点画像において特徴点を含む周辺輝度パターンと最も類似する輝度パターンを周辺領域に持つ他方の特徴点画像の特徴点が対応するものとして選択して行えばよい。この際、類似度の計算は、上述した式（２）を用いて行えばよい。
【００４０】
そして、Ｓ３３に移行し、Ｆ行列推定処理が行われる。Ｆ行列推定処理は、二つの参照画像を撮影した際の各カメラの位置関係に関連するＦ行列を推定する処理である。このＦ行列推定処理としては、例えば、文献「Quang-Tuan Luong, Rachid Deriche, Olivier Faugeras, and TheodorePapadopoulo. On determining the fundamental matrix: Analysis of differentmethods and experimental results. INRIA Rapport de recherche, No. 1894, Mai1993.10」又は、文献「A Robust Method for Estimating the Fundamental Matrix:Proc. VIIthDigital Image Computing: Techniques and Applications, Sun C., Talbot H.,Ourselin S. and Adriaansen T.(Eds.), 10-12 Dec. 2003, Sydney」で提案される手法などを用いればよい。
【００４１】
そして、Ｓ３４に移行し、カメラ位置関係算出処理が行われる。カメラ位置関係算出処理は、二つの参照画像を撮像した際の各カメラの位置関係をＦ行列から算出する処理である。このカメラ位置関係算出処理において、例えば、Ｓ３３にて推定したＦ行列に基づいて二つのカメラの位置関係を表す並進量及び回転量が算出される。まず、各参照画像を撮像したときのカメラ内部パラメータＡ１、Ａ２を用いて次の式（３）により、Ｆ行列をＥ行列に変換が行われる。
【００４２】
Ｅ＝（Ａ１）Ｔ・Ｆ・Ａ２  …  （３）
【００４３】
そして、このＥ行列に基づいて二つの参照画像取得時におけるカメラの位置関係が算出される。その際、カメラの位置関係の算出手法は、例えば、文献「Motion and Structure From Two Perspective Views: Algorithms, ErrorAnalysis, and Error Estimation」に記載される手法が用いられる。
【００４４】
そして、Ｓ３５に移行し、特徴点三次元復元処理が行われる。特徴点三次元復元処理は、Ｓ３４にて推定したカメラ位置関係に基づいて参照画像上に特徴点の座標値に対応する特徴点の三次元座標を推定する処理である。この処理は、例えば、文献「３次元ビジョン徐剛 p95」に記載される手法が用いられる。
【００４５】
図６にモデルの概念図を示す。このようなモデルによれば、顔１０の位置及び向きを入力することにより、特徴点位置が決定し、サンプル画像を容易に生成することができる。
【００４６】
以上のように、本実施形態に係る画像処理装置および画像処理方法によれば、顔１０を撮像した撮像画像から顔１０の特徴点画像を抽出し、その特徴点画像を予めデータベースに複数記録され顔１０の特徴点を表すサンプル画像と照合し、その照合されたサンプル画像のうち最も類似するサンプル画像を選定し、その選定されたサンプル画像における対象物の位置及び向きのデータに基づいて撮像画像における顔１０の位置及び向きを推定する。これにより、撮像した顔１０の特徴点画像のみをサンプル画像と照合して類似するサンプル画像を選定するため、データベースの照合における処理負荷を軽減することができる。
【００４７】
また、画像処理の負荷を低減することによって顔１０の位置及び向きの推定を迅速に行うことができる。特に、画像処理装置１を車両に取り付け、運転者を撮影しその運転者の顔の向きと位置を推定して運転者の視線検出に適用する場合に有用である。
【００４８】
また、本実施形態に係る画像処理装置及び画像処理方法によれば、顔１０の位置及び向きを第一サンプリング間隔で設定してなる第一サンプル画像群から最も類似するサンプル画像を選定した後、第一サンプリング間隔より細かい第二サンプリング間隔で設定された第二サンプル画像群から最も類似するサンプル画像を選定することにより全サンプル画像のうち最も類似するサンプル画像を選定する。これにより、全サンプル画像と照合することなく、サンプル画像の選定を迅速に行うことができる。
【００４９】
また、画像処理の負荷を低減することによって顔１０の位置及び向きの推定を迅速に行うことができる。この場合も、画像処理装置１を車両に取り付け、運転者を撮影しその運転者の顔の向きと位置を推定して運転者の視線検出に適用する場合に有用である。
【００５０】
なお、上述した実施形態は本発明に係る画像処理装置及び画像処理方法の一例を示すものである。本発明に係る画像処理装置及び画像処理方法は、これらの実施形態に係る画像処理装置及び画像処理方法に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像処理装置及び画像処理方法を変形し、又は他のものに適用したものであってもよい。
【００５１】
例えば、本実施形態では、認識対象物が人物の顔である場合について説明したが、人物の顔以外の物を画像処理により認識する場合に適用してもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態に係る画像処理装置の構成概要図である。
【図２】本実施形態に係る画像処理装置の動作及び画像処理方法を示すフローチャートである。
【図３】本実施形態に係る画像処理装置の動作及び画像処理方法におけるサンプル画像生成処理の説明図である。
【図４】本実施形態に係る画像処理装置の動作及び画像処理方法におけるサンプル画像生成処理の説明図である。
【図５】本実施形態に係る画像処理装置の動作及び画像処理方法におけるモデル化処理のフローチャートである。
【図６】図５のモデル化処理により生成されるモデルの概要図である。
【符号の説明】
【００５３】
１…画像処理装置、２…カメラ(撮影手段)、３…画像処理部、１０…認識対象人物。
【図１】
2007304721.tif 000005
【図２】
2007304721.tif 000006
【図３】
2007304721.tif 000007
【図４】
2007304721.tif 000008
【図５】
2007304721.tif 000009
【図６】
2007304721.tif 000010