(57)【要約】【課題】例えば人物の顔等のオブジェクトの、基準姿勢からの傾き、即ち、オブジェクト画像の画像平面内での回転角度を簡便且つ迅速に検出することのできる回転角度検出装置および回転角度検出方法を提供する。【解決手段】オブジェクトを所定経路Ｒで走査して検出される輝度レベルの変化に係る周期関数（正弦関数および余弦関数）を得る周波数変換手段２０１と、周波数変換手段２０１によって得た周期関数のパワースペクトルの比から求められる位相に基づいて、当該オブジェクトの基準姿勢に対する回転角度を検出する回転角度変換手段２０４と、を含んで構成されている。【選択図】図２
2008027273.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを所定経路で走査して検出される輝度レベルの変化に係る周期関数を得る周波数変換手段と、前記周波数変換手段によって得た周期関数の位相に基づいて当該オブジェクトの基準姿勢に対する回転角度を検出する回転角度変換手段と、を含んで構成されていることを特徴とする回転角度検出装置。
【請求項２】
前記周波数変換手段は、初期位相の異なる複数通りの周期関数を生成するように構成され、前記回転角度変換手段は前記周波数変換手段により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比に基づいて前記回転角度を検出するように構成されていることを特徴とする請求項１に記載の回転角度検出装置。
【請求項３】
前記周波数変換手段は、当該走査を行う所定経路に並ぶ画素に対して各隣接する画素の輝度の平均値に基づいて当該周期関数を生成するように構成されていることを特徴とする請求項１に記載の回転角度検出装置。
【請求項４】
当該オブジェクトとして人物の顔が選択されたときには、前記周波数変換手段は、当該人物の顔の輪郭より内側であってその顔の眼を通る走査経路を選択するように構成されていることを特徴とする請求項１に記載の回転角度検出装置。
【請求項５】
前記回転角度変換手段は前記周波数変換手段により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比と前記回転角度との対応関係を表わすデータを参照データとして予め記憶手段に保持し、前記周波数変換手段により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比と前記記憶手段に保持された参照データとを対照して前記回転角度を検出するように構成されていることを特徴とする請求項２に記載の回転角度検出装置。
【請求項６】
前記周波数変換手段は、複数通りの周期関数として正弦関数および余弦関数を生成するように構成されていることを特徴とする請求項２に記載の回転角度検出装置。
【請求項７】
前記周波数変換手段により走査対象とされるオブジェクトを含む画像を一定の大きさにリサイズするリサイズ手段を更に有することを特徴とする請求項１〜６の何れか一項に記載の回転角度検出装置。
【請求項８】
オブジェクトを所定経路で走査して検出される輝度レベルの変化に係る周期関数を得て、該得られた周期関数の位相に基づいて当該オブジェクトの基準姿勢に対する回転角度を検出することを特徴とする回転角度検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば人物の顔などのオブジェクトの、基準姿勢に対する傾きの角度である回転角度を検出する、回転角度検出装置および回転角度検出方法に関する。
【背景技術】
【０００２】
顔の検出は様々なアプリケーションを想定して行われている。例えば、証明写真や顔認識により入退出管理等が行われている。証明写真の場合では、写真中の顔の位置、サイズ、顔の方向等が厳密に規定される。顔検出、顔認識に関しては、既に様々な技術が提案されているが、いずれも顔の方向が直立であることを前提としている。このため、顔の方向を検出し、直立に補正する技術を確立することは、顔検出と顔認識の精度を向上させ、アプリケーションの広がりを進展させることについて大きく影響を与えることになる。
【０００３】
従来、カメラを用いて顔の向きを検出するために、顔の特徴点である両目の目尻および口にマーカを貼り付け、両目間の距離および目と口との距離の実測値を検出装置に登録しておき、該登録された値を用いて顔の傾きを検出するといった技術提案に対し、顔にマーカを貼り付けたり、両目間の距離および目と口との距離を実測したりする繁雑さを解消することを技術課題とした提案もなされている。
【０００４】
この提案は、予め顔の肌色領域の重心点と顔の特徴点とから参照パラメータを生成し、該参照パラメータから推定された回転位置を中心として予め定めた３軸方向の回転幅とピッチに基づいて座標位置情報を生成し、肌色領域の重心点と顔の特徴点との相対位置関係の基準となる情報を記憶し、撮影した顔画像から肌色領域の重心点と顔の特徴点との相対位置関係の情報を算出し、該算出した情報と基準となる情報とに基づいて顔の傾きを検出するといったものである（特許文献１参照）。
また一方、顔が傾いたり、向きが違っているような非正面顔であっても、高効率に検出可能な顔検出装置および顔検出方法の提案も既になされている。
【０００５】
この提案は、入力画像と平均的な顔画像を示す所定サイズのテンプレート画像との相関を相関算出手段で求め、該求めた相関に基づいて入力画像に顔画像が含まれているか否かを判定し、入力画像に顔画像が含まれていないと判定されたときには、当該テンプレート画像を画面に垂直な軸の周りに所定角度回転させたテンプレート画像を適用して当該入力画像との相関を求め、入力画像に顔画像が含まれていると判定されたときには、当初のテンプレートを適用して次の入力画像との相関を求めるというものである。
【０００６】
入力画像に含まれる顔画像が正面顔ではない場合においても正面顔のテンプレート画像を用いて検出処理を行うことができると共に、マッチングの処理速度が向上するとされている（特許文献２参照）。
更にまた、従来用いられている顔画像切り出し方法では、平均的な顔を用いて一般画像中の顔の位置や大きさの正規化を行うが、実際には、平均的な顔とは目鼻の位置がずれていることが多く、且つ、一定の方向を向いていないため正確な検出が困難であり、更に、テンプレートを利用する方法では、眼、鼻などのテンプレートは小さな画像となるため背景の雑多な対象と混乱しやすいという問題が払拭できなかったことに対処して、従来よりも高精度な認識を行えるようにしようとする提案もある。
【０００７】
この提案では、最初に、顔を撮影したグレースケール顔画像を入力し、一方、予想される全ての変形を考慮したアフィン変換に基づく多数の変形パラメータを予め用意しておき、それらの変形パラメータをそれぞれ用いて入力画像から顔パターンを切り出し、切り出した顔パターンを逆変換し、正方形の正規化パターンにする。次に、この各逆変換で得た正規化された顔パターンから特徴ベクトルを抽出し、予め用意した種々の個人の参照特徴ベクトルと比較して類似度を計算し、識別結果を出力する。
【０００８】
更に、各識別器から出力される類似度に、対応する各逆変換で除去した変形の発生頻度に基づく重み係数を乗算して、最終的な認識精度を高める。
各変形毎の逆変換と識別と乗算とは、同時並行的に実行し、最後に、これらの識別結果を集めて、総合的な結果として特定の個人か否かを決定する（特許文献３参照）。
【特許文献１】特許３４５４７２６号公報（段落０００２〜段落０００７、図１）
【特許文献２】特開２００４−１３３６３７号公報（段落０００８〜段落００１０、図１）
【特許文献３】特開２０００−９０１９１号公報（段落０００４〜段落０００６、段落００１９、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した特許文献１に提案の技術では、人種の違いや照明の状態といった条件の違いによって、見かけ上の色の範囲、即ち肌色の範囲は大きく変化するものであり、このような条件の違いに影響されずに十分な精度で顔の傾き、即ち、オブジェクトの回転角度を検出することは実際には極めて困難である。
また、特許文献２に提案の技術では、顔の形状と向きに応じて極めて多数のテンプレートを用意することが必要であり、且つ、テンプレートマッチングは計算量が厖大なものとなるため、迅速な検出を行うには余り適さない。
【００１０】
更に、特許文献３に提案の技術では、予想される全ての変形を考慮したアフィン変換に基づく多数の変形パラメータを予め用意することは、既にそれ自体で負担が大きく、簡便に且つ迅速にオブジェクトの回転角度の違いに対処するといったことが難しい。
本発明は上記の状況に鑑み、例えば人物の顔等のオブジェクトの、基準姿勢からの傾き、即ち、オブジェクト画像の画像平面内での回転角度を簡便且つ迅速に検出することのできる回転角度検出装置および回転角度検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するべく、本願では次に列記するような技術を提案する。
（１）オブジェクトを所定経路で走査して検出される輝度レベルの変化に係る周期関数を得る周波数変換手段と、前記周波数変換手段によって得た周期関数の位相に基づいて当該オブジェクトの基準姿勢に対する回転角度を検出する回転角度変換手段と、を含んで構成されていることを特徴とする回転角度検出装置。
【００１２】
上記（１）の回転角度検出装置では、周波数変換手段によって、オブジェクトを所定経路で走査して検出される輝度レベルの変化に係る周期関数を得る。該得た周期関数の位相に基づいて、回転角度変換手段によって、当該オブジェクトの基準姿勢に対する回転角度を検出する。
比較的簡易な演算によって、例えば人物の顔等のオブジェクトの、基準姿勢に対する回転角度を検出することができる。
【００１３】
（２）前記周波数変換手段は、初期位相の異なる複数通りの周期関数を生成するように構成され、前記回転角度変換手段は前記周波数変換手段により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比に基づいて前記回転角度を検出するように構成されていることを特徴とする（１）の回転角度検出装置。
上記（２）の回転角度検出装置では、（１）の回転角度検出装置に関して特に、周波数変換手段は、例えば、正弦関数と余弦関数のような初期位相の異なる複数通りの周期関数を生成し、回転角度変換手段はこれら初期位相の異なる複数通りの周期関数のパワースペクトルの比に基づいて当該回転角度を検出する。
比較的簡易な演算によって、例えば人物の顔等のオブジェクトの、基準姿勢に対する回転角度を的確に検出することができる。
【００１４】
（３）前記周波数変換手段は、当該走査を行う所定経路に並ぶ画素に対して各隣接する画素の輝度の平均値に基づいて当該周期関数を生成するように構成されていることを特徴とする（１）の回転角度検出装置。
上記（３）の回転角度検出装置では、（１）の回転角度検出装置に関して特に、周波数変換手段は、当該走査を行う所定経路に並ぶ画素に対して各隣接する画素の輝度の平均値に基づいて当該周期関数を生成するため、種々のノイズに対してロバストにオブジェクトの回転角度の検出を行うことができる。
【００１５】
（４）当該オブジェクトとして人物の顔が選択されたときには、前記周波数変換手段は、当該人物の顔の輪郭より内側であってその顔の眼を通る走査経路を選択するように構成されていることを特徴とする（１）の回転角度検出装置。
上記（４）の回転角度検出装置では、（１）の回転角度検出装置に関して特に、当該オブジェクトとして人物の顔が選択されたときには、前記周波数変換手段は、当該人物の顔の輪郭より内側であってその顔の眼を通る走査経路を選択するため、顔検出に関して顕著な、乃至は、支配的な特徴部位である少なくともその顔の眼（片眼両眼いずれも可とする）のデータが考慮され、照明光その他様々な変動にロバストにオブジェクトの回転角度の検出を行うことができる。
【００１６】
（５）前記回転角度変換手段は前記周波数変換手段により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比と前記回転角度との対応関係を表わすデータを参照データとして予め記憶手段に保持し、前記周波数変換手段により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比と前記記憶手段に保持された参照データとを対照して前記回転角度を検出するように構成されていることを特徴とする（２）の回転角度検出装置。
【００１７】
上記（５）の回転角度検出装置では（２）の回転角度検出装置に関して特に、回転角度変換手段は周波数変換手段により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比と回転角度との対応関係を表わすデータを参照データとして予め記憶手段に保持し、周波数変換手段により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比と記憶手段に保持された参照データとを対照して回転角度を検出するため、簡便且つ的確にオブジェクトの回転角度を検出することができる。
【００１８】
（６）前記周波数変換手段は、複数通りの周期関数として正弦関数および余弦関数を生成するように構成されていることを特徴とする（２）の回転角度検出装置。
上記上記（６）の回転角度検出装置では（２）の回転角度検出装置に関して特に、周波数変換手段は、複数通りの周期関数として正弦関数および余弦関数を生成するため、回転角度検出のための演算が簡素なものなり、迅速にオブジェクトの回転角度を検出することができる。
【００１９】
（７）前記周波数変換手段により走査対象とされるオブジェクトを含む画像を一定の大きさにリサイズするリサイズ手段を更に有することを特徴とする（１）〜（６）の何れか一の回転角度検出装置。
上記（７）の回転角度検出装置では、（１）〜（６）の何れか一の回転角度検出装置に関して特に、周波数変換手段により走査対象とされるオブジェクトを含む画像を一定の大きさにリサイズするリサイズ手段を更に有するため、検出対象とされる各オブジェクトに対して検出のための基準の適用に関して画一性が維持された的確な回転角度の検出が行われ得る。
【００２０】
（８）オブジェクトを所定経路で走査して検出される輝度レベルの変化に係る周期関数を得て、該得られた周期関数の位相に基づいて当該オブジェクトの基準姿勢に対する回転角度を検出することを特徴とする回転角度検出方法。
上記（８）の回転角度検出方法では、比較的簡易な演算によって、例えば人物の顔等のオブジェクトの、基準姿勢に対する回転角度を検出することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を図面を参照して説明する。尚、以下に参照する図においては、便宜上、説明の主題となる要部は適宜誇張し、要部以外については適宜簡略化し乃至省略されている。
【００２２】
図１は、本発明の実施の形態の技術を表す概念図である。図１（ａ）は、顔の正中線が画像を左右対称に二分する線に沿った正規の（基準となる）姿勢にある状態を表し、図１（ｂ）は、顔の正中線が画像を左右対称に二分する線に対し上方が左に傾斜した（即ち、画像平面内で左回転した）姿勢にある状態を表し、図１（ｃ）は、顔の正中線が画像を左右対称に二分する線に対し上方が右に傾斜した（即ち、画像平面内で右回転した）姿勢にある状態を表している。
【００２３】
本例では、何れの場合も、画像１００は走査対象とされるオブジェクト（人物の顔）を含む画像を一定の大きさにリサイズするリサイズ手段を通して、一定の大きさの画像が切り出される（抽出される）。
本実施の形態では、オブジェクトとしての人物の顔の画像（顔の部分画像）１００を短い矢線の連なりで図示された所定の経路Ｒに沿って走査して、サンプリング対象とされる画素Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，…Ｐｎ−２，Ｐｎ−１，Ｐｎ毎に検出される輝度レベルの変化に係る周期関数を得て、該得られた周期関数の位相に基づいて当該オブジェクトの基準姿勢に対する回転角度を検出する。
【００２４】
本実施の形態では、上述の周期関数として、正弦関数と余弦関数、即ち、初期位相の異なる複数通り（この場合は２通り）の周期関数を生成し、回転角度変換手段によってこれら初期位相の異なる複数通りの周期関数のパワースペクトルの比に基づいて当該回転角度を検出する。
画素Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，…Ｐｎ−２，Ｐｎ−１，Ｐｎ毎に検出される輝度レベルの変化に係る周期関数としての正弦関数はフーリエ変換によって次の数式１で表わされるようなパワースペクトルを有し、また、余弦関数はフーリエ変換によって次の数式２で表わされるようなパワースペクトルを有する。そして、これらに基づいて、数式３の演算を実行して回転角度を算出する。
【００２５】
【数１】
2008027273.tif 000003
【００２６】
【数２】
2008027273.tif 000004
【００２７】
【数３】
2008027273.tif 000005
【００２８】
尚、数式１および数式２の生成に用いる画素は、上述のようにＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，…Ｐｎ−２，Ｐｎ−１，Ｐｎと経路Ｒに沿った各個の画素を逐一サンプリングするようにして生成してもよいが、これに限らず、当該走査を行う所定経路に並ぶ画素に対して各隣接する画素の輝度の平均値に基づいて当該周期関数を生成するようにしてもよい。
【００２９】
この平均のとり方は種々のものであってよいが、例えば、図１における上述の各画素Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，…Ｐｎ−２，Ｐｎ−１，Ｐｎに対し、（Ｐ１＋Ｐ２）／２，（Ｐ３＋Ｐ４）／２，…，（Ｐｎ−１＋Ｐｎ）／２のように平均をとる対象となる画素が重複しないように選択してもよく、或いはまた、（Ｐ１＋Ｐ２）／２，（Ｐ２＋Ｐ３）／２，（Ｐ３＋Ｐ４）／２，…，（Ｐｎ−２＋Ｐｎ−１）／２，（Ｐｎ−１＋Ｐｎ）／２のように平均をとる対象となる画素が１つずつ重複するように選択してもよく、更にまた、（Ｐ１＋Ｐ２＋Ｐ３）／３，（Ｐ２＋Ｐ３＋Ｐ４）／３，（Ｐ３＋Ｐ４＋Ｐ５）／３，…，（Ｐｎ−２＋Ｐｎ−１＋Ｐｎ）／３のように一部を重複しつつ複数個（この例では３つ）の平均をとるようにしてもよい。何れの場合も、種々のノイズに対してよりロバストな検出（安定した生成）を行うことが可能になる。
【００３０】
図２は、本発明の回転角度検出装置２００の構成を表すブロック図である。図中、周波数変換手段２０１は、初期位相の異なる複数通りの周期関数として、上述のように、正弦関数と余弦関数、即ち、初期位相の異なる複数通り（この場合は２通り）の周期関数を生成する。
これらの周期関数の生成は、Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，…Ｐｎ−２，Ｐｎ−１，Ｐｎのように、選択された経路Ｒに沿った各個の画素をサンプリングするようにして生成してもよいが、平均輝度算出手段２０２によって、既述のとおり、隣接する画素の輝度の平均値に基づいて当該周期関数を生成するようにしてもよい。
【００３１】
尚、経路Ｒの選択については、顔の特徴をよりよく反映し、回転に応じて特徴が大きく変わる画素であることが望ましい。オブジェクト画像が人物の顔である場合には、両眼１０１，１０２（図１）は顔の特徴を良く表している。即ち、一定の画素以上の部分が周囲の個所より輝度が低くなるのが一般的である。しかも、対称軸（正中線）をはさんで存在するため、回転角度の検出に有効な特徴であることが推測される。
一方、個人または撮影の条件により、変動が大きい個所は望ましくないことになる。例えば、髭、マスクなどの有無による影響が考えられるため、口唇１０３の付近は避けることが望ましい。以上の条件を満足するように選択した画素の並びが図１において短い矢線の連なりで図示された部分（即ち、経路Ｒ）である。
【００３２】
また、オブジェクト（人物の顔）の回転角度検出の対象となる各画像は、オブジェクトを含む画像を一定の大きさにリサイズするリサイズ手段２０３を通して、一定の大きさの画像として切り出される（抽出される）。
このリサイズには、バイキュービック法やバイリニア法などの技術が適用される。
回転角度変換手段２０４は、数式１および数式２の２通りの周期関数のパワースペクトルを得て、数式３によって当該周期関数のパワースペクトルの比に基づいて当該回転角度を検出する。
【００３３】
図３は、位相角とオブジェクトの角度（回転角）との対応関係を表すデータ（参照データ）を表わす線図である。本発明の実施の形態では、この線図におけるような参照データ（位相角−傾き角度の特性）を、予め、このような位相角（初期位相の異なる２通りの周期関数のパワースペクトルの比に相当する）とオブジェクトの傾き角度（回転角）との対応関係を表すデータとして、回転角度変換手段２０４内の、或いは、該手段の外部の適宜のメモリ（記憶手段）に保持しておく。
【００３４】
そして、周波数変換手段２０１により生成された初期位相の異なる複数通りの周期関数のパワースペクトルの比と上記のメモリに保持された参照データとを対照して前記回転角度を検出する。
に基づいて傾き角度（回転角）を求める。
【００３５】
図４は、本発明の実施の形態における回転角度検出のための処理を表すフローチャートである。
動作が開始すると、先ず、リサイズ手段２０３によって、傾きの角度（回転角）を検出する対象とするオブジェクトを含む領域を一定の大きさにリサイズする（ステップＳ４０１）。
次いで、ステップＳ４０１でリサイズした領域から、傾きの角度（回転角）を算出する計算に適用する画素を選択する（ステップＳ４０２）。これは、例えば、図１を参照して説明したように行われる。
【００３６】
更に、平均輝度算出手段２０２によって、既述のように、ステップＳ４０２で選択した画素とその隣接画素との輝度値の平均値を求める（ステップＳ４０３）。
次いで、周波数変換手段２０１により得た周期関数から、数式１および数式２に従って、２つの周期関数のパワースペクトルを求める（ステップＳ４０４）。
ステップＳ４０４で得た周期関数のパワースペクトルの比（数式３）から、当該周期関数の位相を算出する（ステップＳ４０５）。
【００３７】
ステップＳ４０５で得た位相から、既述のメモリに保持された図３の線図で表わされる参照データを対照して回転角度を求める（ステップＳ４０６）。
以上説明した技術思想は、オブジェクトを所定経路Ｒで走査して検出される輝度レベルの変化に係る周期関数（正弦関数および余弦関数）を得て、該得られた周期関数の位相に基づいて当該オブジェクトの基準姿勢に対する回転角度を検出する（数式３）ことを特徴とする回転角度検出方法であるとも見ることができる。
【００３８】
なお、上記実施形態については画像を一定の大きさにリサイズすることを前提に説明してきたが、画像の大きさに応じて使用する画素の並びを変更するようにしても良い。
以上、本発明により、簡便且つ的確にオブジェクトの回転角度を検出することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態の技術を表す概念図である。
【図２】本発明の回転角度検出装置の構成を表すブロック図である。
【図３】位相角とオブジェクトの角度（回転角）との対応関係を表すデータ（参照データ）を表わす線図である。
【図４】本発明の実施の形態における回転角度検出のための処理を表すフローチャートである。
【符号の説明】
【００４０】
２００…回転角度検出装置  ２０１…周波数変換手段  ２０２…平均輝度算出手段  ２０３…リサイズ手段  ２０４…回転角度変換手段
【図１】
2008027273.tif 000006
【図２】
2008027273.tif 000007
【図３】
2008027273.tif 000008
【図４】
2008027273.tif 000009