(57)【要約】【課題】顔の向きを判別するに際して、特徴量抽出等の煩雑な手法を用いずに顔の向きを高速に精度よく判別し得る顔向き検出装置、及びそれを用いて顔の３次元データを効率よく生成し、活用することができる３次元計測装置を提供する。【解決手段】顔を撮影して、画素毎に画素値情報と距離情報とを含む画像データを取得するステレオカメラ（１１）と、画素値情報を用いて顔領域を判別する顔領域判別部（２２ａ）と、距離情報を用いて顔領域に存在する鼻位置を検出する鼻位置検出部（２２ｂ）と、顔領域内に鼻位置に対する複数の比較領域を設定する比較領域設定部（２２ｄ）と、鼻位置の距離情報に対する複数の各比較領域の距離情報の差分である各差分情報に基づいて撮像方向に対する顔向きの角度を算出する角度算出部（２２ｅ）とを備えている。【選択図】図１
2015106252.tif 000002
【特許請求の範囲】
【請求項１】
顔を撮影して、画素毎に画素値情報と距離情報とを含む画像データを取得する画像データ取得手段と、
上記画素値情報を用いて顔領域を判別する顔領域判別手段と、
上記距離情報を用いて上記顔領域に存在する鼻位置を検出する鼻位置検出手段と、
上記顔領域内に上記鼻位置に対する複数の比較領域を設定する比較領域設定手段と、
上記鼻位置の距離情報に対する上記複数の各比較領域の距離情報の差分である各差分情報に基づいて撮像方向に対する顔向きの角度を算出する角度算出手段とを備えていることを特徴とする顔向き検出装置。
【請求項２】
前記鼻位置検出手段は、前記顔領域内において、画像データ取得手段との距離値が最も小さい位置を含む領域を鼻位置として検出することを特徴とする請求項１記載の顔向き検出装置。
【請求項３】
前記比較領域設定手段は、前記鼻位置を基準とした前記複数の比較領域のそれぞれの位置を算出して該鼻位置から離れた位置に該複数の比較領域を設定することを特徴とする請求項１又は２記載の顔向き検出装置。
【請求項４】
前記比較領域設定手段は、前記鼻位置を通りかつ前記顔領域を左右に分割する中央線を中心として各比較領域の位置関係が左右対称となる位置に前記複数の比較領域を設定することを特徴とする請求項１，２，又は３記載の顔向き検出装置。
【請求項５】
前記顔領域を左右に分割する中央線と前記鼻位置の中心位置との距離が閾値以上か否かを判定する鼻位置ずれ量判定手段がさらに設けられていることを特徴とする請求項１〜４のいずれか１項に記載の顔向き検出装置。
【請求項６】
前記鼻位置ずれ量判定手段は、前記顔領域の中央線と前記鼻位置の中心位置との距離が閾値以上か否かの判定を、前記角度算出手段による顔向きの角度の算出前に行うことを特徴とする請求項５記載の顔向き検出装置。
【請求項７】
前記鼻位置検出手段、比較領域設定手段及び角度算出手段のうちの少なくとも一つは、前記顔領域判別手段にて検出した顔領域の大きさに応じて、鼻位置検出手段、比較領域設定手段又は角度算出手段で用いるパラメータを変更するようになっていることを特徴とする請求項１〜６のいずれか１項に記載の顔向き検出装置。
【請求項８】
請求項１〜７のいずれか１項に記載の顔向き検出装置と、
上記顔向き検出装置の角度算出手段にて求めた前記顔向きの角度に基づいて、顔の向きを補正した３次元計測データを生成する３次元データ処理装置とを備えていることを特徴とする３次元計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人等の顔を撮影し、その向きを検出するための顔向き検出装置、及びそれを用いて顔の向きを補正した３次元データを保存し、活用することが可能な３次元計測装置に関するものである。
【背景技術】
【０００２】
従来の通常のカメラでは、画素毎の輝度情報及び色情報を２次元画像データ形式で保存できるだけであった。しかし、近年、ステレオカメラ又は３Ｄセンサ等を搭載して、対象物の３次元データを容易に取得可能な３次元計測装置が開発され、広く普及しつつある。
【０００３】
この３次元計測装置では、人又は物等の撮影対象における画素毎の距離データを取得し、これを距離画像データ又は点群データ等の形式で保存することができる。したがって、近年では、３次元計測装置にて取得した３次元データと従来の２次元画像データとを併用することによって、２次元画像だけでは不可能であった様々なアプリケーションを実現することが可能となっている。
【０００４】
例えば、顔の２次元画像と３次元画像とを取得して、人物の認識を行うことができる認識装置が特許文献１に開示されている。
【０００５】
このように、人の顔の３次元データを活用することにより、２次元画像データからだけでは不可能な高度な処理を行うことが期待されている。
【０００６】
ところで、ステレオカメラ又は３Ｄセンサを用いて人の顔をカメラで撮影する場合には、撮影位置のずれ又は被撮影者の首振り等の影響により、顔の向きが正面からずれた向きで撮影されることが頻繁に発生する。このため、不特定多数の人の顔の３次元データを収集して活用する場合に、各々の顔の向きがバラバラであれば、データを統一的に扱うことが難しくなる虞がある。
【０００７】
そこで、従来、撮影した顔の向きを補正する処理がいくつか提案されている。
【０００８】
例えば、先に述べた特許文献１の認識装置では、顔の内部の特定部位の特徴量を抽出し、その３次元的な位置の標準的なモデルにおける位置との差異から顔の向きを割り出し、顔の認証時の補正に利用している。
【０００９】
また、例えば特許文献２の顔姿勢検出システムでは、ステレオカメラにて取得したステレオ画像から瞳孔と鼻孔とを検出し、その３次元的な位置関係から顔の向きを検出する処理が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−１２３２１６号公報（２００８年５月２９日公開）
【特許文献２】特開２００７−２６０７３号公報（２００７年２月１日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記従来の特許文献１の認識装置では、顔の向きを判別するに際して、顔の特定部位の特徴量を抽出し、それを標準的なモデルと比較する必要がある。このため、予め顔の特徴的な部位に関する情報をプログラムに登録したり学習させたりする必要があり、手間がかかるという問題点を有している。
【００１２】
また、特許文献２の顔姿勢検出システムの処理では、瞳孔又は鼻孔のような特徴量を抽出するために複雑な画像処理を行わなければならず、高速に精度良く検出するのが困難であるという問題がある。
【００１３】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、顔の向きを判別するに際して、特徴量抽出等の煩雑な手法を用いずに顔の向きを高速に精度よく判別し得る顔向き検出装置、及びそれを用いて顔の３次元データを効率よく生成し、活用することができる３次元計測装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の一態様における顔向き検出装置は、上記の課題を解決するために、顔を撮影して、画素毎に画素値情報と距離情報とを含む画像データを取得する画像データ取得手段と、上記画素値情報を用いて顔領域を判別する顔領域判別手段と、上記距離情報を用いて上記顔領域に存在する鼻位置を検出する鼻位置検出手段と、上記顔領域内に上記鼻位置に対する複数の比較領域を設定する比較領域設定手段と、上記鼻位置の距離情報に対する上記複数の各比較領域の距離情報の差分である各差分情報に基づいて撮像方向に対する顔向きの角度を算出する角度算出手段とを備えていることを特徴としている。
【００１５】
本発明の一態様における３次元計測装置は、上記の課題を解決するために、上記記載の顔向き検出装置と、上記顔向き検出装置の角度算出手段にて求めた前記顔向きの角度に基づいて、顔の向きを補正した３次元計測データを生成する３次元データ処理装置とを備えていることを特徴としている。
【発明の効果】
【００１６】
本発明の一態様によれば、顔の向きを判別するに際して、特徴量抽出等の煩雑な手法を用いずに顔の向きを高速に精度よく判別し得る顔向き検出装置、及びそれを用いて顔の３次元データを効率よく生成し、活用することができる３次元計測装置を提供するという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態１における顔向き検出装置及び３次元計測装置の構成を示すブロック図である。
【図２】上記３次元計測装置の動作を示すフローチャートである。
【図３】（ａ）上記顔向き検出装置におけるステレオカメラの左カメラにて撮影した画像を示す正面図であり、（ｂ）は上記ステレオカメラの右カメラにて撮影した画像を示す正面図であり、（ｃ）は生成された距離画像を示す正面図であり、（ｄ）はプロジェクタにて照射したときのステレオカメラの左カメラにて撮影した画像を示す正面図であり、（ｅ）はプロジェクタにて照射したときのステレオカメラの右カメラにて撮影した画像を示す正面図である。
【図４】（ａ）は顔が正面を向いている場合の顔領域と鼻領域との関係を示す図であり、（ｂ）は顔が少し傾いている場合の顔領域と鼻領域との関係を示す図であり、（ｃ）は顔がさらに傾いている場合の顔領域と鼻領域との関係を示す図であり、（ｄ）は顔が傾き過ぎている場合の顔領域と鼻領域との関係を示す図である。
【図５】（ａ）は比較領域設定部にて、２次元画像上の所定距離離れた場所に複数個所の比較領域を設定した一例を示す正面図であり、（ｂ）は比較領域設定部にて、２次元画像上の所定距離離れた場所に複数個所の比較領域を設定した他の例を示す正面図である。
【図６】（ａ）は上記３次元計測装置の顔向き検出装置における顔向き検出プログラムの「ステップＩ」における画面表示の一例を示す正面図であり、（ｂ）は上記顔向き検出プログラムの「ステップＩＩ」における画面表示の一例を示す正面図である。
【図７】顔向き検出プログラムの「ステップＩＩ」における顔の向きの補正処理の方法を示す顔の平面図である。
【図８】本発明の実施の形態２における３次元計測装置の構成を示す斜視図である。
【図９】本発明の実施の形態３における３次元計測装置の構成を示す斜視図である。
【発明を実施するための形態】
【００１８】
〔実施の形態１〕
本発明の一実施形態について図１〜図７に基づいて説明すれば、以下のとおりである。
【００１９】
本実施の形態の顔向き検出装置、及びそれを用いた３次元計測装置の構成について、図１に基づいて説明する。図１は、顔向き検出装置、及びそれを用いた３次元計測装置の構成を示すブロック図である。
【００２０】
本実施の形態の３次元計測装置１Ａは、図１に示すように、顔向き検出装置１０と３次元データ処理装置３０とから構成されている。これら顔向き検出装置１０及び３次元データ処理装置３０は互いに隣接して設置されており、両者はデータ通信用ケーブル２にて接続されている。
【００２１】
顔向き検出装置１０は、画像データ取得手段としてのステレオカメラ１１、プロジェクタ１２、カメラ制御基板１３及び顔向き検出用端末２０から構成されている。
【００２２】
上記ステレオカメラ１１は、顔を撮影して、画素毎に画素値情報と距離情報とを含む３次元画像データを取得する画像データ取得手段としての機能を果たすものである。画素値情報とは、具体的には、例えば輝度値又は色情報である。
【００２３】
このステレオカメラ１１は、左カメラ１１Ｌ及び右カメラ１１Ｒの２つのカメラからなっている。２つの左カメラ１１Ｌ及び右カメラ１１Ｒは、それぞれ、小型のＣＭＯＳ（Complementary Metal Oxide Semiconductor:相補形金属酸化膜半導体）イメージセンサ集光用のレンズ、及び画像信号処理用のＤＳＰ（Digital Signal Processor：デジタル・シグナル・プロセッサー）が組み合わされたカメラモジュールであり、互いに所定の距離（基線長）だけ離間して固定されている。本実施の形態のステレオカメラ１１では、各カメラモジュールの総画素数は例えば横２５９２画素×縦１９４４画素＝約５００万画素であるが、他の画素数であってもよい。また、本実施の形態のステレオカメラ１１は、外部から設定を変更することによって、画素間引きや補間を行い、約５００万画素よりも低い画素数で出力することも可能になっている。
【００２４】
また、上記カメラモジュールには、「静止画モード」と「動画モード」との２つのモードが存在し、これら２つのモードを外部から切り替え可能となっている。「静止画モード」では、所定のタイミングで１枚だけ画像を撮影し、画像データを出力することが可能になっている。一方、「動画モード」では、所定の周期で連続的に画像を撮影して画像データを出力することが可能になっている。尚、本実施の形態のステレオカメラ１１に対しては、予めキャリブレーションと呼ばれる手順により、カメラの焦点距離等のパラメータやレンズの歪みデータ等を含むキャリブレーションデータが取得されている。
【００２５】
プロジェクタ１２は、顔部の撮影時に使用する照明装置である。また、カメラ制御基板１３は、ステレオカメラ１１を操作するための制御回路を有している。
【００２６】
上記顔向き検出用端末２０には、顔向き検出プログラム２１がインストールされている。そして、この顔向き検出プログラム２１が実施されることにより、顔向き検出用端末２０のＣＰＵ２２が顔領域判別手段としての顔領域判別部２２ａ、鼻位置検出手段としての鼻位置検出部２２ｂ、鼻位置ずれ量判定手段としての鼻位置ずれ量判定部２２ｃ、比較領域設定手段としての比較領域設定部２２ｄ、及び角度算出手段としての角度算出部２２ｅとしての機能と発揮するようになっている。
【００２７】
上記顔領域判別部２２ａは、上記ステレオカメラ１１にて取得した３次元画像データにおける画素値情報から該３次元画像データ内の顔領域を求める。
【００２８】
上記鼻位置検出部２２ｂは、上記ステレオカメラ１１にて取得した３次元画像データにおける距離情報を用いて、上記３次元画像データ内の顔領域に存在する鼻の位置を検出する。
【００２９】
上記鼻位置ずれ量判定部２２ｃは、顔領域の中央線と鼻位置の中心位置との距離が閾値以上か否かを判定する。
【００３０】
上記比較領域設定部２２ｄは、上記鼻の位置を基準として、上記３次元画像データ内の上記顔領域に複数の比較領域を設定する。
【００３１】
上記角度算出部２２ｅは、上記鼻領域の距離情報と上記複数の比較領域の距離情報との関係から正面向きの顔に対する角度を算出する。
【００３２】
次に、上記３次元データ処理装置３０は、３次元データ処理用端末３１及び記憶装置３２からなり、３次元データ処理用端末３１には３次元データ処理プログラム３３がインストールされている。
【００３３】
上記構成の顔向き検出装置１０及び３次元データ処理装置３０を備えた３次元計測装置１Ａの動作について、図２に基づいて説明する。図２は、顔向き検出装置１０及び３次元データ処理装置３０を備えた３次元計測装置１Ａの動作を示すフローチャートである。
【００３４】
尚、以下の説明では、ステレオカメラ１１によって撮影される人物を「被撮影者Ｍ」と称し、顔向き検出用端末２０を操作する人物を「操作者Ｏ１」と称し、３次元データ処理用端末３１を操作する人物を「操作者Ｏ２」とそれぞれ称することとする。
【００３５】
ここで、本実施の形態の３次元計測装置１Ａは、不特定多数の人物の顔の３次元データを取得することを目的としている。そのため、被撮影者Ｍは、年齢、性別、容貌や人種等が多岐に亘っており、本実施の形態の３次元計測装置１Ａについての知識を必要としない。一方、操作者Ｏ１及び操作者Ｏ２は、本実施の形態の３次元計測装置１Ａ全体についての知識をある程度有する人物である必要がある。
【００３６】
図２に示すように、顔向き検出プログラム２１の処理の流れは、「ステップＩ」と「ステップＩＩ」との２つに大きく分けられる。
【００３７】
「ステップＩ」では、比較的低い解像度の画像データを高フレームレートで取得し、顔向き検出の結果をリアルタイム表示することによって、顔の大まかな向きを調整する。一方、「ステップＩＩ」では、高い解像度の画像データを取得し、時間をかけて顔の向きを高精度に算出し、顔の３次元データを正確に正面向きに補正してから保存する。
【００３８】
最初に、顔向き検出プログラム２１の「ステップＩ」の処理フローについて説明する。
【００３９】
「ステップＩ」においては、まず、図１に示す操作者Ｏ１の指示により、被撮影者Ｍがステレオカメラ１１の前方の所定位置に立ち、ステレオカメラ１１の方向に顔を向ける。
この状態で、操作者Ｏ１が顔向き検出装置１０の顔向き検出プログラム２１を立ち上げる。顔向き検出プログラム２１が起動する際に、顔向き検出プログラム２１により、カメラ制御基板１３から制御信号が送信され、ステレオカメラ１１の初期化が行われる。このとき、ステレオカメラ１１は、「動画モード」にて低解像度のカラー画像を取得するよう設定される。
【００４０】
本実施の形態のステレオカメラ１１では、低解像度画像は例えば横６４０画素×縦４８０画素のＶＧＡサイズである。ただし、必ずしもこのＶＧＡサイズに限定されない。
【００４１】
上記ステレオカメラ１１の左カメラ１１Ｌ及び右カメラ１１Ｒは、予め定められた設定に基づいて前方に存在する被撮影者Ｍの顔を連続して撮影し、撮影した画像データをカメラ制御基板１３に順次送信する（Ｓ１）。本実施の形態では、撮影の更新速度は例えば１０フレーム／秒である。尚、撮影時には、カメラ制御基板１３から左カメラ１１Ｌ及び右カメラ１１Ｒに同期信号が送信されており、２つの左カメラ１１Ｌ及び右カメラ１１Ｒは同期信号にしたがって同一のタイミングで撮影を行う。ステレオカメラ１１が撮影した画像の一例を、図３の（ａ）（ｂ）に示す。図３の（ａ）が左カメラ１１Ｌの画像であり、図３の（ｂ）が右カメラ１１Ｒの画像である。尚、図３の（ａ）（ｂ）に示す画像では、被撮影者Ｍの顔の代わりにマネキン頭部を撮影対象とし、画像周辺の不要な領域の一部をトリミングしている。
【００４２】
ステレオカメラ１１が撮影した顔のカラー画像データつまり２次元画像データは、カメラ制御基板１３に送られる。カメラ制御基板１３では、ステレオ対応点探索と呼ばれる手法により、左カメラ１１Ｌの画像における画素毎に右カメラ１１Ｒの画像における画素から対応する画素を探索する（Ｓ２）。そして、対応点同士の画素ずれ量つまり視差値を求める。この動作を左カメラ１１Ｌの全画素について行うことにより、視差値を画素の濃淡（グレースケール）で表した視差画像が得られる。ステレオカメラ１１においては、三角測量の原理により奥行き方向の距離と視差の値とは１対１に対応している。このため、基線長（左カメラ１１Ｌと右カメラ１１Ｒとの間の距離）や輻輳角（左カメラ１１Ｌ及び右カメラ１１Ｒの各光軸のなす角度）等のカメラパラメータが分かっていれば、視差値を距離に変換することができる。
【００４３】
このようにして、ステレオカメラ１１からの奥行き方向の距離を画素の濃淡（グレースケール）で表した距離画像を得ることができる（Ｓ３）。
【００４４】
本実施の形態では、左カメラ１１Ｌの右カメラ１１Ｒに対する距離を求めているので、後述する図６の（ａ）に示すように、距離情報としての距離画像ＰＬは左カメラ１１Ｌ基準となる。
【００４５】
尚、本実施の形態における距離画像ＰＬは、各画素に対し、その画素に存在する物体のステレオカメラ１１から見て奥行き方向（光軸に沿って、被撮影者Ｍに向かう向き）の距離の値を数値として保持している。３次元再投影と呼ばれる手法により、奥行き方向の距離の値とステレオカメラ１１のパラメータとが分かれば、再投影行列を計算し、奥行き方向の距離画像ＰＬから奥行き方向以外の上下左右方向の距離の値を求めることが知られている。すなわち、距離画像ＰＬにおける奥行き方向の距離値と３次元座標とは相互に変換可能であるので、以下では、この距離画像ＰＬを３次元画像、つまり画像上の各点が３次元座標の情報を有している画像に相当するものとして扱う。
【００４６】
このような距離画像ＰＬ及び３次元画像の生成処理は、上述のように、カメラ制御基板１３上のＦＰＧＡ（Field-Programmable Gate Array：プログラム可能な論理回路デバイス）やＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）等のハードウェアで行うことができる。また、パーソナルコンピュータ（ＰＣ：Personal Computer）上の画像処理プログラムとしてソフトウェア的に行うこともできる。
【００４７】
このようにして、カメラ制御基板１３にて距離画像ＰＬが生成される。実際に生成した距離画像ＰＬを図３の（ｃ）に示す。この距離画像ＰＬでは、短距離である程白い画素値で表現され、距離が遠いほど黒い画素値で表現されている。また、本実施の形態では、左カメラ１１Ｌを基準にして右カメラ１１Ｒの画像の左カメラ１１Ｌの画像に対する視差を求めているため、得られる距離画像ＰＬの視野範囲は、図３の（ａ）に示す左カメラ１１Ｌの２次元画像の視野範囲と同じになる。すなわち、距離画像ＰＬ内のある画素に対応する左カメラ１１Ｌの２次元画像の画素は、画像上の同じ位置に存在する。
【００４８】
一方、距離画像ＰＬでは、視差探索範囲を制限して対応点の探索を行っているので、視差探索範囲外の領域、つまり顔よりも距離が遠い背景の部分は対応点が見出せず、計測不能画素となっている。また、視差探索範囲内においても、対応点探索に誤りが発生するためノイズとなっている画素が存在する。
【００４９】
尚、顔の表面に濃淡の変化が乏しい場合、上記の単純な対応点探索では左カメラ１１Ｌ及び右カメラ１１Ｒの画像の対応点が十分に得られない場合がある。その場合、ステレオカメラ１１の近傍に配置したプロジェクタ１２から適当なテクスチャを被撮影者に向けて投射し、対応点探索の手掛かりとなる濃淡の変化を強制的に付与することができる。投射テクスチャとしてランダムな２次元ドットパターンを付与して撮影した左右画像を図３の（ｄ）（ｅ）に示す。尚、被写体の状況に応じて、プロジェクタ投射あり／なしを切り替えたり、プロジェクタ投射あり／なしにて撮影した画像データを併用して距離画像ＰＬを生成したりすることもできる。また、プロジェクタ１２の投射光として赤外光を使用し、可視光と赤外光との波長分離によりプロジェクタ投射あり／なしの画像を同時に取得することも可能である。
【００５０】
距離画像ＰＬは、左カメラ１１Ｌの２次元画像と共に顔向き検出プログラム２１に送信される。顔向き検出プログラム２１は、顔領域判別部２２ａ、鼻位置検出部２２ｂ、鼻位置ずれ量判定部２２ｃ、比較領域設定部２２ｄ、及び角度算出部２２ｅによって、この２次元画像と距離画像ＰＬつまり３次元画像とを併用して被撮影者Ｍの顔の向きの検出を行う。
【００５１】
最初に、顔向き検出プログラム２１において顔領域判別部２２ａは、２次元カラー画像において肌の色を手掛かりに顔領域の検出を行う（Ｓ４）。具体的には、顔領域判別部２２ａは、入力された２次元画像に対し、まず画素値をＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）値からＨＳＶ（Ｈｕｅ：色相，Ｓａｔｕｒａｔｉｏｎ：彩度，Ｖａｌｕｅ：明度）値に変換したＨＳＶ２次元画像を生成する。このＨＳＶ２次元画像において、Ｈ（Ｈｕｅ）値を手がかりにして、Ｈ（Ｈｕｅ）値が所定の範囲に入っていれば肌色であると判断し、その画素に対する肌色ビットの値として「１：肌色である」を設定する。肌色でない場合は、対する肌色ビットを「０：肌色でない」に設定する。このようにして、２次元画像の各画素に対して肌色であるかどうかを判別し、その結果を肌色ビットとして付与することができる。これらの肌色ビットは、２次元画像と同じ画像サイズの２値マスク画像として表示することができる。
【００５２】
肌色抽出の閾値は、例えばＨＳＶのＨ（Ｈｕｅ）値において０〜４０までの範囲とすることができる。尚、被撮影者Ｍの肌の色が明るめであるか又は暗めであるかを予め設定メニューで選択できるようにしておき、それに応じて閾値を変化させることも可能である。それにより、肌色検出の閾値範囲を狭め、より肌色検出の精度を高めることができる。
【００５３】
実際の２次元画像においては、顔以外に肌色の部分が含まれることがあるので、顔領域の誤検出が発生する虞がある。その場合、例えば所定の大きさより小さい領域はノイズとみなして消去する、画面の中央付近から外れた位置にある領域は顔ではないとみなして除外する等の追加処理を行い、顔領域だけを抽出することもできる。
【００５４】
上記のように、本実施の形態の３次元計測装置１Ａでは、２次元カラー画像において肌の色を手掛かりに顔領域の検出を行う。これにより、周囲の明るさ等の撮影条件によらず、対象となる顔の領域を正確に抽出することができる。
【００５５】
続いて、顔向き検出プログラム２１ムにおいて鼻位置検出部２２ｂは、顔領域を検出した２次元画像と距離画像ＰＬとを用いて、顔領域の内部に存在する鼻の位置を検出する（Ｓ５）。
【００５６】
具体的には、顔領域の中で距離が最も短い画素つまりステレオカメラ１１に最も近い画素を探索し、その距離を最少距離Ｌｍｉｎとする。次に、その最少距離Ｌｍｉｎから所定の距離範囲ΔＬの範囲にある画素値を抽出する。ここで、距離範囲ΔＬは人の鼻の標準的な高さに基づき決定するパラメータであり、例えば全年齢・性別・人種にわたって平均した鼻の高さの１／２の値とすることができる。
【００５７】
通常、人の顔をステレオカメラ１１に正対させた場合、鼻の先端がステレオカメラ１１から最も近い距離にある。したがって、最少距離Ｌｍｉｎから最少距離Ｌｍｉｎ＋距離範囲ΔＬの距離にある画素を抽出することによって、鼻領域を検出することができる。
【００５８】
ただし、距離画像ＰＬには通常ノイズ成分が含まれており、上記のように距離だけで抽出すると、鼻領域に鼻以外の部分の画素が混入することがある。その場合、例えば所定の面積以下の領域はノイズとみなして除外したり、抽出した領域の中で最も大きな面積を持つ閉領域のみを取り出したりする等の追加処理が必要になる。また、顔の向きが正面から大きく傾いている場合、左右いずれかの頬を鼻領域と誤検出することがあるので、距離の勾配に一定の制限を設け、勾配が一定以上の領域のみを鼻領域として抽出するようにしてもよい。
【００５９】
鼻位置検出部２２ｂは、上記のようにして抽出した鼻領域が顔領域の中でどのような位置にあるかによって、顔の大まかな向きを判別する。例えば、図４の（ａ）に示すように、顔がステレオカメラ１１に対して正面を向いている場合、鼻候補領域としての鼻領域ＡＮは顔領域ＡＦの左右方向の略中央に存在する。したがって、顔領域ＡＦの中央線ＣＦと鼻領域ＡＮの中心とは、左右軸上で略同じ位置に存在する。ステレオカメラ１１に対して左右いずれかの方に傾くと、図４の（ｂ）（ｃ）に示すように、鼻領域ＡＮの位置は顔領域ＡＦの中央線ＣＦから左右いずれかに寄った位置に移動する。したがって、顔領域ＡＦの中央線ＣＦと鼻領域ＡＮの中心とは、左右軸上でオフセットを有することになる。
【００６０】
顔の傾きがさらに大きくなると、図４の（ｄ）に示すように、最早、鼻よりも頬の方がステレオカメラ１１に対して近い距離に計測されるので、鼻領域ＡＮが正しく計測されなくなる。そこで、本実施の形態では、鼻位置ずれ量判定部２２ｃが、上記のオフセット量を常にモニタし、オフセット量が一定値である閾値を超えたか否かを判定している。そして、オフセット量が一定値を超えた段階で顔の傾きが大き過ぎることを示す顔向き異常信号を発生する。このオフセット量は、例えば顔領域ＡＦ及び鼻領域ＡＮそれぞれの重心位置を計算して、その左右方向の位置の差を取ることにより計算することができる。尚、本実施の形態では、顔の傾きが大き過ぎる場合には、異常信号を発生する。しかし、必ずしもこれに限らず、他の方法で報知する機能があれば足りる。
【００６１】
顔向き異常信号が発せられると、以降の顔向き検出処理は一時停止され、顔向き検出プログラム２１にて、図６の（ａ）に示すように、顔向き検出用端末２０の画面上に「顔の向きの傾きが大き過ぎる」旨をメッセージとして表示させる。操作者Ｏ１は、このメッセージが表示されると、被撮影者Ｍに対して顔の向きを正面に向けるよう指示を出す。この異常信号の送出は、顔の向きが正面向きに修正され、顔領域ＡＦの中央線ＣＦと鼻領域ＡＮの中心とのオフセット量が一定値以内に入るまで継続される。
【００６２】
このように、被撮影者Ｍの顔の向きが正面から大きくずれている場合、鼻位置ずれ量判定部２２ｃは、異常信号を発生してその状況を操作者Ｏ１に知らせ、以降の処理を適切に行えるようにしている。
【００６３】
上述のように、本実施の形態の顔向き検出装置１０は、顔の向きが大きくずれており鼻位置を見出せない場合であっても、異常信号を操作者Ｏ１に伝えることによって、正しい顔向きの計測を可能にすることができる。
【００６４】
続いて、鼻位置が検出された後、２次元画像及び距離画像ＰＬは顔向き検出プログラム２１において比較領域設定部２２ｄに送られる。比較領域設定部２２ｄは、鼻位置を基準にして、２次元画像上の所定距離離れた場所に複数個所の比較領域を設定する（Ｓ６）。
【００６５】
比較領域は、例えば図５の（ａ）に示すように、上下左右に各１か所、矩形状の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲとして設けられる。この場合、左右の比較領域ＡＬ・ＡＲは顔の左右頬の位置に相当するように設定され、上下の比較領域ＡＵ・ＡＤは顔の額及び顎の位置に相当するように設定される。或いは、図５の（ｂ）に示すように、顔の左右に各２か所の矩形状の比較領域ＡＬＵ・ＡＬＤ・ＡＲＵ・ＡＲＤを設けることができる。この場合、左右の各２か所の比較領域ＡＬＵ・ＡＬＤ・ＡＲＵ・ＡＲＤはそれぞれ左右頬に相当するように設定される。
【００６６】
ここで、比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲを設定する際に用いられる鼻位置と比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの中心との間の鼻比較領域間距離Ｄは、前述の顔領域ＡＦの大きさに応じて変化させることができる。標準的な顔領域ＡＦの左右幅を標準顔幅ＷＡとし、標準的な鼻領域ＡＮと比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの中心との間の距離を標準鼻比較領域間距離ＤＡとすると、顔領域ＡＦの左右幅である顔幅Ｗに対して、鼻位置と比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの中心との間の距離である鼻比較領域間距離Ｄは、
Ｄ＝ＤＡ×Ｗ／ＷＡ
にて算出される。
【００６７】
すなわち、顔幅Ｗに対する比が一定となるように、鼻比較領域間距離Ｄの値を調整する。上下方向についても、同様に鼻位置からの距離の調整を行う。このように、顔の大きさに応じて比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲ等のパラメータを変更できるので、大人から子供まで、計測対象となる顔の大きさの変動範囲が大きい場合でも、それぞれの顔の大きさに合わせて適切に顔の向きを検出することができる。
【００６８】
その後、顔向き検出プログラム２１において角度算出部２２ｅは、比較領域設定部２２ｄにて設定した比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲに含まれる画素の距離情報を用いて、顔の左右方向及び上下方向の向きを算出する（Ｓ７）。
【００６９】
具体的には、例えば、図５の（ａ）に示される矩形状の領域である４か所の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲが設定されている場合、まず、比較領域ＡＬと比較領域ＡＲとに含まれる画素の距離の平均値である画素距離平均値ＬＡＬ・ＬＡＲをそれぞれ求める。
【００７０】
そして、画素距離平均値ＬＡＬと画素距離平均値ＬＡＲとが等しい場合、左右の頬が略同じ距離にあることから、顔がステレオカメラ１１に対して略正面を向いていることになる。一方、画素距離平均値ＬＡＬと画素距離平均値ＬＡＲとの画素距離平均値差ΔＬＲが大きい程、ステレオカメラ１１に対する顔の左右方向の顔傾き角θＬＲが大きい状態であると考えることができる。
【００７１】
したがって、画素距離平均値差ΔＬＲ＝画素距離平均値ＬＡＬ−画素距離平均値ＬＡＲ、及び顔幅Ｗを用いて、顔左右傾き角θＬＲ＝ａｔａｎ（ΔＬＲ／２Ｗ）として算出される。上下方向についても、矩形状の比較領域ＡＵと矩形状の比較領域ＡＤとに含まれる画素の画素距離平均値ＬＡＵ・ＬＡＤをそれぞれ求めてから、左右方向と同様の演算を行うことによって、上下方向の顔上下傾き角θＵＤを求めることができる。
【００７２】
角度算出部２２ｅは、以上のような手順で被撮影者Ｍの顔の向きを算出し、その結果を顔向き検出プログラム２１の画面上に表示する（Ｓ７）。具体的には、図６の（ａ）に示す画面が表示される。表示は、正面を０度として、正面からの傾きを左右方向、上下方向それぞれ度単位にて数値で表示することもできるし、傾き角を分かり易く図で表すことも可能である。ここまでの処理、つまり距離画像ＰＬ生成から顔領域検出、鼻位置検出、比較領域設定を経て角度算出までの処理はフレーム毎に行われ、顔向き検出プログラム２１の画面がリアルタイムで更新される。
【００７３】
角度算出部２２ｅによる顔の向きの判定結果において、顔の向きが有効範囲内であるか否かを判定する（Ｓ８）。
【００７４】
顔の向きが正面から大きくずれていた場合は、角度算出部２２ｅは顔向き異常信号を発生する。鼻位置検出部２２ｂにおける顔向き異常信号の発生時と同様に、顔向き検出プログラム２１は以降の処理を一時停止し、顔向きが正常範囲から逸脱している旨を画面上に表示する。操作者Ｏ１は、その表示を参照しながら被撮影者Ｍに対して顔の向きを正面向きに動かすよう指示を出す。
【００７５】
顔の向きが左右及び上下とも正面に近い角度範囲に入り、安定した状態になると、顔向き検出プログラム２１において「撮影」ボタンが有効になる（Ｓ９）。「撮影」ボタンが有効になる角度範囲は、後述する「ステップＩＩ」での角度補正可能量から決定することが望ましい。
【００７６】
操作者Ｏ１が「撮影」ボタンを押すと、顔向き検出プログラム２１は「ステップＩ」から「ステップＩＩ」に移行する。
【００７７】
「ステップＩＩ」に移行すると、図２に示すように、顔向き検出プログラム２１はカメラ制御基板１３に制御信号を送信し、ステレオカメラ１１が「静止画モード」で高解像度のカラー画像を１枚撮影するようにする。本実施の形態のステレオカメラ１１では、高解像度画像は横２５９２画素×縦１９４４画素である。ただし、必ずしもこのサイズに限定されない。
【００７８】
ステレオカメラ１１の左カメラ１１Ｌ及び右カメラ１１Ｒは、予め定められた設定に基づいて前方に存在する被撮影者Ｍの顔を１回だけ撮影し、撮影した画像データをカメラ制御基板１３に送信する（Ｓ１０）。
【００７９】
以降の処理（ステップＳ１１〜Ｓ１６）は、先に述べた「ステップＩ」のステップＳ２〜Ｓ７と同様であり、顔領域ＡＦの検出、鼻位置の検出、比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの設定及び顔向き判定を行う。
【００８０】
「ステップＩＩ」では「ステップＩ」と異なり、撮影した２次元画像の解像度が高くて画素数が多いので、結果として算出される顔向きの角度の値の精度も高くなる。ただし、計算に要する時間は非常に長くなるためリアルタイム処理は不可能であり、「撮影」ボタンを押してから顔向き角度の算出が完了するまで、ハードウェアの処理性能にもよるが、通常数秒から数十秒の時間を要する。
【００８１】
顔向き検出プログラム２１では「ステップＩ」にて顔の向きの大まかな調整を行うので、「撮影」ボタンを押した時点で正面からの大きな角度ずれは解消しているが、それでも若干のずれが残っている。通常、上下左右とも概ね５度以内の角度ずれであれば目視では略正面向きであると感じられる。しかし、例えば多数の顔の３次元データを取得して顔形状の精密なデータベースを作成したり、顔の３次元データに何らかの付加的なデータ処理を加えたりする場合においては、正面からの小さな角度ずれが問題になることがある。そのため、「ステップＩＩ」では、可能な限り角度ずれを小さくしたデータを作成するため、顔の向きの補正処理を行う（Ｓ１７）。
【００８２】
上記「ステップＩＩ」における顔の向きの補正処理の方法について、図７に基づいて説明する。図７は、「ステップＩＩ」における顔の向きの補正処理の方法を示す顔の平面図である。
【００８３】
顔の向きの補正処理は、座標変換によって行う。まず、「ステップＩＩ」での顔向き判定によって算出された顔向きの正面からの左右方向のずれ角がθであったとする。
【００８４】
この場合、図７に示すように、元の座標系ＸＹＺをθだけ回転させ、さらに左方向（図７において−Ｘ方向）にΔｘ＝Ｌ・ｔａｎθだけ平行移動させたＸ’Ｙ’Ｚ’座標系に座標変換する。この座標変換は、３次元点群データの各点を行列表示したものにθの回転行列及びΔｘの並進行列を掛けることによって容易に計算することができる。このようにして得たＸ’Ｙ’Ｚ’座標系での点群データを、顔向き検出プログラム２１の画面上に距離画像ＰＬとして表示する。
【００８５】
３次元点群データを距離画像ＰＬとして表示する場合は、見る方向を表現する投影行列を点群データに掛け合わせることによって求めることができる。投影行列は、座標空間上の視点（見る位置）と視線ベクトル（見る方向）とを指定すれば一意に算出可能である。この場合、原点Ｏ’から＋Ｚ方向を見るための投影行列を生成し、これを点群データに掛け合わせると、顔の正面から見た距離画像ＰＬを生成することができる。
【００８６】
顔向き検出は、このようにして生成した正面からの視点に変換した距離画像ＰＬを、顔向き検出プログラム２１の画面上に表示する（Ｓ１８）。具体的には、図６の（ｂ）に示す画面が表示される。本実施の形態の顔向き検出プログラム２１では、マウス操作又はキーボードからの角度入力により、正面視を含む任意の角度から見た画像を算出し、画面に表示させることができる。
【００８７】
操作者Ｏ１は、表示された正面視の距離画像ＰＬを確認する（Ｓ１９）。また、必要に応じてマウス操作等によって任意の角度から見た画像を生成して、正面からでは分からないデータの抜けや誤りの有無を確認する等のデータの状態確認を行う。データに問題がなければ画面上の「出力」ボタンを押す。これにより、ＸＹＺ座標系での点群データが正面向きの顔の３次元データとして出力される（Ｓ２０）。仮に、３次元データの一部に異常があるような場合は、保存をキャンセルして再度「ステップＩ」に戻ってデータ取得からやり直すことができる。
【００８８】
顔向き検出装置１０から出力された顔の３次元データは、図１に示す３次元データ処理装置３０に送られる。
【００８９】
３次元データ処理装置３０では、受信した３次元データを記憶装置３２に蓄える。顔向き検出装置１０においては不特定多数の人の顔の３次元データが取得されるので、記憶装置３２には多量の顔の３次元データが記憶される。記憶装置３２に記憶される時点で、セキュリティ及びプライバシーを配慮して、３次元データの一部又は全部に暗号化処理を施すことができる。
【００９０】
３次元データ処理装置３０の操作者Ｏ２は、３次元データ処理用端末３１上の３次元データ処理プログラム３３を操作し、顔の３次元データに対する処理を行う。操作者Ｏ２は、記憶装置３２から特定の人の顔データを指定し、３次元データ処理プログラム３３上にロードする。３次元データ処理プログラム３３では、ロードした顔の３次元データを、視点変換、拡大縮小又は回転等の操作を加えて任意の表示を行うことができる。
【００９１】
操作者Ｏ２は、例えば顔のある部分から別のある部分までの距離や角度を計測したり、顔データの一部を加工して別の３次元データを生成したりすることができる。また、複数の顔の３次元データをまとめてロードし、それらの平均や標準偏差等の統計量を求めたり、顔同士の差分を求めたりすることもできる。これらの処理の結果は、スポーツ、アート、服飾、医療、介護、ゲーム、アミューズメント、広告、その他これらに限定されない様々な用途に利用することができる。
【００９２】
このように、３次元データ処理装置３０では、顔向き検出装置１０にて得た顔の３次元データを様々な用途に活用することができる。
【００９３】
３次元データ処理装置３０において、記憶装置３２に保存されている顔の向きにずれがある場合、操作者Ｏ２がその都度正しい向きに補正する必要がある。多数の顔データを扱う場合、一つ一つの顔データにその都度向き補正を施すのは手間がかかり、処理の効率を低下させる。これに対し、本実施の形態の３次元データ処理装置３０では、顔向き検出装置１０にて正確に正面向きに直したデータを保存するので、操作者Ｏ２側で追加の顔向き補正を行う必要がなく、効率よくデータ処理を行うことができる。
【００９４】
最初から「ステップＩＩ」に相当する高解像度の画像で顔向き検出及び補正を行う場合、データを取得するのに時間がかかる。その上、顔の向きが大きくずれている場合に補正ができないことがある。
【００９５】
本実施の形態では、最初に「ステップＩ」にて低解像度でリアルタイム表示することによって顔の向きを大まかに合わせ、その後に「ステップＩＩ」にて細かい補正を行うという２段階の処理を行っている。これにより、顔の向きを効率よく補正し、正確に正面を向いた顔の３次元データを得ることができる。
【００９６】
尚、本実施の形態では、カラー画像及び距離画像ＰＬの取得のためにステレオカメラ１１を用いた。ただし、必ずしもこれに限らず、距離画像ＰＬが取得可能なカメラとして、ＴｏＦ（Time of Flight）方式や構造光（Structured Light）照射方式の３次元カメラを使用することも可能である。
【００９７】
また、本実施の形態では、カラー画像を取得し、色情報から肌色領域を抽出することによって顔領域の検出及び背景除去を行ったが、これ以外の方法で顔領域を検出しても構わない。例えば、被撮影者Ｍの背後に暗幕を設置することが許されるような場合は、暗幕を背景にした状態で被撮影者Ｍの顔を撮影し、そのようにして得た２次元画像から輝度が一定値以上の領域を抽出することにより、背景を除去して顔領域を抽出することができる。この場合、カラー画像の代わりにモノクロ画像でも顔領域抽出が可能になるので、構成を簡略化し、演算量を削減することができる。
【００９８】
また、被撮影者Ｍの顔を固定する補助的な治具の使用が許されるような場合は、ステレオカメラ１１から顔までの距離が所定の範囲に入るように顔を固定して撮影し、そのようにして得た距離画像ＰＬから上記所定距離範囲に含まれる領域のみを抽出することによって顔領域を検出するという方法も考えられる。その他、顔領域の抽出方法として、これらに類する任意の手法を適用することができる。
【００９９】
このように、人の顔を撮影し、その３次元データを保存する場合に、顔の向きを正確に正面に合わせるのは困難である。これに対して、本実施の形態の３次元計測装置１Ａでは、顔向き検出装置１０によって撮影対象の例えば人の顔向きをリアルタイムで簡便に検出し、顔の向きを所望の向きに補正した３次元計測データを生成することができる。取得した顔の３次元データを正面向きのデータに直してから保存することができるため、顔データ同士の互換性を高めることができる。
【０１００】
これにより、例えば、多数の顔のデータを平均化して年齢や性別毎の平均的な顔の形状データを求めたり、その平均的な顔データと各個人の顔データとの差分を求めたり、又は同一人物の過去の顔データと現在の顔データとを比較したりすることが容易にできるようになる。
【０１０１】
本実施の形態の３次元計測装置１Ａで得た顔の３次元データは、セキュリティ、医療、介護、スポーツ、アート、服飾、ゲーム、アミューズメント、広告、その他これらに限定されない様々な用途に利用することができる。
【０１０２】
以上のように、本実施の形態における顔向き検出装置１０は、顔を撮影して、画素毎に画素値情報と距離情報とを含む画像データを取得する画像データ取得手段としてのステレオカメラ１１と、画像データの画素値情報を用いて顔領域ＡＦを判別する顔領域判別手段としての顔領域判別部２２ａと、画像データの距離情報としての距離画像ＰＬを用いて顔領域ＡＦに存在する鼻位置としての鼻領域ＡＮを検出する鼻位置検出手段としての鼻位置検出部２２ｂと、顔領域ＡＦ内に、鼻領域ＡＮに対する複数の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲを設定する比較領域設定手段としての比較領域設定部２２ｄと、鼻領域ＡＮの距離情報に対する複数の各比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの距離情報の差分である各差分情報に基づいて撮像方向に対する顔向きの角度を算出する角度算出手段としての角度算出部２２ｅとを備えている。
【０１０３】
上記構成によれば、撮像方向に対する顔向きの角度を算出するために、まず、画像データ取得手段としての例えばステレオカメラ１１を用いて、顔を撮影して、画素毎に画素値情報と距離情報とを含む画像データを取得する。すなわち、画像データは、ステレオカメラ１１から対象物までの画素値情報と距離情報とを含んでいる。具体的には、人の顔をステレオカメラ１１の向きである正面からみたＸＹ座標平面の画素に対応するステレオカメラ１１からの画素値情報と距離情報とからなるデータとなる。
【０１０４】
ここで、画素値情報とは、例えば輝度値又は色情報を想定している。尚色情報とは、換言すると、色の三原色である赤（Ｒ）・緑（Ｇ）・青（Ｂ）毎の輝度値情報と同義であり、モノクロの輝度値とは異なる概念である。
【０１０５】
次いで、顔領域判別部２２ａは、２次元画像であるＸＹ座標平面の画素値情報を用いて顔領域ＡＦを判別する。顔領域ＡＦとは、画像領域を背景領域と顔領域ＡＦに区分し、画像中における顔の占める領域や顔の輪郭形状を認識するために用いる領域情報をいう。
【０１０６】
顔領域ＡＦを求めるに際して、輝度値又は色情報を基に、予め設定された範囲の領域を顔領域ＡＦと判定する。色情報の場合、赤（Ｒ）・緑（Ｇ）・青（Ｂ）毎の輝度値から肌色領域を判定し、肌色領域を顔領域ＡＦと判定する。
【０１０７】
詳細には、画素値情報として例えば色情報を用いる場合には、顔領域ＡＦは肌色であり、それ以外は黒色の背景領域として示される。したがって、肌色領域が顔領域ＡＦであるとして容易に区別可能であり、顔領域ＡＦを容易に特定することができる。尚、画素値情報として例えば輝度値情報を用いる場合においても、背景領域の輝度値は０であり、顔領域の輝度値は０よりも大きいことから容易に区別可能である。
【０１０８】
次いで、鼻位置検出部２２ｂにて、画像データの距離情報を用いて顔領域ＡＦに存在する鼻位置である鼻領域ＡＮを検出する。具体的には、鼻は基本的には顔領域ＡＦの中で最も高い。したがって、ステレオカメラ１１との距離値が最も小さくなるため、顔領域ＡＦの内で距離情報が最もステレオカメラ１１に近い部位を鼻領域ＡＮと判定することができる。
【０１０９】
次いで、比較領域設定部２２ｄにて、顔領域ＡＦ内に鼻領域ＡＮに対する複数の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲを設定する。また、角度算出部２２ｅは、鼻領域ＡＮの距離情報に対する複数の各比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの距離情報の差分である各差分情報に基づいて撮像方向に対する顔向きの角度を算出する。
【０１１０】
具体的には、比較領域設定部２２ｄにて、顔領域ＡＦに、上下左右等少なくとも２か所の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲを設定した後、角度算出部２２ｅにて、鼻領域ＡＮの距離情報と複数の各比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの距離情報との比較を行い、差分である各差分情報を求め、各差分情報同士の比較を行う。尚、各比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの距離情報は、例えば、各比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲ内に含まれる画素の平均距離を算出することによって求めることができる。
【０１１１】
すなわち、右の頬がステレオカメラ１１の近くに存在する場合、左右の差分情報を比較すると違いが生じる。このため、左右の差分情報を互いに比較することにより顔の傾きを検出することができる。この結果、角度算出部２２ｅは、撮像方向に対する顔向きの角度を算出することができる。
【０１１２】
例えば、比較領域ＡＬ・ＡＲを鼻の左右に等距離に設定した場合、顔が真正面に向いている場合は距離の差分値は等しくなる。一方、例えば、顔がステレオカメラ１１に対して左に傾いている場合は、右の頬がステレオカメラ１１に近くなるため、距離の差分値を左右で比較すると差分情報に違いが生じる。このため、差分情報同士を比較することにより顔の傾きを検出することができる。この結果、角度算出部２２ｅは、撮像方向に対する顔向きの角度つまり正面向きの顔に対する角度を算出することができる。
【０１１３】
ここで、上述した撮像方向に対する顔向きの角度の算出方法では、例えば鼻の特徴量を抽出する方法は用いていない。しかし、撮像方向に対する顔向きの角度を容易に算出することができるので、手間がかからず、高速にしかも精度よく検出することができる。
【０１１４】
したがって、顔の向きを判別するに際して、特徴量抽出等の煩雑な手法を用いずに顔の向きを高速に精度よく判別し得る顔向き検出装置１０を提供することができる。
【０１１５】
また、本実施の形態の顔向き検出装置１０では、鼻位置検出部２２ｂは、顔領域ＡＦ内において、ステレオカメラ１１との距離値が最も小さい位置を含む領域を鼻領域ＡＮとして検出する。
【０１１６】
すなわち、鼻は基本的には顔領域ＡＦの中で最も高い。したがって、ステレオカメラ１１との距離値が最も小さくなるため、顔領域ＡＦの内で距離情報が最もステレオカメラ１１に近い部位が鼻領域ＡＮであると容易かつ簡易に判定することができる。
【０１１７】
また、本実施の形態の顔向き検出装置１０では、比較領域設定部２２ｄは、設定された条件に基づいて鼻領域ＡＮを基準とした複数の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲのそれぞれの位置を算出して該鼻領域ＡＮから離れた位置に該複数の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲを設定する。
【０１１８】
さらに、本実施の形態の顔向き検出装置１０では、比較領域設定部２２ｄは、鼻領域ＡＮを通りかつ顔領域ＡＦを左右に分割する中央線ＣＦを中心として各比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの位置関係が左右対称となる位置に複数の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲを設定する。
【０１１９】
すなわち、ステレオカメラ１１と鼻領域ＡＮとの距離値は、距離情報から既知であり、顔が正面を向いていれば、左右の頬は鼻領域ＡＮを中心として左右の対称位置に存在し、かつ左右の頬とステレオカメラ１１との距離値は等しい。この結果、鼻領域ＡＮにおける例えば左右の一定距離の位置に比較領域ＡＬ・ＡＲを設定すれば、その左右の比較領域ＡＬ・ＡＲとステレオカメラ１１との距離値は顔が正面を向いていれば互いに等しくなり差分は０となる。これに対して、顔が正面向きに対して傾いていれば差分は０よりも大きい値となる。したがって、撮像方向に対する顔向きの角度を容易に算出することが可能となる。
【０１２０】
また、顔の傾きとは、一般的に顔の左右の傾きを示すので、鼻領域ＡＮを通りかつ顔領域ＡＦを左右に分割する中央線ＣＦを中心として各比較領域ＡＬ・ＡＲの位置関係が左右対称となる位置に複数の比較領域ＡＬ・ＡＲを設定することが好ましい。
【０１２１】
また、本実施の形態の顔向き検出装置１０では、顔領域ＡＦを左右に分割する中央線ＣＦと鼻領域ＡＮの中心位置との距離が閾値以上か否かを判定する鼻位置ずれ量判定手段としての鼻位置ずれ量判定部２２ｃがさらに設けられている。
【０１２２】
また、本実施の形態の顔向き検出装置１０では、鼻位置ずれ量判定部２２ｃは、顔領域ＡＦの中央線ＣＦと鼻領域ＡＮの中心位置との距離が閾値以上か否かの判定を、角度算出部２２ｅによる顔向きの角度の算出前に行う。
【０１２３】
すなわち、顔が正面を向いている場合には、顔領域の中央線と鼻位置の中心位置とは略一致する。これに対して、顔領域の中央線と鼻位置の中心位置との距離が閾値以上つまり一定距離以上離れているということは顔が正面向きに対して傾き過ぎていることを示す。このような場合には、例えば、鼻位置の中心位置を鼻の中心位置と見做すことが好ましくない。
【０１２４】
そこで、鼻位置ずれ量判定部２２ｃは、顔領域ＡＦの中央線ＣＦと鼻位置の中心位置との距離が閾値以上か否かを判定をする。そして、この判定は、角度算出部２２ｅによる顔向きの角度の算出前に行われる。
【０１２５】
これにより、顔向きの角度を算出する前段階で、鼻位置の検出精度が低下する要因を予め排除できる。この結果、角度算出部２２ｅにて算出した顔向きの角度が有効範囲内の値ではないとする判定が最終段階で得られたことによって、再度、顔の向きを変えて撮影する場合に比べて、無駄を省くことができる。したがって、より効率的に顔の向きを精度よく判別することができる。
【０１２６】
また、本実施の形態の顔向き検出装置１０では、鼻位置ずれ量判定部２２ｃは、顔領域ＡＦの中央線ＣＦと鼻領域ＡＮの中心位置との距離が閾値以上の場合には、その旨を報知する。例えば、異常信号を発生する。
【０１２７】
これにより、再度、顔を正面に向けさせてステレオカメラ１１にて顔を撮影し直すことができる。この結果、本実施の形態の顔向き検出装置１０を用いて顔の向きを高速に精度よく判別するに際して、鼻領域ＡＮの検出精度が低下する要因を予め排除できるので、より効率的に顔の向きを精度よく判別することができる。
【０１２８】
また、本実施の形態の顔向き検出装置１０では、鼻位置検出部２２ｂ、比較領域設定部２２ｄ及び角度算出部２２ｅのうちの少なくとも一つは、顔領域判別部２２ａにて検出した顔領域ＡＦの大きさに応じて、鼻位置検出部２２ｂ、比較領域設定部２２ｄ又は角度算出部２２ｅで用いるパラメータを変更するようになっている。
【０１２９】
例えば、大人と子供とでは顔領域ＡＦの大きさが全く異なり、同一のパラメータを用いたのでは顔向き判定が正確にできない場合がある。その理由は、顔領域ＡＦが小さい人の場合は、鼻の高さ等のスケールが全体として小さくなるためである。
【０１３０】
そこで、本実施の形態では、鼻位置検出部２２ｂ、比較領域設定部２２ｄ及び角度算出部２２ｅのうちの少なくとも一つは、顔領域ＡＦのスケールの大小に合わせてパラメータを調整する。具体的には、例えば、鼻位置検出部２２ｂが鼻領域ＡＮを判定する場合に、鼻領域ＡＮのパラメータを変更する。詳細には、例えば、顔領域ＡＦが小さい子供の場合は、顔領域ＡＦの中心であって、大人よりも狭い領域を鼻領域ＡＮと判定する。或いは、顔領域ＡＦが小さい子供の場合は、距離情報に基づいて鼻の頂上つまり最近接距離の位置からの周辺への距離が大人よりも近い領域を鼻領域ＡＮと判定する。
【０１３１】
また、角度算出部２２ｅにおいては、鼻の位置と比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲとに対する距離の差分値の比較から傾き角度を算出するときのパラメータを変えることも可能である。例えば、顔領域ＡＦが小さい子供の場合は、距離の差分値を比較したときの差が大人と同一であっても傾き角度が大きい。したがって、顔領域ＡＦが小さい場合は、差分値の差が小さい場合であっても傾き角度を大きく算出する。
【０１３２】
これにより、大人から子供まで、計測対象となる顔領域の大きさの変動範囲が大きい場合でも、それぞれの顔領域ＡＦの大きさに合わせて適切に顔の向きを検出することができる。
【０１３３】
また、本実施の形態の３次元計測装置１Ａは、本実施の形態の顔向き検出装置１０と、上記顔向き検出装置１０の角度算出部２２ｅにて求めた前記顔向きの角度に基づいて、顔の向きを補正した３次元計測データを生成する３次元データ処理装置３０とを備えている。
【０１３４】
すなわち、一般的な技術として、３次元画像から一定の角度回転させた回転後の画像データを生成する技術が知られている。本実施の形態でも３次元データ処理装置３０がこの処理を行う。
【０１３５】
この結果、本実施の形態では、顔向きの角度を判定した後に、顔の向きを所望の向きに正確に補正した３次元計測データを生成することができる。
【０１３６】
例えば、算出された角度分だけ３次元画像を回転させた画像データを生成する処理を行うことができる。これにより、斜め方向から顔を撮像した３次元画像データであっても、正面から撮像したと同等の画像データを生成することができる。
【０１３７】
したがって、顔の向きを判別するに際して、特徴量抽出等の煩雑な手法を用いずに顔の向きを高速に精度よく判別し得る顔向き検出装置１０を用いて顔の３次元データを効率よく生成し、活用することができる３次元計測装置１Ａを提供することができる。
【０１３８】
また、本実施の形態の顔向き検出装置１０では、鼻位置検出部２２ｂは、距離情報を用いて顔領域ＡＦに存在する鼻候補領域としての鼻領域ＡＮを判定した後、鼻領域ＡＮの所定位置を鼻の中心位置として検出する。
【０１３９】
すなわち、本実施の形態では、鼻の中心位置を検出する場合に、距離情報を含む距離画像ＰＬを用いて顔領域ＡＦに存在する鼻領域ＡＮを判定する。これにより、鼻領域ＡＮをある程度絞り込む。そして、鼻領域ＡＮが求まると、鼻領域ＡＮの所定位置である例えば中心位置を鼻の中心位置として検出する。すなわち、鼻位置は顔領域ＡＦにおいて高さが高い位置に存在するので、距離情報を含む距離画像ＰＬを用いて顔領域ＡＦに存在する鼻領域ＡＮを判定することができる。そして、鼻領域ＡＮが求まると、鼻領域ＡＮの例えば中心位置を自動的に鼻の中心位置として見做す。これにより、鼻の中心位置を求めるために、顔領域ＡＦ全体で鼻の中心位置を検出するよりも判定処理の負荷が小さく、かつ顔領域ＡＦの鼻以外の突起部等を鼻として誤判定することも少なくなる。したがって、鼻の中心位置の検出精度が向上する。
【０１４０】
また、本実施の形態の顔向き検出装置１０では、画素値情報は、色情報であるとすることができる。
【０１４１】
すなわち、顔向き検出装置１０が、モノクロではなく、赤（Ｒ）・緑（Ｇ）・青（Ｂ）からなるカラー情報を用いる場合には、画素値情報として色情報を用いることにより、顔領域ＡＦの判定を正確に行うことができる。例えば、モノクロの輝度値では、顔領域ＡＦと背景領域との間で輝度の階調差があまりとれず、精度が確保できない場合がある。これに対して、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の輝度値情報を算出して、肌色領域を顔領域ＡＦと判定することにより、顔領域ＡＦと背景領域の区分を正確に行うことができる。すなわち、肌の色を手がかりに顔領域ＡＦの検出を行うことによって、周囲の明るさ等の撮影条件によらず、対象となる顔領域ＡＦを正確に抽出することができる。
【０１４２】
〔実施の形態２〕
本発明の他の実施の形態について図８に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、上記実施の形態１と同じである。また、説明の便宜上、上記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０１４３】
前記実施の形態１の３次元計測装置１Ａでは、顔向き検出装置１０及び３次元データ処理装置３０が別体に設けられていた。しかし、本実施の形態の３次元計測装置１Ｂでは、顔向き検出装置１０と３次元データ処理装置３０とが一体に設けられている点が異なっている。
【０１４４】
本実施の形態の３次元計測装置１Ｂの構成について、図８に基づいて説明する。図８は、本実施の形態の３次元計測装置１Ｂの構成を示す斜視図である。
【０１４５】
本実施の形態の３次元計測装置１Ｂは、図８に示すように、ステレオカメラ１１、プロジェクタ１２、カメラ制御基板１３、顔向き検出用端末２０、３次元データ処理用端末３１、及び記憶装置３２が一体となった統合端末４０によって構成されている。
【０１４６】
上記統合端末４０には、顔向き検出プログラム２１及び３次元データ処理プログラム３３がインストールされている。統合端末４０には、ステレオカメラ１１の下部にディスプレイ４１が配置されている。このため、被撮影者Ｍが自らの顔をステレオカメラ１１で撮影しながら、その撮影結果及び処理結果をディスプレイ４１にて視認することができるようになっている。
【０１４７】
本実施の形態の３次元計測装置１Ｂでは、実施の形態１の３次元計測装置１Ａとは異なり、「被撮影者Ｍ」が自ら統合端末４０上のプログラムを操作して３次元計測データを生成・管理する。このため、実施の形態１の３次元計測装置１Ａよりもプログラムは直感的に分かりやすい画面構成を有している。また、顔の向きを画面で確認しながら操作を行う場合に、操作を行うために手を動かすことによって顔の向きが変化してしまうことを防止するため、顔の向きを変えずに手元で操作できるようなインターフェースを設けている。
【０１４８】
以上のように、本実施の形態の３次元計測装置１Ｂでは、「被撮影者Ｍ」が自ら自分の顔を撮影し、その向きを正面向きに補正した上で３次元形状データを容易に保存し、様々な用途に活用することができる。
【０１４９】
〔実施の形態３〕
本発明の他の実施の形態について図９に基づいて説明すれば、以下のとおりである。尚、本実施の形態において説明すること以外の構成は、上記実施の形態１と同じである。また、説明の便宜上、上記の実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
【０１５０】
前記実施の形態１の３次元計測装置１Ａでは、顔向き検出装置１０と３次元データ処理装置３０とはデータ通信用ケーブル２にて接続されていた。しかし、本実施の形態の３次元計測装置１Ｃでは、顔向き検出装置１０と３次元データ処理装置３０とがネットワークにて接続されており、３次元データ処理装置３０がネットワークで接続された遠隔地に配置されている点が異なっている。
【０１５１】
本実施の形態の３次元計測装置１Ｃの構成について、図９に基づいて説明する。図９は、本実施の形態の３次元計測装置１Ｃの構成を示す斜視図である。
【０１５２】
本実施の形態の３次元計測装置１Ｃは、図９に示すように、顔向き検出装置１０と３次元データ処理装置３０とは物理的に離れた場所に設置されており、両者はネットワーク３により接続されている。ネットワーク３は、遠隔地にある端末同士を接続するのに適したネットワークであり、インターネット、無線ＬＡＮ又は専用線（ＶＰＮ）その他任意の方式を用いることができる。
【０１５３】
上記構成の３次元計測装置１Ｃでは、顔向き検出装置１０にて出力された顔の３次元データは、ネットワーク３を経由して３次元データ処理装置３０に送信される。送信される時点で、セキュリティ及びプライバシーを配慮し、３次元データの一部又は全部に暗号化処理を施すことができる。
【０１５４】
３次元データ処理装置３０は、実施の形態１と同様に、３次元データを保存し、操作者Ｏ２によってデータの処理を行う。
【０１５５】
本実施の形態では、顔向き検出装置１０と３次元データ処理装置３０とは物理的に離れた場所に存在するので、撮影が終了して３次元データを送信した後に不具合が判明しても、その場で顔データを再度撮影する等の対応が困難である。特に、操作者Ｏ２側で顔の微妙な向きが問題になるような精密な処理を行う場合、操作者Ｏ１側の目視では数ｄｅｇレベルの向きの違いが判別できないため、データ送信後に操作者Ｏ２の側で顔の向きが不適切であることが判明することがある。このような場合、撮影終了した被撮影者Ｍを再度呼び出して撮影を依頼する等、極めて効率の悪い対応が必要になる。
【０１５６】
これに対して、本実施の形態における３次元データ処理装置３０では、実施の形態１において説明したように、顔向き検出装置１０にて予め顔の向きを正確に補正してから送信するので、受信後に不具合が発覚する可能性を低減させることができる。これにより、ネットワーク３を介して遠隔地で３次元データを活用する場合でも、信頼性の高いシステムとすることができる。
【０１５７】
以上のように、本実施の形態では、顔向き検出装置１０により２次元及び３次元の画像データから顔の向きを検出し、所望の向きに補正することができる。また、顔の向きを正確に補正した３次元計測データを生成し、活用することができる。
【０１５８】
そして、本実施の形態の３次元計測装置１Ｃで得た顔の３次元データは、セキュリティ、医療、介護、スポーツ、アート、服飾、ゲーム、アミューズメント、広告、その他これらに限定されない様々な用途に利用することができる。
【０１５９】
尚、以上で説明した実施の形態では人の顔を計測対象としていたが、人以外に、例えば動物の顔や、マネキンや人形、ロボット等人に類するものの顔についても、本発明を適用することが可能である。
【０１６０】
〔まとめ〕
本発明の態様１における顔向き検出装置１０は、顔を撮影して、画素毎に画素値情報と距離情報とを含む画像データを取得する画像データ取得手段（ステレオカメラ１１）と、上記画素値情報を用いて顔領域ＡＦを判別する顔領域判別手段（顔領域判別部２２ａ）と、上記距離情報（距離画像ＰＬ）を用いて上記顔領域ＡＦに存在する鼻位置（鼻領域ＡＮ）を検出する鼻位置検出手段（鼻位置検出部２２ｂ）と、上記顔領域ＡＦ内に上記鼻位置（鼻領域ＡＮ）に対する複数の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲを設定する比較領域設定手段（比較領域設定部２２ｄ）と、上記鼻位置（鼻領域ＡＮ）の距離情報に対する上記複数の各比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲの距離情報の差分である各差分情報に基づいて撮像方向に対する顔向きの角度を算出する角度算出手段（角度算出部２２ｅ）とを備えていることを特徴としている。
【０１６１】
上記発明によれば、撮像方向に対する顔向きの角度を算出するために、まず、ステレオカメラ等の画像データ取得手段にて、顔を撮影して、画素毎に画素値情報と距離情報とを含む画像データを取得する。ここで、画素値情報とは、例えば輝度値又は色情報を想定している。尚色情報とは、換言すると、色の三原色である赤（Ｒ）・緑（Ｇ）・青（Ｂ）毎の輝度値情報と同義であり、モノクロの輝度値とは異なる概念である。
【０１６２】
次いで、顔領域判別手段は、画素値情報を用いて顔領域を判別する。具体的には、画素値情報として例えば色情報を用いる場合には、顔領域は肌色であり、それ以外は黒色の背景領域として示される。したがって、肌色領域が顔領域であるとして容易に区別可能であり、顔領域を容易に特定することができる。
【０１６３】
次いで、鼻位置検出手段は、画像データの距離情報を用いて上記顔領域に存在する鼻位置を検出する。具体的には、鼻は基本的には顔領域の中で最も高い。したがって、ステレオカメラ等の画像データ取得手段との距離値が最も小さくなるため、顔領域の内で距離情報が最も画像データ取得手段に近い部位を鼻位置と判定することができる。
【０１６４】
次いで、比較領域設定手段は、上記顔領域内に鼻位置に対する複数の比較領域を設定する。また、角度算出手段は、上記鼻位置の距離情報に対する上記複数の各比較領域の距離情報の差分である各差分情報に基づいて撮像方向に対する顔向きの角度を算出する。
【０１６５】
具体的には、比較領域設定手段にて、顔領域に、上下左右等少なくとも２か所の比較領域を設定した後、角度算出手段にて、鼻位置の距離情報と複数の各比較領域の距離情報との比較を行い、差分である各差分情報を求め、各差分情報同士の比較を行う。例えば、右の頬がステレオカメラ等の画像データ取得手段の近くに存在する場合、左右の差分情報を比較すると違いが生じる。このため、左右の差分情報を互いに比較することにより顔の傾きを検出することができる。この結果、角度算出手段は、撮像方向に対する顔向きの角度を算出することができる。
【０１６６】
ここで、上述した撮像方向に対する顔向きの角度の算出方法では、例えば鼻の特徴量を抽出する方法は用いていない。しかし、撮像方向に対する顔向きの角度を容易に算出することができるので、手間がかからず、高速にしかも精度よく検出することができる。
【０１６７】
したがって、顔の向きを判別するに際して、特徴量抽出等の煩雑な手法を用いずに顔の向きを高速に精度よく判別し得る顔向き検出装置を提供することができる。
【０１６８】
本発明の態様２における顔向き検出装置１０は、態様１の顔向き検出装置において、前記鼻位置検出手段（鼻位置検出部２２ｂ）は、前記顔領域ＡＦ内において、画像データ取得手段（ステレオカメラ１１）との距離値が最も小さい位置を含む領域を鼻位置（鼻領域ＡＮ）として検出することが好ましい。
【０１６９】
すなわち、鼻は基本的には顔領域の中で最も高い。したがって、ステレオカメラ等の画像データ取得手段との距離値が最も小さくなるため、顔領域の内で距離情報が最も画像データ取得手段に近い部位が鼻位置であると容易かつ簡易に判定することができる。
【０１７０】
本発明の態様３における顔向き検出装置１０は、態様１又は２の顔向き検出装置において、前記比較領域設定手段（比較領域設定部２２ｄ）は、前記鼻位置（鼻領域ＡＮ）を基準とした前記複数の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲのそれぞれの位置を算出して該鼻位置から離れた位置に該複数の比較領域ＡＵ・ＡＤ・ＡＬ・ＡＲを設定することが好ましい。
【０１７１】
本発明の態様４における顔向き検出装置１０は、態様１，２，又は３の顔向き検出装置において、前記比較領域設定手段（比較領域設定部２２ｄ）は、前記鼻位置（鼻領域ＡＮ）を通りかつ前記顔領域ＡＦを左右に分割する中央線ＣＦを中心として各比較領域ＡＬ・ＡＲの位置関係が左右対称となる位置に前記複数の比較領域ＡＬ・ＡＲを設定することが好ましい。
【０１７２】
すなわち、画像データ取得手段と鼻位置との距離値は、距離情報から既知であり、顔が正面を向いていれば、左右の頬は鼻位置を中心として左右の対称位置に存在し、かつ左右の頬と画像データ取得手段との距離値は等しい。この結果、鼻位置における例えば左右の一定距離の位置に比較領域を設定すれば、その左右の比較領域と画像データ取得手段との距離値は顔が正面を向いていれば互いに等しくなり差分は０となる。これに対して、顔が正面向きに対して傾いていれば差分は０よりも大きい値となる。したがって、撮像方向に対する顔向きの角度を容易に算出することが可能となる。
【０１７３】
また、顔の傾きとは、一般的に顔の左右の傾きを示すので、鼻位置を通りかつ前記顔領域を左右に分割する中央線を中心として各比較領域の位置関係が左右対称となる位置に前記複数の比較領域を設定することが好ましい。
【０１７４】
本発明の態様５における顔向き検出装置１０は、態様１〜４のいずれか１に記載の顔向き検出装置において、前記顔領域ＡＦを左右に分割する中央線ＣＦと前記鼻位置（鼻領域ＡＮ）の中心位置との距離が閾値以上か否かを判定する鼻位置ずれ量判定手段（鼻位置ずれ量判定部２２ｃ）がさらに設けられていることが好ましい。
【０１７５】
本発明の態様６における顔向き検出装置１０は、態様５の顔向き検出装置において、前記鼻位置ずれ量判定手段（鼻位置ずれ量判定部２２ｃ）は、前記顔領域ＡＦの中央線ＣＦと前記鼻位置（鼻領域ＡＮ）の中心位置との距離が閾値以上か否かの判定を、前記角度算出手段（角度算出部２２ｅ）による顔向きの角度の算出前に行うことが好ましい。
【０１７６】
すなわち、顔が正面を向いている場合には、顔領域の中央線と鼻位置の中心位置とは略一致する。これに対して、顔領域の中央線と鼻位置の中心位置との距離が閾値以上つまり一定距離以上離れているということは顔が正面向きに対して傾き過ぎていることを示す。このような場合には、例えば、鼻位置の中心位置を鼻の中心位置と見做すことが好ましくない。
【０１７７】
そこで、鼻位置ずれ量判定手段は、顔領域の中央線と鼻位置の中心位置との距離が閾値以上か否かの判定を判定する。そして、この判定は、角度算出手段による顔向きの角度の算出前に行われる。
【０１７８】
これにより、顔向きの角度を算出する前段階で、鼻位置の検出精度が低下する要因を予め排除できる。この結果、角度算出手段にて算出した顔向きの角度が有効範囲内の値ではないとする判定が最終段階で得られたことによって、再度、顔の向きを変えて撮影する場合に比べて、無駄を省くことができる。したがって、より効率的に顔の向きを精度よく判別することができる。
【０１７９】
本発明の態様７における顔向き検出装置１０は、態様１〜６のいずれか１の顔向き検出装置において、前記鼻位置検出手段（鼻位置検出部２２ｂ）、比較領域設定手段（比較領域設定部２２ｄ）及び角度算出手段（角度算出部２２ｅ）のうちの少なくとも一つは、前記顔領域判別手段（顔領域判別部２２ａ）にて検出した顔領域ＡＦの大きさに応じて、鼻位置検出手段（鼻位置検出部２２ｂ）、比較領域設定手段（比較領域設定部２２ｄ）又は角度算出手段（角度算出部２２ｅ）で用いるパラメータを変更するようになっていることが好ましい。
【０１８０】
例えば、大人と子供とでは顔領域の大きさが全く異なり、同一のパラメータを用いたのでは顔向き判定が正確にできない場合がある。その理由は、顔領域が小さい人の場合は、鼻の高さ等のスケールが全体として小さくなるためである。
【０１８１】
そこで、本発明では、鼻位置検出手段、比較領域設定手段及び角度算出手段のうちの少なくとも一つは、顔領域のスケールの大小に合わせてパラメータを調整する。具体的には、例えば、鼻位置検出手段が鼻候補領域を判定する場合に、鼻候補領域のパラメータを変更する。詳細には、例えば、顔領域が小さい子供の場合は、顔領域の中心であって、大人よりも狭い領域を鼻候補領域と判定する。或いは、顔領域が小さい子供の場合は、距離情報に基づいて鼻の頂上つまり最近接距離の位置からの周辺への距離が大人よりも近い領域を鼻候補領域と判定する。
【０１８２】
また、角度算出手段においては、鼻の位置と比較領域とに対する距離の差分値の比較から傾き角度を算出するときのパラメータを変えることも可能である。例えば、顔領域が小さい子供の場合は、距離の差分値を比較したときの差が大人と同一であっても傾き角度が大きい。したがって、顔領域が小さい場合は、差分値の差が小さい場合であっても傾き角度を大きく算出する。
【０１８３】
これにより、大人から子供まで、計測対象となる顔領域の大きさの変動範囲が大きい場合でも、それぞれの顔領域の大きさに合わせて適切に顔の向きを検出することができる。
【０１８４】
本発明の態様８における３次元計測装置１Ａ〜１Ｃは、態様１〜７のいずれか１の顔向き検出装置１０と、上記顔向き検出装置１０の角度算出手段（角度算出部２２ｅ）にて求めた前記顔向きの角度に基づいて、顔の向きを補正した３次元計測データを生成する３次元データ処理装置３０とを備えていることを特徴としている。
【０１８５】
一般的な技術として、３次元画像から一定の角度回転させた回転後の画像データを生成する技術が知られている。本発明でも３次元データ処理装置がこの処理を行う。
【０１８６】
この結果、本発明では、顔向きの角度を判定した後に、顔の向きを所望の向きに正確に補正した３次元計測データを生成することができる。
【０１８７】
例えば、算出された角度分だけ３次元画像を回転させた画像データを生成する処理を行うことができる。これにより、斜め方向から顔を撮像した３次元画像データであっても、正面から撮像したと同等の画像データを生成することができる。
【０１８８】
したがって、顔の向きを判別するに際して、特徴量抽出等の煩雑な手法を用いずに顔の向きを高速に精度よく判別し得る顔向き検出装置を用いて顔の３次元データを効率よく生成し、活用することができる３次元計測装置を提供することができる。
【０１８９】
尚、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１９０】
本発明は、顔向き検出装置により２次元の画像データ及び３次元の画像データから顔の向きを検出し、所望の向きに補正することができる顔向き検出装置に適用することができる。また、顔の向きを正確に補正した３次元計測データを生成し、活用することができる３次元計測装置に適用することができる。
【０１９１】
さらに、本発明の３次元計測装置で得た顔の３次元データは、セキュリティ、医療、介護、スポーツ、アート、服飾、ゲーム、アミューズメント、広告、その他これらに限定されない様々な用途に利用することができる。また、本発明では、人の顔に限らず、例えば動物の顔や、マネキンや人形、ロボット等人に類するものの顔についても適用することが可能である。
【符号の説明】
【０１９２】
１Ａ      ３次元計測装置
１Ｂ      ３次元計測装置
１Ｃ      ３次元計測装置
２        データ通信用ケーブル
３        ネットワーク
１０        顔向き検出装置
１１        ステレオカメラ（画像データ取得手段）
１１Ｌ      左カメラ
１１Ｒ      右カメラ
１２        プロジェクタ
１３        カメラ制御基板
２０        顔向き検出用端末
２１        顔向き検出プログラム
２２        ＣＰＵ
２２ａ      顔領域判別部（顔領域判別手段）
２２ｂ      鼻位置検出部（鼻位置検出手段）
２２ｃ      鼻位置ずれ量判定部（鼻位置ずれ量判定手段）
２２ｄ      比較領域設定部（比較領域設定手段）
２２ｅ      角度算出部（角度算出手段）
３０        ３次元データ処理装置
３１        ３次元データ処理用端末
３２        記憶装置
３３        ３次元データ処理プログラム
４０        統合端末
４１        ディスプレイ
ＡＦ        顔領域
ＡＮ        鼻領域（鼻位置）
ＡＵ        比較領域
ＡＤ        比較領域
ＡＬ        比較領域
ＡＲ        比較領域
ＣＦ        中央線
Ｄ          鼻比較領域間距離
ＤＡ        標準鼻比較領域間距離
ＬＡＬ      画素距離平均値
ＬＡＲ      画素距離平均値
Ｍ          被撮影者
Ｏ１        操作者
Ｏ２        操作者
ＰＬ        距離画像（距離情報）
【図１】
2015106252.tif 000003
【図２】
2015106252.tif 000004
【図４】
2015106252.tif 000005
【図５】
2015106252.tif 000006
【図６】
2015106252.tif 000007
【図７】
2015106252.tif 000008
【図８】
2015106252.tif 000009
【図９】
2015106252.tif 000010
【図３】
2015106252.tif 000011