(57)【要約】【課題】顔方位の判定にあたり制約を少なくすることを課題とする。【解決手段】顔を撮像した顔画像から、顔画像の中に存在する一つの顔の鼻腔を検出し、検出される鼻腔を基点として顔画像を左方向および／または右方向に探索すると交わることになる顔の輪郭との交点を、顔画像から顔の端点として検出し、検出された鼻腔と検出された端点とから求められる顔画像内の距離に関する情報に基づいて、顔画像に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定する。また、顔方位判定装置は、検出された二つの鼻腔から、二つの鼻腔の中心を示す鼻腔中心を検出し、検出された二つの端点から、二つの端点の中心を示す端点中心を検出し、いずれか一方の端点と端点中心との距離および端点中心と鼻腔中心との距離に基づいて、顔方位を判定する。【選択図】        図１
2008217614.tif 000002
【特許請求の範囲】
【請求項１】
顔を撮像した顔画像から、当該顔画像の中に存在する一つの顔の鼻腔を検出する鼻腔検出手段と、
前記鼻腔検出手段によって検出される前記鼻腔を基点として前記顔画像を左方向および／または右方向に探索すると交わることになる前記顔の輪郭との交点を、当該顔画像から当該顔の端点として検出する顔端点検出手段と、
前記鼻腔検出手段によって検出された前記鼻腔と前記顔端点検出手段によって検出された前記端点とから求められる前記顔画像内の距離に関する情報に基づいて、当該顔画像に撮像された顔が、当該撮像の時にいずれの方向を向いていたかを示す顔方位を判定する顔方位判定手段と、
を備えたことを特徴とする顔方位判定装置。
【請求項２】
前記顔方位判定手段は、前記鼻腔検出手段によって検出された二つの前記鼻腔から、当該二つの鼻腔の中心を示す鼻腔中心を鼻腔と鼻腔とを結ぶ線上に検出し、前記顔端点検出手段によって検出された二つの前記端点から、当該二つの端点の中心を示す端点中心を端点と端点とを結ぶ線上に検出し、いずれか一方の前記端点と前記端点中心との距離および前記端点中心と前記鼻腔中心との距離に基づいて、前記顔方位を判定することを特徴とする請求項１に記載の顔方位判定装置。
【請求項３】
前記鼻腔検出手段は、前記鼻腔を含む鼻腔領域画像を取得し、当該鼻腔領域画像について、当該鼻腔領域画像を構成する画素が所定の階調よりも高い値であるか低い値であるかの二値に分類する二値化を行い、当該二値化の結果の平均値が予め保持する所定の閾値よりも低い値を示す場合には、前記階調から値を下げた次の階調よりも当該画素が高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が前記所定の閾値よりも高い値を示すまで当該二値化を繰り返し行うことで二値化が完了した二値化後鼻腔領域画像を取得し、当該二値化後鼻腔領域画像について、円形らしさを示す値を算出することで、前記鼻腔を検出することを特徴とする請求項１または２に記載の顔方位判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、顔方位判定装置に関する。
【背景技術】
【０００２】
従来より、車内におけるドライバの正確な注視点を検出することを目的として（ひいては、ドライバのわき見等を検出することを目的として）、ドライバの顔がいずれの方向を向いていたかを示す顔方位を判定する顔方位判定技術が必要とされている。具体的には、車内のインパネ（Instrumental  Panel）部やステアリング部など、ドライバの顔を撮像できる位置にカメラを設置し、ドライバの顔を撮像すると、例えば、図１５に示すような顔画像が撮像されることから、このような顔画像から顔方位を判定する技術が必要とされている。なお、図１５の（Ａ）は、ドライバから見て右方向を確認しているドライバの顔画像の例であり、（Ｂ）は、右サイドミラーを確認しているドライバの顔画像の例であり、（Ｃ）は、左方向を確認しているドライバの顔画像の例である。
【０００３】
例えば、非特許文献１では、顔方位判定装置が、顔画像から眼領域を検出し、検出した眼領域から両眼の重心点を検出し、両眼の重心点から求められる顔画像内の距離に関する情報に基づいて、顔方位を判定する技術が開示されている。
【０００４】
【非特許文献１】沓名  守通，井東  道昌，山本  修身，中野  倫明，山本  新：“インパネ位置撮像システムによる顔向き検出と運転支援システムへの応用の試み”，社団法人  電子情報通信学会，信学技報，パターン認識・メディア理解研究会(PRMU)，pp.59-63,2006.5
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記した従来の技術では、以下に説明するように、顔方位の判定にあたり制約が多くなるという課題があった。具体的に説明すると、従来の技術は、両眼の重心点を検出する手法であるので、正面から撮像された顔画像には適しているが、例えば、ステアリング部に設置したカメラによって撮像された顔画像等、下方向から撮像された顔画像には適さず、顔方位判定の精度が低下することから、撮像装置の設置位置に関する制約が多くなる。また、従来の技術は、両眼の重心点を検出する手法であるので、撮像装置について解像度や色数の面で高い性能が要求されることから、撮像装置の性能に関する制約が多くなる。なお、上記した課題は、車内におけるドライバの顔方位判定に限らず、顔方位判定が必要な環境であれば、同様に課題となる。
【０００６】
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、顔方位の判定にあたり制約を少なくすることが可能な顔方位判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、顔を撮像した顔画像から、当該顔画像の中に存在する一つの顔の鼻腔を検出する鼻腔検出手段と、前記鼻腔検出手段によって検出される前記鼻腔を基点として前記顔画像を左方向および／または右方向に探索すると交わることになる前記顔の輪郭との交点を、当該顔画像から当該顔の端点として検出する顔端点検出手段と、前記鼻腔検出手段によって検出された前記鼻腔と前記顔端点検出手段によって検出された前記端点とから求められる前記顔画像内の距離に関する情報に基づいて、当該顔画像に撮像された顔が、当該撮像の時にいずれの方向を向いていたかを示す顔方位を判定する顔方位判定手段と、を備えたことを特徴とする。
【０００８】
また、請求項２に係る発明は、上記の発明において、前記顔方位判定手段は、前記鼻腔検出手段によって検出された二つの前記鼻腔から、当該二つの鼻腔の中心を示す鼻腔中心を鼻腔と鼻腔とを結ぶ線上に検出し、前記顔端点検出手段によって検出された二つの前記端点から、当該二つの端点の中心を示す端点中心を端点と端点とを結ぶ線上に検出し、いずれか一方の前記端点と前記端点中心との距離および前記端点中心と前記鼻腔中心との距離に基づいて、前記顔方位を判定することを特徴とする。
【０００９】
また、請求項３に係る発明は、上記の発明において、前記鼻腔検出手段は、前記鼻腔を含む鼻腔領域画像を取得し、当該鼻腔領域画像について、当該鼻腔領域画像を構成する画素が所定の階調よりも高い値であるか低い値であるかの二値に分類する二値化を行い、当該二値化の結果の平均値が予め保持する所定の閾値よりも低い値を示す場合には、前記階調から値を下げた次の階調よりも当該画素が高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が前記所定の閾値よりも高い値を示すまで当該二値化を繰り返し行うことで二値化が完了した二値化後鼻腔領域画像を取得し、当該二値化後鼻腔領域画像について、円形らしさを示す値を算出することで、前記鼻腔を検出することを特徴とする。
【発明の効果】
【００１０】
請求項１の発明によれば、顔を撮像した顔画像から、顔画像の中に存在する一つの顔の鼻腔を検出し、検出される鼻腔を基点として顔画像を左方向および／または右方向に探索すると交わることになる顔の輪郭との交点を、顔画像から顔の端点として検出し、検出された鼻腔と検出された端点とから求められる顔画像内の距離に関する情報に基づいて、顔画像に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定するので、両眼の重心点を検出する従来の手法に比較して、鼻腔や顔の端点を検出する手法であることから、顔方位の判定にあたり制約を少なくすることが可能になる。
【００１１】
また、請求項２の発明によれば、顔方位判定装置は、検出された二つの鼻腔から、二つの鼻腔の中心を示す鼻腔中心を鼻腔と鼻腔とを結ぶ線上に検出し、検出された二つの端点から、二つの端点の中心を示す端点中心を端点と端点とを結ぶ線上に検出し、いずれか一方の端点と端点中心との距離および端点中心と鼻腔中心との距離に基づいて、顔方位を判定するので、顔方位の判定にあたり制約を少なくするのみならず、より精度良く顔方位を判定することが可能になる。
【００１２】
また、請求項３の発明によれば、顔方位判定装置は、鼻腔を含む鼻腔領域画像を取得し、鼻腔領域画像について、鼻腔領域画像を構成する画素が所定の階調よりも高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が予め保持する所定の閾値よりも低い値を示す場合には、階調から値を下げた次の階調よりも画素が高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が所定の閾値よりも高い値を示すまで二値化を繰り返し行うことで二値化が完了した二値化後鼻腔領域画像を取得し、二値化後鼻腔領域画像について、円形らしさを示す値を算出することで、鼻腔を検出するので、顔方位の判定にあたり制約を少なくするのみならず、二つの鼻腔をより精度良く検出することが可能になる。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、この発明に係る顔方位判定装置の実施例を詳細に説明する。なお、以下では、実施例で用いる主要な用語、実施例１に係る顔方位判定装置の概要および特徴、実施例１に係る顔方位判定装置の構成、実施例１に係る顔方位判定装置による処理の手順、実施例１の効果を順に説明し、続いて、他の実施例について説明する。
【実施例１】
【００１４】
［用語の説明］
まず最初に、以下の実施例で用いる主要な用語を説明する。「顔画像」とは、カメラ等の撮像装置によって撮像された顔の画像データのことである。「顔画像」としては、運転免許証等に用いられる画像データや、スナップ写真としての画像データ等もあるが、本発明に係る顔方位装置が想定する「顔画像」は、主に、被写体として『人』を想定しており、『人』が、撮像されていることとは無関係の動作をしている時に（つまり、『人』が、撮像されることを意識してポーズをとっている時などではなく）、ランダムに、あるいは周期的に、もしくは継続的に撮像された画像（静止画像、動画像）である。したがって、本発明に係る顔方位装置が想定する「顔画像」には、『人』の顔が正面を向いている画像が撮像されているとは必ずしも限らず、『人』の顔が横を向いていたり、上を向いている画像等が撮像されていることになる。
【００１５】
具体的に例を挙げて説明すると、例えば、車内におけるドライバの顔を想定してみると、ドライバは、常に正面を向いて運転しているものではなく、左方向の確認、左サイドミラーの確認、右方向の確認等、様々な方向を向いて運転しているものである。そればかりか、ドライバは、運転とは無関係に、助手席や後部座席の人と話をする時や、カーオーディオを操作する時等にも、様々な方向を向いて運転しているものである。本発明に係る顔方位判定装置は、「顔画像」として、例えば、上記したようなドライバの顔が、ランダムに、あるいは周期的に、もしくは継続的に撮像された「顔画像」を想定し、「顔画像」に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定しようとするものである。
【００１６】
［実施例１に係る顔方位判定装置の概要および特徴］
続いて、図１を用いて、実施例１に係る顔方位判定装置の概要および特徴を説明する。図１は、実施例１に係る顔方位判定装置の概要および特徴を説明するための図である。なお、以下の実施例１では、顔方位判定装置が、車内のステアリング部に設置されたカメラ等の撮像装置で撮像されたドライバの「顔画像」から、顔方位を判定する事例について説明するが、本発明はこれに限られるものではない。例えば、車内の他の場所に設置されたカメラ等の撮像装置で撮像されたドライバの「顔画像」や、車以外その他の装置を操作する人の「顔画像」等、「顔画像」に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位の判定が必要な事例であれば、本発明を同様に適用することができる。
【００１７】
実施例１に係る顔方位判定装置は、上記したように、顔を撮像した顔画像から、顔画像に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定することを概要とし、顔方位の判定にあたり制約を少なくすることを特徴とする。
【００１８】
この主たる特徴について簡単に説明すると、実施例１に係る顔方位判定装置は、図１に示すように、まず、顔を撮像した顔画像から、顔画像の中に存在する一つの鼻の鼻腔を検出する（図１の（１）を参照）。
【００１９】
より具体的には、実施例１に係る顔方位判定装置は、鼻腔を含む鼻腔領域画像を取得し、鼻腔領域画像について、鼻腔領域画像を構成する画素が所定の階調よりも高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が予め保持する所定の閾値よりも低い値を示す場合には、階調から値を下げた次の階調よりも画素が高い値であるか低い値であるかの二値に分類する二値化を行う。また、顔方位判定装置は、二値化の結果の平均値が所定の閾値よりも高い値を示すまで二値化を繰り返し行うことで、二値化が完了した二値化後鼻腔領域画像を取得し、二値化後鼻腔領域画像について、円形らしさを示す値を算出することで、二つの鼻腔を検出している。
【００２０】
次に、顔方位判定装置は、顔画像から、鼻腔を基点として顔画像を左方向や右方向に探索すると交わることになる輪郭との交点を、顔の端点として検出する（図１の（２）を参照）。
【００２１】
そして、顔方位判定装置は、検出された鼻腔と検出された端点とから求められる顔画像内の距離に関する情報に基づいて、顔画像に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定する（図１の（３）を参照）。
【００２２】
より具体的には、実施例１に係る顔方位判定装置は、検出された二つの鼻腔から、二つの鼻腔の中心を示す鼻腔中心を、鼻腔と鼻腔とを結ぶ線上に検出し、また、検出された二つの端点から、二つの端点の中心を示す端点中心を、端点と端点とを結ぶ線上に検出し、いずれか一方の端点と端点中心との距離（図１の「ｆ」）および端点中心と鼻腔中心との距離（図１の「ｎ」）に基づいて（図１の（３）の式を参照）、顔方位を判定している。
【００２３】
このようにして、実施例１に係る顔方位判定装置は、両眼の重心点を検出する従来の手法に比較して、鼻腔や顔の端点を検出する手法であることから、顔方位の判定にあたり制約を少なくすることが可能になる。
【００２４】
具体的に説明すると、両眼の重心点を検出する従来の手法では、例えば、ステアリング部に設置したカメラによって撮像された顔画像等、下方向から撮像された顔画像には適さず、顔方位判定の精度が低下することから、撮像装置の設置位置に関する制約が多くなるが、本発明に係る顔方位判定装置によれば、下方向から撮像された顔画像にも適しており、顔方位判定の精度が低下するおそれもないことから、撮像装置の設置位置に関する制約を少なくすることが可能になる。また、両眼の重心点を検出する従来の手法では、撮像装置について解像度や色数の面で高い性能が要求されることから、撮像装置の性能に関する制約が多くなるが、本発明に係る顔方位判定装置によれば、例えば、赤外線単眼カメラ等の性能で対応することが可能であり、撮像装置の性能に関する制約を少なくすることが可能になる。
【００２５】
［実施例１に係る顔方位判定装置の構成］
次に、図２〜９を用いて、実施例１に係る顔方位判定装置の構成を説明する。図２は、実施例１に係る顔方位判定装置の構成を説明するための図であり、図３は、取得顔画像保持部を説明するための図であり、図４は、鼻腔テンプレート画像保持部を説明するための図であり、図５は、顔端点テンプレート画像保持部を説明するための図であり、図６は、鼻腔検出部および顔端点検出部を説明するための図であり、図７は、鼻腔検出部における二値化を説明するための図であり、図８は、鼻腔検出部における円形分離度フィルタを説明するための図であり、図９は、顔方位判定部を説明するための図である。
【００２６】
まず、図２を用いて、実施例１に係る顔方位判定装置の構成について説明する。図２に示すように、顔方位判定装置１０は、入力部１１と、出力部１２と、入出力制御Ｉ／Ｆ部１３と、記憶部２０と、制御部３０とから構成される。
【００２７】
入力部１１は、制御部３０による各種処理に用いるデータや、各種処理をするための操作指示などを、カメラ、スキャナ、記憶媒体、キーボード、マウス、または通信などによって入力する。具体的には、入力部１１は、後述する取得顔画像保持部２１によって保持される顔画像を、カメラによって撮像することで入力したり、後述する鼻腔検出部３１や、顔端点検出部３２、あるいは顔方位判定部３３による処理をするための操作指示を、キーボードによって入力するなどする。
【００２８】
出力部１２は、制御部３０による各種処理の結果や、各種処理をするための操作指示などを、ディスプレイ、プリンタ、またはマイクなどに出力する。具体的には、出力部１２は、後述する取得顔画像保持部２１によって保持された顔画像や、後述する鼻腔テンプレート画像保持部２２によって保持された鼻腔テンプレート画像、あるいは、後述する顔端点テンプレート画像保持部２３によって保持された顔端点テンプレート画像を、ディスプレイによって出力したり、後述する判定結果保持部２４によって保持された判定結果を、マイクによって出力するなどする。
【００２９】
入出力制御Ｉ／Ｆ部１３は、入力部１１および出力部１２と、記憶部２０および制御部３０との間におけるデータ転送を制御する。
【００３０】
記憶部２０は、制御部３０による各種処理に用いるデータを記憶し、特に本発明に密接に関連するものとしては、図２に示すように、取得顔画像保持部２１と、鼻腔テンプレート画像保持部２２と、顔端点テンプレート画像保持部２３と、判定結果保持部２４とを備える。
【００３１】
取得顔画像保持部２１は、取得された顔画像を保持する。具体的には、取得顔画像保持部２１は、入力部１１によって入力された顔画像を保持し、保持した顔画像は、後述する鼻腔検出部３１や、後述する顔端点検出部３２、あるいは、後述する顔方位判定部３３による処理に利用されるなどする。
【００３２】
例えば、取得顔画像保持部２１は、図３に示すような顔画像を保持する。図３の例で説明すると、実施例１において、取得顔画像保持部２１は、車内のステアリング部に設置された入力部１１（カメラ）によって撮像された下方向からの顔画像を保持している。また、実施例１においては、入力部１１（カメラ）は周期的に顔画像を撮像することから、取得顔画像保持部２１は、図３の（Ａ）に示すように、ドライバから見て右斜め前方向を向いている顔画像や、図３の（Ｂ）に示すように、正面を向いている顔画像や、図３の（Ｃ）に示すように、右方向（窓の外）を向いている顔画像など、様々な方向を向いている顔画像を、入力部１１（カメラ）によって撮像されたタイミングで保持している。
【００３３】
なお、実施例１においては、取得顔画像保持部２１が、このように、周期的に撮像された顔画像を、入力部１１（カメラ）によって撮像されたタイミングで保持する手法について説明したが、本発明はこれに限られるものではない。例えば、顔方位判定装置１０が、顔方位判定装置１０とは異なる別の撮像装置によって撮像された顔画像を、入力部１１（通信）によって撮像装置によって撮像されたタイミングで通信するなどして保持する手法や、顔方位判定装置１０が、顔方位判定装置１０とは異なる別の撮像装置によって撮像された顔画像を、入力部１１（記憶媒体）によってまとめて保持する手法など、いずれでもよい。また、実施例１においては、取得顔画像保持部２１が、複数の顔画像を保持する手法について説明したが、本発明はこれに限られるものではない。例えば、顔方位判定装置１０が、取得顔画像保持部２１に顔画像が保持されるとすぐに顔方位判定部３３による判定を行い、判定終了後の顔画像を取得顔画像保持部２１から削除する場合には、取得顔画像保持部２１は、常に判定の対象となる１つの顔画像のみを保持する手法など、いずれでもよい。
【００３４】
鼻腔テンプレート画像保持部２２は、鼻腔テンプレート画像を保持する。具体的には、鼻腔テンプレート画像保持部２２は、後述する鼻腔検出部３１によって二つの鼻腔が検出された際に、鼻腔周辺の画像を鼻腔テンプレート画像として取得して保持し、保持した鼻腔テンプレート画像は、後述する顔方位判定部３３による処理（テンプレートマッチング）に利用されるなどする。
【００３５】
例えば、鼻腔テンプレート画像保持部２２は、図４に示すような鼻腔テンプレート画像を保持する。図４は、取得顔画像保持部２１によって取得された顔画像のうち、図３の（Ａ）の顔画像について、鼻腔周辺の画像が鼻腔テンプレート画像として取得されて保持したものを例示するものである。なお、実施例１においては、鼻腔テンプレート画像保持部２２が、鼻腔テンプレート画像として一つの鼻腔テンプレート画像を保持する手法について説明したが、本発明はこれに限られるものではない。例えば、顔方位判定装置１０が、周期的に鼻腔テンプレート画像を保持する場合には、複数の鼻腔テンプレート画像を保持する手法や、周期的に鼻腔テンプレート画像を更新する場合には、一つの鼻腔テンプレート画像を保持する手法など、いずれでもよい。
【００３６】
顔端点テンプレート画像保持部２３は、顔端点テンプレート画像を保持する。具体的には、顔端点テンプレート画像保持部２３は、後述する顔端点検出部３２によって二つの鼻腔が検出された際に、顔端点周辺の画像を顔端点テンプレート画像として取得して保持し、保持した顔端点テンプレート画像は、後述する顔方位判定部３３による処理（テンプレートマッチング）に利用されるなどする。
【００３７】
例えば、顔端点テンプレート画像保持部２３は、図５に示すような顔端点テンプレート画像を保持する。図５は、取得顔画像保持部２１によって取得された顔画像のうち、図３の（Ａ）の顔画像について、顔端点周辺の画像が顔端点テンプレート画像として取得されて保持したものを例示するものである。図５の（Ａ）は、図３の（Ａ）の顔画像について、カメラから見て左側の顔端点周辺の画像を保持したものであり、図５の（Ｂ）は、図３の（Ａ）の顔画像について、右側の顔端点周辺の画像を保持したものである。なお、実施例１においては、顔端点テンプレート画像保持部２３が、顔端点テンプレート画像として一組の顔端点テンプレート画像を保持する手法について説明したが、鼻腔テンプレート画像保持部２２と同様、本発明はこれに限られるものではない。例えば、顔方位判定装置１０が、周期的に顔端点テンプレート画像を保持する場合には、複数の顔端点テンプレート画像を保持する手法や、周期的に顔端点テンプレート画像を更新する場合には、一つの顔端点テンプレート画像を保持する手法など、いずれでもよい。
【００３８】
判定結果保持部２４は、判定結果（顔方位）を保持する。具体的には、判定結果保持部２４は、後述する顔方位判定部３３によって判定された判定結果（顔方位）を保持し、保持した判定結果（顔方位）は、出力部１２のマイクによって出力されるなどする。
【００３９】
制御部３０は、顔方位判定装置１０を制御して各種処理を実行し、特に本発明に密接に関連するものとしては、図２に示すように、鼻腔検出部３１と、顔端点検出部３２と、顔方位判定部３３とを備える。なお、鼻腔検出部３１は、特許請求の範囲に記載の「鼻腔検出手段」に対応し、顔端点検出部３２は、特許請求の範囲に記載の「顔端点検出手段」に対応し、顔方位判定部３３は、特許請求の範囲に記載の「顔方位判定手段」に対応する。
【００４０】
鼻腔検出部３１は、鼻腔を検出する。具体的には、鼻腔検出部３１は、取得顔画像保持部２１によって保持された顔画像から、顔画像の中に存在する一つの鼻の鼻腔を検出する。また、実施例１において、鼻腔検出部３１は、鼻腔を含む鼻腔領域画像を取得し、鼻腔領域画像について、鼻腔領域画像を構成する画素が所定の階調よりも高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が予め保持する所定の閾値よりも低い値を示す場合には、この階調から値を下げた次の階調よりも画素が高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が所定の閾値よりも高い値を示すまで、二値化を繰り返し行うことで二値化が完了した二値化後鼻腔領域画像を取得し、二値化後鼻腔領域画像について、円形らしさを示す値を算出することで、二つの鼻腔を検出する。
【００４１】
ここで、階調とは、色の濃淡を表わすグラデーション（gradation）のことである。階調には、１６階調や、６４階調、あるいは、２５６階調などが存在するが、例えば、図７の（Ａ）に示すように、階調が２５６階調の場合には、階調の値が高い値を示すほど、「白」が強くなることを意味し、階調の値が低い値を示すほど、「黒」が強くなることを意味する。具体的に例を挙げて説明すると、実施例１における鼻腔検出部３１は、例えば、図７の（Ｂ）に示すように、まず、鼻腔領域画像を構成する画素が所定の階調（閾値Ａ）よりも高い値であるか低い値であるかの二値に分類する二値化を行う。閾値Ａには、比較的高い値の階調を設定するので、高い値の階調で二値化された鼻腔領域画像は、図７の（Ａ）に示すように、「黒」が多い画像になることがわかる。
【００４２】
次に、鼻腔検出部３１は、二値化の結果得られた鼻腔領域画像の平均値（平均Ｘ）を算出し、算出した平均Ｘが、予め保持する所定の閾値（閾値α）よりも低い値を示す場合であるので、この階調から値を下げた次の階調（閾値Ｂ）よりも画素が高い値であるか低い値であるかの二値に分類する二値化を行う。閾値Ｂには、閾値Ａよりも低い値の階調を設定するので、鼻腔領域画像は、先ほどよりも、やや「黒」が少なくなった画像になる。
【００４３】
続いて、鼻腔検出部３１は、二値化の結果得られた鼻腔領域画像の平均値（平均Ｙ）を算出し、算出した平均Ｙが、予め保持する所定の閾値（閾値α）よりも低い値を示す場合であるので、この階調からさらに値を下げた次の階調（閾値Ｃ）よりも画素が高い値であるか低い値であるかの二値に分類する二値化を行う。閾値Ｃには、閾値Ｂよりも低い値の階調を設定するので、鼻腔領域画像は、先ほどよりも、さらに「黒」が少なくなった画像になる。
【００４４】
こうして、鼻腔検出部３１が、二値化の結果得られた鼻腔領域画像の平均値（平均Ｚ）を算出すると、算出した平均Ｚが、予め保持する所定の閾値（閾値α）よりも高い値を示すので、ここで、鼻腔検出部３１は、二値化が完了したとし、この時の鼻腔領域画像を二値化後鼻腔領域画像として取得する。つまり、このような二値化の繰り返しの意味について説明すると、二値化を繰り返すことで、鼻腔領域画像は「黒」が十分に少ない状態になっており、一方検出対象である鼻腔は「黒」に分類されるものであることから、「黒」が十分に少ない状態になった鼻腔領域画像から、「黒」の鼻腔を検出する方が、より正確な検出を行うことができることに着目しているものである。なお、階調は、１００、９８、９６などのように段階的に下げていくといった手法が考えられる。
【００４５】
二値化が完了した二値化後鼻腔領域画像が取得されると、鼻腔検出部３１は、次に、二値化後鼻腔領域画像について、円形らしさを示す値を算出する。実施例１において、鼻腔検出部３１は、円形分離度フィルタ（石井繁範，高木和也，有田大作，谷口倫一郎，“ステレオカメラを用いた実時間頭部姿勢推定”，FIT2003，pp.165-166）を用いて、円形らしさを示す値を算出する。ここで、円形分離度フィルタとは、図８に示す理論のことである。鼻腔検出部３１は、二値化後鼻腔領域画像について、このような円形分離度フィルタを用いることで、円形らしさを示す値を算出し、この値が大きなところが円形である蓋然性が高いということに基づき、二つの鼻腔を検出する。
【００４６】
ところで、これまで、鼻腔検出部３１が、鼻腔領域画像から二つの鼻腔を検出する手法について具体的に説明してきたが、鼻腔検出部３１が、取得顔画像保持部２１に保持された顔画像から鼻腔を検出する手法として、実施例１における顔方位判定装置１０は、二つの手法を想定している。まず、一つ目の手法は、鼻腔検出部３１が、入力部１１（カメラ）によって入力され取得顔画像保持部２１に保持された顔画像について、顔領域の中心部に探索範囲を限定し、中心部の画像を鼻腔領域画像として取得し、取得した鼻腔領域画像から鼻腔を検出する手法である。また、二つ目の手法は、鼻腔検出部３１が一つ目の手法によって二つの鼻腔を検出した際に、鼻腔周辺の画像を鼻腔テンプレート画像として取得し、これを鼻腔テンプレート画像保持部２２に保持させたものを利用する手法である。すなわち、鼻腔検出部３１は、入力部１１（カメラ）によって入力され取得顔画像保持部２１に保持された顔画像に対し、鼻腔テンプレート画像保持部２２に保持された鼻腔テンプレート画像を用いてテンプレートマッチングによる追跡を行うことで、鼻腔を検出する。なお、二つの目の手法において、鼻腔検出部３１は、円形分離度フィルタによって、二つの鼻腔の存在を確認しつつ追跡を行うなどする。
【００４７】
鼻腔検出部３１が、一つ目の手法を用いるか、二つ目の手法を用いるかは、顔方位判定装置１０の運用目的や形態等に即して自由に選択することができる。例えば、顔方位判定装置１０が、車に搭載され、ドライバの顔方位を判定する目的で用いられる場合には、イグニッションがオンになった後に最初に鼻腔を検出する際には、顔画像の顔領域の中心部に探索範囲を限定することで鼻腔領域画像を取得し、取得した鼻腔領域画像から鼻腔を検出する手法を採用し、その後に鼻腔を検出する際には、鼻腔テンプレート画像を用いてテンプレートマッチングによる追跡を行うことで鼻腔を検出するといった手法を採用する、といった選択が考えられる。なお、一つ目の手法による場合には、鼻腔検出部３１が、鼻腔領域画像を取得した後に、二値化の繰り返しや、円形分離度フィルタを適用することによって、二つの鼻腔を検出することが望ましいが、二つ目の手法による場合には、これらの手順を省略してより簡易に鼻腔を検出してもよい。
【００４８】
顔端点検出部３２は、端点を検出する。具体的には、顔端点検出部３２は、鼻腔検出部３１によって検出される鼻腔を基点として顔画像を左方向や右方向に探索すると交わることになる輪郭との交点を、顔の端点として検出する。より具体的に説明すると、実施例１において、顔端点検出部３２は、まず、顔画像から顔の周辺領域を取得し（例えば、顔の２倍分に拡大した領域を周辺領域として取得し）、次に、顔周辺領域に対して平滑化を行い、雑音を取り除く。そして、顔端点検出部３２は、水平方位および垂直方位のSobelフィルタで得られたエッジ画像同士の和をとり、膨張処理を行うなどする。顔端点検出部３２は、そのエッジ画像に対して、鼻腔検出部３１によって検出された鼻腔（あるいは、二つの鼻腔の中心を示す鼻腔中心）を基点として、顔画像の左方向および右方向に（水平方向に）探索を行い、最も縦に連なっているエッジとの交点を顔の端点として、顔の両端点を検出する。なお、顔端点検出部３２による顔端点の検出は、上記した手法以外の手法による場合など、いずれでもよい。
【００４９】
ところで、これまで、顔端点検出部３２が、顔画像から端点を検出する手法について具体的に説明してきたが、顔端点検出部３２が、取得顔画像保持部２１に保持された顔画像から端点を検出する手法として、実施例１における顔方位判定装置１０は、二つの手法を想定している。まず、一つ目の手法は、顔端点検出部３２が、入力部１１（カメラ）によって入力され取得顔画像保持部２１に保持された顔画像について、顔の周辺領域を取得し（例えば、顔の２倍分に拡大した領域を周辺領域として取得し）、次に、顔周辺領域に対して平滑化を行い、雑音を取り除き、Sobelフィルタで得られたエッジ画像を取得し、取得したエッジ画像を用いて端点を検出する手法である。また、二つ目の手法は、顔端点検出部３２が一つ目の手法によって端点を検出した際に、顔端点周辺の画像を顔端点テンプレート画像として取得し、これを顔端点テンプレート画像保持部２２に保持させたものを利用する手法である。すなわち、顔端点検出部３２は、入力部１１（カメラ）によって入力され取得顔画像保持部２１に保持された顔画像に対し、顔端点テンプレート画像保持部２３に保持された顔端点テンプレート画像を用いてテンプレートマッチングによる追跡を行うことで、端点を検出する。
【００５０】
顔端点検出部３２が、一つ目の手法を用いるか、二つ目の手法を用いるかは、顔方位判定装置１０の運用目的や形態等に即して自由に選択することができる。例えば、顔方位判定装置１０が、車に搭載され、ドライバの顔方位を判定する目的で用いられる場合には、イグニッションがオンになった後に最初に端点を検出する際には、顔の周辺領域を取得し、次に、顔周辺領域に対して平滑化を行い、雑音を取り除き、Sobelフィルタを用いることでエッジ画像を取得し、取得したエッジ画像を用いて端点を検出する手法を採用し、その後に端点を検出する際には、顔端点テンプレート画像を用いてテンプレートマッチングによる追跡を行うことで端点を検出する手法を採用する、といった選択が考えられる。なお、一つ目の手法による場合には、顔端点検出部３２が、顔周辺領域を取得した後に、平滑化や、Sobelフィルタを適用することによって、端点を検出することが望ましいが、二つ目の手法による場合には、これらの手順を省略してより簡易に端点を検出してもよい。
【００５１】
顔方位判定部３３は、顔方位を判定する。具体的には、顔方位判定部３３は、鼻腔検出部３１によって検出された鼻腔と顔端点検出部３２によって検出された端点とから求められる顔画像内の距離に関する情報に基づいて、顔画像に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定し、判定した結果を、判定結果保持部２４に保持させる。また、実施例１において、顔方位判定部３３は、鼻腔検出部３１によって検出された二つの鼻腔から、二つの鼻腔の中心を示す鼻腔中心を鼻腔と鼻腔とを結ぶ線上に検出し、顔端点検出部３２によって検出された二つの端点から、二つの端点の中心を示す端点中心を端点と端点とを結ぶ線上に検出し、いずれか一方の端点と端点中心との距離および端点中心と鼻腔中心との距離に基づいて、顔方位を判定する。
【００５２】
例えば、顔方位判定部３３は、二つの端点の中心を、端点間距離を二等分することによって検出し、図９の（Ａ）に示すように、いずれか一方の端点と端点中心との距離（「ｆ」）、および、端点中心と鼻腔中心との距離（「ｎ」）に基づいて、図９の（Ｂ）に示すような数式によって、顔方位（顔の水平方位）を判定する。また、顔方位判定部３３は、顔が左右いずれの方向を向いているかについては、端点中心と鼻腔の位置とから判定するなどする。
【００５３】
［実施例１に係る顔方位判定装置による処理の手順］
次に、図１０および１１を用いて、実施例１に係る顔方位判定装置による処理の手順を説明する。図１０は、実施例１に係る顔方位判定装置による処理の手順（テンプレートマッチングを用いない手法）を示すフローチャートであり、図１１は、実施例１に係る顔方位判定装置による処理の手順（テンプレートマッチングを用いた手法）を示すフローチャートである。
【００５４】
［顔方位判定装置による処理の手順（テンプレートマッチングを用いない手法）］
まず、実施例１に係る顔方位判定装置１０は、取得顔画像保持部２１において、顔画像を取得したか否かを判定する（ステップＳ１００１）。取得していない場合には（ステップＳ１００１否定）、顔方位判定装置１０は、取得顔画像保持部２１において、顔画像を取得したか否かを判定する処理に戻る。
【００５５】
一方、顔画像を取得した場合には（ステップＳ１００１肯定）、顔方位判定装置１０は、鼻腔検出部３１において、二つの鼻腔を検出する（ステップＳ１００２）。具体的には、顔方位判定装置１０は、鼻腔検出部３１において、取得顔画像保持部２１によって保持された顔画像について、顔領域の中心部に探索範囲を限定し、中心部の画像を鼻腔領域画像として取得する。
【００５６】
そして、顔方位判定装置１０は、鼻腔検出部３１において、鼻腔領域画像について、鼻腔領域画像を構成する画素が所定の階調よりも高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が予め保持する所定の閾値よりも低い値を示す場合には、階調から値を下げた次の階調よりも画素が高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が所定の閾値よりも高い値を示すまで二値化を繰り返し行うことで、二値化が完了した二値化後鼻腔領域画像を取得し、二値化後鼻腔領域画像について、円形らしさを示す値を算出することで、二つの鼻腔を検出する。
【００５７】
次に、顔方位判定装置１０は、顔端点検出部３２において、顔の端点を検出する（ステップＳ１００３）。具体的には、顔方位判定装置１０は、顔端点検出部３２において、取得顔画像保持部２１によって保持された顔画像について、顔の周辺領域を取得し（例えば、顔の２倍分に拡大した領域を周辺領域として取得し）、次に、顔周辺領域に対して平滑化を行い、雑音を取り除き、Sobelフィルタで得られたエッジ画像を取得する。
【００５８】
そして、顔方位判定装置１０は、顔端点検出部３２において、水平方位および垂直方位のSobelフィルタで得られたエッジ画像同士の和をとり、膨張処理を行うなどし、鼻腔検出部３１によって検出された鼻腔（あるいは、二つの鼻腔の中心を示す鼻腔中心）を基点として、顔画像の左方向および右方向に（水平方向に）探索を行い、最も縦に連なっているエッジとの交点を顔の端点として、顔の両端点を検出する。
【００５９】
続いて、顔方位判定装置１０は、顔方位判定部３３において、顔方位を判定する（ステップＳ１００４）。具体的には、顔方位判定装置１０は、顔方位判定部３３において、鼻腔検出部３１によって検出された鼻腔と顔端点検出部３２によって検出された端点とから求められる顔画像内の距離に関する情報に基づいて、顔画像に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定する。
【００６０】
例えば、顔方位判定装置１０は、顔方位判定部３３において、鼻腔検出部３１によって検出された二つの鼻腔から、二つの鼻腔の中心を示す鼻腔中心を鼻腔と鼻腔とを結ぶ線上に検出し、顔端点検出部３２によって検出された二つの端点から、二つの端点の中心を示す端点中心を端点と端点とを結ぶ線上に検出し、いずれか一方の端点と端点中心との距離および端点中心と鼻腔中心との距離に基づいて、顔方位を判定する。
【００６１】
［顔方位判定装置による処理の手順（テンプレートマッチングを用いる手法）］
まず、実施例１に係る顔方位判定装置１０は、取得顔画像保持部２１において、顔画像を取得したか否かを判定する（ステップＳ１１０１）。取得していない場合には（ステップＳ１１０１否定）、顔方位判定装置１０は、取得顔画像保持部２１において、顔画像を取得したか否かを判定する処理に戻る。
【００６２】
一方、顔画像を取得した場合には（ステップＳ１１０１肯定）、顔方位判定装置１０は、鼻腔検出部３１において、二つの鼻腔を検出する（ステップＳ１１０２）。具体的には、顔方位判定装置１０は、鼻腔検出部３１において、取得顔画像保持部２１に保持された顔画像に対し、鼻腔テンプレート画像保持部２２に保持された鼻腔テンプレート画像を用いてテンプレートマッチングによる追跡を行うことで、鼻腔を検出する。なお、鼻腔検出部３１は、円形分離度フィルタによって、二つの鼻腔の存在を確認しつつ追跡を行うなどする。
【００６３】
次に、顔方位判定装置１０は、顔端点検出部３２において、顔の端点を検出する（ステップＳ１１０３）。具体的には、顔方位判定装置１０は、顔端点検出部３２において、取得顔画像保持部２１に保持された顔画像に対し、顔端点テンプレート画像保持部２３に保持された顔端点テンプレート画像を用いてテンプレートマッチングによる追跡を行うことで、端点を検出する。
【００６４】
続いて、顔方位判定装置１０は、顔方位判定部３３において、顔方位を判定する（ステップＳ１１０４）。
【００６５】
［実施例１の効果］
上記してきたように、実施例１によれば、顔を撮像した顔画像から、顔画像の中に存在する一つの顔の鼻腔を検出し、検出される鼻腔を基点として顔画像を左方向および／または右方向に探索すると交わることになる顔の輪郭との交点を、顔画像から顔の端点として検出し、検出された鼻腔と検出された端点とから求められる顔画像内の距離に関する情報に基づいて、顔画像に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定するので、両眼の重心点を検出する従来の手法に比較して、鼻腔や顔の端点を検出する手法であることから、顔方位の判定にあたり制約を少なくすることが可能になる。
【００６６】
具体的に説明すると、両眼の重心点を検出する従来の手法では、例えば、ステアリング部に設置したカメラによって撮像された顔画像等、下方向から撮像された顔画像には適さず、顔方位判定の精度が低下することから、撮像装置の設置位置に関する制約が多いが、本発明に係る顔方位判定装置によれば、下方向から撮像された顔画像にも適しており、顔方位判定の精度が低下するおそれもないことから、撮像装置の設置位置に関する制約を少なくすることが可能になる。また、両眼の重心点を検出する従来の手法では、撮像装置について解像度や色数の面で高い性能が要求されることから、撮像装置の性能に関する制約が多いが、本発明に係る顔方位判定装置によれば、例えば、赤外線単眼カメラ等の性能で対応することが可能であり、撮像装置の性能に関する制約を少なくすることが可能になる。
【００６７】
また、特に、赤外線単眼カメラによって撮像された顔画像には、濃淡レベルがあまりないという特色があることから、本発明に係る顔方位判定装置と赤外線単眼カメラとの組み合わせによれば、顔画像を二値化したときにより鮮明な鼻腔領域画像を取得することが可能になるという効果も考えられる。
【００６８】
さらに、本発明に係る顔方位判定装置によって得られた判定結果は、その他の条件と併せて用いることで、ドライバの正確な注視点を検出したり、ドライバの集中度を判定することなどに拡張して利用することが可能になる。
【００６９】
また、実施例１によれば、顔方位判定装置は、検出された二つの鼻腔から、二つの鼻腔の中心を示す鼻腔中心を鼻腔と鼻腔とを結ぶ線上に検出し、検出された二つの端点から、二つの端点の中心を示す端点中心を端点と端点とを結ぶ線上に検出し、いずれか一方の端点と端点中心との距離および端点中心と鼻腔中心との距離に基づいて、顔方位を判定するので、顔方位の判定にあたり制約を少なくするのみならず、より精度良く顔方位を判定することが可能になる。
【００７０】
また、実施例１によれば、顔方位判定装置は、鼻腔を含む鼻腔領域画像を取得し、鼻腔領域画像について、鼻腔領域画像を構成する画素が所定の階調よりも高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が予め保持する所定の閾値よりも低い値を示す場合には、階調から値を下げた次の階調よりも画素が高い値であるか低い値であるかの二値に分類する二値化を行い、二値化の結果の平均値が所定の閾値よりも高い値を示すまで二値化を繰り返し行うことで二値化が完了した二値化後鼻腔領域画像を取得し、二値化後鼻腔領域画像について、円形らしさを示す値を算出することで、鼻腔を検出するので、顔方位の判定にあたり制約を少なくするのみならず、二つの鼻腔をより精度良く検出することが可能になる。
【実施例２】
【００７１】
さて、これまで、実施例１として、顔方位判定装置１０の概要および特徴、構成、処理の手順などについて説明してきたが、次に、実施例２として、本発明に係る顔方位判定装置１０による実験について説明する。
【００７２】
［予備実験］
まず、予備実験として、顔方位判定装置１０を用いて、顔領域、鼻腔、および顔の両端点を検出する実験を行った。予備実験では、角度（１５度ずつ７角度、左半面のみ）について既知の静止画（１角度につき３００枚）を用いた。また、被験者は、１０代〜６０代の男女３００人である。この予備実験の結果は、図１２に示すとおりである。
【００７３】
この結果から、次のようなことが考察される。まず、４５度以上になると、端点の検出率が悪化することがわかる。この原因としては、背景エッジが誤検出されることなどが考えられる。このようなことから、３０度までの正面顔で、鼻腔テンプレート画像や顔端点テンプレート画像を作成し、それ以上の角度の時は、テンプレートマッチングで追跡することが望ましいことがわかる。
【００７４】
［方位判定実験］
次に、方位判定実験として、顔方位判定装置１０を用いて、ステアリング上部に設置された赤外線カメラによって昼間走行中あるいは夜間走行中の車内を撮像し、ドライバの顔の正面方位を判定する実験を行った。また、被験者は５人（男３人、女２人）、30fpsでそれぞれ2,500フレームの映像に対して実験を行った。正面の範囲は、図１３の（Ａ）に示すように、カメラの軸を０度として−３０度から３０度までとし、ステアリングにより顔が隠蔽されたフレームを除去し、方位判定の有効フレームとした。なお、映像に対する正面方位の正解ラベルの付与は、両方の目が完全に見えるか否かで与えた。例えば、図１３の（Ｂ）および（Ｃ）に示すように、３０〜９０度では、両方の目が完全には見えず（部分的に隠れる横顔）、図１３の（Ｄ）〜（Ｆ）に示すように、０〜３０度では、両方の目が完全に見えることがわかる。
【００７５】
この方位判定実験の結果は、図１４に示すとおりであり、正面方位の判定率は、昼92.89%、夜94.32%、計93.6%であった（この実験による検出処理の結果は、例えば、図６に示したような結果になり、鼻腔、顔の両端点の枠が表示されたり、図示していないが、左下には顔の角度が表示されるなどする）。
【００７６】
この結果から、次のようなことが考察される。まず、ドライバの顔方位判定の実験を実際に走行中の赤外線動画を用いて行うと、正面方位の判定率として、93.6%の結果が得られた。しかしながら、今回撮像した映像では、顔方位の変化は、ミラーや左右確認を行う際におこる僅かな時間のものであった。また、今回の実験では、３０度以上の方位に関しては、正面以外として判定している。
【実施例３】
【００７７】
さて、これまで本発明の実施例について説明したが、本発明は上記した実施例以外にも、種々の異なる形態にて実施されてよいものである。
【００７８】
実施例１においては、顔方位判定装置が鼻腔領域画像から二つの鼻腔を検出し、検出した二つの鼻腔の中心を示す鼻腔中心を用いて顔方位を判定する手法について説明してきたが、本発明はこれに限られるものではない。例えば、顔方位判定装置が鼻腔領域画像から一つの鼻腔を検出し、検出した一つの鼻腔を用いて顔方位を判定する手法（例えば、いずれか一方の端点と端点中心との距離および端点中心と一つの鼻腔との距離に基づいて、顔方位を判定するなど）などにも、本発明を同様に適用することができる。
【００７９】
また、実施例１においては、顔方位判定装置が、鼻腔領域画像について二値化を繰り返し行い、二値化後鼻腔領域画像について、円形らしさを示す値を算出することで、二つの鼻腔を検出する手法について説明したが、本発明はこれに限られるものではない。例えば、顔方位判定装置が、二値化を繰り返し行わずに円形らしさを示す値を算出する手法や、二値化を行わずに円形らしさを示す値を算出する手法、あるいは、円形らしさを示す値を算出せずに鼻腔を検出する手法など、鼻腔を検出する手法であれば、いずれでもよい。
【００８０】
また、実施例１においては、顔方位判定装置が、いずれか一方の端点と端点中心との距離および端点中心と鼻腔中心との距離に基づいて、顔方位を判定する手法について説明したが、本発明はこれに限られるものではない。例えば、いずれか一方の端点と鼻腔中心との距離および他方の端点と鼻腔中心との距離を比較することで、顔方位を判定する手法などにも、本発明を同様に適用することができる。
【００８１】
［システム構成等］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、入力部が、顔画像を周期的に入力する処理）の全部または一部を手動的におこなう（例えば、人が、顔画像を入力部によって入力する）こともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００８２】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示（例えば、図２など）の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００８３】
なお、本実施例で説明した顔方位判定方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【００８４】
以上のように、本発明に係る顔方位判定装置は、顔を撮像した顔画像から、顔画像に撮像された顔が、撮像の時にいずれの方向を向いていたかを示す顔方位を判定することに有用であり、特に、顔方位の判定にあたり制約を少なくすることに適する。
【図面の簡単な説明】
【００８５】
【図１】実施例１に係る顔方位判定装置の概要および特徴を説明するための図である。
【図２】実施例１に係る顔方位判定装置の構成を説明するための図である。
【図３】取得顔画像保持部を説明するための図である。
【図４】鼻腔テンプレート画像保持部を説明するための図である。
【図５】顔端点テンプレート画像保持部を説明するための図である。
【図６】鼻腔検出部および顔端点検出部を説明するための図である。
【図７】鼻腔検出部における二値化を説明するための図である。
【図８】鼻腔検出部における円形分離度フィルタを説明するための図である。
【図９】顔方位判定部を説明するための図である。
【図１０】実施例１に係る顔方位判定装置による処理の手順を示すフローチャートである。
【図１１】実施例１に係る顔方位判定装置による処理の手順（テンプレートマッチングを用いた手法）を示すフローチャートである。
【図１２】予備実験結果を説明するための図である。
【図１３】正面方位判定について説明するための図である。
【図１４】実験結果を説明するための図である。
【図１５】従来技術を説明するための図である。
【符号の説明】
【００８６】
１０  顔方位判定装置
１１  入力部
１２  出力部
１３  入出力制御Ｉ／Ｆ部
２０  記憶部
２１  取得顔画像保持部
２２  鼻腔テンプレート画像保持部
２３  顔端点テンプレート画像保持部
２４  判定結果保持部
３０  制御部
３１  鼻腔検出部
３２  顔端点検出部
３３  顔方位判定部
【図１】
2008217614.tif 000003
【図２】
2008217614.tif 000004
【図３】
2008217614.tif 000005
【図４】
2008217614.tif 000006
【図５】
2008217614.tif 000007
【図６】
2008217614.tif 000008
【図７】
2008217614.tif 000009
【図８】
2008217614.tif 000010
【図９】
2008217614.tif 000011
【図１０】
2008217614.tif 000012
【図１１】
2008217614.tif 000013
【図１２】
2008217614.tif 000014
【図１３】
2008217614.tif 000015
【図１４】
2008217614.tif 000016
【図１５】
2008217614.tif 000017