(57)【要約】【課題】  黒つぶれや白つぶれを考慮する必要がなく、且つ予め対象物のデータを備える必要なく、ドライバの顔向きを良好に検出することができる顔向き検出装置及び方法を提供すること。【解決手段】  レーザー光源３１と、可動ミラー３２と、カメラ２と、レーザー光源３１の照射と、反射角度を制御するレーザー投光制御部５１と、撮像画像とレーザー投光制御部５１で制御した横線状の光の投影角度に基づいて、投影された横線状の光の３次元座標を算出して、ドライバの顔向きを検出するレーザー検出処理部５３、３次元座標変換部５４及びドライバ顔向き算出部５５を備えた。【選択図】        図１
2010164393.tif 000002
【特許請求の範囲】
【請求項１】
車両のドライバの顔向きを検出する顔向き検出装置であって、
横長の横線状の光を照射する光源手段と、
横線状の光をドライバの顔へ向かって反射し、且つ反射角度を駆動により変更する反射手段と、
ドライバの顔に投影した横線状の光を撮像する撮像手段と、
前記光源手段の照射と、前記反射手段の反射角度を制御する投光制御手段と、
前記撮像手段で撮像した撮像画像と、前記投光制御手段で制御した横線状の光の投影角度に基づいて、投影された横線状の光の３次元座標を算出して、ドライバの顔向きを検出する画像処理手段と、
を備えた、
ことを特徴とする顔向き検出装置。
【請求項２】
請求項１に記載の顔向き検出装置において、
前記画像処理手段は、
前記撮像手段で撮像した撮像画像から横線状の光の投影部分の２次元座標を抽出する投影部分検出手段と、
前記投光制御手段で制御した横線状の光の投影角度に基づいて、横線状の光の投影部分の２次元座標を３次元座標に変換する３次元座標変換手段と、
投影された横線状の光の３次元座標からドライバの顔向きを検出するドライバ顔向き算出手段と、
を備えた、
ことを特徴とする顔向き検出装置。
【請求項３】
請求項２に記載の顔向き検出装置において、
前記顔向き算出手段は、
１つの投影角度における横線状の光の３次元座標で構成される光断面に２次曲線を近似する２次曲線近似手段と、
近似した２次曲線に真円を近似し、近似した真円の中心を頭部中心軸と設定する真円近似手段と、
横線状の光の３次元座標からドライバの鼻部分を検出する鼻検出手段と、
前記頭部中心軸と、検出されたドライバの鼻部分から顔向きを検出する顔向き判断手段と、
を備えた、
ことを特徴とする顔向き検出装置。
【請求項４】
請求項３に記載の顔向き検出装置において、
前記鼻検出手段は、
前記頭部中心軸から前記真円までの半径と、前記頭部中心軸から横線状の光の３次元座標までの半径を比較して検出する、
ことを特徴とする顔向き検出装置。
【請求項５】
車両のドライバの顔向きを検出する顔向き検出方法であって、
ドライバの顔へ向かう投影角度を制御により変更して、横線状の光を照射し、
照射に同期させてドライバの顔に投影した横線状の光を撮像し、
撮像した撮像画像と、制御した横線状の光の投影角度に基づいて、投影された横線状の光の３次元座標を算出して、ドライバの顔向きを検出する、
ことを特徴とする顔向き検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔向き検出装置及び方法の技術分野に属する。
【背景技術】
【０００２】
従来では、ステアリングにカメラを設置し、ドライバの顔を撮像し、瞳どうしの間隔と眉間から唇までの距離との比率などを顔の特徴量としてドライバの認証を行なっている（例えば、特許文献１参照。）。
【０００３】
また、バラ積みされたワークのピックアップのために、カメラで撮像するワークの画像に対し、基準となるワークの画像から抽出した特徴形状に関する情報を用いてワークの認識を行っているものもある（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−７２７７４号公報（第２−８頁、全図）
【特許文献２】特開２００７−３１３６２４号公報（第２−９頁、全図）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術は、撮像される画像が黒つぶれや白つぶれしてはならないが、周囲の光環境が随時変化する車両において、黒つぶれや白つぶれが生じることを防止することは困難であった。
また、車両では、顔のように個人差のある形状について、予め備える対象物の既知データとすることは困難であった。
【０００６】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、黒つぶれや白つぶれを考慮する必要がなく、且つ予め対象物のデータを備える必要なく、ドライバの顔向きを良好に検出することができる顔向き検出装置及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明では、車両のドライバの顔向きを検出する顔向き検出装置であって、横長の横線状の光を照射する光源手段と、横線状の光をドライバの顔へ向かって反射し、且つ反射角度を駆動により変更する反射手段と、ドライバの顔に投影した横線状の光を撮像する撮像手段と、前記光源手段の照射と、前記反射手段の反射角度を制御する投光制御手段と、前記撮像手段で撮像した撮像画像と、前記投光制御手段で制御した横線状の光の投影角度に基づいて、投影された横線状の光の３次元座標を算出して、ドライバの顔向きを検出する画像処理手段と、を備えた、ことを特徴とする。
【発明の効果】
【０００８】
よって、本発明にあっては、黒つぶれや白つぶれを考慮する必要がなく、且つ予め対象物のデータを備える必要なく、ドライバの顔向きを良好に検出することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の顔向き検出装置のブロック構成を示す図である。
【図２】カメラ及びラインレーザー部の車載構成を示す図である。
【図３】実施例１の顔向き検出装置１の演算部５で実行される顔向き検出処理の流れを示すフローチャートである。
【図４】実施例１の顔向き検出装置のドライバの顔へのレーザー光の照射状態の説明図である。
【図５】実施例１の顔向き検出装置の概略図である。
【図６】実施例１の顔向き検出装置における撮像画像と３次元座標変換後の光断面の例を示す図である。
【図７】実施例１の顔向き検出装置における撮像画像と３次元座標変換後の光断面の例を示す図である。
【図８】実施例１の顔向き検出装置における撮像画像と３次元座標変換後の光断面の例を示す図である。
【図９】実施例１の顔向き検出装置における撮像画像と３次元座標変換後の光断面の例を示す図である。
【図１０】実施例１の顔向き検出装置における顔向きが正面の場合の画像、３次元座標変換後の光断面、２次曲線近似、真円近似の状態例を示す図である。
【図１１】実施例１の顔向き検出装置における顔向きが斜めの場合の画像、３次元座標変換後の光断面、２次曲線近似、真円近似の状態例を示す図である。
【図１２】実施例１の顔向き検出装置における顔向きが正面の場合の画像、３次元座標変換後の光断面、真円近似、頭部中心軸から光断面までの距離の状態例を示す図である。
【図１３】実施例１の顔向き検出装置における顔向きが斜めの場合の画像、３次元座標変換後の光断面、真円近似、頭部中心軸から光断面までの距離の状態例を示す図である。
【図１４】実施例１の顔向き検出装置における顔向き検出の説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の顔向き検出装置及び方法を実現する実施の形態を、請求項１，２，３，４，５に係る発明に対応する実施例１に基づいて説明する。
【実施例１】
【００１１】
まず、構成を説明する。
図１は実施例１の顔向き検出装置のブロック構成を示す図である。
顔向き検出装置１は、カメラ２、ラインレーザー部３、フィルタ４、演算部５を備えている。
カメラ２は、ドライバの顔に投影されたレーザー光を撮像する。なお、フィルタ４を通過した成分のみを撮像する構成である。
ラインレーザー部３は、レーザー光源３１、可動ミラー３２、フィルタ３３を備え、横線状の光をドライバの顔に照射する。
【００１２】
レーザー光源３１は、レーザー光を可動ミラー３２へ向かって照射する光源である。このレーザー光は、横長の線状となるよう横長のスリットを通過させてスリット光にする。また、光源は不可視の近赤外線波長とする。
可動ミラー３２は、ミラー３２１と駆動部３２２を備えている。
ミラー３２１は、レーザー光源３１からのレーザー光を、角度を変更して反射できるよう回転角度が変更自在に設けられている。例えば、水平軸で揺動するように所定角度範囲内を回転自在に軸支したものである。
駆動部３２２は、演算部５からの制御指令により駆動する。例えばステップモータ等である。そして、その出力軸はギア等を介して、あるいは直接、ミラー３２１の回転軸に接続されることにより、ミラー３２１の反射角を変更する。
【００１３】
フィルタ３３は、レーザー光源３１から照射される光の所定周波数成分のみを通過させるバンドパスフィルタである。例えば近赤外線のみを通過させる。
なお、フィルタ３３は、後述するフィルタ４と一体とであっても、別体であってもよい。
フィルタ４は、ドライバの顔で反射されるレーザー光の所定周波数成分のみをカメラ２へ向かって通過させるバンドパスフィルタである。例えば近赤外線のみを通過させる。
【００１４】
演算部５は、レーザー投光制御部５１、カメラ同期制御部５２、レーザー検出処理部５３、３次元座標変換部５４、ドライバ顔向き算出部５５を備えている。
レーザー投光制御部５１は、可動ミラー３２の反射角度を制御する指令を出力し、これに同期させてレーザー光源３１のオンオフを制御する指令を出力する。なお、実施例１では、レーザー投光制御部５１は、ドライバの顔に、複数の高さ位置となるよう反射角度を変更して横線状のスリット光を照射する制御を行う。そして、このタイミングは、例えば同期信号等としてカメラ同期制御部５２へ出力する。また、可動ミラー３２の反射角度、反射位置、レーザー光源３１の固定されている位置、照射角度から算出されるレーザー光の投影角をレーザー検出処理部５３へ出力する。
【００１５】
カメラ同期制御部５２は、レーザー投光制御部５１からのタイミングを取得できる信号に基づいて、カメラ２のシャッタータイミングを制御する出力を演算、出力する。
レーザー検出処理部５３は、カメラ２から出力される撮像画像に撮像されたレーザー光の反射光を輝度値から検出する。この反射光の画像部分は、線状に見えることになるが、画素数で分解されるデータとなるため、多数点データで構成される。これをレーザー座標とし、多数のレーザー座標を、レーザー投光制御部５１からの投影角度と対にして、３次元座標変換部５４へ出力する。
【００１６】
なお、レーザー検出処理部５３で画像からレーザー座標を検出する際には、上下方向が複数画素で構成される場合がある。つまり横線状の上下幅である。これについては、精度より計算速度を重視する場合は、線の太さの中央を算出するようにし、計算速度より精度を重視する場合は、横線状の上下幅の輝度分布を計算し、分布ピークをサブピクセルで算出する。
このようにして求めた中心座標をレーザー座標とし、３次元座標変換部５４へ出力する。
【００１７】
３次元座標変換部５４は、レーザー検出処理部５３からのレーザー座標、投影角度に基づいて、上下複数位置に並列し、横線状に並ぶ２次元のレーザー座標を、光切断法によって３次元座標に変換する。つまり光断面を計算する。そして、算出した３次元顔座標をドライバ顔向き算出部５５へ出力する。なお、光断面は、ある投影角度の３次元座標で構成されるドライバの顔表面を捉えたものを指す。
ドライバ顔向き算出部５５は、３次元顔座標からドライバの顔向きを算出し、出力する。例えば、ドライバ頭部姿勢として出力してもよい。
【００１８】
図２はカメラ及びラインレーザー部の車載構成を示す図である。
カメラ２は、図２に示すようにステアリングコラム６の上に設置し、ステアリングホイールの内側の空間を通して、ドライバの顔を撮像する角度、位置とする。
ラインレーザー部３は、インストパネル７の上部へ設置し、ドライバの顔へレーザー光を照射する。なお、カメラ２は、ドライバに対して正面前方から撮像を行い、ラインレーザー部３はカメラ２と異なる左右位置、つまりドライバに対して斜め前方から照射を行う配置とする。
【００１９】
作用を説明する。
[顔向き検出処理]
図３に示すのは、実施例１の顔向き検出装置１の演算部５で実行される顔向き検出処理の流れを示すフローチャートで、以下各ステップについて説明する。
【００２０】
ステップＳ１では、レーザー投光制御部５１が、ラインレーザー部３からドライバへのレーザー光の照射角度を設定する。
【００２１】
ステップＳ２では、レーザー投光制御部５１が、ステップＳ１で設定したレーザー光の照射角度となるように、可動ミラー３２を制御し、レーザー光源３１をオンにして横線状のレーザーを照射する。
【００２２】
ステップＳ３では、カメラ同期制御部５２が、ステップＳ２のレーザー照射に同期して、カメラ２でドライバの顔に投影されたレーザー光を撮像させ、レーザー検出処理部５３が、レーザー座標を検出する。
【００２３】
ステップＳ４では、３次元座標変換部５４が、レーザー座標を３次元顔座標に変換する。
【００２４】
ステップＳ５では、ドライバ顔向き算出部５５が、３次元顔座標の光断面に対して、２次曲線を近似する処理を行う。
【００２５】
ステップＳ６では、ドライバ顔向き算出部５５が、近似された２次曲線に対して、真円をフィッティングする処理を行う。そして、フィッティングされた真円の中心を頭部中心軸に設定する。
【００２６】
ステップＳ７では、ドライバ顔向き算出部５５が、フィッティングされた真円の半径が、人間の頭部の大きさから著しく外れているかどうかを、予め設定した基準範囲内かどうかで判断し、基準範囲内ならばステップＳ８へ進み、基準範囲外ならばステップＳ１へ戻る。
【００２７】
ステップＳ８では、ドライバ顔向き算出部５５が、頭部中心軸から光断面の各点までの角度θと距離ｒから鼻先を検出する処理を行う。
【００２８】
ステップＳ９では、ドライバ顔向き算出部５５が、鼻先が検出されたかどうかを判断し、検出されたならばステップＳ１０へ進み、検出されないならばステップＳ１へ戻る。なお、ステップＳ１へ戻る際には、次の位置の撮像を行うようにする。
【００２９】
ステップＳ１０では、ドライバ顔向き算出部５５が、検出された鼻先と頭部中心軸から顔向きを算出し、算出結果を保持する。
【００３０】
ステップＳ１１では、ドライバ顔向き算出部５５が、顔全体がスキャンできたかどうかを判断し、スキャンできたならばステップＳ１２へ進み、スキャンできていないならばステップＳ１へ戻る。なお、ステップＳ１へ戻る際には、次の位置の撮像を行うようにする。
【００３１】
ステップＳ１２では、顔向きが検出できた光断面の数を判断し、数が０の場合はステップＳ１３へ進み、数が１の場合はＳ１４へ進み、数が２以上の場合はＳ１５へ進む。
【００３２】
ステップＳ１３では、検出結果をＮＧとして処理を終了する。
【００３３】
ステップＳ１４では、検出結果を出力して処理を終了する。
【００３４】
ステップＳ１５では、ドライバの顔向きの平均値を算出し、平均値を検出結果として処理を終了する。
【００３５】
[顔向き検出作用]
（レーザー光の投光）
図４は実施例１の顔向き検出装置のドライバの顔へのレーザー光の照射状態の説明図である。図５は実施例１の顔向き検出装置の概略図である。
顔向き検出装置１による顔向き検出では、まず、レーザー光の照射と、ドライバの顔の撮像を行う。
レーザー光の照射は、レーザー投光制御部５１によるステップＳ１、Ｓ２の処理により、ドライバの顔に照射する。
【００３６】
この照射は、図４に示すように、ドライバの顔に間欠的で、上下所定間隔を設けて、レーザー光を複数回、照射する。これは、可動ミラー３２の反射角度の変更により行われる。
なお、レーザー光は、フィルタ３３を通過させることにより、環境光成分が抑制される。また、レーザー光の照射は、ドライバへの配慮と環境光の低減のために極短時間、例えば1/10000sec程度にする。
【００３７】
（撮像及びレーザー座標算出）
次に、図５に示すように、カメラ同期制御部５２によるステップＳ３の処理で、このレーザー光の照射に同期させて、ドライバの顔に投影されたレーザー光１００をカメラ２で撮像する。
この撮像は、カメラ２の撮像する１画像が、レーザー光の１回の照射の投影を撮像する。
カメラ２の撮像では、フィルタ４を通過させることにより環境光が抑制され、横線状のレーザー光の反射が高い輝度で撮像されることになる。
この画像において、この横線状の高い輝度値の部分は、上下方向(縦方向）に幅を持つため、その中央の座標を確定し、横線の長手方向は、画素数分、あるいは所定数の点が連続する座標にし、これをレーザー座標とする。
なお、ここでのレーザー座標は、カメラ２で撮像した画像中の座標である。
【００３８】
（３次元座標変換）
次に、３次元座標変換部５４のステップＳ４の処理により、２次元で画像中の座標であるレーザー座標を３次元座標に変換する。レーザー座標に対応する投影角は、レーザー投光制御部５１で制御した可動ミラー３２の反射角度と、予め設定されているミラーの反射位置、レーザー光源３１の照射位置から算出される。これを用いて、レーザー座標を３次元座標に変換する。
【００３９】
図６〜図９に示すのは、実施例１の顔向き検出装置における撮像画像と３次元座標変換後の光断面の例を示す図である。
図６は顔向きが正面を向き、レーザー光が鼻部分に照射された状態を示す。図７は顔向きが正面を向き、レーザー光が目と眉の間に照射された状態を示す。図８は顔向きが斜めを向き、レーザー光が鼻部分に照射された状態を示す。図９は顔向きが斜めを向き、レーザー光が目と眉の間に照射された状態を示す。
図６〜図９に示すように、３次元座標に変換した光断面１０１において、鼻部分１０２の光断面では、顔向きの違いを捉えていることがわかる。
【００４０】
（中心軸の算出）
次に、ドライバ顔向き算出部５５のステップＳ５〜Ｓ７の処理により、頭部中心軸１０３を算出する。
図１０は実施例１の顔向き検出装置における顔向きが正面の場合の画像、３次元座標変換後の光断面、２次曲線近似、真円近似の状態例を示す図である。図１１は実施例１の顔向き検出装置における顔向きが斜めの場合の画像、３次元座標変換後の光断面、２次曲線近似、真円近似の状態例を示す図である。
【００４１】
３次元座標変換された光断面１０３（図１０(b),図１１(b)参照）に対して、２次曲線１０５を近似する（ステップＳ５、図１０(c),図１１(c)参照）。これにより、頬のような顔の大局的なカーブを抽出する。言い換えると、鼻のような局所的なカーブを除外した顔のカーブを抽出する。
そして、２次曲線近似の結果に対して、真円１０６をフィッティングする（ステップＳ６、図１０(d),図１１(d)参照）。ここで真円１０６は楕円でなく、半径一定の円である。
これにより顔のカーブに応じた真円１０６が得られるので、真円１０６の中心を頭部中心軸１０３とする。また、得られた円の半径が人間の頭部の大きさから著しく外れている場合は、その光断面のデータを破棄する（ステップＳ７）。
【００４２】
（鼻先の検出）
次に、ドライバ顔向き算出部５５のステップＳ８〜ステップＳ９の処理により、鼻先の検出を行う。
図１２は実施例１の顔向き検出装置における顔向きが正面の場合の画像、３次元座標変換後の光断面、真円近似、頭部中心軸から光断面までの距離の状態例を示す図である。図１３は実施例１の顔向き検出装置における顔向きが斜めの場合の画像、３次元座標変換後の光断面、真円近似、頭部中心軸から光断面までの距離の状態例を示す図である。
【００４３】
頭部中心軸１０３から、３次元座標変換後の光断面の各点までの角度θと距離ｒを計算する（図１２(b),図１３(b)参照）。なお、角度θを計算する際の０度は、カメラ２がドライバの正面から撮像する場合には、撮像画像の０度とし、角度を持って撮像する場合は、その分補正していることが望ましい。また後述する処理で補正してもよい。
角度θと距離ｒを計算したならば、光断面１０１のうち、近似円の半径Ｒよりも半径ｒが大きい部分を抽出し、その中から最大となる点を鼻先とする（ステップＳ８）。但し、鼻先の高さｈ、つまりｈ＝半径ｒ−半径Ｒが例えば５〜２０ｍｍの範囲を有効とし、この範囲を外れる場合は、別の特徴、例えば頭部につけた特殊な飾りなどを検出したものとして、その点を破棄する（ステップＳ９）。
【００４４】
（顔向き検出）
次に、ドライバ顔向き算出部５５のステップＳ１０〜Ｓ１５の処理により顔向きの検出を行う。
図１４は実施例１の顔向き検出装置における顔向き検出の説明図である。
鼻先の検出が行われると、図１４に示すように、頭部中心軸１０３から鼻先（鼻部分を符号１０２で示す）へ向かうベクトル１０４を算出する。このベクトルデータの角度成分が顔向きとなる。この顔向きデータは保持するようにし（ステップＳ１０）、顔全体をスキャンするようにレーザー光の投影角度を変更して撮像を継続する（ステップＳ１１）。
そして、顔全体が撮像できたならば、顔向きが検出でき、データが保持された光断面の数を判断して、０の場合は無検出、１の場合はその１つのデータを顔向きとし、２つ以上の場合は平均値とする（ステップＳ１２〜Ｓ１５）。
このようにして、実施例１の顔向き検出装置１では、良好にドライバの顔向きを検出する。
【００４５】
実施例１の作用を明確化するために、以下に説明を加える。
ドライバの顔を撮像して顔向きを検出するには、以下のように画像処理を行う装置構成にすることが考えられる。撮像したドライバ顔画像に対して、ソーベルフィルタ等の処理を行い、顔の左右幅と上下幅を検出する。次に、目、鼻、口などの各器官を検出し、その位置関係から顔の中心位置、つまり鼻筋のあたりを検出する。そして、顔の左右幅に対する顔の中心位置の位置関係からドライバの顔向きを検出する。
【００４６】
しかしながら、この顔向き検出では、撮像される画像が白つぶれや黒つぶれを生じると、顔幅、器官の検出が困難となり、顔向きを検出することができなくなる。しかしながら、車両では走行により周囲の光環境が随時変化するため、白つぶれや黒つぶれを防止するのが困難である。
これに対して、実施例１の顔向き検出装置１では、ドライバの顔に投影した横線状のレーザー光を検出できればよいため、黒つぶれや白つぶれを考慮する必要がなくなる点が有利である。
【００４７】
また、ドライバの鼻部分１０２を横線状のレーザー光で検出することは、メガネを装着していても検出精度に影響が出ない。また、髪型や帽子などの影響も出ない。そのため、確実に良好な検出が行われる。
【００４８】
さらに説明を加える。
実施例１の顔向き検出装置１では、ドライバの鼻周辺のデータから直接、３次元の鼻周辺の形状を検出する。そのため、上記説明した顔幅や各器官を画像処理で検出するものと比較して、処理負荷が小さいものとなる。
また、上記説明した顔幅や各器官を画像処理で検出するものでは、精度よく検出を行うためには、標準顔形状や器官形状などのデータを用意し、学習処理等を行うことが考えられる。これに対して、実施例１の顔向き検出装置１では、２次曲線近似、真円のフィッティングには、最小二乗法を用いることができ、計算負荷が小さくなる。上記説明したような学習データ不要である。
【００４９】
このように小さな処理負荷で精度よくドライバの顔向きを検出することは、顔向き検出が車両において、よそ見防止など顔向きに合わせた装置の制御に用いられる場合、その処理速度には速さが求められ、且つ低コストであることも求められるため、非常に有利である。
【００５０】
次に、効果を説明する。
実施例１の顔向き検出装置及び方法にあっては、下記に列挙する効果を得ることができる。
【００５１】
(1)車両のドライバの顔向きを検出する顔向き検出装置１であって、横長の横線状の光を照射するレーザー光源３１と、横線状の光をドライバの顔へ向かって反射し、且つ反射角度を駆動により変更する可動ミラー３２と、ドライバの顔に投影した横線状の光を撮像するカメラ２と、レーザー光源３１の照射と、可動ミラー３２の反射角度を制御するレーザー投光制御部５１と、カメラ２で撮像した撮像画像と、レーザー投光制御部５１で制御した横線状の光の投影角度に基づいて、投影された横線状の光の３次元座標を算出して、ドライバの顔向きを検出するレーザー検出処理部５３、３次元座標変換部５４及びドライバ顔向き算出部５５を備えたため、黒つぶれや白つぶれを考慮する必要がなく、且つ予め対象物のデータを備える必要なく、ドライバの顔向きを良好に検出することができる。
【００５２】
(2)上記(1)において、画像の処理を行う手段として、カメラ２で撮像した撮像画像から横線状の光の投影部分の２次元座標を抽出するレーザー検出処理部５３と、レーザー投光制御部５１で制御した横線状の光の投影角度に基づいて、横線状の光の投影部分の２次元座標を３次元座標に変換する３次元座標変換部５４と、投影された横線状の光の３次元座標からドライバの顔向きを検出するドライバ顔向き算出部５５を備えたため、まず撮像画像からレーザー光の投影部分の２次元座標を求め、これを３次元座標に変換して、顔向きを算出する。そのために、画像としては、レーザー光の投影部分がレーザー検出処理部５３で検出されれば画像としてはよいため、黒つぶれや白つぶれを考慮する必要がなく、ドライバの顔向きを良好に検出することができる。
【００５３】
(3)上記(2)において、顔向き算出部５５は、１つの投影角度における横線状の光の３次元座標で構成される光断面に２次曲線を近似するステップＳ５の２次曲線近似処理と、近似した２次曲線に真円を近似し、近似した真円の中心を頭部中心軸と設定するステップＳ６の真円近似処理と、横線状の光の３次元座標からドライバの鼻部分を検出するステップＳ８の鼻検出処理と、頭部中心軸と、検出されたドライバの鼻部分から顔向きを検出するステップＳ１０の顔向き算出処理を備えたため、最小２乗法を用いることができ、処理負荷を非常に小さくすることができ、この小さい負荷の処理で、良好に顔向きを検出することができる。
【００５４】
(4)上記(3)において、ステップＳ８の鼻検出処理は、頭部中心軸から真円までの半径Ｒと、頭部中心軸から横線状の光の３次元座標までの半径ｒを比較して検出するため、鼻先の高さにより、容易な処理で確実にドライバの鼻部分を検出することができ、さらに小さい負荷の処理で良好に顔向きを検出することができる。
【００５５】
(5)車両のドライバの顔向きを検出する顔向き検出方法であって、ドライバの顔へ向かう投影角度を制御により変更して、横線状の光を照射し、照射に同期させてドライバの顔に投影した横線状の光を撮像し、撮像した撮像画像と、制御した横線状の光の投影角度に基づいて、投影された横線状の光の３次元座標を算出して、ドライバの顔向きを検出するため、黒つぶれや白つぶれを考慮する必要がなく、且つ予め対象物のデータを備える必要なく、ドライバの顔向きを良好に検出することができる。
【００５６】
以上、本発明の顔向き検出装置及び方法を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００５７】
例えば、実施例１では、ドライバの顔に投影する横線状の光を、レーザー光としたが、直進性を持たせたＬＥＤ光であってもよい。また、横線状の光は、スリットを通過させて横線状にしたスリット光であっても、プリズムにより横線状にしたものであってもよい。
【符号の説明】
【００５８】
１    顔向き検出装置
２    カメラ
３    ラインレーザー部
３１    レーザー光源
３２    可動ミラー
３２１    ミラー
３２２    駆動部
３３    フィルタ
４    フィルタ
５    演算部
５１    レーザー投光制御部
５２    カメラ同期制御部
５３    レーザー検出処理部
５４    次元座標変換部
５５    ドライバ顔向き算出部
６    ステアリングコラム
７    インストパネル
１００    （画像に投影された）レーザー光
１０１    光断面
１０２    鼻部分
１０３    頭部中心軸
１０４    （顔向き方向を示す）ベクトル
【図１】
2010164393.tif 000003
【図２】
2010164393.tif 000004
【図３】
2010164393.tif 000005
【図４】
2010164393.tif 000006
【図５】
2010164393.tif 000007
【図１４】
2010164393.tif 000008
【図６】
2010164393.tif 000009
【図７】
2010164393.tif 000010
【図８】
2010164393.tif 000011
【図９】
2010164393.tif 000012
【図１０】
2010164393.tif 000013
【図１１】
2010164393.tif 000014
【図１２】
2010164393.tif 000015
【図１３】
2010164393.tif 000016