(57)【要約】【課題】１つの撮影手段で運転者の３次元の目の位置を検出することである。【解決手段】画像認識部１４は、カメラ１２で撮影された運転者の画像から目の位置を認識すると共に、シートベルトを認識する。３次元位置演算部１５は、画像認識部１４で認識された運転者の目の位置からＸＹ平面における目のＸＹ座標を算出すると共に、シートベルトの幅からＺ軸方向の運転者の顔の位置を算出する。【選択図】      図１
2009287936.tif 000002
【特許請求の範囲】
【請求項１】
運転者を撮影する撮影手段と、
前記撮影手段によりシートベルトを装着した状態で撮影された運転者の画像で、運転席の移動方向と直交するＸ、Ｙ平面における目の位置を算出するＸＹ座標算出手段と、
前記撮影手段により撮影された前記画像の前記シートベルトの幅と、予め記憶されている２以上の運転席の位置における前記シートベルトの幅と運転席の位置との関係に基づいて、前記Ｘ、Ｙ平面と直交するＺ軸方向の運転者の顔の位置を算出するＺ軸位置算出手段と、
前記ＸＹ座標算出手段により算出されるＸＹ座標における運転者の目の位置と、前記Ｚ軸位置算出手段により算出されるＺ軸方向の運転者の顔の位置とに基づいて、運転者の３次元の眼球位置を算出する３次元位置算出手段とを備える運転者眼球位置検出装置。
【請求項２】
前記Ｚ軸位置算出手段は、Ｚ軸方向の２以上の異なる位置に運転席を移動させた状態で、前記撮影手段で撮影した運転者の画像の前記シートベルトの幅とＺ軸方向の位置との関係を示すデータを記憶する記憶手段を有し、前記記憶手段に記憶されている前記シートベルトの幅とＺ軸方向の位置との関係を示す前記データと、Ｚ軸方向の任意の位置で前記撮影手段により撮影した画像の前記シートベルトの幅とに基づいて、Ｚ軸方向の運転者の顔の位置を算出する請求項１記載の運転者眼球位置検出装置。
【請求項３】
前記Ｚ軸位置算出手段は、Ｚ軸方向の２以上の異なる位置に運転席を移動させた状態で、前記撮影手段で撮影した運転者の画像の前記シートベルトの幅方向の画素数とＺ軸方向の位置との関係を示すデータを予め記憶し、予め記憶してある前記２以上の位置における前記シートベルトの幅方向の画素数とＺ軸方向の位置との関係を示す前記データと、Ｚ軸方向の任意の位置で前記撮影手段により撮影した画像の前記シートベルトの幅方向の画素数を比較して、Ｚ軸方向の運転者の顔の位置を算出する請求項１または２記載の運転者眼球位置検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の３次元の眼球位置を検出する装置に関する。
【背景技術】
【０００２】
自動車の運転席は前後に移動可能となっており、運転席の位置が変更された場合でも、ミラーの角度を自動調整するためには、運転者の眼球位置を検出する必要がある。従来、眼球位置を検出するために２台のカメラで運転者の顔を撮影して３次元の位置を算出していた。しかしながら、２台のカメラを使用するとコストが高くなるという問題点があった。
【０００３】
特許文献１には、１台の赤外線カメラを用いて自動車の運転者の眼球位置を検出する場合に、運転席の前後の位置の調整量に基づいて赤外線カメラから運転者までの距離を算出し、算出した距離に対応して予想される基準の顔面面積と眼球面積を特定する。そして、基準の顔面面積及び眼球面積に近い領域を運転者の眼球面積として特定し、眼球位置を算出することが記載されている。
【０００４】
特許文献１の発明は、運転席の位置の調整量を検出する手段が必要であり、カメラのみで運転者の眼球位置を検出することはできない。
特許文献２には、レーザ投受光型センサをシート状物体の幅方向に走査して、シート状物体の幅及び厚さを計測するシート状物体寸法計測装置について記載されている。
【特許文献１】特開平７−１６７６１８号公報
【特許文献２】特開平９−２１６１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、１台のカメラを用いて運転者の３次元の目の位置を検出できるようにすることである。
【課題を解決するための手段】
【０００６】
本発明の運転者眼球位置検出装置は、運転者を撮影する撮影手段と、前記撮影手段によりシートベルトを装着した状態で撮影された運転者の画像の運転席の移動方向と直交するＸ、Ｙ平面における目の位置を算出するＸＹ座標算出手段と、前記撮影手段により撮影された前記画像の前記シートベルトの幅と、予め記憶されている２以上の運転席の位置における前記シートベルトの幅と運転席の位置との関係に基づいて、前記Ｘ、Ｙ平面と直交するＺ軸方向の運転者の顔の位置を算出するＺ軸位置算出手段と、前記ＸＹ座標算出手段により算出されるＸＹ座標における運転者の目の位置と、前記Ｚ軸位置算出手段により算出されるＺ軸方向の運転者の顔の位置とに基づいて、運転者の３次元の眼球位置を算出する３次元位置算出手段とを備える。
【０００７】
この運転者眼球位置検出装置によれば、１つの撮影手段で運転者の３次元の眼球位置を算出することができる。
上記の運転者眼球位置検出装置において、前記Ｚ軸位置算出手段は、Ｚ軸方向の２以上の異なる位置に運転席を移動させた状態で、前記撮影手段で撮影した運転者の画像の前記シートベルトの幅とＺ軸方向の位置との関係を示すデータを記憶する記憶手段を有し、前記記憶手段に記憶されている前記シートベルトの幅とＺ軸方向の位置との関係を示す前記データと、Ｚ軸方向の任意の位置で前記撮影手段により撮影した画像の前記シートベルトの幅とに基づいて、Ｚ軸方向の運転者の顔の位置を算出する。
【０００８】
このように構成することで、運転席を任意の位置に移動させた場合でも、１つの撮影手段で撮影した画像を元に運転者の目の3次元の位置を正確に算出することができる。
上記の運転者眼球位置検出装置は、前記Ｚ軸位置算出手段は、Ｚ軸方向の２以上の異なる位置に運転席を移動させた状態で、前記撮影手段で撮影した運転者の画像の前記シートベルトの幅方向の画素数とＺ軸方向の位置との関係を示すデータを予め記憶し、予め記憶してある２以上の位置における前記シートベルトの幅方向の画素数とＺ軸方向の位置との関係を示す前記データと、Ｚ軸方向の任意の位置で前記撮影手段により撮影した画像の前記シートベルトの幅方向の画素数を比較して、Ｚ軸方向の運転者の顔の位置を算出する。
【０００９】
このように構成することで、運転席を任意の位置に移動させた場合でも、１つの撮影手段で撮影した画像から運転者の目の３次元の位置を正確に算出することができる。
【発明の効果】
【００１０】
本発明によれば１つの撮影手段で運転者の３次元の眼球位置を検出することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の好適な実施の形態について説明する。図１は、運転者の眼球位置を検出する運転者眼球位置検出装置１１とカメラ１２と制御対象のミラー１３を示す図である。この実施の形態は、運転者眼球位置検出装置１１により運転者の目の３次元の位置を算出し、算出した位置に基づいてバックミラー等の角度を最適な角度に自動的に調整する技術に関するものである。
【００１２】
運転者眼球位置検出装置１１は、カメラ（撮影手段）１２により撮影された画像に対して画像認識処理を施す画像認識部１４と、眼球の３次元位置を演算する３次元位置演算部１５と、演算により得られた３次元位置に基づいて、運転者の目の位置に合ったミラー角度を演算するミラー角度演算部１６と、カメラ１２の制御並びにミラー角度演算部１６の演算結果に基づいてミラーの角度調整を行う制御部１７とを有する。スイッチ１８は、ミラー角度の自動調整を行うか否かを決めるスイッチであり、このスイッチ１８がオンに設定されると、制御部１７が運転者の3次元の目の位置の検出とミラーの角度調整を自動的に行う。画像認識部１４、３次元位置演算部１５等はソフトウェアで実現しても良いし、ハードウェアで実現しても良い。
【００１３】
画像認識部１４は、撮影された画像から運転者の眼球位置を検出する目の検出部１９と、撮影された画像からシートベルトの位置を検出するシートベルト検出部２０とを有する。
【００１４】
目の検出部１９は、カメラ１２で撮影された運転者の画像から目の位置を特定する。シートベルト検出部２０は、シートベルトの色及び形状と運転者の衣服との違いを認識してシートベルトを検出する。
【００１５】
３次元位置演算部１５は、眼球の２次元方向（Ｘ、Ｙ軸方向）の位置を演算する２次元方向演算部（ＸＹ座標算出手段）２１と、Ｚ軸方向（運転席の移動方向）の位置を演算するＺ軸方向演算部（Ｚ軸位置算出手段）２２と有する。
【００１６】
２次元方向演算部２１は、画像認識部１４により目の位置が検出されたなら、運転席の移動方向と直交するＸＹ平面における目の位置を算出する。目の位置の検出は、例えば、居眠り防止装置等における目の位置を検出する公知の技術を用いることができる。
【００１７】
Ｚ軸方向演算部２２は、カメラ１２で撮影された画像のシートベルトの幅と、予め撮影してある２以上の位置におけるシートベルトの幅を比較することでＺ軸方向の顔の位置を算出する。
【００１８】
ミラー角度演算部１６は、３次元位置演算部１５により演算された運転者の目の3次元の位置に基づいて、運転者が見易いミラーの角度を演算する。このミラー角度演算部１６の演算結果は制御部１７に出力され、制御部１７がミラー１３の角度を自動調整する。
【００１９】
次に、以上のような構成の運転者眼球位置検出装置１１の動作を図２のフローチャートを参照して説明する。
スイッチ１８がオンされると、制御部１７はカメラ１２を動作させ運転者を撮影する（図２、Ｓ１１）。次に、撮影された画像の目の位置が検出できたか否かを判別する（Ｓ１２）。
【００２０】
目の位置が検出できた場合には（Ｓ１２、ＹＥＳ）、シートベルトが認識できたか否かを判別する（Ｓ１３）。シートベルトの認識は、例えば、シートベルトの色と運転者の衣服の色との違いなどからシートベルトの輪郭を抽出することで実現できる。あるいは、予めシートベルトの形状を記憶しておいて、撮影した画像の中の形状が一致する部分をシートベルトと認識しても良い。
【００２１】
シートベルトが認識できた場合には（Ｓ１３、ＹＥＳ）、次に、目の２次元（Ｘ−Ｙ軸）座標を演算する（Ｓ１４）。ステップＳ１４の処理では、例えば、カメラ１２で撮影した画像の隅の位置を基準にして顔の位置を特定することができ、さらに目の位置を特定することで運転席の移動方向（Ｚ軸）と直交する２次元平面におけるＸ、Ｙ座標を算出することができる。
【００２２】
次に、撮影された画像のシートベルトの幅を測定する(Ｓ１５）。シートベルトの幅の測定は、例えば、画像のシートベルトの幅方向のドット数（画素数）を計数することで行う。
【００２３】
次に、目の３次元位置（Ｘ、Ｙ、Ｚ座標）を演算する（Ｓ１６）。目のＺ軸方向の位置の演算は、例えば、以下のように行う。予めＺ軸方向の２以上の異なる位置に運転席を移動させた状態でシートベルトを装着した運転者を撮影しておく。そして、撮影した画像のシートベルトの幅方向のドット数と、カメラ１２から運転者の顔の位置までのＺ軸方向の位置との関係を示すデータを記憶しておく。Ｚ軸方向の任意の位置で撮影した運転者の画像のシートベルトの幅方向のドット数と、予め記憶してあるシートベルトの幅方向のドット数とＺ軸方向の位置との関係を示すデータから比例計算により、Ｚ軸方向の運転者の顔の位置を算出する。そして、上記のステップＳ１４で算出したＸ、Ｙ座標と、Ｚ軸方向の位置から運転者の目の３次元位置を算出する。
【００２４】
図３（Ａ）、（Ｂ）は、自動車３１の運転席に座っている運転者の画像のシートベルトの幅から運転者のＺ軸方向の位置を算出するときの説明図である。
図３（Ａ）は、運転者がカメラ１２に近い位置に座っている場合の例を示している。
【００２５】
先ず、カメラ１２で撮影した画像のシートベルト３２の幅方向のドット数を算出する。次に、２以上の位置で予め撮影した画像のシートベルトの幅方向のドット数とＺ軸方向の位置の関係と、今回撮影した画像のシートベルトの幅方向のドット数から、Ｚ軸方向の運転者の顔の位置までの距離Ｚ１を算出する。また、カメラ１２で撮影した画像からＸＹ座標における運転者の目の位置を算出する。これにより、運転者の目の位置の３次元座標を求めることができる。
【００２６】
図３（Ｂ）は、運転者が、図３（Ａ）よりカメラ１２から遠い位置に座っている場合の例を示している。
図３（Ａ）と同様に、カメラ１２で撮影した画像のシートベルト３２の幅方向のドット数を算出する。そして、算出したドット数と、上記のシートベルト３２の幅とＺ軸方向の位置との関係を示すデータとから、カメラ１２から運転者の顔の位置までの距離Ｚ１+Ｚ２を算出する。また、カメラ１２で撮影した画像からＸＹ座標における運転者の目の位置を算出する。これにより運転者の目の位置の３次元座標を求めることができる。
【００２７】
上述したように1台のカメラ１２で撮影した画像のシートベルトの幅方向のドット数を計測することで、運転者の3次元の目の位置を特定することができる。
上述した実施の形態によれば、１台のカメラで運転者の３次元の目の位置を測定することができる。この測定は、運転時に必ず装着するシートベルトを利用して行うことができるので測定のために特別な操作を行う必要がない。このように運転者の目の３次元の位置を検出し、検出した目の位置に応じてミラーの角度を調整することで、ルームミラー、サイドミラー等を運転者の見易い角度に自動的に調整することができる。
【図面の簡単な説明】
【００２８】
【図１】運転者眼球位置検出装置の構成を示す図である。
【図２】眼球位置検出処理のフローチャートである。
【図３】運転者の目の位置の検出方法の説明図である。
【符号の説明】
【００２９】
１１        運転者眼球位置検出装置
１２        カメラ
１３        ミラー
１４        画像認識部
１５        ３次元位置演算部
１６        ミラー角度演算部
１７        制御部
【図１】
2009287936.tif 000003
【図２】
2009287936.tif 000004
【図３】
2009287936.tif 000005