(57)【要約】【課題】画像処理を用いることなく、車両の後方確認用として搭載したインナーミラーの角度情報からドライバーの目の位置を検出し、ドライバーの状態推定がリアルタイム処理できる目の位置検出装置及び目の位置検出方法を提供する。【解決手段】ドライバーが車両の後方を確認するインナーミラーと、インナーミラーと所定の位置関係で配置されてドライバーを撮影する撮影装置と、インナーミラー及び撮影装置を少なくとも２つの回転軸を中心に回転可能に支持するインナーミラー回転機構と、インナーミラー回転機構の回転軸の回転角を検出する回転角検出装置と、回転角検出装置により検出された回転軸のそれぞれの回転角に基づき、前記撮影装置により撮影された映像上でのドライバーの目の位置を算出する位置演算装置と、を有する目の位置検出装置とする。【選択図】図２
2008014761.tif 000002
【特許請求の範囲】
【請求項１】
ドライバーが車両の後方を確認するインナーミラーと、
前記インナーミラーと所定の位置関係で配置されて前記ドライバーを撮影する撮影装置と、
前記インナーミラー及び前記撮影装置を少なくとも２つの回転軸を中心に回転可能に支持するインナーミラー回転機構と、
前記インナーミラー回転機構の前記回転軸の回転角を検出する回転角検出装置と、
前記回転角検出装置により検出された前記回転軸のそれぞれの回転角に基づき、前記撮影装置により撮影された映像上での前記ドライバーの目の位置を算出する位置演算装置と、
を有する目の位置検出装置。
【請求項２】
前記撮影装置は、前記インナーミラー回転機構の前記回転軸の交差する回転中心に配置されていることを特徴とする請求項１に記載の目の位置検出装置。
【請求項３】
前記車両は、前記インナーミラー回転機構の回転調整時に使用するマーカーを前記車両のリアガラスの所定の位置に有することを特徴とする請求項１に記載の目の位置検出装置。
【請求項４】
ドライバーが車両の後方を確認するインナーミラー及び前記ドライバーを撮影する撮影装置の角度を初期設定する初期設定ステップと、
前記インナーミラーを所定の角度だけ回転駆動する回転駆動ステップと、
前記回転駆動ステップにより回転した前記インナーミラーの回転角を検出する回転角検出ステップと、
前記回転角検出ステップにより検出された前記インナーミラーの回転角に基づき、前記撮影装置により撮影された映像上での前記ドライバーの目の位置を検出する目の位置演算ステップと、
を有する目の位置検出方法。
【請求項５】
前記目の位置演算ステップは、前記撮影装置の画角に基づき、前記撮影装置により撮影された映像上での前記ドライバーの目の位置を算出することを特徴とする請求項４に記載の目の位置検出方法。
【請求項６】
前記各ステップは、それぞれ水平方向及び垂直方向に対して行なうことを特徴とする請求項４に記載の目の位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバーの目の位置を検出する目の位置検出装置及び目の位置検出方法に関する。
【背景技術】
【０００２】
従来、車両を運転するドライバーの目の位置検出装置として、例えば、ドライバーの顔部分を撮影して２枚の画像として入力し、この画像の明領域にある独立した暗領域を特異点として抽出し、その特異点を目として認識する構成の目の位置検出装置がある（特許文献１）。赤外ストロボにより赤外光を照射させながら２つの撮像素子でドライバーの画像を撮影し、その２つの画像を画像処理により２値化してドライバーの目の位置として抽出するものである。
【０００３】
また、他の目の位置検出装置として、例えば、目を含む顔画像を濃度階調情報として入力する画像入力手段と、入力された顔画像を２値化する２値化手段と、この２値化した画像から眼球の存在領域を特定する眼球存在領域特定手段とからなり、しきい値を条件により変化させて設定することにより、画像処理による目の位置抽出精度を向上させた目の位置検出装置がある（特許文献２）。
【０００４】
上記示した目の位置検出装置によって検出されたドライバーの目の位置は、ドライバーの居眠りやわき見運転の検出に利用できるものである。
【特許文献１】特開昭６０−１５８３０３号公報
【特許文献２】特開平４−２１６４０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１及び２に示した目の位置検出装置によれば、カメラ等で撮影したドライバーの顔部分の画像に画像処理を施し、ドライバーの顔以外の画像、例えば、背景や後部座席の搭乗者等から目的とするドライバーの目の位置だけを抽出するための演算処理を行なう必要があるので、ドライバーの目の位置を検出するのに時間を要し、リアルタイム処理が困難となる。
【０００６】
本発明の目的は、画像処理を用いることなく、車両の後方確認用として搭載したインナーミラーの角度情報からドライバーの目の位置を検出し、ドライバーの状態推定がリアルタイム処理できる目の位置検出装置及び目の位置検出方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、ドライバーが車両の後方を確認するインナーミラーと、前記インナーミラーと所定の位置関係で配置されて前記ドライバーを撮影する撮影装置と、前記インナーミラー及び前記撮影装置を少なくとも２つの回転軸を中心に回転可能に支持するインナーミラー回転機構と、前記インナーミラー回転機構の前記回転軸の回転角を検出する回転角検出装置と、前記回転角検出装置により検出された前記回転軸のそれぞれの回転角に基づき、前記撮影装置により撮影された映像上での前記ドライバーの目の位置を算出する位置演算装置と、を有する目の位置検出装置を提供する。
【０００８】
また、本発明の一態様によれば、ドライバーが車両の後方を確認するインナーミラー及び前記ドライバーを撮影する撮影装置の角度を初期設定する初期設定ステップと、前記インナーミラーを所定の角度だけ回転駆動する回転駆動ステップと、前記回転駆動ステップにより回転した前記インナーミラーの回転角を検出する回転角検出ステップと、前記回転角検出ステップにより検出された前記インナーミラーの回転角に基づき、前記撮影装置により撮影された映像上での前記ドライバーの目の位置を検出する目の位置演算ステップと、を有する目の位置検出方法を提供する。
【発明の効果】
【０００９】
本発明の実施の態様によれば、画像処理を用いることなく、車両の後方確認用として搭載したインナーミラーの角度情報からドライバーの目の位置を検出し、ドライバーの状態推定がリアルタイム処理できる目の位置検出装置及び目の位置検出方法を提供することが可能となる。
【発明を実施するための最良の形態】
【００１０】
（本発明の実施の形態）
図１は、本発明の実施の形態に係る目の位置検出装置が装備された自動車等の車両１を示す図であり、（ａ）は、上方から見た平面図であり、（ｂ）は側面から見た図である。車両１の車幅方向をＸ軸、前後方向をＹ軸、上下方向をＺ軸とし、原点Ｏを中心に、目の位置検出装置１００のインナーミラー回転機構２００がＸ軸回りにΦｘ、Ｚ軸回りにΦｚだけ回転した状態で初期設定されて車両１に装着されている。
【００１１】
図２は、本発明の実施の形態に係る位置検出装置１００の機能構成図である。位置検出装置１００は、ドライバーＤＲが車両１の後方を確認するためのインナーミラー回転機構２００、このインナーミラー回転機構２００における回転角検出装置３００として、ｘ軸の回転角を検出するｘ軸回転角検出器３０１およびｚ軸の回転角を検出するｚ軸回転角検出器３０２、ドライバーを撮影する１台の撮影装置であるカメラ４００、ｘ軸回転角検出器３０１およびｚ軸回転角検出器３０２の出力に基づいてドライバーＤＲの目の位置を算出する位置演算装置５００と、を有して構成され、これらの装置は車両１側から必要に応じてＥＣＵ(Electrical Control Unit)６００により制御される。
【００１２】
図３は、本発明の実施の形態に係る目の位置検出装置１００で使用するインナーミラー回転機構２００の構成を示す斜視図である。インナーミラー２０１は、インナーミラー枠２０２の表面に形成されており、インナーミラー表面に位置する原点Ｏを中心にして、ｘ軸回り、及びｚ軸回りに回転可能に支持されている。インナーミラー枠２０２は、外枠２０３にｘ軸回りに回転可能な状態で支持され、外枠２０３は、ｚ軸回りに回転可能な状態で車両１の所定の位置に固定用ポスト２０４を介して支持されている。
【００１３】
インナーミラー枠２０２は、ｘ軸回転支持軸２０５でｘ軸回りに回転可能に支持されると共に、ｘ軸回転角検出器３０１でｘ軸の回転角を検出し出力可能な状態でｘ軸回りに回転可能に支持されている。また、インナーミラー枠２０２は、外枠２０３を介して固定用ポスト２０４で車両１の所定の位置に固定されると共に、ｚ軸回転角検出器３０２でｚ軸の回転角を検出し出力可能な状態でｚ軸回りに回転可能に支持されている。尚、インナーミラー枠２０２及び外枠２０３は、互いに直交する回転軸により回転支持されていることが好ましい。
【００１４】
ｘ軸回転角検出器３０１及びｚ軸回転角検出器３０２としては、ポテンショメータが適用できる。ポテンショメータは、回転に伴い抵抗器との接触部と非接触部との境界位置が変化するので、回転角に応じた抵抗値が検出できる。所定の電圧を印加した状態で、ｘ軸回転角検出器３０１またはｚ軸回転角検出器３０２の回転角を電圧値として検出し、ＥＣＵ６００に取り込んだ後にＡ／Ｄ変換することで、位置演算装置５００でドライバーＤＲの目の位置を算出する場合の演算処理に使用できる。
【００１５】
また、ｘ軸回転角検出器３０１及びｚ軸回転角検出器３０２としては、ｘ軸回り及びｚ軸回りの回転支持を歯車により行なう構成とし、その歯車の回転に伴う回転数からｘ軸回転角、ｚ軸回転角を検出する方式を適用することができる。歯車の歯の領域と歯溝の領域とで反射あるいは透過する光を、例えば、フォトインタラプタで検出することで回転する歯数をカウントでき、これに基づいてｘ軸回転角、ｚ軸回転角を検出することができる。また、着磁した歯車を使用すれば、回転する歯数を、ＭＲ素子あるいはホールＩＣで検出することができる。
【００１６】
また、ｘ軸回転角検出器３０１としては、傾斜センサーを適用することができる。傾斜センサーには、ｘ軸回りの回転に伴う液面の変化を静電容量の変化として検出する方式や、内部に配置した磁石の傾斜量をホールＩＣで検出する方式等がある。
【００１７】
インナーミラー枠２０２には、その表面のインナーミラー２０１上で、原点Ｏの位置に、ｘ軸及びｚ軸に対して各々θｘ、θｚの角度を有して、１台のカメラ４００が取付けられている。尚、カメラ４００は、インナーミラー２０１の原点Ｏの位置、すなわち、中央部に取付けられるので、ドライバーＤＲがインナーミラー２０１を見るときの妨げとならないように、インナーミラー２０１がハーフミラーで構成され、カメラ４００はそのハーフミラーを透過してドライバーＤＲ等を撮影する構成となっていることが好ましい。また、カメラ４００の設置位置は、インナーミラー２０１の中央部には限られず、インナーミラー２０１との位置が一定の位置であれば、本発明の実施の形態に係る目の位置検出装置に適用できる。
【００１８】
（本発明の実施の形態に係る目の位置検出方法）
図４は、目の位置検出方法を示す処理フロー図である。以下、このフロー図で示すステップに従い、目の位置検出方法を説明する。
【００１９】
［ステップｓ１］初期設定ステップ
図５（ａ）は、車両１の平均的なシート位置の運転席に、平均的な座高のドライバーＤＲが座ったときにドライバーＤＲが車両１の真後ろを見る位置関係にインナーミラー２０１が初期設定され、また、カメラ４００で撮影したドライバーＤＲの左目がカメラ映像の中央にくるように初期設定されている場合の上平面図であり、（ｂ）は、カメラ４００で撮影されたドライバーＤＲの画面上での位置関係を示す図である。
【００２０】
上記の初期設定状態では、インナーミラー回転機構２００はＺ軸回りにΦｚだけ回転した状態であり、また、カメラ４００はｚ軸に対してθｚの角度を有して設置されている。この状態では、図５に示すように、ドライバーＤＲがインナーミラー２０１を見る方向とカメラ４００がドライバーＤＲを撮影する方向とは、向きが逆であるが角度は一致している。すなわち、ドライバーＤＲの目とカメラ４００のなす角度ζｚは、ζｚ＝０である。
【００２１】
垂直方向についても、図示は省略するが図５と同様にして求められ、初期設定状態では、インナーミラー回転機構２００はＸ軸回りにΦｘだけ回転した状態であり、また、カメラ４００はｘ軸に対してθｘの角度を有して設置されている。この状態では、ドライバーＤＲがインナーミラー２０１を見る方向とカメラ４００がドライバーＤＲを撮影する方向とは、向きが逆であるが角度は一致している。すなわち、ドライバーＤＲの目とカメラ４００のなす角度ζｘは、ζｘ＝０である。
【００２２】
［ステップｓ２］回転駆動ステップ
ドライバーＤＲが車両１の運転席シートに座ったときに、ドライバーＤＲがインナーミラー２０１で反射して後方の景色を見たときに、真後ろを見るように、インナーミラー２０１の角度を調整する。この場合に、車両１の例えばリアガラスに貼り付けられたマーカー７００を目印にインナーミラー２０１の角度調整を行なっても良い。この角度調整は、ｘ軸回り（垂直方向）、ｚ軸回り（水平方向）を別々に行なってもよいし、ほぼ同時に行なってもよい。
【００２３】
［ステップｓ３］回転角検出ステップ
インナーミラー２０１が角度調整される前のｘ軸回転角検出器３０１及びｚ軸回転角検出器３０２の出力Φｘ、Φｚが、角度調整後に、それぞれ、Φｘ′、Φｚ′として出力される。あるいは、角度調整前と後の出力差をインクリメンタルに出力されるよう構成してもよい。この実施の形態では、前者のように、ｘ軸回転角検出器３０１及びｚ軸回転角検出器３０２から角度調整前と後の出力が、Φｘ、Φｚ、Φｘ′、Φｚ′として出力されるものとして説明する。
【００２４】
［ステップｓ４］目の位置演算ステップ
図６は、インナーミラー２０１の角度調整後の、インナーミラー２０１とドライバーＤＲの位置あるいは角度の関係を、図５と同様に水平面内で示す図である。
【００２５】
ステップｓ２のインナーミラー２０１の角度調整により、図５に示したドライバーＤＲの目とインナーミラー２０１との角度Φｘ、Φｚが、図６に示すように、Φｘ′、Φｚ′になったとすれば、ドライバーＤＲの目とカメラ４００のなす角度ζｘ′、ζｚ′は、それぞれζｘ′＝Φｘ―Φｘ′、ζｚ′＝Φｚ―Φｚ′となる。
【００２６】
図７（ａ）は、ドライバーＤＲの顔の位置とカメラ４００の画角から、ドライバーＤＲの角度を示す図であり、（ｂ）は、水平方向の角度の関係を示す図、（ｃ）は、垂直方向の角度の関係を示す図である。
【００２７】
カメラ４００の水平画角αｈに対応する水平画面幅をＷｈとすると、ドライバーＤＲの目とカメラ４００のなす角度ζｚ′から、ドライバーＤＲの目の映像上の位置は、図７（ａ）のように、ａｘ＝Ｗｈ×ζｚ′／αｈと算出される。
【００２８】
同様にして、カメラ４００の垂直画角αｐに対応する垂直画面幅をＷｐとすると、ドライバーＤＲの目とカメラ４００のなす角度ζｘ′から、ドライバーＤＲの目の映像上の位置は、図７（ａ）のように、ａｚ＝Ｗｐ×ζｘ′／αｐと算出される。
【００２９】
以上の目の位置演算ステップにより、ドライバーＤＲの目のカメラ４００からの映像上での位置が求められる。尚、ドライバーＤＲの目の位置は、インナーミラー２０１に近い左目あるいは利き目の位置である。
【００３０】
（本発明の実施の形態の効果）
本発明の実施の形態によれば、次のような効果を有する。
（１）本発明の実施の態様に係る目の位置検出装置または目の位置検出方法によれば、画像処理を用いることなく、車両の後方確認用として搭載したインナーミラーの角度情報からドライバーの目の位置を検出するので、検出速度を大幅に向上させることができ、ドライバーの状態推定をリアルタイム処理できるという効果を有する。
（２）また、本発明の実施の態様に係る目の位置検出装置または目の位置検出方法により、目の位置を検出し、その付近を画像処理により種々の画像認識を行なう場合にも大きな効果を有する。すなわち、カメラで撮影した映像全体から目を検出する場合と比較し、顔とは無関係な部分の探索が省略できるため、処理時間の大幅な改善が可能となる。撮影映像全体を探索する場合、背景に検出したい顔部品と似た特徴を有する物体、例えば、後部座席の人物の顔等が存在すると、それをドライバーの顔部品と誤検出する可能性があるが、本実施の形態では、ドライバーの顔（目、左目）が存在すると想定される位置付近から探索を始めるため、上記の誤検出の問題も改善可能となる。
（３）ドライバーの目の位置情報がリアルタイムで得られるので、この情報に基づいて、インナーミラーを自動で調整することも可能となる。また、ドライバーの目の動きも検出可能となるので、居眠り運転、わき見運転等を防止するための装置等への適用が可能となる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本発明の実施の形態に係る目の位置検出装置が装備された自動車等の車両１を示す図であり、（ａ）は、上方から見た平面図であり、（ｂ）は側面から見た図である。
【図２】本発明の実施の形態に係る位置検出装置１００の機能構成図である。
【図３】本発明の実施の形態に係る目の位置検出装置１００で使用するインナーミラー回転機構２００の構成を示す斜視図である。
【図４】目の位置検出方法を示す処理フロー図である。
【図５】（ａ）は、車両１の平均的なシート位置の運転席に、平均的な座高のドライバーＤＲが座ったときにドライバーＤＲが車両１の真後ろを見る位置関係にインナーミラー２０１が初期設定され、また、カメラ４００で撮影したドライバーＤＲの左目がカメラ映像の中央にくるように初期設定されている場合の上平面図であり、（ｂ）は、カメラ４００で撮影されたドライバーＤＲの画面上での位置関係を示す図である。
【図６】インナーミラー２０１の角度調整後の、インナーミラー２０１とドライバーＤＲの位置あるいは角度の関係を、図５と同様に水平面内で示す図である。
【図７】（ａ）は、ドライバーＤＲの顔の位置とカメラ４００の画角から、ドライバーＤＲの角度を示す図であり、（ｂ）は、水平方向の角度の関係を示す図、（ｃ）は、垂直方向の角度の関係を示す図である。
【符号の説明】
【００３２】
１      車両
１００  目の位置検出装置
２００  インナーミラー回転機構
２０１  インナーミラー
２０２  インナーミラー枠
２０３  外枠
２０４  固定用ポスト
２０５  ｘ軸回転支持軸
３００  回転駆動装置
３０１  ｘ軸回転角検出器
３０２  ｚ軸回転角検出器
４００  カメラ
５００  位置演算装置
６００  位置演算装置
７００  マーカー
ＤＲ    ドライバー
【図１】
2008014761.tif 000003
【図２】
2008014761.tif 000004
【図３】
2008014761.tif 000005
【図４】
2008014761.tif 000006
【図５】
2008014761.tif 000007
【図６】
2008014761.tif 000008
【図７】
2008014761.tif 000009