(57)【要約】【課題】本発明は、低コストで乗員の目の位置を精度良く測定することを目的とする。【解決手段】本発明に係るアイポイント測定装置は、乗員Ｍがシート装置１２に着座している状態でシート装置１２の位置調整前に単眼カメラ２５により撮影された乗員の目の初期画像のデータと、シート装置１２の位置調整後に単眼カメラ２５により撮影された乗員の目の調整後画像のデータとを記憶する画像記憶手段（ＥＣＵ２１）と、初期画像を調整後画像に重ねた状態における乗員の目の位置変化量と、位置調整前から位置調整後までのシート装置１２の移動量における画像に平行な成分と、単眼カメラ２５の画角とから乗員の目の三次元位置を演算する演算手段（ＥＣＵ２１）とを有する。【選択図】図１
2018105737.tif 000002
【特許請求の範囲】
【請求項１】
定位置に位置決めされた単眼カメラを使用して車両のシート装置に着座している乗員の目の三次元位置を測定するアイポイント測定装置であって、
乗員が前記シート装置に着座している状態で前記シート装置の位置調整前に前記単眼カメラにより撮影された乗員の目の初期画像のデータと、前記シート装置の位置調整後に前記単眼カメラにより撮影された乗員の目の調整後画像のデータとを記憶する画像記憶手段と、
前記初期画像を調整後画像に重ねた状態における乗員の目の位置変化量と、前記位置調整前から位置調整後までの前記シート装置の移動量における前記画像に平行な成分と、前記単眼カメラの画角とから乗員の目の三次元位置を演算する演算手段と、
を有するアイポイント測定装置。
【請求項２】
請求項１に記載されたアイポイント測定装置であって、
前記シート装置は、前後スライド及び昇降可能に構成されており、
前記初期画像を調整後画像に重ねた状態における乗員の目の位置変化量は、前記調整後画像において上下方向の位置変化量として現れるアイポイント測定装置。
【請求項３】
請求項１又は請求項２のいずれかに記載されたアイポイント測定装置であって、
前記演算手段により演算した乗員の目の位置のデータを出力する出力手段を備えているアイポイント測定装置。
【請求項４】
定位置に位置決めされた単眼カメラを使用してシート装置に着座している乗員の目の三次元位置を測定するアイポイント測定方法であって、
乗員が前記シート装置に着座している状態で前記単眼カメラにより乗員の目を撮影して初期画像を得る工程と、
前記シート装置の位置調整後に前記単眼カメラにより乗員の目を撮影して調整後画像を得る工程と、
前記初期画像を調整後画像に重ねた状態における乗員の目の位置変化量と、前記位置調整前から位置調整後までの前記シート装置の移動量における前記画像に平行な成分と、前記単眼カメラの画角とから乗員の目の三次元位置を演算する演算工程と、
を有するアイポイント測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、定位置に位置決めされた単眼カメラを使用して車両のシート装置に着座している乗員の目の三次元位置を測定するアイポイント測定装置、及びアイポイント測定方法に関する。
【背景技術】
【０００２】
単眼カメラを使用して乗員の目の位置を測定する技術が特許文献１に記載されている。特許文献１に記載の技術は、ヘッドアップディスプレイ（ＨＵＤ）装置に関するものであり、車両のシート装置に着座している乗員の目の位置を測定し、乗員の目の位置に基づいてディスプレイの表示位置を調整できるように構成されている。特許文献１に記載のＨＵＤ装置では、単眼カメラで撮影した乗員の左右の目の間隔寸法に基づいて乗員の顔が撮影された画像の奥行き距離（前記単眼カメラから被写体までの距離）を推定している。即ち、単眼カメラに対して乗員が近づくにつれて左右の目の間隔寸法が大きくなり、単眼カメラから乗員が離れるにつれて左右の目の間隔寸法が小さくなることを利用して、画像の奥行き距離を推定している。そして、前記距離と乗員の顔が撮影された画像とにより、乗員の目の位置を求めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−２０６７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記した乗員の目の位置測定方法では、単眼カメラで撮影した乗員の左右の目の間隔寸法に基づいて画像の奥行き距離を推定している。しかし、乗員の左右の目の間隔寸法には個人差があり、左右の目の間隔寸法から正確に画像の奥行き距離を求めることは難しい。このため、乗員の目の位置の測定精度が低いという問題がある。なお、例えば、ステレオカメラ等を使用すれば、画像の奥行き距離を正確に測定することが可能である。しかし、カメラが二台必要になるため、コストアップになる。
【０００５】
本発明は、上記問題点を解決するためになされたものであり、本発明が解決しようとする課題は、単眼カメラにより低コストで乗員の目の位置を精度良く測定できるようにすることである。
【課題を解決するための手段】
【０００６】
上記した課題は、各請求項の発明によって解決される。請求項１の発明は、定位置に位置決めされた単眼カメラを使用して車両のシート装置に着座している乗員の目の三次元位置を測定するアイポイント測定装置であって、乗員が前記シート装置に着座している状態で前記シート装置の位置調整前に前記単眼カメラにより撮影された乗員の目の初期画像のデータと、前記シート装置の位置調整後に前記単眼カメラにより撮影された乗員の目の調整後画像のデータとを記憶する画像記憶手段と、前記初期画像を調整後画像に重ねた状態における乗員の目の位置変化量と、前記位置調整前から位置調整後までの前記シート装置の移動量における前記画像に平行な成分と、前記単眼カメラの画角とから乗員の目の三次元位置を演算する演算手段とを有する。
【０００７】
本発明によると、演算手段は、初期画像を調整後画像に重ねた状態における乗員の目の位置変化量と、位置調整前から位置調整後までのシート装置の移動量における前記画像に平行な成分と、単眼カメラの画角とから乗員の目の三次元位置を演算する。即ち、シート装置の位置調整の前後における乗員の目の位置変化量をシート装置の移動量における画像に平行な成分と置き換えることで、乗員の目の三次元位置を正確に求めることができる。このように、シート装置の移動量のデータを利用することで、単眼カメラによって乗員の目の三次元位置を精度良く測定できる。このため、ステレオカメラ、あるいは距離センサ等を使用して乗員の目の三次元位置を測定する方法と比較してコスト低減を図ることができる。
【０００８】
請求項２の発明によると、シート装置は、前後スライド及び昇降可能に構成されており、前記初期画像を調整後画像に重ねた状態における乗員の目の位置変化量は、前記調整後画像において上下方向の位置変化量として現れる。このため、乗員の目の左右方向の移動を考える必要がなく、乗員の目の位置を求めるための演算が容易になる。
【０００９】
請求項３の発明によると、演算手段により演算した乗員の目の位置のデータを出力する出力手段を備えている。これより、乗員の目の位置のデータを出力手段により、例えば、サイドミラーの自動調整装置に対して出力することで、乗員の目の位置に基づいてサイドミラーを調整することが可能になる。同様に、乗員の目の位置に基づいてヘッドアップディスプレイ（ＨＵＤ）自動調整装置、カーナビ自動調整装置等を動作させることができる。
【００１０】
請求項４の発明は、定位置に位置決めされた単眼カメラを使用して車両のシート装置に着座している乗員の目の三次元位置を測定するアイポイント測定方法であって、乗員が前記シート装置に着座している状態で前記単眼カメラにより乗員の目を撮影して初期画像を得る工程と、前記シート装置の位置調整後に前記単眼カメラにより乗員の目を撮影して調整後画像を得る工程と、前記初期画像を調整後画像に重ねた状態における乗員の目の位置変化量と、前記位置調整前から位置調整後までの前記シート装置の移動量における前記画像に平行な成分と、前記単眼カメラの画角とから乗員の目の三次元位置を演算する演算工程とを有する。このため、請求項４の発明に係る方法を利用することで、請求項１に係る発明と同様の作用効果を得ることができる。
【発明の効果】
【００１１】
本発明によると、単眼カメラにより低コストで乗員の目の位置を精度良く測定できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係るアイポイント測定装置の構成を表す模式全体図である。
【図２】前記アイポイント測定装置の単眼カメラの画角を表す模式図である。
【図３】前記単眼カメラの画像の一例を表す図面である。
【図４】前記単眼カメラと被写体（画像）との関係を表す側面図である。
【図５】前記アイポイント測定装置の動作を表すフローチャートである。
【発明を実施するための形態】
【００１３】
［実施形態１］
以下、図１〜図５に基づいて、本発明の実施形態１に係るアイポイント測定装置２０について説明する。本実施形態に係るアイポイント測定装置２０は、乗用車１０の運転席のシート装置１２に着座している乗員Ｍの目の位置を測定する装置である。ここで、図中に示す前後左右、及び上下は、前記乗用車１０の前後左右、及び上下に対応している。
【００１４】
＜乗用車１０のシート装置１２の概要について＞
アイポイント測定装置２０について説明する前に、乗用車１０の運転席のシート装置１２の概要について説明する。前記シート装置１２は、図１に示すように、シート本体部１２０と、シート本体部１２０を車室フロアＦＬに対して前後スライド、及び昇降させるスライド昇降機構１２４と、スライド昇降機構１２４を制御するシートＥＣＵ１２６等とを備えている。シートＥＣＵ１２６は、操作スイッチ（図示省略）等からの信号に基づいてスライド昇降機構１２４等を動作させて、シート本体部１２０の前後位置、高さ位置等を調整できるように構成されている。また、シート本体部１２０の原位置（後端位置、及び下端位置）からの前進スライド量、及び上昇量のデータはシートＥＣＵ１２６から車両ＥＣＵ２１に伝送されるように構成されている。
【００１５】
＜アイポイント測定装置２０の構成について＞
アイポイント測定装置２０は、図１に示すように、単眼カメラ２５と車両ＥＣＵ２１とを備えている。車両ＥＣＵ２１は、単眼カメラ２５の画像データ、及びシート装置１２のシート本体部１２０の移動量等に基づいて乗員Ｍの目の三次元位置を演算可能に構成されている。単眼カメラ２５は、シート装置１２のシート本体部１２０に着座している乗員の顔の方向を向いた状態で乗用車１０のインストルメント・パネル１５の表面の所定位置に固定されている。
【００１６】
単眼カメラ２５は、図２に示すように、撮影される画像Ｆ（静止画像）に写される被写体の範囲を決める画角が一定値、例えば、２×θsに設定されている。即ち、単眼カメラ２５の水平画角と垂直画角とが共に２×θsに設定されている。このように、水平画角と垂直画角とが等しい値に設定されることで、単眼カメラ２５の画像Ｆは、図３に示すように、正方形（Ws＝Hs）に形成される。ここで、実際の被写体（実像）の寸法は、図２に示すように、単眼カメラ２５の撮像素子に写される虚像の寸法に所定の倍率を乗算して表すことができる。このため、説明上の便宜を考慮して、単眼カメラ２５の画像Ｆの寸法として実際の被写体の寸法を使用し、以下の説明を行う。
【００１７】
即ち、図３、図４において、画像Ｆの中心から画像Ｆの上端、あるいは下端までの距離Hsは、実際の被写体において画像Ｆの中心に対応する位置から画像Ｆの上端、あるいは下端に対応する位置までの距離を表している。同様に、画像Ｆの中心から画像Ｆの左端、あるいは右端までの距離Ws（Ws＝Hs）は、実際の被写体において画像Ｆの中心に対応する位置から画像Ｆの左端、あるいは右端に対応する位置までの距離を表している（図３参照）。また、図４に示すように、単眼カメラ２５のレンズ中心（中心）と画像Ｆの中心とを通る直線Ｃ（以下、中心線Ｃという）と、単眼カメラ２５の中心と画像Ｆの上端中心、あるいは下端中心を通る直線Ｋとの成す角θsは単眼カメラ２５の垂直画角（2×θs）の1/2となる。同様に、前記中心線Ｃと、単眼カメラ２５の中心と画像Ｆの左端中心、あるいは右端中心を通る直線との成す角θsは水平画角（2×θs）の1/2となる。
【００１８】
このため、単眼カメラ２５の位置から画像Ｆの中心に相当する被写体の位置までの距離L（画像Ｆの奥行き距離L）は、図４からL＝Hs÷tanθs・・１式で表される。ここで、単眼カメラ２５は、図３に示すように、画像Ｆの中心がシート装置１２（シート本体部１２０）に着座している乗員の顔のほぼ中央に合わせられるように位置決めされている。
【００１９】
＜アイポイント測定方法について＞
次に、図５に示すフローチャートに基づいてアイポイント測定方法について説明する。ここで、前記フローチャートは、車両ＥＣＵ２１のメモリに格納されているプログラムに基づいて実行される。先ず、乗員が乗車を開始する際に、シート装置１２のスライド昇降機構１２４が動作することで、シート本体部１２０は原位置、即ち、後端位置、及び下端位置まで戻される（ステップＳ１０１）。これにより、シート本体部１２０の前方に広いスペースが確保され、乗員が乗車し易くなる。また、乗員が乗車を開始すると単眼カメラ２５による撮影が開始される（ステップＳ１０１）。
【００２０】
そして、乗員がシート装置１２（シート本体部１２０）に着座したことが、例えば、着座センサ等により検出されると（ステップＳ１０２  ＹＥＳ）、乗員の着座後の単眼カメラ２５の画像データ（初期画像Ｆ２）が記憶される（ステップＳ１０３）。次に、乗員がスライド昇降機構１２４を操作してシート本体部１２０のシートポジションの調整を行う（ステップＳ１０４）。これにより、シート本体部１２０が前進スライド、及び上昇し、乗員もシート本体部１２０の移動に伴って前上方に移動する。そして、シートポジションの調整が終了すると（ステップＳ１０５  ＹＥＳ）、再びこのタイミングで単眼カメラ２５の画像データ（調整後画像Ｆ１）が記憶される（ステップＳ１０６）。次に、ステップＳ１０７で、乗員の目の三次元位置を求めるための演算（アイポイント位置算出）が行われる。
【００２１】
アイポイント位置算出は、図３、図４に示すように、初期画像Ｆ２と調整後画像Ｆ１とを使用して行われる。上記したように、シート装置１２のポジション調整はシート本体部１２０を原位置から前方にスライドさせ、さらに上昇させて行う。このため、調整後画像Ｆ１における乗員の目の位置Ｅ１は、図３、図４に示すように、初期画像Ｆ２における乗員の目の位置Ｅ０２に対して前上方に移動している。
【００２２】
アイポイント位置算出では、図３、図４に示すように、調整後画像Ｆ１と初期画像Ｆ２とを画像中心を合わせて重ねるようにする。これにより、調整後画像Ｆ１上には、調整後における乗員の目の位置Ｅ１と調整前における乗員の目の位置Ｅ２とが表示される。そして、調整後画像Ｆ１上で画像Ｆの中心Ｃから調整前における乗員の目の位置Ｅ２までの高さ方向の距離H2と、画像Ｆの中心Ｃから調整後における乗員の目の位置Ｅ１までの高さ方向の距離H1とが演算される。ここで、調整前における乗員の目の位置Ｅ２と調整後における乗員の目の位置Ｅ１とは、画像Ｆの中心Ｃを挟んで上下にあるため、（H1+H2）が乗員の上方向の移動量となる。
【００２３】
なお、調整前における乗員の目の位置Ｅ２と調整後における乗員の目の位置Ｅ１とが、画像Ｆの中心Ｃに対して上方、あるいは下方にまとまっている場合には、距離H1と距離H2との差が乗員の上方向の移動量となる。そして、乗員の上方向の移動量は、シート装置１２のシート本体部１２０の上方向の移動量に等しくなる。シート本体部１２０の上方向の移動量はシートＥＣＵ１２６のデータに基づいて演算される。
【００２４】
ここで、図４に示すように、調整後画像Ｆ１上における調整後の乗員の目の位置Ｅ１と単眼カメラ２５の中心とをむすぶ線分を線分Ｋ１とし、その線分Ｋ１と前記中心線Ｃとの成す角をθ1とする。さらに、調整後の乗員の目の位置Ｅ１と単眼カメラ２５の中心までの距離をL1とする。また、調整後画像Ｆ１上における調整前の乗員の目の位置Ｅ２と単眼カメラ２５の中心とをむすぶ線分をＫ２とし、その線分Ｋ２と中心線Ｃとの成す角をθ2とする。さらに、調整前の乗員の目の位置Ｅ２と単眼カメラ２５の中心までの距離をL2とする。
【００２５】
この状態で、線分Ｋ１と、線分Ｋ２と、乗員の目の位置Ｅ１、Ｅ２をつなぐ線分とからなる三角形に余弦定理を適用する。これにより、
（H1+H2）2＝（L1）2+（L2）2−2×L1×L2×cos(θ1＋θ2）・・・２式
が得られる。ここで、画像Ｆの奥行き距離Lは、L＝L1 cosθ1・・３式、又はL＝L2 cosθ2・・４式で表される。
このため、２式に３式、４式を代入して整理すると、画像Ｆの奥行き距離Lは、
【数１】
2018105737.tif 000003
で表される。
【００２６】
５式におけるθ1は、図４によりθ1＝tan-1（H1÷L）・・６式で表される。また、１式により、L＝Hs÷tanθsで表される。したがって、６式に１式を代入して、θ1＝tan-1（（H1÷Hs）×tanθs ）・・７式で表される。    
５式におけるθ2は、θ2＝tan-1（H2÷L）・・８式で表される。したがって、８式に１式を代入してθ2＝tan-1（（H2÷Hs）×tanθs ）・・９式で表される。
また、（H1＋H2）は、上記したように、シート本体部１２０の上方向の移動量である。
したがって、画像Ｆの奥行き距離Lは、単眼カメラの画角（2θs）と、画像Ｆ１の中心から画像Ｆ１の上端、あるいは下端までの距離Hsと、シート本体部１２０の上方向の移動量である（H1＋H2）により演算で求められる。このように、画像Ｆの奥行き距離Lが求められることで、単眼カメラ２５の中心に対する乗員の目の位置Ｅ１を求めることが可能になる。
【００２７】
そして、乗員の目の位置Ｅ１が求められると、乗員の目の位置Ｅ１のデータがサイドミラー自動調整装置３１、ヘッドアップディスプレイ自動調整装置３２、及びカーナビ自動調整装置３３に伝送されて、乗員の目の位置Ｅ１に応じたモニタ等の角度調整が行われる（ステップＳ１０７，Ｓ１０８，Ｓ１０９）。このように、上記した車両ＥＣＵ２１のメモリが本発明の画像記憶手段に相当し、車両ＥＣＵ２１のＣＰＵが本発明の演算手段及び出力手段に相当する。
【００２８】
＜本実施形態に係るアイポイント測定装置２０の長所について＞
本発明によると、車両ＥＣＵ２１（演算手段）は、初期画像を調整後画像に重ねた状態における乗員の目の位置変化量（H1＋H2）と、位置調整前から位置調整後までのシート装置の移動量における前記画像に平行な成分（H1＋H2）と、単眼カメラの画角（2θs）とから乗員の目の三次元位置を演算する。即ち、シート装置１２の位置調整の前後における乗員の目の位置変化量をシート装置の移動量における画像に平行な成分と置き換えることで、乗員の目の三次元位置を正確に求めることができる。このように、シート装置１２の移動量のデータを利用することで、単眼カメラ２５により乗員の目の三次元位置を精度良く測定できる。このため、ステレオカメラ、あるいは距離センサ等を使用して乗員の目の三次元位置を測定する方法と比較してコスト低減を図ることができる。
【００２９】
また、シート装置１２は、前後スライド及び昇降可能に構成されており、初期画像Ｆ２を調整後画像Ｆ１に重ねた状態における乗員の目の位置変化量は、調整後画像Ｆ１において上下方向の位置変化量として現れる。このため、乗員の目が左右方向に移動することがなくなり、乗員の目の位置を求めるための演算が容易になる。また、乗員の目の位置のデータを車両ＥＣＵ２１（出力手段）により、サイドミラー自動調整装置３１に対して出力することで、乗員の目の位置に基づいてサイドミラーを調整することができる。同様に、乗員の目の位置に基づいてヘッドアップディスプレイ（ＨＵＤ）自動調整装置３２、カーナビ自動調整装置３３等を動作させることができる。
【００３０】
＜変更例＞
ここで、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲における変更が可能である。例えば、本実施形態に係るアイポイント測定装置２０では、前後スライド及び昇降可能なシート装置１２に着座している乗員の目の位置を測定する例を示した。しかし、回転スライドするシート装置１２に着座している乗員の目の位置を測定することも可能である。また、本実施形態では、単眼カメラ２５を乗用車のインストルメント・パネル１５に固定する例を示した。しかし、単眼カメラ２５を車室の天井部、あるいはルームミラーの位置に固定することも可能である。また、本実施形態では、単眼カメラ２５の水平画角と垂直画角とを等しい値（2×θs）に設定する例を示した。しかし、単眼カメラ２５の水平画角と垂直画角とを異なる値に設定することも可能である。また、本実施形態では、運転席のシート装置１２に着座している乗員の目の位置を測定する例を示した。しかし、運転席以外のシート装置に着座している乗員の目の位置を測定することも可能である。
【符号の説明】
【００３１】
１２・・・・シート装置
１２０・・・シート本体部
２０・・・・アイポイント測定装置
２５・・・・単眼カメラ
２１・・・・車両ＥＣＵ２１（画像記憶手段、演算手段、出力手段）   
Ｆ１・・・・調整後画像
Ｆ２・・・・初期画像
Ｍ・・・・・乗員
【図１】
2018105737.tif 000004
【図２】
2018105737.tif 000005
【図３】
2018105737.tif 000006
【図４】
2018105737.tif 000007
【図５】
2018105737.tif 000008