(57)【要約】 【課題】  乗員の視線に応じて機器を制御する際に機器の表示画面の明るさを適切に設定する。【解決手段】  制御機器１３の表示装置をインストルメントパネルに配置されたメイン表示画面およびサブ表示画面とフロントウィンドウ上に情報を表示するヘッドアップディスプレイ（ＨＵＤ）とを備えて構成し、ＨＵＤの所定領域内に複数の視線スイッチを配置した。操作制御部３３は、視線検出部３１により検出された乗員の視線の対象位置が、各視線スイッチ以外または各種の制御機器１３以外である継続時間Ｔが所定時間Ｔ０よりも長い場合に、視線スイッチの明るさを低減したり、視線スイッチを縮小表示したり、視線スイッチの表示を停止したり、各表示画面およびＨＵＤの明るさを低減したり、各表示画面およびＨＵＤの表示を停止する。【選択図】      図１
2006219000.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の視線を検出する視線検出手段と、
該視線検出手段により検出された視線の対象位置が、表示装置の表示画面上の所定領域内に設けられた操作部位である場合に、前記操作部位に応じた機器の動作を制御する制御信号を前記機器に出力する操作手段とを備える車両用操作装置であって、
前記操作手段は、前記操作部位および前記機器の表示画面の明るさを増大させるオン信号と、前記操作部位および前記機器の明るさを低減させるオフ信号とを出力可能であって、前記視線検出手段により検出された視線の対象位置が前記操作部位であることが、所定期間内で検知されなかった場合に前記オフ信号を出力することを特徴とする車両用操作装置。
【請求項２】
前記操作手段は、前記視線検出手段により検出された視線の対象位置が前記操作部位以外の位置であって、かつ、前記機器上の位置である場合には、前記オフ信号の出力を禁止することを特徴とする請求項１に記載の車両用操作装置。
【請求項３】
前記操作手段は、前記操作部位および前記機器の表示画面の明るさが低減させられている状態で、前記視線検出手段により検出された視線の対象位置が前記所定領域内の位置である場合には、前記オン信号を出力することを特徴とする請求項１に記載の車両用操作装置。
【請求項４】
前記視線検出手段は、車両の運転者および該運転者以外の他の乗員の視線を検出可能であることを特徴とする請求項１に記載の車両用操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用操作装置に関する。
【背景技術】
【０００２】
従来、例えば車両のフロントウィンドウ上に車載機器の各種操作項目を表示し、赤外線領域にて撮影可能なカメラを用いて検出した乗員の視線の対象位置が適宜の操作項目上の位置である場合に、この操作項目に対応した操作信号を車載機器に出力する車両用操作装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開平０５−２７０２９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術に係る車両用操作装置によれば、乗員の視線の対象位置が適宜の操作項目上の位置であるか否かに応じて車載機器が操作されることから、乗員の視線の対象位置を検出する状態においては、乗員が各種の操作項目を認識し易いようにして、各操作項目の表示の明るさが増大させられる場合がある。しかしながら、単に、各操作項目の表示の明るさが増大させられるだけでは、夜間等において乗員が眩惑させられてしまう虞がある。
本発明は上記事情に鑑みてなされたもので、乗員の視線に応じて機器を制御する際に機器の表示画面の明るさを適切に設定することが可能な車両用操作装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車両用操作装置は、車両の乗員の視線を検出する視線検出手段（例えば、実施の形態での視線検出部３１）と、該視線検出手段により検出された視線の対象位置が、表示装置の表示画面（例えば、実施の形態でのＨＵＤ４３）上の所定領域（例えば、実施の形態での所定領域４３Ａ）内に設けられた操作部位（例えば、実施の形態での各視線スイッチ４４１，…，４４ｎ）である場合に、前記操作部位に応じた機器（例えば、実施の形態での制御機器１３）の動作を制御する制御信号を前記機器に出力する操作手段（例えば、実施の形態での操作制御部３３）とを備える車両用操作装置であって、前記操作手段は、前記操作部位および前記機器の表示画面の明るさを増大させるオン信号と、前記操作部位および前記機器の明るさを低減させるオフ信号とを出力可能であって、前記視線検出手段により検出された視線の対象位置が前記操作部位であることが、所定期間内で検知されなかった場合に前記オフ信号を出力することを特徴としている。
【０００５】
上記構成の車両用操作装置によれば、車両の乗員の視線の対象位置が操作部位であることが所定期間内で検知されなかった場合、つまり視線の対象位置が操作部位以外である状態の継続時間が所定時間を超えた場合には、車両の乗員は操作部位に対応する機器の動作制御の実行を意図していないと判断し、操作部位および操作部位に対応する機器の明るさ（例えば、機器に具備される表示画面の明るさ等）を低減させることで、操作部位および操作部位に対応する機器の不必要な明るさによって、夜間等に乗員が違和感を感じたり、眩惑させられてしまうことを防止することができる。
【０００６】
さらに、請求項２に記載の本発明の車両用操作装置では、前記操作手段は、前記視線検出手段により検出された視線の対象位置が前記操作部位以外の位置であって、かつ、前記機器上の位置である場合には、前記オフ信号の出力を禁止することを特徴としている。
【０００７】
上記構成の車両用操作装置によれば、視線の対象位置が操作部位以外であっても、機器上の位置（例えば、操作部位に対応する機器上の位置）である場合には、操作部位および機器の明るさを低減させる動作を禁止することにより、乗員が機器の動作制御の実行を意図している場合に操作部位および機器の明るさが低減させられてしまうことを防止し、機器の動作制御に乗員の意志を的確に反映させることができる。
【０００８】
さらに、請求項３に記載の本発明の車両用操作装置では、前記操作手段は、前記操作部位および前記機器の表示画面の明るさが低減させられている状態で、前記視線検出手段により検出された視線の対象位置が前記所定領域内の位置である場合には、前記オン信号を出力することを特徴としている。
【０００９】
上記構成の車両用操作装置によれば、操作部位および機器の表示画面の明るさが低減させられている状態であっても、視線の対象位置が表示装置の表示画面上で操作部位が配置される所定領域内である場合には、操作部位および機器の明るさを増大させることにより、乗員が機器の動作制御の実行を意図している場合に操作部位および機器の視認性が低下してしまうことを防止し、機器の動作制御に乗員の意志を的確に反映させることができる。
【００１０】
さらに、請求項４に記載の本発明の車両用操作装置では、前記視線検出手段は、車両の運転者および該運転者以外の他の乗員の視線を検出可能であることを特徴としている。
【００１１】
上記構成の車両用操作装置によれば、車両の運転者に限らず、運転者以外の乗員の意志を、機器の動作制御に的確に反映させることができる。
【発明の効果】
【００１２】
本発明の車両用操作装置によれば、操作部位および操作部位に対応する機器の不必要な明るさによって、夜間等に乗員が違和感を感じたり、眩惑させられてしまうことを防止することができる。
さらに、請求項２に記載の本発明の車両用操作装置によれば、乗員が機器の動作制御の実行を意図している場合に操作部位および機器の明るさが低減させられてしまうことを防止し、機器の動作制御に乗員の意志を的確に反映させることができる。
さらに、請求項３に記載の本発明の車両用操作装置によれば、乗員が機器の動作制御の実行を意図している場合に操作部位および機器の視認性が低下してしまうことを防止し、機器の動作制御に乗員の意志を的確に反映させることができる。
さらに、請求項４に記載の本発明の車両用操作装置によれば、運転者以外の乗員の意志を、機器の動作制御に的確に反映させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態に係る車両用操作装置について添付図面を参照しながら説明する。
本実施の形態による車両用操作装置１０は、例えば図１に示すように、複数の第１〜第ｎ視線センサ１１１，…，１１ｎと、複数の第１〜第ｎ発光ダイオード（ＬＥＤ）１２１，…，１２ｎと、各視線センサ１１１，…，１１ｎから出力される検出信号に基づき各種の制御機器１３を制御する電子制御ユニット（ＥＣＵ）１４とを備えて構成されている。
【００１４】
各視線センサ１１１，…，１１ｎは、例えば図２に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられた、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる複数（例えば、２つ）の第１〜第ｎカメラ２１１，…，２１ｎおよび第１〜第ｎ画像処理部２２１，…，２２ｎを備えて構成されている。
各カメラ２１１，…，２１ｎは、例えば可視光領域で撮像可能であれば、各ＬＥＤ１２１，…，１２ｎから車両の乗員の顔や眼球に向けて照射された可視光の反射を撮像し、例えば赤外線領域で撮像可能であれば、各ＬＥＤ１２１，…，１２ｎから車両の乗員の眼球に向けて照射された赤外線の反射を撮像する。
各画像処理部２２１，…，２２ｎは、各カメラ２１１，…，２１ｎの撮像により得られた可視光画像または赤外線画像に対して、例えばフィルタリングや二値化処理、さらに、データ削減やデータ圧縮等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して電子制御ユニット（ＥＣＵ）１４へ出力する。
【００１５】
電子制御ユニット（ＥＣＵ）１４は、例えば視線検出部３１と、操作意志検知部３２と、操作制御部３３と、各ＬＥＤ１２１，…，１２ｎの照射状態を制御する発光制御部３４とを備えて構成されている。
視線検出部３１は、各視線センサ１１１，…，１１ｎから入力される画像データに対して所定の認識処理を行い、認識した検知対象物に基づき、車両の乗員の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。
例えば可視光画像の画像データに対して、視線検出部３１は乗員の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、例えば目頭の位置と虹彩の中心位置との相対距離に基づき視線ベクトルを算出する。
また、例えば赤外線画像の画像データに対して、視線検出部３１は乗員の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、例えば角膜表面における反射像（プルキニエ像）の中心位置と瞳孔の中心位置との相対距離に基づき視線ベクトルを算出する。
【００１６】
操作意志検知部３２は、各視線センサ１１１，…，１１ｎから入力される画像データに対して所定の認識処理を行い、車両の乗員の所定の表情や動作を検知し、さらに、制御機器１３に対する所定の操作意志を有するか否かを判定し、この判定結果を操作制御部３３に出力する。
操作制御部３３は、視線検出部３１により検出された乗員の視線の対象位置や該対象位置の変化状態等に応じて、さらに、操作意志検知部３２により判定された乗員の操作意志に応じて、例えば表示装置やナビゲーション装置や空調装置や音響装置等の各種の制御機器１３を制御する。
【００１７】
そして、制御機器１３を構成する表示装置は、例えば図２に示すように、インストルメントパネルに配置されたメイン表示画面４１およびサブ表示画面４２と、フロントウィンドウ上で運転者の前方視界を妨げない位置に情報を表示するヘッドアップディスプレイ（ＨＵＤ）４３とを備えて構成されている。
メイン表示画面４１には、例えばナビゲーション装置の地図データや、例えば各種の制御機器１３の動作状態を示す画像や、例えば各種の制御機器１３の所定の制御動作の実行を操作者の直接的な入力操作により指示するための操作入力項目等が表示され、サブ表示画面４２には、例えば各種の文字情報等が表示される。
また、ＨＵＤ４３には、例えば所定領域４３Ａ内に複数（例えば、４つ）の視線スイッチ４４１，…，４４ｎが表示され、視線検出部３１により検出された乗員の視線の対象位置が各視線スイッチ４４１，…，４４ｎである場合には、各視線スイッチ４４１，…，４４ｎに対応した制御機器１３の所定の制御動作（例えば、空調装置の温度設定や音響装置の音量設定や音声認識装置等の所定の制御機器１３の起動等）が実行されるように設定されている。
【００１８】
本実施の形態による車両用操作装置１０は上記構成を備えており、次に、この車両用操作装置１０の動作について説明する。
【００１９】
先ず、例えば図３に示すステップＳ０１においては、各視線センサ１１１，…，１１ｎから入力される画像データに基づき、車両の乗員の視線ベクトルおよび視線の対象位置を検知する。
次に、ステップＳ０２においては、検知した視線の対象位置が、ＨＵＤ４３上に表示された各視線スイッチ４４１，…，４４ｎあるいはＨＵＤ４３上の所定領域４３Ａ内、または、各視線スイッチ４４１，…，４４ｎに対応する各種の制御機器１３であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０３に進む。
【００２０】
次に、ステップＳ０３においては、検知した視線の対象位置が、各視線スイッチ４４１，…，４４ｎ以外あるいはＨＵＤ４３上の所定領域４３Ａ以外、または、各視線スイッチ４４１，…，４４ｎに対応する各種の制御機器１３以外である継続時間Ｔが所定時間Ｔ０よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、後述する明るさ低減処理を実行し、一連の処理を終了する。
【００２１】
また、ステップＳ０５においては、後述する明るさ低減処理の実行中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進む。
ステップＳ０６においては、明るさ低減処理の実行を停止する。
そして、ステップＳ０７においては、視線の対象位置が各視線スイッチ４４１，…，４４ｎであるか否かを判定する。
ステップＳ０７の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ０７の判定結果が「ＹＥＳ」の場合には、ステップＳ０８に進む。
そして、ステップＳ０８においては、各視線スイッチ４４１，…，４４ｎに対応した制御機器１３の所定の制御動作を実行し、一連の処理を終了する。
【００２２】
以下に、上述したステップＳ０４での明るさ低減処理について説明する。
先ず、図４に示すステップＳ１１においては、継続時間Ｔが所定の第１判定時間Ｔ１よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１２に進み、このステップＳ１２においては、各視線スイッチ４４１，…，４４ｎのＨＵＤ４３上での明るさを低減させ、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
そして、ステップＳ１３においては、継続時間Ｔが所定の第１判定時間Ｔ１よりも長い所定の第２判定時間Ｔ２よりも長いか否かを判定する。
ステップＳ１３の判定結果が「ＮＯ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、各視線スイッチ４４１，…，４４ｎのＨＵＤ４３上での大きさを縮小させ、一連の処理を終了する。
一方、ステップＳ１３の判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。
【００２３】
そして、ステップＳ１５においては、継続時間Ｔが所定の第２判定時間Ｔ２よりも長い所定の第３判定時間Ｔ３よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１６に進み、このステップＳ１６においては、各視線スイッチ４４１，…，４４ｎのＨＵＤ４３上での表示を停止させ、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１７に進む。
そして、ステップＳ１７においては、継続時間Ｔが所定の第３判定時間Ｔ３よりも長い所定の第４判定時間Ｔ４よりも長いか否かを判定する。
ステップＳ１７の判定結果が「ＮＯ」の場合には、ステップＳ１８に進み、このステップＳ１８においては、各種の制御機器１３の表示画面（例えば、表示装置のメイン表示画面４１およびサブ表示画面４２およびＨＵＤ４３）の明るさを低減させ、一連の処理を終了する。
一方、ステップＳ１７の判定結果が「ＹＥＳ」の場合には、各種の制御機器１３の表示画面（例えば、表示装置のメイン表示画面４１およびサブ表示画面４２およびＨＵＤ４３）の表示を停止し、一連の処理を終了する。
【００２４】
以下に、例えば制御機器１３として音声認識装置を車両の乗員の視線に基づき制御する処理について説明する。
先ず、例えば図５に示すステップＳ２１においては、各視線センサ１１１，…，１１ｎから入力される画像データに基づき、車両の乗員の視線ベクトルおよび視線の対象位置を検知する。
次に、ステップＳ２２においては、検知した視線の対象位置が、ＨＵＤ４３上に表示された各視線スイッチ４４１，…，４４ｎのうちの音声認識制御の視線スイッチあるいはＨＵＤ４３上の所定領域４３Ａ内、または、音声認識装置（例えば、音声入力用のマイク等）であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ２４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２３に進む。
【００２５】
次に、ステップＳ２３においては、検知した視線の対象位置が、音声認識制御の視線スイッチ以外あるいはＨＵＤ４３上の所定領域４３Ａ以外、または、音声認識装置（例えば、音声入力用のマイク等）以外である継続時間Ｔが所定時間Ｔ０よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、上述した明るさ低減処理を実行し、一連の処理を終了する。
【００２６】
また、ステップＳ２４においては、明るさ低減処理の実行中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ２６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２５に進む。
ステップＳ２５においては、明るさ低減処理の実行を停止する。
そして、ステップＳ２６においては、視線の対象位置が音声認識制御の視線スイッチである継続時間Ｔｏｎが所定時間Ｔａよりも長いか否かを判定する。
ステップＳ２６の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ２６の判定結果が「ＹＥＳ」の場合には、ステップＳ２７に進む。
そして、ステップＳ２７においては、音声認識装置を起動して待機状態とする。このとき、例えば図６に示す視線スイッチの通常の表示状態に対して、図７（ａ）〜（ｄ）に示すように、表示書体の変更や表示サイズの変更や表示色の変更や点灯状態の変更等により、音声認識制御の視線スイッチを強調表示する。また、音声や通知音等の聴覚的通知や、ランプの点灯や表示等の視覚的通知や、ステアリング振動やシート振動等の触覚的通知により、音声認識制御の待機状態であることを車両の乗員に通知する。
【００２７】
そして、ステップＳ２８においては、例えば乗員の発話に対する音声認識の認識結果や操作意志検知部３２による認識結果等に基づき、車両の乗員が音声入力による機器制御の意志を有しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２７に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２９に進む。
そして、ステップＳ２９においては、乗員の音声入力に対する音声認識結果に応じた機器制御を実行し、一連の処理を終了する。
【００２８】
上述したように、本実施の形態による車両用操作装置１０によれば、車両の乗員が各種の制御機器１３の動作制御の実行を意図している場合に、各視線スイッチ４４１，…，４４ｎおよび各視線スイッチ４４１，…，４４ｎに対応した制御機器１３に具備される表示画面（例えば、表示装置のメイン表示画面４１およびサブ表示画面４２およびＨＵＤ４３）の明るさが低減させられてしまうことを防止し、制御機器１３の動作制御に乗員の意志を的確に反映させることができる。
しかも、乗員の視線が一時的に各視線スイッチ４４１，…，４４ｎ等から外れた場合には明るさ低減処理を実行せず、この継続時間Ｔが所定時間Ｔ０よりも長い場合に明るさ低減処理を実行することから、過剰な頻度で各視線スイッチ４４１，…，４４ｎや表示画面の明るさが変更されてしまうことを防止することができる。
また、視線検出部３１により検出された乗員の視線の対象位置に加えて、操作意志検知部３２により判定された乗員の操作意志に基づき、機器制御を実行することにより、例えば複数の乗員の視線の対象位置が互いに異なる場合であっても、操作意志を確認して適切な機器制御を行うことができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係る車両用操作装置の構成図である。
【図２】図１に示す視線センサを搭載した車両の車室内前部を示す図である。
【図３】図１に示す車両用操作装置の動作を示すフローチャートである。
【図４】図３に示す明るさ低減処理を示すフローチャートである。
【図５】制御機器としての音声認識装置に対する車両用操作装置の動作を示すフローチャートである。
【図６】視線スイッチの通常の表示状態の一例を示す図である。
【図７】図７（ａ）は表示書体を変更して視線スイッチを強調表示する状態の一例を示す図であり、図７（ｂ）は表示サイズを変更して視線スイッチを強調表示する状態の一例を示す図であり、図７（ｃ）は表示色を変更して視線スイッチを強調表示する状態の一例を示す図であり、図７（ｄ）は表示の点灯状態を変更して視線スイッチを強調表示する状態の一例を示す図である。
【符号の説明】
【００３０】
１０  車両用操作装置
１３  制御機器（機器）
３１  視線検出部（視線検出手段）
３３  操作制御部（操作手段）
４３  ＨＵＤ（表示画面）
４４１，…，４４ｎ  視線スイッチ（操作部位）
【図１】
2006219000.tif 000003
【図２】
2006219000.tif 000004
【図３】
2006219000.tif 000005
【図４】
2006219000.tif 000006
【図５】
2006219000.tif 000007
【図６】
2006219000.tif 000008
【図７】
2006219000.tif 000009