(57)【要約】【課題】目の開閉により車載機器の動作を制御可能にする。【解決手段】機器制御装置２は、カメラ装置３と第１ワイヤハーネス１０ｂで接続されると共に、制御対象となる車載機器５〜８とネットワークケーブル１ａで接続される。カメラ装置３は撮像した運転者の目の開閉状態に係る画像を機器制御装置２へ出力し、機器制御装置２は出力されてきた画像より目の開閉状態を検出し、内部に記憶するテーブルに基づき検出した内容に対応する機器動作を特定する。機器制御装置２は特定した内容に応じた制御データを生成して制御対象の車載機器へ送信し、制御データを受信した車載機器は制御データにより動作が制御される。【選択図】        図１
2004314855.tif 000002
【特許請求の範囲】
【請求項１】
車載機器の動作を制御する機器動作制御方法において、
車両の搭乗者の顔面撮像用であり、撮像した画像を出力する撮像装置と、
該撮像装置及び車載機器に接続してある機器制御装置と
を備え、
前記機器制御装置は、
前記撮像装置から出力されてきた画像に係る顔面状態を検出し、
検出した顔面状態に基づき前記車載機器の動作制御用の制御データを生成し、
生成した制御データを前記車載機器へ出力し、
前記車載機器は、
前記機器制御装置から出力されてきた制御データにより動作が制御されることを特徴とする機器動作制御方法。
【請求項２】
前記機器制御装置は、
顔面状態及び車載機器の動作を対応させたテーブルを備え、
該テーブルに基づいて検出した顔面状態に対応する動作を特定し、
特定した内容に応じた制御データを生成することを特徴とする請求項１に記載の機器動作制御方法。
【請求項３】
車載機器の動作を制御する機器動作制御システムにおいて、
車両の搭乗者の顔面撮像用であり、撮像した画像を出力する撮像装置と、
該撮像装置及び車載機器に接続してある機器制御装置と
を備え、
前記機器制御装置は、
前記撮像装置から出力されてきた画像に係る顔面状態を検出する顔面検出手段と、
該顔面検出手段が検出した顔面状態に基づき前記車載機器の動作制御用の制御データを生成するデータ生成手段と、
該データ生成手段が生成した制御データを前記車載機器へ出力する出力手段とを備え、
前記車載機器は、
前記機器制御装置から出力されてきた制御データにより動作が制御される構成にしてあることを特徴とする機器動作制御システム。
【請求項４】
前記機器制御装置は更に、
顔面状態及び車載機器の動作を対応させたテーブルと、
該テーブルに基づいて前記顔面検出手段が検出した顔面状態に対応する動作を特定する特定手段と
を備え、
前記データ生成手段は、
前記特定手段が特定した内容に応じた制御データを生成する手段を備える請求項３に記載の機器動作制御システム。
【請求項５】
前記機器制御装置は更に、
前記撮像装置から出力されてきた画像を基本画像として予め記憶する手段を備え、
前記顔面検出手段は、
前記基本画像及び前記撮像装置から出力されてきた画像の比較により顔面状態の検出を行う構成にしてある請求項３又は請求項４に記載の機器動作制御システム。
【請求項６】
前記機器制御装置は更に、
前記顔面検出手段が顔面状態を検出してからの時間を測定する測定手段と、
基準時間を記憶する手段と、
前記基準時間及び前記測定手段が測定した時間の比較を行う比較手段と
を備え、
前記データ生成手段は、
前記比較手段の比較により、前記測定手段が測定した時間が前記基準時間を超過する場合、制御データを生成する構成にしてある請求項３乃至請求項５のいずれかに記載の機器動作制御システム。
【請求項７】
前記機器制御装置は更に、
制御開始用の顔面状態を記憶する手段と、
前記制御開始用の顔面状態及び前記顔面検出手段が検出した顔面状態の比較を行う制御開始用比較手段と
を備え、
前記データ生成手段は、
前記制御開始用比較手段の比較により、前記制御開始用の顔面状態及び前記顔面検出手段が検出した顔面状態が同等である場合、制御データの生成を行う状態にする手段を備える請求項３乃至請求項６のいずれかに記載の機器動作制御システム。
【請求項８】
前記機器制御装置に接続してあり、機器制御の開始指示を受け付ける受付手段を更に備え、
前記データ生成手段は、
前記受付手段が開始指示を受け付けた場合、制御データの生成を行う状態にする手段を備える請求項３乃至請求項７のいずれかに記載の機器動作制御システム。
【請求項９】
前記機器制御装置に接続してある音声出力装置を更に備え、
前記機器制御装置は更に、
前記データ生成手段が生成した制御データの内容を前記音声出力装置へ出力する手段を備え、
前記音声出力装置は、
出力されてきた内容を音声で出力する手段を備える請求項３乃至請求項８のいずれかに記載の機器動作制御システム。
【請求項１０】
前記機器制御装置に接続してある表示装置を更に備え、
前記機器制御装置は、
前記テーブルに係る内容を前記表示装置へ出力する手段を備え、
前記表示装置は、
出力されてきたテーブルに係る内容を表示する手段を備える請求項４乃至請求項９のいずれかに記載の機器動作制御システム。
【請求項１１】
前記顔面検出手段は、顔面状態として目の開閉状態を検出する構成にしてある請求項３乃至請求項１０のいずれかに記載の機器動作制御システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オーディオ装置及びナビゲーション装置と云った車載機器を顔面の状態を変化させることで操作するようにした車載機器制御方法及び車載機器制御システムに関する。
【０００２】
【従来の技術】
従来、オーディオ装置のような車載機器の各種機能を動作させるには、機器に設けられた各種スイッチ、ボタン等を車両の運転者が手操作することで行っていた。運転者が車両の運転操作に加えて機器操作を行う場合は、運転者に対する操作負担が大きいので、音声で機器操作を可能としたシステムが存在する。
【０００３】
音声による機器操作を行うシステムはマイクを有する音声操作装置を車載機器に接続した構成にしており、運転者が発する音声をマイクで取得し、取得した音声を音声操作装置で認識し、認識した内容に基づき音声操作装置が車載機器の動作を制御する。例えば、運転者が「空調、冷房、オン」と云う音声を発すれば、音声操作装置は車載のエアコンディショナーが冷風を吹き出すようにエアコンディショナーの制御を行う。
なお、音声による機器操作は下記の特許文献１でも開示されている。
【０００４】
【特許文献１】
特開２００３−１５６８９号公報
【０００５】
【発明が解決しようとする課題】
上述した音声による機器操作は、音声の取得に基づき音声操作装置が機器動作の制御を行うため、音声の取得が正確にできなければ、確実な機器動作の制御を行えないと云う問題がある。
【０００６】
例えば、車両の窓を開けた状態では、外部の騒音が車内へ入り込み、車内での正確な音声の取得が困難になる場合がある。また、窓を閉じた状態でも、オーディオ装置のスピーカからの出力音及び車両の搭乗者同士の会話等の車内の発生音により、正確な音声の取得が困難になることがある。このような状況では音声による所要の機器動作に対する制御が妨げられる。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、撮像された運転者の顔面状態により車載機器の動作制御を行うことで、窓の開閉及び車内の状況等に関係なく、確実に車載機器の動作を制御可能にした機器動作制御方法及び機器動作制御システムを提供することを目的とする。
また、本発明は、顔面状態及び車載機器の動作を対応させたテーブルを用いることで、動作制御に係る処理の確実性を向上させると共に処理負担の低減を図った機器動作制御方法及び機器動作制御システムを提供することを目的とする。
【０００８】
さらに、本発明は、顔面状態を基本画像と比較すること、さらに、また、顔面状態の検出に係る時間を検出することにより、確実な機器動作の制御を行う機器動作制御システムを提供することを目的とする。
また、本発明は、制御開始用の顔面状態を判断すること、さらに、機器制御の開始指示を受け付けることにより、顔面状態に応じた機器動作の制御を開始するようにした機器動作制御システムを提供することを目的とする。
【０００９】
また、本発明は、音声出力装置で制御内容を出力すること、さらに、表示装置で機器動作に係る内容を表示することにより、顔面状態による制御内容を容易に確認できるようにした機器動作制御システムを提供することを目的とする。
さらに、また、本発明は、顔面状態として目の開閉状態を検出することにより、機器動作に係る操作を目の開閉で行えるようにした機器動作制御システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
第１発明に係る機器動作制御方法は、車載機器の動作を制御する機器動作制御方法において、車両の搭乗者の顔面撮像用であり、撮像した画像を出力する撮像装置と、該撮像装置及び車載機器に接続してある機器制御装置とを備え、前記機器制御装置は、前記撮像装置から出力されてきた画像に係る顔面状態を検出し、検出した顔面状態に基づき前記車載機器の動作制御用の制御データを生成し、生成した制御データを前記車載機器へ出力し、前記車載機器は、前記機器制御装置から出力されてきた制御データにより動作が制御されることを特徴とする。
【００１１】
第２発明に係る機器動作制御方法は、前記機器制御装置は、顔面状態及び車載機器の動作を対応させたテーブルを備え、該テーブルに基づいて検出した顔面状態に対応する動作を特定し、特定した内容に応じた制御データを生成することを特徴とする。
【００１２】
第３発明に係る機器動作制御システムは、車載機器の動作を制御する機器動作制御システムにおいて、車両の搭乗者の顔面撮像用であり、撮像した画像を出力する撮像装置と、該撮像装置及び車載機器に接続してある機器制御装置とを備え、前記機器制御装置は、前記撮像装置から出力されてきた画像に係る顔面状態を検出する顔面検出手段と、該顔面検出手段が検出した顔面状態に基づき前記車載機器の動作制御用の制御データを生成するデータ生成手段と、該データ生成手段が生成した制御データを前記車載機器へ出力する出力手段とを備え、前記車載機器は、前記機器制御装置から出力されてきた制御データにより動作が制御される構成にしてあることを特徴とする。
【００１３】
第４発明に係る機器動作制御システムは、前記機器制御装置は更に、顔面状態及び車載機器の動作を対応させたテーブルと、該テーブルに基づいて前記顔面検出手段が検出した顔面状態に対応する動作を特定する特定手段とを備え、前記データ生成手段は、前記特定手段が特定した内容に応じた制御データを生成する手段を備えることを特徴とする。
【００１４】
第５発明に係る機器動作制御システムは、前記機器制御装置は更に、前記撮像装置から出力されてきた画像を基本画像として予め記憶する手段を備え、前記顔面検出手段は、前記基本画像及び前記撮像装置から出力されてきた画像の比較により顔面状態の検出を行う構成にしてあることを特徴とする。
【００１５】
第６発明に係る機器動作制御システムは、前記機器制御装置は更に、前記顔面検出手段が顔面状態を検出してからの時間を測定する測定手段と、基準時間を記憶する手段と、前記基準時間及び前記測定手段が測定した時間の比較を行う比較手段とを備え、前記データ生成手段は、前記比較手段の比較により、前記測定手段が測定した時間が前記基準時間を超過する場合、制御データを生成する構成にしてあることを特徴とする。
【００１６】
第７発明に係る機器動作制御システムは、前記機器制御装置は更に、制御開始用の顔面状態を記憶する手段と、前記制御開始用の顔面状態及び前記顔面検出手段が検出した顔面状態の比較を行う制御開始用比較手段とを備え、前記データ生成手段は、前記制御開始用比較手段の比較により、前記制御開始用の顔面状態及び前記顔面検出手段が検出した顔面状態が同等である場合、制御データの生成を行う状態にする手段を備えることを特徴とする。
【００１７】
第８発明に係る機器動作制御システムは、前記機器制御装置に接続してあり、機器制御の開始指示を受け付ける受付手段を更に備え、前記データ生成手段は、前記受付手段が開始指示を受け付けた場合、制御データの生成を行う状態にする手段を備えることを特徴とする。
第９発明に係る機器動作制御システムは、前記機器制御装置に接続してある音声出力装置を更に備え、前記機器制御装置は更に、前記データ生成手段が生成した制御データの内容を前記音声出力装置へ出力する手段を備え、前記音声出力装置は、出力されてきた内容を音声で出力する手段を備えることを特徴とする。
【００１８】
第１０発明に係る機器動作制御システムは、前記機器制御装置に接続してある表示装置を更に備え、前記機器制御装置は、前記テーブルに係る内容を前記表示装置へ出力する手段を備え、前記表示装置は、出力されてきたテーブルに係る内容を表示する手段を備えることを特徴とする。
第１１発明に係る機器動作制御システムは、前記顔面検出手段は、顔面状態として目の開閉状態を検出する構成にしてあることを特徴とする。
【００１９】
第１発明及び第３発明にあっては、撮像された画像より検出した運転者の顔面状態に基づき、機器制御装置が制御データを生成すると共に制御データを制御対象の車載機器へ出力するので、運転者は顔面状態を適宜変化させることにより車載機器を操作できる。よって、運転者は運転中も手操作ではなく、所要の顔面状態にするだけで各種車載機器を操作できるようになり、また、車両の窓の開閉状態及び車内の音の発生状況等に左右されることなく車載機器を操作できる。
【００２０】
第２発明及び第４発明にあっては、顔面状態及び車載機器の動作を対応させたテーブルに基づき車載機器の動作を特定するので、検出した顔面状態に応じた動作を決定する機器制御装置の処理の効率化及び負担軽減を図り、迅速に車載機器の動作制御を実現できる。
【００２１】
第５発明にあっては、予め記憶しておいた基準画像に対して撮像した画像に係る顔面状態を比較することで、顔面状態の検出を行うので、顔面状態の検出に係る精度を向上でき車載機器の動作制御の確実性を高められる。
第６発明にあっては、顔面状態を検出してからの時間を測定すると共に、測定した時間が基準時間を超過した場合に、制御データの生成を行って機器動作の制御を行うので、一つの顔面状態を確実に検出でき、意図しない顔面状態と機器動作を意図した顔面状態とを区別して機器の操作性を向上できる。
【００２２】
第７発明にあっては、制御開始用の顔面状態を記憶し、この記憶した状態と検出に係る顔面状態を比較して、両者が同等の場合に機器動作の制御を開始して顔面状態による操作モードへ移行するので、不用意に顔面状態を変化させても車載機器の動作が勝手に行われるような事態を防止できる。なお、顔面状態による操作モードへの移行には、制御開始用の顔面状態として複雑な内容を記憶させることが、意図しない操作モードの移行を防止する観点から好適である。
【００２３】
第８発明にあっては、機器制御の開始指示受け付け用の受付手段を備えるので、顔面状態の変化による操作モードへの移行を受付手段による指示操作で確実に行うことができる。なお、受付手段としてオン・オフの切り替えが可能なスイッチが適用でき、このスイッチをオンにすることで顔面状態による操作モードへ移行させるようにするのが好ましい。
【００２４】
第９発明にあっては、制御データの内容を音声で出力する音声出力装置を備えるので、顔面状態の変化による制御内容を音声により確認でき、意図した内容で車載機器が動作されるかに対する確認性を確保できる。
第１０発明にあっては、顔面状態の変化及び車載機器の動作を対応させたテーブルを表示装置で表示するので、顔面状態をどのように変化させれば、車載機器がどのように動作するかを運転者及び車両の搭乗者が一目で判断でき、機器動作制御システムの使い勝手を大きく向上できる。
【００２５】
第１１発明にあっては、顔面状態として目の開閉状態を検出するので、顔面の中で最も変化させやすい目の開閉により車載機器を操作できることになり、車載機器の操作性を良好にできる。なお、目の開閉状態は左右の目を別々に開閉させることにより、複数種類の状態を容易に作ることができ、これらの状態を組み合わせることで車載機器の各種動作の制御に対応できる。
【００２６】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施形態に係る機器動作制御システム１の全体的な構成を示している。機器動作制御システム１は、撮像装置であるカメラ装置３及び音声出力装置であるスピーカ４を第１及び第２ワイヤハーネス１０ａ、１０ｂで接続した機器制御装置２をネットワークケーブル１ａで情報系の車載機器５〜９に接続しており、機器制御装置２がネットワークケーブル１ａを通じて制御データを送信する構成にしてある。
【００２７】
本実施形態の機器動作制御システム１は、運転者が顔面状態として左右の目を適宜開閉した状態にすることで車載機器の動作を制御できるようにしている。なお、制御される対象の車載機器はネットワークケーブル１ａで接続されたＤＶＤ装置５、ＣＤ再生装置６、ＭＤ再生装置７及びナビゲーション装置８等が相当する。
【００２８】
カメラ装置３は、図２に示すように車両ＳのステアリングホイールＳｂのボス部Ｓｃに取り付けられて運転者の顔面を撮像できるようにしている。また、カメラ装置３は撮像した画像を第１ワイヤハーネス１０ａを通じて機器制御装置２へ出力する処理も行う。なお、カメラ装置３はステアリングホイールＳｂと共に回転するため、ステアリングホイールＳｂの操作に応じて傾斜回転する。
【００２９】
図３は、機器制御装置２の内部構成を示すブロック図である。機器制御装置２はスピーカ４との接続用であるスピーカ接続部１２、カメラ装置３との接続用であるカメラ接続部１１、機器制御装置２の全体的な制御を行うＣＰＵ１７、機器制御に係る画像処理等を行う専用のカスタムＩＣである画像処理ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  ＩＣ）１３、後述するテーブル及び撮像に係る画像等を記憶する記憶部１６、ネットワークケーブル１ａとの接続用であるネットワークインタフェース部１５、及び、システムに対する操作を受け付ける操作部１４を有している。
【００３０】
スピーカ接続部１２は第２ワイヤハーネス１０ｂが接続されており、後述するように画像処理ＡＳＩＣ１３が生成した制御データの内容を音声データとして出力する処理を行う。カメラ接続部１１は第１ワイヤハーネス１０ａが接続されており、カメラ装置３から出力されてきた画像を受け付けて、画像処理ＡＳＩＣ１３へ伝送する処理を行う。
【００３１】
記憶部１６は、図４に示すテーブル２０、運転者の目の開閉状態に係る基本画像、制御データ生成に係る基準時間、及び、制御開始用の目の開閉状態等を記憶する手段として機能している。
【００３２】
図４に示すテーブル２０は、目の開閉状態及び各車載機器５〜８の動作を対応させた内容を規定している。例えば、ＭＤ再生装置７に対しては運転者が右目を１回閉じることで次の曲を再生する動作を対応させており、以下、右目を２回閉じることで最後の曲を再生、左目を１回閉じることで前の曲を再生、左目を２回閉じることで最初の曲を再生、両目を閉じることで再生を停止することを規定している。
【００３３】
また、制御対象の車載機器を変更する場合は、左目を１回閉じてから右目を１回閉じることで、テーブル２０における制御対象となる車載機器が１段階下降し、例えば、現在の制御対象の車載機器がＭＤ再生装置７である場合、左目を１回閉じてから右目を１回閉じることにより、制御対象がＣＤ再生装置６に変更されることが規定されている。
【００３４】
さらに、右目を１回閉じてから左目を１回閉じることにより、制御対象の車載機器がテーブル２０において１段階上昇することも規定されている。例えば、現在の制御対象がナビゲーション装置８である場合、右目を１回閉じてから左目を１回閉じることにより、制御対象がＤＶＤ装置５に変更されることが規定されている。
【００３５】
また、図３の記憶部１６は、基本画像として、図５（ａ）〜（ｄ）に示すカメラ装置３が撮像した画像２１ａ〜２１ｄを予め記憶している。図５（ａ）の画像２１ａは運転者が両目を開いた状態を撮像したものであり、以下、図５（ｂ）の画像２１ｂは右目を閉じた状態を撮像したもの、図５（ｃ）の画像２１ｃは左目を閉じた状態を撮像したもの、図５（ｄ）の画像２１ｄは両目を閉じた状態を撮像したものである。なお、このように予め基本画像を記憶させておくことで、カメラ装置３により撮像された画像に係る目の開閉状態の検出を基本画像との比較で行えるようになり、検出精度の向上及び検出処理の迅速化を達成している。
【００３６】
また、各画像２１ａ〜２１ｄは、操作部１４に設けられる基準画像スイッチを操作することで、両目開、右目閉、左目閉及び両目閉と云った目の状態と関連付けて画像処理ＡＳＩＣ１３の制御により記憶部１６に記憶される。
【００３７】
また、記憶部１６は、制御データ生成に係る基準時間として１秒と云う時間を記憶している。さらに、記憶部１６は、制御開始用の目の開閉状態として右目閉、左目閉、右目閉、左目閉と云う内容を記憶しており、更に、このような目の開閉を行う時間として３秒と云う時間も記憶している。
【００３８】
操作部１４は、前述の基準画像スイッチ及び制御開始用スイッチ等を備えている。オン・オフを切り替える方式の制御開始用スイッチは、機器制御の開始指示の受け付けに対応しており、操作によりオンされた場合、画像処理ＡＳＩＣ１３の顔面検出手段に係る機能を起動させて目の開閉により各車載機器を操作できる操作モードに移行させる。このように操作部１４に制御開始用スイッチを設けることで、機器操作を意図しない状況で目を開閉しても車載機器が勝手に動作しないようにしている。
【００３９】
画像処理ＡＳＩＣ１３は、顔面検出手段、制御開始用比較手段、特定手段、データ生成手段、測定手段、比較手段及び出力手段等として機能している。顔面検出手段は、カメラ接続部１１が受け付けたカメラ装置３が撮像した画像に写っている運転者の顔面における目の開閉状態を検出する処理を行うものである。
【００４０】
本実施形態の顔面検出手段は、記憶部１６で記憶される図５（ａ）〜（ｄ）の画像２１ａ〜２１ｄと、カメラ接続部１１が受け付けた画像とを比較することで、受け付けた画像に係る運転者の目の開閉状態が４種類の中でいずれに該当するかを判断している。なお、ステアリングホイールＳｂが操作されてカメラ装置３が回転傾斜している場合は、画像に写った運転者の像も傾き比較が困難になることから、目の開閉状態による機器操作は停止される。
【００４１】
制御開始用比較手段は、操作部１４の制御開始用スイッチと同等の機能を果たすものであり、顔面検出手段が検出した目の開閉状態と記憶部１６で記憶される制御開始用の目の開閉状態の内容とを比較し、両方の状態が同等である場合、目の開閉による操作モードに移行させている。即ち、上述したように記憶部１６が記憶する制御開始用の目の開閉状態に従って、運転者が３秒以内に右目閉、左目閉、右目閉、左目閉と云うように目を開閉した場合に操作モードへ移行される。
【００４２】
よって、機器動作制御システム１では、操作部１４の制御開始用スイッチのオン又は上述した制御開始用の目の開閉状態の何れか行うことで目の開閉による操作モードへ移行され、不用意に車載機器が動作することを防止している。
【００４３】
また、画像処理ＡＳＩＣ１３の特定手段は、顔面検出手段で検出した目の開閉状態に対応する車載機器の動作を図４に示すテーブル２０に基づいて特定するものである。なお、特定手段は、機器動作制御システム１が目の開閉による操作モードに移行した直後では、制御対象の車載機器はＭＤ再生装置７に対する動作を特定するようにしている。なお、画像処理ＡＳＩＣ１３はテーブル２０に基づき機器動作を特定することで、動作特定に係る処理負担を低減すると共に処理効率を向上させている。
【００４４】
さらに、画像処理ＡＳＩＣ１３のデータ生成手段は、顔面検出手段が検出した目の開閉状態により特定手段が特定した車載機器の動作内容に応じた動作制御用の制御データを生成するものである。例えば、機器動作制御システム１が目の開閉による操作モードに移行した直後で、運転者が右目を１回閉じた場合、データ生成手段は、ＭＤ再生装置７宛に次の曲の再生を指示する内容のコマンドを含んだパケットを制御データとして生成し、また、運転者が左目１回及び右目１回を連続して閉じた場合、ＣＤ再生装置６を制御対象にすることを決定する。
【００４５】
なお、データ生成手段は、制御データの生成を行う状態に相当する操作モードにおいて、目の開閉により確実に車載機器を動作できるようにするため、画像処理ＡＳＩＣ１３が測定手段及び比較手段として機能した処理結果を用いて制御データの生成を行っている。画像処理ＡＳＩＣ１３の測定手段は顔面検出手段が検出処理を行ってからの時間を測定するものであり、比較手段は測定手段が測定した時間と記憶部１６が記憶する基準時間の１秒との比較を行うものである。
【００４６】
データ生成手段は、この比較手段の比較により測定した時間が１秒を超過した場合に、制御データを生成するようにしており、このような構成にすることで、各動作に対する目の開閉状態を確実に判別して制御データを生成している。なお本実施形態では機器動作に対応する目の開閉は１秒以内で行うようにしており、右目を２回閉じるような複数回の目を閉じる状態も１秒以内で行うことが要求される。
【００４７】
よって、右目を１回閉じた後に１秒経過した場合、右目を１回閉じた状態に対する機器動作の制御データが生成され、１秒以内に右目を２回閉じた後に１秒経過した場合、右目を２回閉じた状態に対する機器動作の制御データが生成される。さらに、また、右目１回閉じた後の１秒以内に右目を２回閉じた場合、テーブル２０には右目を３回閉じる状態は規定されていないため、最初の右目を１回閉じたことは無視される。但し、後の右目を２回閉じた後、１秒が経過すれば、右目を２回閉じたことに対する制御データは生成される。
【００４８】
本実施形態では上述した目の開閉に係る内容に基づき機器動作を行うため、機器操作のために目の開閉を行った後は、１秒以内に目の開閉が行わなければ機器動作が決定されることを、予め運転者に通知しておくことが確実な操作を行う観点より重要となる。なお、上述した目の開閉に対する規定は制御対象を変更する場合も適用される。
【００４９】
また、画像処理ＡＳＩＣ１３は出力手段として、生成した制御データのパケットをネットワークインタフェース部１５へ伝送し、ネットワークインタフェース部１５よりネットワークケーブル１ａを通じてパケットを送信する処理も行う。
【００５０】
さらに、画像処理ＡＳＩＣ１３は、生成した制御データの内容を音声データとしてスピーカ接続部１２よりスピーカ４へ出力する処理も行う。例えば、ＭＤ再生装置７で次の曲を再生させる制御データが生成された場合、「ＭＤ再生装置、次の曲再生」と云う音声データを画像処理ＡＳＩＣ１３が生成して出力する。このような音声データが出力されると、スピーカ４は音声データの内容を音声で出力する処理を行うため、運転者は目の開閉による車載機器の動作内容を音声で確認できる。
【００５１】
また、画像処理ＡＳＩＣ１３は、記憶部１６に記憶されているテーブル２０に係るデータを表示装置に相当するモニタ装置９宛にネットワークインタフェース部１５より送信する処理も行う。このように送信された場合、モニタ装置９は図４に示すようなテーブル２０を画面に表示する処理を行う。このようにテーブル２０が表示されることで、運転者は目の開閉に対応する車載機器の動作内容をモニタ装置９の画面で確認することができ、操作を希望する動作内容に応じた目の開閉状態を記憶する必要がなくなる。
【００５２】
なお、画像処理ＡＳＩＣ１３は、実際に目の開閉により車載機器が動作している場合は、テーブル２０で動作している内容の欄を他と相異させた反転表示にしたデータを生成して送信することで、モニタ装置９の画面表示により一目で現在の動作状況を分かるようにしている。例えば、ＭＤ再生装置が次の曲を再生している場合は、「ＭＤ再生装置」及び「次の曲」の欄が反転表示される。なお、このように画面表示することで、運転者以外の車両Ｓの搭乗者に対しても現在の車載機器の動作状況及び目の開閉による操作内容を確認できるようにしている。
【００５３】
また、図１に示すネットワークケーブル１ａに接続された各車載機器５〜８は、上述したように機器制御装置２より送信された自身宛のパケットを受信した場合、パケットに係る制御データにより動作が制御される構成になっている。機器動作制御システム１は上述した構成により、運転者の目の開閉で各車載機器５〜８の操作を可能にしている。
【００５４】
次ぎに、上述した構成の機器動作制御システム１において、操作部１４の制御開始用スイッチをオンすることで、目の開閉状態による操作モードへ移行する場合の機器動作制御方法に係る一連の処理手順を図６のフローチャートに基づいて説明する。
先ず、機器制御装置２の操作部１４に設けられた制御開始用スイッチが運転者によりオンされたか否かの状態になり（Ｓ１）、制御開始用スイッチがオンされていない状態では（Ｓ１：ＮＯ）、オンされるのを待つ状態となる。また、制御開始用スイッチがオンされると（Ｓ１：ＹＥＳ）、システムが起動して操作モードに移行し、カメラ装置３により運転者の目の開閉状態が撮像されて（Ｓ２）、撮像された画像が機器制御装置２へ出力される。
【００５５】
機器制御装置２は、出力されてきた画像に係る目の開閉状態を検出し（Ｓ３）、検出後に経過する時間の測定を開始する（Ｓ４）。なお、本フローチャートにおける検出される目の開閉状態は、一つの機器動作に対応する目の開閉状態を意味している。
【００５６】
次に、機器制御装置２は、測定した時間が記憶部１６に記憶する基準時間を超過したか否かを判断し（Ｓ５）、基準時間を超過していない場合（Ｓ５：ＮＯ）、機器制御装置２は検出した目の開閉状態に変化があるか否かを判断する（Ｓ６）。目の開閉状態に変化が無い場合（Ｓ６：ＮＯ）、機器制御装置２は時間測定を継続し（Ｓ７）、基準時間を超過したか否かの段階（Ｓ５）へ戻る。また、目の開閉状態に変化があった場合（Ｓ６：ＹＥＳ）、時間測定を開始する段階（Ｓ４）へ戻り、変化後に対して基準時間を超過したか否かを判断することになる（Ｓ５）。
【００５７】
一方、測定した時間が基準時間を超過した場合（Ｓ５：ＹＥＳ）、機器制御装置２はテーブル２０に基づき検出した目の状態に対応する車載機器の動作を特定し（Ｓ８）、特定した内容に応じた制御データを生成し（Ｓ９）、特定した車載機器宛に制御データを送信する（Ｓ１０）。制御データの送信先の車載機器は制御データにより所定の動作が制御される（Ｓ１１）。なお、機器制御装置２は制御データに生成に伴いスピーカ４からは、生成した制御データの内容が音声で出力されるため、運転者は目の開閉による操作内容を音声で確認でき、また、モニタ装置９には操作されるテーブル内容が画面に表示されるため、画面を見ることでも操作内容を確認できる。
【００５８】
このように機器動作制御システム１は、目の開閉により車載機器の動作を制御できるため、車内での音に影響されることなく且つ手操作を行わずに、各種車載機器を確実に操作可能にしている。
【００５９】
なお、本発明に係る機器動作制御システム１は、上述した形態に限定されるものではなく、種々の変形例の適用が可能である。例えば、制御対象となる車載機器は、図１に示す車載機器５〜８以外のものも適用可能であり、また、目の開閉状態に対応する車載機器の動作は図４に示すテーブル２０の規定内容に限定されず、別の対応関係を規定することも可能である。
【００６０】
また、機器動作制御システム１は、構成を簡易化する場合、機器制御装置２の制御データの内容を出力する処理部分及びスピーカ４を省略する構成にしてもよく、さらには、テーブルに係る内容をモニタ装置９へ送信して画面に表示する処理機能も省略してもよい。さらに、また、機器動作制御システム１が目の開閉による操作モードへ移行するための操作部１４の制御開始用スイッチは省略する仕様にしてもよく、又は、制御開始用スイッチを残す場合は、制御開始を特定の目の開閉状態で判断する処理を省略する仕様にしてもよい。
【００６１】
また、カメラ装置３は、ステアリングホイールＳｂに取り付ける以外に、運転者の顔面を撮像できる場所であれば、インストルメントパネルの上面及びフロントガラスの上縁等に取り付けるようにしてもよい。さらに、機器動作の制御を行うには、目の開閉以外にも口の開閉、顔面の表情の変化等を用いることも可能である。
【００６２】
【発明の効果】
以上に詳述した如く、第１発明及び第３発明にあっては、撮像した運転者の顔面状態に基づき、機器制御装置が制御データを生成すると共に制御データを制御対象の車載機器へ出力するので、運転者は顔面状態を適宜変化させることにより車載機器を操作できる。
第２発明及び第４発明にあっては、顔面状態及び車載機器の動作を対応させたテーブルに基づき車載機器の動作を特定するので、機器制御装置の処理を効率的に行い、迅速に車載機器の動作を制御できる。
【００６３】
第５発明にあっては、予め記憶しておいた基準画像に対して撮像した画像に係る顔面状態を比較することで、顔面状態の検出に係る精度を向上できる。
第６発明にあっては、顔面状態を検出してからの時間を測定して基準時間と比較するので、一つの顔面状態を確実に検出でき、意図しない顔面状態と機器動作を意図しない顔面状態により車載機器が動作するのを防止できる。
【００６４】
第７発明にあっては、制御開始用の顔面状態と検出に係る顔面状態を比較して、顔面状態による操作モードへ移行するので、不用意に顔面状態を変化させても車載機器の動作が勝手に行われるような事態を防止できる。
第８発明にあっては、機器制御の開始指示受け付け用の受付手段を備えるので、顔面状態の変化による操作モードへの移行を受付手段による指示操作で確実に行うことができる。
【００６５】
第９発明にあっては、制御データの内容を音声出力装置が音声で出力するので、制御内容を音声で確認できる。
第１０発明にあっては、顔面状態の変化及び車載機器の動作を対応させたテーブルに係る内容を表示装置で表示するので、運転者及び車両の搭乗者は車載機器を動作させる場合の顔面状態を画面で確認でき、機器動作制御システムの使い勝手を向上できる。
【００６６】
第１１発明にあっては、顔面状態として目の開閉状態を検出するので、顔面の中で最も変化させやすい目の開閉により車載機器を操作でき、車載機器の操作性を良好にできる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る機器動作制御システムの全体構成図である。
【図２】カメラ装置の取付状態を示す概略図である。
【図３】機器制御装置の内部構成を示すブロック図である。
【図４】目の開閉状態及び車載機器の動作を対応させたテーブルに係る図表である。
【図５】（ａ）〜（ｂ）は各種目の開閉状態に係る基本画像を示す概略図である。
【図６】機器動作制御方法に係るフローチャートである。
【符号の説明】
１  機器動作制御システム
２  機器制御装置
３  カメラ装置
４  スピーカ
５  ＤＶＤ装置
６  ＣＤ再生装置
７  ＭＤ再生装置
８  ナビゲーション装置
９  モニタ装置
１３  画像処理ＡＳＩＣ
１４  操作部
１５  ネットワークインタフェース部
１６  記憶部
２０  テーブル
Ｓ  車両
Ｓｂ  ステアリングホイール
【図１】
2004314855.tif 000003
【図２】
2004314855.tif 000004
【図３】
2004314855.tif 000005
【図４】
2004314855.tif 000006
【図５】
2004314855.tif 000007
【図６】
2004314855.tif 000008