(57)【要約】【課題】  撮像された画像を適切な車載の装置やアプリケーションに対して与えこれらを動作させることにより、種々の車載アプリケーションが最適に動作できるようにする技術を提供すること。【解決手段】  車両の状態を測るセンサからの出力に応じて、撮像された画像の品質や乗員の状態などを推測し、実行すべき車載アプリケーションを推測結果に基づいて選択し実行する。【選択図】  図１ 
2005199814.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員の画像を撮像する撮像手段と、
前記撮像手段によって撮像された画像を用いて、前記車両の乗員に対してサービスをそれぞれ提供する複数の車載アプリケーション実行手段と、
前記車両の全体又は一部の状態を測るセンサと、
前記センサの出力に応じて、前記複数の車載アプリケーション実行手段の中から動作させるべきものを選択し、選択された車載アプリケーション実行手段を動作させる選択手段と
を備える車載アプリケーション選択システム。
【請求項２】
前記選択手段は、
前記センサの出力と、前記センサの出力から推測される品質の画像を用いて正常に動作可能な車載アプリケーション実行手段とを対応付けたテーブルを記憶するテーブル記憶手段と、
前記センサの出力に対応する車載アプリケーション実行手段を前記テーブルから選択し、選択された車載アプリケーション実行手段を動作させる制御手段と、
を含む、請求項１に記載の車載アプリケーション選択システム。
【請求項３】
前記選択手段は、
前記センサの出力と、前記センサの出力から推測される運転手の状態において必要とされる車載アプリケーション実行手段とを対応付けたテーブルを記憶するテーブル記憶手段と、
前記センサの出力に対応する車載アプリケーション実行手段を前記テーブルから選択し、選択された車載アプリケーション実行手段を動作させる制御手段と、
を含む、請求項１に記載の車載アプリケーション選択システム。
【請求項４】
前記センサは、車両の振動を測るセンサを含み、
前記テーブルは、所定以上の振動を示す前記車両の振動を測るセンサの出力と、ぶれた顔の画像を用いて正常に動作可能な車載アプリケーション実行手段のみとを対応付ける請求項２に記載の車載アプリケーション選択システム。
【請求項５】
前記ぶれた顔の画像を用いて正常に動作可能な車載アプリケーション実行手段は、入力された画像から人の顔の位置を検出することにより動作する請求項４に記載の車載アプリケーション選択システム。
【請求項６】
撮像手段で撮像された車両の乗員の画像を受け付ける手段と、
前記車両の全体又は一部の状態を測るセンサの出力から、前記受け付けた乗員の画像が撮像された際における車両の状態を判別する手段と、
前記判別結果に基づいて、前記撮像手段で撮像された画像を用いて前記乗員に対するサービスをそれぞれ提供する複数の車載アプリケーションのうち、前記受け付けた乗員の画像を与えるべき車載アプリケーションを選択する手段と、
を含む車載アプリケーション選択装置。
【請求項７】
撮像手段で撮像された車両の乗員の画像を受け付けるステップと、
前記車両の全体又は一部の状態を測るセンサの出力から、前記受け付けた乗員の画像が撮像された際における車両の状態を判別するステップと、
前記判別結果に基づいて、前記撮像手段で撮像された画像を用いて前記乗員に対するサービスをそれぞれ提供する複数の車載アプリケーションのうち、前記受け付けた乗員の画像を与えるべき車載アプリケーションを選択するステップと、
を情報処理装置に実行させるためのプログラム。
【請求項８】
車両の乗員の画像を撮像する撮像手段と、前記車両の全体又は一部の状態を測るセンサと、前記撮像手段によって撮像された画像を用いて、前記車両の乗員に対してサービスをそれぞれ提供する複数の車載アプリケーション実行手段とを備える車両に搭載される情報処理装置に、
前記車両の全体又は一部の状態を測るセンサの出力に応じて、前記複数の車載アプリケーション実行手段の中から動作させるべきものを選択するステップと、
選択された車載アプリケーション実行手段を動作させるステップと
を実行させるためのプログラム。
【請求項９】
情報処理装置が、撮像手段で撮像された車両の乗員の画像を受け付けるステップと、
情報処理装置が、前記車両の全体又は一部の状態を測るセンサの出力から、前記受け付けた乗員の画像が撮像された際における車両の状態を判別するステップと、
情報処理装置が、前記判別結果に基づいて、前記撮像手段で撮像された画像を用いて前記乗員に対するサービスをそれぞれ提供する複数の車載アプリケーションのうち、前記受け付けた乗員の画像を与えるべき車載アプリケーションを選択するステップと、
を含む車載アプリケーション選択方法。
【請求項１０】
車両の乗員の画像を撮像する撮像手段と、前記車両の全体又は一部の状態を測るセンサと、前記撮像手段によって撮像された画像を用いて、前記車両の乗員に対してサービスをそれぞれ提供する複数の車載アプリケーション実行手段とを備える車両に搭載される情報処理装置が、前記車両の全体又は一部の状態を測るセンサの出力に応じて、前記複数の車載アプリケーション実行手段の中から動作させるべきものを選択するステップと、
前記情報処理装置が、選択された車載アプリケーション実行手段を動作させるステップと
を含む車載アプリケーション選択方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の室内において撮像された画像を用いて種々の処理を行う装置やソフトウェア等が搭載された車両に適用されて有効な技術に関する。
【背景技術】
【０００２】
従来から、車両に搭載された撮像装置（以下、「車載カメラ」と呼ぶ）によって撮像された画像を用いて乗員にサービスを提供する様々な装置やアプリケーションソフトウェア（以下「車載アプリケーション」と呼ぶ）が提案されている。このような車載アプリケーションの例として、以下のような技術がある。運転者が正規の運転者であるか否か、運転者の顔画像を撮像し認証することにより判断する技術（例えば、特許文献１参照）。運転者の視線方向や顔の向きを画像から検出することにより脇見検知を行う技術（例えば、特許文献２参照）。運転者の目の開き具合を画像から検出することにより、運転者の覚醒度を検出する技術（例えば、特許文献３参照）。
【０００３】
ところで、車両の乗員の体勢は車両の動作や運転状況による影響を受けやすい。このため、撮像された画像が、上記のような種々の車載アプリケーションの全てに適しているとは限らない。例えば、路面の凹凸に伴って車両が上下に揺れた場合、車両の揺れに従って乗員も上下に揺れてしまう。このような状況で撮像が行われた場合、乗員の像が上下にぶれた画像や、乗員の顔上部が画像領域からはみ出てしまった画像などが撮像されるおそれがある。このように撮像された品質の低い画像は、例えば認証処理や視線検出処理などに用いられた場合に、それらの処理の精度を下げる原因となっていた。
【０００４】
このような問題に対し、自動車の揺れ量を算出し、算出された揺れ量を用いて画像補正を行うことにより、路面の凹凸や操舵による揺れの影響のない画像を生成しようとする技術がある（例えば、特許文献４参照）。しかし、このような画像補正の実行には時間を要してしまう。従って、上記のように品質が十分とは言えない画像が撮像された場合、車載アプリケーションの動作に遅延が生じる原因となっていた。
【０００５】
また、上記のように画像補正を行うことなく問題の解決を図ろうとした技術もある。例えば、撮像された画像の品質を、画像処理を行うことによって判断し、撮像された画像の品質が十分でないと判断された場合にはこの画像を用いた車載アプリケーションの動作を禁止することが可能である。しかし、撮像された画像の品質を判断するための画像処理には時間を要するため、結果として車載アプリケーションの動作に遅延が生じてしまう。
【０００６】
さらに、車両の速度が一定速度以下の場合、操舵角又はヨーレートが所定以上の場合、あるいはシートベルトが装着されていない場合には、通常の走行中ではないために誤認識が発生しやすい状態であると判断し、画像により運転手の顔を認識する処理を禁止する技術が提案されている（例えば、特許文献５参照）。このような技術では、画像処理を行うことなく、撮像された画像の品質が十分であるか否か判断される。そして、品質が不十分であると判断された画像については、画像補正を行うのではなく、このような画像を用いた処理が禁止される。このため、画像処理や画像補正による遅延を回避することが可能となる。
【特許文献１】特開平１１−０４３０１６号公報
【特許文献２】特開平０８−２４９４５４号公報
【特許文献３】特開平１０−０３５３２０号公報
【特許文献４】特開２００２−１１２２５２号公報
【特許文献５】特開平０６−２９３２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、車載アプリケーションには様々な種類があるため、ある状況下で撮像された画像が一の車載アプリケーションで使用できないとしても、他の車載アプリケーションでは使用できないとは限らない。例えば上記の技術では、車両の速度が一定速度以下の場合や操舵角又はヨーレートが所定以上の場合には誤認識が発生しやすい状態であるという認識のもと、これらの状況下で撮像された画像による運転手の顔の認識処理が禁止されている。しかし、車載アプリケーションの種類によっては、このような誤認識が発生する可能性のある品質の低い画像であっても十分に処理を行うことが出来るものもある。このように、動作可能な車載アプリケーションの処理まで禁止してしまうことは、いたずらに車両のパフォーマンスを低下させることにつながっていた。
【０００８】
また、車載アプリケーションの種類によっては、例え正常に動作することが可能であっても、特定の状況下においては動作する必要のないものもある。このような車載アプリケーションを実行させることは、車両に搭載されている情報処理装置などの資源に対し無用な負荷を与えることとなる。その結果、高速に実行されることが望まれる他の処理（他の車載アプリケーションの処理）の遅延を招いてしまっていた。
【０００９】
本発明は、画像処理や画像補正を行うことなく、撮像された画像を適切な車載アプリケーションに与えることにより、種々の車載アプリケーションが誤作動を伴うことなく高速に動作できるようにする技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記問題を解決するため、本発明は以下のような構成をとる。本発明は、車載アプリケーション選択システムであって、車両の乗員の画像を撮像する撮像手段，撮像手段によって撮像された画像を用いて、車両の乗員に対してサービスをそれぞれ提供する複数の車載アプリケーション実行手段，車両の全体又は一部の状態を測るセンサ，及びセンサの出力に応じて、複数の車載アプリケーション実行手段の中から動作させるべきものを選択し、選択された車載アプリケーション実行手段を動作させる選択手段を備える。
【００１１】
「サービス」とは、例えば覚醒状態が低いと判断された乗員に対して覚醒を促す動作（具体的には、警告音を発したり、この乗員が着座しているシートを振動させる等の動作）を行うサービスや、個人認証を行い正当な運転者であると判断された場合にのみエンジンをスタートさせるサービス等である。
【００１２】
本発明では、選択手段は、各画像が撮像されたときのセンサ出力をもとに、撮像された画像を用いてサービスを行うべき車載アプリケーション実行手段を選択する。例えば、選択手段は、各画像が撮像されたときのセンサ出力をもとに、撮像された画像の品質について推定し、推定された品質の画像を用いた動作が可能な車載アプリケーション実行手段を選択するように構成されても良い。「推定された品質の画像を用いた動作が可能」とは、推定された品質の画像を用いて動作したとしても、その精度をほとんど低下させることなく動作することが可能であることを示す。また、例えば、選択手段は、各画像が撮像されたときのセンサ出力をもとに、画像が撮像された際の車両や乗員の状態を推定し、推定された状態において必要とされる車載アプリケーション実行手段を選択するように構成されても良い。
【００１３】
ここで、品質の良い画像とは、例えば被写体や被写体の部分のエッジが鮮明に映し出された画像や、被写体が画像枠に収まっている画像などを示す。一方、品質の悪い画像とは、例えば被写体や被写体の部分のエッジがぼけてしまった画像や、被写体が画像枠からは
み出てしまっている画像などを示す。
【００１４】
本発明によれば、車両の状態を測るセンサの出力に応じて、動作させるべき車載アプリケーション実行手段が選択される。即ち、車両の状態に基づいて、動作させるべき車載アプリケーション実行手段が選択される。
【００１５】
本発明の選択手段は、センサの出力と、センサの出力から推測される品質の画像を用いて正常に動作可能な車載アプリケーション実行手段とを対応付けたテーブルを記憶するテーブル記憶手段，及びセンサの出力に対応する車載アプリケーション実行手段をテーブルから選択し、選択された車載アプリケーション実行手段を動作させる制御手段，を含むように構成されても良い。
【００１６】
このように構成された本発明では、車両の状態を測るセンサの出力に応じて、センサの出力から推測される品質の画像を用いて正常に動作可能な車載アプリケーション実行手段が選択される。このため、例え品質の低い画像（例：認証処理において誤認証が生じてしまう可能性の高い画像）が撮像されたと推測できる場合であっても、そのような品質の低い画像でも正常に動作可能な車載アプリケーション実行手段が選択され、実行される。従って、品質の低い画像でも正常に動作可能な車載アプリケーション実行手段までもが動作を禁止されることを防止できる。
【００１７】
また、本発明の選択手段は、センサの出力と、センサの出力から推測される運転手の状態において必要とされる車載アプリケーション実行手段とを対応付けたテーブルを記憶するテーブル記憶手段，及びセンサの出力に対応する車載アプリケーション実行手段をテーブルから選択し、選択された車載アプリケーション実行手段を動作させる制御手段を含むように構成されても良い。
【００１８】
このように構成された本発明では、車両の状態を測るセンサの出力に応じて、センサの出力から推測される運転手の状態において必要とされる車載アプリケーション実行手段が選択され、実行される。このため、例え正常に動作可能な車載アプリケーション実行手段であっても、推測される運転手の状態において必要とされない車載アプリケーション実行手段は選択されない。このため、必要とされない車載アプリケーション実行手段を動作させないこといより、本当に動作が必要とされる他の車載アプリケーション実行手段の処理の遅延を招くことが防止される。
【００１９】
また、本発明のセンサは、車両の振動を測るセンサを含み、テーブルは、所定以上の振動を示す車両の振動を測るセンサの出力と、ぶれた顔の画像を用いて正常に動作可能な車載アプリケーション実行手段のみとを対応付ける。このとき、テーブルは、他のセンサの出力と車載アプリケーション実行手段とをさらに対応付けても良い。
【００２０】
このように構成された本発明では、車両の状態を測るセンサにおいて所定以上の振動が計測された場合、ぶれた顔の画像を用いて正常に動作可能な車載アプリケーション実行手段のみが選択され、実行される。一般的に、車両が振動した場合、乗員の体も振動するため、振動方向にぶれた画像が撮像される可能性がある。しかし、例えぶれた画像が撮像されたとしても、制御手段によって、ぶれた顔の画像を用いて正常に動作可能な車載アプリケーション実行手段が選択される。従って、動作した車載アプリケーション実行手段において誤動作が発生することを防止できる。言い換えれば、車載アプリケーション実行手段の動作精度を向上することができる。
【００２１】
また、「ぶれた顔の画像を用いて正常に動作可能な車載アプリケーション実行手段」とは、例えば入力された画像から人の顔の位置を検出することにより動作する車載アプリケ
ーション実行手段であっても良い。一般的に、顔の特徴量（顔認証を行う際に用いられるデータ）や視線などの検出処理は、品質の高い画像を用いて処理を行わなければ誤作動するおそれがある。一方、人の顔の位置検出する処理は、例えば楕円形の肌色領域を検出することや、顔と推定される濃度比のパターンを検出することにより実現できるため、品質の低い画像、例えばぶれた画像であっても正常に行うことができる。このため、ぶれた顔の画像を用いて正常に動作可能な車載アプリケーション実行手段の例として、顔の位置を検出することにより動作する車載アプリケーション実行手段を採用することにより、誤動作の防止を図ることができる。
【００２２】
本発明の第二の態様は車載アプリケーション選択装置であって、撮像手段で撮像された車両の乗員の画像を受け付ける入力手段，車両の全体又は一部の状態を測るセンサの出力から、受け付けた乗員の画像が撮像された際における車両の状態を判別する判別手段，及び、判別結果に基づいて、撮像手段で撮像された画像を用いて乗員に対するサービスをそれぞれ提供する複数の車載アプリケーションのうち、受け付けた乗員の画像を与えるべき車載アプリケーションを選択する選択手段を含む。
【００２３】
本発明の第二の態様では、入力手段によって受け付けられる画像の中から、判別手段によって判別された車両の状態に基づいて、選択手段が車載アプリケーションを選択する。このため、本発明の第二の態様である車載アプリケーション選択装置を、撮像手段や上記センサが搭載された自動車に備えることにより、本発明の第一の態様と同様の効果を得ることが可能となる。
【００２４】
本発明の第一の態様及び第二の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、上記した各手段が実行する処理を情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定し、これらをもって上述した作用及び効果が得られても良い。
【発明の効果】
【００２５】
本発明によれば、車両の状態を測るセンサの出力に応じて、動作させるべき車載アプリケーション実行手段が選択される。このため、画像処理や画像補正を行うことなく、種々の車載アプリケーションが誤作動を伴うことなく高速に動作できるように制御される。
【発明を実施するための最良の形態】
【００２６】
次に、図を用いてアプリケーション選択システム１について説明する。なお、アプリケーション選択システム１についての以下の構成は例示であり、本発明の構成は以下の構成に限定されない。
【００２７】
［システム構成］
図１は、アプリケーション選択システム１の構成例を示す図である。図１を用いて、アプリケーション選択システム１の構成について説明する。
【００２８】
アプリケーション選択システム１は、カメラ２，車載センサ３，車載アプリケーション部４，及びアプリケーション選択部５を用いて構成される。以下、アプリケーション選択システム１に備えられる各構成要素について説明する。
【００２９】
〔カメラ〕
カメラ２は、デジタルスチルカメラ／デジタルビデオカメラ等を用いて構成される。カメラ２は、車載アプリケーション部４に備えられる各種アプリケーションにおいて使用される画像を撮像する。アプリケーション選択システム１では、カメラ２は、車両の運転席に着座した運転手の顔を撮像するように設置される。
【００３０】
カメラ２は、常時撮像を行うように構成されていても良く、手動により起動スイッチが投入された後、手動又はタイマにより停止スイッチが投入される迄の間継続して撮像を行うようにしても良く、或いは、車両に搭載されたセンサ出力に基づいて、所定条件下でカメラ２の制御装置により撮影開始／停止が制御されるように構成されていても良い。
【００３１】
〔車載センサ〕
車載センサ３は、様々なセンサを用いて構成される。車載センサ３は、車両に設置される。車載センサ３は、例えば、加速度センサ３ａ，速度センサ３ｂ，舵角センサ３ｃ，及びギアセンサ３ｄを用いて構成される。車載センサ３は、必要に応じてこの他どのようなセンサを用いて構成されても良い。
【００３２】
加速度センサ３ａは、車両の加速度を測定する。加速度センサ３ａは、地面に対して垂直方向に対する車両の加速度を測定する。加速度センサ３ａは、例えば３軸加速度センサを用いて構成される。
【００３３】
速度センサ３ｂは、車両の速度を測定する。速度センサ３ｂは、車両の進行方向に対する車両の速度を測定する。速度センサ３ｂは、例えば車輪速度センサを用いて構成される。
【００３４】
舵角センサ３ｃは、車両の舵角を測定する。舵角センサ３ｃは、例えばステアリングの位置によって舵角を測定する。
【００３５】
ギアセンサ３ｄは、車両のギアの位置を検出する。ギアセンサ３ｄは、少なくとも車両のギアのニュートラル状態及びリバース状態を検知する。ギアセンサ３ｄは、例えば、いわゆるニュートラルセンサ及びバックランプスイッチを用いて構成される。
【００３６】
〔車載アプリケーション部〕
車載アプリケーション部４は、車載アプリケーションを実現する複数の機能部を用いて構成される。車載アプリケーション部４は車両に搭載される。
【００３７】
車載アプリケーション部４は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯ
Ｍ等を含む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す。また、車載
アプリケーション部４は、適用される車載アプリケーションに応じて必要な装置に対する制御を行う。車載アプリケーションに応じた装置については後述する。
【００３８】
車載アプリケーション部４は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって機能する。また、車載アプリケーション部４は、その一部又は全部が専用のチップとして構成されても良い。
【００３９】
車載アプリケーション部４は、例えば、個人認証部４ａ，居眠り検知部４ｂ，脇見検知部４ｃ，及びエアバッグ噴出先決定部４ｄを用いて構成される。これらの各機能部は、それぞれのプログラムが上記ＣＰＵ等のハードウェア上で実行されることにより実現される。車載アプリケーション部４は、必要に応じてこの他どのような車載アプリケーションを用いて構成されても良い。ただし、アプリケーション選択システム１では、カメラ２が運
転手の顔を撮像するように設置される。このため、この例では、車載アプリケーション部４に適用される車載アプリケーションは、運転手に対するサービス（処理）を行うものに限定される。
【００４０】
個人認証部４ａは、車両の運転手が正当な人物であるか否か判断し、正当な人物である場合に限ってエンジンを稼働させる。個人認証部４ａは、カメラ２によって撮像された画像と、予め登録されている正当な人物の画像とを用いて判断（個人認証処理）を行う。個人認証部４ａは、個人認証処理の結果に応じてエンジンの始動／停止を制御する制御部として機能する。
【００４１】
居眠り検知部４ｂは、車両の運転手が居眠りをしているか否か判断し、居眠りをしていると判断した場合には運転手を覚醒させるための動作を実行する。居眠り検知部４ｂは、カメラ２によって撮像された画像から運転手の目の画像を取得し、瞼が一定幅以上開いているか否か判断する。居眠り検知部４ｂは、瞼が一定以上開いていないと判断した場合、例えば運転席に設置された振動装置を動作させることや、車内に設置されたスピーカから警告音を発すること等により運転手を覚醒させる。この場合、居眠り検知部４ｂは、振動装置やスピーカに対する制御部として機能する。また、このようなスピーカは、オーディオ機器用に予め車両に備えられているスピーカや脇見検知部４ｃ用に備えられるスピーカであっても良いし、居眠り検知部４ｂ用に独自に用意されるスピーカであっても良い。
【００４２】
脇見検知部４ｃは、車両の運転手が脇見（余所見）をしているか否か判断し、脇見をしていると判断した場合には運転手に脇見をしないように警告する。脇見検知部４ｃは、カメラ２によって撮像された画像から運転手の顔の向きを判断する。脇見検知部４ｃは、運転手の顔が所定の角度以上横を向いていると判断した場合、車内に設置されたスピーカから警告音を発すること等により運転手に警告する。この場合、脇見検知部４ｃは、スピーカに対する制御部として機能する。また、このようなスピーカは予め車両に備えられているスピーカや居眠り検知部４ｂ用に備えられているスピーカであっても良いし、脇見検知部４ｃ用に独自に備えられるスピーカであっても良い。
【００４３】
視線検出部４ｄは、車両の運転手がどこを見ているかを判断する、即ち運転手の視線（注視点）を検出する。視線検出部４ｄは、車両に対する障害物が検出された場合に、検出された運転手の注視点の方向に危険マークをヘッドアップ表示するように構成される（例えば、特開平６−２３０１３２号公報，特開平９−７１００号公報を参照）。このような障害物の例として、車両の進行方向に存在する歩行者や、車両が左折する際に巻き込む可能性のある二輪車などがある。この場合、視線検出部４ｄは、車両に搭載されているヘッドアップ表示を行うための装置に対する制御部として機能する。
【００４４】
顔位置検出部４ｅは、カメラ２によって撮像された画像から車両の運転手の顔位置を検出し、その頭部がどこに位置するかを判断する。そして、顔位置検出部４ｅは、エアバッグが噴出される際に、運転手の頭部が位置する場所にエアバッグを噴出させる。顔位置検出部４ｅは、車両が他の物体に衝突したことがセンサ等によって検知された場合などに、運転手の頭部の位置に対してエアバッグが噴出されるように、車両に搭載されているエアバッグ装置を制御する制御部として機能する。
【００４５】
〔アプリケーション選択部〕
アプリケーション選択部５は、カメラ２によって撮像された各画像を、車載アプリケーション部４のいずれの車載アプリケーションに対して入力すべきか（又はいずれの車載アプリケーションを動作させるべきか）、車載センサ３における各センサの出力に応じて判断する。まず、図１を用いて、アプリケーション選択部５の機能ブロックについて説明する。
【００４６】
アプリケーション選択部５は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、いわゆる不揮発性記憶装置を用いて構成される。このＣＰＵ，ＲＡＭ，補助記憶装置などは、その一部又は全部を車載アプリケーション部４と共有するように構成されても良い。
【００４７】
アプリケーション選択部５は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、車両状態判断部６，テーブル記憶部７，及び制御部８等を含む装置として機能する。特に車両状態判断部６及び制御部８は、プログラムがＣＰＵによって実行されることにより実現される。また、車両状態判断部６及び制御部８は、それぞれが専用のチップとして構成されても良い。以下、アプリケーション選択部５の各機能部について説明する。
【００４８】
〈車両状態判断部〉
車両状態判断部６は、車載センサ３（加速度センサ３ａ，速度センサ３ｂ，舵角センサ３ｃ，ギアセンサ３ｄ）の出力信号（データ）に基づいて、車両の状態を示す信号（Ｃｏｄｅ）を出力する。出力信号がアナログの場合には、出力信号はデジタル化される。Ｃｏｄｅは、５桁の二進数を有する変数である。
【００４９】
車両状態判断部６は、加速度センサ３ａから出力されるデータに基づいて、車両の垂直方向の加速度ａを算出する。車両状態判断部６は、算出された加速度ａが閾値Ｚ１以下であるか否か判断する。また、車両状態判断部６は、速度センサ３ｂから出力されるデータに基づいて、車両の速度ｖを算出する。車両状態判断部６は、算出された速度ｖが閾値Ｚ２以上であるか否か判断する。また、車両状態判断部６は、舵角センサ３ｃから出力されるデータに基づいて、車両のステアリングの舵角θを算出する。車両状態判断部６は、算出された舵角θが閾値Ｚ３以上であるか否か判断する。また、車両状態判断部６は、ギアセンサ３ｄから出力されるデータに基づいて、車両のギアがニュートラル状態且つ速度ｖがゼロであるか否かについて判断する。また、車両状態判断部６は、ギアセンサ３ｄから出力されるデータに基づいて、車両のギアがリバースに入っているか否かについて判断する。そして、車両状態判断部６は、これらの判断結果に応じて変数Ｃｏｄｅの値を操作する。
【００５０】
〈テーブル記憶部〉
テーブル記憶部７は、いわゆる不揮発性記憶装置を用いて構成される。テーブル記憶部７は、テーブル７ａを記憶する。図２は、テーブル７ａの例を示す図である。以下、テーブル７ａについて説明する。
【００５１】
テーブル７ａには、変数Ｃｏｄｅの値と車載アプリケーション部４の各機能部（各車載アプリケーション）とが対応付けられている。車両状態判断部６によって出力されたＣｏｄｅの値に対応付けられた車載アプリケーションに対し、制御部８によって顔画像の入力が行われる。
【００５２】
ここで、Ｃｏｄｅの値について説明する。Ｃｏｄｅの一番右の桁は、地面に対して垂直方向における車両の加速度が閾値以上であると判断されたか否か、即ち車両が高さ方向に所定以上の振動をしていると判断されたか否かを示す。この桁が“１”である場合は振動していると判断されたことを示し、“０”である場合は振動していないと判断されたことを示す。
【００５３】
Ｃｏｄｅの右から二番目の桁は、進行方向に対する車両の速度が閾値以上であると判断
されたか否かを示す。この桁が“１”である場合は閾値以上であると判断されたことを示し、“０”である場合は閾値よりも小さいと判断されたことを示す。
【００５４】
Ｃｏｄｅの真ん中の桁は、ステアリングの舵角が閾値以上であると判断されたか否かを示す。この桁が“１”である場合は閾値以上であると判断されたことを示し、“０”である場合は閾値よりも小さいと判断されたことを示す。
【００５５】
Ｃｏｄｅの左から二番目の桁は、ギアがニュートラル状態且つ速度がゼロであると判断されたか否か、言い換えれば車両が停車又は駐車状態であると判断されたか否かを示す。この桁が“１”である場合は停車又は駐車状態であると判断されたことを示し、この桁が“０”である場合は走行状態であると判断されたことを示す。
【００５６】
Ｃｏｄｅの一番左の桁は、ギアがリバースに入っていると判断されたか否かを示す。この桁が“１”である場合はギアがリバースに入っていると判断されたことを示し、この桁が“０”である場合はギアがリバースに入ってはいないと判断されたことを示す。
【００５７】
次に、テーブル７ａの具体例について説明する。“００００１”のＣｏｄｅには、顔位置検出部４ｅが対応付けられる。Ｃｏｄｅ“００００１”は、カメラ２による画像が、車両が進行方向に対して垂直方向に振動していた際に撮像された画像と判断されたことを示す。このような場合は運転手の顔や目の画像が上下にぶれている可能性があるため、精度をそれほど要求されない顔位置検出部４ｅの処理が実行される。
【００５８】
“０００１０”のＣｏｄｅには、顔位置検出部４ｅ，居眠り検知部４ｂ，脇見検知部４ｃ，及び視線検出部４ｄが対応付けられる。Ｃｏｄｅ“０００１０”は、カメラ２による画像が、ある程度平坦な場所を車両が所定の速度以上で真っ直ぐに走行している状態で撮像されたと判断されたことを示す。このような場合は、運転者の顔や目について品質の良い画像が撮像される可能性が高い。このため、入力画像にある程度の品質を要求する居眠り検知部４ｂや脇見検知部４ｃや視線検出部４ｄを実行させることが可能となる。また、顔位置検出部４ｅの処理も実行される。
【００５９】
“００１１０”のＣｏｄｅには、顔位置検出部４ｅ，視線検出部４ｄ，及び居眠り検知部４ｂが対応付けられる。Ｃｏｄｅ“００１１０”は、カメラ２による画像が、ある程度平坦でカーブ又は交差点を車両が所定の速度以上で走行している状態で撮像されたと判断されたことを示す。このような場合は、運転者の顔や目について品質の良い画像が撮像される可能性が高いが、カーブや交差点を曲がるために運転者が意識的に脇を向いている可能性も高い。このような場合に脇見検知部４ｃが脇見を検出し警告を行うことは無駄である場合が多く、ユーザにとってその警告が煩わしいものとなる。このため、この場合は脇見検知部４ｃの処理は実行されず、顔位置検出部４ｅ，視線検出部４ｄ，及び居眠り検知部４ｂの処理が実行される。
【００６０】
“０１１００”及び“０１０００”のＣｏｄｅには、個人認証部４ａ及び顔位置検出部４ｅが対応付けられる。Ｃｏｄｅ“０１１００”及び“０１０００”は、カメラ２による画像が、車両の停車中又は駐車中に撮像されたと判断されたことを示す。このような場合は、運転手の顔や目について品質の良い画像が撮像される可能性が高いが、そもそも走行中でないため、居眠り検知部４ｂ，視線検出部４ｄ，脇見検知部４ｃの処理は不要である。このため、この場合は個人認証部４ａ及び顔位置検出部４ｅの処理が実行される。
【００６１】
“１００１０”のＣｏｄｅには、車載アプリケーションは一切対応付けられない。Ｃｏｄｅ“１００１０”は、カメラ２による画像が、車両が所定の速度以上で後進している際に撮像されたと判断されたことを示す。このような場合は、運転手が振り返って後方を見
ているためにカメラ２によって運転者の顔が撮像されない可能性が高い。このため、この場合は一切の車載アプリケーションが実行されない。
【００６２】
他のＣｏｄｅにも、車載アプリケーションを適宜対応付けることが可能である。コードに対する車両及び運転手の状態の割り付けは、任意に設定することができる。また、車載アプリケーションの選択のために検知される車両の状態の数に応じて、コードの桁数は増減される。
【００６３】
〈制御部〉
制御部８には、カメラ２によって撮像された画像が入力される。また、制御部８は、車両状態判断部６によって出力される変数Ｃｏｄｅの値に対応する車載アプリケーションをテーブル記憶部７から読み出す。そして、制御部８は、読み出された車載アプリケーションに対しカメラ２によって撮像された画像を与え、処理を行うように命令する。上述した各車載アプリケーションは、画像及び命令の待ち受け状態となっており、これらが与えられると処理を行うように構成されても良い。
【００６４】
例えば車両状態判断部６によって“００００１”が変数Ｃｏｄｅの値として出力された場合、制御部８は“００００１”に対応する車載アプリケーションとして“顔位置検出”を読み出す。そして、制御部８は、カメラ２によって撮像された画像を顔位置検出部４ｅに渡し、処理を行うように命令する。
【００６５】
［動作例］
図３〜５は、アプリケーション選択部５の動作例を示すフローチャートである。図３〜５を用いて、アプリケーション選択部５の動作例について説明する。
【００６６】
まず、カメラ２によって撮像された画像が制御部８に入力される（図３：Ｓ０１）。次に、加速度センサ３ａのデータ（出力）が、車両状態判断部６に入力される（Ｓ０２）。そして、車両状態判断部６は、入力された加速度センサ３ａのデータを元に、車両の加速度ａの値を算出する（Ｓ０３）。車両状態判断部６は、算出された加速度ａの値が閾値Ｚ１以下であるか否か判断する。加速度ａが閾値Ｚ１よりも大きい場合（Ｓ０４−Ｎｏ）、車両状態判断部６は、変数Ｃｏｄｅを定義し、この変数Ｃｏｄｅに“００００１”を代入する（Ｓ０５）。一方、加速度ａが閾値Ｚ１以下である場合（Ｓ０４−Ｙｅｓ）、車両状態判断部６は、変数Ｃｏｄｅを定義し、この変数Ｃｏｄｅに“０００００”を代入する（Ｓ０６）。
【００６７】
Ｓ０５の処理の後、Ｓ２１以降の処理が実行される。Ｓ２１以降の処理については後述する。Ｓ０６の処理の後、速度センサ３ｂのデータが車両状態判断部６に入力される（Ｓ０７）。車両状態判断部６は、入力された速度センサ３ｂのデータを元に、車両の速度ｖを算出する（Ｓ０８）。車両状態判断部６は、算出された速度ｖの値が閾値Ｚ２以上であるか否か判断する。速度ｖが閾値Ｚ２以上である場合（Ｓ０９−Ｙｅｓ）、車両状態判断部６は、変数Ｃｏｄｅの値と“０００１０”との論理和を変数Ｃｏｄｅに代入する（Ｓ１０）。
【００６８】
Ｓ１０の処理の後、又は速度ｖが閾値Ｚ２よりも小さい場合（Ｓ０９−Ｎｏ）、舵角センサ３ｃのデータが車両状態判断部６に入力される（図４：Ｓ１１）。車両状態判断部６は、入力された舵角センサ３ｃのデータを元に、車両に備えられたステアリング（ハンドル）の舵角θを算出する（Ｓ１２）。車両状態判断部６は、算出された舵角θの値が閾値Ｚ３以上であるか否か判断する。舵角θが閾値Ｚ３以上である場合（Ｓ１３−Ｙｅｓ）、車両状態判断部６は、変数Ｃｏｄｅの値と“００１００”との論理和を変数Ｃｏｄｅに代入する（Ｓ１４）。
【００６９】
Ｓ１４の処理の後、又は舵角θが閾値Ｚ３よりも小さい場合（Ｓ１３−Ｎｏ）、ギアセンサ３ｄのデータが車両状態判断部６に入力される（Ｓ１５）。車両状態判断部６は、入力されたギアセンサ３ｄのデータを元に、車両の走行状態について判断する（Ｓ１６）。車両のギアがニュートラル状態であり且つ速度ｖがゼロであると判断された場合（Ｓ１７−Ｙｅｓ）、車両状態判断部６は、変数Ｃｏｄｅの値と“０１０００”との論理和を変数Ｃｏｄｅに代入する（Ｓ１８）。
【００７０】
Ｓ１８の処理の後、Ｓ２１以降の処理が実行される。Ｓ２１以降の処理については後述する。ギアがニュートラル状態でない又は速度ｖがゼロでないと判断された場合（Ｓ１７−Ｎｏ）、ギアがリバースに入っているか否か判断される。ギアがリバースに入っていると判断された場合（Ｓ１９−Ｙｅｓ）、車両状態判断部６は、変数Ｃｏｄｅの値と“１００００”との論理和を変数Ｃｏｄｅに代入する（Ｓ２０）。
【００７１】
Ｓ２０の処理の後、又はギアがリバースに入っていないと判断された場合（Ｓ１９−Ｎｏ）、Ｓ２１以降の処理が実行される。次に、Ｓ２１以降の処理について説明する。まず、状態判断部６は、この時点の変数Ｃｏｄｅの値を制御部８に入力する（Ｓ２１）。制御部８は、テーブル７ａにおいて、入力された変数Ｃｏｄｅの値に対応付けられている車載アプリケーションを読み出す。そして、制御部８は読み出された車載アプリケーションに対し入力された画像を与える（Ｓ２２）。
【００７２】
［作用／効果］
アプリケーション選択システム１では、車両の状態に応じて実行すべき車載アプリケーションがテーブル７ａに定義されている。アプリケーション選択部５は、車載センサ３の出力を元に車両の状態を推定し、推定結果を元にテーブル７ａに定義された車載アプリケーションのみを正常動作（サービスの提供）させる。言い換えれば、アプリケーション選択部５は、車載センサ３による出力結果から推定される車両の状態や運転手の状態などに基づいて、そのような状態において動作すべき最適な車載アプリケーションを選択する。
【００７３】
このため、アプリケーション選択システム１は以下のような効果を奏する。まず、車両や運転手の状態から、カメラ２によって撮像された画像の品質が十分ではないと推定される場合、十分な品質の入力画像を必要とする車載アプリケーションに対してはこのような画像は入力されない。このため、車載アプリケーションにおいて入力画像の品質が悪かったために生じる誤動作を防ぎ、精度を向上することが可能となる。また、車両や運転手の状態から運転手にとって必要ないと推定される車載アプリケーションについては動作が実行されない。このため、ＣＰＵなどの装置に不要な負荷がかかることが防止され、実行すべき他の処理が高速に実行される。即ち、車両に搭載される資源が有効に活用される。
【００７４】
［変形例］
車両がオートマチック・トランスミッションの車（ＡＴ車）である場合、ギアセンサ３ｄは、チェンジレバーがパーキング（Ｐ）レンジに入っていることを検出するように構成されても良い。この場合、車両状態判断部６は、Ｓ１７の処理において、チェンジレバーがパーキングレンジに入っているか否かに基づいた判断を行う。
【００７５】
また、車載アプリケーション部４に適用される車載アプリケーション（機能部）は、運転手に対するサービスを行うものに限定されることなく、助手席や後部座席などに着座した人物に対するサービスを行うものであっても良い。この場合、カメラ２は助手席や後部座席などに着座した人物もさらに撮像するように構成される。
【００７６】
また、車載アプリケーション部４の機能の一部は、車両外の装置（例：アプリケーショ
ンサーバ）に備えられるように構成されても良い。この場合、車載アプリケーション部４とアプリケーションサーバとは無線通信によってデータの送受信を行うことが可能となるように構成される。例えば、車載アプリケーション部４の居眠り検知部４ｂにおいて、入力された画像（カメラ２によって撮像された画像）を解析し運転者が居眠り状態であるか否か判断する処理はアプリケーションサーバによって実行され、その解析結果に応じて運転手を覚醒させる処理は居眠り検知部４ｂが直接実行するように構成されても良い。
【００７７】
また、個人認証部４ａは、個人認証処理を要する他のサービスを行うように構成されても良い。その場合、実施されるサービスの内容などに応じてテーブル７ａの内容を変更する必要がある。他のサービスの例として、個人毎に予め登録された内容に従ってシート位置やシートベルト位置やミラーの角度などを自動で制御するサービス，実際に運転している乗員の顔画像に基づいて認証を行いＥＴＣ等の使用の際にセキュリティを高めるサービス（例えば特開２００１−１２６０９１号公報を参照）などがある。後者のサービスの場合などは、走行中であってもサービスを実施する必要があるため、テーブル７ａを変更する必要がある。また、アプリケーション部４は、個人認証を要するサービスを行う複数の機能部を備えるように構成されても良い。
【００７８】
また、居眠り検知部４ｂは、瞼の開いている幅以外の基準（瞬きの回数や頻度や傾向など）に従って、車両の運転手が居眠りをしているか否か判断するように構成されても良い。
【００７９】
また、脇見検知部４ｃは、運転手の顔の向き以外の基準（運転手の視線の方向や視線が正面からずれる頻度や視線が正面からずれている時間など）に従って、車両の運転手が脇見を行っているか否か判断するように構成されても良い。また、脇見検知部４ｃは、警告音以外の方法（シートを振動させる、警告ライトを点灯させる、ステアリングを重くするなど）によってユーザに警告を行うように構成されても良い。
【００８０】
また、視線検出部４ｄは、視線検出処理を要する他のサービスを行うように構成されても良い。この場合、実施されるサービスの内容などに応じてテーブル７ａの内容を変更する必要がある。他のサービスの例として、視線の動きに応じて視線方向及び死角方向を外部撮影装置によって撮影するサービス（例えば特開平１０−２０６７８９号公報を参照）、車両にテレビ電話が搭載された場合には、話者（この場合は運転者）の視線を検出しその結果に基づいて話者の目付近の画像を変形させるサービス（例えば特開平６−６７８６号公報を参照）などがある。後者のサービスの場合などは、例えば走行中にテレビ電話を行うと危険であるという観点から車両が停止状態の場合にのみサービスを提供する必要があるため、テーブル７ａを変更する必要がある。また、アプリケーション部４は、視線検出処理を要するサービスを行う複数の機能部を備えるように構成されても良い。
【００８１】
また、顔位置検出部４ｅは、顔位置検出処理を要する他のサービスを行うように構成されても良い。この場合、実施されるサービスの内容などに応じてテーブル７ａの内容を変更する必要がある。他のサービスの例として、運転手の顔位置に応じてミラーの角度を最適に調整するサービス（例えば特開２００２−２７４２６５号公報を参照）や、顔位置に応じてエアコンの吹き出し口の風向きを制御するサービス（例えば特許３０６７３８１号公報を参照）などがある。前者のサービスの場合などは、車両がバックするときはバックに応じたミラー位置などに制御することも考えられるため、ギアがリバース状態である場合にも動作するようにテーブル７ａを変更する必要がある。
【図面の簡単な説明】
【００８２】
【図１】アプリケーション選択システムの機能ブロックを示す図である。
【図２】テーブルの例を示す図である。
【図３】アプリケーション選択部の動作例を示すフローチャートである。
【図４】アプリケーション選択部の動作例を示すフローチャートである。
【図５】アプリケーション選択部の動作例を示すフローチャートである。
【符号の説明】
【００８３】
１          アプリケーション選択システム
２          カメラ
３          車載センサ
３ａ        加速度センサ
３ｂ        速度センサ
３ｃ        舵角センサ
３ｄ        ギアセンサ
４          車載アプリケーション部
４ａ        個人認証部
４ｂ        居眠り検知部
４ｃ        脇見検知部
４ｄ        視線検知部
４ｅ        顔位置検出部
５          アプリケーション選択部
６          車両状態判断部
７          テーブル記憶部
７ａ        テーブル
８          制御部
【図１】
2005199814.tif 000003
【図２】
2005199814.tif 000004
【図３】
2005199814.tif 000005
【図４】
2005199814.tif 000006
【図５】
2005199814.tif 000007