(57)【要約】【課題】  誤認識を防止することができる「車両用動き認識装置」を提供すること。【解決手段】  車両用動き認識装置１は、認識対象物の動きを検出するカメラ１０、画像認識処理部１２、画像ＤＢ１４と、車両の動きを検出する加速度センサ２０、動き算出部２２と、検出された車両の動きを考慮して認識対象物の動きの内容を認識する動き認識処理部１６、認識結果修正部３０とを備えている。認識結果はナビゲーション装置２に向けて出力され、操作入力として用いられる。【選択図】        図１
2006143159.tif 000002
【特許請求の範囲】
【請求項１】
認識対象物の動きを検出する第１の動き検出手段と、
車両の動きを検出する第２の動き検出手段と、
前記第２の動き検出手段によって検出された前記車両の動きを考慮して、前記第１の動き検出手段によって検出された前記認識対象物の動きの内容を認識する動き認識手段と、
を備えることを特徴とする車両用動き認識装置。
【請求項２】
請求項１において、
前記動き認識手段は、前記第１の動き検出手段によって検出された前記認識対象物の動きから、前記第２の動き検出手段によって検出された前記車両の動きによる影響を除去することを特徴とする車両用動き認識装置。
【請求項３】
請求項１において、
前記動き認識手段は、前記第２の動き検出手段によって検出された前記車両の動きの程度が第１の基準値を超える場合に、前記動き認識手段による認識結果の出力を保留することを特徴とする車両用動き認識装置。
【請求項４】
請求項２または３において、
前記第２の動き検出手段によって検出された前記車両の動きの程度が第２の基準値を超える場合に、その旨を通知する通知手段をさらに備えることを特徴とする車両用動き認識装置。
【請求項５】
請求項１〜４のいずれかにおいて、
前記第２の動き検出手段は、加速度センサであることを特徴とする車両用動き認識装置。
【請求項６】
請求項５において、
前記認識対象物の動き方向が予め決まっており、
前記加速度センサによって前記認識対象物の動き方向に沿った加速度が検出されることを特徴とする車両用動き認識装置。
【請求項７】
請求項１〜６のいずれかにおいて、
前記第１の動き検出手段は、前記認識対象物が撮影範囲に含まれるカメラを有しており、前記カメラの撮影結果に基づいて前記認識対象物の動きを検出することを特徴とする車両用動き認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両において搭乗者の顔や手などを認識対象物としてその動きの認識を行う車両用動き認識装置に関する。
【背景技術】
【０００２】
従来から、利用者の顔の動きをカメラで撮影してその動きの内容を認識してナビゲーション装置の入力として用いる動作検出装置（例えば、特許文献１参照。）や、利用者の手の動きをカメラで撮影してその動きの内容を認識してコンピュータの入力として用いるインターフェイス装置（例えば、特許文献２参照。）などが知られている。これらの装置を用いることにより、利用者は、顔や手を動かすだけで入力操作を行うことができるため、操作パネルやリモコンスイッチあるいはマウスやキーボードの操作が容易でない使用環境下での操作性を向上させることができる。
【特許文献１】特開平１１−８６００５号公報（第３−６頁、図１−１０）
【特許文献２】特開平８−４４４９０号公報（第２−４頁、図１−７）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述した特許文献１に開示された動作検出装置や特許文献２に開示されたインターフェイス装置を用いて利用者の顔や手の動きを検出する場合に、車両の走行状態によって利用者の体が揺れると誤認識を生じるおそれがあるという問題があった。例えば、車両が交差点で右左折するときに体全体が横方向に振れたり、車両の加減速時に頭全体が前後に振れるため、この動きを検出して入力操作を行うと、利用者が意図しない入力操作が行われることになる。
【０００４】
本発明は、このような点に鑑みて創作されたものであり、その目的は、誤認識を防止することができる車両用動き認識装置を提供することにある。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明の車両用動き認識装置は、認識対象物の動きを検出する第１の動き検出手段と、車両の動きを検出する第２の動き検出手段と、第２の動き検出手段によって検出された車両の動きを考慮して、第１の動き検出手段によって検出された認識対象物の動きの内容を認識する動き認識手段とを備えている。車両の動きを検出して認識対象物の動きの認識結果に反映させているため、車両の動きに起因して認識対象物が動いた場合に発生する誤認識を防止することができる。
【０００６】
また、上述した動き認識手段は、第１の動き検出手段によって検出された認識対象物の動きから、第２の動き検出手段によって検出された車両の動きによる影響を除去することが望ましい。これにより、車両の動きによる影響分を取り除くことができるため、車両走行中であっても正確な認識処理を行うことが可能になる。
【０００７】
また、上述した動き認識手段は、第２の動き検出手段によって検出された車両の動きの程度が第１の基準値を超える場合に、動き認識手段による認識結果の出力を保留することが望ましい。これにより、車両の動きに起因して発生する誤認識を確実に防止することができる。
【０００８】
また、上述した第２の動き検出手段によって検出された車両の動きの程度が第２の基準値を超える場合に、その旨を通知する通知手段をさらに備えることが望ましい。これにより、車両の動きに起因して誤認識が発生するおそれがある場合にその旨が通知されるため、認識結果の出力が保留されたことを利用者が知ることができる。あるいは、誤認識が発生した場合であってもその認識内容を廃棄する等の対策を講じることが可能になる。
【０００９】
また、上述した第２の動き検出手段は、加速度センサであることが望ましい。認識対象物の動きに影響を与える場合とは認識対象物に力が加わる場合であるため、加速度センサを用いて加速度を検出することにより、認識対象物の動きに影響を与える車両の動きを正確に知ることができる。
【００１０】
また、上述した認識対象物の動き方向が予め決まっており、加速度センサによって認識対象物の動き方向に沿った加速度が検出されることが望ましい。これにより、認識対象物の動きの認識結果に直接影響を与える車両の動きを正確に知ることができる。
【００１１】
また、上述した第１の動き検出手段は、認識対象物が撮影範囲に含まれるカメラを有しており、カメラの撮影結果に基づいて認識対象物の動きを検出することが望ましい。これにより、認識対象物の動きを容易かつ確実に検出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を適用した一実施形態の車両用動き認識装置について、図面を参照しながら説明する。図１は、一実施形態の車両用動き認識装置の構成を示す図である。図１に示す車両用動き認識装置１は、カメラ１０、画像認識処理部１２、画像ＤＢ（データベース）１４、動き認識処理部１６、加速度センサ２０、動き算出部２２、認識結果修正部３０、通知処理部４０を含んで構成されている。この車両用動き認識装置１は、車両に搭載されており、運転者の顔の動きの内容を認識し、この認識結果を操作内容としてナビゲーション装置２に入力する。
【００１３】
カメラ１０は、例えば運転席の前方位置に設置されたＣＣＤカメラであり、運転席に乗車した運転者の上半身を撮影する。画像認識処理部１２は、カメラ１０を用いて撮影された運転者の上半身を含む画像の中から、認識対象物としての顔画像を抽出する画像認識処理を行う。例えば、画像ＤＢ１４には予め登録された顔画像（登録画像）が格納されており、撮影された画像の中からこの登録画像と一致する部位を検索することにより、顔画像の抽出が行われる。
【００１４】
動き認識処理部１６は、画像認識処理部１２による画像認識処理によって抽出された認識対象物としての運転者の顔の動きを認識する処理を行う。例えば、抽出された顔の位置（中心座標）を所定時間間隔で検出してその移動量を示す動きベクトルを算出することにより、顔の動きとしての動きベクトルの向きと大きさを認識結果として得ることができる。なお、顔の横方向と縦方向の動きのみを検出する場合には、動き認識処理部１６において、動きベクトルの水平成分の大きさと垂直成分の大きさを認識結果として得るようにしてもよい。
【００１５】
加速度センサ２０は、車両の所定位置（例えば、車両用動き認識装置１やナビゲーション装置２等の筐体）に設置されており、設置箇所における加速度を検出する。動き算出部２２は、加速度センサ２０の検出出力に基づいて車両の動きを検出する。認識対象物としての運転者の顔の動きに影響を与える車両の動きとしては、前方を向いている運転者の横方向の動きと前後方向の動きを考慮すればよい。例えば、これら２種類の動きが検出可能なそれぞれの向きに合わせて２つの加速度センサ２０が設置されており、動き算出部２２は、加速度センサ２０の各出力に基づいて車両の横方向の動き（車両の横揺れ）の大きさと前後方向の動き（加減速による進行方向の揺れ）の大きさを算出する。最も簡単には、２種類の加速度センサ２０の各出力に所定の定数を乗算することによりそれぞれの方向の動きの大きさが算出される。
【００１６】
認識結果修正部３０は、動き認識処理部１６によって得られた運転者の顔の動きに関する認識結果を、動き算出部２２によって算出された車両の動きに関する算出値に基づいて修正する。この修正方法としては主に２種類の方法が考えられる。
【００１７】
第１の修正方法としては、運転者の顔の動きの大きさから車両の動きによる影響分を差し引くことにより車両の動きによる影響を除去する場合が考えられる。例えば、動き認識処理部１６によって運転者の顔の横方向の動きの大きさＸ１と縦方向の動きの大きさＹ１とが得られ、動き算出部２２によって車両の横揺れの大きさＸ２と加減速による進行方向の揺れの大きさＺ１が得られた場合を考える。運転者の顔の横方向の動きの大きさＸ１は、車両の横揺れの大きさＸ２分も加算されるため、これらの差分（Ｘ１−Ｘ２）を計算することにより、車両の横揺れによる影響を除去した運転者の顔の真の横方向の動きの大きさを求めることができる。なお、このようにして運転者の顔の真の横方向の動きの大きさを求めるためには、予め横方向に対応する加速度センサ２０の出力値がいくらのときに運転者の顔がどの程度横方向に揺れるかを測定しておいて、この測定結果を反映させるための定数ａを用いて上述した計算式（Ｘ１−Ｘ２）をＸ１−ａ・Ｘ２と変形することが好ましい。この変形を加えることにより、運転者の顔の真の横方向の動きを正確に求めることができる。
【００１８】
同様に、運転者の顔の縦方向の動きの大きさＹ１は、車両の加速度による進行方向の揺れの大きさＺ１による影響分も加算されるため、これらの差分（Ｙ１−Ｚ１）を計算することにより、車両の進行方向の揺れによる影響を除去した運転者の顔の真の縦方向の動きの大きさを求めることができる。なお、このようにして運転者の顔の真の縦方向の動きの大きさを求めるためには、予め車両の前後方向に対応する加速度センサ２０の出力値がいくらのときに運転者の顔がどの程度上下に揺れるかを測定しておいて、この測定結果を反映させるための定数ｂを用いて上述した計算式（Ｙ１−Ｚ１）をＹ１−ｂ・Ｚ１と変形することが好ましい。この変形を加えることにより、運転者の顔の真の縦方向の動きを正確に求めることができる。
【００１９】
第２の修正方法としては、動き算出部２２によって算出された車両の動きに関する算出値が所定の基準値よりも大きい場合には、動き認識処理部１６によって得られた運転者の顔の動きに関する認識結果の信頼性が低いと考えて、この認識結果の採用を保留、すなわち認識結果を使わずに廃棄する場合が考えられる。この場合には、認識結果が採用されなかった旨を運転者に通知することが望ましい。
【００２０】
通知処理部４０は、動き算出部２２によって算出された車両の動きに関する算出値が所定の基準値よりも大きい場合にその旨を運転者に通知する。上述した第２の方法では、通知処理部４０による通知は、認識結果が採用されなかった旨の通知も兼ねている。例えば、通知処理部４０から所定の通知信号が出力されると、ナビゲーション装置２は、表示装置３の画面の一部に車両の動きが過大であったことや認識結果が不採用であったことを示す所定のアラーム画像を表示する。なお、通知処理部４０から出力される通知信号によって発光ダイオード等を点灯させたり、音声かブザー音によって通知を行うようにしてもよい。
【００２１】
上述したカメラ１０、画像認識処理部１２、画像ＤＢ１４が第１の動き検出手段に、加速度センサ２０、動き算出部２２が第２の動き検出手段に、動き認識処理部１６、認識結果修正部３０が動き認識手段に、通知処理部４０が通知手段にそれぞれ対応する。
【００２２】
本実施形態の車両用動き認識装置１はこのような構成を有しており、次にその動作を説明する。図２は、車両用動き認識装置１の動作手順を示す流れ図であり、上述した第１の修正方法に対応した動作手順が示されている。
【００２３】
カメラ１０によって撮影範囲に含まれる画像が取り込まれると（ステップ１００）、画像認識処理部１２によって画像認識処理が行われ（ステップ１０１）、認識対象物としての運転者の顔が抽出される。動き認識処理部１６は、抽出された運転者の顔の動きを認識する（ステップ１０２）。上述した動作と並行して加速度センサ２０によって車両の所定位置の加速度が検出され（ステップ１０３）、動き算出部２２によってこの検出された加速度に基づいて車両の動きが算出される（ステップ１０４）。
【００２４】
次に、認識結果修正部３０は、動き認識処理部１６による運転者の顔の動きの認識結果から、動き算出部２２によって算出された車両の動きによる影響分を差し引く修正処理（第１の修正方法）を行った後（ステップ１０５）、修正後の認識結果をナビゲーション装置２に向けて出力する（ステップ１０６）。
【００２５】
ナビゲーション装置２では、この認識結果は、リモコンユニット（図示せず）等による入力操作と同様に取り扱われる。例えば、図１に示すように、ナビゲーション装置２に接続された表示装置３の画面に「ルート検索を開始しますか？」という文字列と、選択ボタン「はい」および「いいえ」とが表示されている場合を考えると、運転者は、選択ボタン「はい」および「いいえ」のいずれか一方をリモコンユニットを用いて選択したり、タッチパネル方式の操作部が採用されている場合にはこれらのボタンを指で直接指し示すことにより選択することができるが、このような操作の代わりに、顔を上下に振ることにより選択ボタン「はい」を選択し、顔を左右に振ることにより選択ボタン「いいえ」を選択することができる。
【００２６】
このように、車両の動きを検出して認識対象物としての運転者の顔の動きの認識結果に反映させているため、車両の動きに起因して認識対象物が動いた場合に発生する誤認識を防止することができる。特に、車両の動きによる影響分を取り除くことにより、車両走行中であっても正確な認識処理を行うことが可能になる。
【００２７】
また、加速度センサ２０を用いて加速度を検出することにより、認識対象物としての運転者の顔の動きに影響を与える車両の動きを正確に知ることができる。特に、加速度センサ２０によって認識対象物の動き方向に沿った加速度を検出することにより、認識結果に直接影響を与える車両の動きを正確に知ることができる。また、カメラ１０を用いて認識対象物としての運転者の顔を撮影してその動きを検出しており、認識用に運転者がなんらかの物体を装着したり所持したりする煩雑な手間がかからずに、認識対象物の動きを容易かつ確実に検出することができる。
【００２８】
図３は、車両用動き認識装置１の他の動作手順を示す流れ図であり、上述した第２の修正方法に対応した動作手順が示されている。図３に示す流れ図は、ステップ１００〜１０４については図２に示した流れ図と同じであるため、これらに続くステップ１１０〜１１３の動作について説明する。
【００２９】
動き認識処理部１６による運転者の顔の動きの認識処理と動き算出部２２による車両の動きの算出処理とが終了すると、次に、認識結果修正部３０は、車両の動きに関する算出値が所定の基準値以上か否かを判定する（ステップ１１０）。車両の動きの算出値が所定の基準値よりも小さい場合には否定判断が行われ、次に、認識結果修正部３０は、動き認識処理部１６によって得られた運転者の顔の動きの認識結果をナビゲーション装置２に向けて出力する（ステップ１１１）。
【００３０】
一方、車両の動きの算出値が所定の基準値以上の場合にはステップ１１０の判定において肯定判断が行わる。この場合は、認識結果修正部３０からナビゲーション装置２に向けた認識結果の出力が保留され（ステップ１１２）、通知処理部４０によって車両の動きが過大であること、あるいはそのために認識結果の出力が保留されたことを示す所定の通知が行われる（ステップ１１３）。
【００３１】
このように、車両の動きが大きい場合には認識結果修正部３０から出力される認識結果の出力を保留しているため、車両の動きが大きい場合に発生する誤認識を確実に防止することができる。特に、車両の動きが大きいときにその旨を通知しているため、車両の動きに起因して誤認識が発生するおそれがある場合にその旨が通知され、認識結果の出力が保留されたことを運転者自身が知ることができる。これにより、例えば運転者が顔を振ってナビゲーション装置２に対して何らかの操作を行ったときに、同時に車両が大きく揺れて認識結果が保留された場合に、運転者自身が行った操作が無効になったことを知ることができる。
【００３２】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、運転者の顔の動きの内容を認識する場合について説明したが、顔以外の認識対象物、例えば手や足、体全体などの動きを検出するようにしてもよい。あるいは、人が手に持ったり、体の一部に装着した人体以外の認識対象物の動きの内容を認識するようにしてもよい。
【００３３】
また、上述した実施形態では、車両用動き認識装置１の認識結果をナビゲーション装置２に向けて出力するようにしたが、ナビゲーション装置２以外の装置に入力するようにしてもよい。また、ナビゲーション装置２に対して何らかの入力操作を行うために認識結果を用いる場合について説明したが、入力操作以外の目的で認識結果を用いるようにしてもよい。
【００３４】
また、上述した実施形態では、車両の動きが大きく、認識結果の出力が保留されたときに通知処理部４０による通知が行われるようにしたが、認識結果の出力を保留するか否かにかかわらずこの通知を行うようにしてもよい。例えば、第１の修正方法に対応する図２のステップ１０５とステップ１０６の間に、車両の動きが大きいときに通知を行うステップを追加するようにしてもよい。車両の動きが大きいために認識結果の信頼性が低下する場合があり、このような場合にはその認識内容を廃棄する等の対策を利用者（運転者）自身が講じたり、ナビゲーション装置１側でこの同様の対策を講じたりすることが可能になる。
【００３５】
また、上述した実施形態では、カメラ１０を用いて認識対象物としての運転者の顔の動きを検出したが、検出方法はカメラ１０を用いる方法に限定されず、超音波センサや赤外線センサ等を用いる方法を単独であるいは組み合わせて用いるようにしてもよい。
【００３６】
また、車両用動き認識装置１に備わった加速度センサ２０は、車両の動き検出用に特別に設けるようにしてもよいが、車両に他の用途のために備わったジャイロやヨーレートセンサ、車両姿勢制御装置（ＶＳＣ）などから同様の加速度情報を得るようにしてもよい。
【図面の簡単な説明】
【００３７】
【図１】一実施形態の車両用動き認識装置の構成を示す図である。
【図２】車両用動き認識装置の動作手順を示す流れ図である。
【図３】車両用動き認識装置の他の動作手順を示す流れ図である。
【符号の説明】
【００３８】
１  車両用動き認識装置
２  ナビゲーション装置
３  表示装置
１０  カメラ
１２  画像認識処理部
１４  画像ＤＢ
１６  動き認識処理部
２０  加速度センサ
２２  動き算出部
３０  認識結果修正部
４０  通知処理部
【図１】
2006143159.tif 000003
【図２】
2006143159.tif 000004
【図３】
2006143159.tif 000005