(57)【特許請求の範囲】
【請求項１】
車両の開閉体の周辺に近赤外光を照射する近赤外光照射部と、
近赤外光が照射された部分を含む映像を撮影する撮影部と、
前記撮影部で撮影された映像の輝度に基づいてユーザの手領域を抽出する手領域抽出部と、
前記手領域抽出部によって抽出された手領域から検出した前記ユーザの手の動きを検出する動作検出部と、
前記動作検出部によって検出された動作が所定の動作と一致すれば前記開閉体の操作を指示する開閉体操作指示制御部と、
を備えたことを特徴とする車両開閉体制御装置。
【請求項２】
前記近赤外光照射部及び前記撮影部は、ユーザの身体部位の中で手が最も近づきやすい開閉体の操作部の周辺に設置されることを特徴とする請求項１に記載の車両開閉体制御装置。
【請求項３】
前記近赤外光照射部及び前記撮影部は、前記車両のドアハンドルの下側に設置されることを特徴とする請求項１または２に記載の車両開閉体制御装置。
【請求項４】
前記近赤外光照射部及び前記撮影部は、路面と平行か平行よりも下向きに設置されることを特徴とする請求項１〜３のいずれか１項に記載の車両開閉体制御装置。
【請求項５】
前記近赤外光照射部は、前記撮影部が撮影した映像において、前記開閉体から所定の距離以内に存在する被写体を示す領域の画素の輝度値が飽和する光量の前記近赤外光を照射することを特徴とする請求項１〜４のいずれか１項に記載の車両開閉体制御装置。
【請求項６】
前記手領域抽出部は、前記撮影部で撮影された映像の内、輝度値が飽和した画素の領域を前記ユーザの手領域として抽出することを特徴とする請求項１〜５のいずれか１項に記載の車両開閉体制御装置。
【請求項７】
前記動作検出部は、検出する手の動きとして手の軌道又は形状を対象とすることを特徴とする請求項１〜６のいずれか１項に記載の車両開閉体制御装置。
【請求項８】
前記開閉体操作指示制御部は、前記動作検出部が検出したユーザの手の動きに基づいて、前記開閉体の施錠、解錠、開扉又は閉扉の制御を実行することを特徴とする請求項１〜７のいずれか１項に記載の車両開閉体制御装置。
【請求項９】
前記近赤外光照射部及び前記撮影部は、前記車両の各開閉体に対応してそれぞれ設置されることを特徴とする請求項１〜８のいずれか１項に記載の車両開閉体制御装置。
【請求項１０】
前記開閉体操作指示制御部は、前記動作検出部が手の動きの検出を行う際の映像を撮影した前記撮影部に対応する開閉体に対して制御を実行することを特徴とする請求項９に記載の車両開閉体制御装置。
【請求項１１】
前記開閉体を操作しようとするユーザが前記車両の正規ユーザであるか否かを判定するユーザ認証部を備え、
前記開閉体操作指示制御部は、前記ユーザ認証部が前記ユーザは正規ユーザであると判断したとき、前記開閉体の操作を指示することを特徴とする請求項１〜１０のいずれか１項に記載の車両開閉体制御装置。
【請求項１２】
前記ユーザ認証部は、近赤外光を利用した手部位の静脈認証によって前記ユーザが正規ユーザであるか否かを判定することを特徴とする請求項１１に記載の車両開閉体制御装置。
【請求項１３】
前記近赤外光照射部は、前記撮影部が撮影した映像において、前記ユーザ認証部による静脈認証時には前記ユーザの手領域の映像から静脈特徴を抽出可能な光量の前記近赤外光を照射することを特徴とする請求項１２に記載の車両開閉体制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの意思に応じて、車両の開閉体にユーザが接触せずに当該開閉体を制御可能な車両開閉体制御装置に関する。
【背景技術】
【０００２】
近年の車両における開閉体、特にドアに係る開閉制御システムとしては、ユーザが携帯型の電子キーを用い、車両と携帯型電子キーとの間で無線通信を行う方法が一般的である。車両と携帯型電子キーとの無線通信が発生するタイミングとしては、ユーザが携帯型電子キーの解錠/施錠ボタンを押下したことをトリガにするものや、携帯型電子キーが車両から所定の通信エリアに入ったときに自動的に無線通信を開始するものがある。いずれの方法にしても、これらの無線通信により車両ドアは解錠スタンバイ状態へと移行し、ユーザがドアハンドルに接触することで車両ドアは容易に解錠できる。なお、解錠スタンバイ状態とは、この時点では開閉体は解錠されておらず、更なるユーザのアクションによって解錠（あるいは同時に開扉）を行うことができる状態を指す。【０００３】
しかし、ユーザが車両に乗り込むにはさらに車両ドアの開扉が必要であるが、開扉のためにはユーザが車両ドアのハンドルに手をかけて手前に引くという動作が必要となる。このような開扉動作は、例えばユーザが手荷物を保持している場合や、手を負傷している場合など、動作自体が困難でありユーザの利便性を損なっているといえる。【０００４】
このような課題に対して、特許文献１に記載の車両用ドア制御システムでは、車外において車両ドアを視認可能な位置に存在するユーザを撮影する車外撮影手段を設け、ユーザの手や指の向きや動作軌道を映像より特定することで、ユーザが車両ドアのハンドルを直接的に操作しなくても手や指の動きで車両ドアの解錠や開扉を指示することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特開２０１０−５８６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この車両用ドア制御システムが成り立つためには、車外を撮影した映像においてユーザの手や指を特定できることが前提であるが、特許文献１のように車外を撮影できる手段を備えるだけでは、車両が置かれ得る実環境において精度の良い特定は困難である。例えば、車両が夜間の屋外など低照度環境下に置かれている場合、撮影装置の感度不足によって映像は甚だ不鮮明になる。また、照度が十分である昼間であってもユーザが太陽を背にするように存在していた場合、映像においてユーザが黒く潰れてしまう。このように、従来のシステムでは、実環境において撮影された映像においてユーザの手や指を精度良く特定する方法自体に課題があるため、ユーザの利便性を安定して確保することが難しいという問題があった。【０００７】
本発明は、ユーザの動作を環境に依存せず精度良く判定でき、車両の開閉体を開閉したいというユーザの意思に応じて、開閉体にユーザが接触することなく開閉体を制御可能な車両開閉体制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の車両開閉体制御装置は、車両の開閉体の周辺に近赤外光を照射する近赤外光照射部（例えば、実施形態での近赤外ＬＥＤ２１０〜２１３）と、近赤外光が照射された部分を含む映像を撮影する撮影部（例えば、実施形態での撮影部２２０〜２２３）と、前記撮影部で撮影された映像の輝度に基づいてユーザの手領域を抽出する手領域抽出部（例えば、実施形態での手領域抽出部２０３）と、前記手領域抽出部によって抽出された手領域から検出した前記ユーザの手の動きを検出する動作検出部（例えば、実施形態での動作検出部２０４）と、前記動作検出部によって検出された動作が所定の動作と一致すれば前記開閉体の操作を指示する開閉体操作指示制御部（例えば、実施形態での操作指示制御部２０５）と、を備えた構成を有する。
この構成により、ユーザの動作を精度良く判定できるので、ユーザの意思に応じて開閉体にユーザが接触することなく開閉体を開閉することが可能な車両開閉体制御装置を提供することが可能になる。【０００９】
本発明の車両開閉体制御装置において、前記近赤外光照射部及び前記撮影部は、ユーザの身体部位の中で手が最も近づきやすい開閉体の操作部の周辺に設置されることを特徴とする。
この構成により、ユーザの手を精度良く検出することができ、ユーザが開閉体に手を伸ばすという動作に負担を感じさせないという効果がある。また、ユーザが撮影部の前面に起立することから、撮影部がユーザの陰になるため、撮影部に太陽光が直接射し込むことを防ぐことができ、逆光下における環境でも安定して撮影することができる。【００１０】
本発明の車両開閉体制御装置において、前記近赤外光照射部及び前記撮影部は、前記車両のドアハンドルの下側に設置されることを特徴とする。
この構成により、車両のドアハンドルによって雨滴がさえぎられるので、撮影部の表面（レンズ）に雨滴が付着することを防ぐことができ、雨天環境でも安定して撮影することができる。【００１１】
本発明の車両開閉体制御装置において、前記近赤外光照射部及び前記撮影部は、路面と平行か平行よりも下向きに設置されることを特徴とする。
この構成により、撮影部における水平光軸が水平線よりも下側を向くので、太陽光が直接撮影部に射し込むことを防止することができ、逆光下における環境でも安定して撮影することができる。【００１２】
本発明の車両開閉体制御装置において、前記近赤外光照射部は、前記撮影部が撮影した映像において、前記開閉体から所定の距離以内に存在する被写体を示す領域の画素の輝度値が飽和する光量の前記近赤外光を照射することを特徴とする。
この構成により、ユーザが開閉体に対して伸ばした手だけを近赤外光で照射することで、撮影した映像の中でユーザの手だけを手以外の物と区別することが可能になる。【００１３】
本発明の車両開閉体制御装置において、前記手領域抽出部は、前記撮影部で撮影された映像の内、輝度値が飽和した画素の領域を前記ユーザの手領域として抽出することを特徴とする。
この構成により、ユーザが意図的に開閉体に対して手を伸ばしたときに、映像から簡易にユーザの手を抽出することができる。【００１４】
本発明の車両開閉体制御装置において、前記動作判定部は、検出する手の動きとして手の軌道又は形状を対象とすることを特徴とする。
この構成により、ユーザが意図的に手を動作させたときだけを判定の対処とすることができるので、ユーザが意図しないときに装置が誤動作することを防止することができる。【００１５】
本発明の車両開閉体制御装置において、前記開閉体操作指示制御部は、前記動作検出部が検出したユーザの手の動きに基づいて、前記開閉体の施錠、解錠、開扉又は閉扉の制御を実行することを特徴とする。
この構成により、ユーザが開閉体の操作部に直接手を触れなくても施錠、解錠、開扉、閉扉の制御ができるため、ユーザの利便性が向上する。【００１６】
本発明の車両開閉体制御装置において、前記近赤外光照射部及び前記撮影部は、前記車両の各開閉体に対応してそれぞれ設置されることを特徴とする。
この構成により、各開閉体に対してユーザが手を伸ばした映像を撮影できるので、ユーザの手の動きを精度良く取得することができ、さらにユーザがどの開閉体を操作したいのかを明らかにすることができる。【００１７】
本発明の車両開閉体制御装置において、前記開閉体操作指示制御部は、前記動作検出部が手の動きの検出を行う際の映像を撮影した前記撮影部に対応する開閉体に対して制御を実行することを特徴とする。
この構成により、ユーザが手を伸ばした開閉体を対象に開閉制御ができるので、ユーザの意思で操作する開閉体を指示することができる。【００１８】
本発明の車両開閉体制御装置において、前記開閉体を操作しようとするユーザが前記車両の正規ユーザであるか否かを判定するユーザ認証部（例えば、実施形態での静脈特徴抽出部２０７及び静脈特徴マッチング部２０８）を備え、前記開閉体操作指示制御部は、前記ユーザ認証部が前記ユーザは正規ユーザであると判断したとき、前記開閉体の操作を指示することを特徴とする。
この構成により、あらかじめ車両に登録された正規ユーザ以外は本装置が使用できなくなるのでセキュリティを向上することができる。【００１９】
本発明の車両開閉体制御装置において、前記ユーザ認証部は、近赤外光を利用した手部位の静脈認証によって前記ユーザが正規ユーザであるか否かを判定することを特徴とする。
この構成により、生体認証の中で信頼性が高いとされる静脈認証をユーザ認証として使用するのでセキュリティが向上するとともに、静脈認証に必要な近赤外照射部と撮影部を追加で備えることなく実現できるので装置としてコストが削減できる。【００２０】
本発明の車両開閉体制御装置において、前記近赤外光照射部は、前記撮影部が撮影した映像において、前記ユーザ認証部による静脈認証時には前記ユーザの手領域の映像から静脈特徴を抽出可能な光量の前記近赤外光を照射することを特徴とする。
この構成により、ユーザの手領域を抽出するときと、抽出した手領域から静脈特徴を抽出するときとで、それぞれ最適な光量に近赤外照射部を調整するので、用途に応じて最適な映像を撮影することができる。
【発明の効果】
【００２１】
本発明によれば、ユーザの動作を環境に依存せず精度良く判定できるので、車両の開閉体を開閉したいというユーザの意思に応じて、開閉体にユーザが接触することなく開閉体を制御できるという優れた効果を有する。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る車両開閉体制御システムの構成を示すブロック図
【図２】開閉体に対応する近赤外ＬＥＤと撮影部の設置位置の一例を示す図
【図３】開閉制御ＥＣＵ２００の起動直後から開閉体を制御する動作モードを説明するフローチャート
【図４】（ａ）ドアハンドルの下に近赤外ＬＥＤと撮影部を設置した例を示す図，（ｂ）ドアハンドルの横に近赤外ＬＥＤと撮影部を設置した例を示す図
【図５】近赤外照射範囲と撮影範囲を説明する図
【図６】ユーザの手が飽和する近赤外ＬＥＤの光量を説明する図
【図７】ユーザの手領域の抽出の一例を示す概念図
【図８】（ａ）時刻ｎにおける映像と手領域の抽出結果の一例を示す図，（ｂ）時刻ｎ＋１における映像と手領域の抽出結果の一例を示す図，（ｃ）時刻ｎ＋２における映像と手領域の抽出結果の一例を示す図
【図９】（ａ），（ｂ）は時刻ｎから時刻ｎ＋２における手の軌道を検出した一例を示す図
【図１０】（ａ）ユーザが手を広げた状態の映像と手領域の抽出結果の一例を示す図，（ｂ）ユーザが手を閉じた状態の映像と手領域の抽出結果の一例を示す図
【図１１】ユーザ認証モード（ステップＳ１００）を行う開閉制御ＥＣＵ２００の動作を示すフローチャート
【発明を実施するための形態】
【００２３】
以下、本発明の一実施形態における車両開閉体制御システムについて、図面を参照して説明する。
図１は、本発明の一実施形態に係る車両開閉体制御システムの構成を示すブロック図である。図示する車両開閉体制御システム１は、ユーザが携帯可能な携帯機１０および車両側の車両機器２０により構成される。携帯機１０は、いわゆる携帯型電子キーに該当する。
【００２４】
車両機器２０は、携帯機１０との無線通信を行い開閉制御ＥＣＵ（Electronic Control Unit）２００の起動を制御する電子キーＥＣＵ１００と、車両の開閉体（図示せず）を制御する開閉制御ＥＣＵ２００と、開閉制御ＥＣＵ２００からの制御に基づいて車両の開閉体の解錠および施錠を実行する解錠／施錠ＥＣＵ３００と、開閉制御ＥＣＵ２００からの制御に基づいて車両の開閉体の開扉および閉扉を実行する開扉／閉扉ＥＣＵ４００とを備える。
【００２５】
ここで、車両の開閉体としては、乗降口ドア（スライドドア含む）、トランクドア、開閉可能なウインドウなどがある。本システムはいずれの開閉体についても応用することが可能であるが、下記では乗降口ドアを一例に説明する。なお、車両の開閉体に限らず、家屋等の建物や部屋に通じるドア等の開閉体にも適用可能である。
【００２６】
携帯機１０および電子キーＥＣＵ１００は、公知のスマートキーエントリーシステムを用いることができる。携帯機１０は、電子キーＥＣＵ１００に設けられた車両側送受信機１０１との間で無線通信を行う。電子キーＥＣＵ１００は、携帯機１０を所持するユーザが車両に接近したと判断した場合に開閉制御ＥＣＵ２００を起動する。開閉制御ＥＣＵ２００の起動により車両の開閉体は解錠スタンバイ状態となる。
【００２７】
なお、開閉制御ＥＣＵ２００の起動にはスマートキーエントリーシステムが必須ではなく、他のエントリーシステムを利用することができる。例えば、ユーザが携帯機１０の解錠/施錠ボタンを押下したときに電子キーＥＣＵ１００が開閉制御ＥＣＵ２００を起動してもよい。この場合でも開閉制御ＥＣＵ２００の起動により車両の開閉体は解錠スタンバイ状態となるので、解錠スタンバイ状態における制御は同じである。
【００２８】
開閉制御ＥＣＵ２００が起動すると、車両の開閉体は解錠スタンバイ状態である開閉体の制御を開始する。
【００２９】
開閉制御ＥＣＵ２００は、モード制御部２０１と、近赤外ＬＥＤ２１０〜２１３と、撮影部２２０〜２２３と、ＬＥＤ制御部２０２と、手領域抽出部２０３と、動作検出部２０４と、ユーザ操作データベース（ユーザ操作ＤＢ）２０６と、操作指示制御部２０５と、静脈特徴抽出部２０７と、登録ユーザデータベース（登録ユーザＤＢ）２０９と、静脈特徴マッチング部２０８とを備える。
【００３０】
モード制御部２０１は、開閉制御のモードとして「ユーザ操作モード」と「ユーザ認証モード」のいずれかをＬＥＤ制御部２０２に指定する。ＬＥＤ制御部２０２は、モード制御部２０１から指定されたモードに従って、近赤外ＬＥＤ２１０〜２１３の照射光量を制御する。近赤外ＬＥＤ２１０〜２１３は、開閉体の周辺に近赤外光を照射する。撮影部２２０〜２２３は、近赤外ＬＥＤ２１０〜２１３が照射した範囲を含む開閉体周辺を撮影する。
【００３１】
手領域抽出部２０３は、撮影部２２０〜２２３が撮影した映像からユーザの手領域を抽出する。動作検出部２０４は、モード制御部２０１にユーザ操作モードが設定されている時に、手領域抽出部２０３が抽出した手領域の情報からユーザの手の動きを検出する。ユーザ操作データベース２０６は、開閉体を操作するために定義された手の動きに関する情報をデータベースとして保存する。なお、開閉体の操作とは、開閉体に対する解錠／施錠操作または開扉／閉扉操作である。
【００３２】
操作指示制御部２０５は、動作検出部２０４によって検出された動作がユーザ操作データベース２０６に保存されている情報と一致するかを判定し、ユーザ操作データベース２０６に一致する動作があればその定義に従って開閉体に対するユーザの操作を開閉体に指示するよう制御する。なお、ユーザ操作データベース２０６は更新することができ、ユーザ操作データベース２０６を更新することで、開閉体を操作するユーザ動作を変更することが可能である。
【００３３】
静脈特徴抽出部２０７は、モード制御部２０１にユーザ認証モードが設定されている時、ユーザの静脈認証を行うために、手領域抽出部２０３が抽出した手領域の情報から静脈特徴を抽出する。登録ユーザデータベース２０９は、あらかじめ車両に登録された正規ユーザの静脈特徴をデータベースとして保存する。静脈特徴マッチング部２０８は、静脈特徴抽出部２０７が抽出した静脈特徴と登録ユーザデータベース２０９に保存されている情報とのマッチングを行う。
【００３４】
なお、近赤外ＬＥＤおよび撮影部は１セットとして、操作対象とする開閉体にそれぞれ設置される。例えば、４ドアの車両であると仮定したとき、図２に示すように、車両の右前方の乗降口ドアには近赤外ＬＥＤ２１０と撮影部２２０、右後方の乗降口ドアには近赤外ＬＥＤ２１１と撮影部２２１、左前方の乗降口ドアには近赤外ＬＥＤ２１２と撮影部２２２、左後方の乗降口ドアには近赤外ＬＥＤ２１３と撮影部２２３が設置される。ＬＥＤ制御部２０２は、近赤外ＬＥＤ２１０〜２１３をそれぞれ制御する。手領域抽出部２０３には、撮影部２２０〜２２３が撮影した映像のデータが入力される。以下の説明では、近赤外ＬＥＤと撮影部のセットの代表として、近赤外ＬＥＤ２１０と撮影部２２０を例に説明する。
【００３５】
次に、開閉制御ＥＣＵ２００の動作について、図面を参照しながら詳細を説明する。
【００３６】
図３は、開閉制御ＥＣＵ２００の起動直後から開閉体を制御する動作モードを説明するフローチャートである。開閉制御ＥＣＵ２００は、起動すると初めにユーザ認証を実行する（ステップＳ１００）。ステップＳ１００の実行中は「ユーザ認証モード」である。ステップＳ１００では、開閉制御ＥＣＵ２００が、撮影されているユーザがあらかじめ登録されたユーザ（正規ユーザ）であるかどうかを判定する。撮影されているユーザが正規ユーザでない場合、開閉制御ＥＣＵ２００は、開閉体に対する操作を受け付けずに処理を終了する。撮影されているユーザが正規ユーザである場合、開閉制御ＥＣＵ２００は、続いてユーザ操作判定を実行する（ステップＳ１０１）。次に、開閉制御ＥＣＵ２００は、ステップＳ１０１によるユーザ操作判定の結果に基づいて、解錠／施錠ＥＣＵ３００および開扉／閉扉ＥＣＵ４００に制御指示を送る（ステップＳ１０２）。ステップＳ１０１およびステップＳ１０２の実行中は「ユーザ操作モード」である。なお、ステップＳ１０１とステップＳ１０２は繰り返し実行してもよい。また、ユーザ認証処理（ステップＳ１００）は、システムの動作上において必ずしも実行する必要はないが、実行することによりシステムのセキリティが向上できる。
【００３７】
次に、ユーザ操作判定処理（ステップＳ１０１）についての詳細を説明する。
【００３８】
開閉制御ＥＣＵ２００は、近赤外ＬＥＤ２１０による照射中に、撮影部２２０が開閉体の周辺に存在するユーザを撮影するよう制御する。以下、近赤外ＬＥＤ２１０と撮影部２２０の設置位置について説明する。本実施形態では、開閉体の制御にユーザの手の動きを利用するため、ユーザが負担や違和感を覚えることなく撮影部２２０がユーザの手を撮影できるように、開閉体の操作部周辺に近赤外ＬＥＤ２１０と撮影部２２０を設置する。図４（ａ），（ｂ）は、ユーザが車外から乗降口ドアを操作するときを想定した設置位置の一例である。図４（ａ）は、近赤外ＬＥＤ２１０と撮影部２２０をドアハンドルの下に設置した例を示し、図４（ｂ）は、近赤外ＬＥＤ２１０と撮影部２２０をドアハンドルの横に設置した例を示す。
【００３９】
本システムでは、ドアハンドルの周辺に近赤外ＬＥＤ２１０と撮影部２２０が設置されていれば良いが、図４（ａ）のようにドアハンドルの下に設置することにより、撮影部２２０に雨滴が直接降りかかることを防止する効果が期待できる。また、近赤外ＬＥＤ２１０および撮影部２２０を路面に対して水平より下向きに設置する。これにより、太陽の直射日光が撮影部２２０に対して直接射し込むことを防止できるので、逆光の影響を軽減できる。さらに、撮影部２２０は狭角のレンズを使用することが望ましい。これにより、太陽が映像に入り込む可能性がより小さくなるので、逆光の影響を一層軽減できる。
【００４０】
このように近赤外ＬＥＤ２１０と撮影部２２０を設置したときの、近赤外光の照射範囲と撮影範囲を図５に示す。ユーザの体の部位において近赤外ＬＥＤ２１０および撮影部２２０に対して最も接近するのは、ユーザが自然とドアハンドルに対して手を伸ばしたときの手となる。近赤外ＬＥＤ２１０と撮影部２２０を上述の位置に設置することで、撮影部２２０は、ユーザに負担を感じさせることなくユーザの手を撮影することが可能になる。
【００４１】
近赤外ＬＥＤ２１０の照射光量は、図６に示すように、乗降口ドアのハンドルにユーザが手を伸ばした状態（ユーザの手の近赤外ＬＥＤ２１０と撮影部２２０からの距離が３０ｃｍ以内）において、図６に点線で示したユーザの手だけが撮影部２２０の映像中で飽和（白飛び）画素となるようにあらかじめ調整しておく。このときの近赤外ＬＥＤ２１０の光量を「飽和光量」という。上述したユーザ操作判定（ステップＳ１０１）の実行中、ＬＥＤ制御部２０２は、近赤外ＬＥＤ２１０の照射光量が「飽和光量」になるように近赤外ＬＥＤ２１０を制御する。なお、近赤外ＬＥＤ２１０の光量は用途に応じて切り替えることができる。
【００４２】
次に、手領域抽出部２０３は、撮影部２２０が撮影した映像からユーザの手領域を抽出する。図７に手領域抽出の概念図を示す。前述したように、ユーザ操作判定（ステップＳ１０１）の実行中は、ユーザの手領域が映像中で飽和した画素となるので、手領域を抽出するためには、映像から飽和画素だけを抽出すればよい。例えば、撮像部２２０が撮影した映像を、飽和画素を白、それ以外の画素を黒とした２値画像に変換すれば、２値画像中の白画素の領域をユーザの手領域とみなすことができる。なお、実映像においてはノイズや反射物体の存在があるため、必要に応じて２値画像に対して膨張収縮処理等のノイズ対策を行ってノイズ成分を除去する必要がある。また、ユーザの手は撮影部２２０から３０ｃｍ以内であることが前提にあることから、ユーザの手は映像中で一定以上の大きさで撮影される。したがって、当該一定未満の大きさの白領域を削除するなどして手領域でない白画素を除外する処理も有効である。
【００４３】
次に、動作検出部２０４は、手領域抽出部２０３が抽出した手領域の位置がどのように動いたかという手の軌道と手の形状変化から、ユーザの手の動きを検出する。
【００４４】
動作検出部２０４による手の軌道の検出について、図８（ａ）〜（ｃ）および図９（ａ），（ｂ）を使って説明する。図８（ａ）〜（ｃ）は、時刻ｎ、時刻ｎ＋１、時刻ｎ＋２の各時刻における手領域の位置を抽出した一例を示す。図９（ａ），（ｂ）は、手領域を抽出した結果から時刻ｎ〜時刻ｎ＋２における手の軌道を検出した結果を示す。図８（ａ）〜（ｃ）および図９（ａ），（ｂ）に示した例では、映像上においてユーザが手を左から右（ユーザから見れば右から左）に動かしている。
【００４５】
本実施形態では手領域抽出部２０３があらかじめ手領域を抽出するため、動作検出部２０４は、画像処理で用いられる複雑な追跡処理（トラッキング処理）を利用しなくても、手の軌道を簡単に検出することができる。例えば、図９（ａ）に示すように、動作検出部２０４は、映像上における各時刻の手領域の重心位置を計算して、重心位置の時間推移からユーザの手の軌道を検出することができる。ここでは一例として左右の軌道を説明したが、他の軌道（例えば上下方向の動きや円を描く動き）に関しても同様に求めることができる。
【００４６】
次に、動作検出部２０４による手の形状変化の検出について、図１０（ａ），（ｂ）を使って説明する。図１０（ａ）は、ユーザが手のひらを広げた状態の手領域の一例を示し、図１０（ｂ）は、手のひらを閉じた状態の手領域の一例を示す。手を広げた状態と手を閉じた状態の形状変化を検出する方法としては、手領域の面積を比較することで簡単に検出することができる。手領域の面積が大きければ手のひらを広げた状態であり、手領域の面積が小さければ手のひらを閉じた状態である。動作検出部２０４は、手領域の面積の大きさの時間推移から、ユーザの手の形状変化を検出できる。なお、手の位置はほとんど変わらずに手の形状だけが変化しているとき、手の軌道は検出されない。動作検出部２０４が検出する手の形状変化は、図１０（ａ），（ｂ）に示した手のひらの開閉だけでなく、例えば指を何本立てたかといった形状の変化であっても良い。この場合、動作検出部２０４は、指を立てたときのテンプレート画像をあらかじめ用意してテンプレートマッチングを行うことや、手領域を細線化して線分の本数を調べることで、手の形状変化を検出する。
【００４７】
次に、操作指示制御部２０５は、動作検出部２０４によって検出された動作がユーザ操作データベース２０６に保存されている情報と一致するかを判定する。なお、ユーザ操作データベース２０６に保存されている情報とは、開閉体に対する解錠／施錠操作または開扉／閉扉操作に対応するあらかじめ定義された手の動きに関する情報である。上記判定の結果、一致する情報があれば、操作指示制御部２０５は、解錠／施錠ＥＣＵ３００および開扉／閉扉ＥＣＵ４００に制御指示を送る。当該制御指示に応じた解錠／施錠ＥＣＵ３００又は開扉／閉扉ＥＣＵ４００の制御によって開閉体は操作される。このように、ユーザの意図的な動作に基づいて開閉体を操作することにより、ユーザが意図しない開閉体の誤操作を防止することができる。
【００４８】
なお、本実施形態では、開閉体毎に近赤外ＬＥＤと撮影部が設置されているため、ユーザがどの開閉体を操作したいのかは、どの撮影部でユーザの動作が撮影されているかによって判断できる。そのため、解錠／施錠ＥＣＵ３００および開扉／閉扉ＥＣＵ４００に対する制御指示には、開閉体の操作内容だけでなく、いずれの開閉体に対する制御指示かという情報も合わせて送信される。また、本実施形態では、近赤外ＬＥＤと撮影部から３０ｃｍ以内にユーザの手が近づいていないとき、手領域抽出部２０３はユーザの手領域を抽出できない。したがって、仮にユーザが操作しようとしている開閉体とは別の開閉体に設置されている撮影部でユーザが撮影されていたとしても、別の開閉体において誤ってユーザの動作を検出してしまう恐れはない。
【００４９】
以上が、ユーザ操作判定処理（ステップＳ１０１）についての詳細な説明である。
【００５０】
本実施形態のシステムは、ユーザ操作判定処理（ステップＳ１０１）とユーザ認証処理（ステップＳ１００）を合わせて実施することも可能である。以下、ユーザ認証モードが有効であるときのユーザ認証処理（ステップＳ１００）についての詳細を、図１１を用いて説明する。図１１は、ユーザ認証処理（ステップＳ１００）を行う開閉制御ＥＣＵ２００の動作を示すフローチャートである。
【００５１】
近赤外ＬＥＤ２１０の照射光量は、図５に示すように、乗降口ドアのハンドルにユーザが手を伸ばした状態（ユーザの点の近赤外ＬＥＤ２１０と撮影部２２０からの距離が３０ｃｍ以内）において、静脈特徴抽出部２０７がユーザの手の静脈特徴を抽出可能な映像を撮像部２２０が撮影できるようにあらかじめ調整しておく。このときの近赤外ＬＥＤ２１０の光量を「認証光量」という。
【００５２】
ユーザ認証モードが有効であるとき、手領域抽出部２０３は、撮影部２２０が撮影した映像からユーザの手領域を抽出する（ステップＳ２００）。手領域の抽出の仕方は、ユーザ操作判定処理（ステップＳ１０１）で説明した方法と同じである。すなわち、近赤外ＬＥＤ２１０の照射光量を「飽和光量」に設定し、近赤外光を照射しながらユーザを撮影し、映像中の飽和画素を抽出するという処理である。
【００５３】
ユーザの手領域が抽出できたら、ＬＥＤ制御部２０２は、すぐに近赤外ＬＥＤ２１０の照射光量を「認証光量」に切り替える（ステップＳ２０１）。次に、撮像部２２０は、ユーザを撮影する（ステップＳ２０２）。このとき、ユーザの手領域はステップＳ２００の処理によって既知である。したがって、静脈特徴抽出部２０７は、ステップＳ２０２で撮影した映像から手領域の映像を抽出したうえで、手領域の映像から静脈特徴を抽出する（ステップＳ２０３）。次に、静脈特徴マッチング部２０８は、抽出した静脈特徴と登録ユーザデータベース２０９に保存されている情報とのマッチングを行い（ステップＳ２０４）、撮影されたユーザが正規ユーザであるか否かを判定する（ステップＳ２０５）。
【００５４】
ユーザの静脈特徴が一回の撮影では上手く取得できない可能性を考慮して、上記のステップＳ２００〜ステップＳ２０５の処理をあらかじめ定めた所定回数だけ繰り返すことができる。所定回数のユーザ認証を繰り返しても正規ユーザであると判定されなかったとき（ステップＳ２０６）、開閉制御ＥＣＵ２００は、撮影されたユーザは正規ユーザではないと判定して処理を終了する。
【００５５】
なお、静脈特徴を抽出する対象は、ユーザの手のひらまたは手の甲とする。したがって、ユーザが認証を通過するためには、近赤外ＬＥＤ２１０および撮影部２２０に向けて自身の手のひらまたは手の甲を意図的に差し出す必要がある。正規ユーザ以外はこの制限事項を知りえないことから、より一層セキュリティを高めることができる。
【００５６】
また、撮影されたユーザが正規ユーザではないと判定されたとき、操作指示制御部２０５は、動作検出部２０４による検出結果によらず、開閉体の操作指示を解錠／施錠ＥＣＵ３００および開扉／閉扉ＥＣＵ４００に送らない。これにより、ユーザ認証モードが有効であるとき、正規ユーザ以外のユーザは開閉体に対する制御が不能になる。
【００５７】
最後に、解錠／施錠ＥＣＵ３００は、操作指示制御部２０５からの制御信号に基づいて、開閉体の解錠または施錠を実行する。また、開扉／閉扉ＥＣＵ４００は、操作指示制御部２０５からの制御信号に基づいて、開閉体の開扉または閉扉を実行する。開閉体の解錠／施錠および開扉／閉扉を行う機構的な仕組みは公知の技術を用いればよい。
【００５８】
本実施形態では、近赤外ＬＥＤと撮影部からユーザの手までの距離を３０ｃｍ以内として説明したが、この距離は３０ｃｍに限らない。例えば、当該距離をより短くすることによって、システムの誤動作の発生に対してさらに強固とすることが可能になる。また、当該距離を長くすれば、システムがユーザの手を感知する範囲が広がるという利点がある。
【００５９】
また、本実施形態では、車両が駐車状態にあるとき、電子キーＥＣＵ１００および車両側送受信機１０１を除く車両機器２０の構成機器は電源オフまたは節電状態に設定されている。電子キーＥＣＵ１００が、ユーザの接近を判断した場合に、車両機器２０は電源がオンになる。これにより、駐車中の車両において不要な電力の使用を防ぐことができる。
【００６０】
さらに、携帯機１０と、電子キーＥＣＵ１００に設けられた車両側送受信機１０１との間で行う無線通信によって得られる電波強度と指向性の情報を用いて、携帯機１０を所有するユーザの存在位置を特定することで、開閉制御ＥＣＵ２００が備える近赤外ＬＥＤ２１０〜２１３および撮影部２２０〜２２３の中から選択的に電源をオンにすることができる。例えば、携帯機１０を所有するユーザが右前方の乗降口ドア付近に存在すると特定した場合には、近赤外ＬＥＤ２１０および撮影部２２０の電源をオンにし、近赤外ＬＥＤ２１１〜２１３および撮影部２２１〜２２３の電源はオフまたは節電状態に設定する。これにより、不要な電力の使用を防ぐことができる。
【００６１】
また、ユーザ操作データベース２０６には、解錠／施錠操作または開扉／閉扉操作に対応する手の動きを開閉体毎に定義してもよい。例えば、右乗降口ドアを開扉する手の動きを、ユーザから見て手を右から左に動かす動きと定義する一方で、左乗降口ドアを開扉する手の動きを、ユーザから見て手を左から右に動かす動きと定義することができる。これにより、乗降口ドアが開閉する方向と手の動きが一致するので、ユーザはより感覚的に操作することができる。
【００６２】
また、近赤外ＬＥＤ２１０〜２１３の照射光量である「飽和光量」および「認証光量」は、あらかじめ調整された光量を基準に、各ＬＥＤが設置された開閉体周辺部の近赤外光の照度に応じて再度調整できる仕組みを有してもよい。例えば、開閉体周辺の近赤外光の照度が高いときに、あらかじめ調整した光量で照射しても、ユーザの手とそれ以外の部位の照度差が小さくなるため、撮影した映像においてユーザの手が十分に飽和しない恐れがある。そのため、開閉体周辺の近赤外光の照度が高い場合には、あらかじめ調整した近赤外ＬＥＤの光量よりも強めに照射することにより、開閉体周辺の近赤外光の照度によらず安定して撮影することができる。
【００６３】
以上説明したように、本実施形態の車両開閉体制御システムによれば、ユーザの手領域を確実に抽出できるように、近赤外ＬＥＤと撮影部を１セットとして設置した上で、ユーザの手の情報を確実に取得できるように近赤外光の照射光量を調整しながらユーザを撮影し、撮影した映像からユーザの手領域を抽出して、ユーザの動作を検出し、検出した動作をもとに開閉体に対する操作指示を制御する。このため、環境に依存せずユーザの意思に基づく動作を精度良く判定でき、車両の開閉体を開閉したいというユーザの意思に応じて、開閉体にユーザが接触することなく開閉体を制御することができる。
【００６４】
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を請求の範囲が含むことが意図されている。
【００６５】
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
【００６６】
本出願は、2011年7月29日出願の日本特許出願（特願2011-167235）に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【００６７】
本発明に係る車両開閉体制御装置は、スマートキーエントリーシステムにおける車両開閉体制御装置等として有用である。
【符号の説明】
【００６８】
１  車両開閉体制御システム
１０  携帯機
２０  車両機器
１００  電子キーＥＣＵ
１０１  車両側送受信機
２００  開閉制御ＥＣＵ
２０１  モード指定部
２０２  ＬＥＤ制御部
２０３  手領域抽出部
２０４  動作検出部
２０５  操作指示制御部
２０６  ユーザ操作データベース
２０７  静脈特徴抽出部
２０８  静脈特徴マッチング部
２０９  登録ユーザデータベース
２１０〜２１３  近赤外ＬＥＤ
２２０〜２２３  撮影部
３００  解錠／施錠ＥＣＵ
４００  開扉／閉扉ＥＣＵ
【図１】
0005895201.tif 000002
【図２】
0005895201.tif 000003
【図３】
0005895201.tif 000004
【図４】
0005895201.tif 000005
【図５】
0005895201.tif 000006
【図６】
0005895201.tif 000007
【図７】
0005895201.tif 000008
【図８】
0005895201.tif 000009
【図９】
0005895201.tif 000010
【図１０】
0005895201.tif 000011
【図１１】
0005895201.tif 000012