(57)【要約】【課題】制御動作の要求にも個人照合の性格を付帯させることにより利用者の認証精度を高めてセキュリティ性の向上を図った、利用者の行動形態により一定の制御動作を許可する制御システムおよび制御動作決定方法を提供する。【解決手段】利用者の所望する制御を行う制御システムおよび制御動作決定方法であって、利用者の身体情報および行動形態を認証し、この認証された行動形態に対応付けられた利用者が所望する制御動作を決定する。【選択図】図２
2005228163.tif 000002
【特許請求の範囲】
【請求項１】
各被制御部に対して制御動作を行う制御システムであって、
利用者の身体情報を抽出する身体情報抽出手段と、
利用者の行動形態を抽出する行動形態抽出手段と、
上記身体情報抽出手段により抽出された身体情報と予め登録された登録身体情報とを照合して一致する登録身体情報を検出する身体情報照合手段と、
上記行動形態抽出手段により抽出された行動形態と利用者が予め定めた登録行動形態とを照合して一致する登録行動形態を検出する行動形態照合手段と、
上記行動形態照合手段の照合の結果に基づき、利用者より検出された登録行動形態に予め対応付けられた制御動作を、各被制御部に対して行う制御動作として決定する制御動作決定手段と、
を備えること、
を特徴とする制御システム。
【請求項２】
上記制御動作決定手段は、
上記身体情報照合手段が一致する登録身体情報を検出し、かつ上記行動形態照合手段が一致する登録行動形態を検出した場合にのみ、制御動作を決定すること、
を特徴とする請求項１に記載の制御システム。
【請求項３】
上記制御システムは、
上記登録身体情報と上記登録行動形態とを対応付けて記憶する登録行動形態記憶手段を更に備え、
上記行動形態照合手段は、上記登録行動形態記憶手段により記憶された対応付けに基づき、上記身体情報照合手段により検出された一致する登録身体情報に対応する登録行動形態と照合すること、
を特徴とする請求項１に記載の制御システム。
【請求項４】
上記登録行動形態記憶手段は、
上記登録身体情報と一対多対応で複数の登録行動形態を対応付けて記憶し、
上記制御システムは、
複数の登録行動形態と複数の制御動作とを対応付けて記憶する制御動作記憶手段を更に備え、
上記制御動作決定手段は、
上記行動形態照合手段の照合の結果、検出された登録行動形態に対応する制御動作を上記制御動作記憶手段より検索して、制御動作を決定すること、
を特徴とする請求項１に記載の制御システム。
【請求項５】
上記行動形態および上記登録行動形態は、利用者のとる腕の形状を含めた体形状であること、
を特徴とする請求項１に記載の制御システム。
【請求項６】
上記行動形態および上記登録行動形態は、利用者のとる腕の動作を含めた体形状の変化であること、
を特徴とする請求項１に記載の制御システム。
【請求項７】
上記身体情報は、顔面情報であり、
上記登録身体情報は、登録顔面情報であり、
上記身体情報照合手段は、利用者の顔面情報と登録顔面情報とを照合して一致する登録顔面情報を検出すること、
を特徴とする請求項１に記載の制御システム。
【請求項８】
上記制御動作決定手段は、
利用者が連続して制御動作を所望する場合には、初回については、上記身体情報照合手段および上記行動形態照合手段の照合の結果が、それぞれ一致する登録身体情報および登録行動形態が検出できたとの結果であった場合にのみ、制御動作を決定し、以後は、上記行動形態照合手段の照合の結果が、一致する登録行動形態が検出できたとの結果であった場合にのみ、制御動作を決定すること、
を特徴とする請求項２に記載の制御システム。
【請求項９】
上記制御システムは、
車両を制御する制御システムであり、
上記制御動作は、
エンジンまたはモータの始動の許可、
エアコンの温度および風量を調節する、
カーステレオから流れる音楽を選曲する、
車両に搭載されたメールブラウザの受信者を選択する、
車両に搭載されたメールブラウザで作成されるメールの定形文の選択と送信、
サイドミラーとバックミラーの角度、および座席の位置と高さを調節する、
ワイパーの始動および動作速度の調整、
パワーウインドウの開閉と開閉量の調整、
ライトの自動点灯のオンまたはオフ、
カーナビゲーションの誘導地点の選定、
ウィンカーの点灯、
上記カメラによる撮影と撮影画像の送信、
のうち、少なくとも一つであること、
を特徴とする請求項４に記載の制御システム。
【請求項１０】
利用者が所望する制御動作を決定する制御動作決定方法であって、
利用者を撮影して、その撮影画像から利用者の身体情報を抽出し、抽出された身体情報と予め登録されている登録身体情報とを照合して一致する登録身体情報を検出し、
一致する登録身体情報が検出されると、利用者を撮影して、その撮影画像から利用者の行動形態を抽出し、抽出された行動形態と利用者が予め定めた登録行動形態とを照合して一致する登録行動形態を検出し、
一致する登録行動形態が検出された場合、利用者により一致した登録行動形態と予め対応付けられた制御動作を、利用者が所望する制御動作として決定すること、
を特徴とする制御動作決定方法。
【請求項１１】
利用者が所望する制御動作を決定する制御動作決定方法であって、
行動形態をとる利用者の画像を連続撮影し、
連続撮影された画像を用いて、利用者の身体情報を抽出するとともに、抽出された身体情報と予め登録されている登録身体情報とを照合して一致する登録身体情報を検出し、
連続撮影された画像のいずれかによって一致する登録身体情報が検出できた場合、連続撮影した画像を用いて、利用者の行動形態を抽出するとともに、抽出された行動形態と利用者が予め定めた登録行動形態とを照合して一致する登録行動形態を検出し、
一致する登録行動形態が検出された場合、利用者により一致した登録行動形態と予め対応付けられた制御動作を、利用者が所望する制御動作として決定すること、
を特徴とする制御動作決定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、一定の制御動作を決定する制御システムおよび制御動作決定方法に関し、特に、行動形態により利用者の所望する制御動作を認識させることで、利便性の向上、および利用者の認証精度を高めた、制御システムおよび制御動作決定方法に関する。
【背景技術】
【０００２】
制御システムに対して制御動作を要求する方式として、手の形状や動きにより要求する方式がある。
【０００３】
例えば、利用者が手を一義的に決められた形状に握り、カメラにその手形状を撮像させ、制御システムにその形状を認識させることで、制御システムに利用者の所望する制御動作を認識させるものである。
【０００４】
また、利用者が手を一義的に決められた動きで動作させ、カメラにその手動作を撮像させ、制御システムにその手動作のストロークを追わせることで、制御システムに利用者の入力したい文字または記号を理解させ、所望の文字または記号を入力させるものである（例えば、特許文献１参照。）。
【０００５】
ところで、近年、電子商取引やコンピュータの使用において、高いセキュリティが要求される。
【０００６】
上述したような制御システムにおいても、同様な高いセキュリティが求められているが、一義的に決められた手形状や手動作による入力では、利用者としての適格性を持たない他人が容易に制御システムを利用できるという問題が発生する。
【０００７】
もちろん、制御システムを使用する際において、パスワードや暗証番号等の本人のみが知り得る情報や、指紋のような身体情報を要求することで、一定のセキュリティを保つことはできるが、本人のみが知り得る情報は盗用されやすく、また指紋照合は指紋を消失している人が少なからず存在するため実用上使用の難しさがある。
【０００８】
したがって、結局、これらのセキュリティがかいくぐられ、さらにマニュアル等を参照されることによる一義的に決められた手形状や手動作の模写により、制御システムを自由に使用されてしまうおそれがある。
【０００９】
【特許文献１】特開平８−２１１９７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
この発明は、このような事情に鑑みてなされたもので、その目的とするところは、行動形態により利用者の所望する制御動作を認識し、かつ行動形態に個人照合の性質を帯びさせることで利便性の向上、および利用者の認証精度を高めた制御システムおよび制御動作決定方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明は、各被制御部に対して制御動作を行う制御システムであって、利用者の身体情報を抽出する身体情報抽出手段と、利用者の行動形態を抽出する行動形態抽出手段と、上記身体情報抽出手段により抽出された身体情報と予め登録された登録身体情報とを照合して一致する登録身体情報を検出する身体情報照合手段と、上記行動形態抽出手段により抽出された行動形態と利用者が予め定めた登録行動形態とを照合して一致する登録行動形態を検出する行動形態照合手段と、上記行動形態照合手段の照合の結果に基づき、利用者より登録行動形態に予め対応付けられた制御動作を、各被制御部に対して行う制御動作として決定する制御動作決定手段と、を備えること、を特徴とする。
【００１２】
本発明は、制御システムに制御動作の決定を行わせる要求キーとしての行動形態に、認証キーとしての性質を帯びさせたものである。しかも、行動形態は、登録行動形態として利用者が予め登録することができ、かつ行動形態と制御動作の対応付けも利用者により予め行われたものである。
【００１３】
また、この発明は、行動形態の照合に加えて、さらに身体情報の照合を行うものであり、特定の身体情報を有する利用者が、その利用者のみが知り得る行動形態によって、その利用者のみが知り得る対応付けの制御動作を行わせるものである。
【００１４】
したがって、本発明は、二つの認証と制御動作を利用者主体で組み合わせることによって、幾重にも張り巡らされたセキュリティとなるものである。しかしながら、認証されるべき利用者であれば、これら幾重にも張り巡らされたセキュリティをそれほど意識せず、簡便に使用できるというものである。
【００１５】
ここで本発明により制御される「各被制御部」には、本発明が自家用車等の車両に適用される場合には、エンジンまたはモータ、エアコン、カーステレオ、メールブラウザとして機能する端末、サイドミラー、バックミラー、座席、ワイパー、パワーウインドウ、ライト、カーナビゲーション、ウィンカー、車両に搭載されるカメラ等が含まれる。
【００１６】
また、本発明が、住宅などの家屋に適用される場合には、電話機などの通信機器、戸・窓などの解施錠装置、エアコン、ステレオなどのオーディオ機器、テレビ、カーテン・ブラインドの開閉装置、庭などへの散水装置、風呂、メールブラウザとして機能する端末、インターネットブラウザとして機能する端末等が含まれる。
【００１７】
「身体情報」とは、利用者の身体的特徴をデータ化したものである。例えば、利用者の顔の大きさや輪郭、目や鼻や口等の顔に備わる器官の相対的な位置や大きさや形状等をガボールウェーブレット変換で特徴点化した顔面情報が含まれる。このほか、網膜、虹彩、指紋、掌紋、声紋等、利用者の身体固有に備わっている身体的特徴であってもよい。
【００１８】
「行動形態」とは、利用者のとる腕の形状を含めた体形状をデータ化したものが含まれ、例えば、片腕を挙げて体の内側にひじを曲げる等の利用者のとるポーズである。また、利用者のとる腕の動作を含めた体形状の変化をデータ化したものも含まれ、例えば、片腕を挙げて体の内側にひじを曲げた状態からひじを伸ばし、挙げた腕を下ろす等の利用者がとるアクションである。
【００１９】
もちろん、腕の形状や動作のみならず、手の握り形状や手の握りの変化、顔の向きや、顔の向き方向の変更、片目をつぶる等、利用者がある一定の行為、動作を行っているものは総じて行動形態である。
【００２０】
例えば、腕の形状を含めた体形状すなわちポーズを行動形態として抽出する場合、撮影画像を２値化して体形状の領域を抽出したり、撮影画像をエッジ抽出したりしたデータを行動形態としてもよい。また、この制御システムを車両の制御に用いる場合や、制御システムに対する利用者の位置関係を予め定めている場合には、体形状のうち、顔面のような体の一部は撮影画像内においてほぼ決まっている位置にあるので、体形状から位置関係が決まっている体の一部を差分した腕の形状の領域またはエッジのみを抽出し、腕と位置関係が決まっている体の一部との相対位置情報を付加したデータを行動形態としてもよい。
【００２１】
また、腕の動作を含めた体形状の変化を行動形態とする場合、所定間隔で撮影された時刻の異なる２つ以上の撮影画像をもとに、エッジ抽出または領域抽出して、異なる時刻の２つ以上のデータを一組にして行動形態としてもよいし、体形状の抽出されたエッジまたは領域に、腕の移動ベクトル情報を付加したデータを行動形態としてもよい。さらに、静止している背景は一切撮像されず、動体の輪郭だけが撮像される動体検知カメラ（映像情報メディア学会誌  Ｖｏｌ．５７，Ｎｏ．９  ＰＰ．１１１５〜１１１８  （２００３））で体形状の変化のあった部位のみを捉えた画像を所定間隔で２回以上撮影し、この複数のデータを一組として行動形態としてもよい。
【００２２】
ここで、利用者がアクションを登録行動形態として定めた場合、所定間隔で撮影された時刻の異なる２つ以上の撮影画像の組を用いて行動形態として登録する方式では、２つ以上の撮影画像から抽出される領域またはエッジのそれぞれを照合して、双方一致したことをもって、一致する登録行動形態を検出したとしてもよい。
【００２３】
動体検知カメラで体形状の変化のあった部位のみを捉えた画像を所定間隔で２回以上撮影して撮影し、これを一組として行動形態とした場合も、同様にそれぞれ照合し、双方一致したことをもって、一致する登録行動形態を検出したとしてもよい。
【００２４】
また、体形状の領域またはエッジに、腕の移動ベクトル情報を付加したデータを行動形態とする方式では、まず、体形状の領域またはエッジを照合して、さらに、腕の移動ベクトルを照合して、双方一致したことをもって、一致する登録行動形態を検出したとしてもよい。
【００２５】
「登録身体情報」および「登録行動形態」は、上記のような身体情報および行動形態を制御システムに予め登録させて記憶させたものである。登録身体情報および登録行動形態は、制御システムを利用する利用者の数に応じて複数登録されてもよい。
【００２６】
「一致する登録身体情報を検出する」、また「一致する登録行動形態を検出する」は、登録身体情報や登録行動形態そのものを検出してもよいし、登録身体情報や登録行動形態にＩＤ番号を付し、ＩＤ番号の形で検出してもよい。この場合、「行動形態照合手段の照合の結果」とは、「一致する登録行動形態は検出されなかった」や、「登録行動形態〜が一致する登録行動形態として検出された」や、「ＩＤ番号〜の登録行動形態が一致する登録行動形態として検出された」が含まれ、制御動作は、登録行動形態そのものによって対応する制御動作を決定してもよいし、登録行動形態に付されたＩＤ番号によって決定してもよい。
【００２７】
本発明は、上述のような構成を採用することにより、行動形態に個人照合の性質を帯びさせ、かつ制御動作と行動形態の対応付けも利用者により予め登録させるから、身体情報による照合をクリアし、行動形態による照合をクリアし、行動形態に対応付けられる制御動作の認識がなければ、利用者としての適格性を有しない他人が制御システムに所望の制御動作を行わせることはできないものとなり、セキュリティが向上する。
【００２８】
この発明において、セキュリティの向上のため、上記制御動作決定手段は、上記身体情報照合手段が一致する登録身体情報を検出し、かつ上記行動形態照合手段が一致する登録行動形態を検出した場合にのみ、制御動作を決定するようにしてもよい。
【００２９】
また、この発明は、上記登録身体情報と上記登録行動形態とを対応付けて記憶する登録行動形態記憶手段を更に備え、上記行動形態照合手段は、上記登録行動形態記憶手段により記憶された対応付けに基づき、上記身体情報照合手段により検出された一致する登録身体情報に対応する登録行動形態と照合するようにしてもよい。
【００３０】
上述のような構成を採用することにより、他の利用者が登録した登録行動形態を参照する必要はなくなり、制御の対応速度の向上が図れるとともに、登録行動形態を特定の利用者独自のものとして位置付けるのに好適であり、セキュリティの向上を図ることができる。すなわち、行動形態は、特定の利用者のみが知り得る情報として高い認証精度を発揮する。
【００３１】
また、この発明において、特定の利用者のみが知り得る対応付けの制御動作を行わせるようにするため、上記登録行動形態記憶手段は、上記登録身体情報と一対多対応で複数の登録行動形態を対応付けて記憶し、上記制御システムは、複数の登録行動形態と複数の制御動作とを対応付けて記憶する制御動作記憶手段を更に備え、上記制御動作決定手段は、上記行動形態照合手段の照合の結果、検出された登録行動形態に対応する制御動作を上記制御動作記憶手段より検索して、制御動作を決定するようにしてもよい。
【００３２】
上述のような構成を採用すると、たとえ、なりすましにより身体情報照合手段による照合を通過したとしても、また行動形態を模写したとしても、その行動形態により決定される制御動作は、利用者により対応付けられたものであるから、なりすまして模写した他人が制御システムに所望の制御動作をさせることは極めて困難となる。
【００３３】
この構成は、登録身体情報と登録行動形態との対応付けと登録行動形態と制御動作の対応付けを別々に記憶させたものも含まれるし、登録身体情報と登録行動形態と制御動作をひとつなぎに対応付けて記憶させたものも含まれるし、登録身体情報にＩＤ番号を付し、登録行動形態と制御動作の対応付けをＩＤ番号別に記憶させることも含まれる。
【００３４】
また、上記制御動作決定手段は、利用者が連続して制御動作を所望する場合には、初回については、上記身体情報照合手段および上記行動形態照合手段の照合の結果が、それぞれ一致する登録身体情報および登録行動形態が検出できたとの結果であった場合にのみ、制御動作を決定し、以後は、上記行動形態照合手段の照合の結果が、一致する登録行動形態が検出できたとの結果であった場合にのみ、制御動作を決定するようにしてもよい。
【００３５】
例えば、利用者が連続して制御動作を所望する場合に、その間、利用者が同一であることが確定されるような状況では、次回からの身体情報の照合を省くこともでき、制御システムの応答速度を向上させることができる。
【００３６】
利用者が同一であることが確定されるような状況は、例えば、利用者が自家用車等の車両の運転者であり、車両が走行中であり続けるような場合が含まれる。この場合、例えば車両のタイヤの回転を感知する車両走行センサから制御システムに車両走行を確認している信号を送りつづけるようにすればよい。
【００３７】
また、このような確定される状況でなくとも、例えば、カメラにより利用者を撮影しつづけ、カメラのフレーム内に利用者が存在しつづける限りは、次回以降の身体情報の照合を省くこともできる。
【００３８】
また、この制御が車両を制御するものである場合、制御動作には、エンジンまたはモータの始動の許可、エアコンの温度および風量を調節する、カーステレオから流れる音楽を選曲する、車両に搭載されたメールブラウザの受信者を選択する、車両に搭載されたメールブラウザで作成されるメールの定形文の選択と送信、サイドミラーとバックミラーの角度、および座席の位置と高さを調節する、ワイパーの始動および動作速度の調整、パワーウインドウの開閉と開閉量の調整、ライトの自動点灯のオンまたはオフ、カーナビゲーションの誘導地点の選定、ウィンカーの点灯、上記カメラによる撮影と撮影画像の送信、のうち、少なくとも一つが含まれる。
【００３９】
もちろん、これら制御動作の複数を組み合わせて、一つの登録行動形態に対応付けることも含まれる。尚、制御動作として、カメラによる撮影と撮影画像の送信を行わせる場合、警察や消防、もしくは、予め指定した相手に送信させるようにして、非常時のＳＯＳ発信とすることが含まれ、カメラは非常事態の起こった車内を撮影し、さらに撮影画像に車両ナンバーと、ＧＰＳより取り込んだ車両位置情報を挿入するようにしてもよく、この撮影および送信は、連続して撮影および送信し続けるようにしてもよい。
【００４０】
このような運転者を制御システムの利用者として扱う場合には、身体情報や行動形態は、運転者をカメラで撮影して、撮影した画像から抽出することができ、この場合には、身体情報として顔面情報を、行動形態として運転者の上半身全体を、腕の形状を含めた体形状や、腕動作を含めた体形状の変化として扱うことが、車両の空間や運転者の動きの制限から鑑みると好適であり、狭い空間や運転席に着座している状態であっても、身体情報や行動形態が確実かつ容易に抽出できる。もちろん、顔面情報や腕の形状を含めた体形状や腕動作を含めた体形状の変化は、運転者を制御システムの利用者として扱う場合に限定されるものではない。
【００４１】
運転者は、走行時に所望の制御動作を行わせるためにわき見をする必要がなくなり、安全性の向上が図れる。
【００４２】
もちろん、カメラに加えてハンドル等に指紋や掌紋照合の機能を有する部位を設け、これを身体情報抽出手段として用い、身体情報として指紋や掌紋を抽出するなどであってもよい。
【００４３】
また、利用者が所望する制御動作を決定する制御動作決定方法であって、利用者を撮影して、その撮影画像から利用者の身体情報を抽出し、抽出された身体情報と予め登録されている登録身体情報とを照合して一致する登録身体情報を検出し、一致する登録身体情報が検出されると、利用者を撮影して、その撮影画像から利用者の行動形態を抽出し、抽出された行動形態と利用者が予め定めた登録行動形態とを照合して一致する登録行動形態を検出し、一致する登録行動形態が検出された場合、利用者により一致した登録行動形態と予め対応付けられた制御動作を、利用者が所望する制御動作として決定するようにすればよい。
【００４４】
このようにすると、例えば、高速なＣＰＵを用いる等により制御動作決定処理を高速に行うことができる場合、利用者の身体情報の認証に続く、行動形態の撮影、認識、照合をリアルタイムで行うことができ、登録行動形態と随時照合ができるため、一致しなくなった時点で認証できないと判別でき、早い時点で処理を打ち切ることが可能となる。一方で、低速なＣＰＵを用いる等により制御動作決定処理に比較的時間がかかってしまう場合であっても、撮影された行動形態の画像枚数と、登録行動形態の画像枚数が一致しない場合は、直ちに認証された利用者が登録して未登録の行動形態であることがわかり、いずれの場合であっても処理速度の向上を図ることができる。
【００４５】
また、利用者が所望する制御動作を決定する制御動作決定方法であって、行動形態をとる利用者の画像を連続撮影し、連続撮影された画像を用いて、利用者の身体情報を抽出するとともに、抽出された身体情報と予め登録されている登録身体情報とを照合して一致する登録身体情報を検出し、連続撮影された画像のいずれかによって一致する登録身体情報が検出できた場合、連続撮影した画像を用いて、利用者の行動形態を抽出するとともに、抽出された行動形態と利用者が予め定めた登録行動形態とを照合して一致する登録行動形態を検出し、一致する登録行動形態が検出された場合、利用者により一致した登録行動形態と予め対応付けられた制御動作を、利用者が所望する制御動作として決定するようにしてもよい。
【００４６】
このようにすると、身体情報の抽出に関する画像と行動形態の抽出に関する画像を共有しつつ連続的に撮影をするため、段階を踏んで進行する必要がなく撮影される利用者に複数の認証検査が行われていることを意識させることがなく、さらに連続撮影された画像の中から身体情報の抽出および照合も行うため、利用者の撮影環境の一時的な急激な変化に伴う照合の失敗に対しても、撮影しなおすことなく、他の画像を利用してい抽出および照合が行うことができ、利用者の利便性が向上する。利用者の撮影環境の一時的な急激な変化には、例えば、この方法を車両制御に適用した場合には、街灯、対向車のヘッドライト、太陽光等の外来光の入射、トンネルへの出入りなどがある。
【発明の効果】
【００４７】
本発明は、利用者の身体情報および行動形態を認証し、かつ行動形態の照合の際に検出された登録行動形態に基づき、予め登録行動形態と対応付けられて登録された制御動作を決定するようにしたから、身体情報による照合をクリアしたうえで、更に行動形態による照合をクリアして、行動形態に対応付けられる制御動作が認識される必要がある。従って、利用者としての適格性を有しない他人が制御システムに所望の制御動作を行わせることが極めて困難となり、セキュリティの向上を図ることができるとともに、適格性を有する利用者にとって行動形態を行うだけで所望の制御動作を要求することができ、利便性が向上する。
【発明を実施するための最良の形態】
【００４８】
以下、この発明の一実施形態について図１乃至図１１に基づき詳細に説明する。
【００４９】
図１は、本発明の制御システムのブロック図であり、図２は、本発明の処理ユニットの機能ブロック図である。
【００５０】
本実施形態において、制御システム１は、自家用車等の車両に備えられる。この制御システム１は、図１に示すように、カメラ８と、カメラ８に接続された処理ユニット２と、処理ユニット２に接続される車両コントローラ３と、車両コントローラ３に接続される各被制御部によりなる。
【００５１】
カメラ８は、ＣＣＤカメラやＣＭＯＳカメラなどのカメラにより構成され、制御システム１を利用する利用者を連続して動画像として撮影し、処理ユニット２に利用者を撮影した利用者画像を送信している。このカメラ８は、運転者が撮影できる位置に設置され、運転者を利用者として撮影している。カメラ８が撮影する利用者画像は、運転者の顔面と、腕の形状を含む上半身全体とを一画像としている。
【００５２】
処理ユニット２は、利用者画像から利用者の身体情報と行動形態を抽出、照合し、利用者を認証すると、利用者が所望する各被制御部の制御動作を決定して車両コントローラ３に制御依頼を発行するユニットである。また、処理ユニット２は、予め利用者の身体情報と行動形態を登録身体情報と登録行動形態として記憶しており、これら登録身体情報と登録行動形態を照合に用いている。
【００５３】
利用者の身体情報には、利用者の顔面情報が用いられている。行動形態には、利用者の腕の形状を含む体形状（以下、「ポーズ」という）や腕の動作を含む体形状の変化（以下、「アクション」という）が用いられている。登録身体情報においても、予め登録されている利用者の顔面情報(以下、「登録顔面情報」という)が用いられ、登録行動形態においても、予め登録されているポーズやアクションが用いられる。
【００５４】
すなわち、この処理ユニット２は、以下のような処理を行う機能を備える
・カメラ８への撮影開始終了制御
・カメラ８から画像信号を取り込み、利用者画像を生成する画像取込み処理
・利用者画像内に存在する、利用者の顔面から、顔面情報を抽出する身体情報抽出処理
・利用者画像内に存在する、利用者の腕の形状を含む上半身全体から、ポーズやアクションを抽出する行動形態抽出処理
・抽出した顔面情報、および行動形態を、登録顔面情報、および登録行動形態として予め登録しておき、さらに登録行動形態と制御システム１の制御動作を対応付ける登録処理
・顔面情報と登録顔面情報とを照合する身体情報照合処理
・利用者のとる行動形態と登録行動形態と照合する行動形態照合処理
・照合により検出された、利用者の行動形態と一致する登録行動形態から、利用者が所望する制御動作を決定する制御処理。
【００５５】
このような各処理は、本実施形態において処理ユニット２内に配された、演算処理を行うＣＰＵ２ａと、上記各機能を実現させるためにＣＰＵ２ａに演算処理させる処理プログラムが記憶されているＲＯＭ２ｂと、演算処理過程で一時的に処理結果を保存し、また撮影した利用者画像を保存するＲＡＭ２ｃと、登録顔面情報、登録ポーズ、登録アクションおよび制御動作を対応付けたデータベースを記憶させておくＨＤＤ（ハードディスク）２ｄと、ＣＰＵ２ａが演算処理により決定した制御動作を制御依頼として車両コントローラ３に出力する際に介されるＩ／Ｆ２ｅにより実現される。もちろん、各処理を行う専用回路を処理ユニット２内に配することにより実現してもよい。
【００５６】
図１に示すようなハードウェア構成を有する処理ユニット２は、各処理を実現し、図２に示すように、画像取込み部９と登録部１０と認証部１１と制御部１５とデータベース部１４として機能する。また、認証部１１は、顔面認証部１２と行動形態認証部１３に大別され、顔面認証部１２は、顔面情報抽出部１２ａおよび顔面情報照合部１２ｂからなり、行動形態認証部1３は、行動形態抽出部１３ａおよび行動形態照合部１３ｂからなる。
【００５７】
画像取込み部９は、カメラ８が撮影した利用者画像を利用者画像信号として取り込み、利用者画像信号をデコードして利用者画像を生成する。また、連続撮影の際には、連続的に送られてくる利用者画像信号を間欠的にデコードしており、所定間隔ごとの利用者画像信号をピックアップして連続利用者画像を生成している。
【００５８】
認証部１１は、画像取込み部９が生成した利用者画像から、利用者を認証するもので、顔面認証部１２が利用者画像内の顔面に基づき利用者を認証し、行動形態認証部1３が利用者画像内の行動形態に基づき利用者を認証している。
【００５９】
顔面認証部１２は、画像取込み部９が生成した利用者画像から、顔面情報抽出部１２ａに利用者の顔面情報を抽出させ、顔面情報照合部１２ｂに抽出された顔面情報と予め登録されている登録顔面情報とを照合させ一致する登録顔面情報があれば、これを検出させる。
【００６０】
行動形態認証部1３は、まず画像取込み部９が生成した単一または複数の利用者画像から、行動形態抽出部１３ａに行動形態を抽出させる。次に抽出された行動形態と予め登録されている登録行動形態とを行動形態照合部１３ｂに照合させる。そして、一致する登録行動形態があれば、これを検出させる。
【００６１】
制御部１５は、顔面情報の取得を目的として利用者画像を撮影する際に、ＬＥＤ２０を点灯させて合図を送り、カメラ８に撮影命令信号を送信する。
【００６２】
さらに、制御部１５は、行動形態の取得を目的として利用者画像を撮影する際に、利用者のタッチパネル式ディスプレイ１９や押ボタンの押圧による行動形態開始の宣言を感知する。この感知によって、タイムラグとして利用者が行動形態をとる時間的余裕を経た後に、画像取込み部９に対し、利用者の行動形態終了まで、間欠的に利用者画像を順次生成させる。このタイムラグの間は、ＬＥＤ２０を速く点滅させたり、点滅周期を予め１周期もしくは２周期等に定めておいてその周期分点滅させたりして、利用者に利用者画像の撮影開始のタイミングを知らせる。タイムラグは、制御部１５に予め設定されているか、利用者によって設定される。設定によっては、タイムラグを設けないようにすることも可能であり、その場合には、順次生成される利用者画像のうち、最初の複数枚の利用者画像をタッチパネル式ディスプレイ１９や押しボタンの押圧から行動形態開始の移行動作とみなして破棄する。
【００６３】
また、行動形態の取得を目的として利用者画像を撮影する際に、制御部１５は、カメラ８が連続撮影している利用者画像を監視し、この監視の結果、利用者画像に変化があったことを認識した場合に、行動形態開始であると感知して同様に利用者画像を順次生成させることもできる。利用者画像の変化は、利用者画像の変化率を演算することにより確認される。変化率が処理プログラムの一要素として保持されている所定の閾値を超えた場合には、利用者が行動形態を開始したことを認識する。閾値は、利用者の通常運転の際に通常起こりうる程度の変化率であった場合には、行動形態開始とはみなさない程度の値が望ましい。
【００６４】
そして、制御部１５は、行動形態の撮影を終了させ、利用者画像の記録を終了させるが、このタイミングは、行動形態開始後、利用者によるタッチパネル式ディスプレイ１９や押ボタンの押圧、フットブレーキの踏込みを監視しており、これら動作を感知すると、行動形態の撮影の終了とみなし、記録を終了させる。フットブレーキの踏込みの監視は、主に車両の停止時に行われる。図示しないブレーキペダルやブレーキブースタには、フットブレーキの踏込みを感知するセンサが配されており、このセンサから踏込みが行われたことを示す信号が車両コントローラ３を介して制御部１５に送られる。制御部１５は、利用者画像の記録の動作を継続させつつ、この信号の送信を受け付けている。そして、この信号がセンサから車両コントローラ３を介して送信されてくると、フットブレーキが踏込まれたことを感知し、記録を終了させる。フットブレーキの踏込みを撮影終了のタイミングとすると、利用者が行動形態終了を制御部１５に報知する際、利用者は、上半身を動かす必要がないから、行動形態に必要ない動きが撮影されず、行動形態の認証率を高めることができる。
【００６５】
また、利用者が行動形態を取っている間も、順次生成される利用者画像を監視し、利用者が複数枚分連続して同じ静止状態にあったことを検出することによっても記録を終了させることもできる。このような行動形態開始の手法は、特に車両の走行中において安全性を向上させるものであり、利用者は運転中に行動形態の撮影を終了させるために、タッチパネル式ディスプレイ１９やリモコンに目を移す必要や、操作のために体を動かす必要がない。この場合、記録されている複数枚の利用者画像のうち、記録終了直前の同じ静止状態にある複数枚分の利用者画像は、認証には不要なので破棄する。尚、行動形態開始を利用者画像の変化により認識し、同じ静止状態にあったことを検出することにより行動形態終了を認識する場合には、利用者の動きの状態によっては、利用者が行動形態をとる意思がないのにもかかわらず、その変化率が閾値を超えてしまうおそれがある。この場合には、当然、利用者には行動形態を終了させる意思もないから、同じ静止状態にある画像を採取できない可能性があるので、ＲＡＭ２ｃの記憶領域のオーバフローを起こすのを防ぐため、ＲＡＭ２ｃの記憶領域が一杯になった時点で記録を抹消し、強制終了する。
【００６６】
また、予めＲＯＭ２ｂに処理プログラムとともに、行動形態の終了を表す所定の終了ポーズを記憶させておき、利用者画像の生成中には、行動形態認証部１３に順次生成されている利用者画像中の行動形態を終了ポーズに基づき認証させるようにしてもよく、認証された場合には、制御部１５は利用者の行動形態終了とみなして記録を終了させるようにしてもよい。このような行動形態開始の手法は、特に車両の走行中において安全性を向上させるものであり、利用者は運転中に行動形態の撮影を終了させるために、タッチパネル式ディスプレイ１９やリモコンに目を移す必要や、操作のために体を動かす必要がない。もちろん、この場合も同様に、利用者がとった終了ポーズは認証には不用なので、記録しないか、破棄する。終了ポーズにより記録を終了させる場合にも、行動形態開始を利用者画像の変化により認識する場合には、終了ポーズをとった画像を採取できない可能性があるので、ＲＡＭ２ｃの記憶領域のオーバフローを防ぐため、ＲＡＭ２ｃの記憶領域が一杯になった時点で記録を抹消し、強制終了する。
【００６７】
また、画像取込み部９の動作終了と同期させて顔面認証部１２に認証開始信号を送信し、顔面認証部１２から送られてくる一致した登録顔面情報の検出の報告により、照合すべき登録行動形態を検索する。また、行動形態認証部１３に、照合させる登録行動形態を指示するとともに、認証開始信号を送信する。
【００６８】
また、行動形態認証部１３からの一致した登録行動形態の検出の報告に基づき、対応する制御動作を検索することによって、利用者が制御システム１に所望する制御動作を決定し、車両コントローラ３にその制御動作の制御依頼を送信する。
【００６９】
データベース部１４は、登録身体情報と複数の登録行動形態を対応付けて記憶し、また、複数の登録行動形態にそれぞれ制御動作を対応付けて記憶しており、適宜、認証部１１や制御部１５に参照され、また検索される。
【００７０】
ここで、本実施形態の場合、図７に示すように、登録顔面情報に登録行動形態用ＩＤ番号を付し、図８に示すように登録行動形態用ＩＤ番号ごとのテーブルに登録行動形態群を一覧として記憶しておくことにより、登録顔面情報と登録行動形態群を対応付けている。また、図８に示すように、登録行動形態と制御動作との対応付けは、登録行動形態用ＩＤ番号ごとのテーブルに記憶されている登録行動形態と対になって記憶されている。このテーブルには、さらに各登録行動形態と対にして制御動作検索用ＩＤ番号を付している。
【００７１】
登録行動形態用ＩＤ番号は、顔面情報認証部１１が一致する登録顔面情報を検出した際に、制御部１５にその登録顔面情報に付された登録行動形態用ＩＤ番号を送信することで、制御部１５が、行動形態認証部１３にどのテーブルに記憶されている登録行動形態群と照合すればよいかを指示するために使用される。
【００７２】
制御動作検索用ＩＤ番号は、行動形態認証部１３が一致する登録行動形態を検出した際に、制御部１５にその登録行動形態と対になった制御動作検索用ＩＤ番号を報告することで、制御部１５がどの制御動作を検索して、制御システム１の制御動作として決定すればよいかを認識するために使用される。
【００７３】
登録部１０は、カーナビゲーション等に備えられており図１に示すような処理ユニット２にＩ／Ｆ２ｆを介して接続されているタッチパネル式ディスプレイ１９やリモコンと、図１に示すＬＥＤ２０をユーザインターフェースとして、予め登録顔面情報と登録行動形態の登録を誘導し、さらに登録行動形態と制御動作の対応付けを誘導し、データベース部１４に記憶させておく。登録部１０は、タッチパネル式ディスプレイ１９により、主として登録行動形態に対応付ける制御動作を選択させ、ＬＥＤ２０を、利用者を撮影する際に、点滅させることによって利用者が登録行動形態となるポーズやアクションのような行動形態とるきっかけおよびアクションにおける一連動作の変化要求の合図を出させる。
【００７４】
登録部１０においても行動形態の撮影開始および終了の手法は、制御部１５の行動形態の撮影開始および終了の手法と同様にして行われ、撮影開始および終了をタッチパネル式ディスプレイ１９や押ボタンの押圧により行うようにしてもよい。この場合も同様に利用者に行動形態を開始する時間的余裕を経てから利用者画像の撮影および生成を開始するか、即座に撮影および生成をする場合には最初の複数枚の利用者画像を破棄する。また、同様に、終了をフットブレーキの踏込みにより行うようにしてもよい。さらに、同様に利用者画像の変化を認識して撮影開始を行ってもよいし、同じ静止状態にある利用者画像が複数枚続いた場合に終了とみなしてもよいし、終了ポーズにより終了とみなしてもよい。この場合も同様に、同じ静止状態にある利用者画像や終了ポーズを破棄し、また、ＲＡＭ２ｃのオーバフローを防ぐ処理が行われる。
【００７５】
また、車両コントローラ３は、図１に示すように、受けた制御依頼に基づき各被制御部の制御を行う処理プログラムが記憶されているＲＯＭ３ｂと、ＲＯＭ３ｂに記憶されている処理プログラムに従い演算処理を行うＣＰＵ３ａと、ＣＰＵ３ａの演算処理過程で一時的に演算処理結果が記憶され、または処理ユニット２から受けた制御依頼が一時的に記憶されるＲＡＭ３ｃと、処理ユニット２からの制御依頼が入力され、または各被制御部に対する制御命令を出力し、各制御命令から制御命令に対する応答が入力されるＩ/Ｆ３ｅとで構成され、この構成によって車両ユニット２から制御依頼を受け、制御依頼に基づき各被制御部の制御を実行する処理が行われる。
【００７６】
各被制御部は、それぞれエアコン４、エンジン５またはモータ、カーステレオ６、メールブラウザ７、サイドミラー、バックミラー、座席、ワイパー、ライト、カーナビゲーション、ウィンカー、カメラ等である。各被制御部は、車両コントローラ３に制御され、例えば、エンジン４またはモータが始動の許可をされたり、メールブラウザ７が受信するメールの受信者選択を行ったり、メールブラウザ７が定形文を作成して送信したり、エアコン４の風量や温度を調節したり、カーステレオ６から流れる音楽を選択したり、サイドミラーとバックミラーの角度を調節し、座席の高さと位置を調節したり、ライトの自動点灯をオンまたはオフにしたり、カーナビゲーションが誘導地点を選定したり、ウィンカーを点灯させたり、カメラにより車内を撮影させて、撮影画像を送信させたりする等の利用者が所望する動作を行う。
【００７７】
つぎに、この制御システム１に利用者が、顔面情報と行動形態と所望する制御動作を対応付けて記憶させる登録の処理について図３に基づき詳細に説明する。
【００７８】
図３は、制御システムの登録動作における動作チャートである。
【００７９】
利用者がタッチパネル式ディスプレイ１９やリモコンによって制御システム１に登録動作要求を送信すると、登録部１０はこの登録要求を受けて、利用者が行動形態をとる時間的余裕を経た後に、カメラ８に間欠的に撮影命令を送信し、同時にＬＥＤ２０に点滅命令を送信して、利用者画像を撮影する準備を行う。ここで、カメラ８に対する間欠的な撮影命令とＬＥＤ２０に対する点滅間隔は同期しており、ＬＥＤ２０の点灯ごとにカメラ８は利用者画像を撮影するよう同期がとられる。
【００８０】
ＬＥＤ２０は、点滅を開始すると、この点滅に合わせて利用者は、カメラ８に顔面および腕の形状を含む上半身が撮影できる位置にポジションをとりつつ、利用者が定める行動形態、すなわちポーズやアクションをとってカメラ８に撮影させる（ステップ１００）。
【００８１】
ポーズの場合は、一回の点滅終了後に利用者がタッチパネル式ディスプレイ１９やリモコンによって、行動形態の撮影の終了を制御システム１に送信する。一方、アクションの場合には、利用者が所望するアクションを点灯タイミングごとに時分割して撮影させて一連のアクションの完成後に同様にして行動形態の撮影の終了を制御システム１に送信する。すなわち、本実施形態においては、一連のアクションの完成までに撮影された画像の枚数に関しても本人のみが知り得るものとなり、模倣者は、アクションの動作タイミングまでも正確に模倣せねばならなくなり、なりすましは困難となる。
【００８２】
ここで、制御システム１の利用者の一人である利用者Ａ(図１１参照)は、顔面情報Ａに相当する顔面を有し、行動形態としてポーズＢを行い、制御動作としてポーズＢを行うとエアコン調整を行うように登録するものとして以下に説明する。
【００８３】
カメラ８により利用者画像が撮影されると、利用者画像信号が処理ユニット２の画像取込み部９に送られ、画像取込み部９にて該信号をデコードし利用者画像が生成されてＲＡＭ２ｃに記憶させ、登録部１０に撮影が完了したことを通知する。
【００８４】
撮影が完了すると、登録部１０は、ＬＥＤ２０を消灯させ、同時に顔面情報抽出部１２ａと行動形態抽出部１３ａに顔面情報および行動形態の抽出させる（ステップ１０１）。この抽出動作は、後述する照合の際の抽出動作と同様である。
【００８５】
この抽出動作によって、利用者Ａの顔面情報ＡおよびポーズＢが顔面情報および行動形態として抽出される。抽出されたポーズＢは、タッチパネル式ディスプレイ１９に表示され、不要な画像の削除や、行動形態のやり直しを選択することができる。特に、利用者が初回の撮影開始に間に合わず、また行動形態終了後のタッチパネルディスプレイ１９やリモコンの操作が間に合わず、意図しない行動形態が撮影された場合には、その部分を削除することで撮影された行動形態を修正する。
【００８６】
尚、登録要求や撮影終了は、タッチパネル式ディスプレイ１９やリモコン以外にも、上述した制御部１５による行動形態の撮影動作と同様の手法により、登録時が停車中である場合にフットブレーキを踏むことによっても行うことができる。また、上述した制御部１５による行動形態の撮影動作と同様の手法により、利用者画像の変化を登録要求とみなすことや、複数枚連続して静止状態を撮影させて、この静止状態をもって撮影終了と判断させるようにしてもよい。また、利用者に終了ポーズをとらせることもできる。この場合も同様に、静止状態にあった複数枚の画像や終了ポーズの画像は抹消される。これらの場合には、上半身がぶれずに所望の行動形態を簡便に撮影させることができるとともに、タッチパネル式ディスプレイ１９やリモコンに目をやることなく、登録要求から行動形態開始、行動形態開始から撮影終了をスムーズに行うことができる。
【００８７】
抽出された顔面情報ＡおよびポーズＢは、データベース部１４に登録顔面情報Ａおよび登録ポーズＢとして記憶される。登録顔面情報は、図７に示すような登録顔面情報テーブル１６に登録行動形態用ＩＤを付して記憶される。ここでは、この抽出動作によって、登録顔面情報Ａが登録顔面情報テーブル１６に記憶され、登録行動形態用ＩＤとしてＡが付される。また、図８に示すような登録行動形態用ＩＤであるＡに代表される登録行動形態テーブル１７が、現存していない場合にはＣＰＵ２ａによってハードディスク２ｄ上のデータベース部１４に生成され、Ａで代表される登録行動形態テーブル１７に登録行動形態として抽出された登録ポーズＢが記憶される（ステップ１０２）。
【００８８】
利用者Ａを撮影し、顔面情報ＡおよびポーズＢが抽出され、データベース部１４に記憶されると、登録部１０は、図１１に示すように、タッチパネル式ディスプレイ１９の表示画面１８に利用者Ａが登録しようとした登録顔面情報Ａおよび登録ポーズＢが登録されたことを表示させ、同時に利用者Ａに今回登録された登録ポーズＢという登録行動形態に対応付ける制御動作の選択を促す。この制御動作の選択は、制御動作一覧１８ａより利用者が選択する（ステップ１０３）。ここでは、利用者Ａは、登録ポーズＢにエアコン調整という制御動作を対応付ける。
【００８９】
尚、図１１では、本発明が顔面情報と行動形態と制御動作が対になって利用者Ａにより登録されることを明確に示すため、表示画面１８上に利用者Ａの顔面情報Ａを表示させているが、悪意のある人間によって表示画面１８上の顔面情報Ａを盗み見されてデータ改ざんのヒントを提供することになるおそれがある場合、利用者Ａの顔面情報Ａに関しては表示させないでおくようにすることもできる。
【００９０】
利用者Ａにより登録ポーズＢに対応付けられるエアコン調整が選択されると、登録部１０は、データベース部１４に記憶されているＡという登録行動形態用ＩＤで代表される登録行動形態テーブル１７に記憶されている登録ポーズＢに対応付けてエアコン調整という制御動作を記憶する。同時に、この制御動作に制御動作検索用ＩＤとしてａを付す（ステップ１０４）。
【００９１】
以上の動作により、利用者の顔面情報に利用者が定めた行動形態が対応付けられ、さらにこの行動形態に利用者が定めた制御動作が対応付けられる。これによって、制御システム１を利用する適格を有さない他人は、ポーズＢを行うことによってエアコン調整が行われることを認識し、かつ登録顔面情報Ａになりすまして認証され、さらにポーズＢを模写して認証されない限り、制御システム１にエアコン調整の制御動作を行わせることができないものとなる。
【００９２】
尚、さらに、利用者Ａが３回の動作変化よりなるアクションＡを登録する場合には、ＬＥＤ２０の点滅に合わせて３回の動作変化を行いつつ、アクションＡの一連動作を撮影させる。撮影されたアクションＡの３枚の画像は、それぞれ、後述する照合の際の抽出動作と同様に抽出を行い、これらを一組にして、データベース部１４の既に作成されているＡに代表される登録行動形態テーブル１７に登録アクションＡとして記憶され、以下同様にして制御動作と対応付けられる。
【００９３】
つぎに、この制御システム１の制御動作決定処理について図４乃至図９に基づき詳細に説明する。図４は、この制御システム１の処理を示したフローチャートである。
【００９４】
まず、運転席に利用者が着座し、制御システム１を起動させると、制御部１５がカメラ８に対し、撮影命令を送信する。撮影命令を受けたカメラ８は、利用者の上半身全体を撮影し、画像取込み部９に利用者画像信号として送信する（ステップ２００）。
【００９５】
ここで、本実施形態では、利用者Ａが撮影され、利用者Ａは、身体的特徴として顔面情報Ａに相当する顔面を有し、例えば、行動形態たるポーズとしてポーズＢをとれば、制御動作としてエアコンを調整するように予め登録しており、以下、利用者Ａは、制御システム１にエアコンの調整を要求し、ポーズＢに相当するポーズをとっているとして説明する。
【００９６】
画像取込み部９は、利用者画像信号を受け取ると、この信号をデコードして利用者画像を生成する。（ステップ２０１）。
【００９７】
利用者画像の生成は、カメラ８が利用者Ａを撮影し続ける限り連続して行われ、利用者画像は、順次更新されながらＲＡＭ２ｃに記憶される。この制御システム１は、利用者Ａが制御システム１に制御動作を要求する時点で、速やかに照合等の処理に入れるように、常時、利用者画像を最新に保っている。
【００９８】
次に、利用者Ａが制御システム１を使用するきっかけを感知すると、制御部１５が顔面認証部１２に対して認証開始信号が送信する。このきっかけは、利用者Ａがシートベルトを閉めたことを図示しないセンサが感知し、処理ユニット２に感知信号を送信することをきっかけとする。その他、利用者Ａが押しボタンを押す、また、運転席に着座センサを備えてこの着座センサが利用者Ａの着座を感知する、感知信号を処理ユニット２に送信する等をきっかけとしてもよい。
【００９９】
顔面認証部１２は、認証開始信号を受信すると、ＲＡＭ２ｃから利用者画像を読み込む。利用者画像を読み込むと、顔面情報抽出部１２ａは、利用者画像内の顔面情報を抽出する（ステップ２０２）。
【０１００】
この抽出は、利用者画像から顔面領域を特定し、顔面の特徴点を顔面情報として取得することによりことによりなされる。
【０１０１】
顔面領域の特定は、まず、利用者画像全体にガボールウェーブレット変換を施し、利用者画像全体に特徴点を生成する。次に、図５に示す顔面領域探索グラフを、図６に示すように、利用者画像全体にわたって、大きさを大小させながら、また傾きを変えながら走査させる。走査させている間、順次、利用者画像内の特徴点と顔面領域探索グラフの特徴点の位置関係を比較し、類似度を算出する。類似度が閾値を超えると、超えた時点での顔面領域探索グラフの位置に顔面領域が存在すると判定し、顔面領域が特定される。
【０１０２】
顔面情報の取得は、特定された顔面領域に図５に示す顔面領域探索グラフと類似の顔面情報グラフを配し、顔面領域に存在する特徴点と顔面情報グラフの特徴点の相対位置関係が最も類似するように、顔面情報グラフの特徴点を局所的に移動させ、顔面の特徴が表現された顔面情報グラフを作成することにより、この顔面情報グラフをもって顔面情報の取得がなされたこととなる。
【０１０３】
以上の処理により、顔面情報抽出処理が完了し、顔面情報抽出部１２ａにより、顔面情報が抽出されて、この顔面情報グラフの形態でＲＡＭ２ｃに記憶される。
【０１０４】
次に、顔面情報照合部１２ｂにより、抽出された顔面情報と、登録部１０により予め登録された登録顔面情報とが照合される（ステップ２０３）。
【０１０５】
顔面情報は、上述のように、顔面情報グラフとして表現されている。登録顔面情報は、同じく予め登録された顔面情報グラフとして表現されており、図７に示すように、データベース部１４に記憶されている登録顔面情報テーブル１６に、制御システム１を利用する利用者の分だけ、一覧としてテーブル化されており、個々に固有の登録行動形態用ＩＤが付されている。
【０１０６】
顔面情報照合部１２ｂは、登録顔面情報テーブル１６内の登録顔面情報を順次読み出し、読み出された登録顔面情報と、抽出された顔面情報の特徴点の類似度を算出する。類似度が閾値を越えなければ、その登録顔面情報は、一致する登録顔面情報ではないと認識し、次の登録顔面情報と類似度を算出する。類似度が閾値を越えれば、その登録顔面情報をもって一致する登録顔面情報が検出されたとし、この照合結果を、登録顔面情報テーブル１６内の一致する登録顔面情報に付された登録行動形態用ＩＤとともに、制御部１５に通知する。
【０１０７】
本実施形態においては、登録顔面情報テーブル１６内の登録顔面情報Ａが一致する登録顔面情報として検出され、登録顔面情報Ａに付された登録行動形態用ＩＤとしてＡというＩＤが制御部１５に通知される。
【０１０８】
図８に示すように、データベース部１４には、登録顔面情報テーブル１６のほかに、登録行動形態と制御動作と制御動作検索用ＩＤを対応させた登録行動形態テーブル１７を、登録行動形態用ＩＤごとに記憶している。
【０１０９】
制御部１５は、顔面情報照合部１２ｂにより通知された照合結果が、一致する登録顔面情報が検出された旨の通知であった場合に、通知された登録行動形態用ＩＤの行動形態テーブルを検索する。この場合、制御部１５は、Ａという登録行動形態用ＩＤで代表される登録行動形態テーブル１７を登録行動形態テーブル群から検索する。
【０１１０】
制御部１５は、通知された登録行動形態用ＩＤの登録行動形態テーブル１７が検索されると、利用者Ａが制御動作を所望して何らかの行動形態をとるまで待機する。本実施形態においては、カメラ８が連続撮影している利用者画像の変化をもって何らかの行動形態を取り始めたことを感知する。
【０１１１】
制御部１５は、連続撮影している利用者画像の変化率を所定の変化率の閾値と比較している。利用者Ａが行動形態を開始すると、このときの利用者画像の変化率は閾値を超え、制御部１５は、利用者が何らかの行動形態をとったというきっかけを感知する。この感知と同時に、画像取込み部９に対し、連続撮影されている利用者画像のうち、間欠的に連続利用者画像として順次ＲＡＭ２ｃに記録させていく。記録されていく間隔は、前述した登録時のＬＥＤ２０の点滅間隔に相当する間隔で記録させていく。尚、利用者Ａがタッチパネル式ディスプレイ１９や押しボタンを押圧することにより行動形態開始を宣言した場合には、所定タイムラグ後のフレームから、利用者画像の変化による場合はきっかけ直後のフレームから記録させていく。そして、利用者Ａがタッチパネル式ディスプレイ１９や押ボタンを押圧したり、フットブレーキの踏込みを行ったり、終了ポーズ等の合図を行った等を感知したり、もしくは利用者が複数枚分連続して同じ静止状態にあった、等により記録を終了する。そして、記録からこれら合図や静止状態の画像を抹消する。これにより、利用者Ａがポーズを行った場合には、最初の１枚目の画像で終了し１枚の連続利用者画像として生成され、アクションの場合には、一連のアクション終了時の画像で終了して複数枚からなる連続利用者画像ととして生成される（ステップ２０４）。
【０１１２】
本実施形態においては、制御部１５が、利用者Ａが行動形態を取り始めたことを連続撮影している利用者画像の変化から感知し、このきっかけの直後、すなわち、利用者Ａがポーズをとった瞬間の利用者画像から間欠的に利用者画像を取得して連続利用者画像の生成を行う。利用者Ａがとった行動形態はポーズであったので、その後利用者画像は利用者Ａがポーズを取り終えた静止状態が続くこととなり、制御部１５は、利用者Ａの行動形態終了を認識する。
【０１１３】
尚、ＲＡＭ２ｃに記憶させていく連続利用者画像は、上述のように連続撮影されている利用者画像のうち間欠的に抜き出されるようなものでもよいが、前述した登録時と同じ間欠的な撮影を行い、ＬＥＤ２０を点滅させて、その都度利用者Ａに行動形態の変化を行うようにさせてもよい。
【０１１４】
利用者が行動形態を終了すると、制御部１５は、行動形態認証部１３に対し、認証開始信号を送信するとともに、先ほど検索した行動形態認証部１３が参照すべき登録行動形態テーブル１７を指示する（ステップ２０５）。
【０１１５】
行動形態認証部１３は、制御部１５により指示されたＡという登録行動形態用ＩＤで代表される登録行動形態テーブル１７を参照しながら認証処理を行うが、この処理に先立ち、行動形態抽出部１３ａにて連続利用者画像から行動形態を抽出する処理を行う。
【０１１６】
行動形態認証部１３は、行動形態認証開始信号を受信すると、ＲＡＭ２ｃから連続利用者画像を読み込み、行動形態抽出部１３ａで、連続利用者画像内の各行動形態を抽出する（ステップ２０６）。ここでは、１枚のみから構成される連続利用者画像から一つの行動形態が抽出される。
【０１１７】
ここで、本実施形態においては、利用者は車両を運転する運転手であり、腕を除いた上半身および顔面の連続利用者画像内における領域の位置はほぼ決まっており、その領域は初めから特定されている。運転手のとりうる行動形態は、体に対する腕の位置と形状で表すことができるので、腕の領域を抽出し、連続利用者画像におけるそれぞれの腕の位置を特定すれば、行動形態が抽出できたこととなる。
【０１１８】
したがって、行動形態抽出部１３ａは、利用者が運転手である場合の一般的な顔面および腕を除いた上半身のエッジ画像を予め保持している。実際にはこのエッジ画像は処理プログラムの一部としてＲＯＭ２ｂに記憶されている。まず、図９に示すように、連続利用者画像に対してエッジ処理を行う。本実施形態においては、利用者ＡはポーズＢをとっていたので、連続利用者画像は１枚のみであり、この画像内の利用者Ａがとるポーズにエッジをかける。このポーズのエッジから、ＲＯＭ２ｂから呼び出した一般的な腕を除いた上半身および顔面のエッジ画像を差分する。この差分により、連続利用者画像内に存在するのは、腕形状のエッジのみとなり、腕形状のエッジを切り抜き、かつこの腕形状のエッジの重心を算出して、連続利用者画像内における腕形状のエッジの重心位置を特定する。この切り抜かれた腕形状のエッジが腕の形状を示し、腕形状のエッジの重心位置が体に対する腕の位置となり、図９に示す利用者Ａがとるポーズから腕形状のエッジを切り抜き、腕形状のエッジの重心位置を特定することでポーズが行動形態として抽出される。尚、図１０に示すように撮影画像を２値化して体形状の領域を抽出することもできる。
【０１１９】
次に、行動形態照合部１３ｂにより、抽出されたポーズと、予め登録された登録行動形態群とが照合される（ステップ２０７）。
【０１２０】
この照合は、制御部１５により指示されたＡという登録行動形態テーブル１７内の登録行動形態群を順次読み出し、順次照合される。まず、登録ポーズＡが読み出され、この登録ポーズＡにおける腕形状のエッジの重心位置と、抽出されたポーズにおける腕形状のエッジの重心位置を比較して、類似度を算出して閾値以上であるかを判断する。この場合、類似度は閾値以下であると判断され、利用者Ａのとるポーズは、登録ポーズＡではないとして、次の登録行動形態として登録ポーズＢを読み出す。同様にして、登録ポーズＢと抽出されたポーズの腕の重心位置を比較する。この場合、類似度は閾値以上であると判断され、利用者Ａのとるポーズは、腕の位置としては一致する登録行動形態すなわち登録ポーズＢを検出したと判断する。
【０１２１】
次に、登録ポーズＢの腕形状のエッジと、抽出されたポーズの腕形状のエッジとを比較し、類似度を算出して閾値以上であるか判断する。この場合、類似度は閾値以上であり、利用者Ａのとるポーズは、腕の形状においても一致する登録行動形態すなわち登録ポーズＢを検出したと判断する。
【０１２２】
腕の重心位置および腕形状のエッジが一致したと判断すると、登録ポーズＢという登録行動形態が、一致する登録行動形態として検出されたことになる。これにより利用者Ａがとるポーズは、登録ポーズＢとして顔面情報Ａを有する利用者Ａが登録したポーズＢであり、行動形態においても認証されたことになる。
【０１２３】
尚、上述したように利用者はアクションを登録行動形態として定めることもできる。例えば、図８に示すようにＡで代表されている登録行動形態テーブル１７には同じ利用者により登録アクションＡが登録されている。登録アクションＡは、一連のアクションが３枚の組画像からなり、それぞれにエッジ抽出が施されているものとする。
【０１２４】
仮に今回認証を受けようとする利用者Ａ、すなわち顔面情報Ａを有する利用者がアクションＡと同一のアクションをとっていた場合、まず、画像の枚数によって、一致する行動形態であるか否かが判断される。１枚のみの登録ポーズＡおよび登録ポーズＢは一致する行動形態ではないと判断され、次に登録アクションＡと照合されることとなる。もし、すべての登録行動形態の枚数が一致しない場合は、最終的に認証できないと判断される。
【０１２５】
今回、行動形態照合部１３ｂは、登録アクションＡと利用者がとったアクションの画像の枚数が同じ３枚であることを確認し、登録アクションＡとして登録されている３枚のエッジ画像とこの今回認証を受けようとした利用者Ａがとるアクションの３枚のエッジ画像とをそれぞれ時系列順に照合する。この３枚の画像の照合がそれぞれ所定の閾値以上で一致したことをもってアクションに関して一致する登録行動形態を検出したことになる。
【０１２６】
行動形態照合部１３ｂは、登録ポーズＢを一致した登録行動形態として検出すると、Ａという登録行動形態用ＩＤで代表される登録行動形態テーブル１７内の登録ポーズＢに付されているｂという制御動作検索用ＩＤを制御部１５に通知する。
【０１２７】
以上の動作により、利用者Ａは、顔面情報においても行動形態においても特定の利用者であると認証されたことになる。
【０１２８】
次に、制御部１５により、利用者Ａが所望する制御動作を決定し、車両コントローラに制御依頼を発行する（ステップ２０８）。
【０１２９】
制御部１５は、行動形態照合部１３ｂから通知されたｂという制御動作検索用ＩＤに基づき、Ａという登録行動形態用ＩＤで代表される登録行動形態１７を検索する。この検索により、登録ポーズＢに対応付けられているエアコン調整が、利用者Ａが所望する制御動作だと判断し、エアコン調整を制御動作として決定する。
【０１３０】
エアコン調整が制御動作として決定されると、制御部１５は、Ｉ／Ｆ２ｅを介して車両コントローラ３に対し、エアコン４を利用者Ａが登録している温度および風量に調節するように制御を行うよう制御依頼を送信する。
【０１３１】
以上が、処理ユニット２にて行われる、利用者画像を取り込んでから利用者を照合し、利用者の要求する制御動作を決定する処理である。
【０１３２】
車両コントローラ３は、制御部１５から出力された制御依頼をＩ／Ｆ３ｄを介して受けると、ＲＯＭ３ｂ内の処理プログラムの実行をＣＰＵ３ａにて開始し、得られた演算結果を被制御部であるエアコン４に制御信号としてＩ／Ｆ３ｄを介してエアコン４に出力し、エアコン４は、制御信号に従い制御される（ステップ２０９）。
【０１３３】
尚、上述の実施形態において、エアコン調整を行う処理について詳細に説明したが、本発明は、この実施形態と同一の処理手順により、エンジンまたはモータの始動の許可、カーステレオから流れる音楽を選曲する、車両に搭載されたメールブラウザの受信者を選択する、車両に搭載されたメールブラウザで作成されるメールの定形文の選択と送信、サイドミラーとバックミラーの角度、および座席の位置と高さを調節する、ワイパーの始動および動作速度の調整、パワーウインドウの開閉と開閉量の調整、ライトの自動点灯のオンまたはオフ、カーナビゲーションの誘導地点の選定、ウィンカーの点灯、上記カメラによる撮影と撮影画像の送信を行わせることができる。
【０１３４】
このように本発明の制御システム１は、顔面情報を照合し、行動形態を照合し、特定の利用者であることを認証する。さらに、行動形態を利用者に登録させ、特定の利用者のみが知り得る制御動作の組み合わせを登録させることにより、幾重にも張り巡らされたセキュリティとして機能する。また行動形態は、同時に要求キーとして成り立ち、利用者は幾重にも張り巡らされたセキュリティと制御動作の要求を同時に行っていることから、セキュリティをそれほど意識せず、簡便に制御システム１を利用できる。
【０１３５】
尚、本実施形態においては、利用者の顔面情報の取得を目的とした利用者画像の撮影と、行動形態の取得を目的とした連続利用者画像の撮影を別々に行った。この様な方法であれば、ＣＰＵが低速で顔面情報から個人を認証するために、時間を要する場合であっても対応が可能である。ＣＰＵの処理速度等を早くした場合には、顔面情報の取得および行動形態の取得を一度の撮影タイミングで行うようにしてもよい。
【０１３６】
また、本発明における制御動作決定方法は、上述の車両制御システムに開示されている処理手順が時系列的に行われるものであるから、その詳細な説明を省略する。
【図面の簡単な説明】
【０１３７】
【図１】本発明の制御システムの構成ブロック図である。
【図２】本発明の処理ユニットの機能ブロック図である。
【図３】本発明の制御システムの登録動作における動作チャートである。
【図４】本発明の制御システムの制御動作要求における動作チャートである。
【図５】本発明の顔面抽出および顔面照合に使用されるグラフであり、顔面領域を抽出する際のグラフや顔面情報を表現したグラフや登録顔面情報を表現したグラフの概略図である。
【図６】本発明の顔抽出処理の説明図である。
【図７】本発明の登録顔面情報テーブルである。
【図８】本発明の登録行動形態テーブルである。
【図９】本発明のエッジ抽出された行動形態の図である。
【図１０】本発明の領域抽出された行動形態の概略図である。
【図１１】本発明の制御システムの登録動作における登録誘導に使用される表示画面の図である。
【符号の説明】
【０１３８】
１  制御システム
２  処理ユニット
２ａ  ＣＰＵ
２ｂ  ＲＯＭ
２ｃ  ＲＡＭ
２ｄ  ハードディスク
２ｅ，２ｆ  Ｉ／Ｆ
３  車両コントローラ
３ａ  ＣＰＵ
３ｂ  ＲＯＭ
３ｃ  ＲＡＭ
３ｄ  Ｉ／Ｆ
４  エアコン
５  エンジン
６  カーステレオ
７  メールブラウザ
８  カメラ
９  画像取込み部
１０  登録部
１１  認証部
１２  顔面認証部
１２ａ  顔面情報抽出部
１２ｂ  顔面情報照合部
１３  行動形態認証部
１３ａ  行動形態抽出部
１３ｂ  行動形態照合部
１４  データベース部
１５  制御部
１６  登録顔面情報テーブル
１７  登録行動形態テーブル
１８  表示画面
１８ａ  制御動作一覧
１９  タッチパネル式ディスプレイ
２０  ＬＥＤ
【図１】
2005228163.tif 000003
【図２】
2005228163.tif 000004
【図３】
2005228163.tif 000005
【図４】
2005228163.tif 000006
【図５】
2005228163.tif 000007
【図６】
2005228163.tif 000008
【図７】
2005228163.tif 000009
【図８】
2005228163.tif 000010
【図９】
2005228163.tif 000011
【図１０】
2005228163.tif 000012
【図１１】
2005228163.tif 000013