(57)【要約】【課題】車載装置を操作する操作者が、運転者か、同乗者かを判別することができる操作者判別装置を提供する。【解決手段】操作者判別装置３は、パターン１３０を有するアームレスト１３と、操作者の腕を介してパターン１３０を撮像可能に設けられた近赤外線カメラ３１と、近赤外線カメラ３１によって撮像された画像３００と、パターン１３０を構成する基本パターン１３１に基づいて基本パターン１３１の検出を行う検出部３２ａと、パターン１３０の検出・未検出に基づいて２値化処理を行って２値画像３０１を作成する２値化処理部３２ｂと、２値画像３０１に基づいてラベリング処理を行って第１及び第２の連結成分２０ａ、２０ｂを抽出し、第１及び第２の連結成分２０ａ、２０ｂの重心の位置に基づいて前記操作者が運転者２Ａであるか、同乗者２Ｂであるかを判別する判別部３２ｃとを有する画像処理部３２と、を備えている。【選択図】図６
2009220724.tif 000002
【特許請求の範囲】
【請求項１】
表面に所定のパターンを有し、運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の腕が前記所定のパターンの上部を通過するように設けられた構造物と、
前記操作者の前記腕を介して前記所定のパターンを撮像する撮像部と、
前記撮像部から出力された画像データに基づいて前記所定のパターンの検出処理を行う検出部と、前記所定のパターンの検出・未検出に基づいて２値化処理を行って２値画像を生成する２値化処理部と、前記２値画像に基づいてラベリング処理を行って連結成分を抽出し、抽出された前記連結成分の重心の位置に基づいて前記操作者が前記運転者であるか、前記同乗者であるかを判別する判別部とを有する画像処理部と、
を備えたことを特徴とする操作者判別装置。
【請求項２】
前記構造物は、車両の運転者座席と同乗者座席の間に設けられたアームレストであることを特徴とする請求項１に記載の操作者判別装置。
【請求項３】
前記撮像部は、前記車両の天井部に設けられ、近赤外線を撮像する近赤外線カメラであることを特徴とする請求項１又は２に記載の操作者判別装置。
【請求項４】
前記所定のパターンは、前記近赤外線カメラによって撮像可能であることを特徴とする請求項１乃至３いずれか１項に記載の操作者判別装置。
【請求項５】
前記所定のパターンは、輝度値の差が相対的に大きい第１及び第２の領域から構成される基本パターンの繰り返しによって形成されていることを特徴とする請求項１乃至４いずれか１項に記載の操作者判別装置。
【請求項６】
前記所定のパターンは、第１のパターン、及び前記第１のパターンより面積が小さい第２のパターンより構成され、前記２値画像において高い解像度を必要とする領域に対しては前記第２のパターンが配置され、前記高い解像度を必要としない領域に対しては前記第１のパターンが配置されることを特徴とする請求項１乃至５いずれか１項に記載の操作者判別装置。
【請求項７】
前記操作者識別装置は、近赤外線によって前記構造物を照明する照明部を備えていることを特徴とする請求項１乃至６いずれか１項に記載の操作者判別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載装置を操作する操作者が、運転者か、同乗者かを判別することができる操作者判別装置に関する。
【背景技術】
【０００２】
従来の技術として、車両の運転者座席と助手席の前方に設けられ、車載装置の操作項目を表示する表示操作部と、表示操作部と表示操作部へ伸ばされた運転者の左手、及び助手席着座者の右手を共に視野にいれて撮像可能に車両中心線上である運転者座席と助手席の中心に設けられた遠赤外線カメラと、遠赤外線カメラで撮像した画像データを処理して操作者を判別する画像処理部と、を備えた操作者判別装置が知られている（例えば、特許文献１参照）。
【０００３】
この操作者判別装置によれば、画像データから抽出された操作者の手の重心が、画像内に設定された基準線の左側領域にあるか右側領域にあるかによって操作者を判別し、その判別結果と車両の走行状態に基づいて表示操作部に表示された操作項目の許可範囲を制限することができる。
【特許文献１】特開２００４−０６７０３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の操作者判別装置では、遠赤外線カメラは、運転者座席と助手席の間に設置されるため、後部座席からの視界を遮る可能性があった。また、従来の操作者判別装置に用いる遠赤外線カメラは高価で入手しにくいという問題があった。
【０００５】
また、従来の操作者判別装置は、遠赤外線カメラを用いた場合、熱い飲料の入った容器、高温の電子機器、直射日光によって熱せられた物体などの、高温の物体が表示操作部の近傍に存在するとき、操作者の手の判別精度が低下する可能性があった。
【０００６】
従って本発明の目的は、車載装置を操作する操作者を精度良く判別する操作者判別装置を提供する。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するため、表面に所定のパターンを有し、運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の腕が前記所定のパターンの上部を通過するように設けられた構造物と、前記操作者の前記腕を介して前記所定のパターンを撮像する撮像部と、前記撮像部から出力された画像データに基づいて前記所定のパターンの検出処理を行う検出部と、前記所定のパターンの検出・未検出に基づいて２値化処理を行って２値画像を生成する２値化処理部と、前記２値画像に基づいてラベリング処理を行って連結成分を抽出し、抽出された前記連結成分の重心の位置に基づいて前記操作者が前記運転者であるか、前記同乗者であるかを判別する判別部とを有する画像処理部と、を備えたことを特徴とする操作者判別装置を提供する。
【発明の効果】
【０００８】
このような構成によれば、車載装置を操作する操作者を精度良く判別する操作者判別装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下に、本発明の操作者判別装置の実施の形態を図面を参考にして詳細に説明する。
【００１０】
[実施の形態]
（車両１の構成）
図１は、本発明の実施の形態に係る操作者判別装置を搭載した車両の概略図である。本実施の形態における操作者判別装置は、車両１に搭載され、一例として、後述する車載装置としてのカーナビゲーション部のスイッチ部４１を操作する操作者の判別を行うものとする。なお、本実施の形態としてカーナビゲーション部を例にとって説明するが、これに限定されず、カーオーディオ等の電子機器に適用されても良い。また、表示部４０を運転者２Ａ側及び同乗者側の２画面に分け、それぞれに異なる操作メニューを表示し、スイッチ部４１を操作する操作者を判別することによって、判別された操作者側の画面に表示された操作メニューのみを操作可能にするようにしても良く、これに限定されない。ここで同乗者とは、運転者２Ａの隣に着座する者を指すものとする。
【００１１】
車両１は、エンジン及び各種電子機器（図示せず）を搭載する車両本体１０と、運転者２Ａが着座する運転者座席１１と、表面にパターン（所定のパターン）１３０を有し、運転者座席１１と後述する同乗者座席との間に設けられたアームレスト（構造物）１３と、アームレスト１３に対向する車両本体１０の天井部に設けられ、近赤外線３０ａによってアームレスト１３近傍を照明する照明部３０と、操作者の腕を介してアームレスト１３を撮像できるように車両本体１０の天井部に設けられ、アームレスト１３等を反射した近赤外線３０ａを撮像することができる近赤外線カメラ（撮像部）３１と、画像や操作メニュー等を表示する後述するカーナビゲーション部の表示部４０と、アームレスト１３の前方に設けられたカーナビゲーション部の操作部であるスイッチ部（操作部）４１と、を備えて概略構成されている。なお、スイッチ部４１の位置は、これに限定されず、表示部４０の近傍に設置、又はタッチパネル式の表示部としても良く、これに限定されない。
【００１２】
（操作者判別装置３の構成）
図２は、本発明の実施の形態に係る操作者判別装置のブロック図である。操作者判別装置３は、アームレスト１３に設けられたパターン１３０と、照明部３０と、近赤外線カメラ３１と、近赤外線カメラ３１によって撮像された画像（画像データ）を解析し、操作者を判別する画像処理部３２と、を備えて構成されている。画像処理部３２は、さらに、画像に含まれるパターン１３０を構成する後述する基本パターンの検出を行う検出部３２ａと、検出部３２ａによる検出・未検出に基づいて２値化処理を行う２値化処理部３２ｂと、２値化処理によって生成された２値画像に基づいてラベリング処理を行い、操作者を判別する判別部３２ｃとを備え、カーナビゲーション部４と接続されている。また、カーナビゲーション部４は、表示部４０と、スイッチ部４１と、を備えて概略構成されている。なお、本実施の形態における操作者判別装置３は、照明部３０を備えているが、照明部３０を備えない構成としても良い。また、本実施の形態における操作者判別装置３は、近赤外線３０ａを撮像可能な近赤外線カメラ３１を備えているが、これに限定されず、可視光線によって撮像された画像に基づいて操作者を操作者判別装置３に判別させても良い。
【００１３】
近赤外線カメラ３１は、一例として可視光線を遮り、近赤外線３０ａを透過するフィルターが装着されており、安価で低解像度の固定撮像素子を有するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラであって、所定の時間間隔に基づいて車両内部を撮像するものとする。
【００１４】
（アームレスト１３について）
図３は、本発明の実施の形態に係る車両内部の上方図である。車両内部には、運転者２Ａが着座する運転者座席１１と、同乗者２Ｂが着座する同乗者座席１２と、が備えられ、その間にはアームレスト１３が備えられている。
【００１５】
（パターン１３０について）
図４（ａ）は、本発明の実施の形態に係るアームレストの概略図であり、図４（ｂ）は、本発明の実施の形態に係る基本パターンの拡大図であり、図５（ａ）及び（ｂ）は、本発明の実施の形態に係るパターンの変形例を示す概略図である。パターン１３０は、一例として、図４（ｂ）に示す基本パターン１３１の繰り返しによって構成されている。基本パターン１３１は、一例として、第１の領域１３１ａ（黒色で塗られた領域）と、第２の領域１３１ｂから構成されている。第１及び第２の領域１３１ａ、１３１ｂは、輝度値の差が相対的に大きいことが望ましく、輝度値の差が大きいことによって、後述する形状認識処理が容易となる。また、パターン１３０は、図４（ａ）及び（ｂ）に示すように、操作者の腕の特徴（テクスチャ）と大きく異なる特徴を備えている。なお、図４（ａ）、後述する図５（ａ）、（ｂ）及び図６（ａ）に示すパターン１３０、１３３、１３８の第１の領域１３１ａは、黒色で塗らず、斜線で表すこととする。
【００１６】
このパターン１３０は、一例として、波長が９００ｎｍの近赤外線３０ａを反射する塗料等によってアームレスト１３の表面上に印刷されている。よって人間の眼でパターン１３０を認識することはできないものとする。基本パターン１３１は、一例として正方形状を有し、その一辺は１ｃｍ程度であるものとする。図４に示すパターン１３０は、基本パターン１３１を８×１３個並べたものであるが、これは図示するにあたっての数であり、実際の個数は多いものとなる。本実施の形態において、パターン１３０は、人間の眼で認識できないものとしたが、これに限定されず、意匠として優れたものをパターン１３０とし、可視光線下で認識できるものであっても良い。
【００１７】
（パターンの変形例について）
また、パターン１３０は、図４（ａ）に示すものに限定されず、例えば図５（ａ）に示すパターン１３３でも良い。このパターン１３３は、正方形状を有する第１及び第２の基本パターン１３４、１３５から構成されている。第１の基本パターン（第１のパターン）１３４は、一例として、図４（ａ）に示す基本パターン１３１を拡大したものであり、第２の基本パターン（第２のパターン）１３５は、基本パターン１３１と同一としているが、縮小されていても良い。
【００１８】
このパターン１３３は、第１の基本パターン１３４によって形成された低解像度領域１３６と、第２の基本パターン１３５によって形成された高解像度領域１３７と、を備えて構成されている。低解像度領域１３６は、操作者の腕が、上部を通過する可能性が低い領域であり、それに反して、太い線で囲った高解像度領域１３７は、操作者の腕が、その上部を通過する可能性が高い領域である。
【００１９】
低解像度領域１３６は、第１の基本パターン１３４の面積が大きいため、後述する形状認識処理（検出処理）による処理の負荷は軽いが、例えば、操作者の腕が曲がっているときの腕のエッジを精度良く検出することができない。一方、高解像度領域１３７は、第２の基本パターン１３５の面積が第１の基本パターン１３４に比べて小さいため、形状認識処理による負荷は重いが、例えば、操作者の腕のエッジを精度良く検出することができる。よって同じ大きさを有する基本パターン１３１を並べた場合に比べて処理の負荷を軽くすることができる。
【００２０】
図５（ｂ）に示すパターン１３８は、一例として基本パターン１３１と同一のパターンの繰り返しによって構成されている。このパターン１３８は、車両１の後部のパターンが除かれている。これは、スイッチ部４１を操作するとき、操作者の腕が、アームレスト１３の後部の上部を通過することが少ないことによる。よってアームレスト１３の後部に対して画像処理を行わずに済むので、負荷が軽くなる。なお、パターン１３０、１３３、１３８は、上記の例に限定されず、基本パターン１３１、第１及び第２の基本パターン１３４、１３５は、形状認識処理によって容易に操作者の腕とエッジの分離が可能であるパターンであれば良く、その形状及び面積も目的に合わせて自由に変更可能である。
【００２１】
（２値画像３０１について）
図６（ａ）は、本発明の実施の形態に係る撮像されたアームレスト近傍の画像の概略図であり、図６（ｂ）は、本発明の実施の形態に係るパターンに基づいた２値画像である。なお、図６（ｂ）において、左上を原点とし、横方向をＸ、縦方向をＹとする。
【００２２】
画像３００は、近赤外線カメラ３１によって撮像された画像の一例であり、運転者２Ａの腕２ａと、同乗者２Ｂの腕２ｂと、アームレスト１３上のパターン１３０と、が撮像されている。中心線１３２は、アームレスト１３の中心を結んだ直線を表している。
【００２３】
２値画像３０１は、一例として、パターン１３０の基本パターン１３１に対応して設けられた複数のブロック３０２によって構成されている。２値画像３０１におけるブロック３０２は、形状認識処理に基づいて基本パターン１３１が検出されたブロック３０２は白（例えば画素値１）、未検出のブロック３０２は斜線（例えば画素値０）として表している。
【００２４】
（動作）
以下に本発明の実施の形態における操作者判別装置の動作を図１〜６を参照し、図７のフローチャートに従って詳細に説明する。以下では、アームレスト１３にパターン１３０を設けた場合について説明する。
【００２５】
運転者２Ａ及び同乗者２Ｂが車両１に乗車し、車両１の電気系統をオン状態にすると、操作者判別装置３の画像処理部３２は、照明部３０を制御してアームレスト１３近傍を近赤外線３０ａによって照明し、続いて近赤外線カメラ３１を制御し、所定の時間間隔に基づいてアームレスト１３近傍を撮像する（Ｓ１）。
【００２６】
画像処理部３２の検出部３２ａは、近赤外線カメラ３１を介して図６（ａ）に示す画像３００を受け取り、画像３００のアームレスト１３上のパターン１３０に対して形状認識処理による基本パターン１３１の検出を行う（Ｓ２）。形状認識処理としては、例えば基本パターン１３１との正規化相関値の大小によって基本パターン１３１の検出・未検出の判定を行う。なお、検出部３２ａは、例えば形状認識処理としてニューラルネットワークにより学習済みのパターンの認識を行っても良く、これに限定されない。
【００２７】
続いて２値化処理部３２ｂは、基本パターン１３１の検出・未検出に基づいて画像３００の２値化処理を行い、図６（ｂ）に示す２値画像３０１を生成する（Ｓ３）。そして画像処理部３２の判別部３２ｃは、２値画像３０１に基づいてラベリング処理を行う（Ｓ４）。
【００２８】
ここでラベリング処理とは、一例として、２値画像３０１に対して走査（例えば図６（ｂ）に示す２値画像３０１のブロック３０２を上部の左から右、続いて上部から下部へと順番に検出処理を行う）を行い、基本パターン１３１が未検出であるブロック３０２（斜線のブロック）が見つかったとき、そのブロック３０２を中心として、「８連結」の領域に未検出のブロック３０２（斜線のブロック）が存在するか否かを解析する。なお、「８連結」とは、注目するブロック３０２の上下左右及び斜め方向に位置する隣接するブロック３０２に対して、注目するブロック３０２（この場合は、未検出のブロック３０２）と同じ未検出のブロック３０２があるか否かを調査することである。また、「４連結」とは、注目するブロック３０２の上下左右方向に未検出のブロック３０２（斜線のブロック）があるか否かを調査することであり、この「４連結」に基づいてラベリングが行われても良い。
【００２９】
続いて、「８連結」の領域に未検出のブロック３０２（斜線のブロック）が存在するときは、最初に見つけた未検出のブロック３０２（斜線のブロック）に付された符号と同じ符号を付し、再び走査を行う。これらを繰り返して図６（ｂ）に示す第１の連結成分２０ａ（未検出のブロック３０２が隣接し、繋がった部分）に対してすべて同じ符号を付す。同様に図６（ｂ）に示す第２の連結成分２０ｂに対してすべて同じ符号を付す。
【００３０】
判別部３２ｃは、第１及び第２の連結成分２０ａ、２０ｂに基づいて以下の方法によって第１及び第２の連結成分２０ａ、２０ｂの重心の算出を行う（Ｓ５）。
【００３１】
ここで重心とは、連結成分における位置的中心のことである。この重心の算出は、一例として、第２の連結成分２０ｂのブロック３０２に割り当てられた座標の横軸Ｘ成分及び縦軸Ｙ成分をそれぞれ加算し、その平均を算出することによって行われ、その算出された重心（ｘ、ｙ）座標にあるブロック３０２が、図６（ｂ）に示す中心線１３２を基準にして、運転者２Ａ側にあるのか、同乗者２Ｂ側にあるのかによって連結成分が、運転者２Ａの腕２ａなのか、同乗者２Ｂの腕２ｂなのかを判別する（Ｓ６）。
【００３２】
また、判別部３２ｃは、例えば、２値画像３０１における第１及び第２の連結成分２０ａ、２０ｂの面積を算出し、その面積が大きい連結成分の重心に基づいて判別を行うようにしても良い。また、判別部３２ｃは、算出した重心が、スイッチ部４１側にあるか否か（上記の場合前方にあるか否か）を判別することで、より精度良く判別することができる。さらに、判別部３２ｃは、第１及び第２の連結成分２０ａ、２０ｂに外接する長方形を用いて、この外接する長方形の中心点を重心として用いても良い。また、上記の例を組み合わせて使用されても良く、これに限定されない。
【００３３】
また、判別部３２ｃは、腕２ａ及び２ｂの肘の部分を判別し、肘の位置によってスイッチ部４１を操作者を判別するようにしても良い。これらの判別方法は、スイッチ部４１がアームレスト１３側に無いときにおいても有効であることは言うまでもない。
【００３４】
判別部３２ｃは、上記した判別のための処理を行い、第２の連結成分２０ｂが、面積も大きく、重心が同乗者２Ｂ側にあることから、同乗者２Ｂの腕２ｂであると判別し、同乗者２Ｂがスイッチ部４１を操作する操作者であると判別する。
【００３５】
画像処理部３２は、上記の処理に基づいて操作者を同乗者２Ｂと判別したのち、カーナビゲーション部４を制御して、同乗者２Ｂに許された操作メニューを表示部４０に表示させる。
【００３６】
なお、上記した例では、アームレスト１３にパターン１３０を設けた場合について説明したが、アームレスト１３にパターン１３３又は１３８を設けた場合、パターン１３３及び１３８は、操作者の腕の特徴と大きく異なるので、操作者の腕を同乗者２Ｂであると精度良く判別することができる。
【００３７】
（効果）
上記した実施の形態によると、操作者判別装置３は、腕２ａ及び２ｂとは、容易に判別が可能な特徴を有するパターン１３０をアームレスト１３に設けることによって、操作者の腕が、運転者２Ａの腕２ａなのか、同乗者２Ｂの腕２ｂなのかを、簡単なアルゴリズムによって判別することができるので、操作者判別装置３を小型で安価なコンピュータによって構成することができる。また、小型で安価なコンピュータを用いることができるので、省スペース及び省コストである。
【００３８】
なお、本発明は、上記した実施の形態に限定されず、本発明の技術思想を逸脱あるいは変更しない範囲内で種々の変形が可能である。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態に係る操作者判別装置を搭載した車両の概略図である。
【図２】本発明の実施の形態に係る操作者判別装置のブロック図である。
【図３】本発明の実施の形態に係る車両内部の上方図である。
【図４】（ａ）は、本発明の実施の形態に係るアームレストの概略図であり、（ｂ）は、本発明の実施の形態に係る基本パターンの拡大図である。
【図５】（ａ）及び（ｂ）は、本発明の実施の形態に係るパターンの変形例を示す概略図である。
【図６】（ａ）は、本発明の実施の形態に係る撮像されたアームレスト近傍の画像の概略図であり、（ｂ）は、本発明の実施の形態に係るパターンに基づいた２値画像である。
【図７】本発明の実施の形態に係るフローチャートである。
【符号の説明】
【００４０】
１…車両
２Ａ…運転者
２Ｂ…同乗者
２ａ…腕
２ｂ…腕
３…操作者判別装置
４…カーナビゲーション部
１０…車両本体
１１…運転者座席
１２…同乗者座席
１３…アームレスト
２０ａ…第１の連結成分
２０ｂ…第２の連結成分
３０…照明部
３０ａ…近赤外線
３１…近赤外線カメラ
３２…画像処理部
３２ａ…検出部
３２ｂ…２値化処理部
３２ｃ…判別部
４０…表示部
４１…スイッチ部
１３０…パターン
１３１…基本パターン
１３１ａ…第１の領域
１３１ｂ…第２の領域
１３２…中心線
１３３…パターン
１３４…第１の基本パターン
１３５…第２の基本パターン
１３６…低解像度領域
１３７…高解像度領域
１３８…パターン
３００…画像
３０１…２値画像
３０２…ブロック
【図１】
2009220724.tif 000003
【図２】
2009220724.tif 000004
【図３】
2009220724.tif 000005
【図４】
2009220724.tif 000006
【図５】
2009220724.tif 000007
【図６】
2009220724.tif 000008
【図７】
2009220724.tif 000009