(57)【要約】【課題】操作者の腕を示す近似直線を正確に抽出し、その近似直線の向きによって操作者を判別することができる操作者判別装置及び操作者判別方法を提供する。【解決手段】操作者判別装置３の微分処理部３３は、画像データに基づいて微分処理を行ってｘ軸方向微分画像及びｙ軸方向微分画像を作成する。算出部３４は、スイッチ部４１の中心を座標原点とする第１の極座標系を設定し、ｘ軸方向微分画像及びｙ軸方向微分画像に基づいて角度方向微分及び動径方向微分を算出する。２値画像作成部３５は、角度方向微分及び前記動径方向微分に基づいて２値画像を作成する。抽出部３６は、２値画像に基づいて第１及び第２の直線２２、２３を抽出し、ひじ中心２４を検出したのち、上記処理を繰り返し、第３及び第４の直線２５、２６を抽出する。判別部３７は、第３及び第４の直線２５、２６の向きに基づいて操作者を判別する。【選択図】図７
2009294843.tif 000002
【特許請求の範囲】
【請求項１】
運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の腕を撮像する撮像部と、
前記撮像部から出力された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理部と、
前記操作部を座標原点とする第１の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第１の角度方向微分及び第１の動径方向微分を算出する算出部と、
算出された前記第１の角度方向微分、前記第１の動径方向微分、及び第１の条件に基づいて第１の２値画像を作成する２値画像作成部と、
前記第１の２値画像に基づいて第１の間隔を有して略平行な直線となる第１及び第２の直線を抽出する抽出部と、
抽出された前記第１及び第２の直線に基づいて前記操作者を判別する判別部と、
を備えたことを特徴とする操作者判別装置。
【請求項２】
前記撮像部は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラであることを特徴とする請求項１に記載の操作者判別装置。
【請求項３】
前記２値画像作成部は、前記第１の条件として前記第１の角度方向微分の絶対値が第１の値以上、かつ前記第１の角度方向微分と前記第１の動径方向微分の比の絶対値が第２の値以上である点を抽出して、前記第１の２値画像を作成することを特徴とする請求項１に記載の操作者判別装置。
【請求項４】
前記抽出部は、前記第１及び第２の直線を抽出したのち、さらに前記操作部及び前記第１及び第２の直線に基づいて前記操作者のひじ中心を検出し、
前記算出部は、前記ひじ中心を座標原点とする第２の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第２の角度方向微分及び第２の動径方向微分を算出し、
前記２値画像作成部は、算出された前記第２の角度方向微分、前記第２の動径方向微分、及び第２の条件に基づいて第２の２値画像を作成し、
前記抽出部は、前記第２の２値画像に基づいて第２の間隔を有して略平行な直線となる第３及び第４の直線を抽出し、
前記判別部は、抽出された前記第３及び第４の直線に基づいて前記操作者を判別することを特徴とする請求項３に記載の操作者判別装置。
【請求項５】
前記２値画像作成部は、前記第２の条件として前記第２の角度方向微分の絶対値が第３の値以上、かつ前記第２の角度方向微分と前記第２の動径方向微分の比の絶対値が第４の値以上である点を抽出して、前記第２の２値画像を作成することを特徴とする請求項４に記載の操作者判別装置。
【請求項６】
前記抽出部は、Ｈｏｕｇｈ変換によって前記略平行な直線となる前記第１及び第２の直線、及び前記第３及び第４の直線を抽出することを特徴とする請求項５に記載の操作者判別装置。
【請求項７】
運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の腕を撮像する撮像部と、
前記撮像部から出力された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理部と、
前記操作部を座標原点とする第１の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第１の角度方向微分及び第１の動径方向微分を算出する算出部と、
算出された前記第１の角度方向微分、前記第１の動径方向微分、及び第１の条件に基づいて第１の２値画像を作成する２値画像作成部と、
前記第１の２値画像に基づいて第１の間隔を有して略平行な直線となる第１及び第２の直線を抽出したのち、さらに前記操作部及び前記第１及び第２の直線に基づいて前記操作者のひじ中心を検出する抽出部と、
前記操作者を判別する判別部と、
を備え、
前記算出部は、検出された前記ひじ中心を座標原点とする第２の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第２の角度方向微分及び第２の動径方向微分を算出し、
前記２値画像作成部は、算出された前記第２の角度方向微分、前記第２の動径方向微分、及び第２の条件に基づいて第２の２値画像を作成し、
前記抽出部は、前記第２の２値画像に基づいて第２の間隔を有して略平行な直線となる第３及び第４の直線を抽出し、
前記判別部は、抽出された前記第３及び第４の直線に基づいて前記操作者を判別することを特徴とする操作者判別装置。
【請求項８】
前記２値画像作成部は、前記第１の条件として前記第１の角度方向微分の絶対値が第１の値以上、かつ前記第１の角度方向微分と前記第１の動径方向微分の比の絶対値が第２の値以上である点を抽出して、前記第１の２値画像を作成し、さらに、前記第２の条件として前記第２の角度方向微分の絶対値が第３の値以上、かつ前記第２の角度方向微分と前記第２の動径方向微分の比の絶対値が第４の値以上である点を抽出して、前記第２の２値画像を作成することを特徴とする請求項７に記載の操作者判別装置。
【請求項９】
運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の腕を撮像する撮像ステップと、
前記撮像ステップによって撮像された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理ステップと、
前記操作部を座標原点とする第１の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第１の角度方向微分及び第１の動径方向微分を算出する第１の算出ステップと、
算出された前記第１の角度方向微分、前記第１の動径方向微分、及び第１の条件に基づいて第１の２値画像を作成する第１の２値画像作成ステップと、
前記第１の２値画像に基づいて第１の間隔を有して略平行な直線となる第１及び第２の直線を抽出したのち、さらに前記操作部及び前記第１及び第２の直線に基づいて前記操作者のひじ中心を検出する第１の抽出ステップと、
前記ひじ中心を座標原点とする第２の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第２の角度方向微分及び第２の動径方向微分を算出する第２の算出ステップと、
算出された前記第２の角度方向微分、前記第２の動径方向微分、及び第２の条件に基づいて第２の２値画像を作成する第２の２値画像作成ステップと、
前記第２の２値画像に基づいて第２の間隔を有して略平行な直線となる第３及び第４の直線を抽出する第２の抽出ステップと、
抽出された前記第３及び第４の直線に基づいて前記操作者を判別する判別ステップと、
を備えたことを特徴とする操作者判別方法。
【請求項１０】
前記第１の２値画像作成ステップは、前記第１の条件として前記第１の角度方向微分の絶対値が第１の値以上、かつ前記第１の角度方向微分と前記第１の動径方向微分の比の絶対値が第２の値以上である点を抽出して、前記第１の２値画像を作成し、
前記第２の２値画像作成ステップは、前記第２の条件として前記第２の角度方向微分の絶対値が第３の値以上、かつ前記第２の角度方向微分と前記第２の動径方向微分の比の絶対値が第４の値以上である点を抽出して、前記第２の２値画像を作成することを特徴とする請求項９に記載の操作者判別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作者判別装置及び操作者判別方法に関する。
【背景技術】
【０００２】
従来の技術として、車両の運転者座席と助手席の前方に設けられ、車載装置の操作項目を表示する表示操作部と、表示操作部と表示操作部へ伸ばされた運転者の左手、及び助手席着座者の右手を共に視野にいれて撮像可能に車両中心線上である運転者座席と助手席の中心に設けられた遠赤外線カメラと、遠赤外線カメラで撮像した画像データを処理して操作者を判別する画像処理部と、を備えた操作者判別装置が知られている（例えば、特許文献１参照）。
【０００３】
この操作者判別装置によれば、画像データから抽出された操作者の手の重心が、画像内に設定された基準線の左側領域にあるか右側領域にあるかによって操作者を判別し、その判別結果と車両の走行状態に基づいて表示操作部に表示された操作項目の許可範囲を制限することができる。
【特許文献１】特開２００４−０６７０３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし従来の操作者判別装置では、従来の操作者判別装置に用いる遠赤外線カメラは高価で入手しにくいという問題があった。
【０００５】
また、従来の操作者判別装置は、遠赤外線カメラを用いた場合、熱い飲料の入った容器、高温の電子機器、直射日光によって熱せられた物体などの、高温の物体が表示操作部の近傍に存在するとき、操作者の判別精度が低下する可能性があった。
【０００６】
さらに、従来の操作者判別装置は、実際に車載装置の操作をしない乗員の腕が操作者の腕と重なっているとき、操作者の判別精度が低下するという問題があった。
【０００７】
従って本発明の目的は、操作者の腕を示す近似直線を正確に抽出し、その近似直線の向きによって操作者を判別することができる操作者判別装置及び操作者判別方法を提供することにある。
【課題を解決するための手段】
【０００８】
（１）本発明は上記目的を達成するため、運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の腕を撮像する撮像部と、前記撮像部から出力された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理部と、前記操作部を座標原点とする第１の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第１の角度方向微分及び第１の動径方向微分を算出する算出部と、算出された前記第１の角度方向微分、前記第１の動径方向微分、及び第１の条件に基づいて第１の２値画像を作成する２値画像作成部と、前記第１の２値画像に基づいて第１の間隔を有して略平行な直線となる第１及び第２の直線を抽出する抽出部と、抽出された前記第１及び第２の直線に基づいて前記操作者を判別する判別部と、を備えたことを特徴とする操作者判別装置を提供する。
【０００９】
（２）本発明は上記目的を達成するため、前記撮像部は、ＣＣＤカメラ又はＣＭＯＳカメラであることを特徴とする前記（１）に記載の操作者判別装置を提供する。
【００１０】
（３）本発明は上記目的を達成するため、前記２値画像作成部は、前記第１の条件として前記第１の角度方向微分の絶対値が第１の値以上、かつ前記第１の角度方向微分と前記第１の動径方向微分の比の絶対値が第２の値以上である点を抽出して、前記第１の２値画像を作成することを特徴とする前記（１）に記載の操作者判別装置を提供する。
【００１１】
（４）本発明は上記目的を達成するため、前記抽出部は、前記第１及び第２の直線を抽出したのち、さらに前記操作部及び前記第１及び第２の直線に基づいて前記操作者のひじ中心を検出し、前記算出部は、前記ひじ中心を座標原点とする第２の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第２の角度方向微分及び第２の動径方向微分を算出し、前記２値画像作成部は、算出された前記第２の角度方向微分、前記第２の動径方向微分、及び第２の条件に基づいて第２の２値画像を作成し、前記抽出部は、前記第２の２値画像に基づいて第２の間隔を有して略平行な直線となる第３及び第４の直線を抽出し、前記判別部は、抽出された前記第３及び第４の直線に基づいて前記操作者を判別することを特徴とする前記（３）に記載の操作者判別装置を提供する。
【００１２】
（５）本発明は上記目的を達成するため、前記２値画像作成部は、前記第２の条件として前記第２の角度方向微分の絶対値が第３の値以上、かつ前記第２の角度方向微分と前記第２の動径方向微分の比の絶対値が第４の値以上である点を抽出して、前記第２の２値画像を作成することを特徴とする前記（４）に記載の操作者判別装置を提供する。
【００１３】
（６）本発明は上記目的を達成するため、前記抽出部は、Ｈｏｕｇｈ変換によって前記略平行な直線となる前記第１及び第２の直線、及び前記第３及び第４の直線を抽出することを特徴とする前記（５）に記載の操作者判別装置を提供する。
【００１４】
（７）本発明は上記目的を達成するため、運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の腕を撮像する撮像部と、前記撮像部から出力された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理部と、前記操作部を座標原点とする第１の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第１の角度方向微分及び第１の動径方向微分を算出する算出部と、算出された前記第１の角度方向微分、前記第１の動径方向微分、及び第１の条件に基づいて第１の２値画像を作成する２値画像作成部と、前記第１の２値画像に基づいて第１の間隔を有して略平行な直線となる第１及び第２の直線を抽出したのち、さらに前記操作部及び前記第１及び第２の直線に基づいて前記操作者のひじ中心を検出する抽出部と、前記操作者を判別する判別部と、を備え、前記算出部は、検出された前記ひじ中心を座標原点とする第２の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第２の角度方向微分及び第２の動径方向微分を算出し、前記２値画像作成部は、算出された前記第２の角度方向微分、前記第２の動径方向微分、及び第２の条件に基づいて第２の２値画像を作成し、前記抽出部は、前記第２の２値画像に基づいて第２の間隔を有して略平行な直線となる第３及び第４の直線を抽出し、前記判別部は、抽出された前記第３及び第４の直線に基づいて前記操作者を判別することを特徴とする操作者判別装置を提供する。
【００１５】
（８）本発明は上記目的を達成するため、前記２値画像作成部は、前記第１の条件として前記第１の角度方向微分の絶対値が第１の値以上、かつ前記第１の角度方向微分と前記第１の動径方向微分の比の絶対値が第２の値以上である点を抽出して、前記第１の２値画像を作成し、さらに、前記第２の条件として前記第２の角度方向微分の絶対値が第３の値以上、かつ前記第２の角度方向微分と前記第２の動径方向微分の比の絶対値が第４の値以上である点を抽出して、前記第２の２値画像を作成することを特徴とする請求項７に記載の操作者判別装置を提供する。
【００１６】
（９）本発明は上記目的を達成するため、運転者及び同乗者から操作可能に設けられた車載装置の操作部を操作する操作者の腕を撮像する撮像ステップと、前記撮像ステップによって撮像された画像データに基づいて微分処理を行って水平方向微分画像及び垂直方向微分画像を作成する微分処理ステップと、前記操作部を座標原点とする第１の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第１の角度方向微分及び第１の動径方向微分を算出する第１の算出ステップと、算出された前記第１の角度方向微分、前記第１の動径方向微分、及び第１の条件に基づいて第１の２値画像を作成する第１の２値画像作成ステップと、前記第１の２値画像に基づいて第１の間隔を有して略平行な直線となる第１及び第２の直線を抽出したのち、さらに前記操作部及び前記第１及び第２の直線に基づいて前記操作者のひじ中心を検出する第１の抽出ステップと、前記ひじ中心を座標原点とする第２の極座標系を設定し、前記水平方向微分画像及び前記垂直方向微分画像に基づいて第２の角度方向微分及び第２の動径方向微分を算出する第２の算出ステップと、算出された前記第２の角度方向微分、前記第２の動径方向微分、及び第２の条件に基づいて第２の２値画像を作成する第２の２値画像作成ステップと、前記第２の２値画像に基づいて第２の間隔を有して略平行な直線となる第３及び第４の直線を抽出する第２の抽出ステップと、抽出された前記第３及び第４の直線に基づいて前記操作者を判別する判別ステップと、を備えたことを特徴とする操作者判別方法を提供する。
【００１７】
（１０）本発明は上記目的を達成するため、前記第１の２値画像作成ステップは、前記第１の条件として前記第１の角度方向微分の絶対値が第１の値以上、かつ前記第１の角度方向微分と前記第１の動径方向微分の比の絶対値が第２の値以上である点を抽出して、前記第１の２値画像を作成し、前記第２の２値画像作成ステップは、前記第２の条件として前記第２の角度方向微分の絶対値が第３の値以上、かつ前記第２の角度方向微分と前記第２の動径方向微分の比の絶対値が第４の値以上である点を抽出して、前記第２の２値画像を作成することを特徴とする請求項９に記載の操作者判別方法を提供する。
【発明の効果】
【００１８】
このような構成によれば、操作者の腕を示す近似直線を正確に抽出し、その近似直線の向きによって操作者を判別することができる。
【発明を実施するための最良の形態】
【００１９】
以下に、本発明の操作者判別装置及び操作者判別方法の実施の形態を図面を参考にして詳細に説明する。
【００２０】
[実施の形態]
（車両１の構成）
図１は、本発明の実施の形態に係る操作者判別装置を搭載した車両の概略図である。本実施の形態における操作者判別装置は、車両１に搭載され、一例として、後述する車載装置としてのカーナビゲーション部のスイッチ部４１を操作する操作者の判別を行うものとする。なお、本実施の形態においてカーナビゲーション部を例にとって説明するが、これに限定されず、カーオーディオ等の電子機器に適用されても良い。また、表示部４０を運転者２側及び同乗者側の２画面に分け、それぞれに異なる操作メニューを表示し、スイッチ部４１を操作する操作者を判別することによって、判別された操作者側の画面に表示された操作メニューのみを操作可能にするようにしても良く、これに限定されない。ここで同乗者とは、運転者２の隣に着座する者を指すものとする。
【００２１】
車両１は、エンジン及び各種電子機器（図示せず）を搭載する車両本体１０と、運転者２が着座する運転者座席１１と、運転者座席１１と後述する同乗者座席との間に設けられたアームレスト１３と、アームレスト１３に対向する車両本体１０の天井部に設けられ、操作者の腕を介してアームレスト１３近傍を撮像するＣＣＤ（Charge Coupled Device）カメラ（撮像部）３１と、画像や操作メニュー等を表示する後述するカーナビゲーション部の表示部４０と、アームレスト１３の前方に設けられたカーナビゲーション部の操作部であるスイッチ部（操作部）４１と、を備えて概略構成されている。なお、スイッチ部４１の位置は、これに限定されず、表示部４０の近傍に設置、又はタッチパネル式の表示部としても良く、また、ＣＣＤカメラ３１の撮像範囲に含まれていなくても良い。
【００２２】
（操作者判別装置３の構成）
図２は、本発明の実施の形態に係る操作者判別装置のブロック図であり、図３は、本発明の実施の形態に係る車両内部の上方図であり、図４は、本発明の実施の形態に係るＣＣＤカメラによって撮像された画像の概略図であり、図５（ａ）及び（ｂ）は、本発明の実施の形態に係るＳｏｂｅｌフィルタの概略図である。車両１には、図３に示すように、同乗者５が同乗者座席１２に着座しているものとする。
【００２３】
図４に示す画像６において、左上をｘ―ｙ座標系の座標原点とし、ｘ軸は右側が正、ｙ軸は下側が正であるものとし、画像６を構成する画素数に基づいてｘ―ｙ座標は定められている。すなわちｘ―ｙ座標系における座標（ｘ、ｙ）において（１、１）とは、１行１列目の画素を指すものとし、（１、２）とは、１行２列目の画素を指すものとする。
【００２４】
操作者判別装置３は、ＣＣＤカメラ３１と、ＣＣＤカメラ３１によって撮像された画像６の画像データを解析して操作者を判別し、カーナビゲーション部４に接続された画像処理部３２と、を備えて構成されている。
【００２５】
（画像６の構成）
画像６は、ＣＣＤカメラ３１によって撮像された画像データに基づいて作成されるため、複数の画素の集まりによって構成され、画素は、撮像した撮像対象の対応する領域の輝度値を有している。
【００２６】
画像処理部３２は、さらに、微分処理部３３と、算出部３４と、２値画像作成部３５と、抽出部３６と、判別部３７とを備えて構成されている。
【００２７】
（微分処理部３３について）
続いて画像処理部３２を構成する各部の機能について詳細に説明する。まず、微分処理部３３は、一例として、Ｓｏｂｅｌフィルタ又はＰｒｅｗｉｔｔフィルタ等の一次微分によるエッジ検出が行えるフィルタを用いて、ｘ軸方向微分画像及びｙ軸方向微分画像を算出する。
【００２８】
本実施の形態における微分処理部３３は、一例としてＳｏｂｅｌフィルタによってｘ軸方向（水平方向）及びｙ軸方向（垂直方向）の微分処理を行う。
【００２９】
微分処理とは、ｘ軸方向微分画像を算出するとき、図５（ａ）に示すｘ軸方向フィルタ３３０に基づいて画像６の各画素に対して演算を行うことであり、ｙ軸方向微分画像を算出するとき、図５（ｂ）に示すｙ軸方向フィルタ３３１に基づいて画像６の各画素に対して演算を行うことである。
【００３０】
本来画素は、輝度値しか持っていない。しかし、微分処理部３３によってｘ軸方向及びｙ軸方向の微分処理を行うことによって、画素に後述する（Ｉｘ、Ｉｙ）という２つの値を持たせることができる。なお、（Ｉｘ、Ｉｙ）は、座標（ｘ、ｙ）によって指定される画素のｘ軸方向微分画像及びｙ軸方向微分画像の値であり、ｘ−ｙ方向画素微分値（Ｉｘ、Ｉｙ）と呼ぶものとする。
【００３１】
（算出部３４について）
算出部３４は、ｘ−ｙ座標系において、スイッチ部４１の中心に対応する画素の座標（ｘ’、ｙ’）を中心として、図４に示す第１の極座標系（ｒ、θ）を画像６に設定する。なお、ｒは、座標（ｘ、ｙ）及び（ｘ’、ｙ’）の２点間の距離を示すものであり、θは、図４に示す直線ｙ＝ｙ’からの角度を示すものとする。
【００３２】
このとき算出部３４は、ｘ−ｙ座標系における座標（ｘ、ｙ）の地点での動径方向微分Ｉｒ（第１の動径方向微分）及び角度方向微分Ｉθ（第１の角度方向微分）を、ｘ−ｙ座標系における第１の極座標系の原点の座標（ｘ’、ｙ’）と、座標（ｘ、ｙ）でのｘ−ｙ方向画素微分値（Ｉｘ、Ｉｙ）を用いて以下のように算出する。
【数１】
2009294843.tif 000003
【数２】
2009294843.tif 000004
ただし、
【数３】
2009294843.tif 000005
なお、（数２）における角度方向微分Ｉθは、距離ｒが大きくなる程、角度方向微分Ｉθの値が大きくなる傾向があることから、後述するエッジの抽出が正確に行えないので、右辺を距離ｒで割っている。
【００３３】
なお、算出部３４は、処理の負荷を軽減するため、図４に示すように、例えば、画像６内における半径Ｒの円内を処理の対象とする。半径Ｒは、後述する前腕部２０の長さＬに基づいて設定され、半径Ｒは、一例として長さＬよりも少し大きい値となる。
【００３４】
また算出部３４は、ｘ−ｙ座標系において、後述する操作者のひじの中心に対応する画素の座標（ｘ’’、ｙ’’）を中心として、後述する図８に示す第２の極座標系（ｒ’、θ’）を画像６に設定する。なお、ｒ’は、座標（ｘ、ｙ）及び（ｘ’’、ｙ’’）の２点間の距離を示すものであり、θ’は、図８に示す直線ｙ＝ｙ’’から時計回りに回ったときの角度を示すものとする。
【００３５】
このとき算出部３４は、ｘ−ｙ座標系における座標（ｘ、ｙ）の地点での動径方向微分Ｉｒ’（第２の動径方向微分）及び角度方向微分Ｉθ’（第２の角度方向微分）を、後述する第２の極座標系の原点の座標（ｘ’’、ｙ’’）と、座標（ｘ、ｙ）でのｘ−ｙ方向画素微分値（Ｉｘ、Ｉｙ）を用いて以下のように算出する。
【数４】
2009294843.tif 000006
【数５】
2009294843.tif 000007
ただし、
【数６】
2009294843.tif 000008
なお、（数５）における角度方向微分Ｉθ’は、（数２）と同様の理由により、右辺を距離ｒ’で割っている。
【００３６】
また、算出部３４は、前腕部２０を上腕部２１と誤検出することを避けるため、図８に示すように、例えば、画像６内における半径Ｒ’の半円を処理の対象とする。半径Ｒ’は、統計的に知られている上腕部２１の長さに基づいて設定され、一例として統計的に知られている上腕部２１の長さよりも少し大きい値とする。また、半円の方向は、後述する抽出部３６において検出された第１及び第２の前腕部エッジ２０ａ、２０ｂの方向を中心に±９０°とする。
【００３７】
（２値画像作成部３５について）
図６は、本発明の実施の形態に係る第１の２値画像の概略図である。なお、点線で表す消失エッジ７０は、実際には２値画像７に表示されない部分である。また、図６、及び後述する図７、図８において白色及び黒色の２色によって２値画像を表すが、抽出されたエッジ（抽出エッジ７１）を黒色で表し、図４に示した半円Ｒを図示している。
【００３８】
２値画像作成部３５は、算出部３４によって算出された動径方向微分Ｉｒと角度方向微分Ｉθに基づいて２値画像（第１の２値画像）７を作成する。
【００３９】
２値画像作成部３５における２値画像７の作成は、第１の条件として座標（ｘ、ｙ）における角度方向微分Ｉθの絶対値が第１の値Ｃ１以上で、かつ角度方向微分Ｉθと動径方向微分Ｉｒの比の絶対値が第２の値Ｃ２以上になる座標（ｘ、ｙ）を抽出することによって行われる。なお、Ｉｒ及びＩθが負の値も取り得るので、２値画像作成部３５は、角度方向微分Ｉθ、及び角度方向微分Ｉθと動径方向微分Ｉｒの比の絶対値を算出するものとする。
【００４０】
座標（ｘ、ｙ）における角度方向微分Ｉθと動径方向微分Ｉｒの比の絶対値が第２の値Ｃ２以上とは、操作者がスイッチ部４１を操作するとき、腕の縁辺がスイッチ部４１を通る直線に近いものとなることによっている。すなわち、２値画像作成部３５は、角度方向と直交する動径方向のエッジを抽出し、抽出されたエッジの中でも大きい値を取る点（座標）を上記の条件に基づいてさらに絞って抽出することで、より操作者の腕のエッジの候補となる点を抽出することができる。
【００４１】
通常、操作者の腕は、画像６のｘ−ｙ座標系のｘ軸、ｙ軸に平行、又は所定の角度に固定されたものではなく、連続的に変位している。従来、画像６から腕のエッジを抽出するとき、ある方向に固定したフィルタを用いて抽出を行っていた。
【００４２】
しかし、従来の抽出方法では、操作者の腕が設定したフィルタの角度から変位するとき、抽出されるエッジ強度が弱くなるという問題があった。
【００４３】
本実施の形態における２値画像作成部３５は、ｘ軸方向及びｙ軸方向の微分処理によって算出されたｘ−ｙ方向画素微分値（Ｉｘ、Ｉｙ）を用いて、極座標系におけるエッジの抽出を行うことにより、常に腕に略平行（動径方向ｒ）なエッジの抽出を行うことができるので、エッジ強度の強いエッジを抽出することができる。
【００４４】
２値画像作成部３５は、上記の処理を行い、抽出されたか否かに基づいて画像６から２値画像７を作成する。
【００４５】
ここで消失エッジ７０とは、上記の処理によって抽出されなかったエッジを示している。
【００４６】
また２値画像作成部３５は、算出部３４によって算出された動径方向微分Ｉｒ’と角度方向微分Ｉθ’に基づいて上腕部２１のエッジを抽出するため、後述する２値画像７ｂを作成する。
【００４７】
２値画像作成部３５における２値画像７ｂの作成は、第２の条件として座標（ｘ、ｙ）における角度方向微分Ｉθ’の絶対値が第３の値Ｃ３以上で、かつ角度方向微分Ｉθ’と動径方向微分Ｉｒ’の比の絶対値が第４の値Ｃ４以上になる座標（ｘ、ｙ）を抽出することによって行われる。なお、Ｉｒ’及びＩθ’が負の値も取り得るので、２値画像作成部３５は、角度方向微分Ｉθ’、及び角度方向微分Ｉθ’と動径方向微分Ｉｒ’の比の絶対値を算出するものとする。なお、処理範囲は、上記した理由により、図８に示す半円内とする。
【００４８】
（抽出部３６について）
図７は、本発明の実施の形態に係る前腕部のエッジの抽出に関する概略図であり、図８は、本発明の実施の形態に係る上腕部のエッジの抽出に関する概略図である。図７に示す２値画像７ａは、図６に示す角度方向微分Ｉθと動径方向微分Ｉｒに基づいて算出された２値画像（第１の２値画像）７の同乗者５の腕近傍を拡大表示したものであり、図８に示す２値画像（第２の２値画像）７ｂは、動径方向微分Ｉｒ’と角度方向微分Ｉθ’に基づいて算出された２値画像における同乗者５の腕近傍を拡大表示したものである。なお、２値画像７ａ、７ｂに示す消失エッジ７０は、実際には表示されないものとする。
【００４９】
図７及び８に示す２値画像７ａ、７ｂには、同乗者５の前腕部２０の縁辺のエッジを示す第１及び第２の前腕部エッジ２０ａ、２０ｂ、及び上腕部２１の縁辺のエッジを示す第１及び第２の上腕部エッジ２１ａ、２１ｂが抽出されている。図８には、ひじ中心２４を中心とする第２の極座標系ｒ’−θ’が設定されており、また、ひじ中心２４のｘ−ｙ座標系における座標（ｘ’’、ｙ’’）が図示されている。なお、ｒ’は、座標（ｘ、ｙ）及び（ｘ’’、ｙ’’）の２点間の距離を示すものであり、θ’は、図８に示す直線ｙ＝ｙ’’からの角度を示すものとする。
【００５０】
通常、上記した２値画像作成部３５による処理を経てもなお、図６に示すように、操作者の腕以外のエッジも抽出される。
【００５１】
そこで抽出部３６は、一例として直線の抽出を行うＨｏｕｇｈ変換を２値画像７に行うことによって、操作者の腕のエッジとして確からしい直線の抽出を行う。
【００５２】
Ｈｏｕｇｈ変換とは、２値画像上の直線らしい点の集合を抽出する処理である。Ｈｏｕｇｈ変換では、直線は、一般に碁盤目状に分割された２次元のパラメータ空間（ρ、φ）（Ｈｏｕｇｈ空間と呼ばれる）上の点として表現される。
【００５３】
パラメータ空間の各マスは、向きや距離が互いに近い直線の集合（便宜上、”直線族”と呼ぶことにする）に対応する。
【００５４】
Ｈｏｕｇｈ変換の直線抽出処理では、２値画像の輝度”１”なる各点に対し、この点を通る直線群を考え、直線群の各直線（等角度刻みでサンプルする）をパラメータの組（ρ、φ）で表現し、このパラメータの組（ρ、φ）が属するマスに対し、１票を投票する。
【００５５】
多くの票を獲得したマスは、２値画像の”１”なる点がこのマスに対応する直線族に属する直線に多く乗っていたことになり、２値画像で強い直線特徴を有していたことを示す。すなわち、多くの票を獲得したマスを抽出すれば、２値画像での直線を抽出したことになる。
【００５６】
また、本実施の形態においては、第１のＨｏｕｇｈ変換のパラメータの組（ρ１、φ１）は（ｘ’、ｙ’）を中心とする座標系で算出する。すなわち、ρ１は点（ｘ’、ｙ’）からの直線の距離、φ１は点（ｘ’、ｙ’）から直線に引いた垂線の偏角とする。
【００５７】
また、本実施の形態においては、ρ１に負の値を許し、代わりにφ１の値を−９０°≦φ１＜９０°に限定する。
【００５８】
すなわち、本実施の形態における第１のＨｏｕｇｈ変換のパラメータの組（ρ１、φ１）と、点（ｘ’、ｙ’）を中心とする座標系における通常のＨｏｕｇｈ変換におけるパラメータの組（ρ１０、φ１０）との関係は次式のようになる。
【数７】
2009294843.tif 000009
【数８】
2009294843.tif 000010
【００５９】
なお、抽出部３６は、２値画像を算出した点、すなわち、図４に示す半径Ｒの円内に含まれる点のみを処理の対象とする。
【００６０】
本実施の形態においては、一例として、図７に示す前腕部２０の幅Ｗ及び前腕部２０の長さＬを統計情報等に基づいて設定し、スイッチ部４１に設定された座標原点から距離ｒ１（第１の間隔）以内の直線のみを抽出する。
【００６１】
すなわち、Ｈｏｕｇｈ変換において｜ρ１｜≦ｒ１なるマスにのみ投票を行う。なお、ｒ１の値は、幅Ｗの値に応じて設定し、一例として幅Ｗに等しく設定する。
【００６２】
また、Ｈｏｕｇｈ変換のマス目は、ρ１方向については前腕部２０の幅Ｗのばらつきを、φ１方向については前腕部２０のエッジの向きのばらつきを考慮して決める。例えば、ρ１方向のマス目幅＝Ｗ／２、φ１方向のマス目幅＝１０°とする。
【００６３】
さらに、Ｈｏｕｇｈ変換後、Ｈｏｕｇｈ空間におけるマス（ρ１、φ１）に対する投票数をＶ（ρ１、φ１）として、次の和Ｓ（ρ１、φ１）を算出する。
【数９】
2009294843.tif 000011
【００６４】
Ｓ（ρ１、φ１）が、一定のしきい値よりも大きいとき、平行な２直線が検出されたと考えられる。平行な２直線は前腕部２０の両エッジに対応する。一定のしきい値よりも大きいＳ（ρ１、φ１）が複数存在するとき、最もＳの値が大きい（ρ１、φ１）を、前腕部２０の両エッジを表す平行な２直線に対応するパラメータとする。このとき、φ１＋９０°の方向が前腕部２０の方向に対応する。このようにして得られた（ρ１、φ１）に対応する直線は、図７に示す第１の直線２２であり、（ρ１＋Ｗ、φ１）に対応する直線は、図７に示す第２の直線２３である。
【００６５】
平行な２直線が検出されたとき、このときのρ１、φ１の値及び幅Ｗ、長さＬの値より、ひじ中心２４のｘ−ｙ座標における座標（ｘ’’、ｙ’’）を以下のように算出する。
【数１０】
2009294843.tif 000012
【数１１】
2009294843.tif 000013
【００６６】
なお、（数１０）及び（数１１）では腕の長さとしてＬを用いてｘ’’、ｙ’’を算出したが、Ｈｏｕｇｈ空間の各マスに属する点の座標（ｘ、ｙ）を記録しておき、これを利用して、検出した腕のエッジの直線に属する点の情報を用いて腕の長さＬ’を決め、（数１０）及び（数１１）でＬの代わりにＬ’を用いてｘ’’、ｙ’’を算出しても良い。また、時間的に連続した画像であることから、１フレーム前の情報と大きく異ならないことを利用しても良く、腕の長さの求め方はこれに限定されない。
【００６７】
また抽出部３６は、ひじ中心２４を座標原点として第２のＨｏｕｇｈ変換を行う。第２のＨｏｕｇｈ変換のパラメータの組（ρ２、φ２）は、（ｘ’’、ｙ’’）を中心とする座標系で算出する。
【００６８】
すなわち、ρ２は点（ｘ’’、ｙ’’）からの直線の距離、φ２は点（ｘ’’、ｙ’’）から直線に引いた垂線の偏角とする。また本実施の形態においてρ２に負の値を許し、代わりにφ２の値を−９０°≦φ２＜９０°に限定する。
【００６９】
すなわち、本実施の形態における第２のＨｏｕｇｈ変換のパラメータの組（ρ２、φ２）と、点（ｘ’’、ｙ’’）を中心とする座標系における通常のＨｏｕｇｈ変換におけるパラメータの組（ρ２０、φ２０）との関係は次式のようになる。
【数１２】
2009294843.tif 000014
【数１３】
2009294843.tif 000015
【００７０】
一例として図８に示す上腕部２１の幅Ｗ’を統計情報等に基づいて設定し、ひじ中心２４に設定された座標原点から距離ｒ２（第２の間隔）以内の直線のみを抽出する。
【００７１】
すなわち、Ｈｏｕｇｈ変換において｜ρ２｜≦ｒ２なるマスにのみ投票を行う。なお、ｒ２の値は、幅Ｗ’の値に応じて設定し、一例として幅Ｗ’に等しく設定する。
【００７２】
また、Ｈｏｕｇｈ変換のマス目は、ρ２方向については上腕部２１の幅Ｗ’のばらつきを、φ２方向については上腕部２１のエッジの向きのばらつきを考慮して決める。例えば、ρ２方向のマス目幅＝Ｗ’／２、φ２方向のマス目幅＝１０°とする。
【００７３】
また、抽出部３６は、２値画像を算出した点、すなわち、図８に示す半径Ｒ’の半円内に含まれる点のみを処理の対象とする。
【００７４】
抽出部３６は、上腕部２１のエッジの検出において、前腕部２０のエッジ検出時と同様に、第２のＨｏｕｇｈ変換におけるマス（ρ２、φ２）に対する投票数をＶ’（ρ２、φ２）として、次の和Ｓ’（ρ２、φ２）を算出する。
【数１４】
2009294843.tif 000016
【００７５】
Ｓ’（ρ２、φ２）が、一定のしきい値よりも大きいとき、平行な２直線が検出されたと考えられる。平行な２直線は上腕部２１の両エッジに対応する。一定のしきい値よりも大きいＳ’（ρ２、φ２）が複数存在するとき、最もＳ’の値が大きい（ρ２、φ２）を、上腕部２１の両エッジを表す平行な２直線に対応するパラメータとする。このとき、φ２＋９０°の方向が上腕部２１の方向に対応する。このようにして得られた（ρ２、φ２）に対応する直線は、図８に示す第３の直線２５であり、（ρ２＋Ｗ’、φ２）に対応する直線は、図８に示す第４の直線２６である。
【００７６】
（判別部３７について）
判別部３７は、抽出部３６によって抽出された上腕部２１を示す近似直線である第３及び第４の直線２５、２６の向きに基づいて操作者が運転者２であるのか、同乗者５であるのかを判別する。具体的には、上腕部２１の方向φ２の値が負ならば運転者２が、正ならば同乗者５が操作者であると判別する。
【００７７】
なお、判別部３７は、前腕部２０を示す近似直線である第１及び第２の直線２２、２３の向き、すなわちφ１の符号に基づいて操作者を判別しても良い。
【００７８】
（ＣＣＤカメラ３１について）
ＣＣＤカメラ３１は、安価で低解像度の固定撮像素子を有するＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラであっても良く、所定の時間間隔に基づいて車両内部を撮像するものとする。
【００７９】
（動作）
以下に、本実施の形態における操作者判別装置の動作を各図を参照し、図９のフローチャートに従って詳細に説明する。なお、撮像ステップ等で示した各ステップは、本実施の形態における操作者判別装置３の動作を実現する操作者判別方法を表している。
【００８０】
運転者２及び同乗者５が車両１に乗車し、車両１の電気系統をオン状態にすると、操作者判別装置３の画像処理部３２は、ＣＣＤカメラ３１を制御し、所定の時間間隔に基づいてアームレスト１３近傍を撮像する（Ｓ１；撮像ステップ）。
【００８１】
微分処理部３３は、ＣＣＤカメラ３１によって撮像された画像の画像データに基づいてＳｏｂｅｌフィルタを用いてｘ方向微分画像及びｙ方向微分画像を算出する（Ｓ２；微分処理ステップ）。
【００８２】
算出部３４は、スイッチ部４１の中心に対応する画素の座標（ｘ’、ｙ’）を原点として、図４に示す第１の極座標系を画像６に設定し、（数１）及び（数２）より動径方向微分Ｉｒ及び角度方向微分Ｉθを算出する（Ｓ３；第１の算出ステップ）。
【００８３】
２値画像作成部３５は、算出部３４によって算出された動径方向微分Ｉｒと角度方向微分Ｉθに基づいて座標（ｘ、ｙ）における角度方向微分Ｉθの絶対値が第１の値Ｃ１以上で、かつ角度方向微分Ｉθと動径方向微分Ｉｒの比の絶対値が第２の値Ｃ２以上になる座標（ｘ、ｙ）を抽出し、抽出された点を「１」（２値画像７、７ａ、７ｂでは反転して表示している）とみなし２値画像（第１の２値画像）７を作成する（Ｓ４；第１の２値画像作成ステップ）。
【００８４】
続いて抽出部３６は、一例として、２値画像７に対して（数７）〜（数９）を用いてＨｏｕｇｈ変換及び和Ｓの算出を行い、第１及び第２の直線２２、２３を抽出する。
【００８５】
抽出部３６は、一例として、第１及び第２の直線２２、２３を抽出したのち、（数１０）及び（数１１）に基づいてひじ中心２４を算出する（Ｓ５；第１の抽出ステップ）。
【００８６】
抽出部３６は、検出されたひじ中心２４に対応する画素の座標（ｘ’’、ｙ’’）を原点として、図８に示す第２の極座標系（ｒ’、θ’）を画像６に設定し、（数４）〜（数６）より動径方向微分Ｉｒ’及び角度方向微分Ｉθ’を算出する（Ｓ６；第２の算出ステップ）。
【００８７】
２値画像作成部３５は、算出部３４によって算出された動径方向微分Ｉｒ’と角度方向微分Ｉθ’に基づいて座標（ｘ、ｙ）における角度方向微分Ｉθ’の絶対値が第３の値Ｃ３以上で、かつ角度方向微分Ｉθ’と動径方向微分Ｉｒ’の比の絶対値が第４の値Ｃ４以上になる座標（ｘ、ｙ）を抽出し、第２の２値画像（２値画像７ｂはその一部）を作成する（Ｓ７；第２の２値画像作成ステップ）。
【００８８】
抽出部３６は、（数１２）、（数１３）及び（数１４）に基づいてＨｏｕｇｈ変換を行い、図８に示す上腕部２１のエッジを示す近似直線である第３及び第４の直線２５、２６を抽出する（Ｓ８；第２の抽出ステップ）。
【００８９】
判別部３７は、第３及び第４の直線２５、２６の向きが同乗者座席１２側であり、またアームレスト１３の中心に対して同乗者座席１２側であることから操作者を同乗者５であると判別する（Ｓ９；判別ステップ）。
【００９０】
なお判別部３７は、前腕部２０の向きによって操作者を判別するとき、検出された前腕部２０のエッジを示す近似直線である第１及び第２の直線２２、２３が、アームレスト１３の中心から運転者座席１１側にあるのか、同乗者座席１２側にあるのかによって操作者を判別しても良い。
【００９１】
画像処理部３２は、上記の処理に基づいて操作者を同乗者５と判別したのち、カーナビゲーション部４を制御して、同乗者５に許された操作メニューを表示部４０に表示させる。
【００９２】
（効果）
（１）上記した実施の形態における操作者判別装置３によれば、抽出方向を固定されたフィルタによってエッジの抽出を行わず、極座標によってエッジを抽出するので、連続的に変位する操作者の腕のエッジを抽出し、そのエッジを表す近似直線に基づいて操作者を判別することができる。
【００９３】
（２）上記した実施の形態における操作者判別装置３によれば、ＣＣＤカメラ３１又はＣＭＯＳカメラによって構成されるので、操作者判別装置３を低コストで構成することができる。
【００９４】
（３）上記した実施の形態における操作者判別装置３によれば、第１の条件によって、前腕部２０のエッジを正確に抽出することができる。
【００９５】
（４）上記した実施の形態における操作者判別装置３によれば、上腕部２１のエッジを表す近似直線を算出することができるので、正確に操作者を判別することができる。
【００９６】
（５）上記した実施の形態における操作者判別装置３によれば、第２の条件によって、上腕部２１のエッジを正確に抽出することができる。
【００９７】
（６）上記した実施の形態における操作者判別装置３によれば、Ｈｏｕｇｈ変換によって前腕部２０、及び上腕部２１のエッジを表す近似直線を正確に算出することができる。
【００９８】
（７）上記した実施の形態における操作者判別装置３によれば、ひじ中心に基づいて上腕部２１のエッジを表す近似直線を正確に算出することができるので、正確に操作者を判別することができる。
【００９９】
（８）上記した実施の形態における操作者判別装置３によれば、第１の条件に基づいて前腕部２０を、第２の条件に基づいて上腕部２１のエッジを正確に算出することができる。
【０１００】
（９）上記した実施の形態における操作者判別方法によれば、ひじ中心に基づいて上腕部２１のエッジを表す近似直線を正確に算出することができるので、正確に操作者を判別することができる。
【０１０１】
（１０）上記した実施の形態における操作者判別方法によれば、第１の条件に基づいて前腕部２０を、第２の条件に基づいて上腕部２１のエッジを正確に算出することができる。
【０１０２】
なお、本発明は、上記した実施の形態に限定されず、本発明の技術思想を逸脱あるいは変更しない範囲内で種々の変形が可能である。
【０１０３】
また、本実施の形態において、微分処理部３３、算出部３４、２値画像作成部３５及び抽出部３６をハードウェアとして記述したが、これに限定されず、ＣＰＵ（Central Processing Unit）を搭載したコンピュータ等によって実行されるソフトウェアとして、記憶媒体等を介して提供されても良い。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施の形態に係る操作者判別装置を搭載した車両の概略図である。
【図２】本発明の実施の形態に係る操作者判別装置のブロック図である。
【図３】本発明の実施の形態に係る車両内部の上方図である。
【図４】本発明の実施の形態に係るＣＣＤカメラによって撮像された画像の概略図である。
【図５】（ａ）及び（ｂ）は、本発明の実施の形態に係るＳｏｂｅｌフィルタの概略図である。
【図６】本発明の実施の形態に係る第１の２値画像の概略図である。
【図７】本発明の実施の形態に係る前腕部のエッジの抽出に関する概略図である。
【図８】本発明の実施の形態に係る上腕部のエッジの抽出に関する概略図である。
【図９】本発明の実施の形態に係るフローチャートである。
【符号の説明】
【０１０５】
１…車両、２…運転者、３…操作者判別装置、４…カーナビゲーション部、５…同乗者、６…画像、７、７ａ、７ｂ…２値画像、１０…車両本体、１１…運転者座席、１２…同乗者座席、１３…アームレスト、２０…前腕部、２０ａ…第１の前腕部エッジ、２０ｂ…第２の前腕部エッジ、２１…上腕部、２１ａ…第１の上腕部エッジ、２１ｂ…第２の上腕部エッジ、２２…第１の直線、２３…第２の直線、２４…ひじ中心、２５…第３の直線、２６…第４の直線、３１…ＣＣＤカメラ、３２…画像処理部、３３…微分処理部、３４…算出部、３５…２値画像作成部、３６…抽出部、３７…判別部、４０…表示部、４１…スイッチ部、７０…消失エッジ、７１…抽出エッジ、３３０…ｘ軸方向フィルタ、３３１…ｙ軸方向フィルタ、Ｃ１…第１の値、Ｃ２…第２の値、Ｃ３…第３の値、Ｃ４…第４の値、Ｉｒ、Ｉｒ’…動径方向微分、Ｉθ、Ｉθ’…角度方向微分、Ｒ、Ｒ’…半径、Ｗ、Ｗ’…幅、ｒ１、ｒ２…間隔、θ…角度、（ｒ、θ）…第１の極座標、（ｒ’、θ’）…第２の極座標、（ｘ、ｙ）…座標、（ｘ’、ｙ’）…スイッチ中心座標、（ｘ’’、ｙ’’）…ひじ中心座標
【図１】
2009294843.tif 000017
【図２】
2009294843.tif 000018
【図３】
2009294843.tif 000019
【図４】
2009294843.tif 000020
【図５】
2009294843.tif 000021
【図６】
2009294843.tif 000022
【図７】
2009294843.tif 000023
【図８】
2009294843.tif 000024
【図９】
2009294843.tif 000025