(57)【要約】【課題】操作指と操作面とのなす角度に左右され難いタッチ判定を行うことができる操作装置を提供する。【解決手段】操作装置１は、操作面８２０を撮像して距離画像を生成するカメラ１０と、操作面８２０を撮像した背景距離画像１００と操作指を含んで撮影された操作距離画像１０１との差分を算出して操作指の距離画像を抽出した差分距離画像１２０を生成する差分距離画像生成部１２と、差分距離画像１２０に対して細線化処理を行って操作指の線画像１４０を生成する細線化処理部１４と、線画像１４０に基づいて円筒部１６１、円筒部１６１の先端に位置する半球部１６２からなる仮想指１６０を設定し、仮想指１６０と操作面８２０とが交わって形成される交差面１６５から操作指のタッチ座標１６６を算出する制御部１６と、を備えて概略構成されている。【選択図】図３
2017215749.tif 000002
【特許請求の範囲】
【請求項１】
操作面を撮像して距離画像を生成する撮像部と、
前記操作面を撮像した背景距離画像と操作指を含んで撮影された操作距離画像との差分を算出して前記操作指の距離画像を抽出した差分距離画像を生成する差分距離画像生成部と、
前記差分距離画像に対して細線化処理を行って前記操作指の線画像を生成する細線化処理部と、
前記線画像に基づいて円筒部、前記円筒部の先端に位置する半球部からなる仮想指を設定し、前記仮想指と前記操作面とが交わって形成される交差面から前記操作指のタッチ座標を算出する算出部と、
を備えた操作装置。
【請求項２】
前記算出部は、前記線画像の先端と終端とを結んでベクトルを形成し、前記ベクトルが前記円筒部の側面に沿うように前記仮想指を設定する、
請求項１に記載の操作装置。
【請求項３】
前記算出部は、前記差分距離画像における前記操作指の距離画像の前記操作面からの距離が最大である点の幅Ｗに基づいて前記円筒部の直径をＷ、前記半球部の半径をＷ／２と設定する、
請求項１又は２に記載の操作装置。
【請求項４】
前記算出部は、前記距離が最大である点の幅Ｗが予め定められた値よりも大きい場合、前記予め定められた幅を前記直径Ｗとする、
請求項３に記載の操作装置。
【請求項５】
前記撮像部は、車両の運転席及び助手席の間に位置するアームレストの表面を前記操作面として撮像する、
請求項１乃至４のいずれか１項に記載の操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作装置に関する。
【背景技術】
【０００２】
従来の技術として、赤外カメラによって得られた赤外強度画像に対して各種画像処理することによって手指の三次元位置を計測して手指とテーブル面の近接状態を判断し、テーブル面へのタッチ判定を行う情報処理装置が知られている（例えば、特許文献１参照。）。
【０００３】
この情報処理装置は、赤外カメラを使って指先とテーブル面（操作面）との垂直距離を算出し、この垂直距離が閾値以下になるとタッチ状態になったと判定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−４３１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この従来の情報処理装置のように、距離画像を撮像するカメラを用いてタッチ判定を行うタッチ判定装置の中には、操作面の上方から撮像した距離画像に基づいて指の背から操作面までの距離を測定し、測定された距離が予め想定された指の厚み以下となるとタッチ状態であると判定するものがある。しかしこのようなタッチ判定装置は、操作面に対する指の角度によってはタッチ判定の精度が低下する可能性がある。
【０００６】
従って本発明の目的は、操作指と操作面とのなす角度に左右され難いタッチ判定を行うことができる操作装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、操作面を撮像して距離画像を生成する撮像部と、操作面を撮像した背景距離画像と操作指を含んで撮影された操作距離画像との差分を算出して操作指の距離画像を抽出した差分距離画像を生成する差分距離画像生成部と、差分距離画像に対して細線化処理を行って操作指の線画像を生成する細線化処理部と、線画像に基づいて円筒部、円筒部の先端に位置する半球部からなる仮想指を設定し、仮想指と操作面とが交わって形成される交差面から操作指のタッチ座標を算出する算出部と、を備えた操作装置を提供する。
【発明の効果】
【０００８】
本発明によれば、操作指と操作面とのなす角度に左右され難いタッチ判定を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は、実施の形態に係る操作装置の一例が搭載された車両内部の概略図であり、図１（ｂ）は、操作装置の一例を示すブロック図である。
【図２】図２（ａ）は、実施の形態に係る操作装置のカメラが撮像した背景距離画像の一例を示す概略図であり、図２（ｂ）は、操作が行われた際に撮像された操作距離画像の一例を示す概略図であり、図２（ｃ）は、背景距離画像と操作距離画像の差分である差分距離画像の一例を示す概略図である。
【図３】図３（ａ）は、実施の形態に係る操作装置が行う線形化処理及びベクトル化処理の一例を説明するための概略図であり、図３（ｂ）は、指背ベクトルと操作面との関係の一例を示す概略図であり、図３（ｃ）は、仮想指の一例を説明するための概略図であり、図３（ｄ）は、仮想指と操作面とが交差して形成される交差面の一例である。
【図４】図４は、実施の形態に係る操作装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施の形態の要約）
実施の形態に係る操作装置は、操作面を撮像して距離画像を生成する撮像部と、操作面を撮像した背景距離画像と操作指を含んで撮影された操作距離画像との差分を算出して操作指の距離画像を抽出した差分距離画像を生成する差分距離画像生成部と、差分距離画像に対して細線化処理を行って操作指の線画像を生成する細線化処理部と、線画像に基づいて円筒部、円筒部の先端に位置する半球部からなる仮想指を設定し、仮想指と操作面とが交わって形成される交差面から操作指のタッチ座標を算出する算出部と、を備えて概略構成されている。
【００１１】
[実施の形態]
（操作装置１の概要）
図１（ａ）は、実施の形態に係る操作装置の一例が搭載された車両内部の概略図であり、図１（ｂ）は、操作装置の一例を示すブロック図である。図２（ａ）は、実施の形態に係る操作装置のカメラが撮像した背景距離画像の一例を示す概略図であり、図２（ｂ）は、操作が行われた際に撮像された操作距離画像の一例を示す概略図であり、図２（ｃ）は、背景距離画像と操作距離画像の差分である差分距離画像の一例を示す概略図である。図３（ａ）は、実施の形態に係る操作装置が行う線形化処理及びベクトル化処理の一例を説明するための概略図であり、図３（ｂ）は、指背ベクトルと操作面との関係の一例を示す概略図であり、図３（ｃ）は、仮想指の一例を説明するための概略図であり、図３（ｄ）は、仮想指と操作面とが交差して形成される交差面の一例である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）では、主な情報の流れを矢印で示している。
【００１２】
操作装置１は、図１（ａ）に示すように、車両８に搭載されている。そして操作装置１は、車両８に搭載されたナビゲーション装置などの電子機器を操作するように構成されている。
【００１３】
この操作装置１は、一例として、運転席８０と助手席８１の間に位置するアームレスト８２の表面を操作面８２０としている。つまり操作装置１は、一例として、アームレスト８２の表面になされたタッチ操作やなぞり操作などを検出するように構成されている。なお操作面８２０は、アームレスト８２の表面に限定されず、距離画像が撮像可能な面を操作面とすることが可能である。
【００１４】
操作装置１は、図１（ａ）〜図３（ｄ）に示すように、操作面８２０を撮像して距離画像を生成する撮像部としてのカメラ１０と、操作面８２０を撮像した背景距離画像１００と操作指を含んで撮影された操作距離画像１０１との差分を算出して操作指の距離画像を抽出した差分距離画像１２０を生成する差分距離画像生成部１２と、差分距離画像１２０に対して細線化処理を行って操作指の線画像１４０を生成する細線化処理部１４と、線画像１４０に基づいて円筒部１６１、円筒部１６１の先端に位置する半球部１６２からなる仮想指１６０を設定し、仮想指１６０と操作面８２０とが交わって形成される交差面１６５から操作指のタッチ座標１６６を算出する算出部としての制御部１６と、を備えて概略構成されている。
【００１５】
（カメラ１０の構成）
カメラ１０は、一例として、図１（ａ）に示すように、車両８の天井８３に配置されている。このカメラ１０は、一例として、近赤外線を操作面８２０方向に照射し、照射された近赤外線の反射を受光することにより距離画像を生成するように構成されている。この距離画像は、一例として、二値化処理されると共に画素ごとに距離の情報が付与されている。なお変形例としてカメラ１０は、ステレオカメラなどの距離画像を撮像できるものであれば良い。なお距離画像の二値化処理は、制御部１６で行われても良いし、差分距離画像生成部１２で行われても良い。
【００１６】
このカメラ１０は、周期的に撮像した距離画像の情報である距離画像情報Ｓ１を生成して制御部１６に出力する。
【００１７】
（差分距離画像生成部１２の構成）
差分距離画像生成部１２は、カメラ１０が撮像した背景距離画像１００と操作距離画像１０１の差分を算出し、差分距離画像１２０を生成するように構成されている。この背景距離画像１００及び操作距離画像１０１は、例えば、図２（ａ）及び図２（ｂ）に示すように、二値化処理がなされている。
【００１８】
なお操作がなされていない場合においても差分距離画像生成部１２は、撮像された距離画像と背景距離画像１００との差分距離画像１２０を算出する。
【００１９】
背景距離画像１００は、例えば、図２（ａ）に示すように、操作がなされていない操作面８２０を撮像して生成されるので、アームレスト８２の距離画像であるアームレスト距離画像１００ａを含んでいる。背景距離画像１００は、例えば、操作装置１に電力が供給されて撮像された最初の距離画像、操作がなされる直前の距離画像などである。
【００２０】
つまり背景距離画像１００は、登録された距離画像を継続的に用いるよりも操作の直前に撮像された距離画像を用いる方が好ましい。これは、例えば、季節や周りの環境の変化などにより車両８内に差し込む自然光が変わり、輝度値などが操作時の距離画像と大きく異なって線画像１４０の抽出精度に影響を与えるためである。
【００２１】
操作距離画像１０１は、例えば、図２（ｂ）に示すように、アームレスト距離画像１００ａ、及び操作者の手の距離画像である手距離画像１０１ａが含まれる。この操作距離画像１０１は、図２（ｂ）に示すように、アームレスト距離画像１００ａに重なるように手距離画像１０１ａが撮像されている。
【００２２】
差分距離画像生成部１２は、背景距離画像１００と操作距離画像１０１を画素単位で比較し、差分距離画像１２０を生成する。一例として、差分距離画像生成部１２は、図２（ａ）に示す背景距離画像１００と図２（ｂ）に示す操作距離画像１０１との差分を求め、図２（ｃ）に示す手距離画像１０１ａを得る。
【００２３】
そして差分距離画像生成部１２は、差分距離画像１２０の情報である差分距離画像情報Ｓ２を細線化処理部１４に出力する。
【００２４】
（細線化処理部１４）
細線化処理部１４は、差分距離画像生成部１２が生成した差分距離画像１２０に対して細線化処理を行うように構成されている。この細線化処理とは、例えば、対象となる距離画像から幅１ピクセルの中心線を取り出す処理である。
【００２５】
この細線化処理部１４は、例えば、図２（ｃ）及び図３（ａ）に示すように、主に操作指に対応する差分操作指距離画像１２０ｂに対して細線化処理を行う。細線化処理部１４は、差分操作指距離画像１２０ｂに対して細線化処理を行ない、図３（ａ）に示す線画像１４０を生成する。
【００２６】
この線画像１４０は、一例として、図３（ａ）に示すように、直線とならずに複数に折れ曲がる曲線となる。そこで後述する制御部１６によるベクトル化処理によって線画像１４０を直線化して指背ベクトル１４５が生成される。
【００２７】
なお変形例として、操作装置１は、線画像１４０をベクトル化せずに、線画像１４０の先端１４１と終端１４２が円筒部１６１の側面上に位置するように仮想指１６０を設定するように構成されても良い。
【００２８】
この線画像１４０は、例えば、操作面８２０からの距離の情報を含んでいる。この距離は、先端１４１がｈ１であり、終端１４２がｈ２である。なお距離ｈ１は、距離ｈ２よりも短い。この先端１４１は、例えば、操作指の幅がほぼ一定となる爪付近の位置に対応している。終端１４２は、例えば、操作指の第２関節近傍の位置に対応している。
【００２９】
細線化処理部１４は、線画像１４０の情報を含む線画像情報Ｓ３を生成して制御部１６に出力する。
【００３０】
（制御部１６の構成）
制御部１６は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１６が動作するためのプログラムが格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。
【００３１】
この制御部１６は、線画像１４０の先端１４１と終端１４２とを結んでベクトル（指背ベクトル１４５）を形成し、ベクトルが円筒部１６１の側面１６１ａに沿うように仮想指１６０を設定する。
【００３２】
また制御部１６は、差分距離画像１２０における操作指の距離画像（差分操作指距離画像１２０ｂ）の操作面８２０からの距離が最大である点の幅Ｗに基づいて円筒部１６１の直径をＷ、半球部１６２の半径をＷ／２と設定する。
【００３３】
さらに制御部１６は、距離が最大である点の幅Ｗが予め定められた値よりも大きい場合、予め定められた幅を直径Ｗとする。
【００３４】
なお制御部１６は、例えば、パターンマッチング法などを用いて差分距離画像１２０に差分手距離画像１２０ａが含まれるか否かを判定する。制御部１６は、差分手距離画像１２０ａが含まれている場合、細線化処理部１４に差分距離画像情報Ｓ２を出力して細線化処理を行わせる。
【００３５】
そして制御部１６は、図３（ａ）に示すように、細線化処理により生成された線画像１４０に対してベクトル化処理を行い、指背ベクトル１４５を生成する。この指背ベクトル１４５は、手の甲側の操作指の中央近傍の盛り上がった頂点の線を近似的に示すものである。この指背ベクトル１４５は、線画像１４０の先端１４１と終端１４２を結んだ直線である。
【００３６】
円筒部１６１は、例えば、操作指の第１関節から第２関節辺りの形状を模している。この円筒部１６１の直径は、図３（ａ）に示す差分操作指距離画像１２０ｂの幅に設定すると仮想指１６０が操作指に近くなる。
【００３７】
この円筒部１６１の幅は、一例として、指背ベクトル１４５において操作面８２０から最も離れた点における幅とされる。図３（ａ）では、指背ベクトル１４５において操作面８２０から最も離れた点は、終端１４２であり、この終端１４２の差分操作指距離画像１２０ｂの幅がＷであるので、円筒部１６１の幅がＷとされる。なお上述のように、この幅Ｗは、予め定められた幅より大きい場合、予め定められた幅とされる。この予め定められた幅Ｗは、一例として、２０ｍｍである。
【００３８】
半球部１６２は、操作指の指先を模している。この半球部１６２の半径は、円筒部１６１との繋がりが良いＷ／２とされる。
【００３９】
上述のように、仮想指１６０は、円筒部１６１と半球部１６２とにより操作指を模している。従って制御部１６は、指背ベクトル１４５が仮想指１６０の側面１６１ａ（仮想指１６０の背）に沿うように、仮想指１６０を指背ベクトル１４５に接触させ、仮想指１６０を設定する。そして制御部１６は、図３（ｃ）に示すように、設定した仮想指１６０と操作面８２０との交差面１６５を算出する。
【００４０】
制御部１６は、図３（ｄ）に示すように、算出した交差面１６５の重心を算出し、この重心をタッチ座標１６６とする。制御部１６は、このタッチ座標１６６に基づいて操作情報Ｓ４を生成し、操作対象の電子機器に出力する。このタッチ座標１６６は、操作面８２０に設定された座標系における座標である。
【００４１】
以下に本実施の形態の操作装置の動作の一例について図４のフローチャートに従って説明する。
【００４２】
（動作）
操作装置１のカメラ１０は、車両８の電源が投入されると、周期的に距離画像を生成して出力する。差分距離画像生成部１２は、取得した最初の距離画像を背景距離画像１００として記憶する（Ｓｔｅｐ１）。
【００４３】
差分距離画像生成部１２は、周期的に撮像された距離画像を取得し（Ｓｔｅｐ２）、背景距離画像１００との差分から差分距離画像１２０を算出して差分距離画像情報Ｓ２を制御部１６に出力する（Ｓｔｅｐ３）。
【００４４】
制御部１６は、差分距離画像１２０に差分手距離画像１２０ａが含まれているか否かを確認する。制御部１６は、差分距離画像１２０に差分手距離画像１２０ａが含まれている場合（Ｓｔｅｐ４：Ｙｅｓ）、差分距離画像情報Ｓ２を細線化処理部１４に出力する。
【００４５】
細線化処理部１４は、取得した差分距離画像情報Ｓ２に基づく差分距離画像１２０に対して細線化処理を行って線画像１４０を生成する（Ｓｔｅｐ５）。細線化処理部１４は、細線化処理を行って生成した線画像情報Ｓ３を制御部１６に出力する。
【００４６】
制御部１６は、取得した線画像情報Ｓ３に基づいてベクトル化処理を行って線画像１４０から指背ベクトル１４５を生成する（Ｓｔｅｐ６）。
【００４７】
制御部１６は、生成した指背ベクトル１４５に基づいて仮想指１６０を設定する（Ｓｔｅｐ７）。そして制御部１６は、仮想指１６０が操作面８２０と交差するか否かを確認する。
【００４８】
制御部１６は、仮想指１６０が操作面８２０と交差する場合（Ｓｔｅｐ８：Ｙｅｓ）、交差面１６５を算出する。そして制御部１６は、交差面１６５の重心を算出してタッチ座標１６６を算出し、タッチ座標１６６に基づく操作情報Ｓ４を生成して電子機器に出力する（Ｓｔｅｐ９）。
【００４９】
ここでステップ４において制御部１６は、差分距離画像１２０に差分手距離画像１２０ａが含まれていない場合（Ｓｔｅｐ４：Ｎｏ）、ステップ２に戻ってさらに距離画像を取得する。
【００５０】
またステップ８において制御部１６は、仮想指１６０が操作面８２０と交差しない場合（Ｓｔｅｐ８：Ｎｏ）、ステップ２に戻ってさらに距離画像を取得する。
【００５１】
（実施の形態の効果）
本実施の形態に係る操作装置１は、操作指と操作面８２０とのなす角度に左右され難いタッチ判定を行うことができる。具体的には、操作装置１は、まず差分距離画像１２０の差分操作指距離画像１２０ｂから求められる幅Ｗと、線画像１４０から得られる先端１４１及び終端１４２と、に基づいて仮想指１６０の形状を定める。この仮想指１６０は、操作面８２０に対して垂直に近い角度となる操作指に対しても設定可能であり、操作面８２０に対して操作指が寝ていても設定可能である。そして操作装置１は、求めた指背ベクトル１４５に基づいて仮想指１６０と操作面８２０との交差面１６５を求めてタッチ座標１６６を算出する。従って操作装置１は、この構成を採用しない場合と比べて、操作指と操作面８２０とのなす角度に左右され難いタッチ判定を行うことができる。
【００５２】
操作装置１は、事前に操作指の幅を設定するのではなく、差分操作指距離画像１２０ｂにおける幅Ｗに基づいて仮想指１６０を設定する。また指背ベクトル１４５は、手の甲側の操作指の中央近傍の盛り上がった頂点の線を近似的に示すものである。従って操作装置１は、実際の操作指に近い形で仮想指１６０を設定するので、操作者が意図した座標に近いタッチ座標１６６を算出することができ、操作者が感じる違和感を低減することができる。
【００５３】
上述の実施の形態及び変形例に係る操作装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。
【００５４】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５５】
１…操作装置、８…車両、１０…カメラ、１２…差分距離画像生成部、１４…細線化処理部、１６…制御部、８０…運転席、８１…助手席、８２…アームレスト、８３…天井、１００…背景距離画像、１００ａ…アームレスト距離画像、１０１…操作距離画像、１０１ａ…手距離画像、１２０…差分距離画像、１２０ａ…差分手距離画像、１２０ｂ…差分操作指距離画像、１４０…線画像、１４１…先端、１４２…終端、１４５…指背ベクトル、１６０…仮想指、１６１…円筒部、１６１ａ…側面、１６２…半球部、１６５…交差面、１６６…タッチ座標、８２０…操作面
【図１】
2017215749.tif 000003
【図２】
2017215749.tif 000004
【図３】
2017215749.tif 000005
【図４】
2017215749.tif 000006