(57)【要約】【課題】操作意図を予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置を提供する。【解決手段】操作体の動作を撮影し、連続的な撮影画像を出力する撮像手段と、撮影画像に基づいて制御信号を出力する制御手段と、処理結果を表示させる表示手段と、を備える操作装置の操作方法であって、撮影画像に含まれる前回撮影画像との変化領域を連続的に抽出するステップＳＴ２と、変化領域によって操作体の重心を連続的に算出し、前記重心を中心とし、複数の領域に分割するステップＳＴ３と、重心と、この重心よりも一回前に算出された重心と、を比較して操作体の動作方向を推定し、表示手段と操作体との位置関係に基づき、複数の領域にそれぞれの重みを設定するステップＳＴ４と、重心が移動した領域の重みを積算した積算値を算出し、積算値に基づいて操作体の動作の予測を行うステップＳＴ５と、を有し、これらのステップを繰り返し実行する。【選択図】図４
2014092844.tif 000002
【特許請求の範囲】
【請求項１】
操作体の動作を撮影し、連続的な撮影画像を出力する撮像手段と、
前記撮影画像を画像処理するとともに、前記撮影画像の処理結果に基づいて制御信号を出力する制御手段と、
前記制御信号に基づいた処理結果を表示させる表示画面が配置された表示手段と、を備える操作装置の操作方法であって、
前記制御手段では、前記撮影画像と前記撮影画像以前に撮影された前回撮影画像とを連続的に比較し、
（ａ）前記撮影画像に含まれる前回撮影画像との変化領域を連続的に抽出するステップと、
（ｂ）前記変化領域から前記操作体を検知するとともに、この操作体の重心を連続的に算出し、前記重心を中心とし、複数の領域に分割するステップと、
（ｃ）前記重心と、前記重心よりも一回前に算出された重心と、を比較して前記操作体の動作方向を推定し、前記表示手段と前記操作体との位置関係に基づき、前記複数の領域にそれぞれの重みを設定するステップと、
（ｄ）前記重心が移動した領域の前記重みを積算した積算値を算出し、前記積算値に基づいて前記操作体の動作の予測を行うステップと、
を有し、これらのステップを繰り返し実行することを特徴とする操作方法。
【請求項２】
前記撮影画像は、前記表示画面に対する垂線と前記垂線に直交する直交軸とがなす平面を、平面視するように撮影した画像であることを特徴とする請求項１に記載の操作方法。
【請求項３】
前記表示画面には複数の操作部が表示され、前記重みはそれぞれの前記複数の操作部に対して設定されることを特徴とする請求項２に記載の操作方法。
【請求項４】
前記表示画面から前記重心が離れる方向の重みはマイナス成分であることを特徴とする請求項２又は請求項３のいずれかに記載の操作方法。
【請求項５】
前記操作体と前記表示画面との距離、及び、前記積算値に基づき、前記表示画面に表示される操作対象が段階的に切り換わることを特徴とする請求項２乃至請求項４のいずれかに記載の操作方法。
【請求項６】
操作体の動作を撮影し、撮影画像を出力する撮像手段と、
前記撮影画像に基づいて制御信号を出力する制御手段と、
前記制御信号に基づいた処理結果を表示させる表示画面が配置された表示手段と、を備える操作装置であって、
前記制御手段は、請求項１乃至請求項５のいずれかに記載の操作方法を用いて、前記操作体の動作を予測する画像情報処理部と、前記操作体の動作の予測に基づく制御信号を出力する制御信号出力部と、を有することを特徴とする操作装置。
【請求項７】
前記撮像手段は、前記操作体及び前記表示画面の上側に配置され、且つ、撮影範囲が下向きに配置されることを特徴とする請求項６に記載の操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作意図を予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置に関する。
【背景技術】
【０００２】
車両を運転する際に、エアコンディショナ装置やカーナビゲーション装置等、車載装置がますます増加し、運転者が車載装置に対して行う操作の内容も複雑になっている。操作者の意図する制御を行うためには、車載装置の操作面を注視しなければならなかった。そのため、運転者が車載装置を操作することによる運転不注意、さらには交通事故を誘発する恐れがあった。
【０００３】
近年、電子機器の操作では、表示画面での操作者の手の動きをセンサが検知しながら、操作内容を設定する手法がとられている。例えば静電容量型座標入力センサであれば、静電パッドと操作者の指との間の静電容量の変化から、表示画面のどの位置に指があるのかを検知することができ、文字入力の認識やフリック操作も可能となっている。車載装置においても、静電容量型座標入力センサが表示画面に搭載され、表示画面が操作面を兼ねるようになってきている。
【０００４】
従来、車両内にカメラを搭載して乗員の動作や状況を認識し、車載装置の制御を行う、という技術があった。特許文献１に記載の操作者判別装置は、車載装置の操作者が運転者か非運転者か判別し、運転者が操作していると判別された場合は運転者に適したように、非運転者が操作していると判別された場合は非運転者に適したように、車載装置を制御することができる。
【０００５】
図１０は、特許文献１の操作者判別装置における赤外線カメラ２００の設置場所の説明図である。図１１は、従来の操作者判別装置におけるフローチャートである。図１０に示すように、運転席２３１及び助手席２３２の間で座席前方に配置された表示操作部２１５に対して、運転者２２１及び助手席着座者２２２のいずれかの手が操作を行っているかを認識するための赤外線カメラ２００を車両の略中心線上に配置している。操作者判別装置を用いた車載装置は、この赤外線カメラ２００の画像データを処理する画像処理部を備え、図１１に示す手順で、撮影画像から抽出された操作者の手の重心が車両左右中心線２５０のどちら側にあるかによって操作者を判別している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−０６７０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、この操作者判別装置は、表示操作部方向に伸びた手であれば認識してしまうものであり、操作者の操作意図とは無関係に、操作者の着席方向だけを判別するものである。また、例えば操作者が運転者であると判別された場合に、運転者に適したように操作内容に制限を加える、という制御を行うもので、操作者の操作意図に応じた制御を行うものではなかった。そのため、操作性の向上としては十分でなかった。
【０００８】
本発明は、操作意図を予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の操作方法は、操作体の動作を撮影し、連続的な撮影画像を出力する撮像手段と、前記撮影画像を画像処理するとともに、前記撮影画像の処理結果に基づいて制御信号を出力する制御手段と、前記制御信号に基づいた処理結果を表示させる表示画面が配置された表示手段と、を備える操作装置の操作方法であって、前記制御手段では、前記撮影画像と前記撮影画像以前に撮影された前回撮影画像とを連続的に比較し、
（ａ）前記撮影画像に含まれる前回撮影画像との変化領域を連続的に抽出するステップと、
（ｂ）前記変化領域から前記操作体を検知するとともに、この操作体の重心を連続的に算出し、前記重心を中心とし、複数の領域に分割するステップと、
（ｃ）前記重心と、前記重心よりも一回前に算出された重心と、を比較して前記操作体の動作方向を推定し、前記表示手段と前記操作体との位置関係に基づき、前記複数の領域にそれぞれの重みを設定するステップと、
（ｄ）前記重心が移動した領域の前記重みを積算した積算値を算出し、前記積算値に基づいて前記操作体の動作の予測を行うステップと、
を有し、これらのステップを繰り返し実行することを特徴とする。
【００１０】
この操作方法によれば、撮影画像と前回撮影画像との変化領域を連続的に抽出するので、動作している操作体を認識できる。さらに、認識された操作体の重心を算出して、重心の移動から、操作体の動作中に操作者の操作意図を予測できる。このため、予測した意図に応じた素早い制御を可能とし、操作性を向上させることができる。
【００１１】
本発明の操作方法において、前記撮影画像は、前記表示画面に対する垂線と前記垂線に直交する直交軸とがなす平面を、平面視するように撮影した画像であることを特徴とする。こうすれば、画像処理によって、表示画面と操作体との位置関係を平面視できることから、表示画面に向けての操作体の移動を容易に把握できる。このため、操作性の向上に繋がる。
【００１２】
本発明の操作方法において、前記表示画面には複数の操作部が表示され、前記重みはそれぞれの前記複数の操作部に対して設定されることを特徴とする。こうすれば、表示画面に表示されている操作部の中から、どの操作部を操作者が操作しようとしているのかを予測することができる。このため、操作性の向上に繋がる。
【００１３】
本発明の操作方法において、前記表示画面から前記重心が離れる方向の重みはマイナス成分であることを特徴とする。こうすれば、予測された動作が継続されているか、別の動作に変更されているか、を積算値によって簡単に推定できる。これにより、操作意図を予測して、制御をより適確に行うことができる。
【００１４】
本発明の操作方法において、前記操作体と前記表示画面との距離、及び、前記積算値に基づき、前記表示画面に表示される操作対象が段階的に切り換わることを特徴とする。こうすれば、予測された操作意図に応じて操作画面が切り換わることによって、操作性の向上を可能とする。例えば、操作者の意図する車載装置の制御を、できるだけ少ない操作で導ける。
【００１５】
本発明の操作装置は、操作体の動作を撮影し、撮影画像を出力する撮像手段と、前記撮影画像に基づいて制御信号を出力する制御手段と、前記制御信号に基づいた処理結果を表示させる表示画面が配置された表示手段と、を備える操作装置であって、前記制御手段は、上記いずれかの操作方法を用いて、前記操作体の動作を予測する画像情報処理部と、前記操作体の動作の予測に基づく制御信号を出力する制御信号出力部と、を有することを特徴とする。
【００１６】
撮影画像に基づいて制御信号を出力する制御手段が、前記操作体の動作を予測する画像情報処理部と、前記操作体の動作の予測に基づく制御信号を出力する制御信号出力部と、を有しているので、撮影画像から操作体の動作を予測して制御信号を出力する。こうすれば、撮影画像に基づいて、操作体の動作中に予測した意図に応じた素早い制御を適確に行うことが可能であり、操作性を向上させることができる。
【００１７】
本発明の操作装置において、前記撮像手段は、前記操作体及び前記表示画面の上側に配置され、且つ、撮影範囲が下向きに配置されることを特徴とする。こうすれば、撮像手段からの俯瞰により、表示画面と操作体との位置関係を平面視できることから、撮影画像に基づいて、表示画面に向けての操作体の移動を容易に把握できる。このため、素早い制御を適確に行うことが可能であり、操作性を向上させることができる。
【発明の効果】
【００１８】
本発明によれば、撮影画像と前回撮影画像との変化領域を連続的に抽出するので、動作している操作体を認識できる。さらに、認識された操作体の重心を算出して、重心の移動から操作体の動作の予測を行うので、操作体の動作中に操作者の操作意図を予測した表示画面に切り換えることができる。したがって、操作意図を予測して操作性の向上を可能とする操作方法及びそれを用いた操作装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態における操作装置の構成を示すブロック図である。
【図２】撮像手段及び表示手段のレイアウトを示す説明図である。
【図３】表示手段と操作者との位置関係を示す説明図である。
【図４】操作装置の動作手順を示すフローチャート図である。
【図５】撮影画像の具体例を示す説明図であり、（ａ）は撮影画像、（ｂ）は前回撮影画像、（ｃ）は撮影画像と前回撮影画像との変化領域を示す模式図である。
【図６】図５から推定された操作体の重心を中心に複数の領域に分割された具体例を示す模式図である。
【図７】操作装置の表示画面に表示される操作部の具体例を示す説明図である。
【図８】図７の操作部のひとつが予測された具体例を示す説明図である。
【図９】図８の操作部のひとつが予測された具体例を示す説明図である。
【図１０】従来の操作者判別装置における赤外線カメラ２００の設置場所の説明図である。
【図１１】従来の操作者判別装置におけるフローチャートである。
【発明を実施するための形態】
【００２０】
以下に本発明の実施形態における操作装置１について、図面を参照しながら詳細に説明する。本発明の実施形態における操作装置１及び操作方法は車載装置の制御に適用される。
【００２１】
図１は、本発明の実施形態における操作装置１を示す概略構成図である。図１に示すように、本実施形態の操作装置１は、連続的な撮影画像を出力する撮像手段１０と、撮像手段１０の撮影画像に基づいて制御信号を出力する制御手段２０と、制御手段２０の制御信号に基づいた処理結果を表示させる表示手段３０と、を備えている。制御手段２０には、撮像手段１０から出力された撮影画像を画像処理する画像情報処理部２１と、制御信号を出力する制御信号出力部２２と、それらの信号処理に必要な記憶部２５と、を有している。表示手段３０に配置された表示画面３１は、静電容量型座標入力センサが搭載されていて、車載装置の装置制御部５０を操作するための入力用ソフトキーを兼ねている。
【００２２】
撮像手段１０は、例えばＶＧＡと呼ばれる画素数の撮像素子を備えた小型カメラであり、１秒間に３０枚の画像を撮影し、撮影画像をデジタル画像データとして出力する。制御手段２０は、制御プログラムに基づきデータ処理をおこなうマイクロプロセッサ等で構成され、撮像手段１０が出力した撮影画像を一時的に記憶し、制御信号を出力するために必要な画像処理を行う。この画像処理では、撮影画像と当該撮影画像以前に撮影された前回撮影画像とを連続的に比較し、画像処理結果に応じた制御信号を表示手段３０へ出力する。
【００２３】
表示手段３０の表示画面３１に表示された入力用ソフトキーに操作者の指が触れると、搭載された静電容量型座標入力センサによって、触った画面位置に表示されていたソフトキーに対応した操作が、操作対象である車載装置に対して実行される。例えば、車載装置がカーエアコンの場合では、コンプレッサ、内外気取り入れ切り換え手段、送風機等の各ユニットに電気配線が接続された装置制御部５０がエンジンルーム内に搭載されており、表示手段３０と装置制御部５０との間も電気配線で接続されている。この場合、操作装置１はカーエアコンの操作ユニットである。
【００２４】
同様に、カーナビゲーションやオーディオにおいても、車載装置と表示手段３０とを分離して、電気配線で接続することができる。こうすれば、例えば、カーエアコンとオーディオの操作をひとつの表示手段３０から行うことが可能である。例えば、表示画面３１に表示される画面内容を切り換えて、カーエアコン制御用の画面モードでカーエアコンを設定し、次にオーディオ制御用の画面モードにして、音楽を選択したり音量を調整したりする操作が可能になる。表示手段３０はオーディオの本体と分離せずに本体前面に取り付けられたものであっても良いが、例えばカーエアコン制御の表示手段３０としても使用するのである。この場合、操作装置１は、単独の車載装置の操作ユニットでなく、複数の操作ユニットの一部分が複合化された操作専用の複合装置（マルチ・コントローラ）であり、装置制御部５０を含まない。
【００２５】
図２は、撮像手段１０及び表示手段３０のレイアウトを示す説明図であり、車両に配置された撮像手段１０及び表示手段３０を、車両の側面方向から見たレイアウトを示している。図３は、表示手段３０と操作者との位置関係を示す説明図であり、表示手段３０と操作者との位置関係を、車両の天井方向から下向きに見た俯瞰図として示している。図２及び図３に示すように、撮像手段１０が、表示手段３０と運転席及び助手席との間を下向きに撮影するように、車両の天井面に配置されている。図３には、撮像手段１０で撮影される撮影範囲Ｆ１を示している。
【００２６】
図４は、操作装置１の動作手順を示すフローチャート図である。
【００２７】
エンジンキーの操作等により、操作装置１が起動すると、撮像手段１０が連続的な撮影を開始する。ステップＳＴ１で、撮影された画像がグレースケール画像データとして取得され、一時的に記憶される。ステップＳＴ２では、取得された撮影画像と撮影画像以前に撮影された前回の撮影画像との比較によって、撮影画像に含まれる前回撮影画像との変化領域を抽出する。この比較処理は２枚目の撮影画像から実行される。
【００２８】
図５は、撮影画像の具体例を示す説明図であり、（ａ）は撮影画像、（ｂ）は前回撮影画像、（ｃ）は撮影画像に含まれる前回撮影画像との変化領域を示す模式図である。ここでは、説明を簡単にするために、グレースケールでなく、背景を黒に、物体を白に、２値化された単純図形を示している。図５（ｂ）の前回撮影画像に対して、図５（ａ）の撮影画像は図形Ａ１の領域だけが異なる。したがって、撮影画像に含まれる前回撮影画像との変化領域が、図５（ｃ）に示すように抽出される。図５（ｃ）では、変化していない画像領域を白で、変化領域を黒で示した。また、変化していない画像領域に撮影されていた図形の輪郭を二点破線で示した。
【００２９】
この変化領域は、撮影範囲Ｆ１での操作者の手の動きに相当している。本明細書において、この画像処理によって抽出された変化領域から推定される操作者の手や指のことを、操作体と呼ぶ。抽出された変化領域の情報から、その大きさや撮影範囲Ｆ１内での相対位置を参照して、操作体であるかどうかを推定する。
【００３０】
図４に示すステップＳＴ３では、推定された操作体に対して、その重心を算出し、撮影範囲Ｆ１内の一部を、その重心位置を中心にする複数のブロック（領域）に分割する。ステップＳＴ４では、この重心と、当該重心以前に連続的に算出された前回の重心と、を比較して操作体の重心の動作方向を推定し、表示手段３０と操作体との位置関係に基づき、分割したブロック（領域）に重み付けをおこなう。
【００３１】
これらのステップを、撮影画像の具体例によって説明する。図５（ｃ）の変化領域から、図５（ａ）の図形Ａ１が操作体であることが推定される。続いて、操作体の重心を算出し、重心の位置座標が記憶される。次に、この重心を中心とする９つのブロックに撮影範囲Ｆ１内の一部座標が分割される。図６は、図５から推定された操作体（図形Ａ１）の重心Ｇを中心に、撮影範囲Ｆ１が９つのブロック（領域）に分割された具体例を示す模式図である。９つのブロックの中心ブロックに重心Ｇが位置する。また、表示手段３０は、図６のＸ１側に位置している。表示手段３０の操作部と操作体の重心Ｇとの位置関係から、図６に示すように、中心ブロックのＹ１側及びＹ２側のブロックの重みを「０」に設定する。ここで、操作部とは、表示手段３０に配置された表示画面３１に表示された入力用ソフトキーのことであり、単独の入力キーの場合だけでなく、テンキー等の一群の入力キーの場合を含む。重心Ｇの中央ブロックも重みは「０」である。これに対し、Ｘ１側の１列のブロックは正、Ｘ２側の１列のブロックは負に、それぞれの重みが設定される。このとき、操作体の重心Ｇから表示手段３０の操作部に向かう方向にあたるブロックの重みを「２」、逆の方向を「−２」として、他のブロックは「１」、「−１」とする。分割したブロック（領域）の重みはそれぞれの複数の操作部に対して個別に設定される。つまり、分割したブロックの重みは、操作対象である操作部の数に応じて複数設定されるものである。操作部がＸ１側のＹ１方向にあるときは、図６のように重みが設定される。
【００３２】
この分割されたブロック（領域）と重み付けの範囲は、撮影範囲Ｆ１内の一部、すなわち、直後の撮影で操作体の重心Ｇが位置すると予想される現在位置付近だけ行えばよい。
【００３３】
次に、図４に示すステップＳＴ５及びステップＳＴ６が行われる。このステップＳＴ５及びステップＳＴ６は３回目の撮影画像から実行される。ステップＳＴ４までを複数回繰り返すことによって、ステップＳＴ５で重心Ｇが移動したブロック（領域）の重みを積算できる。重心が移動した領域の重みを積算した積算値を算出し、重心Ｇの移動方向が同じときは、積算値が大きく増加していく。一方、重心Ｇが移動しなくなると積算値が変化しなくなる。また、移動方向が変化すると、積算値が増減するので、操作体の動作を積算値で知ることができる。したがって、積算値に基づいて操作体の動作の予測を行うことができる。例えば、積算値が大きく増加したときは、引き続き同じ方向に操作体が動作すると予測できる。その場合、ステップＳＴ６では、表示手段３０に操作体が近づいた場合、予測された動作で操作される操作内容に応じて、操作後に切り換わる表示画面３１に、実際の操作が実行される前に切り換える処理が実行される。
【００３４】
ステップＳＴ６での表示画面３１に表示される操作対象の切り換えについて、具体例を用いて説明する。図７は、操作装置１の表示画面３１に表示される操作部の具体例を示す説明図である。図８は、図７の操作部のひとつが予測された具体例を示す説明図である。図９は、図８の操作部のひとつが予測された具体例を示す説明図である。
【００３５】
図７では、表示画面３１のＹ１側にオーディオ操作画面が、表示画面３１のＹ２側にカーナビゲーション操作画面が、表示されている。積算値から予測された操作対象がオーディオであり、図８では、オーディオが選択されて、操作対象のオーディオ操作に切り換わった画面が表示される。さらに、図８のＹ２側の音量操作が予測されると、図９のように、音量が選択されて、操作対象の音量操作に切り換わった画面が表示される。このようにして、操作体と表示画面３１との距離、及び、積算値に基づき、表示画面３１に表示される操作対象が段階的に切り換わるようにする。
【００３６】
図７〜図９に示した事例では、表示画面３１には複数の操作部が表示され、前述したように、分割したブロックの重みは、操作対象である操作部の数に応じて複数設定される。こうすれば、表示画面３１に表示されている操作部の中から、どの操作部を操作者が操作しようとしているのかを予測することができる。
【００３７】
前述したように、表示画面３１から重心が離れる方向の重みはマイナス成分である。こうすれば、予測された動作が継続されているか、別の動作に変更されているか、を積算値によって簡単に推定できる。また、操作体と表示画面３１との距離、及び、積算値に基づき、表示画面３１に表示される操作対象が段階的に切り換わるようにする。表示手段３０と操作体との位置が、図３に示す撮影範囲Ｆ１のＸ１−Ｘ２方向の中央付近から表示手段３０側にあり、さらに接近していると判断されたときに表示画面３１の画面を切り換える。例えば、撮影範囲Ｆ１のＸ１−Ｘ２方向の距離が５００ｍｍ〜６００ｍｍとすれば、２５０ｍｍ〜３００ｍｍより近づいているときに切り換わるようにする。こうすれば、予測された操作意図に応じて操作画面が切り換わることによって、操作性の向上を可能とする。例えば、操作者の意図する車載装置の制御を、できるだけ少ない操作で導ける。
【００３８】
図７〜図９に示した事例では、画面の操作部が拡大されるように操作対象の切り換えが行われているので、車両の運転者が操作面を注視しないで、かつ、できるだけ少ない操作で、操作意図に応じた制御を行うことが可能である。すなわち、この事例では操作対象を予測して切り換えていくことで、運転者の操作を楽にすることができる。
【００３９】
なお、この事例では、運転者にとって必要な操作画面であったが、助手席側の操作者は表示画面３１を直視して細かい操作を行うことが可能なので、助手席側の操作者にとっては必要のない画面である。このような助手席側の操作者では必要のない画面を表示させたくない場合、運転席側と助手席側の識別によって、操作対象の切り換えを変更すればよい。こうすれば、助手席側の操作者にとって最適な制御を実行させることも可能である。また、車両の停止信号を受信するようにして、車両が停止している状態であれば、運転者の操作においても、助手席側の操作者と同じ画面になるように設定することも可能である。
【００４０】
また、画面の操作部を拡大していく画面において、初期の画面に詳細な操作画面を表示させておいて、操作体が近づくにつれて、予測される操作対象の表示を大きくすることもできる。こうすれば、初期の画面で操作者が操作しようとした操作対象が画面内で同じ位置に留まり、しかも画面に近づくほど大きく表示されるので、操作面を注視しなくてもよくなり、運転者が操作する場合であっても適確に操作することができる。
【００４１】
前述した操作方法によれば、撮像手段１０によって取得された撮影画像に基づいて、表示画面３１に向けての操作体の移動を容易に把握できる。このため、操作体の動作中に操作者の操作意図を予測して素早い制御を適確に行うことが可能であり、操作性を向上させることができる。
【００４２】
本実施形態の操作方法を用いた操作装置１において、撮像手段１０が、表示手段３０と運転席及び助手席との間を下向きに撮影するように、車両の天井面に配置されている。表示画面３１は、運転席又は助手席に着座した操作者が見やすい方向、すなわち、図２及び図３のＸ２方向が垂線方向となるように配置されている。撮影画像は、表示画面３１に対する垂線とこの垂線に直交する直交軸とがなす平面を、平面視するように撮影した画像である。そのため、天井面に配置された撮像手段１０からの俯瞰により、表示画面３１と操作体との位置関係を平面視できる。この場合、図３に示すように撮影範囲Ｆ１はＸ１−Ｘ２方向とＹ１−Ｙ２方向とのなす平面である。Ｚ１−Ｚ２方向の操作体の動作は抽出できないので、複数の操作部はＹ１−Ｙ２方向に並べるように表示される。
【００４３】
撮像手段１０は、車両の床面側に配置されていてもよい。すなわち、図２において、Ｚ２側に配置され、Ｚ１方向を上向きに撮影することも可能である。この場合の画像処理はほとんど同じである。しかしながら、車両の床面側に配置された撮像手段１０を覆うように物体が置かれてしまう懸念があり、その心配がない天井面側に配置するほうが好ましい。
【００４４】
一方、Ｘ１−Ｘ２方向とＺ１−Ｚ２方向とのなす平面を撮影範囲とするように、横向きに配置された撮像手段を使用することも考えられる。この場合、操作体が確実に撮影できる場所に撮像手段を設置しなければならない。さらに、この方向で撮影する場合は、運転者と助手席の搭乗者とを撮影範囲内の画像位置で単純に区別できない。
【００４５】
どの配置においても、表示画面３１と操作体との位置関係を平面視できる方向の制約があるので、撮像手段１０の撮影方向に応じて、操作部を設定する必要がある。この制約を回避したい場合は、車両の天井面に配置された撮像手段１０に加えて、横向きに配置された撮像手段を付加して、２台の撮像手段を使用すればよい。
【００４６】
本実施形態では、表示画面３１に表示された入力用ソフトキーに操作者の指が触れる静電容量型座標入力センサを用いているが、他の接触式の入力手段を用いてもよい。例えば、抵抗型座標入力センサや光学式センサであってもよい。
【００４７】
また、静電容量型近接センサ等の非接触式センサを使用すると、画面に触れることなく制御することが可能である。さらに、撮像手段１０で撮影された撮影画像のみで制御をおこなうようにしてもよい。これらの非接触制御手段にすれば、接触式での課題である耐久性についての心配がなくなる。
【００４８】
撮像手段１０は、携帯電話等の内蔵カメラを利用して構成してもよい。例えば、天井面に撮像手段１０を収納するホルダを設けておき、車両に搭乗した運転者が所持している携帯電話をホルダに収納すれば、制御手段２０に接続されるシステムとすればよい。特に、無線通信が可能な携帯電話等であれば、制御手段２０に接続する配線が不要であり、簡単に取り外しすることが可能である。
【００４９】
本実施形態のステップＳＴ１では、撮影された画像がグレースケール画像データとして取得するとしたが、カラー画像を使用して、例えば人の肌の色であれば手であることを素早く認識させることも可能である。グレースケール画像を用いる場合は、画像のデータ量が少ないので、画像処理能力を低くできる。したがって、制御手段２０の低コスト化が容易になる。
【００５０】
また、撮像手段１０として赤外線検知可能なカメラを用いることで、暗所でも容易に操作体の動作を認識させることが可能になる。
【００５１】
本実施形態のステップＳＴ３では、推定された操作体に対して、その重心を算出し、撮影範囲Ｆ１内の一部を、その重心位置を中心にする複数のブロック（領域）に分割する。このとき、グレースケール画像を用いて、グレースケールの変化が大きいところや小さいところで重み付けを変えて、重心を算出することが好ましい。こうすれば、解像度が低い画像であっても重心の算出精度を向上させることが可能である。したがって、撮像手段１０の低コスト化が容易になる。さらに、重心位置を中心にする複数のブロック（領域）のみを対象とすることで、撮影範囲全体をマッピングする必要がないので、記憶データ量が少なくて済む。したがって、制御手段２０の低コスト化が容易になる。
【００５２】
本実施形態のステップＳＴ５では、重心Ｇが移動したブロック（領域）の重みを積算した積算値を算出し、積算値が増減することから、積算値に基づいて操作体の動作の予測を行う。積算値を用いた予測アルゴリズムとすることで、複雑な論理プログラムを必要とせずに、操作体の動作の予測が可能になった。したがって、制御手段２０の低コスト化が容易になる。
【００５３】
本実施形態においては、図３に示すように撮影範囲Ｆ１は、Ｘ１−Ｘ２方向とＹ１−Ｙ２方向とのなす平面である。Ｚ１−Ｚ２方向の操作体の動作は抽出できないので、複数の操作部はＹ１−Ｙ２方向に並べるように表示している。しかしながら、Ｚ１−Ｚ２方向への操作体の動作を、操作体の面積変化によって認識させることも可能である。また、前述したように横向きに配置された撮像手段を付加して、Ｙ１−Ｙ２方向を認識させることが可能である。これらの場合には、複数の操作部をＺ１−Ｚ２方向に並べることもできる。
【産業上の利用可能性】
【００５４】
本発明の操作方法及びそれを用いた操作装置は、車載装置の制御に適用できるほか、医療用の診断装置や介護用機器の制御に利用できる。
【符号の説明】
【００５５】
１      操作装置
１０    撮像手段
２０    制御手段
２１    画像情報処理部
２２    制御信号出力部
２５    記憶部
３０    表示手段
３１    表示画面
５０    装置制御部
【図１】
2014092844.tif 000003
【図２】
2014092844.tif 000004
【図３】
2014092844.tif 000005
【図４】
2014092844.tif 000006
【図５】
2014092844.tif 000007
【図６】
2014092844.tif 000008
【図７】
2014092844.tif 000009
【図８】
2014092844.tif 000010
【図９】
2014092844.tif 000011
【図１０】
2014092844.tif 000012
【図１１】
2014092844.tif 000013