(57)【要約】      （修正有）【課題】操作者の簡単な操作によって操作対象の画面を選択することができる電子装置を提供する。【解決手段】車載用表示装置は、クラスター表示ユニット１に、操作者によるジェスチャー入力が可能な操作対象（ウィンドウ２Ａ、２Ｂ、２Ｃ）を表示する表示部と、操作者の掌を検出する検出部と、検出された掌の方向を算出する算出部と、算出された掌の方向にある操作対象を選択する操作対象選択部とを有する。操作者は、狭い空間であっても、容易に操作対象を選択することができる。【選択図】図５
2017068312.tif 000002
【特許請求の範囲】
【請求項１】
操作者によるジェスチャー入力が可能な操作対象を複数表示する表示手段と、
操作者の掌を検出する検出手段と、
前記検出手段により検出された掌の方向が前記複数の操作対象のいずれかを向いているかに基づき操作対象を選択する選択手段と、
を有する電子装置。
【請求項２】
前記選択手段はさらに、掌の方向と前記複数の操作対象のそれぞれの向きとを比較し、最も差が小さい操作対象を選択する、請求項１に記載の電子装置。
【請求項３】
電子装置はさらに、操作者の動きを検出する動き検出手段を含み、
前記選択手段は、前記検出手段により検出された掌の方向および前記動き検出手段により検出された操作者の動きに基づき操作対象を選択する、請求項１または２に記載の電子装置。
【請求項４】
前記選択手段は、前記動き検出手段により検出された動きに基づき前記検出手段により検出された掌の方向に重み付けをする、請求項３に記載の電子装置。
【請求項５】
前記複数の操作対象は、３次元表示される、請求項１ないし４いずれか１つに記載の電子装置。
【請求項６】
前記複数の操作対象は、隣接して配置された表示画面から構成される、請求項１ないし５いずれか１つに記載の電子装置。
【請求項７】
前記複数の操作対象は、１つの表示画面を少なくとも２以上に分割して構成される、請求項１ないし６いずれか１つに記載の電子装置。
【請求項８】
前記複数の操作対象は、円周面上に配置される、請求項１ないし７いずれか１つに記載の電子装置。
【請求項９】
前記複数の操作対象は、操作者を中心とした円周面上であって、それぞれ半径方向に重なりを持たずに配置される、請求項１ないし８いずれか１つに記載の電子装置。
【請求項１０】
前記表示手段は、ステアリングを挟んで運転席の正面に位置する、請求項１ないし９いずれか１つに記載の電子装置。
【請求項１１】
前記表示手段は、運転席の正面のインスツルメンツパネルとしてのクラスター表示ユニットである、請求項１ないし１０いずれか１つに記載の電子装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示部に表示された複数の操作対象の画面の中から任意の操作対象の画面を選択する方法に関し、特に、操作者のジェスチャー入力により操作対象の画面を選択する方法に関する。
【背景技術】
【０００２】
近年では、運転席の前面のインスツルメンツパネルを液晶モジュール化したクラスター表示ユニットが普及傾向にある。クラスター表示ユニットには、典型的に、速度、距離、燃料などのメーター類の情報、ドライバー支援する情報、車内の機能を操作するのに必要な情報などが表示される。今後、同形式のクラスター表示ユニットが増加すれば、メーター類以外の情報の充実が予測されるが、運転時の安全確保を踏まえて、簡単なメニュー構造にした上でジェスチャー入力を可能にすることが予想される。
【０００３】
クラスター表示ユニットが搭載された車両では、例えば、大型トラックの運転者が、運送会社の中央指令センターから情報の提供を受けたり、あるいは業務効率改善のためにローカル情報をシステムにアップロードすることが予測される。このような場合、運転者は、中央指令センターから送られてくるデータを比較・分析し、適切な情報を選択する必要がある。当該作業は、走行中に実行するため、複雑なオペレーションを行うことは現実的ではなく、「データの比較」と「分析データの確認」等の簡易的なオペレーションが望まれる。つまり、クラスター表示ユニットには、複数のウィンドウにより多様な情報が表示され、運転者は、必要な情報が表示されているウィンドウを選択し、選択されたウィンドウから所望の情報を得るようなケースが想定される。
【０００４】
車両におけるジェスチャー入力では、安全運転の観点からできるだけ操作対象を見ないようにすることが望ましい。そこで、特許文献１は、予め複数の手形状のそれぞれを制御対象の機器と関連付けしておき、認識した手形状に対応する制御機器へ命令を出力するジェスチャー入力方法を開示する。例えば、指１本の手形状であれば、制御対象の機器としてオーディオを選択し、指２本の手形状であれば、テレビを選択し、指３本の手形状であれば、エアコンを選択する。また、特許文献２は、操作対象を注視せずとも、目の位置と手の位置とを結ぶ線分の延長線上に存在する機器を操作対象として選択するジェスチャー入力方法を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１１９２９５号公報
【特許文献２】特開２０１４−１４９６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
図１に、クラスター表示ユニットの一例を示す。図１（Ａ）は、メータースクリーンモードの例示であり、この表示モードでは、主に、速度、燃料計等のメーター類が表示される。メーター類は、例えば液晶グラフィックによりアナログ的またはデジタル的に表示することが可能である。この表示モードにおいて、ユーザーがデータボタン等を操作すると、表示モードを図１（Ｂ）に示すようなデータスクリーンモードに移行させることができる。この表示モードでは、データを表示するための横長の表示画面２が設定される。図の例では、クラスター表示ユニット１の下部に横長の表示画面２が表示され、表示画面２は、３つの操作対象であるウィンドウ２Ａ、２Ｂ、２Ｃに分割され、各ウィンドウ２Ａ、２Ｂ、２Ｃには、それぞれ異なるデータが表示される。例えば、ウィンドウ２Ａには、自車位置周辺の道路地図が表示され、ウィンドウ２Ｂには、中央指令センターからの情報が表示され、表示画面２Ｃには、一定期間の燃費の情報が表示される。表示画面２の各ウィンドウ２Ａ、２Ｂ、２Ｃは、操作対象画面として選択することができ、ウィンドウの選択は、ジェスチャー操作によって行われる。この場合、３つのウィンドウ２Ａ、２Ｂ、２Ｃが水平方向に配置されているため、操作者によるジェスチャーは、各ウィンドウ２Ａ、２Ｂ、２Ｃをまたぐように横方向に操作される必要が生じ、それ故、冗長なジェスチャー操作が必要になってしまう。他方、クラスター表示ユニットと運転席との間には、ステアリング（ハンドル）が介在されるため、ジェスチャー操作が可能な空間は制限されてしまう。その結果、ジェスチャー操作によって誤ったウィンドウが選択されてしまうことがあり、特にそのような場合、修正するためのジェスチャー操作がさらに必要になってしまう。
【０００７】
特許文献１に示すように、手形状によって操作対象のウィンドウを選択することも可能であるが、この方法の場合、運転者は、車両に乗車する前に複数の手形状を覚えておく必要があり、初めて乗車したときに急いでいると、複数の手形状を覚えきれなかったり、あるいはどの手形状がどの操作に対応するのかといったことも忘れてしまうこともある。そうすると、ジェスチャー入力による操作ができなくなってしまい、現実的な方法ではない。また、特許文献２は、手を移動させる方向の機器を選択するものであるため、手を移動させる空間を必要とするため、クラスター表示ユニット内の操作対象を選択する狭い空間には適した方法とは言えない。
【０００８】
本発明は、このような従来の課題を解決するものであり、操作者の簡単な操作によって操作対象の画面を選択することができる電子装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る電子装置は、操作者によるジェスチャー入力が可能な操作対象を複数表示する表示手段と、操作者の掌を検出する検出手段と、前記検出手段により検出された掌の方向が前記複数の操作対象のいずれかを向いているかに基づき操作対象を選択する選択手段とを有する。
【００１０】
好ましくは前記選択手段はさらに、掌の方向と前記複数の操作対象のそれぞれの向きとを比較し、最も差が小さい操作対象を選択する。好ましくは電子装置はさらに、操作者の動きを検出する動き検出手段を含み、前記選択手段は、前記検出手段により検出された掌の方向および前記動き検出手段により検出された操作者の動きに基づき操作対象を選択する。好ましくは前記選択手段は、前記動き検出手段により検出された動きに基づき前記検出手段により検出された掌の方向に重み付けをする。好ましくは前記複数の操作対象は、３次元表示される。好ましくは前記複数の操作対象は、隣接して配置された表示画面から構成される。好ましくは前記複数の操作対象は、１つの表示画面を少なくとも２以上に分割して構成される。好ましくは前記複数の操作対象は、円周面上に配置される。好ましくは前記複数の操作対象は、操作者を中心とした円周面上であって、それぞれ半径方向に重なりを持たずに配置される。好ましくは前記表示手段は、ステアリングを挟んで運転席の正面に位置する。好ましくは前記表示手段は、運転席の正面のインスツルメンツパネルとしてのクラスター表示ユニットである。
【発明の効果】
【００１１】
本発明によれば、操作者の掌を検出し、掌の方向に基づいて操作対象を選択するようにしたので、従来のように複数の指形状などのジェスチャーを覚える必要がなく、操作対象の選択を容易に行うことができる。さらに掌の方向を変化させるだけ操作対象を選択することができるため、限らせた空間においてジェスチャー入力を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】図１（Ａ）は、クラスター表示ユニットのメータースクリーンモードの例示、図１（Ｂ）は、クラスター表示ユニットのデータスクリーンモードの例示である。
【図２】本発明の第１の実施例に係る車載用表示装置の構成例を示すブロック図である。
【図３】本発明の第１の実施例に係る操作対象選択プログラムの機能的な構成例である。
【図４】本発明の第１の実施例に係る掌の方向算出の例示である。
【図５】本発明の第１の実施例に係る操作対象の選択の例示である。
【図６】本発明の第１の実施例に係る車載用表示装置におけるジェスチャー入力の動作を示すフローチャートである。
【図７】選択された操作対象について実施可能なジェスチャーコマンドの一例を示す図である。
【図８】本発明の第２の実施例に係るクラスター表示ユニットの操作対象の３次元表示の一例を示す図である。
【図９】本発明の第３の実施例に係る操作対象選択プログラムの機能的な構成例を示す図である。
【図１０】従来例の操作対象の選択動作と、第１ないし第３の実施例による選択動作とを比較を表である。
【発明を実施するための形態】
【００１３】
次に、本発明の実施の形態について説明する。本発明に係る電子装置は、好ましい態様では、車両に搭載された車載用表示装置によって実施される。車載用表示装置は、種々の情報を表示する表示部、ユーザー入力インターフェースとしてジェスチャー入力を可能にする入力部、ジェスチャー入力に応じて表示部に表示された操作対象の画面を選択する選択部等を備える。好ましい態様では、ジェスチャー入力は、車内の撮像カメラによって操作者を撮像することにより実施される。また、好ましい態様では、表示部は、ステアリングを挟んで運転席の正面に位置するインスツルメンツパネルに設けられた一体型のクラスター表示ユニットである。車載用表示装置は、例えば、ナビゲーション機能、ラジオ・テレビ受信機能、マルチメディア再生機能等を含むことができ、これらの機能を実行したときの情報を表示部に表示する。
【実施例】
【００１４】
次に、本発明の実施例について図面を参照して説明する。図１は、本発明の第１の実施例に係る車載用表示装置の構成例を示すブロック図である。車載用表示装置１０は、ユーザーからの入力を受け取る入力部１００と、車内空間を撮像する撮像カメラ１１０と、撮像カメラ１１０によって撮像された画像データを処理する画像処理部１２０と、ナビゲーション部１３０と、ＣＤ、ＤＶＤ等の記録媒体に記録されたオーディオデータやビデオデータ等を再生するマルチメディア部１４０と、種々の情報を表示する表示部１５０と、音声出力部１６０と、種々の情報を記憶する記憶部１７０と、各部を制御する制御部１８０とを含んで構成される。但し、ここに示される構成は一例であり、車載用表示装置は、これに限定されるものではない。例えば、車載用表示装置１０は、外部と無線または有線によるデータ通信を行う機能を備えることができる。
【００１５】
撮像カメラ１１０は、車内の予め決められた領域（空間）を撮像し、そこで撮像された操作者の撮像データを画像処理部１２０へ提供する。好ましくは、撮像カメラ１１０は、運転者の掌（手のひら）の動きを認識できるように、車内の上方から運転者を見下ろすような角度で車内空間を撮像する。なお、ジェスチャー入力の操作者が運転者ではなく、他の搭乗者である場合には、その搭乗者を撮像するようにしてもよい。
【００１６】
画像処理部１２０は、撮像カメラ１１０で撮像された撮像データの画像処理を行う。画像処理部１２０は、例えば、空間フィルタリング等により画像の輪郭の検出、エッジ強調などの処理を行い、処理された画像データを制御部１８０へ提供する。
【００１７】
ナビゲーション部１３０は、ＧＰＳ衛星システム、自立航法センサ等を用いて自車位置を算出し、算出された自車位置から目的地までの経路案内などを行う。マルチメディア部１４０は、各種記録媒体に記録されたデータの再生を行うが、さらにテレビ放送やラジオ放送を受信する機能を有する場合には、これらのデータの再生も行う。
【００１８】
表示部１５０は、図１に示すように、運転席から見てステアリングの奥側のインスツルメンツパネルに配置された横長のクラスター表示ユニットであり、当該表示ユニットは、例えば、液晶パネルや有機ＥＬ等の薄型のパネルによって構成される。表示部１５０は、例えば、モード切替えボタン等の切替え手段によって、図１（Ａ）に示すようなメーター類を主に表示するメータースクリーンモード、または図１（Ｂ）に示すような種々のデータを表示画面２の各ウィンドウ２Ａ、２Ｂ、２Ｃに表示可能なデータスクリーンモードへの切替えが可能である。データスクリーンモードでは、例えば、ナビゲーション部１３０から提供される案内経路等を含む道路地図、渋滞、交通規制、信号の灯色等の道路交通情報、燃費の情報、外部のセンター等から受信された情報、マルチメディア再生部１４０により再生された画像データ等を各ウィンドウ２Ａ、２Ｂ、２Ｃ内に表示される。表示画面２内に離間して分割された各ウィンドウ２Ａ、２Ｂ、２Ｃは、ユーザーによって選択が可能な操作対象の画面である。本実施例では、操作対象のウィンドウの選択は、ジェスチャー入力または操作によって行うことができる。なお、表示部１５０は、必ずしもメータースクリーンモードとデータスクリーンモードとの切替えを必須とするものではなく、常時、データスクリーンモードの表示であってもよい。
【００１９】
音声出力部１６０は、ナビゲーション部１３０により生成された案内情報やマルチメディア再生部１４０で再生されたオーディオデータ等を音声出力する。記憶部１７０は、ナビゲーション部１３０が必要とする道路地図データやマルチメディア再生部１４０が再生するマルチメディアデータ等を記憶することができる。さらに記憶部１７０は、制御部１８０が実行するアプリケーションソフトウエア、あるいはプログラム等を記憶することができる。
【００２０】
制御部１８０は、好ましい態様では、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等から構成され、ＲＯＭまたはＲＡＭは、制御部１８０が実行するためのプログラムを格納することができる。第１の実施例では、制御部１８０は、複数の操作対象（例えば、表示画面２に設定された各ウィンドウ２Ａ、２Ｂ、２Ｃ）が表示部１５０に表示されたとき、操作対象をジェスチャー入力より選択可能な操作対象選択プログラムを実行する。図３は、第１の実施例に係る操作対象選択プログラムの機能的な構成例である。操作対象選択プログラム２００は、操作対象識別部２１０、画像データ取得部２２０、掌検出部２３０、掌方向算出部２４０、操作対象選択部２５０を含む。
【００２１】
操作対象識別部２１０は、表示部１５０が操作対象の画面を表示するとき、当該操作対象の画面を識別する。具体的には、図１（Ｂ）に示すように、クラスター表示ユニット１の下部に操作対象である複数のウィンドウ２Ａ、２Ｂ、２Ｃを含む表示画面２が表示されたとき、ウィンドウ２Ａ、２Ｂ、２Ｃとそれらの位置を識別する。例えば、ウィンドウ２Ａ、２Ｂ、２Ｃの位置は、ウィンドウの各コーナーの座標によって識別される。
【００２２】
画像データ取得部２２０は、画像処理部１２０によって処理された画像データを取得する。掌検出部２３０は、画像処理によって操作者の輪郭またはエッジを含む画像データから操作者の掌を検出する。同時に、掌検出部２３０は、検出された掌の親指の位置等から、操作者が右手または左手のいずれかを識別する。掌検出部２３０で検出された掌を表す画像データ、および左手または右手の識別情報は、掌方向算出部２４０へ提供される。
【００２３】
掌方向算出部２４０は、検出された掌の画像データから掌の方向（または角度）を算出する。好ましい例では、掌方向算出部２４０は、手首を中心としたときの手首が回転する方向を掌の方向θとして算出する。図４に、掌の方向の算出例を示す。掌検出部２３０によって掌の輪郭を表す画像データ（例えば、俯瞰画像データ）が検出されたとき、手首の概ね回転中心Ｃを通る腕の線Ｌｃと、親指の概ね中心を通る線Ｌｆとの交差する角を掌の方向θとして算出する。図４（Ａ）の例は、線Ｌｃと線Ｌｆとがほぼ平行である状態を示し、このとき、掌の方向θはほぼゼロである。図４（Ｂ）の例は、手首が回転中心Ｃで反時計方向に回転された状態を示している。なお、掌の方向θは、上記以外の方法によって算出してもよく、例えば、腕の方向を基準に、手の甲が向く方向、あるいは他の指が向く方向を算出するようにしてもよい。掌方向算出部２４０によって算出された掌の方向θは、例えば、ＸＹ平面での２次元座標で表されてもよいし、ＸＹＺ空間の３次元座標で表されてもよい。
【００２４】
操作対象選択部２５０は、操作対象識別部２１０により識別された情報、および掌方向算出部２４０により算出された掌の方向θに基づき操作対象を選択する。具体的には、操作対象選択部２５０は、掌方向算出部２４０によって算出された掌の方向θに位置する操作対象を選択する。図５は、操作対象選択部２５０の一例を示す図である。操作者の腕の線Ｌｃの方向は、操作対象と予め決められた角度関係に設定される。例えば、操作者の右手が操作された場合には、腕の線Ｌｃの方向は、ウィンドウ２Ｃを向く角度関係にあると設定され、操作者の左手が操作された場合には、腕の線Ｌｃの方向は、ウィンドウ２Ａを向く角度関係にあると設定される。このような設定が成されたと仮定した場合、図４（Ａ）のように、右手が手首を介してほとんど回転されていなければ、掌の方向θは極めて小さい角度かゼロに近いため、図５（Ａ）に示すように、親指の線Ｌｆの方向はウィンドウ２Ｃに向かう。それ故、ウィンドウ２Ｃが選択される。また、図４（Ｂ）のように、右手が手首を介して大きく反時計方向に回転されたような場合には、掌の方向θが比較的大きな角度となり、図５（Ｂ）に示すように、例えば、親指の線Ｌｆの方向はウィンドウ２Ａに向かう。それ故、ウィンドウ２Ａが選択される。右手の手首の回転角がその中間であるとき、ウィンドウ２Ｂが選択される。
【００２５】
好ましい例として、掌の方向θと、選択されるべきウィンドウとの関係と規定したテーブルを予めメモリに登録しておき、このテーブルを参照してウィンドウを選択するようにしてもよい。なお、上記では、腕の線Ｌｃの方向がウィンドウ２Ｃの方向に一致すると仮定したが、これは一例であり、腕の線Ｌｃの方向がどのウィンドウに向けられた設定にするのかは任意である。例えば、腕の線Ｌｃの方向がウィンドウ２Ｂに向く角度関係にあると設定された場合には、掌の方向が時計方向に回転されれば、ウィンドウ２Ｃが選択され、反時計方向に回転されれば、ウィンドウ２Ａが選択される。
【００２６】
図６は、本実施例の車載表示装置におけるジェスチャー入力の動作例を示すフローチャートである。先ず、表示部１５０は、図１（Ｂ）に示すようにクラスター表示ユニット１に操作対象（ウィンドウ）を含む表示画面２を表示する（Ｓ１００）。表示画面２が表示さると、操作対象識別部２１０は、表示画面２に含まれる複数の操作対象の位置を識別する（Ｓ１１０）。一方、撮像カメラ１１０は、少なくとも表示画面２が表示されている期間、操作者である運転者を撮像し（Ｓ１２０）、撮像されたデータが画像処理され、掌検出部２３０は、画像データに基づき操作者の掌の検出を行う（Ｓ１３０）。次に、掌方向算出部２４０は、検出された掌の画像データに基づき掌方向を算出し（Ｓ１４０）、この算出された掌方向に基づき操作対象選択部２５０は、いずれかの操作対象（ウィンドウ）を選択する（Ｓ１５０）。操作対象が選択された後、操作者はさらに、選択された操作画面に対して次の入力操作を行うことができる。
【００２７】
図７は、選択された操作画面に対して引き続きジェスチャー入力を行う場合のジェスチャーコマンドの一例である。これらのジェスチャー入力は、撮像カメラ１１０によって撮像されたデータを画像解析することにより認識され、制御部１８０は、選択された操作対象についてジェスチャーコマンドに応じた動作を実行する。但し、選択された操作対象についての入力は、ジェスチャーに限らず、他の方法が用いられても良い。例えば、リモコンによる入力、音声入力、タッチパネルによる入力であってもよい。
【００２８】
次に、本発明の第２の実施例について説明する。第１の実施例は、複数の操作対象（ウィンドウ）を平面的に表示するものであるが、第２の実施例は、複数の操作対象を三次元グラフィック表示し、操作者にとって操作対象を選択し易いユーザーインターフェイスを提供する。
【００２９】
第２の実施例では、表示部１５０は、図８に示すように、クラスター表示ユニット１に、複数の操作対象（ウィンドウ）２Ａ、２Ｂ、２Ｃを含む表示画面２を表示させるとき、ウィンドウ２Ａ、２Ｂ、２Ｃが仮想的に円弧状に湾曲して見えるような三次元表示を行う。好ましくは、ウィンドウ２Ａ、２Ｂ、２Ｃは、操作者を中心とした円周面上に見えるように表示され、操作者からみたとき、各ウィンドウ２Ａ、２Ｂ、２Ｃが重複しないように配置される。図の例では、中央のウィンドウ２Ｂが運転者に対して正面を向き、左右のウィンドウ２Ａ、２Ｃがそれぞれ円周面上に傾斜しているように表示される。さらに好ましい態様では、ウィンドウ２Ａ、２Ｂ、２Ｃが円周面上により立体的に配置されているように見せるため、ウィンドウ２Ａ、２Ｂ、２Ｃの下部には、中央が周辺に比べて垂直方向に厚くなるような円弧状の背景領域４を表示することで、ウィンドウ２Ａ、２Ｂ、２Ｃにより立体感を持たせることができる。背景領域４は、メーター類の背景領域と同色であってもよいし、あるいは他の背景色であってもよい。
【００３０】
操作対象識別部２１０は、表示部１５０が３次元表示で操作対象を表示したとき、第１の実施例と同様に各ウィンドウ２Ａ、２Ｂ、２Ｃの位置を識別する。また、好ましい態様では、操作対象識別部２１０は、上記の位置情報に加えて、各ウィンドウ２Ａ、２Ｂ、２Ｃが向けられた方向を識別する。例えば、図８の例であれば、操作者（運転者）の正面に向けられたウィンドウ２Ｂの方向θＢを基準にして、すなわち、ウィンドウ２Ｂの表示方向が操作者の腕の線Ｌｃの方向と略等しいものとして、左右のウィンドウ２Ａ、２Ｃが向けられた方向の角度θＡ、θＣを識別する。
【００３１】
操作対象識別部２１０によってウィンドウ２Ａ、２Ｂ、２Ｃが向けられた方向が識別されたとき、操作対象選択部２５０は、識別された方向を利用して操作対象を選択することができる。操作対象選択部２５０は、操作者の掌の方向θと、ウィンドウ２Ａ、２Ｂ、２Ｃが向けられた方向θＡ、θＢ、θＣとを比較し、両者の差が最も小さいウィンドウを選択することができる。勿論、操作対象選択部２５０は、第１の実施例のときのように掌の方向に位置するウィンドウを選択するようにしてもよいし、そのような選択方法との論理積の条件でウィンドウを選択するようにしてもよい。
【００３２】
このように本実施例によれば、複数のウィンドウの配置を仮想的に３Ｄ表示にすることで、操作者は各ウィンドウの奥行方向が自分を中心に配置されている感覚(自分を中心とした円筒内にスクリーンが貼られている感覚)を得ることができる。つまり、自分を中心に角度を変えれば、それぞれのウィンドウに正対できる仮想的な表現が可能になる。ジェスチャーの角度をウィンドウにあたかも正対させるように調整すれば、ダイレクトにウィンドウを選択できるようになり、ウィンドウを選択するための複雑な形状や操作を不要にすることができる。また、ウィンドウの３Ｄ配置により得られた下部のスペースにパースしたメーターを描画すれば、矩形ウィンドウとメーターとの違和感を抑制して同居させることが可能となる。なお、上記実施例では、平坦な液晶パネルに仮想的にウィンドウを３次元配置させる例を示したが、液晶パネルが物理的に曲面性を持つものであってもよい。
【００３３】
次に、本発明の第３の実施例について詳細に説明する。第３の実施例は、掌の方向を検出する際に、前後の手の動きを含めて掌の方向を検出することで、掌の方向の検出が難しい場合（例えば、右手を体の外側に回転させる場合には、その回転角度を大きくすることが難しい）、安定した掌の方向の算出を可能にする。
【００３４】
図９は、第３の実施例に係る操作対象選択プログラム２００Ａの機能的な構成例を示す図である。操作対象選択プログラム２００Ａは、第１の実施例のときの構成に加え、動き検出部２６０を含む。動き検出部２６０は、画像処理された画像データに基づき操作者の一連の動作を検出する。例えば、操作者の掌の位置、腕の位置および肘の位置の連続的な軌跡を検出することで、掌の動き、腕の動き、肘の動き等を検出する。動き検出部２６０の検出結果は、操作対象選択部２５０へ提供される。
【００３５】
操作対象選択部２５０は、掌の方向および動き検出部２６０の検出結果に基づき操作対象を選択する。上記したように、右手を体の外側に向ける場合には、掌の角度をつけ難くなる。通常、右手を体の外側に向けるとき、肘がわずかに内側に移動する。動き検出部２６０によって、例えば肘が内側に移動する場合には、掌の方向が外側に向けられる可能性が高くなるため、操作対象選択部２５０は、掌方向算出部２４０によって算出された方向θを重み付けし、操作対象を選択する。好ましい態様では、動き検出部２６０によって検出された動きと掌の方向との関係を予め規定しておき、該当する動きが検出された場合には、それに対応する掌の方向θを重み付けまたは補正する。このように本実施例によれば、掌のわずかな角度操作であっても、正確に操作対象を選択することができる。
【００３６】
図１０は、従来例の操作対象（ウィンドウ）の選択動作と、本実施例による操作対象の選択動作とを対比したテーブルである。従来例では、操作対象を選択する場合には、選択および確認動作が必要であり、また、ジェスチャーに無理な体勢を強いられる場合がある。これに対し、本実施例では、操作者は掌の方向をウィンドウに合わせる動作をするだけで、ウィンドウの選択が可能になり、従来例よりも操作が簡単である。また、掌の方向は、手首を回転するだけで良いので、操作者への負担は小さく、その操作は容易である。さらに
第３の実施例のように、掌の方向に加えて掌の一連の動きを検出する場合には、掌の方向をウィンドウに合わせる一連の動きによりウィンドウを選択することができる。
【００３７】
なお、上記実施例では、クラスター表示ユニット１に表示される表示画面２が３つの操作対象（ウィンドウ）に分割される例を示したが、分割される操作対象の数は任意である。さらに各ウィンドウの大きさは、必ずしも同一である必要はなく、異なるものであってもよい。さらに、表示画面２は、クラスター表示ユニット１の下部に表示される例を示したが、表示される位置は、任意である。
【００３８】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。
【符号の説明】
【００３９】
１：クラスター表示ユニット                  ２：表示画面
２Ａ、２Ｂ、２Ｃ：操作対象（ウィンドウ）        ４：背景領域
１０：車載用表示装置                      １００：入力部
１１０：撮像カメラ                          １２０：画像処理部
１３０：ナビゲーション部                    １４０：マルチメディア再生部
１５０：表示部                              １６０：音声出力部
１７０：記憶部                              １８０：制御部
２００：操作対象選択プログラム              ２１０：操作対象識別部
２２０：画像データ取得部                    ２３０：掌検出部
２４０：掌方向算出部                        ２５０：操作画像選択部
２６０：動き検出部
【図１】
2017068312.tif 000003
【図２】
2017068312.tif 000004
【図３】
2017068312.tif 000005
【図４】
2017068312.tif 000006
【図５】
2017068312.tif 000007
【図６】
2017068312.tif 000008
【図７】
2017068312.tif 000009
【図８】
2017068312.tif 000010
【図９】
2017068312.tif 000011
【図１０】
2017068312.tif 000012