(57)【要約】      （修正有）【課題】３次元画像に対するユーザの操作を正確に特定することを可能にした操作支援システム、操作支援方法及びコンピュータプログラムを提供する。【解決手段】３次元ディスプレイ１５においてユーザに所定の動作を行わせる対象となるポインタ画像を表示し、ポインタ画像に対してユーザが所定の動作を行った動作位置を検出し、検出した動作位置と３次元ディスプレイ１５における動作対象画像の表示位置とに基づいて、ユーザの左右の眼の位置を特定する。一方で、ユーザの指先の位置を検出し、ユーザの左右の眼の位置とユーザの指先の位置と３次元ディスプレイ１５における操作対象画像の表示位置とに基づいて、操作対象画像に対するユーザの操作を特定するように構成する。【選択図】図１０
2015103233.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの左右の眼に異なる画像を視認させることで３次元画像を視認させる画像表示装置を備え、前記画像表示装置に表示された操作対象画像への前記ユーザの操作を支援する操作支援システムにおいて、
前記画像表示装置において前記ユーザに所定の動作を行わせる対象となる動作対象画像を表示する対象画像表示手段と、
前記動作対象画像に対して前記ユーザが前記所定の動作を行った動作位置を検出する動作位置検出手段と、
前記動作位置検出手段により検出した前記動作位置と前記画像表示装置における前記動作対象画像の表示位置とに基づいて、前記ユーザの左右の眼の位置を特定する眼位置特定手段と、
前記ユーザの指先の位置を検出する指先検出手段と、
前記ユーザの左右の眼の位置と前記ユーザの指先の位置と前記画像表示装置における前記操作対象画像の表示位置とに基づいて、前記操作対象画像に対する前記ユーザの操作を特定する操作特定手段と、を有することを特徴とする操作支援システム。
【請求項２】
前記眼位置特定手段は、
左眼に視認させる前記動作対象画像の表示位置と前記動作位置検出手段により検出した前記動作位置とを結ぶ直線である第１直線上に前記ユーザの左眼があると特定するとともに、
右眼に視認させる前記動作対象画像の表示位置と前記動作位置検出手段により検出した前記動作位置とを結ぶ直線である第２直線上に前記ユーザの右眼があると特定することを特徴とする請求項１に記載の操作支援システム。
【請求項３】
前記眼位置特定手段は、
前記画像表示装置の表示面と平行であって、前記第１直線及び前記第２直線と交わるとともに前記第１直線との交点と前記第２直線との交点の間の距離が所定間隔となる第３直線を規定し、
前記第３直線と前記第１直線の交点に前記ユーザの左眼があると特定するとともに、
前記第３直線と前記第２直線の交点に前記ユーザの右眼があると特定することを特徴とする請求項２に記載の操作支援システム。
【請求項４】
前記操作特定手段は、
左眼に視認させる前記操作対象画像の表示位置と前記ユーザの左眼の位置とを結ぶ直線と、右眼に視認させる前記操作対象画像の表示位置と前記ユーザの右眼の位置とを結ぶ直線との交点上を前記操作対象画像の結像位置と推定し、
前記操作対象画像の結像位置と前記ユーザの指先の位置の重複態様に基づいて、前記操作対象画像に対する前記ユーザの操作を特定することを特徴とする請求項１乃至請求項３のいずれかに記載の操作支援システム。
【請求項５】
前記画像表示装置には前記操作対象画像が複数表示され、
前記操作特定手段は、複数の前記操作対象画像の内、結像位置が前記ユーザの指先の位置と重複する前記操作対象物画像を前記ユーザが操作したと特定することを特徴とする請求項４に記載の操作支援システム。
【請求項６】
前記動作位置検出手段は、
前記ユーザの頭部が位置すると予測される第１範囲を特定し、
前記第１範囲と前記画像表示装置における前記動作対象画像の表示位置とに基づいて、前記動作対象画像の結像位置が含まれる第２範囲を推定し、
前記第２範囲内において前記ユーザが前記所定の動作を行った動作位置を検出することを特徴とする請求項１乃至請求項５のいずれかに記載の操作支援システム。
【請求項７】
前記所定の動作は、一点を指で摘む動作、一点を指で長押しする動作、予め決められた形状のラインを指でなぞる動作のいずれかであることを特徴とする請求項１乃至請求項６のいずれかに記載の操作支援システム。
【請求項８】
前記動作位置検出手段は、
前記ユーザが前記所定の動作を行っている途中で該所定の動作と異なる動作が行われたことを検出した場合に、
前記異なる動作における前記指の移動範囲が閾値以内である場合には、前記ユーザが前記所定の動作を行った位置を前記動作位置として検出することを特徴とする請求項７に記載の操作支援システム。
【請求項９】
ユーザの左右の眼に異なる画像を視認させることで３次元画像を視認させる画像表示装置に表示された操作対象画像への前記ユーザの操作を支援する操作支援方法において、
前記画像表示装置において前記ユーザに所定の動作を行わせる対象となる動作対象画像を表示する対象画像表示ステップと、
前記動作対象画像に対して前記ユーザが前記所定の動作を行った動作位置を検出する動作位置検出ステップと、
前記動作位置検出ステップにより検出した前記動作位置と前記画像表示装置における前記動作対象画像の表示位置とに基づいて、前記ユーザの左右の眼の位置を特定する眼位置特定ステップと、
前記ユーザの指先の位置を検出する指先検出ステップと、
前記ユーザの左右の眼の位置と前記ユーザの指先の位置と前記画像表示装置における前記操作対象画像の表示位置とに基づいて、前記操作対象画像に対する前記ユーザの操作を特定する操作特定ステップと、を有することを特徴とする操作支援方法。
【請求項１０】
ユーザの左右の眼に異なる画像を視認させることで３次元画像を視認させる画像表示装置に表示された操作対象画像への前記ユーザの操作を支援するコンピュータプログラムであって、
コンピュータを、
前記画像表示装置において前記ユーザに所定の動作を行わせる対象となる動作対象画像を表示する対象画像表示手段と、
前記動作対象画像に対して前記ユーザが前記所定の動作を行った動作位置を検出する動作位置検出手段と、
前記動作位置検出手段により検出した前記動作位置と前記画像表示装置における前記動作対象画像の表示位置とに基づいて、前記ユーザの左右の眼の位置を特定する眼位置特定手段と、
前記ユーザの指先の位置を検出する指先検出手段と、
前記ユーザの左右の眼の位置と前記ユーザの指先の位置と前記画像表示装置における前記操作対象画像の表示位置とに基づいて、前記操作対象画像に対する前記ユーザの操作を特定する操作特定手段と、
して機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像に対するユーザの操作の支援を行う操作支援システム、操作支援方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、パーソナルコンピュータ、ＡＴＭ、券売機、ゲームマシン、ナビゲーション装置、スマートフォン等の機器に対してユーザが操作を行う際に、機器に対するユーザの操作を受け付ける手段として、様々なマンマシンインタフェースが用いられている。近年、マンマシンインタフェースの一つとして、ユーザのタッチ操作を受け付ける操作面を設け、該操作面に対するユーザのタッチ操作（例えば、タッチオンする操作、タッチオフする操作、ドラッグ操作、フリック操作等）をユーザの操作として検出する操作機器が良く用いられる。このような操作機器としては、タッチパッド、タッチパネル、タブレット等（以下、タッチパッド等という）があり、ユーザに直感的で分かり易い操作を行わせることが可能となる。
【０００３】
しかしながら、上記タッチパッド等ではユーザが操作面に対して直接接触しなければ操作を受け付けないことから、操作面をユーザの手の届く範囲に設置する必要があった。そこで、特開２０１２−１９８６０８号公報には、ユーザの眼の位置から選択対象物までのベクトルと、ユーザの眼の位置から指先までのベクトルの方向が一致した場合に、該選択対象物を選択する技術について提案されている。上記技術によれば、操作面を設けることなくユーザの空間への指先の操作によって、選択対象物を選択することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１９８６０８号公報（第９頁、図８）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、上記特許文献１の技術では、ユーザの操作を特定する為にユーザの眼の位置を検出する必要があった。ここで、ユーザの眼の位置の検出は、例えば車内に設置されたカメラ等の撮像手段でユーザの顔を撮像した後に、画像処理を行うことにより行う。しかしながら、上記撮像手段を用いた画像処理によってユーザの眼の位置を正確に検出することは困難であった。特に、夜間等の車内が暗い状況では正確な検出が困難となる。そして、上記特許文献１の技術では眼の位置を正確に検出できないと、ユーザの操作についても正確に特定できなくなる問題があった。
【０００６】
本発明は前記従来における問題点を解消するためになされたものであり、周辺環境に関わらずユーザの眼の位置を正確に検出することが可能であり、その結果、３次元画像に対するユーザの操作についても正確に特定することを可能にした操作支援システム、操作支援方法及びコンピュータプログラムに関する。
【課題を解決するための手段】
【０００７】
前記目的を達成するため本発明に係る操作支援システム（１）、操作支援方法及びコンピュータプログラムは、ユーザの左右の眼に異なる画像を視認させることで３次元画像を視認させる画像表示装置（１５）を備え、画像表示装置に表示された操作対象画像（５２〜５８）へのユーザの操作を支援するシステム、並びに該システムを用いた操作支援方法、更に該システムに対して以下の各機能を実現させるコンピュータプログラムである。具体的には、画像表示装置においてユーザに所定の動作を行わせる対象となる動作対象画像（５９）を表示する対象画像表示手段（４１）と、動作対象画像に対してユーザが所定の動作を行った動作位置を検出する動作位置検出手段（４１）と、動作位置検出手段により検出した動作位置と画像表示装置における動作対象画像の表示位置とに基づいて、ユーザの左右の眼の位置を特定する眼位置特定手段と、ユーザの指先の位置を検出する指先検出手段（４１）と、ユーザの左右の眼の位置とユーザの指先の位置と画像表示装置における操作対象画像の表示位置とに基づいて、操作対象画像に対するユーザの操作を特定する操作特定手段（４１）と、を有することを特徴とする。
【発明の効果】
【０００８】
前記構成を有する本発明に係る操作支援システム、操作支援方法及びコンピュータプログラムによれば、３次元画像からなる操作対象画像へのユーザの操作を特定する場合において、カメラ等の撮像手段でユーザの顔を直接撮像することなくユーザの眼の位置を検出するので、周辺環境に左右されることなくユーザの眼の位置を正確に検出することが可能となる。その結果、検出されたユーザの眼の位置を用いて、ユーザの操作についても正確に特定することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係るナビゲーション装置を示したブロック図である。
【図２】車両に設置された３次元ディスプレイ及び車内カメラを示した図である。
【図３】３次元ディスプレイによって表示される表示画像の一例を示した図である。
【図４】本実施形態に係る結像範囲設定処理プログラムのフローチャートである。
【図５】頭部設定範囲の設定方法について説明した図である。
【図６】ポインタ画像の結像範囲の特定方法について説明した図である。
【図７】ポインタ画像の結像範囲の特定方法について説明した図である。
【図８】本実施形態に係る操作支援処理プログラムのフローチャートである。
【図９】運転者の眼の位置の特定方法について説明した図である。
【図１０】操作対象画像の結像位置の特定方法について説明した図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る操作支援システムについてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。
【００１１】
図１に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、車両周辺の地図やユーザによって操作対象となるアイコン等の各種映像を３次元画像により表示する３次元ディスプレイ１５と、経路案内に関する音声ガイダンス等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、から構成される。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ナビゲーション装置１の搭載された車両に対して設置された車内カメラ１９が接続されている。
【００１２】
以下に、ナビゲーション装置１を構成する各構成要素について順に説明する。
現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。
【００１３】
また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２をハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクにより構成しても良い。
【００１４】
ここで、地図情報ＤＢ３１は、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等が記憶された記憶手段である。
【００１５】
また、撮像画像ＤＢ３２は、車内カメラ１９によって撮像された撮像画像が格納される記憶手段である。
そして、ナビゲーションＥＣＵ１３は、撮像画像ＤＢ３２に格納された撮像画像に基づいて、運転者の指先の位置等を検出する。更に、検出された運転者の指先の位置に基づいて、後述のように運転者の眼の位置の検出、並びに運転者によるアイコン等の選択対象画像に対する操作を受け付ける。尚、地図情報ＤＢ３１や撮像画像ＤＢ３２を外部のサーバに記憶し、ナビゲーション装置１が通信によりデータの更新や取得を行う構成としても良い。
【００１６】
一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の結像範囲設定処理プログラム（図４参照）や操作支援処理プログラム（図８参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を構成する。例えば、対象画像表示手段は、画像表示装置においてユーザ（運転者）に所定の動作を行わせる対象となる動作対象画像を表示する。動作位置検出手段は、動作対象画像に対してユーザが所定の動作を行った動作位置を検出する。眼位置特定手段は、動作位置検出手段により検出した動作位置と画像表示装置における動作対象画像の表示位置とに基づいて、ユーザの左右の眼の位置を特定する。指先検出手段は、ユーザの指先の位置を検出する。操作特定手段は、ユーザの左右の眼の位置とユーザの指先の位置と画像表示装置における操作対象画像の表示位置とに基づいて、操作対象画像に対するユーザの操作を特定する。
【００１７】
操作部１４は、走行開始地点としての出発地、走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）から構成される。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、本実施形態では後述のように空間においてユーザの指先を移動させる操作によって、ナビゲーション装置１の操作を行うことが可能であるので、操作部１４については省略しても良い。
【００１８】
また、３次元ディスプレイ１５は、図２に示すようにダッシュボード５０に設置されており、運転者の左右の眼に別々の画像を視認させることによって３次元画像を視認させる画像表示装置である。例えば、パララックスバリア方式やレンチキュラーレンズ方式が用いられる。尚、表示する３次元画像としては、メニュー画面、目的地設定画面、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等がある。
【００１９】
ここで、図３は３次元ディスプレイ１５によって表示される表示画像の一例を示した図である。例えば、図３ではナビゲーション装置１において目的地を設定する際に表示される目的地設定画面５１を示す。
図３に示すように、目的地設定画面５１には、ユーザによって操作対象となる複数のアイコン５２〜５８が表示される。例えば、アイコン５２は、名称によって目的地を設定する際に操作されるボタンである。尚、本実施形態では３次元画像により目的地設定画面５１を表示するので、ユーザは各アイコン５２〜５８が空間中に浮き上がっているように視認される。また、本実施形態では後述のようにアイコン５２〜５８の選択操作を、浮き上がって視認できるアイコン５２〜５８の位置（即ち、実際にアイコン５２〜５８が表示されている３次元ディスプレイ１５上の位置ではなくユーザによって視認できる空間上の位置）へユーザの指先を移動させる操作によって行うことが可能となる。
【００２０】
また、目的地設定画面５１の左上端部には、ユーザに所定の動作を行わせる対象となる動作対象画像であるポインタ画像５９が３次元画像により表示される。ここで、所定の動作とは、一点を指で摘む動作、一点を指で長押しする動作、予め決められた形状のラインを指でなぞる動作等がある。例えば図３に示す例では、ポインタ画像５９は、指で摘む動作を行わせる画像である。そして、３次元ディスプレイ１５に目的地設定画面５１が表示されると、ユーザは目的地設定画面５１の操作を行う前に先ず空間中に浮き上がって見えるポインタ画像５９を指で掴む操作を行う。その結果、ナビゲーションＥＣＵ１３は、後述のように車内カメラ１９を用いてユーザが指で掴む操作を行った動作位置を検出し、検出した動作位置に基づいてユーザの眼の位置を特定することが可能となる。
【００２１】
尚、ポインタ画像５９は、ナビゲーション装置１の電源がオンされている状態で常に表示する構成としても良いし、特定の表示画面（例えばメニュー画面）でのみ表示する構成としても良いし、ナビゲーション装置１の電源がオンされてから運転者の眼の位置が特定されるまでの間のみ表示する構成としても良い。
【００２２】
また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
【００２３】
また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。
【００２４】
また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。
【００２５】
また、車内カメラ１９は、図２に示すようにナビゲーション装置１が搭載された車両の天井に、３次元ディスプレイ１５方向を撮像するように設置される。そして、車内カメラ１９は、３次元ディスプレイ１５に表示された操作対象画像（図３に示す目的地設定画面５１が表示された状態では、アイコン５２〜５８）やポインタ画像５９を操作する運転者６１の指先６２周辺を撮影する。
そして、ナビゲーションＥＣＵ１３は、後述のように車内カメラ１９により撮像した撮像画像に基づいて、操作対象画像を操作する運転者６１の指先６２の位置やポインタ画像５９に対して運転者６１が所定の動作（例えば一点を指で摘む動作）を行った動作位置を検出する。尚、車内カメラ１９は、指先６２の奥行き方向の位置も特定する為にステレオカメラとすることが望ましい。
【００２６】
続いて、上記構成を有する本実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する結像範囲設定処理プログラムについて図４に基づき説明する。図４は本実施形態に係る結像範囲設定処理プログラムのフローチャートである。ここで、結像範囲設定処理プログラムは、ナビゲーション装置１の電源がＯＮされた後に実行され、３次元ディスプレイ１５により表示されるポインタ画像５９を運転者が視認する可能性のある空間上の位置を予測するプログラムである。尚、以下の図４及び図８にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。
【００２７】
先ず、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は、頭部設定範囲を設定する。ここで、頭部設定範囲は、運転席に座る運転者の左右の眼が移動可能な範囲である。図５に示すように運転席に座る運転者６１の頭部の位置は常に固定ではなく、左右方向及び上下方向に移動する。それに伴って、運転者の左右の眼の位置も移動することとなる。従って、前記Ｓ１においてＣＰＵ４１は、運転者の左右の眼が移動可能な範囲を頭部設定範囲７１として設定する。尚、頭部設定範囲７１の設定方法としては、例えば運転席に着座した運転者の基準となる頭部の位置（以下、基準位置という）をカメラの撮像結果やユーザの入力操作等によって取得し、取得した基準位置を中心とした長方形状を頭部設定範囲７１とする。尚、長方形状の辺の長さは、固定としても良いし、基準位置や車両のシート形状等によって変更しても良い。
【００２８】
次に、Ｓ２においてＣＰＵ４１は、３次元ディスプレイ１５に表示するポインタ画像５９（図３参照）について、運転者の左眼に視認させるポインタ画像５９の表示位置（以下、左眼画像表示位置という）と、運転者の右眼に視認させるポインタ画像５９の表示位置（以下、右眼画像表示位置という）とをそれぞれ取得する。尚、ポインタ画像５９は、少なくともナビゲーション装置１の電源がオンされた後であって、後述の処理で運転者の眼の位置が特定されるまで３次元ディスプレイ１５の固定位置（例えば左上隅）に継続して表示される。また、本実施形態の３次元ディスプレイ１５は、前述したように運転者の左右の眼に別々の画像を視認させることによって３次元画像を視認させる画像表示装置であることから、左眼画像表示位置と右眼画像表示位置とは異なる位置となる。
【００２９】
続いて、Ｓ３においてＣＰＵ４１は、前記Ｓ１で設定した頭部設定範囲７１と、前記Ｓ２で取得した左眼画像表示位置及び右眼画像表示位置とに基づいて、ポインタ画像５９の結像範囲７２を特定する。尚、ポインタ画像５９の結像範囲７２は、３次元画像により表示され、運転者から空間上に位置するように視認できるポインタ画像５９を、運転者が視認する可能性のある範囲となる。以下、図６を用いてポインタ画像５９の結像範囲７２の特定方法について説明する。
【００３０】
先ず、図６に示すように、頭部設定範囲７１の最も左上に運転者６１の頭部が位置すると仮定した場合の運転者の左眼の位置Ｅ１と、左眼画像表示位置ＰＬを結ぶ直線７３を規定する。同様にして、頭部設定範囲７１の最も左上に運転者６１の頭部が位置すると仮定した場合の運転者の右眼の位置Ｅ２と、右眼画像表示位置ＰＲを結ぶ直線７４を規定する。そして、直線７３と直線７４の交点Ｐ１を算出する。尚、交点Ｐ１は、頭部設定範囲７１の最も左上に運転者６１の頭部が位置すると仮定した場合のポインタ画像５９の結像位置（運転者がポインタ画像５９を視認する空間上の位置）となる。
【００３１】
また、頭部設定範囲７１の最も右上に運転者６１の頭部が位置すると仮定した場合の運転者の左眼の位置Ｅ３と右眼の位置Ｅ４についても同様に各直線を規定し、交点Ｐ２を算出する。また、頭部設定範囲７１の最も左下に運転者６１の頭部が位置すると仮定した場合の運転者の左眼の位置Ｅ５と右眼の位置Ｅ６についても同様に各直線を規定し、交点Ｐ３を算出する。また、頭部設定範囲７１の最も右下に運転者６１の頭部が位置すると仮定した場合の運転者の左眼の位置Ｅ７と右眼の位置Ｅ８についても同様に各直線を規定し、交点Ｐ４を算出する。そして、図７に示すように算出された交点Ｐ１〜Ｐ４で囲まれる範囲が、ポインタ画像５９の結像範囲７３となる。
【００３２】
続いて、ナビゲーション装置１においてＣＰＵ４１が実行する操作支援処理プログラムについて図８に基づき説明する。図８は本実施形態に係る操作支援処理プログラムのフローチャートである。ここで、操作支援処理プログラムは、上述した結像範囲設定処理プログラム（図４）によってポインタ画像５９の結像範囲７３が特定された後に実行され、３次元ディスプレイ１５に表示された操作対象画像（例えば、アイコンやボタン）に対する操作を受け付け、受け付けた操作に基づく各種処理を行うプログラムである。
【００３３】
先ず、Ｓ１１においてＣＰＵ４１は、車内カメラ１９により撮像された撮像画像を撮像画像ＤＢ３２から読み出す。尚、車内カメラ１９は図２に示すように３次元ディスプレイ１５に表示された操作対象画像（図３に示す目的地設定画面５１が表示された状態では、アイコン５２〜５８）やポインタ画像５９を操作する運転者６１の指先６２周辺を撮像可能に構成されている。
【００３４】
次に、Ｓ１２においてＣＰＵ４１は、前記Ｓ１１で取得した車内カメラ１９の撮像画像に基づいて、上述した結像範囲設定処理プログラム（図４）によって特定されたポインタ画像５９の結像範囲７３内で、運転者が所定の動作を行ったか否か判定する。ここで、ここで、所定の動作とは、一点を指で摘む動作、一点を指で長押しする動作、予め決められた形状のラインを指でなぞる動作等があり、いずれの動作とするかはナビゲーション装置１において予め設定可能となる。例えば図３に示す例では、ポインタ画像５９は、指で摘む動作を行わせる画像であるので、ポインタ画像５９の結像範囲７３内で運転者が一点を指で摘む動作を行ったか否かを判定する。
【００３５】
また、ＣＰＵ４１は、運転者が所定の動作を行っている途中で該所定の動作と異なる動作が行われたことを検出した場合であっても、異なる動作における指の移動範囲が閾値以内である場合には、該異なる動作は手ぶれ等のユーザの意図に反する動作であると推定し、運転者が所定の動作を行ったと判定する。
【００３６】
そして、ポインタ画像５９の結像範囲７３内で運転者が所定の動作を行ったと判定された場合（Ｓ１２：ＹＥＳ）には、Ｓ１３へと移行する。それに対して、ポインタ画像５９の結像範囲７３内で運転者が所定の動作を行っていないと判定された場合（Ｓ１２：ＮＯ）には、当該操作支援処理プログラムを終了する。
【００３７】
Ｓ１３においてＣＰＵ４１は、前記Ｓ１１で取得した車内カメラ１９の撮像画像に基づいて、運転者が所定の動作を行った位置（以下、動作位置という）を検出する。尚、動作位置の検出は、撮像画像に対して公知の画像処理を行うことによって運転者の指の位置を座標系で特定することにより行う。
【００３８】
次に、Ｓ１４においてＣＰＵ４１は、図９に示すように、左眼画像表示位置ＰＬと動作位置Ｐとを結ぶ第１直線７５を規定する。同じく、右眼画像表示位置ＰＲと動作位置Ｐとを結ぶ第２直線７６を規定する。尚、第１直線７５上のいずれかの位置に運転者の左眼があり、第２直線７６上のいずれかの位置に運転者の右眼があると推定できる。
【００３９】
続いて、Ｓ１５においてＣＰＵ４１は、前記Ｓ１４で規定した第１直線７５と第２直線７６とに基づいて、運転者の左右の眼の位置を特定する。具体的には、先ず図９に示すように３次元ディスプレイ１５の表示面と平行であって、第１直線７５及び第２直線７６と交わるとともに第１直線７５との交点と第２直線７６との交点の間の距離が所定間隔Ｄとなる第３直線７７を規定する。そして、第３直線７７と第１直線７５の交点に運転者の左眼ＥＬがあると特定するとともに、第３直線７７と第２直線７６の交点に運転者の右眼ＥＲがあると特定する。尚、間隔Ｄは固定値としても良いし、予めユーザに入力させる構成としても良い。
【００４０】
その後、Ｓ１６においてＣＰＵ４１は、運転者によって操作対象となる操作対象画像（図３に示す目的地設定画面５１が表示された状態ではアイコン５２〜５８）の結像位置（運転者が操作対象画像を視認する空間上の位置）を推定する。具体的には、先ず、ＣＰＵ４１は、左眼に視認させる操作対象画像の表示位置（以下、左眼操作対象画像表示位置という）と右眼に視認させる操作対象画像の表示位置（以下、右眼操作対象画像表示位置という）とを取得する。次に、図１０に示すように左眼操作対象画像表示位置ＳＬと前記Ｓ１５で特定された運転者の左眼の位置ＥＬとを結ぶ直線８１を規定する。同じく、右眼操作対象画像表示位置ＳＲと前記Ｓ１５で特定された運転者の右眼の位置ＥＲとを結ぶ直線８２を規定する。そして、直線８１と直線８２の交点Ｓを算出する。そして、交点Ｓは操作対象画像の結像位置（運転者が操作対象画像を視認する空間上の位置）となる。
【００４１】
尚、操作対象画像が複数ある場合（例えば図３に示す例では操作対象画像はアイコン５２〜５８の７個からなる）には、複数の操作対象画像に対して夫々左眼操作対象画像表示位置及び右眼操作対象画像表示位置を取得する。そして、複数の操作対象画像毎に上記Ｓ１６の処理を実行し、結像位置を推定する。
【００４２】
次に、Ｓ１７においてＣＰＵ４１は、運転者の指先の位置を検出する。尚、指先の位置の検出は、車内カメラ１９で撮像した撮像画像に対して公知の画像処理を行うことによって、運転者の指先の位置を座標系で特定することにより行う。
【００４３】
続いて、Ｓ１８においてＣＰＵ４１は、前記Ｓ１６で推定されたいずれかの操作対象画像の結像位置と前記Ｓ１７で検出された運転者の指先の位置が所定時間以上重複したか否か判定する。尚、結像位置と指先の位置が完全に一致していなくても、両者の距離間隔が所定距離以内（例えば１ｃｍ以内）にあれば重複しているとみなすのが望ましい。また、前記Ｓ１８の判定条件となる所定時間は、操作対象画像の結像位置と指先の位置が偶然重なったのではなく、運転者が操作対象画像を明らかに操作する意思があるとみなすことができる下限の時間であり、例えば２秒とする。尚、所定時間はＲＡＭ４２等の記憶媒体に記憶される。
【００４４】
そして、前記Ｓ１６で推定されたいずれかの操作対象画像の結像位置と前記Ｓ１７で検出された運転者の指先の位置が所定時間以上重複したと判定された場合（Ｓ１８：ＹＥＳ）には、Ｓ１９へと移行する。それに対して、前記Ｓ１６で推定された操作対象画像の結像位置と前記Ｓ１７で検出された運転者の指先の位置が所定時間以上重複していないと判定された場合（Ｓ１８：ＮＯ）には、運転者は操作対象画像に対する操作を行っていないと推定し、当該操作支援処理プログラムを終了する。
【００４５】
Ｓ１９においてＣＰＵ４１は、操作対象画像が運転者によって操作されたと認定し、操作された操作対象画像に対応する処理を実行する。例えば、操作対象画像が図３に示すアイコン５２である場合には、目的地名称の入力画面への表示画面を切り換える。また、操作対象画像が図３に示すアイコン５８である場合には、現在ナビゲーション装置１で設定されている目的地を消去する。
【００４６】
以上詳細に説明した通り、本実施形態に係るナビゲーション装置１、ナビゲーション装置１による操作支援方法及びナビゲーション装置１で実行されるコンピュータプログラムでは、３次元ディスプレイ１５においてユーザに所定の動作を行わせる対象となるポインタ画像５９を表示し、ポインタ画像５９に対してユーザが所定の動作を行った動作位置を検出し（Ｓ１３）、検出した動作位置と３次元ディスプレイ１５における動作対象画像の表示位置とに基づいて、ユーザの左右の眼の位置を特定する（Ｓ１４、Ｓ１５）。その後、ユーザの指先の位置を検出し（Ｓ１７）、ユーザの左右の眼の位置とユーザの指先の位置と３次元ディスプレイ１５における操作対象画像の表示位置とに基づいて、操作対象画像に対するユーザの操作を特定する（Ｓ１９）ので、３次元画像からなる操作対象画像へのユーザの操作を特定する場合において、カメラ等の撮像手段でユーザの顔を直接撮像することなくユーザの眼の位置を検出することができ、周辺環境に左右されることなくユーザの眼の位置を正確に検出することが可能となる。その結果、検出されたユーザの眼の位置を用いて、ユーザの操作についても正確に特定することが可能となる。尚、本実施形態でもユーザの指先を検出する際には車内カメラ１９による撮像画像を用いているが、眼の位置と比べて指先の位置は周辺環境に左右されずに正確に検出することが可能であり、本願目的を達成することが可能である。
【００４７】
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、３次元画像を表示する手段としてパララックスバリア方式やレンチキュラーレンズ方式の３次元ディスプレイを用いているが、ユーザによって３次元画像を視認させる表示手段であれば他の表示手段を用いても良い。
【００４８】
また、本実施形態では、前記Ｓ１６で推定されたいずれかの操作対象画像の結像位置と前記Ｓ１７で検出された運転者の指先の位置が所定時間以上重複した場合に、操作対象画像が操作されたと判定する構成としているが、前記Ｓ１６で推定されたいずれかの操作対象画像の結像位置と前記Ｓ１７で検出された運転者の指先の位置が重複した状態で特定の指の動作（例えば、指を前方へと移動する動作）を検出した場合に、操作対象画像が操作されたと判定する構成としても良い。また、前記Ｓ１６で推定されたいずれかの操作対象画像の結像位置と前記Ｓ１７で検出された運転者の指先の位置が重複した時点で、操作対象画像が操作されたと判定する構成としても良い。
【００４９】
また、本発明はナビゲーション装置以外に、３次元画像により表示された操作対象画像をユーザに操作させる機能を有する各種装置に対して適用することが可能である。例えば、スマートフォン、パーソナルコンピュータ、ゲームマシン、ＡＴＭ、券売機等に対しても適用することが可能となる。
【００５０】
また、本発明に係る操作支援システムを具体化した実施例について上記に説明したが、操作支援システムは以下の構成を有することも可能であり、その場合には以下の効果を奏する。
【００５１】
例えば、第１の構成は以下のとおりである。
眼位置特定手段は、左眼に視認させる動作対象画像の表示位置と動作位置検出手段により検出した動作位置とを結ぶ直線である第１直線上にユーザの左眼があると特定するとともに、右眼に視認させる動作対象画像の表示位置と動作位置検出手段により検出した動作位置とを結ぶ直線である第２直線上にユーザの右眼があると特定することを特徴とする。
上記構成を有する操作支援システムによれば、ユーザの顔をカメラ等で直接撮像する必要なく、ユーザの左右の眼の位置を正確に検出することが可能となる。
【００５２】
また、第２の構成は以下のとおりである。
眼位置特定手段は、画像表示装置の表示面と平行であって、第１直線及び第２直線と交わるとともに第１直線との交点と第２直線との交点の間の距離が所定間隔となる第３直線を規定し、第３直線と第１直線の交点にユーザの左眼があると特定するとともに、第３直線と第２直線の交点にユーザの右眼があると特定することを特徴とする。
上記構成を有する操作支援システムによれば、ユーザの顔をカメラ等で直接撮像する必要なく、ユーザの左右の眼の位置を正確に検出することが可能となる。また、直線と交点を用いた容易な処理によってユーザの眼の位置を検出することが可能であり、ＣＰＵの処理時間や処理負荷を軽減することが可能である。
【００５３】
また、第３の構成は以下のとおりである。
操作特定手段は、左眼に視認させる操作対象画像の表示位置とユーザの左眼の位置とを結ぶ直線と、右眼に視認させる操作対象画像の表示位置とユーザの右眼の位置とを結ぶ直線との交点上を操作対象画像の結像位置と推定し、操作対象画像の結像位置とユーザの指先の位置の重複態様に基づいて、操作対象画像に対するユーザの操作を特定することを特徴とする。
上記構成を有する操作支援システムによれば、３次元画像により表示された操作対象画像、即ちユーザからは空間上に位置するように視認できる操作対象画像に対してユーザが操作を行った操作を正確に特定することが可能である。その結果、ユーザの意図に沿った適切な操作を行わせることが可能となる。
【００５４】
また、第４の構成は以下のとおりである。
画像表示装置には操作対象画像が複数表示され、操作特定手段は、複数の操作対象画像の内、結像位置がユーザの指先の位置と重複する操作対象物画像をユーザが操作したと特定することを特徴とする。
上記構成を有する操作支援システムによれば、３次元画像により複数の操作対象画像が表示された場合であっても、ユーザにより操作対象となった操作対象画像を正確に特定することが可能となる。
【００５５】
また、第５の構成は以下のとおりである。
動作位置検出手段は、ユーザの頭部が位置すると予測される第１範囲を特定し、第１範囲と画像表示装置における動作対象画像の表示位置とに基づいて、動作対象画像の結像位置が含まれる第２範囲を推定し、第２範囲内においてユーザが所定の動作を行った動作位置を検出することを特徴とする。
上記構成を有する操作支援システムによれば、３次元画像により表示された動作対象画像をユーザが視認できる位置を予め予測することによって、動作対象画像に対してユーザが所定の動作を行ったか否かを正確に判定でき、更に所定の動作が行われた動作位置を正確に検出することが可能となる。
【００５６】
また、第６の構成は以下のとおりである。
所定の動作は、一点を指で摘む動作、一点を指で長押しする動作、予め決められた形状のラインを指でなぞる動作のいずれかであることを特徴とする。
上記構成を有する操作支援システムによれば、特殊な動作をユーザに課すことによって、ユーザの意図しない動作が所定の操作として誤検出されることを防止できる。その結果、ユーザの眼の位置を正確に特定することが可能となる。
【００５７】
また、第７の構成は以下のとおりである。
動作位置検出手段は、ユーザが所定の動作を行っている途中で該所定の動作と異なる動作が行われたことを検出した場合に、異なる動作における指の移動範囲が閾値以内である場合には、ユーザが所定の動作を行った位置を動作位置として検出することを特徴とする。
上記構成を有する操作支援システムによれば、ユーザが所定の動作を行っている途中で手ぶれ等のユーザの意図に反する動作が検出された場合であっても、運転者が所定の動作を行ったとみなすので、ユーザが所定の動作を行ったか否かを正確に判定することが可能となる。
【符号の説明】
【００５８】
１              ナビゲーション装置
１３            ナビゲーションＥＣＵ
１５            ３次元ディスプレイ
１９            車内カメラ
４１            ＣＰＵ
４２            ＲＡＭ
４３            ＲＯＭ
５２〜５８      アイコン
５９            ポインタ画像
７１            頭部設定範囲
７２            結像範囲
【図１】
2015103233.tif 000003
【図２】
2015103233.tif 000004
【図３】
2015103233.tif 000005
【図４】
2015103233.tif 000006
【図５】
2015103233.tif 000007
【図６】
2015103233.tif 000008
【図７】
2015103233.tif 000009
【図８】
2015103233.tif 000010
【図９】
2015103233.tif 000011
【図１０】
2015103233.tif 000012