(57)【要約】      （修正有）【課題】端末装置とグラス型デバイスとからなる情報処理システムにおいて、実行可能な複数の処理モードの中から、目的とする処理モードを一義的に、しかも迅速かつ適切に選択して実行する。【解決手段】実行可能な複数の処理モードとインデックス情報とを対応付けたメニューを、グラス型デバイス２のレンズ部２Ｒに表示し使用者に通知する。使用者は、目的とする処理モードに対応するインデックス情報に応じたシンボルをグラス型デバイス２のカメラ部を通じて撮像する。撮像された画像は携帯端末装置１に送られ、インデックス情報に応じたシンボルが画像認識されて、当該シンボルに対応するインデックス情報が特定され、この特定されたインデックス情報に応じた処理モードを実行する。【選択図】図１
2016151938.tif 000002
【特許請求の範囲】
【請求項１】
端末装置とグラス型デバイスとにより形成される情報処理システムであって、
前記端末装置は、
前記グラス型デバイスと通信するための端末側通信手段と、
実行可能な複数の処理モードと、当該複数の処理モードのそれぞれに対応するインデックス情報と、当該インデックス情報に応じたシンボルとを対応付けできるようにして記憶する記憶手段と、
前記記憶手段に記憶されている情報に応じて、前記処理モードと前記インデックス情報とを対応付けたメニューを形成し、前記端末側通信手段を通じて前記グラス型デバイスに提供して表示するように制御するメニュー表示制御手段と、
前記端末側通信手段を通じて受信される前記グラス型デバイスから送信されてくる画像について画像認識を行うことにより、前記画像に含まれる前記インデックス情報に応じた前記シンボルを認識して前記インデックス情報を特定する特定手段と、
前記特定手段で特定された前記インデックス情報に対応する処理モードを実行するように制御するモード制御手段と
を備え、
前記グラス型デバイスは、
前記端末装置と通信するためのグラス側通信手段と、
前記グラス側通信手段を通じて受信される前記メニューを表示する表示処理手段と、
表示される前記メニューにおいて目的とする前記処理モードに対応付けられている前記インデックス情報に応じた前記シンボルを含む画像を撮像する撮像手段と、
前記撮像手段で撮像された前記画像を、前記グラス側通信手段を通じて前記端末装置に送信するように制御する送信制御手段と
を備えることを特徴とする情報処理システム。
【請求項２】
請求項１に記載の情報処理システムであって、
前記インデックス情報に応じた前記シンボルは、番号、記号、文字、図形を含む表示された、あるいは、記載された情報の画像であることを特徴とする情報処理システム。
【請求項３】
請求項１に記載の情報処理システムであって、
前記インデックス情報に応じた前記シンボルは、使用者の手で表現されたシンボルであることを特徴とする情報処理システム。
【請求項４】
端末装置とグラス型デバイスとにより形成される情報処理システムの前記端末装置であって、
前記グラス型デバイスと通信するための端末側通信手段と、
実行可能な複数の処理モードと、当該複数の処理モードのそれぞれに対応するインデックス情報と、当該インデックス情報に応じたシンボルとを対応付けできるようにして記憶する記憶手段と、
前記記憶手段に記憶されている情報に応じて、前記処理モードと前記インデックス情報とを対応付けたメニューを形成し、前記端末側通信手段を通じて前記グラス型デバイスに提供して表示するように制御するメニュー表示制御手段と、
前記端末側通信手段を通じて受信される前記グラス型デバイスから送信されてくる画像について画像認識を行うことにより、前記画像に含まれる前記インデックス情報に応じた前記シンボルを認識して前記インデックス情報を特定する特定手段と、
前記特定手段で特定された前記インデックス情報に対応する処理モードを実行するように制御するモード制御手段と
を備えることを特徴とする端末装置。
【請求項５】
端末装置とグラス型デバイスとにより形成される情報処理システムの前記グラス型デバイスであって、
前記端末装置は、前記グラス型デバイスと通信するための端末側通信手段と、実行可能な複数の処理モードと、当該複数の処理モードのそれぞれに対応するインデックス情報と、当該インデックス情報に応じたシンボルとを対応付けできるようにして記憶する記憶手段と、前記記憶手段に記憶されている情報に応じて、前記処理モードと前記インデックス情報とを対応付けたメニューを形成し、前記端末側通信手段を通じて前記グラス型デバイスに提供して表示するように制御するメニュー表示制御手段と、前記端末側通信手段を通じて受信される前記グラス型デバイスから送信されてくる画像について画像認識を行うことにより、前記画像に含まれる前記インデックス情報に応じた前記シンボルを認識して前記インデックス情報を特定する特定手段と、前記特定手段で特定された前記インデックス情報に対応する処理モードを実行するように制御するモード制御手段とを備えるものであり、
前記端末装置と通信するためのグラス側通信手段と、
前記グラス側通信手段を通じて受信される前記メニューを表示する表示処理手段と、
表示される前記メニューにおいて目的とする前記処理モードに対応付けられている前記インデックス情報に応じた前記シンボルを含む画像を撮像する撮像手段と、
前記撮像手段で撮像された前記画像を、前記グラス側通信手段を通じて前記端末装置に送信するように制御する送信制御手段と
を備えることを特徴とするグラス型デバイス。
【請求項６】
端末装置とグラス型デバイスとにより形成される情報処理システムで用いられる処理モード実行方法であって、
前記端末装置においては、
メニュー表示制御手段が、実行可能な複数の処理モードと、当該複数の処理モードのそれぞれに対応するインデックス情報と、当該インデックス情報に応じたシンボルとを対応付けできるようにして記憶する記憶手段に記憶されている情報に応じて、前記処理モードと前記インデックス情報とを対応付けたメニューを形成し、前記グラス型デバイスと通信するための端末側通信手段を通じて前記グラス型デバイスに提供して表示するように制御するメニュー表示制御工程と、
特定手段が、端末側通信手段を通じて受信される前記グラス型デバイスから送信されてくる画像について画像認識を行うことにより、前記画像に含まれる前記インデックス情報に応じた前記シンボルを認識して前記インデックス情報を特定する特定工程と、
モード制御手段が、前記特定工程で特定した前記インデックス情報に対応する処理モードを実行するように制御するモード制御工程と
を有し、
前記グラス型デバイスにおいては、
表示処理手段が、前記端末装置と通信するためのグラス側通信手段を通じて受信される前記メニューを表示する表示処理工程と、
撮像手段が、表示される前記メニューにおいて目的とする前記処理モードに対応付けられている前記インデックス情報に応じた前記シンボルを含む画像を撮像する撮像工程と、
送信制御手段が、前記撮像工程で撮像された前記画像を、前記グラス側通信手段を通じて前記端末装置に送信するように制御する送信制御工程と
を有することを特徴とする処理モード実行方法。
【請求項７】
端末装置とグラス型デバイスとにより形成される情報処理システムの前記端末装置に搭載されたコンピュータで実行される処理モード実行プログラムであって、
メニュー表示制御手段が、実行可能な複数の処理モードと、当該複数の処理モードのそれぞれに対応するインデックス情報と、当該インデックス情報に応じたシンボルとを対応付けできるようにして記憶する記憶手段に記憶されている情報に応じて、前記処理モードと前記インデックス情報とを対応付けたメニューを形成し、前記グラス型デバイスと通信するための端末側通信手段を通じて前記グラス型デバイスに提供して表示するように制御するメニュー表示制御ステップと、
特定手段が、端末側通信手段を通じて受信される前記グラス型デバイスから送信されてくる画像について画像認識を行うことにより、前記画像に含まれる前記インデックス情報に応じた前記シンボルを認識して前記インデックス情報を特定する特定ステップと、
モード制御手段が、前記特定工程で特定した前記インデックス情報に対応する処理モードを実行するように制御するモード制御ステップと
を実行することを特徴とする端末装置側の処理モード実行プログラム。
【請求項８】
端末装置とグラス型デバイスとにより形成される情報処理システムの前記グラス型デバイスに搭載されたコンピュータで実行される処理モード実行プログラムであって、
前記端末装置では、メニュー表示制御手段が、実行可能な複数の処理モードと、当該複数の処理モードのそれぞれに対応するインデックス情報と、当該インデックス情報に応じたシンボルとを対応付けできるようにして記憶する記憶手段に記憶されている情報に応じて、前記処理モードと前記インデックス情報とを対応付けたメニューを形成し、前記グラス型デバイスと通信するための端末側通信手段を通じて前記グラス型デバイスに提供して表示するように制御するメニュー表示制御ステップと、特定手段が、端末側通信手段を通じて受信される前記グラス型デバイスから送信されてくる画像について画像認識を行うことにより、前記画像に含まれる前記インデックス情報に応じた前記シンボルを認識して前記インデックス情報を特定する特定ステップと、モード制御手段が、前記特定工程で特定した前記インデックス情報に対応する処理モードを実行するように制御するモード制御ステップとを実行するようにされており、
表示処理手段が、前記端末装置と通信するためのグラス側通信手段を通じて受信される前記メニューを表示する表示処理ステップと、
撮像手段が、表示される前記メニューにおいて目的とする前記処理モードに対応付けられているインデックス情報に応じた前記シンボルを含む画像を撮像する撮像ステップと、
送信制御手段が、前記撮像ステップで撮像された前記画像を、前記グラス側通信手段を通じて前記端末装置に送信するように制御する送信制御ステップと
を実行することを特徴とするグラス型デバイス側の処理モード実行プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、高機能携帯電話端末などの端末装置とグラス型デバイスとからなるシステム、当該システムで用いられる装置、方法、当該装置で用いられるプログラムに関する。
【背景技術】
【０００２】
従来から眼鏡型表示装置を利用した種々の発明がなされている。例えば、後に記す特許文献１には、眼鏡型表示装置を備えたナビゲーション装置に関する発明が開示されている。また、後に記す特許文献２には、眼鏡に取り付けたカメラを通じて取り込んだ文字情報を翻訳して出力する発明が開示されている。眼鏡は、使用者の目の前方に位置するように使用者の頭部に装着された場合、眼鏡の向きは使用者の視線方向に一致する。また、眼鏡のレンズ部をディスプレイ（表示装置）として用いた場合には、表示情報を確実に使用者に提供できる。このような眼鏡の特性を生かし、近年においては、従来の眼鏡型表示装置をさらに発展させたグラス型スマートデバイスなどと呼ばれるグラス（眼鏡）型デバイスが提供されるようになってきている。
【０００３】
近年のグラス型デバイスは、例えば、スマートフォンなどと呼ばれる高機能携帯電話端末などの端末装置と協働することによって、種々の処理モード（種々の機能）を提供できる。例えば、歩行者ナビの情報を表示したり、文字認識して翻訳結果を表示したりできる。また、グラス型デバイスと端末装置とが協働することによって、顔認識して人物情報を表示したり、再生中の楽曲の歌詞を表示したり、着信メールの内容を表示したり、現在地周辺の情報を表示したりできる。また、グラス型デバイスに搭載されているカメラ部を機能させて動画や静止画の撮影を行うこともできる。この場合、使用者の目線で動画や静止画の撮影ができ、使用者はカメラを手に持つ必要がないので、例えば歩行中や自転車で移動中であっても、安全かつ自由な撮影が可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０３７１８１号公報
【特許文献２】特開２００２−２０７７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、グラス型デバイスと高機能携帯電話端末などの端末装置からななる情報処理システムでは、種々の処理モードを提供でき、また、提供できる処理モードの数は増えるものと考えられる。このため、端末装置とグラス型デバイスとからなる情報処理システムにおいては、使用者が目的とする処理モードを簡単かつ確実に選択して実行できるようにすることが使い勝手を良くする上で重要である。端末装置とグラス型デバイスとからなる情報処理システムに対して、実行する処理モードの選択指示を入力する方法としては、種々のものが考えられる。
【０００６】
例えば、音声コマンドにより選択指示を入力することが考えられるが、周囲に人が多い状況では恥ずかしいし、静かな場所では迷惑になりかねない。グラス型デバイスに対して選択操作を行うことも考えられるが、その大きさからグラス型デバイスに多くの操作ボタンなどを設けることができないため物理操作の数が限られる。「まばたき」を選択情報として用いることも考えられるが、「まばたき」の検出用カメラを設ける必要があり、また、「まばたき」の検出ができたとしても、開け閉じ左右しか選択肢がない。
【０００７】
もちろん、端末装置に対して選択指示を入力することが一般的な方法であるが、視線を端末装置に向けなければならず、端末装置とグラス型デバイスとからなるシステムの迅速な使用を阻害する場合があると考えられる。また、付属のリモコン装置を通じて選択指示を入力することも考えられるが、携帯端末とグラス型デバイスとからなる情報処理システムに更にリモコン装置を付けることはコスト高に繋がる他、リモコン装置に対する操作に慣れないうちは視線をリモコン装置に向けなければならず、やはり当該システムの迅速な使用を阻害する場合があると考えられる。
【０００８】
また、グラス型デバイスに加速度センサを設け、グラス型デバイスを装着した使用者の上下左右への首振りの実施の状況に応じて、選択指示の入力を行うことが考えられるが、この場合にも表現可能な状態の数は限られてしまう。また、首振りの回数に応じて、実行可能な機能（処理モード）を選択できるようにすることも考えられる。しかし、実行可能な機能が多くなればなるほど、目的とする機能を実行するために数多く首を振らなければならない状況が起こるため、迅速な選択入力が行えない場合もある。また、選択入力とは無関係に行われた首振りが、選択入力の首振りと誤認識される可能性もある。
【０００９】
以上のことに鑑み、この発明は、端末装置とグラス型デバイスとからなる情報処理システムにおいて、実行可能な複数の処理モードの中から、目的とする処理モードを一義的に、しかも迅速かつ適切に選択して実行できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１に記載の発明の情報処理システムは、
端末装置とグラス型デバイスとにより形成される情報処理システムであって、
前記端末装置は、
前記グラス型デバイスと通信するための端末側通信手段と、
実行可能な複数の処理モードと、当該複数の処理モードのそれぞれに対応するインデックス情報と、当該インデックス情報に応じたシンボルとを対応付けできるようにして記憶する記憶手段と、
前記記憶手段に記憶されている情報に応じて、前記処理モードと前記インデックス情報とを対応付けたメニューを形成し、前記端末側通信手段を通じて前記グラス型デバイスに提供して表示するように制御するメニュー表示制御手段と、
前記端末側通信手段を通じて受信される前記グラス型デバイスから送信されてくる画像について画像認識を行うことにより、前記画像に含まれる前記インデックス情報に応じた前記シンボルを認識して前記インデックス情報を特定する特定手段と、
前記特定手段で特定された前記インデックス情報に対応する処理モードを実行するように制御するモード制御手段と
を備え、
前記グラス型デバイスは、
前記端末装置と通信するためのグラス側通信手段と、
前記グラス側通信手段を通じて受信される前記メニューを表示する表示処理手段と、
表示される前記メニューにおいて目的とする前記処理モードに対応付けられている前記インデックス情報に応じた前記シンボルを撮像する撮像手段と、
前記撮像手段で撮像された画像を、前記グラス側通信手段を通じて前記端末装置に送信するように制御する送信制御手段と
を備えることを特徴とする。
【００１１】
この請求項１に記載の発明の情報処理システムによれば、当該システムは、端末装置とグラス型デバイスとからなり、端末装置は端末側通信手段を備え、グラス型デバイスがグラス側通信手段を備えることにより相互に通信を行える。端末装置は、記憶手段に実行可能な複数の処理モードと、当該複数の処理モードのそれぞれに対応するインデックス情報と、当該インデックス情報に応じた（対応する）シンボルとを対応付けできるようにして記憶している。
【００１２】
端末装置は、メニュー表示制御手段が機能し、記憶手段に記憶されている情報に応じて、処理モードとインデックス情報とを対応付けたメニューを形成して、グラス型デバイスに提供して表示させる。特定手段は、グラス型デバイスから送信されてくる画像について画像認識を行うことにより、当該画像に含まれるインデックス情報に応じたシンボルを認識して、このシンボルに対応するインデックス情報を特定し、モード制御手段は特定手段で特定されたインデックス情報に対応する処理モードを実行する。
【００１３】
一方、グラス型デバイスは、受信した端末装置からのメニューを表示処理手段が表示する処理を行うことによって、実行可能な処理モードとインデックス情報とを使用者に通知する。これにより、使用者は、表示されたメニューにおいて目的とする処理モードに対応付けられているインデックス情報に応じたシンボルを、撮像手段を通じて撮像するように対応を取る。グラス型デバイスは、撮像手段を通じて撮像した画像を送信制御手段が端末装置に送信する。
【００１４】
このように、当該システムにおいて実行可能な複数の処理モードとインデックス情報とを対応付けたメニューを、グラス型デバイスを通じて当該システムの使用者に通知する。当該システムの使用者は、目的とする処理モードに対応するインデックス情報に応じたシンボルをグラス型デバイスの撮像手段を通じて撮像する。撮像された画像は端末装置に送られ、インデックス情報に応じたシンボルが画像認識されて、当該インデックス情報が特定される。そして、この特定されたインデックス情報に応じた処理モードが実行される。
【００１５】
すなわち、当該システムの使用者は、目的とする処理モードに対応するインデックス情報を、表示されたメニューにおいて的確に把握できる。そして、目的とする処理モードに対応するインデックス情報に応じたシンボルをグラス型デバイスの撮像手段を通じて撮像するだけで、当該システムにおいて、使用者が目的とする処理モードを実行できる。
【発明の効果】
【００１６】
この発明によれば、端末装置とグラス型デバイスとからなる情報処理システムにおいて、実行可能な複数の処理モードの中から、目的とする処理モードを一義的に、しかも迅速かつ適切に選択して実行できる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態の情報処理システムの全体構成を説明するための図である。
【図２】携帯端末装置１の構成例を説明するためのブロック図である。
【図３】シンボルテーブル１０５Ａの格納データの例を説明するための図である。
【図４】処理モードテーブル１０５Ｂの格納データの例を説明するための図である。
【図５】グラス型デバイス２の耳かけ部（テンプル部）に設けられる制御機構部２１の構成例を説明するためのブロック図である。
【図６】情報処理システムにおいて、使用者からの選択入力を受け付けて、目的する処理モードを実行する場合の処理を説明するためのフローチャートである。
【図７】図６に続くフローチャートである。
【図８】グラス型デバイス２のレンズ部２Ｒに表示される画像及び撮影される画像の例を説明するための図である。
【図９】グラス型デバイス２のレンズ部２Ｒに表示される画像及撮影される画像の例を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、図を参照しながら、この発明のシステム、装置、方法の一実施の形態について説明する。
【００１９】
［情報処理システムの全体構成］
図１は、この実施形態の情報処理システムの全体構成を説明するための図である。この実施形態の情報処理システムは、図１に示すように、携帯端末装置１とグラス型スマートデバイス（以下、グラス型デバイスと記載する。）２により構成される。この実施形態において、携帯端末装置１とグラス型デバイス２とは近距離無線通信により相互に通信を行うことができる。
【００２０】
携帯端末装置１は、例えば、スマートフォンなどと呼ばれる高機能携帯電話端末やタブレットＰＣ（Personal Computer）などと呼ばれる情報処理装置に、種々のアプリケーションソフトウェアが搭載されて構成され、複数の処理モードの実行が可能なものである。当該複数の処理モードの中には、携帯端末装置１が単独で実行可能なものもあれば、グラス型デバイス２と協働して実行可能なものもある。
【００２１】
グラス型デバイス２は、外観はグラス（眼鏡）であるが、耳かけ部（テンプル部）には制御部、スイッチ２０４Ａ、カメラ部２０７、表示処理部や投影部２０６などからなる制御機構部２１が構成されている。グラス型デバイス２は、制御部を備えることにより、当該制御部でアプリケーションソフトウェアを実行し、携帯端末装置１と協働（連携動作）できる。
【００２２】
なお、この実施形態において、グラス型デバイス２のスイッチ２０４Ａは、処理の開始指示、確認入力など、必要に応じて使用者からの操作入力を受け付けるためのものである。また、グラス型デバイス２の投影部２０６は、グラス型デバイス２の特殊コーティングされたレンズ部２Ｒに種々の表示情報を投影することにより表示する。これにより、当該グラス型デバイス２を装着している使用者が、レンズ部に表示された当該表示情報を視認できる。
【００２３】
また、この実施形態のグラス型デバイス２においては、説明を簡単するため、制御機構部２１は、向かって左側（使用者が装着した場合には使用者の右側）の耳かけ部（テンプル部）に設けた構成になっている。しかし、これに限るものではない。例えば、投影部２０６を左右両方の耳かけ部に設け、左右両方のレンズ部２Ｒ、２Ｌに表示情報を表示させることにより、使用者が両目で視認可能な範囲に表示情報を表示させることも可能である。
【００２４】
同様に、カメラ部２０７を左右両方の耳かけ部に設け、左右両方のカメラ部で撮影した撮影画像から使用者が両目で視認している画像と同等の画像を形成することもできる。もちろん、スイッチ２０４Ａを左右両方の耳かけ部に設け、いずれのスイッチ２０４Ａを操作してもよい構成とすることもできる。
【００２５】
そして、携帯端末装置１とグラス型デバイス２とからなる情報処理システムにおいては、携帯端末装置１で実行可能な複数の処理モードの中から実行する処理モードを、一義的に、しかも迅速かつ適切に選択できるようにする機能を備える。当該機能の概要を説明すると、まず、当該情報処理システムにおいて実行可能な複数の処理モードと、この複数の処理モードと１対１に対応するインデックス情報とを対応付けたメニューを、グラス型デバイス２を通じて当該システムの使用者に通知する。この実施形態において、複数の処理モードと１対１に対応するインデックス情報は番号（数字）である。
【００２６】
当該システムの使用者は、目的とする処理モードに対応するインデックス情報に応じたシンボルを、グラス型デバイスの撮像手段を通じて撮像する。撮像された画像はグラス型デバイス２から携帯端末装置１に送られ、携帯端末装置１においてインデックス情報に応じたシンボルを画像認識し、当該インデックス情報を特定する。そして、携帯端末装置１は、この特定したインデックス情報に応じた処理モードを実行する。
【００２７】
このように、当該システムの使用者は、目的とする処理モードに対応するインデックス情報に応じたシンボルを、グラス型デバイス２のカメラ部２０７を通じて撮像するだけで、携帯端末装置１において、使用者が目的とする処理モードを実行できるようにしている。
【００２８】
このため、携帯端末装置１とグラス型デバイス２とのそれぞれは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成される制御部を備えることにより、それぞれにおいてアプリケーションソフトウェアを実行し、相互に連携することができるようになっている。以下においては、この実施形態の情報処理システムを構成する携帯端末装置１とグラス型デバイス２の構成例を説明した後に、当該情報処理システムで行われる処理について具体的に説明する。
【００２９】
［携帯端末装置１の構成例］
図２は、この実施形態の情報処理システムで用いられる携帯端末装置１の構成例を説明するためのブロック図である。図１において、近距離送受信アンテナ１０１Ａ及び近距離通信部１０１は、グラス型デバイス２と相互に通信を行うためのものである。このため、近距離通信部１０１では、後述するグラス型デバイス２側に設けられる近距離通信部と同じ通信方式が用いられる。例えば、ブルートゥース（登録商標）規格など、少なくとも数メートル程度の通信距離が維持できる種々の通信方式を用いることができる。
【００３０】
制御部１０２は携帯端末装置１の各部を制御する機能を実現する。記憶装置１０３は例えば記録媒体として不揮発性メモリを備え、情報記憶保持機能を実現する。記憶装置１０３には、種々のプログラム、処理に必要になる種々のデータ、出力メッセージなどが記憶される。また、記憶装置１０３は、各種の処理の途中結果を一時記憶する作業領域としても用いられる。操作部１０４は、電源のオン／オフスイッチや幾つかのファンクションボタンなどからなる。
【００３１】
テーブル格納部１０５は、例えば不揮発性メモリなどの記録媒体により構成され、シンボルテーブル１０５Ａと処理モードテーブル１０５Ｂを記憶保持する。ここで、シンボルテーブルは、携帯端末装置１において実行可能な複数の処理モードに対応付けられたインデックス情報（数字）と、各インデックス情報に応じた（対応する）シンボル（画像データ）とを対応付けて記憶保持する。図３は、シンボルテーブル１０５Ａの格納データの例を説明するための図である。
【００３２】
図３に示すシンボルテーブルには、「Ｎｏ．」、「シンボル画像１」、「シンボル画像２」、「シンボル画像３」、「シンボル画像４」、…の各欄が設けられている。「Ｎｏ．」の欄には、この携帯端末装置１において実行可能な処理モードに対応するインデックス情報として、番号（数字）が格納される。「シンボル画像１」、「シンボル画像２」、「シンボル画像３」、「シンボル画像４」、…の各欄には、インデックス情報である「Ｎｏ．」に応じたシンボル（画像データ）が格納される。
【００３３】
具体的に、インデック情報としての番号「１」に対しては、このインデックス情報に応じたシンボルである「掌を手前に向けた状態で人先指だけを立てた手の画像」、「数字の１の画像」、「１本の棒の画像」、「漢数字の１の画像」が対応付けられている。なお、この明細書において、「掌を手前に向ける」の手前は、グラス型デバイス２のカメラ部の方向を意味しており、「掌を手前に向ける」は、掌をグラス型デバイス２のカメラ部に向けることを意味している。
【００３４】
また、インデック情報としての番号「２」に対しては、このインデックス情報に応じたシンボルである「掌を手前に向けた状態で人先指と中指を立てた手の画像」、「数字の２の画像」、「２本の棒の画像」、「漢数字の２の画像」が対応付けられている。同様に、インデック情報としての番号「３」に対しては、このインデックス情報に応じたシンボルである「掌を手前に向けた状態で人先指と中指と薬指を立てた手の画像」、「数字の３の画像」、「三角形の画像」、「漢数字の３の画像」が対応付けられている。
【００３５】
また、インデック情報としての番号「４」に対しては、このインデックス情報に応じたシンボルである「掌を手前に向けた状態で人先指と中指と薬指と小指を立てた手の画像」、「数字の４の画像」、「四角形の画像」、「漢数字の４の画像」が対応付けられている。同様に、インデック情報としての番号「５」に対しては、このインデックス情報に応じたシンボルである「掌を手前に向けた状態で人先指と中指と薬指と小指と親指を立てた手の画像」、「数字の５の画像」、「五角形の画像」、「漢数字の５の画像」が対応付けられている。
【００３６】
そして、インデック情報としての番号「６」に対しては、このインデックス情報に応じたシンボルである「手の甲を手前に向けた状態で人先指だけを立てた手の画像」、「数字の６の画像」、「六角形の画像」、「漢数字の６の画像」が対応付けられている。なお、この明細書において、「手の甲を手前に向ける」の手前は、グラス型デバイス２のカメラ部の方向を意味しており、「手の甲を手前に向ける」は、手の甲をグラス型デバイス２のカメラ部に向けることを意味している。
【００３７】
また、インデック情報としての番号「７」に対しては、このインデックス情報に応じたシンボルである「手の甲を手前に向けた状態で人先指と中指を立てた手の画像」、「数字の７の画像」、「七角形の画像」、「漢数字の７の画像」が対応付けられている。同様に、インデック情報としての番号「８」に対しては、このインデックス情報に応じたシンボルである「手の甲を手前に向けた状態で人先指と中指と薬指を立てた手の画像」、「数字の８の画像」、「八角形の画像」、「漢数字の８の画像」が対応付けられている。
【００３８】
また、インデック情報としての番号「９」に対しては、このインデックス情報に応じたシンボルである「手の甲を手前に向けた状態で人先指と中指と薬指と小指を立てた手の画像」、「数字の９の画像」、「九角形の画像」、「漢数字の９の画像」が対応付けられている。同様に、インデック情報としての番号「１０」に対しては、このインデックス情報に応じたシンボルである「手の甲を手前に向けた状態で人先指と中指と薬指と小指と親指を立てた手の画像」、「数字の１０の画像」、「十角形の画像」、「漢数字の１０の画像」が対応付けられている。
【００３９】
なお、インデックス情報である「Ｎｏ．」が、１〜５までと６〜１０までとでは、手のシンボルが、手前に掌を向けているか手の甲を向けているかの違いがある。すなわち、手の指の状態は同じであっても、手前に掌を向けているか手の甲を向けているかの違いを認識して、対応するインデックス情報（モードＮｏ．）を一意に特定できるようにしている。
【００４０】
このように、使用者の手により表されるシンボルは、インデックス情報である番号と立てられた指の数（指で表された数）とが対応関係を有している。このため、インデックス情報としての番号と手により表されるシンボルとは直感的に関連付けできる。
【００４１】
図４は、テーブル格納部１０５に記憶保持される処理モードテーブル１０５Ｂの格納データの例を説明するための図である。処理モードテーブルには、「Ｎｏ．」、「ＴＯＰ」、「１ナビ」、「２認識」、「３情報」、「４撮影」の各欄が設けられている。「Ｎｏ．」の欄には、この携帯端末装置１において実行可能な処理モードに対応するインデックス情報として、番号（数字）が格納される。
【００４２】
そして、「ＴＯＰ」、「１ナビ」、「２認識」、「３情報」、「４撮影」のそれぞれは、この実施形態の情報処理システムで用いられるメニューの種類に対応している。すなわち、「ＴＯＰ」はトップメニュー（初期メニュー）であり、「１ナビ」はナビモード（ナビゲーションモード）に関するメニューである。また、「２認識」は画像認識モードに関するメニューであり、「３情報」は情報提供モードに関するメニューであり、「４撮影」は撮影モード（カメラモード）に関するメニューである。
【００４３】
この実施形態の情報処理システムを構成する携帯端末装置１とグラス型デバイス２とのそれぞれに電源が投入され、所定のメニュー表示操作がされることにより最初に表示されるトップメニューでは、６つのモードの選択が可能にされる。ここで６つモードは、図４に示した「ＴＯＰ」の欄に示した、ナビ（ナビモード）、認識（画像認識モード）、情報（情報提供モード）、撮影（撮影モード）、翻訳（翻訳モード）、カラオケ（カラオケモード）である。
【００４４】
図４に示し処理モードテーブルから分かるように、トップメニューにおいて、ナビ（ナビモード）にはインデックス情報として番号「１」が対応付けられ、認識（画像認識モード）には、インデックス情報として番号「２」が対応付けられている。同様に、トップメニューにおいて、情報（情報提供モード）には、インデックス情報として番号「３」が対応付けられ、撮影（撮影モード）には、インデックス情報として番号「４」が対応づけられている。同様に、トップメニューにおいて、翻訳（翻訳モード）には、インデックス情報として番号「５」が対応付けられ、カラオケ（カラオケモード）には、インデックス情報として番号「６」が対応づけられている。
【００４５】
そして、トップメニューにおいて、インデックス情報が「１」のナビ（ナビモード）が選択されたときには、更に上述した「１ナビ」に対応するナビモードに関するメニューを表示し、歩行者ナビ、自動車ナビ、自転車ナビ、バイクナビのいずれかの処理モードが選択可能にされる。「１ナビ」に対応するナビモードに関するメニューにおいて、歩行者ナビモードにはインデックス情報として番号「１」が対応付けられ、自動車ナビモードにはインデックス情報として番号「２」が対応付けられている。同様に、「１ナビ」に対応するナビモードに関するメニューにおいて、自転車ナビモードにはインデックス情報として番号「３」が対応付けられ、バイクナビモードにはインデックス情報として番号「４」が対応付けられている。
【００４６】
また、トップメニューにおいて、インデックス情報が「２」の認識（画像認識モード）が選択されたときには、更に上述した「２認識」に対応する画像認識モードに関するメニューを表示し、顔認識、建物認識、看板認識、時刻表認識の各モードの選択が可能にされる。「２認識」に対応する画像認識モードに関するメニューにおいて、顔認識モードにはインデックス情報として番号「１」が対応付けられ、建物認識モードにはインデックス情報として番号「２」が対応付けられている。同様に、「２認識」に対応する画像認識モードに関するメニューにおいて、看板認識モードにはインデックス情報として番号「３」が対応付けられ、時刻表認識モードにはインデックス情報として番号「４」が対応付けられている。
【００４７】
トップメニューにおいて、インデックス情報が「３」の情報（情報提供モード）と、インデックス情報が「４」の撮影（撮影モード）のメニューにおいても、それらのメニューに属する選択可能な各モードに対して、インデックス情報が対応付けられている。すなわち、トップメニューにおける各モードに対応するインデックス情報により、用いられるメニューが決まる。そして、用いられるメニューにおける各モードに対応するインデックス情報により、実行すべき処理モードが決まる。
【００４８】
なお、図４に示した処理モードテーブルでは、トップメニューの選択項目である翻訳（翻訳モード）とカラオケ（カラオケモード）には、下位のメニューは存在しないものとして説明する。したがって、トップメニューにおいて、インデックス情報（Ｎｏ．）が「５」の翻訳（翻訳モード）が選択された場合には、翻訳モードが実行され、インデックス情報（Ｎｏ．）が「６」のカラオケ（カラオケモード）が選択された場合には、カラオケモードが実行される。
【００４９】
さらに、携帯端末装置１は、図２に示すように、地図ＤＢ１０６、ネットワークＤＢ１０７、画像ＤＢ１０８、翻訳辞書ＤＢ１０９、楽曲データフォルダ１１０、ＰＯＩ（point of interest）ＤＢ１１１を備える。なお、「ＤＢ」はデータベース（Data Base）の略称である。地図ＤＢ１０６は、ナビゲーション処理に用いられる地図を表示するための地図データを記憶保持する。ネットワークＤＢ１０７は、ノードＩＤ、緯度・経度、ノード種別からなるノードデータと、リンクＩＤ、リンク両端のノードＩＤ、リンクコスト、リンク種別などからなるリンクデータとを記憶保持する。当該ネットワークデータは主に経路探索処理において用いられる。
【００５０】
なお、地図ＤＢ１０６、ネットワークＤＢ１０７には、歩行者用、自動車用、自転車用、バイク用など、用途（目的）に応じた地図データ、ネットワークデータが格納されている。このため、携帯端末装置１は、歩行者ナビモード、自動車ナビモード、自転車ナビモード、バイクナビモードなどナビゲーションモードの実行ができる。
【００５１】
画像ＤＢ１０８は、認識（画像認識モード）が実行された場合に用いられる画像データと、当該画像データに付随するデータとを対応付けて記憶保持する。具体的に、画像ＤＢ１０８には、対面する可能性のある相手の顔画像と人物属性情報（プロフィール情報など）、各地域の主要な建物の画像とその建物の関連情報、各地域の主要な看板の画像とその看板の関連情報、主要駅などの時刻表の画像とその関連情報などが記憶されている。翻訳辞書ＤＢ１０９は、翻訳モードが実行された場合に用いられる各種言語の翻訳辞書データを記憶保持する。楽曲データフォルダ１１０は、楽曲の楽曲データと歌詞データなどの付随データとを対応付けて記憶保持する。
【００５２】
ＰＯＩＤＢ１１１は、周辺情報モードが実行された場合などにおいて用いられる周辺情報を記憶保持する。具体的にＰＯＩＤＢ１１１には、緯度・経度により特定される種々の店舗や種々の施設、あるいは、地形上の特徴点などである種々の拠点についての情報である拠点情報が記憶保持されている。例えば、地図上にランドマークとなる建物や種々の施設等の拠点が存在する場合、その拠点は、どのような拠点なのか、どのような特徴を有しているかなどの詳細情報が整えられている。
【００５３】
ＧＰＳ部１１２及びＧＰＳアンテナ１１２Ａは、複数の人工衛星からの送信信号（測位情報）を受信して解析することにより、自機の現在位置を正確に取得（測位）する機能を実現する。また、図示しないが、センサ部や時刻情報提供部も設けられている。センサ部は、例えば、６軸センサ、地磁気センサ（方位センサ）などの種々のセンサを備え、自律航法機能を用いる場合などにおいて利用できるようになっている。時刻情報提供部は、現在年月日、現在曜日、現在時刻などの時刻に関する情報を提供すると共に、指示された時点からの時間を計測するいわゆるタイマー機能をも実現する。
【００５４】
また、送受信アンテナ１１３Ａ及び無線通信部１１３は、携帯電話網やインターネットを通じての通信機能を実現する。これにより、制御部１０２は、例えば、使用者からの指示に応じて、インターネット上の所定の地図サーバにアクセスし、最新の地図データ、最新のネットワークデータ、ＰＯＩデータなどの提供を受けられる。そして、制御部１０２は、提供を受けた最新の地図データや最新のネットワークデータを、地図ＤＢ１０６、ネットワークＤＢ１０７、ＰＯＩＤＢ１１１に格納し、利用することができる。また、携帯端末装置１は、無線通信部１１３及び送受信アンテナ１１３Ａを通じて、携帯端末装置１が取得した種々の情報を目的とするサーバなどに送信することもできる。もちろん、電子メールの送受信や音声通話を行うこともできる。
【００５５】
タッチパネル１１６は、ＬＣＤ（Liquid Crystal Display）などの表示部１１４とタッチセンサ１１５とからなり、情報表示手段としての機能と、情報入力手段としての機能を実現する。なお、ナビゲーション機能の実行時には、表示部１１４には案内用の地図が表示され、当該地図上にルート探索の結果得られたルートと、自機の現在位置とが表示されて経路案内（ナビゲーション）が行われる。
【００５６】
音声処理部１１７とスピーカ１１７Ｓ若しくは音声出力端子１１７Ｔは、制御部２０２の制御に応じて、アラーム音や音声メッセージなどを放音する機能を実現する。音声出力端子１１７Ｔには、イヤホンが接続される。例えば、ナビゲーション機能の実行時には、制御部１０２を通じて音声処理部１１７に音声メッセージデータが供給され、ここでアナログ音声信号に変換されて、スピーカ１１７Ｓあるいは音声出力端子１１７Ｔに接続されたイヤホンから音声メッセージが放音される。
【００５７】
なお、音声出力端子１１７Ｔにイヤホンが接続されている場合、音声処理部１１７は、スピーカ１１７Ｓに音声信号は供給せず、音声出力端子１１７Ｔを介してイヤホンのみに音声信号を供給する。このため、音声処理部１１７は、音声出力端子１１７Ｔにイヤホンが接続されたか否かを検知できるようになっており、検知結果を制御部１０２にも通知できるようになっている。
【００５８】
メニュー表示制御部１２１は、制御部１０２の制御の下、メニューを表示する事象が発生した場合に、携帯端末装置１において実行可能な複数の処理モードとインデックス情報とを対応付けたメニューを形成する。そして、メニュー表示制御部１２１は、形成したメニューを近距離通信部１０１及び近距離送受信アンテナ１０１Ａを通じてグラス型デバイス２に送信し、当該メニューをグラス型デバイス２のレンズ部に表示するように処理する。当該メニューは、後述もするがテーブル格納部１０５の処理モードテーブル１０５Ｂの格納データに基づいて形成されるものであり、実行可能な複数の処理モードごとにインデックス情報が対応付けられたものである。
【００５９】
インデックス特定部１２２は、メニュー表示制御部１２１の機能により、所定のメニューがグラス型デバイス２に提供されて表示された後、グラス型デバイス２から送信されてくるグラス型デバイス２のカメラ部により撮影された画像（画像データ）の供給を受ける。そして、インデックス特定部１２２は、供給された画像について画像認識を行い、当該画像に含まれる携帯端末装置１で実行可能な処理モードに対応付けられたインデックス情報に応じたシンボルを認識することによりインデックス情報を特定する。そして、インデックス特定部１２２は、特定したインデックス情報を制御部１０２に通知する。
【００６０】
モード制御部１２３は、制御部１０２の制御の下、インデックス特定部１２２において特定されたインデックス情報に基づいて、テーブル格納部１０５の処理モードテーブル１０５Ｂを参照し、特定されたインデックス情報に対応する処理モードを実行するように各部を制御する。モード制御部１２３は、ナビ処理部１３１、認識処理部１３２、翻訳処理部１３３、楽曲歌詞処理部１３４、情報提供処理部１３５、カメラ処理部１３６のうち、実行する処理モードに応じた処理部を制御することにより目的とする処理モードを実行する。
【００６１】
ナビ処理部１３１は、歩行者ナビモード、自動車ナビモード、自転車ナビモード、バイクナビモードのうち、使用者によって選択されたナビモードを実行するものであり、ルート探索機能、ルート案内機能を備える。ナビ処理部１３１は、タッチパネル１１６を通じて入力される出発地、経由地、目的地等の情報を受け付けてルート探索を行い、探索結果を表示部１１４に表示してルートの設定を行う。そして、設定されたルートに従って使用者が移動できるように、文字や矢印などを用いて案内メッセージを形成し、これをグラス型デバイス２に提供して表示するようにしながら、ルート案内を行う。
【００６２】
認識処理部１３２は、上述した顔認識モード、建物認識モード、看板認識モード、時刻表認識モードのうち、使用者によって選択された認識モードを実行するものであり、グラス型デバイス２から送信されてくるグラス型デバイス２のカメラ部を通じて撮像された画像（画像データ）の供給を受ける。そして、認識処理部１３２は、グラス型デバイス２からの画像に含まれる人物の顔画像、建物の画像、看板の画像、時刻表の画像を抽出し、画像ＤＢ１０８に格納されている画像データと突き合せ、一致した画像についての属性情報や関連情報をグラス型デバイス２に供給して表示出力する処理を行う。
【００６３】
翻訳処理部１３３は、上述した翻訳モードを実行するものであり、グラス型デバイス２から送信されてくるグラス型デバイス２のカメラ部を通じて撮像された画像（画像データ）の供給を受ける。そして、翻訳処理部１３３は、グラス型デバイス２からの画像に含まれる文字情報を抽出する。その文字情報が何語かを認識（特定）して、その文字情報を予め決められた言語に翻訳する。この後、翻訳処理部１３３は、翻訳結果をグラス型デバイス２に供給して表示出力する処理を行う。
【００６４】
楽曲歌詞処理部１３４は、上述したカラオケモード（歌詞表示モード）を実行するものであり、タッチパネル１１６を通じて受け付ける使用者からの指示入力に応じて、楽曲データフォルダ１１０から指示された楽曲データを読み出して再生処理する。再生される楽曲データは、音声処理部１１７を通じてスピーカ１１７Ｓや音声出力端子１１７Ｔに接続されたイヤホンから放音され、使用者が聴取できるようにされる。同時に、楽曲歌詞処理部１３４は、再生処理している楽曲の歌詞データをグラス型デバイス２に供給して表示出力する処理を行う。
【００６５】
情報提供処理部１３５は、上述した情報提供モードの天気モード、時間モード、予定モード、周辺情報モード、着信メールモードを実行するものである。情報提供処理部１３５は、記憶装置１０３やＰＯＩＤＢなどに記憶されている情報、インターネット上に開示された情報、自機の時刻情報提供部が提供する情報などから必要な情報を取得する。そして、情報提供処理部１３５は、取得した情報をグラス型デバイス２に供給して表示出力する処理を行う。
【００６６】
カメラ処理部１３６は、上述した撮影モードのカメラモード（静止画撮影モード）とビデオモード（動画撮影モード）とを実行するものである。カメラ処理部１３６は、グラス型デバイス２から送信されてくるグラス型デバイス２のカメラ部を通じて撮像された静止画像（静止画像データ）や動画像（動画像データ）を、記憶装置１０３の所定の画像格納エリアに記録する処理を行う。
【００６７】
［グラス型デバイス２の制御機構部２１の構成例］
図５は、図１に示した外観を有するグラス型デバイス２の耳かけ部（テンプル部）に設けられる制御機構部２１の構成例を説明するためのブロック図である。図５において、近距離送受信アンテナ２０１Ａ及び近距離通信部２０１は、携帯端末装置１と相互に通信を行うためのものである。このため、近距離通信部２０１では、上述した携帯端末装置１の近距離通信部１０１と同じ通信方式のものとなる。
【００６８】
制御部２０２はグラス型デバイス２の各部を制御する機能を実現する。記憶装置２０３は例えば記録媒体として不揮発性メモリを備え、情報記憶保持機能を実現する。記憶装置２０３には、種々のプログラムや処理に必要になる種々のデータが記憶される。また、記憶装置２０３は、各種の処理の途中結果を一時記憶する作業領域としても用いられる。操作部２０４は、電源のオン／オフスイッチや上述したスイッチ２０４Ａや幾つかのファンクションボタンなどからなる。
【００６９】
表示処理部２０５は、制御部２０２の制御の下、これに提供される表示用データから、投影部２０６に供給する表示用信号を形成し、これを投影部２０６に供給する。投影部２０６は、表示処理部２０５からの表示用信号に応じた表示情報を、グラス型デバイス２のレンズ部２Ｌに投影する処理を行う。これにより、グラス型デバイス２のレンズ部２Ｌには、表示情報が表示され、グラス型デバイス２をそのレンズ部分が目の前方に位置するように頭部に装着した使用者が見ることができる。
【００７０】
カメラ部２０７は、図１にも示したように、グラス型デバイス２の耳かけ部（テンプル部）の前方端部（レンズ部側の端部）に設けられている。そして、カメラ部２０７は、使用者がグラス型デバイス２をそのレンズ部分が目の前方に位置するように頭部に装着した場合に、使用者の視線方向の画像を撮影し、画像データとして取り込む機能を実現する。そして、カメラ部２０７を通じて撮影された撮影画像（画像データ）は、近距離通信部２０１及び近距離送受信アンテナ２０１Ａを通じて、携帯端末装置１に送信できる。
【００７１】
センサ部２０８は、少なくともカメラ部２０７の向きを特定するための地磁気センサ（方位センサ）を備える。地磁気センサの他にも、例えば、６軸センサなどを備える場合もある。
【００７２】
［情報処理システムの処理］
次に、図２〜図４を用いて説明した携帯端末装置１と図５を用いて説明したグラス型デバイス２とにより構成される情報処理システムにおいて行われる処理について具体的に説明する。上述もしたように、この実施形態の情報処理システムは、携帯端末装置１とグラス型デバイス２とが協働することによって、図４を用いて説明したように、種々の処理モードを実行できる。そして、どの処理モードを実行するかの選択を、使用者が迷うことなく、一義的に、しかも迅速かつ適切に行うことができるようにしている。
【００７３】
図６、図７は、この実施形態の情報処理システムにおいて、使用者からの選択入力を受け付けて、目的する処理モードを実行する場合の処理を説明するためのフローチャートである。また、図８、図９は、図６、図７に示した処理において、グラス型デバイス２のレンズ部２Ｒに表示される画像及び当該レンズ部を介して視認でき、グラス型デバイス２のカメラ部２０７を通じて撮影される使用者の手により表されるシンボルや所定の対象物の例を説明するための図である。
【００７４】
図６、図７に示すフローチャートの処理は、携帯端末装置１とグラス型デバイス２との双方に電源が投入された後に、所定のタイミング毎に携帯端末装置１からグラス型デバイス２を制御する形で実行される。そして、携帯端末装置１の制御部１０２は、トップメニュー表示を指示する操作入力を受け付ける（ステップＳ１０１）。当該操作入力は、携帯端末装置１に対する操作と、グラス型デバイス２に対する操作とがある。
【００７５】
ここで、メニュー表示を行うことを指示する携帯端末装置１に対する所定の操作は、携帯端末装置１の所定のファンクションキーやタッチパネル１１６によりソフトウェアキーとして実現される所定の操作キーに対する操作である。また、メニュー表示を行うことを指示するグラス型デバイス２に対する所定の操作は、例えば、スイッチ２０４Ａの押下操作やグラス型デバイス２の耳かけ部を摘まんで上下させる操作（動作）である。グラス型デバイス２のスイッチ２０４Ａが押下されたこと、或いは、及び、グラス型デバイス２の耳かけ部を摘まんで上下させたことは、携帯端末装置１に送信されるようになっている。なお、グラス型デバイス２の耳かけ部を摘まんで上下させる操作が行われたことは、グラス型デバイス２のセンサ部２０８で検出できるようになっている。
【００７６】
そして、携帯端末装置１の制御部１０２は、ステップＳ１０１において、トップメニュー表示を行うことを指示する所定の操作が行われた否か（有るか否か）を判別する（ステップＳ１０２）。ステップＳ１０２の判別処理において、トップメニュー表示を行うことを指示する所定の操作は行われていないと判別したときには、制御部１０２は、この図６、図７に示す処理を終了させ、次の実行タイミングを待つことになる。また、ステップＳ１０２の判別処理において、トップメニュー表示を行うことを指示する所定の操作が行われたと判別したとする。この場合には、携帯端末装置１の制御部１０２とグラス型デバイス２の制御部２０２とが協働して、トップメニューをグラス型デバイス２のレンズ部２Ｒに表示する処理を行う（ステップＳ１０３）。
【００７７】
このステップＳ１０３では、制御部１０２の制御の下、メニュー表示制御部１２１が機能し、テーブル格納部１０５の処理モードテーブル１０５Ｂを参照してトップメニュー表示データを形成し、これをグラス型デバイス２に送信する。グラス型デバイス２の制御部２０２は、携帯端末装置１からのトップメニュー表示データを受信すると、これを表示処理部２０５に供給し、投影部２０６を通じて当該トップメニュー表示データに応じたトップメニューをレンズ部２Ｒに投影する。グラス型デバイス２のレンズ部２Ｒには、図８（Ａ）に示すように、インデックス情報である番号（１〜６）と処理モードとが１対１に対応付けられたトップメニューが表示される。
【００７８】
これにより、使用者は、グラス型デバイス２のレンズ部２Ｒに表示されたトップメニューを確認し、実行しようとしている処理モードに対応付けられているインデックス情報に応じたシンボルを、グラス型デバイス２のカメラ部２０７を通じて撮影する。例えば、図８（Ａ）に示したトップメニューを確認した使用者が、インデックス情報として数字の「２」が対応づけられている認識モードを実行したいとする。この場合、認識モードに対応するインデックス情報は、数字の「２」であることを、使用は表示されたトップメニューから把握する。
【００７９】
このため、使用者は、グラス型デバイス２のカメラ部２０７によって撮影できるように当該状態の自分の手をグラス型デバイス２のレンズ部２Ｌの前方に位置させ、図８（Ｂ）に示すように、掌を手前に向けた状態で人先指と中指を立てる。グラス型デバイス２はトップメニューが表示されるとカメラ部２０７が動作するようになっており、カメラ部２０７を通じて、「掌を手前に向けた状態で人先指と中指を立てた画像（手により表されたシンボル）」が撮影できる。
【００８０】
あるいは、使用者は、グラス型デバイス２のカメラ部２０７によって撮影できるように、番号「２」が記載された紙などの記載面をグラス型デバイス２のレンズ部２Ｒの前方に位置させる。そして、図９（Ａ）に示すように、画像認識させるべき番号（文字）を、携帯端末装置１において特定可能にするため、番号「２」の記載位置部分を、例えば鉛筆や指などにより指示する。これにより、カメラ部２０７を通じて、インデックス情報である番号「２」を特定した状態で撮影できる。
【００８１】
この実施形態の情報処理システムのグラス型デバイス２は、上述もしたように、例えば、トップメニューを表示するとカメラ部２０７を機能させ、撮影した画像を携帯端末装置１に送信する。携帯端末装置１の制御部１０２は、グラス型デバイス２から画像（画像データ）をインデックス特定部１２２に供給する。そして、制御部１０２は、インデックス特定部１２２を制御し、画像認識処理を開始させ、画像に含まれる処理モードに対応するインデックスに応じたシンボルを認識する処理を開始させる（ステップＳ１０４）。
【００８２】
この場合、インデックス特定部１２２は、テーブル格納部１０５のシンボルテーブル１０５Ａの情報を参照して画像認識処理を行う。この実施形態では、図８（Ａ）に示したように、処理モードに対応するインデックス情報として、１〜６までの番号（数字）に対応するシンボルが含まれている場合にこれを認識して特定する。そして、処理モードに対応するインデックス情報に応じたシンボルには、図３を用いて説明したように、使用者の手により表されるシンボル、数字のシンボル（数字の画像）、図形のシンボル（図形の画像）、漢数字のシンボル（漢数字の画像）などである。インデックス特定部１２２は、図３を用いて説明したシンボルテーブルの情報に基づいて、１〜６までの番号のいずれかに応じたシンボルを認識（検知）したときには、認識したシンボルに対応するインデックス情報を特定して制御部１０２に通知する。
【００８３】
そして、制御部１０２は、インデックス特定部１２２からの通知に基づいて、インデックス特定部１２２において処理モードに対応するインデックス情報が認識（特定）できたか否かを判別する（ステップＳ１０５）。ステップＳ１０５の判別処理において、処理モードに対応するインデックス情報が認識できたと判別したとする。この場合、制御部１０２は、インデックス特定部１２２を制御して、メニュー選択のためのインデックス情報の認識処理を停止させる（ステップＳ１０６）。
【００８４】
この後、制御部１０２は、メニュー表示制御部１２１を制御して、認識されたインデックス情報に対応する処理モードが選択されたことを使用者に通知する処理を行う（ステップＳ１０７）。具体的に、ステップＳ１０７において、メニュー表示制御部１２１は、制御部１０２の制御の下、インデックス特定部１２２で認識されたインデックス情報を用いて、処理モードテーブル１０５Ｂを参照し、どのモードが選択されたのかを特定する。そして、メニュー表示制御部１２１は、形成してグラス型デバイス２に供給したメニューと同じメニューであって、選択された項目部分を太線ＣＳで示したメニューを形成する。そして、メニュー表示制御部１２１は、形成したメニューをグラス型デバイス２に送信して、グラス型デバイス２のレンズ部２Ｌに当該メニューを表示する。
【００８５】
これにより、グラス型デバイス２のレンズ部２Ｌには、図８（Ｂ）、或いは、図９（Ａ）に示すように、使用者により選択された処理モードの表示領域部分が太線ＣＳで囲まれて表示される。これにより、使用者に対して、現時点において当該情報処理システムで選択されている処理モードが何かを明確に示すことができる。したがって、使用者は、自分が目的とする処理モードが選択されているか否かを把握できる。
【００８６】
そして、携帯端末装置１の制御部１０２は、使用者からの確認入力を受け付けるようにする（ステップＳ１０８）。この確認入力は、携帯端末装置１の所定の操作キーやタッチパネル１１６の所定のソフトウェアキーに対する操作である。あるいは、選択が正しい「ＯＫ」の場合にはグラス型デバイス２のスイッチ２０４Ａの押下操作、選択が正しくない「ＮＧ」の場合にはグラス型デバイス２の耳かけ部を摘まんでグラス型デバイス２を上下させる操作などである。また、一定時間、何らの操作もされない場合は、「ＮＧ」であるとみなすようにしてもよい。
【００８７】
そして、制御部１０２は、ステップＳ１０８において受け付けた確認入力が、選択された処理モードが間違っていないことを示す「ＯＫ」か否かを判別する（ステップＳ１０９）。ステップＳ１０９の判別処理において、受け付けた確認入力が「ＯＫ」ではないと判別したとする。この場合、制御部１０２は、インデックス特定部１２２を制御して、処理モードに対応付けられたインデックス情報の認識処理を再開させ（ステップＳ１１０）、ステップＳ１０５からの処理を繰り返す。なお、ステップＳ１１０では、メニュー表示制御部１２１を制御して、太線ＣＳを消去したメニューを形成し、これをグラス型デバイス２に供給して、レンズ部２Ｒに表示し直す処理も行われる。
【００８８】
また、ステップＳ１０９の判別処理において、受け付けた確認入力が「ＯＫ」であると判別したときには、制御部１０２は、図７の処理に進む。そして、制御部１０２は、トップメニューにおいて選択された処理モードには、下位のメニューが存在するか否かを処理モードテーブル（図４）の情報に基づいて判別する（ステップＳ１１１）。すなわち、処理モードテーブル（図４）においては、トップメニューに属する「１ナビ」、「２認識」、「３情報」、「４撮影」には、下位のメニューが存在することが管理されている。このため、「１ナビ」、「２認識」、「３情報」、「４撮影」が選択された場合には、下位のメニューが存在すると判別できる。
【００８９】
ステップＳ１１１の判別処理において、下位のメニューは存在しないと判別したとする。この場合、制御部１０２は、モード制御部１２３を制御し、現時点において認識し、使用者も確認したインデックス情報に対応する処理モードを実行するように制御する（ステップＳ１１２）。ステップＳ１１２においてモード制御部１２３は、制御部１０２の制御に応じて、選択された処理モードを実行する処理部１３１〜１３７のずれかを制御して、目的とする処理を実行する。そして、実行された処理モードが終了すると、この図６、図７に示す処理も終了する。
【００９０】
また、ステップＳ１１１の判別処理において、下位のメニューが存在すると判別したとする。この場合には、携帯端末装置１の制御部１０２とグラス型デバイス２の制御部２０２とが協働して、下位のメニューをグラス型デバイス２のレンズ部２Ｒに表示する処理を行う（ステップＳ１１３）。
【００９１】
このステップＳ１１３では、制御部１０２の制御の下、メニュー表示制御部１２１が機能し、テーブル格納部１０５の処理モードテーブル１０５Ｂを参照して、トップメニューにおいて選択された処理モードに対応する下位のメニューの表示データを形成し、これをグラス型デバイス２に送信する。グラス型デバイス２の制御部２０２は、携帯端末装置１からの下位のメニューの表示データを受信すると、これを表示処理部２０５に供給し、投影部２０６を通じて当該下位のメニューの表示データに応じたメニューをレンズ部２Ｒに投影する。
【００９２】
この例の場合、図８（Ｂ）、図９（Ａ）に示したように、トップメニューにおいて、インデックス情報が番号「２」である「認識モード」が選択されたとする。したがって、この例の場合、グラス型デバイス２のレンズ部２Ｒには、図９（Ｂ）に示すように、インデックス情報である番号（１〜４）と処理モードとが１対１に対応付けられた「２、認識モード」に応じた下位のメニューが表示される。
【００９３】
この後、制御部１０２は、インデックス特定部１２２を制御して、処理モードに対応付けられたインデックス情報の認識処理を再開させ（ステップＳ１１４）、ステップＳ１０５からの処理を繰り返す。これにより、トップメニューにおいて選択された「認識モード」に応じたメニュー（トップメニューの下位のメニュー）において、目的する処理モードの選択が、トップメニューでの処理モードの選択と同様にして行うことができる。
【００９４】
また、図６に示したステップＳ１０５の判別処理において、処理モードに対応するインデックス情報が特定できていないと判別したとする。この場合、制御部１０２は、図２には図示していないが、携帯端末装置１が備える時刻情報提供部の機能により、インデックス情報の認識処理を開始させてからの処理時間を計測しており、当該処理時間が所定時間以上になったか否か、すなわち、タイムアウトになったか否かを判別する（ステップＳ１１５）。
【００９５】
ステップＳ１１５の判別処理において、タイムアウトになっていないと判別した時には、例えば、携帯端末装置１やグラス型デバイス２の所定の終了キーが操作されるなどの終了を指示する事象が発生したか否かを判別する（ステップＳ１１６）。ステップＳ１１６の判別処理において、終了を指示する事象は発生していないと判別したときには、ステップＳ１０５からの処理を繰り返す。
【００９６】
また、ステップＳ１１５の判別処理において、タイムアウトになったと判別した場合と、ステップＳ１１６において終了を指示する事象が発生したと判別した場合には、所定の終了処理を行って（ステップＳ１１７）、この図６、図７に示す処理を終了する。なお、ステップＳ１１７の所定の終了処理は、グラス型デバイス２のレンズ部２Ｒに表示したメニューを消去するなど、当該情報処理システムをメニュー表示前の状態に戻す処理である。
【００９７】
なお、図８、図９に示したように、メニューはレンズ部２Ｒの下側に表示されると共に、表示されたメニューを透過して、前方を視認することができるようになっている。すなわち、メニューの表示が使用者の視界を大きく遮ることはなく、安全性に問題を生じさせることはない。なお、メニューなどのレンズ部２Ｒにおける表示位置は、適宜の位置とすることができる。
【００９８】
［実施の形態の効果］
上述した実施の形態の情報処理システムでは、実行可能な複数の処理モードとインデックス情報とを対応付けたメニューを、グラス型デバイス２を通じて使用者に提供できる。この実施形態においては、処理モードに対応付けられるインデックス情報は、番号（数字）であるので、目的とする処理モードに対応する番号を即座に認識できる。そして、当該インデックス情報に対応するシンボルを、カメラ部２０７を通じて撮影し、画像認識することで、処理モードの選択を迅速かつ適切に行うことができる。
【００９９】
すなわち、インデックス情報に応じたシンボルは、上述したように、インデックス情報である番号と直接的に関連するものであるので、インデックス情報に応じたシンボルを即座に特定して、その特定したシンボルを簡単に撮影できる。このように、インデックス情報に応じたシンボルにより目的とする処理モードを特定して実行できるので、携帯端末装置１やグラス型デバイス２のハードウェアキーやソフトウェアキーに対して直接に処理モードの選択入力操作を行うこともない。したがって、携帯端末装置１とグラス型デバイス２とからなる情報処理システムにおいて、実行可能な複数の処理モードの中から、目的とする処理モードを一義的に、しかも迅速かつ適切に選択して実行できる。
【０１００】
［変形例など］
なお、上述した実施の形態では、インデックス情報に応じたシンボルは、図３を用いて説明したように、使用者の手により表されるシンボル、数字の画像、図形の画像、漢数字の画像であるものとして説明したが、これに限るものではない。インデックス情報に応じたシンボルとしては、処理モードと１対１で対応付けされる記号、その他の文字、あるいは種々の図形などの画像を用いることができる。
【０１０１】
また、キャンセルやクリア、初期復帰、開始などは、携帯端末装置１やグラス型デバイス２に対する物理操作でもよいし、まばたきによる指示でもよい。また、キャンセルやクリア、初期復帰、開始などは、上述もしたように、「掌を手前に向けて手の指を全て握った状態（ジャンケンのグウ）の画像」などの所定の画像の認識による指示でもよい。
【０１０２】
また、上述した実施の形態の情報処理システムでは、携帯端末装置１とグラス型デバイス２とが協働して実行可能な処理モードは図４に示した処理モードテーブルを用いて説明したが、これに限るものではない。図４に示した処理モードテーブルに示した以外の処理モードが実行可能であってもよい。
【０１０３】
また、上述した実施の形態において、グラス型デバイス２は、投影部２０６によりレンズ部２Ｒに表示するものとして説明したが、これに限るものではない。グラス型デバイス２におけるメニューなどの表示情報の表示方式（提示方式）は種々のものを用いることが可能である。
【０１０４】
また、上述した実施の形態では、携帯端末装置１とグラス型デバイス２とにより情報処理システムを構成するものとして説明したが、携帯端末装置に限るものではなく、パーソナルコンピュータなどの種々の情報処理装置とグラス型デバイスとで構成される情報処理システムに、この発明を適用できる。
【０１０５】
［その他］
上述した実施の形態の説明からも分かるように、端末装置の端末側通信手段の機能は、近距離通信部１０１及び近距離送受信アンテナ１０１Ａが、記憶手段の機能は、テーブル格納部１０５がそれぞれ実現している。また。端末装置のメニュー表示制御手段の機能はメニュー表示制御部１２１が、特定手段の機能はインデックス特定部１２２が、モード制御手段の機能はモード制御部１２３がそれぞれ実現している。
【０１０６】
また、グラス型デバイスのグラス側通信手段の機能は、近距離通信部２０１及び近距離送受信アンテナ２０１Ａが、表示処理手段の機能は主に表示処理部２０５が、撮像手段の機能はカメラ部２０７が、送信制御手段の機能は主に制御部２０２が実現している。
【符号の説明】
【０１０７】
１…携帯端末装置、１０１…近距離通信部、１０１Ａ…近距離送受信アンテナ、１０２…制御部、１０３…記憶装置、１０４…操作部、１０５…テーブル格納部、１０６…地図ＤＢ、１０７…ネットワークＤＢ、１０８…画像ＤＢ、１０９…翻訳辞書ＤＢ、１１０…楽曲データフォルダ、１１１…ＰＯＩＤＢ、１１２…ＧＰＳ部、１１２Ａ…ＧＰＳアンテナ、
１１３…無線通信部、１１３Ａ…送受信アンテナ、１１４…表示部、１１５…タッチセンサ、１１６…タッチパネル、１１７…音声処理部、１１７Ｓ…スピーカ、１１７Ｔ…音声出力端子、１２１…メニュー表示制御部、１２２…インデックス特定部、１２３…モード制御部、１３１…ナビ処理部、１３２…認識処理部、１３３…翻訳処理部、１３４…楽曲歌詞処理部、１３５…情報提供処理部、１３６…カメラ処理部、２…グラス型デバイス、２Ｒ、２Ｌ…レンズ部、２０１Ａ…近距離送受信アンテナ、２０１…近距離通信部、２０２…制御部、２０３…記憶装置、２０４…操作部、２０５…表示処理部、２０６…投影部、２０７…カメラ部、２０８…センサ部
【図１】
2016151938.tif 000003
【図２】
2016151938.tif 000004
【図３】
2016151938.tif 000005
【図４】
2016151938.tif 000006
【図５】
2016151938.tif 000007
【図６】
2016151938.tif 000008
【図７】
2016151938.tif 000009
【図８】
2016151938.tif 000010
【図９】
2016151938.tif 000011