(57)【要約】【課題】操作を簡略化することができ、ウェブページを表示するクライアント側での対応が可能であって、汎用性を高めることができる情報処理装置を提供すること。【解決手段】情報処理装置としての車載装置１は、サーバ２から取得したウェブページを表示するクライアントとして動作しており、ウェブページを表示するウェブブラウザ１２と、利用者のジェスチャと文字列とを対応関係を示すジェスチャ・文字列情報を格納するジェスチャ・文字列情報格納部３４と、利用者のジェスチャを検出するジェスチャ検出部３２と、ジェスチャ・文字列情報に基づいて、ジェスチャ検出部３２によって検出されたジェスチャに対応する文字列を抽出する文字列抽出部１８と、ウェブページの内容を解析し、文字列抽出部１８によって抽出された文字列がウェブページに含まれている場合にこの文字列に対応する機能を実行するレンダリングエンジン１３とを備える。【選択図】図１
2014032581.tif 000002
【特許請求の範囲】
【請求項１】
サーバから取得したウェブページを表示するクライアントとして動作する情報処理装置であって、
前記ウェブページを表示するウェブページ表示手段と、
利用者のジェスチャと文字列との対応関係を示すジェスチャ・文字列情報を格納するジェスチャ・文字列情報格納手段と、
利用者のジェスチャを検出するジェスチャ検出手段と、
前記ジェスチャ・文字列情報格納手段に格納された情報に基づいて、前記ジェスチャ検出手段によって検出されたジェスチャに対応する文字列を抽出する文字列抽出手段と、
前記ウェブページの内容を解析し、前記文字列抽出手段によって抽出された文字列が前記ウェブページに含まれている場合にこの文字列に対応する機能を実行する機能実行手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
請求項１において、
車両に搭載されていることを特徴とする情報処理装置。
【請求項３】
請求項２において、
前記ジェスチャ検出手段は、車両の所定位置に設けられたカメラによって撮影された利用者の画像に基づいて利用者のジェスチャを検出することを特徴とする情報処理装置。
【請求項４】
請求項３において、
前記ジェスチャ検出手段は、利用者の手の形を利用者のジェスチャとして検出することを特徴とする情報処理装置。
【請求項５】
請求項１〜４のいずれかにおいて、
利用者の指示に応じて、利用者のジェスチャに対応する文字列を指定して前記ジェスチャ・文字列情報格納手段に前記ジェスチャ・文字列情報を登録するジェスチャ・文字列情報登録手段をさらに備えることを特徴とする情報処理装置。
【請求項６】
請求項５において、
前記ジェスチャ・文字列情報登録手段は、１つのジェスチャに対して複数種類の文字列の登録が可能であることを特徴とする情報処理装置。
【請求項７】
請求項１〜６のいずれかにおいて、
前記ウェブページに含まれるテキスト情報を音声で読み上げる音声読み上げ手段をさらに備えることを特徴とする情報処理装置。
【請求項８】
請求項１〜７のいずれかにおいて、
前記機能実行手段は、前記文字列抽出手段によって抽出された文字列が、前記ウェブページにおいてボタンとして存在する場合にこの文字列で指定されたボタンを押す動作を実行することを特徴とする情報処理装置。
【請求項９】
請求項１〜８のいずれかにおいて、
前記機能実行手段は、前記文字列抽出手段によって抽出された文字列が、前記ウェブページにおいてリンク先となっている場合にこの文字列で指定されたリンク先に移動する動作を実行することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等に搭載されてインターネット経由で取得したウェブページを表示した状態で各種の入力を行う情報処理装置に関する。
【背景技術】
【０００２】
従来から、サーバから取得したウェブページの内容を表示するとともに、このウェブページに関する各種の入力を音声認識を用いて行うようにした情報処理装置が知られている（例えば、特許文献１参照。）。この情報処理装置では、利用者の発話内容に対応する文字列を生成することにより、ウェブ上のグラフィカルユーザインタフェース部品を指定する際の操作の簡略化が可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１６４７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に開示された情報処理装置では、ウェブページに関する各種の入力を音声認識を用いて行うために、サーバを用いて発話定義情報を作成してクライアントにおいてこの発話定義情報を取得する必要があり、ウェブページを作成するサーバでも対応が必要になり、ウェブページを表示するクライアント側だけで対応することができず、実現する場合の設計変更の規模が大きくなるという問題があった。また、音声認識の対象となる発話内容を文字列に変換することになるため、発話内容とこれに対応する文字列との関係は１対１であり、ウェブページに含まれる文字列ごとに発話内容を対応させる必要があり、汎用性が低いという問題があった。
【０００５】
本発明は、このような点に鑑みて創作されたものであり、その目的は、操作を簡略化することができ、ウェブページを表示するクライアント側での対応が可能であって、汎用性を高めることができる情報処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の情報処理装置は、サーバから取得したウェブページを表示するクライアントとして動作する情報処理装置であって、ウェブページを表示するウェブページ表示手段と、
利用者のジェスチャと文字列との対応関係を示すジェスチャ・文字列情報を格納するジェスチャ・文字列情報格納手段と、利用者のジェスチャを検出するジェスチャ検出手段と、ジェスチャ・文字列情報格納手段に格納された情報に基づいて、ジェスチャ検出手段によって検出されたジェスチャに対応する文字列を抽出する文字列抽出手段と、ウェブページの内容を解析し、文字列抽出手段によって抽出された文字列がウェブページに含まれている場合にこの文字列に対応する機能を実行する機能実行手段とを備えている。
【０００７】
利用者は、ジェスチャによってウェブページに対する入力を行うことができるため、文字キーやポインティングデバイスなどを用いて入力を行う場合に比べて操作を簡略化することができる。また、クライアント側でウェブページを解析して、ジェスチャに対応する文字列が含まれる場合に、この文字列に対応する機能を実行するため、ウェブページを提供するサーバ側での処理が不要であってウェブページを表示するクライアント側での対応が可能となる。
【０００８】
また、この情報処理装置は車両に搭載されていることが望ましい。車載装置の場合には搭載スペース等の関係で操作性が良好な入力デバイスを用いることができないが、ジェスチャによる入力を行うことで特に車載装置における操作性の向上が可能となる。また、車載装置の場合には、音声認識を利用した入力を行おうとすると各種の騒音による認識率の低下が懸念されるが、ジェスチャを用いた場合には騒音の影響がなく、入力操作を確実に行うことが可能となる。
【０００９】
また、上述したジェスチャ検出手段は、車両の所定位置に設けられたカメラによって撮影された利用者の画像に基づいて利用者のジェスチャを検出することが望ましい。これにより、カメラを所定位置に設置するだけで簡単にジェスチャ検出を行うことができる。
【００１０】
また、上述したジェスチャ検出手段は、利用者の手の形を利用者のジェスチャとして検出することが望ましい。これにより、指の形状を異ならせることにより、検出が容易な複数種類のジェスチャを特定することが可能になり、検出精度を上げることができる。特に、手を用いたジェスチャは、利用者が異なる場合であっても正確に検出することができるため、利用者毎に個別に検出処理を行う必要がなく、処理の簡略化が可能となる。
【００１１】
また、利用者の指示に応じて、利用者のジェスチャに対応する文字列を指定してジェスチャ・文字列情報格納手段にジェスチャ・文字列情報を登録するジェスチャ・文字列情報登録手段をさらに備えることが望ましい。特に、上述したジェスチャ・文字列情報登録手段は、１つのジェスチャに対して複数種類の文字列の登録が可能であることが望ましい。これにより、ジェスチャに任意の文字列を、希望する数だけ対応させることができ、汎用性を持たせることができる。
【００１２】
また、上述したウェブページに含まれるテキスト情報を音声で読み上げる音声読み上げ手段をさらに備えることが望ましい。これにより、ウェブページの表示画面を読む手間を省くことができる。特に、表示画面が小さい場合や、車載装置のように画面を注視しずらい環境で使用する場合の使い勝手を向上させることができる。
【００１３】
また、上述した機能実行手段は、文字列抽出手段によって抽出された文字列が、ウェブページにおいてボタンとして存在する場合にこの文字列で指定されたボタンを押す動作を実行することが望ましい。あるいは、上述した機能実行手段は、文字列抽出手段によって抽出された文字列が、ウェブページにおいてリンク先となっている場合にこの文字列で指定されたリンク先に移動する動作を実行することが望ましい。これにより、ジェスチャを用いて、よく使う機能を実行することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態の情報処理装置としての車載装置の構成を示す図である。
【図２】ジェスチャ・文字列情報登録の動作手順を示す流れ図である。
【図３】ジェスチャ・文字列情報の具体例を示す図である。
【図４】ウェブページの内容を表示した後にジェスチャにより指示を行う動作手順を示す流れ図である。
【図５】ジェスチャに対応する文字列を抽出する動作手順を示す流れ図である。
【発明を実施するための形態】
【００１５】
以下、本発明の情報処理装置を適用した一実施形態の車載装置について、図面を参照しながら説明する。図１は、一実施形態の情報処理装置としての車載装置の構成を示す図である。本実施形態の車載装置１は、所定のネットワーク３を介してサーバ２と接続される。
【００１６】
ネットワーク３は、例えばインターネットであり、車載装置１に接続された携帯電話や携帯端末装置および基地局（ともに図示せず）を介して接続する場合や、車載装置１に接続された（あるいは内蔵された）無線ＬＡＮ用の通信装置およびアクセスポイント（ともに図示せず）を介して接続する場合などが考えられる。また、無線ＬＡＮによって接続可能な場合には無線ＬＡＮによる接続を行い、無線ＬＡＮによる接続が不可能な場合（近くにアクセスポイントがない場合など）には携帯電話等を用いた接続を行うようにしてもよい。
【００１７】
サーバ２は、ネットワーク２経由で車載装置１にウェブページを提供する。例えば、ソーシャル・ネットワーキング・サービス（ＳＮＳ）の各種サービスを提供するＳＮＳサーバやその他の情報検索用のサーバなどが含まれる。
【００１８】
車載装置１は、制御部１０、操作部２０、カメラ３０、ジェスチャ検出部３２、ジェスチャ・文字列情報格納部３４、ＴＴＳ（text-to-speech）処理部４０、増幅器４２、スピーカ４４、表示処理部５０、表示装置５２、通信部６０を備えている。
【００１９】
制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて所定の動作プログラムを実行することにより、サーバ２から取得したウェブページの内容解析や解析結果に基づく表示を含む車載装置１の全体動作を制御する。制御部１０の詳細については後述する。操作部２０は、利用者による各種操作を受け付けるためのものであり、各種のスイッチや操作つまみ等が備わっている。なお、表示装置５２の画面に重ねて配置されるタッチパネルを用いて操作部２０を構成したり、リモートコントロールユニット等を用いて操作部２０を構成するようにしてもよい。
【００２０】
カメラ３０は、車両の所定位置（例えばダッシュボードや車載装置１の筐体など）に取り付けられており、利用者（車両の運転席や助手席に搭乗している利用者）を撮影する。本実施形態では、カメラ３０の前に利用者が手をかざしてその形状を撮影することを想定しており、例えば、カメラ３０の前方２０ｃｍ程度の位置にある利用者の手を鮮明に撮影することが可能となるように焦点距離や被写界深度が設定されている。ジェスチャ検出部３２は、カメラ３０による撮影によって得られた画像に含まれる利用者のジェスチャ（具体的には手の形状）を検出する。例えば、輪郭線抽出を行った後、手の色と一致する領域を抜き出す場合が考えられる。
【００２１】
ジェスチャ・文字列情報格納部３４は、利用者のジェスチャと文字列との対応関係を示すジェスチャ・文字列情報を格納する。このジェスチャ・文字列情報は、利用者の指示に応じて予め登録されているものであるが、登録処理の詳細については後述する。
【００２２】
ＴＴＳ処理部４０は、テキストデータが入力され、このテキストデータを読み上げる音声信号を生成する。この音声信号は、増幅器４２によって増幅され、スピーカ４４から出力される。
【００２３】
表示処理部５０は、制御部１０の制御にしたがって各種の操作画面の表示やウェブページの表示などを行うためのものであり、それらの表示内容に対応する映像信号を出力する。この映像信号は、表示装置５２に入力されて映像表示が行われる。通信部６０は、サーバ２との間でネットワーク３を介して各種データの送受信やウェブページの取得を行うためのものであり、通信方式に応じた所定の処理を行う。
【００２４】
次に、制御部１０について説明する。図１に示すように、制御部１０は、ウェブブラウザ１２、テキスト出力部１４、ジェスチャ・文字列情報登録部１６、文字列抽出部１８を含んで構成されている。
【００２５】
ウェブブラウザ１２は、サーバ２から取得したウェブページの内容を解析して表示する。このために、ウェブブラウザ１２は、ウェブページ記述用言語（例えばＨＴＭＬ（HyperText Markup Language））で書かれたデータを解釈して画面に表示する文字などの配置を計算するレンダリングエンジン１３を含んでいる。本実施形態では、このレンダリングエンジン１３は、ウェブページの表示等に関する一般的な動作の他に、ＨＴＭＬソース解析時に特定の文字列がリンク先として存在する場合、あるいはボタンとして存在する場合には、「リンク先を開く」あるいは「ボタンを押す」動作を実行する。
【００２６】
テキスト出力部１４は、ウェブブラウザ１２によってウェブページの内容解析を行った際に抽出されたテキストデータをＴＴＳ処理部４０に向けて出力する。ジェスチャ・文字列情報登録部１６は、ジェスチャ・文字列情報をジェスチャ・文字列情報格納部３４に登録する。文字列抽出部１８は、ジェスチャ検出部３２によって検出されたジェスチャに対応する文字列を、ジェスチャ・文字列情報格納部３４に格納されたジェスチャ・文字列情報に基づいて抽出する。
【００２７】
上述したウェブブラウザ１２がウェブページ表示手段に、ジェスチャ・文字列情報格納部３４がジェスチャ・文字列情報格納手段に、ジェスチャ検出部３２がジェスチャ検出手段に、文字列抽出部１８が文字列抽出手段に、レンダリングエンジン１３が機能実行手段に、ジェスチャ・文字列情報登録部１６がジェスチャ・文字列情報登録手段に、ＴＴＳ処理部４０、増幅器４２、スピーカ４４が音声読み上げ手段にそれぞれ対応する。
【００２８】
本実施形態の車載装置１はこのような構成を有しており、次に、利用者がジェスチャを用いて行う動作について説明する。  図２は、ジェスチャ・文字列情報登録の動作手順を示す流れ図である。利用者により操作部２０を介して登録開始が指示されると、ジェスチャ・文字列情報登録部１６は、ジェスチャ検出部３２によって利用者のジェスチャ（手の形状）を検出したか否かを判定する（ステップ１００）。ジェスチャが検出されない場合には否定判断が行われ、この判定を繰り返す。また、ジェスチャが検出された場合（例えばカメラ３０によって利用者の手を撮影した後、利用者がジェスチャを取り込む指示を操作部２０を用いて行った場合）にはステップ１００の判定において肯定判断が行われる。
【００２９】
次に、操作部２０を利用者が操作して文字列の入力が行われると（ステップ１０２）、ジェスチャ・文字列情報登録部１６は、検出したジェスチャと入力された文字列とを対応させたジェスチャ・文字列情報を作成し、ジェスチャ・文字列情報格納部３４に登録する（ステップ１０４）。その後、ジェスチャ・文字列情報登録部１６は、登録完了か否かを判定する（ステップ１０６）。本実施形態では、１つのジェスチャに対して複数種類の文字列を登録することができる。他に登録したい文字列がある場合にはステップ１０６の判定において否定判断が行われ、ステップ１０２に戻って文字列の入力が繰り返される。また、１種類あるいは複数種類の文字列の登録が終了した場合にはステップ１０６の判定において肯定判断が行われ、一連の登録処理が終了する。
【００３０】
図３は、ジェスチャ・文字列情報の具体例を示す図である。図３において、Ｐ１、Ｐ２、Ｐ３のそれぞれはジェスチャ（手の形）を示しており、それぞれの下部に付された文字列が対応する文字列を示している。例えば、Ｐ１のジェスチャ（サムズアップ）に対応して文字列「Ｌｉｋｅ」と文字列「いいね」が登録されている。この例は、ＳＮＳの一例としてFacebook（登録商標）の画面を表示したときに、「いいね」ボタンを押すことを想定している。
【００３１】
図４は、ウェブページの内容を表示した後にジェスチャにより指示を行う動作手順を示す流れ図である。なお、この例では、ウェブページ内に特定の文字列がリンク先として存在する場合に、この文字列に対応するジェスチャによってこの文字列で示されたリンク先を開いたり、ウェブページ内に特定の文字列がボタンとして存在する場合に、この文字列に対応するジェスチャによってこの文字列で示されたボタンを押す動作を実行するものとする。
【００３２】
ウェブブラウザ１２は、サーバ２から送られてくるウェブページを取得すると（ステップ２００）、ウェブページの内容を解析して（ステップ２０２）、ウェブページの内容を表示する（ステップ２０４）。この表示動作と並行して、テキスト出力部１４は、ウェブページに含まれるテキストデータをＴＴＳ処理部４０に送ってウェブページの音声による読み上げを行う（ステップ２０６）。
【００３３】
また、ウェブブラウザ１２は、表示したウェブページに関して操作部２０を用いた入力があるか否かを監視しており（ステップ２０８）、入力があった場合にはその入力に応じた処理を行う（ステップ２１０）。また、レンダリングエンジン１３は、ジェスチャによる文字列入力があるか否かを判定する（ステップ２１２）。文字列抽出部１８によって文字列が抽出されていない場合には否定判断が行われ、ステップ２０８に戻って入力の有無判定が繰り返される。
【００３４】
図５は、ジェスチャに対応する文字列を抽出する動作手順を示す流れ図である。文字列抽出部１８は、ジェスチャ検出部３２によって利用者のジェスチャを検出したか否かを判定する（ステップ３００）。ジェスチャが検出されない場合には否定判断が行われ、この判定を繰り返す。また、利用者がカメラ３０の前に手をかざし、特定のジェスチャがカメラ３０によって検出された場合にはステップ３００の判定において肯定判断が行われる。例えば、利用者がカメラ３０の前で手の動きを所定時間静止させたときにこのジェスチャ検出が行われる。次に、文字列抽出部１８は、検出されたジェスチャに対応するジェスチャ・文字列情報がジェスチャ・文字列情報格納部３４に登録されているか否かを判定する（ステップ３０２）。登録されていない場合には否定判断が行われ、ステップ３００に戻ってジェスチャ検出判定が繰り返される。また、検出されたジェスチャに対応するジェスチャ・文字列情報が登録済みである場合には、ステップ３０２の判定において肯定判断が行われる。次に、文字列抽出部１８は、ジェスチャ・文字列情報に基づいて、ジェスチャに対応する文字列を抽出する（ステップ３０４）。
【００３５】
また、文字列抽出部１８によって文字列が抽出されると、ステップ２１２の判定において肯定判断が行われる。次に、レンダリングエンジン１３は、ウェブページ内に抽出文字列のボタンがあるか否かを判定し（ステップ２１４）、ボタンがある場合には肯定判断を行ってボタンを押す動作を実行する（ステップ２１６）。
【００３６】
また、該当するボタンがない場合にはステップ２１４の判定において否定判断が行われ、レンダリングエンジン１３は、ウェブページ内に抽出文字列がリンク先として存在するか否かを判定し（ステップ２１８）、リンク先として存在する場合には肯定判断を行ってリンク先を開く（リンク先に移動する）動作を行う（ステップ２２０）。該当するリンク先がない場合にはステップ２１８の判定において否定判断が行われ、ステップ２０８に戻って入力の有無判定が繰り返される。
【００３７】
このように、本実施形態の車載装置１では、利用者は、ジェスチャによってウェブページに対する入力を行うことができるため、文字キーやポインティングデバイスなどを用いて入力を行う場合に比べて操作を簡略化することができる。また、クライアント側（車載装置１側）でウェブページを解析して、ジェスチャに対応する文字列が含まれる場合に、この文字列に対応する機能を実行するため、ウェブページを提供するサーバ２側での処理が不要であってウェブページを表示するクライアント側での対応が可能となる。
【００３８】
また、車載装置１の場合には搭載スペース等の関係で操作性が良好な入力デバイスを用いることができないが、ジェスチャによる入力を行うことで特に車載装置１における操作性の向上が可能となる。また、車載装置１の場合には、音声認識を利用した入力を行おうとすると各種の騒音による認識率の低下が懸念されるが、ジェスチャを用いた場合には騒音の影響がなく、入力操作を確実に行うことが可能となる。
【００３９】
また、車両の所定位置に設けられたカメラ３０によって撮影された利用者の画像に基づいて利用者のジェスチャを検出しており、カメラ３０を所定位置に設置するだけで簡単にジェスチャ検出を行うことができる。
【００４０】
また、利用者の手の形を利用者のジェスチャとして検出しており、指の形状を異ならせることにより、検出が容易な複数種類のジェスチャを特定することが可能になり、検出精度を上げることができる。特に、手を用いたジェスチャは、利用者が異なる場合であっても正確に検出することができるため、利用者毎に個別に検出処理を行う必要がなく、処理の簡略化が可能となる。
【００４１】
また、１つのジェスチャに対して複数種類の文字列の登録が可能であるため、ジェスチャに任意の文字列を、希望する数だけ対応させることができ、汎用性を持たせることができる。
【００４２】
また、ウェブページに含まれるテキスト情報を音声で読み上げる音声読み上げ処理を行っており、ウェブページの表示画面を読む手間を省くことができる。これにより、特に、表示画面が小さい場合や、車載装置１のように画面を注視しずらい環境で使用する場合の使い勝手を向上させることができる。
【００４３】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、車載装置１について説明したが、車両以外に用いられる情報処理装置、例えばデスクトップパソコンやノートパソコンなどに本発明を適用することができる。
【００４４】
また、上述した実施形態では、車載装置１においてジェスチャ・文字列情報の登録（図２）を行ったが、この登録動作は車両以外の場所で行い、登録されたジェスチャ・文字列情報を車載装置１に読み込むようにしても良い。
【００４５】
また、上述した実施形態では、ウェブページ記述用言語の一例としてＨＴＭＬを上げたが、ＸＭＬ（Extensible Markup Language）等の他の言語を用いてウェブページが記述されている場合にも本発明を適用することができる。また、ジェスチャに対応する文字列が抽出されたときに、この文字列がリンク先として存在する場合にリンク先を開く動作を行い、この文字列がボタンとして存在する場合にボタンを押す動作を実行する場合について説明したが、抽出した文字列に関連付けて実行する機能はこれらに限定されない。
【産業上の利用可能性】
【００４６】
上述したように、本発明によれば、利用者は、ジェスチャによってウェブページに対する入力を行うことができるため、文字キーやポインティングデバイスなどを用いて入力を行う場合に比べて操作を簡略化することができる。
【符号の説明】
【００４７】
１  車載装置
２  サーバ
３  ネットワーク
１０  制御部
２０  操作部
３０  カメラ
３２  ジェスチャ検出部
３４  ジェスチャ・文字列情報格納部
４０  ＴＴＳ処理部
５０  表示処理部
５２  表示装置
６０  通信部
【図１】
2014032581.tif 000003
【図２】
2014032581.tif 000004
【図３】
2014032581.tif 000005
【図４】
2014032581.tif 000006
【図５】
2014032581.tif 000007