(57)【要約】【課題】状況に応じて、ユーザにとって良好な入力操作が可能となる携帯端末装置を提供する。【解決手段】音声入力を受け付けるための音声入力部１５および音声認識部３１と、ジェスチャー入力（視線入力）を受け付けるための第１撮影部２０（第２撮影部２１）およびジェスチャー検出部３２（視線検出部３３）と、音声入力の受け付けが困難であることを示す切替条件が満たされたか否かを判定する判定部３４と、判定部３４により切替条件が満たされたと判定されたことに基づいて、音声入力を受け付ける音声入力モードからジェスチャー入力（視線入力）を受け付けるジェスチャー入力モード（視線入力モード）へ入力モードを切り替える切替制御部３５と、を備える。【選択図】図２
2014085954.tif 000002
【特許請求の範囲】
【請求項１】
第１入力操作を受け付ける第１操作受付部と、
前記第１入力操作とは方式の異なる第２入力操作を受け付ける第２操作受付部と、
第１操作受付部による前記第１入力操作の受け付けが困難であることを示す切替条件が満たされたか否かを判定する判定部と、
前記判定部により前記切替条件が満たされたと判定されたことに基づいて、前記第１操作受付部により前記第１入力操作を受け付ける第１モードから前記第２操作受付部により前記第２入力操作を受け付ける第２モードへ入力モードを切り替える切替制御部と、
を備えることを特徴とする携帯端末装置。
【請求項２】
請求項１に記載の携帯端末装置において、
前記切替制御部は、前記判定部により前記切替条件が満たされたと判定された場合に、前記第１モードから前記第２モードへの切り替えを拒否する操作がなされた場合、前記第１モードによる入力操作の受け付けを継続する、
ことを特徴とする携帯端末装置。
【請求項３】
請求項１または２に記載の携帯端末装置において、
前記第１入力操作および前記第２入力操作とは方式の異なる第３入力操作を受け付ける第３操作受付部を、さらに備え、
前記切替制御部は、前記判定部により前記切替条件が満たされたと判定された場合に、前記第２入力操作を選択する操作が行われると前記第１モードを前記第２モードに切り替え、前記第３入力操作を選択する操作が行われると、前記第１モードを前記第３操作受付部により前記第３入力操作を受け付ける第３モードに切り替える、
ことを特徴とする携帯端末装置。
【請求項４】
請求項１ないし３の何れか一項に記載の携帯端末装置において、
前記第１操作受付部は、音声入力部と、当該音声入力部に入力された音声をテキスト化する音声認識部とを含み、音声による入力操作を前記第１入力操作として受け付け、
前記判定部は、周囲の音量が所定レベルを超えているか否かを判定する、
ことを特徴とする携帯端末装置。
【請求項５】
請求項１ないし３の何れか一項に記載の携帯端末装置において、
前記第１操作受付部は、第１撮影部と、当該第１撮影部により撮影された画像に基づいてユーザが行ったジェスチャーを検出するジェスチャー検出部とを含み、ジェスチャーによる入力操作を前記第１入力操作として受け付け、
前記判定部は、周囲の明るさが所定の明るさ以下であるか否かを判定する、
ことを特徴とする携帯端末装置。
【請求項６】
請求項１ないし３の何れか一項に記載の携帯端末装置において、
入力操作の対象となる操作面をさらに備え、
前記第１操作受付部は、第２撮影部と、当該第２撮影部により撮影されたユーザの目の動きに基づいて、前記操作面上におけるユーザの視線が向けられた視線位置を検出する視線検出部とを含み、視線による入力操作を前記第１入力操作として受け付け、
前記判定部は、前記携帯端末装置が動いているか否かを判定する、
ことを特徴とする携帯端末装置。
【請求項７】
請求項１ないし６の何れか一項に記載の携帯端末装置において、
前記判定部は、誤入力操作の回数が所定回数を超えたか否かを判定する、
ことを特徴とする携帯端末装置。
【請求項８】
第１入力操作を受け付ける第１操作受付部と、前記第１入力操作とは方式の異なる第２入力操作を受け付ける第２操作受付部と、を備える携帯端末装置のコンピュータに、
第１操作受付部による前記第１入力操作の受け付けが困難であることを示す切替条件が満たされたか否かを判定する機能と、
前記切替条件が満たされたと判定されたことに基づいて、前記第１操作受付部により前記第１入力操作を受け付ける第１モードから前記第２操作受付部により前記第２入力操作を受け付ける第２モードへ入力モードを切り替える機能と、
を付与するプログラム。
【請求項９】
第１入力操作を受け付ける第１操作受付部と、前記第１入力操作とは方式の異なる第２入力操作を受け付ける第２操作受付部と、を備える携帯端末装置の入力操作受け付け方法であって、
第１操作受付部による前記第１入力操作の受け付けが困難であることを示す切替条件が満たされたか否かを判定するステップと、
前記切替条件が満たされたと判定されたことに基づいて、前記第１操作受付部により前記第１入力操作を受け付ける第１モードから前記第２操作受付部により前記第２入力操作を受け付ける第２モードへ入力モードを切り替えるステップと、
を含む入力操作受け付け方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話機、ＰＤＡ（Personal Digital Assistant）、タブレットＰＣ（Tablet PC）、電子書籍端末等の携帯端末装置に関する。また、本発明は、かかる携帯端末装置に用いて好適なプログラムおよび入力操作受け付け方法に関する。
【背景技術】
【０００２】
現在、携帯電話機等の携帯端末装置では、タッチパネルに対するタッチ入力操作が入力操作方式の主流となっている。携帯端末装置には、タッチ入力操作の他、各種の入力操作方式が採用され得る。たとえば、ユーザの音声による入力操作（以下「音声入力」という）やユーザの手などを用いたジェスチャーによる入力操作（以下「ジェスチャー入力」という）などが挙げられる（特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−０３３８２０号公報
【特許文献２】特開平１１−３３８１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
周囲環境や状況によっては、現在指定されている入力操作方式での入力操作が困難となる場合が生じ得る。たとえば、音声入力が指定されている場合、周囲の騒音が大きいと、正確な音声認識が行われないため、入力操作が困難となり得る。ジェスチャー入力が指定されている場合、周囲が暗いと、ジェスチャーを正確にカメラで撮影できないため、入力操作が困難となり得る。
【０００５】
そこで、本発明は、状況に応じて、ユーザにとって良好な入力操作が可能となる携帯端末装置、プログラムおよび入力操作受け付け方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る携帯端末装置は、第１入力操作を受け付ける第１操作受付部と、前記第１入力操作とは方式の異なる第２入力操作を受け付ける第２操作受付部と、第１操作受付部による前記第１入力操作の受け付けが困難であることを示す切替条件が満たされたか否かを判定する判定部と、前記判定部により前記切替条件が満たされたと判定されたことに基づいて、前記第１操作受付部により前記第１入力操作を受け付ける第１モードから前記第２操作受付部により前記第２入力操作を受け付ける第２モードへ入力モードを切り替える切替制御部と、を備える。
【０００７】
本態様に係る携帯端末装置において、前記切替制御部は、前記判定部により前記切替条件が満たされたと判定された場合に、前記第１モードから前記第２モードへの切り替えを拒否する操作がなされた場合、前記第１モードによる入力操作の受け付けを継続するような構成とされ得る。
【０００８】
本態様に係る携帯端末装置は、前記第１入力操作および前記第２入力操作とは方式の異なる第３入力操作を受け付ける第３操作受付部を、さらに備えるような構成とされ得る。この場合、前記切替制御部は、前記判定部により前記切替条件が満たされたと判定された場合に、前記第２入力操作を選択する操作が行われると前記第１モードを前記第２モードに切り替え、前記第３入力操作を選択する操作が行われると、前記第１モードを前記第３
操作受付部により前記第３入力操作を受け付ける第３モードに切り替える。
【０００９】
本態様に係る携帯端末装置において、前記第１操作受付部は、音声入力部と、当該音声入力部に入力された音声をテキスト化する音声認識部とを含み、音声による入力操作を前記第１入力操作として受け付けるような構成とされ得る。この場合、前記判定部は、周囲の音量が所定レベルを超えているか否かを判定する。
【００１０】
本態様に係る携帯端末装置において、前記第１操作受付部は、第１撮影部と、当該第１撮影部により撮影された画像に基づいてユーザが行ったジェスチャーを検出するジェスチャー検出部とを含み、ジェスチャーによる入力操作を前記第１入力操作として受け付けるような構成とされ得る。この場合、前記判定部は、周囲の明るさが所定の明るさ以下であるか否かを判定する。
【００１１】
本態様に係る携帯端末装置は、入力操作の対象となる操作面をさらに備えるような構成とされ得る。この場合、前記第１操作受付部は、第２撮影部と、当該第２撮影部により撮影されたユーザの目の動きに基づいて、前記操作面上におけるユーザの視線が向けられた視線位置を検出する視線検出部とを含み、視線による入力操作を前記第１入力操作として受け付けるような構成とされる。前記判定部は、前記携帯端末装置が動いているか否かを判定する。
【００１２】
たとえば、携帯端末装置に加わる加速度を検出する加速度検出部が携帯端末装置に備えられる場合、検出された加速度が所定値を超える場合に、携帯端末装置が動いていると判定される。あるいは、所定時間内における操作面への視線の入出回数が所定回数を超える場合に、携帯端末装置が動いていると判定される。
【００１３】
本態様に係る携帯端末装置において、前記判定部は、誤入力操作の回数が所定回数を超えたか否かを判定するような構成とされ得る。
【００１４】
本発明の第２の態様に係るプログラムは、第１入力操作を受け付ける第１操作受付部と、前記第１入力操作とは方式の異なる第２入力操作を受け付ける第２操作受付部と、を備える携帯端末装置のコンピュータに、第１操作受付部による前記第１入力操作の受け付けが困難であることを示す切替条件が満たされたか否かを判定する機能と、前記切替条件が満たされたと判定されたことに基づいて、前記第１操作受付部により前記第１入力操作を受け付ける第１モードから前記第２操作受付部により前記第２入力操作を受け付ける第２モードへ入力モードを切り替える機能と、を付与する。
【００１５】
本発明の第３の態様は、第１入力操作を受け付ける第１操作受付部と、前記第１入力操作とは方式の異なる第２入力操作を受け付ける第２操作受付部と、を備える携帯端末装置の入力操作受け付け方法に関する。本態様に係る入力操作受け付け方法は、第１操作受付部による前記第１入力操作の受け付けが困難であることを示す切替条件が満たされたか否かを判定するステップと、前記切替条件が満たされたと判定されたことに基づいて、前記第１操作受付部により前記第１入力操作を受け付ける第１モードから前記第２操作受付部により前記第２入力操作を受け付ける第２モードへ入力モードを切り替えるステップと、を含む。
【発明の効果】
【００１６】
本発明によれば、状況に応じて、ユーザにとって良好な入力操作が可能となる携帯端末装置、プログラムおよび入力操作受け付け方法を提供することができる。
【００１７】
本発明の効果ないし意義は、以下に示す実施形態の説明によりさらに明らかとなろう。
ただし、以下の実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。
【図面の簡単な説明】
【００１８】
【図１】実施の形態に係る、携帯電話機の構成を示す図である。
【図２】実施の形態に係る、携帯電話機の全体構成を示すブロック図である。
【図３】実施の形態に係る、対応テーブルの構成を示す図である。
【図４】実施の形態に係る、ジェスチャー検出部によるジェスチャーの検出について説明するための図である。
【図５】実施の形態に係る、視線検出部による視線位置の検出について説明するための図である。
【図６】実施の形態に係る、入力操作受付処理の処理手順を示すフローチャートである。
【図７】実施の形態に係る、入力操作受付処理に含まれる音声入力モードの処理の処理手順を示すフローチャートである。
【図８】実施の形態に係る、入力操作受付処理に含まれる視線入力モードの処理の処理手順を示すフローチャートである。
【図９】実施の形態に係る、入力操作受付処理に含まれるジェスチャー入力モードの処理の処理手順を示すフローチャートである。
【図１０】実施の形態に係る、音声入力モード、視線入力モードおよびジェスチャー入力モードにおいて表示面に表示される選択ウィンドウを示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、図面を参照して説明する。
【００２０】
図１は、携帯電話機１の構成を示す図である。図１（ａ）および（ｂ）は、それぞれ、携帯電話機１の正面図および背面図である。
【００２１】
以下、説明の便宜上、図１に示すように、キャビネット２の長手方向を上下方向と定義し、キャビネット２の短手方向を左右方向と定義する。
【００２２】
携帯電話機１は、キャビネット２と、表示面３と、マイクロフォン４と、通話スピーカ５と、キー操作部６と、外部スピーカ７と、カメラ８と、赤外線カメラ９と、赤外線ＬＥＤ１０を備えている。
【００２３】
キャビネット２は、正面から見て、ほぼ長方形状を有する。キャビネット２の正面に、後述する表示部１３の表示面３が配されている。表示面３には、各種の画像（画面）が表示される。
【００２４】
キャビネット２の内部には、下端部にマイクロフォン４が配されており、上端部に通話スピーカ５が配されている。マイクロフォン４には、キャビネット２の正面に形成されたマイク孔４ａを通じて音声が入力される。マイクロフォン４は、入力した音に応じた電気信号を生成する。通話スピーカ５からは、音声が出力される。出力された音声は、キャビネット２の正面に形成された出力孔５ａを通じて外部に放出される。
【００２５】
キャビネット２の正面には、キー操作部６が設けられている。キー操作部６は、設定キー６ａ、ホームキー６ｂ、およびバックキー６ｃから構成されている。設定キー６ａは、主に、各種設定を行う設定画面を表示面３に表示させるためのキーである。ホームキー６ｂは、主に、ホーム画面を表示面３に表示させるためのキーである。バックキー６ｃは、主に、実行された処理を１ステップ前の処理に戻すためのキーである。
【００２６】
キャビネット２の内部には、外部スピーカ７が配されている。キャビネット２の背面には、外部スピーカ７に対応する出力孔７ａが形成されている。外部スピーカ７から出力された音（音声、報知音等）は、出力孔７ａを通じて外部に放出される。
【００２７】
通話スピーカ５の右隣りには、カメラ８が配されている。キャビネット２の正面には、レンズ窓８ａが設けられており、レンズ窓８ａを通じて被写体の像がカメラ８に取り込まれる。
【００２８】
通話スピーカ５の左隣りには、赤外線カメラ９が配されている。キャビネット２の正面には、レンズ窓９ａが設けられており、レンズ窓９ａを通じて被写体の像が赤外線カメラ９に取り込まれる。
【００２９】
マイクロフォン４の左隣りには、赤外光を発する赤外線ＬＥＤ１０が配されている。赤外線ＬＥＤ１０の発光面は外部に露出している。赤外線ＬＥＤ１０は、キャビネット２の左右方向において、赤外線カメラ９と同じ位置に配されている。
【００３０】
図２は、携帯電話機１の全体構成を示すブロック図である。携帯電話機１は、制御部１１と、記憶部１２と、表示部１３と、タッチ検出部１４と、音声入力部１５と、音声出力部１６と、音声処理部１７と、キー入力部１８と、通信部１９と、第１撮影部２０と、第２撮影部２１と、赤外光出力部２２と、照度検出部２３と、加速度検出部２４とを備えている。
【００３１】
記憶部１２は、ＲＯＭ、ＲＡＭ、外部メモリー等から構成される。記憶部１２には、各種のプログラムが記憶されている。記憶部１２に記憶されるプログラムは、携帯電話機１の各部を制御するための制御プログラムの他、各種アプリケーション（たとえば、電話、電子メール、電話帳、地図、ゲーム、スケジュール管理、音声認識、電子書籍、ギャラリー等）を含む。プログラムは、メーカによって携帯電話機１の製造時に記憶部１２に記憶される他、ユーザによって通信網や記憶媒体を介して記憶部１２に記憶される。
【００３２】
記憶部１２には、プログラムの実行の際、一時的に利用または生成されるデータを記憶する図示しないワーキング領域も含まれる。
【００３３】
記憶部１２には、図３に示す対応テーブル１２ａが記憶されている。対応テーブル１２ａには、携帯電話機１に搭載された各アプリケーションと、各アプリケーションが実行された際の入力操作方式とが登録されている。本実施の形態の携帯電話機１では、タッチパネルに対するタッチ入力操作（タッチ入力）に加え、音声による入力操作（音声入力）、視線による入力操作（視線入力）およびジェスチャーによる入力操作（ジェスチャー入力）が可能である。
【００３４】
制御部１１は、ＣＰＵ等から構成されている。制御部１１は、プログラムに従って、携帯電話機１を構成する各部（記憶部１２、表示部１３、タッチ検出部１４、音声入力部１５、音声出力部１６、音声処理部１７、キー入力部１８、通信部１９、第１撮影部２０、第２撮影部２１、赤外光出力部２２、照度検出部２３、加速度検出部２４等）を制御する。
【００３５】
表示部１３は、液晶ディスプレイ等から構成される。表示部１３は、制御部１１からの制御信号と画像信号に基づき、表示面３に画像（画面）を表示する。表示部１３は、液晶ディスプレイに限らず、有機ＥＬディスプレイ等、他の表示装置から構成されてもよい。
【００３６】
タッチ検出部１４は、表示面３への指の接触を検出するタッチパネル等から構成されて
いる。タッチパネルは、透明なシート状に形成され、表示面３上を覆いキャビネット２の正面に配される。タッチパネルは、静電容量式、超音波式、感圧式、抵抗膜式、光検知式等、各種方式のタッチパネルであってよい。
【００３７】
タッチ検出部１４は、前記表示面３へのユーザによるタッチ入力操作を受け付ける。即ち、タッチ検出部１４は、指が触れた表示面３上のタッチ位置を検出し、検出したタッチ位置に応じた位置信号を制御部１１へ出力する。
【００３８】
ユーザは、表示面３に指を触れることにより各種のタッチ入力操作を行うことができる。タッチ入力操作の種類として、タップ操作、フリック操作、スライド操作等が挙げられる。タップ操作は、表示面３に指を接触させた後、短時間のうちに表示面３より指を離す操作である。フリック操作は、表示面３を指で任意の方向に弾く操作である。スライド操作は、表示面３に指を接触させたまま任意の方向へ移動させる操作である。フリック操作およびスライド操作は、タッチ位置の移動を伴うタッチ操作である。
【００３９】
タッチ入力操作についてより具体的に説明する。たとえば、タッチ検出部１４により表示面３に対するタッチ位置が検出された後、予め定めた第１時間以内にタッチ位置が検出されなくなった場合、制御部１１によりタップ操作がなされたと判定される。タッチ検出部１４により表示面３に対するタッチ位置が検出され、予め定めた第２時間以内に予め定めた第１距離以上タッチ位置が移動した後、タッチ位置が検出されなくなった場合、制御部１１によりフリック操作がなされたと判定される。タッチ検出部１４により表示面３に対するタッチ位置が検出された後、予め定めた第２距離以上タッチ位置が移動すると、制御部１１によりスライド操作がなされたと判定される。
【００４０】
音声入力部１５は、マイクロフォン４等から構成される。音声入力部１５は、マイクロフォン４からの電気信号を音声処理部１７へ出力する。
【００４１】
音声出力部１６は、通話スピーカ５および外部スピーカ７を含む。音声出力部１６には、音声処理部１７からの電気信号が入力され、通話スピーカ５または外部スピーカ７から音（音声、報知音等）が出力される。
【００４２】
音声処理部１７は、音声入力部１５からの電気信号にＡ／Ｄ変換等を施し、変換後のデジタルの音声信号を制御部１１へ出力する。音声処理部１７は、制御部１１からのデジタルの音声信号にデコード処理およびＤ／Ａ変換等を施し、変換後の電気信号を音声出力部１６に出力する。
【００４３】
キー入力部１８は、キー操作部６の各操作キーが押下されたときに、押下された操作キーに応じた信号を制御部１１へ出力する。
【００４４】
通信部１９は、通話や通信を行うため、信号を変換するための回路、電波を送受信するアンテナ等を備える。通信部１９は、制御部１１から入力される通話や通信のための信号を無線信号に変換し、変換された無線信号を、アンテナを介して基地局や他の通信装置等の通信先へ送信する。さらに、通信部１９は、アンテナを介して受信した無線信号を制御部１１が利用できる形式の信号へ変換し、変換された信号を制御部１１へ出力する。
【００４５】
第１撮影部２０は、カメラ８等により構成され、カメラ８により撮影された画像の画像データに各種の画像処理を施し、画像処理後の画像データを制御部１１に出力する。
【００４６】
第２撮影部２１は、赤外線カメラ９等により構成され、赤外線カメラ９により撮影された画像の画像データに画像処理を施し、モノクロの画像データを制御部１１に出力する。
【００４７】
赤外光出力部２２は、赤外線ＬＥＤ１０、ＬＥＤ駆動回路等により構成される。ＬＥＤ駆動回路は、制御部１１からの制御信号に従って赤外線ＬＥＤ１０を駆動する。
【００４８】
照度検出部２３は、照度センサ等から構成され、周囲の明るさを検出する。照度センサからは、周囲の明るさに応じた検出信号が出力され、制御部１１へ入力される。
【００４９】
加速度検出部２４は、加速度センサ等から構成され、携帯電話機１に生じる加速度を検出する。加速度センサからは、携帯電話機１に生じる加速度応じた検出信号が出力され、制御部１１へ入力される。
【００５０】
本実施の形態では、入力操作受付処理が、当該処理のために記憶部１２に記憶されたプログラムに従って実行される。入力操作受付処理により受け付けられた入力操作に基づいて、制御部１１により所定の処理が実行される。所定の処理とは、各種アプリケーションの起動、テキスト情報等の各種情報の入力、表示面３表示された画面の表示の更新などである。
【００５１】
入力操作受付処理では、実行されるアプリケーションに対応付けられた入力操作方式に従って、音声入力を受け付ける音声入力モード、視線入力を受け付ける視線入力モードおよびジェスチャー入力を受け付けるジェスチャー入力モードの各処理が実行される。さらに、各入力モードにおいて、入力操作（音声入力、視線入力、ジェスチャー入力）の受け付けが困難であることを示す判定条件が満たされるか否かが判定され、入力操作が困難との判定がなされた場合には、現在の入力モードが他の入力操作方式の入力モードへ切り替えられる。
【００５２】
かかる入力操作受付処理を実行するため、制御部１１は、音声認識部３１、ジェスチャー検出部３２、視線検出部３３、判定部３４、切替制御部３５を備える。
【００５３】
音声認識部３１は、音声処理部１７から入力した音声信号を用いて音声認識処理を実行し、音声をテキスト化したテキスト情報を出力する。
【００５４】
ジェスチャー検出部３２は、第１撮影部２０（カメラ８）により撮影された画像に基づいてユーザが行ったジェスチャーを検出する。本実施の形態では、ユーザの手により行われたジェスチャーが検出される。
【００５５】
ジェスチャー検出部３２は、カメラ８による撮影画像から、色や形等、手の特徴点に基づいて手の画像を検出し、手の画像の変化に基づいて、ユーザの手によるジェスチャーを検出する。
【００５６】
図４（ａ）は、ユーザが広げた手を握るジェスチャーを行った例を示す図であり、図４（ｂ）は、ユーザが手を横に振るジェスチャーを行った例を示す図である。
【００５７】
たとえば、図４（ａ）に示すように、ジェスチャー検出部３２は、手の画像の面積が小さくなるよう変化したことを検出することにより、ユーザが広げた手を握るジェスチャーを検出する。また、図４（ｂ）に示すように、ジェスチャー検出部３２は、手の画像の重心位置が、横方向に移動したこと検出することにより、ユーザが手を横に振るジェスチャーを検出する。
【００５８】
視線検出部３３は、第２撮影部２１（赤外線カメラ９）により撮影されたユーザの目の動きに基づいて、表示面３上におけるユーザの視線が向けられた視線位置を検出する。
【００５９】
図５は、視線検出部３３による視線位置の検出について説明するための図である。図５を参照し、視線位置の検出について詳細に説明する。
【００６０】
視線位置の検出のために、赤外線カメラ９による撮影が行われるとともに赤外線ＬＥＤ１０から赤外光が発せられる。ユーザが、表示面３に目を向けると、赤外線カメラ９により、ユーザの目と目に反射した赤外光（以下、「反射光」という）とを含む画像が撮影される。
【００６１】
視線検出部３３は、赤外線カメラ９による撮影画像から瞳孔および反射光を検出し、図５（ａ）に示すように、反射光の中心Ａから瞳孔の中心Ｂに向けたベクトル（以下、「視線ベクトル」という）を算出する。視線ベクトルは、赤外線カメラ９による撮影画像に対応する予め定められた座標系を用いることにより算出される。
【００６２】
表示面３は、グリッドにより複数の領域に分割されている。図５（ｂ）には、一例として、表示面３が縦８列、横４列の３２個の領域に分割された構成が示されている。各分割領域には、識別情報（１）〜（３２）が付され、各識別情報に対応して各分割領域の位置と大きさを示す座標の情報が記憶部１２に記憶される。なお、図５（ｂ）の例に限られず、分割領域の個数や形状は任意に設定され得る。
【００６３】
図５（ｃ）は、ユーザが最上列の左端の分割領域（１）を注視したときの目の動きを例示する図であり、図５（ｄ）は、ユーザが最上列の右端の分割領域（４）を注視したときの目の動きを例示する図である。図５（ｃ）および（ｄ）に示すように、ユーザの視線の変化に応じて、反射光と瞳孔との位置関係が変化し、視線ベクトルが変化する。
【００６４】
視線入力が行われる前には校正処理が行われる。校正処理では、たとえば、各分割領域が順番に所定の色に変化することにより、ユーザの視線が各分割領域に誘導される。ユーザが各分割領域を注視したときの視線ベクトルが視線検出部３３により算出され、基準ベクトルとして記憶部１２に記憶される。
【００６５】
視線入力が行われた際、視線検出部３３は、実際に取得された視線ベクトルと最も近似する基準ベクトルを検出することにより、基準ベクトルに対応する分割領域にユーザの視線位置があると決定する。また、視線検出部３３は、実際に取得された視線ベクトルに近似する基本ベクトルが存在しない場合、ユーザの視線位置が表示面３から外れていると決定する。
【００６６】
判定部３４は、入力操作（音声入力、視線入力、ジェスチャー入力）の受け付けが困難であることを示す切替条件が満たされた否かを判定する。即ち、判定部３４は、音声入力モードにおいて、周囲の音量が所定レベルを超えているか否かを判定する。たとえば、判定部３４は、マイクロフォン４に入力された音の音量が所定レベルを超えている場合に、周囲の音量が所定レベルを超えていると判定する。なお、マイクロフォン４に入力された音量が、一時的でなく、所定時間継続して所定レベルを超えた場合に、周囲の音量が所定レベルを超えていると判定されることが望ましい。以上の処理により、携帯電話機１が周囲の騒音が大きな状況にある場合、音声入力が困難となる状況にあるか否かが判定される。
【００６７】
さらに、判定部３４は、視線入力モードにおいて、携帯電話機１が動いているか否かを判定する。即ち、判定部３４は、携帯電話機１に加わる加速度を加速度検出部２４から取得し、取得した加速度が所定値を超えているか否かを判定する。たとえば、手に保持された携帯電話機１が動いている場合、携帯電話機１に加わる加速度が所定値を超える。また
、判定部３４は、ユーザの視線の表示面３への入出回数が所定回数を超えたか否かを判定する。携帯電話機１が動いている場合には、ユーザの視線位置が表示面３内に留まり難いため、入出回数が所定回数を超える。なお、判定部３４は、所定時間内における入出回数が所定回数を超えたか否かを判定するような構成とされてもよい。以上の処理により、携帯電話機１が動いているために、ユーザによる視線入力が困難となる状況にあるか否かが判定される。
【００６８】
さらに、判定部３４は、ジェスチャーモードにおいて、照度検出部２３により検出された周囲の明るさが所定の明るさ以下であるか否かを判定する。以上の処理により、携帯電話機１が、周囲が暗くユーザによるジェスチャーが第１撮影部２０により正確に撮影できず、ジェスチャー入力が困難である状況にあるか否かが判定される。
【００６９】
さらに、判定部３４は、音声入力モード、視線入力モードおよびジェスチャー入力モードにおいて、誤入力操作の回数が所定回数を超えたか否かを判定する。たとえば、判定部３４は、バックキー６ｃにより処理を戻す操作が行われた回数を誤入力操作の回数とみなし、戻し操作の回数が所定回数を超えたか否かを判定する。各入力モードにおける入力操作が困難になった場合には、誤入力操作が多くなるため、バックキー６ｃによる戻し操作回数、即ち、誤入力操作の回数が所定回数を超え易くなる。なお、判定部３４は、所定時間内における誤入力操作の回数が所定回数を超えたか否かを判定するような構成とされてもよい。
【００７０】
切替制御部３５は、判定部３４により、上述した切替条件が満たされたと判定されたことに基づいて、現在の入力モードを他の入力モードに切り替える。たとえば、切替制御部３５は、現在の入力モードが音声入力モードであれば、音声入力モードを視線入力モードまたはジェスチャー入力モードに切り替える。
【００７１】
図６は、入力操作受付処理の処理手順を示すフローチャートである。図７は、入力操作受付処理に含まれる音声入力モードの処理の処理手順を示すフローチャートである。図８は、入力操作受付処理に含まれる視線入力モードの処理の処理手順を示すフローチャートである。図９は、入力操作受付処理に含まれるジェスチャー入力モードの処理の処理手順を示すフローチャートである。
【００７２】
以下、図６ないし図９を参照し、入力操作受付処理について説明する。何れかのアプリケーションが起動された場合に、入力受付処理が開始される。
【００７３】
制御部１１は、図３に示す対応テーブル１２ａを参照し、起動されたアプリケーションに対応付けられた入力操作方式を判定する（Ｓ１１）。たとえば、音声認識のアプリケーションが起動された場合、対応付けられた入力操作方式は、音声入力である。このため、制御部１１は、音声入力モードの処理を実行する（Ｓ１２）。たとえば、電子書籍のアプリケーションが起動された場合、対応付けられた入力操作方式は、視線入力である。このため、制御部１１は、視線入力モードの処理を実行する（Ｓ１３）。たとえば、ギャラリーのアプリケーションが起動された場合、対応付けられた入力操作方式は、ジェスチャー入力である。このため、制御部１１は、音声入力モードの処理を実行する（Ｓ１４）。
【００７４】
図７を参照して、音声入力モードの処理について説明する。音声入力モードの処理が開始された場合、制御部１１は、マイクロフォン４を作動させる（Ｓ１０１）。ユーザの音声や周囲の音がマイクロフォン４を通じて制御部１１に入力される。
【００７５】
判定部３４は、周囲の音量が所定レベルを超えているか否か、および、誤入力操作の回数が所定回数を超えたか否かを判定する（Ｓ１０２、Ｓ１０３）。
【００７６】
周囲の音量が所定レベルを超えておらず（Ｓ１０２：ＮＯ）、且つ、誤入力操作の回数が所定回数を超えていない場合（Ｓ１０３：ＮＯ）、入力操作のためのユーザの音声がマイクロフォン４に入力されると、音声認識部３１は、音声認識処理を実行し（Ｓ１０４）、音声認識結果、即ち、入力された音声に対応するテキスト情報を出力する（Ｓ１０５）。
【００７７】
制御部１１は、音声認識部３１から出力されたテキスト情報に割り当てられた所定の機能を実行する。たとえば、テキスト情報に特定のアプリケーションを起動する機能が割り当てられていた場合、制御部１１は、そのアプリケーションを起動する。たとえば「メール」との音声に基づいて、電子メールのアプリケーションが起動される。
【００７８】
音声認識のアプリケーションの実行が終了されなければ（Ｓ１０６：ＮＯ）、ステップＳ１０２からステップＳ１０６の処理が繰り返される。
【００７９】
周囲の騒音が大きな場所で携帯電話機１が使用されるなど、音声入力が困難な状況となった場合には、判定部３４により、周囲の音量が所定レベルを超えていると判定される（Ｓ１０２：ＹＥＳ）。または、判定部３４により、誤入力操作の回数が所定回数を超えたと判定される（Ｓ１０３：ＹＥＳ）。この場合、切替制御部３５は、切り替える入力モードを選択するための選択ウィンドウ１１０を、表示面３に既に表示されている画面に重ねて表示する（Ｓ１０７）。
【００８０】
図１０（ａ）は、音声入力モードにおいて表示面３に表示される選択ウィンドウ１１０を示す図である。選択ウィンドウ１１０は、入力操作方式の切り替えを促すメッセージ１１１を含む。さらに、選択ウィンドウ１１０は、「視線入力」、「ジェスチャー入力」、または「キャンセル」の何れかの項目を選択するための３つの選択用オブジェクト１１２を含む。なお、表示面３に表示されている画面のピクト領域には、現在の入力操作方式が音声入力であることをユーザに通知するためのアイコン１１３が表示される。
【００８１】
ユーザは、所望の選択用オブジェクト１１２に対してタッチ入力操作、たとえば、タップ操作を行う。切替制御部３５は、何れかの項目が選択されると（Ｓ１０８：ＹＥＳ）、何れの項目が選択されたのかを判定する（Ｓ１０９）。
【００８２】
切替制御部３５は、「視線入力」の項目が選択されたと判定すると（Ｓ１０９：視線入力）、マイクロフォン４の動作を停止させ（Ｓ１１０）、入力モードを、音声入力モードから視線入力モードへ切り替える（Ｓ１１１）。一方、切替制御部３５は、「ジェスチャー入力」の項目が選択されたと判定すると（Ｓ１０９：ジェスチャー入力）、マイクロフォン４の動作を停止させ（Ｓ１１２）、入力モードを、音声入力モードからジェスチャー入力モードへ切り替える（Ｓ１１３）。
【００８３】
たとえば、ユーザが騒音の小さな場所へ移動して音声入力を再開するような場合、移動後、ユーザにより「キャンセル」の項目が選択される。切替制御部３５は、「キャンセル」の項目が選択されたと判定すると（Ｓ１０９：キャンセル）、ステップＳ１０２の処理に戻る。
【００８４】
次に、図８を参照して、視線入力モードの処理について説明する。視線入力モードの処理が開始された場合、制御部１１は、赤外線カメラ９および赤外線ＬＥＤ１０を作動させる（Ｓ２０１）。ユーザの目と反射光が含まれる撮影画像が制御部１１に入力される。
【００８５】
判定部３４は、携帯電話機１に加わる加速度が所定値を超えているか否か、ユーザの視
線の表示面３への入出回数が所定回数を超えたか否か、および、誤入力操作の回数が所定回数を超えたか否かを判定する（Ｓ２０２、Ｓ２０３、Ｓ２０４）。
【００８６】
携帯電話機１に加わる加速度が所定値を超えておらず（Ｓ２０２：ＮＯ）、且つ、ユーザの視線の表示面３への入出回数が所定回数を超えておらず（Ｓ２０３：ＮＯ、且つ、誤入力操作の回数が所定回数を超えていない場合（Ｓ２０４：ＮＯ）、視線検出部３３は、ユーザの視線位置が表示面３上の何れの分割領域にあるかを検出し、（Ｓ２０５）、視線位置の検出結果、即ち、ユーザに注視された分割領域に付された識別
情報を出力する（Ｓ２０６）。
【００８７】
制御部１１は、視線検出部３３により検出された分割領域に割り当てられた所定の機能を実行する。たとえば、ユーザにより注視された分割領域に、電子書籍のアプリケーションにより表示面３に表示された書籍のページを送る機能が割り当てられていた場合、制御部１１は、次のページを表示面３に表示させる。
【００８８】
電子書籍のアプリケーションの実行が終了されなければ（Ｓ２０７：ＮＯ）、ステップＳ２０２からステップＳ２０７の処理が繰り返される。
【００８９】
ユーザが手に保持した携帯電話機１が動きやすい状態となり、視線入力が困難な状況となった場合には、判定部３４により、携帯電話機１に加わる加速度が所定値を超えていると判定される（Ｓ２０２：ＹＥＳ）。または、判定部３４により、ユーザの視線の表示面３への入出回数が所定回数を超えたと判定される（Ｓ２０３：ＹＥＳ）。または、判定部３４により、誤入力操作の回数が所定回数を超えたと判定される（Ｓ２０４：ＹＥＳ）。この場合、切替制御部３５は、選択ウィンドウ１１４を、表示面３に既に表示されている画面に重ねて表示する（Ｓ２０８）。
【００９０】
図１０(ｂ)は、視線入力モードにおいて表示面３に表示される選択ウィンドウ１１４を示す図である。選択ウィンドウ１１４は、入力操作方式の切り替えを促すメッセージ１１５と、「音声入力」、「ジェスチャー入力」、または「キャンセル」の何れかの項目を選択するための３つの選択用オブジェクト１１６を含む。なお、表示面３に表示されている画面のピクト領域には、現在の入力操作方式が視線入力であることをユーザに通知するためのアイコン１１７が表示される。
【００９１】
切替制御部３５は、何れかの項目が選択されると（Ｓ２０９：ＹＥＳ）、何れの項目が選択されたのかを判定する（Ｓ２１０）。切替制御部３５は、「音声入力」の項目が選択されたと判定すると（Ｓ２１０：音声入力）、赤外線カメラ９および赤外線ＬＥＤ１０の動作を停止させ（Ｓ２１１）、入力モードを、視線入力モードから音声入力モードへ切り替える（Ｓ２１２）。一方、切替制御部３５は、「ジェスチャー入力」の項目が選択されたと判定すると（Ｓ２１０：ジェスチャー入力）、赤外線カメラ９および赤外線ＬＥＤ１０の動作を停止させ（Ｓ２１３）、入力モードを、視線入力モードからジェスチャー入力モードへ切り替える（Ｓ２１４）。さらに、切替制御部３５は、「キャンセル」の項目が選択されたと判定すると（Ｓ２１０：キャンセル）、ステップＳ２０２の処理に戻る。
【００９２】
次に、図９を参照して、ジェスチャー入力モードの処理について説明する。ジェスチャー入力モードの処理が開始された場合、制御部１１は、カメラ８を作動させる（Ｓ３０１）。ユーザが表示面３の前方で手によるジェスチャーを行うと、手の画像が含まれる撮影画像が制御部１１に入力される。
【００９３】
判定部３４は、周囲の明るさが所定の明るさ以下であるか否か、および、誤入力操作の回数が所定回数を超えたか否かを判定する（Ｓ３０２、Ｓ３０３）。
【００９４】
周囲の明るさが所定の明るさよりも明るく（Ｓ３０２：ＮＯ）、且つ、誤入力操作の回数が所定回数を超えていない場合（Ｓ３０３：ＮＯ）、ジェスチャー検出部３２は、ユーザにより行われたジェスチャーを検出し（Ｓ３０４）、検出結果、即ち、検出されたジェスチャー対応する情報を出力する（Ｓ３０５）。
【００９５】
制御部１１は、ジェスチャー検出部３２により検出されたジェスチャーに割り当てられた所定の機能を実行する。たとえば、手を振るジェスチャーが検出され、このジェスチャーに、ギャラリーのアプリケーションにより表示面３に表示されたサムネイル画像の一覧画面をスクロールする機能が割り当てられていた場合、制御部１１は、一覧画面を手が振られた方向にスクロールさせる。
【００９６】
ギャラリーのアプリケーションの実行が終了されなければ（Ｓ３０６：ＮＯ）、ステップＳ３０２からステップＳ３０６の処理が繰り返される。
【００９７】
ユーザにより行われたジェスチャーがカメラ８により正確に撮影できない程度に周囲が暗い状態となり、ジェスチャー入力が困難な状況となった場合には、判定部３４により、周囲の明るさが所定の明るさ以下になったと判定される（Ｓ３０２：ＹＥＳ）。または、判定部３４により、誤入力操作の回数が所定回数を超えたと判定される（Ｓ３０３：ＹＥＳ）。この場合、切替制御部３５は、選択ウィンドウ１１８を、表示面３に既に表示されている画面に重ねて表示する（Ｓ３０７）。
【００９８】
図１０(ｃ)は、ジェスチャー入力モードにおいて表示面３に表示される選択ウィンドウ１１８を示す図である。選択ウィンドウ１１８は、入力操作方式の切り替えを促すメッセージ１１９と、「音声入力」、「視線入力」、または「キャンセル」の何れかの項目を選択するための３つの選択用オブジェクト１２０を含む。なお、表示面３に表示されている画面のピクト領域には、現在の入力操作方式がジェスチャー入力であることをユーザに通知するためのアイコン１２１が表示される。
【００９９】
切替制御部３５は、何れかの項目が選択されると（Ｓ３０８：ＹＥＳ）、何れの項目が選択されたのかを判定する（Ｓ３０９）。切替制御部３５は、「音声入力」の項目が選択されたと判定すると（Ｓ３０９：音声入力）、カメラ８の動作を停止させ（Ｓ３１０）、入力モードを、ジェスチャー入力モードから音声入力モードへ切り替える（Ｓ３１１）。一方、切替制御部３５は、「視線入力」の項目が選択されたと判定すると（Ｓ３０９：視線入力）、カメラ８の動作を停止させ（Ｓ３１２）、入力モードを、ジェスチャー入力モードから視線入力モードへ切り替える（Ｓ３１３）。さらに、切替制御部３５は、「キャンセル」の項目が選択されたと判定すると（Ｓ３０９：キャンセル）、ステップＳ３０２の処理に戻る。
【０１００】
なお、図６のフローチャートでは省略されているが、タッチ入力に対応するアプリケーションが起動された場合には、タッチ入力モードが実行され、タッチ検出部１４および制御部１１により、タッチ入力操作が受け付けられる。
【０１０１】
以上、本実施の形態によれば、現在の入力操作の受け付けが困難な状況にあるか否かが自動的に判定され、この判定に基づいて、現在の入力モードを、入力操作方式の異なる他の入力モードに切り替えることが可能となる。
【０１０２】
具体的には、音声入力モードにおいて、周囲の騒音が大きな状況である等の要因により、音声入力の受け付けが困難な状況となったとの判定がなされた場合、この判定に基づき、音声入力モードを、視線入力モードまたはジェスチャー入力モードに切り替えることが
可能となる。また、視線入力モードにおいて、携帯電話機１が動いた状態にある等の要因により、視線入力の受け付けが困難な状況となったとの判定がなされた場合、この判定に基づき、視線入力モードを、音声入力モードまたはジェスチャー入力モードに切り替えることが可能となる。さらに、ジェスチャー入力モードにおいて、周囲が暗い状況にある等の要因により、ジェスチャー入力の受け付けが困難な状況となったとの判定がなされた場合、この判定に基づき、ジェスチャー入力モードを、音声入力モードまたは視線入力モードに切り替えることが可能となる。
【０１０３】
よって、周囲環境や状況によって、ユーザの入力操作が困難になることを抑制することができる。
【０１０４】
さらに、本実施の形態によれば、入力モードが切り替えられる際、ユーザは、他の２つの入力モードの中から所望の入力モードを選択することができる。
【０１０５】
さらに、本実施の形態によれば、入力モードの切り替えが不要である場合に、ユーザは、拒否する操作を行うことにより、切り替えを中止させることができる。
【０１０６】
＜その他＞
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態によって何ら制限されるものではなく、また、本発明の実施の形態も、上記以外に種々の変更が可能である。
【０１０７】
たとえば、上記実施の形態では、選択ウィンドウ１１０、１１４、１１８の「キャンセル」の選択用オブジェクト１１２、１１６、１２０が選択されると、入力モードの切り替えが中止される。しかしながら、「キャンセル」の選択用オブジェクト１１２、１１６、１２０が設けられなくてもよく、入力モードが中止できないような構成とされてもよい。
【０１０８】
さらに、上記実施の形態では、選択ウィンドウ１１０、１１４、１１８が表示され、選択ウィンドウ１１０、１１４、１１８において選択された入力モードに、現在の入力モードが切り替えられる。しかしながら、選択ウィンドウ１１０、１１４、１１８が表示されず、予め定められた入力モードに、現在の入力モードが切り替えられてもよい。
【０１０９】
さらに、アプリケーションとアプリケーションに適用可能な入力操作方式（入力モード）とを対応付けた情報（テーブル）が記憶部１２に記憶され、現在の入力操作方式が困難となった場合に、現在実行されているアプリケーションに適用可能な入力操作方式が、切替候補として、切替ウィンドウ１１０、１１４、１１８に表示されてもよい。
【０１１０】
さらに、表示面３に切替ウィンドウ１１０、１１４、１１８が表示された後、所定時間、選択操作がなされない場合に、切替ウィンドウ１１０、１１４、１１８が閉じられて、現在の入力モードが継続されてもよい。このような構成とした場合、切替ウィンドウ１１０、１１４、１１８に「キャンセル」の選択用オブジェクト１１２、１１６、１２０が設けられなくてもよい。
【０１１１】
さらに、上記実施の形態において、選択ウィンドウ１１０、１１４、１１８に「タッチ入力」の選択用オブジェクトが設けられてもよい。この場合、「タッチ入力」の選択用オブジェクトが選択されると、現在の入力モードがタッチ入力モードに切り替えられる。
【０１１２】
さらに、上記実施の形態では、携帯電話機１が、入力操作方式の異なる４つ入力操作の受け付けを可能としている。しかしながら、携帯電話機１は、少なくとも２つの入力操作の受け付けが可能であればよく、一方の入力操作の受け付けが困難な状況となった場合に
、一方の入力操作を受け付ける入力モードが、他方の入力操作を受け付ける入力モードに切り替えられればよい。
【０１１３】
本発明は、携帯電話機に限られず、ＰＤＡ（Personal DigitalAssistant）、タブレットＰＣ（Tablet PC）、電子書籍端末等の各種の携帯端末装置に適用可能である。
【０１１４】
この他、本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【符号の説明】
【０１１５】
３  表示面（操作面）
４  マイクロフォン
８  カメラ
９  赤外線カメラ
１１  制御部
１５  音声入力部（第１操作受付部、第２操作受付部、第３操作受付部）
２０  第１撮影部（第１操作受付部、第２操作受付部、第３操作受付部）
２１  第２撮影部（第１操作受付部、第２操作受付部、第３操作受付部）
３１  音声認識部（第１操作受付部、第２操作受付部、第３操作受付部）
３２  ジェスチャー検出部（第１操作受付部、第２操作受付部、第３操作受付部）
３３  視線検出部（第１操作受付部、第２操作受付部、第３操作受付部）
３４  判定部
３５  切替制御部
【図１】
2014085954.tif 000003
【図２】
2014085954.tif 000004
【図３】
2014085954.tif 000005
【図４】
2014085954.tif 000006
【図５】
2014085954.tif 000007
【図６】
2014085954.tif 000008
【図７】
2014085954.tif 000009
【図８】
2014085954.tif 000010
【図９】
2014085954.tif 000011
【図１０】
2014085954.tif 000012