(57)【要約】【課題】ユーザが片手で携帯端末装置を操作するときの操作性の向上と利便性の向上を図る。【解決手段】携帯端末装置は、タッチパネルディスプレイを備え、タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置であって、ユーザの把持状態を検出するセンサと、センサの検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタン３−２の図形的要素を変更するＧＵＩ配置変更部と、変更後の操作ボタン３−２を、タッチパネルディスプレイに表示する表示部と、を備える。【選択図】図３Ｂ
2012191445.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置であって、
ユーザの把持状態を検出するセンサと、
前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するＧＵＩ配置変更部と、
前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する表示部と、を備えることを特徴とする携帯端末装置。
【請求項２】
前記センサは、ユーザの把持状態として、左手把持左手操作、右手把持右手操作、右手把持左手操作、左手把持右手操作または両手把持両手操作のいずれかを検出することを特徴とする請求項１記載の携帯端末装置。
【請求項３】
前記ＧＵＩ配置変更部は、前記ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
【請求項４】
前記タッチパネルディスプレイは、ユーザから把持状態の入力を受け付け、
前記ＧＵＩ配置検出部は、前記ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
【請求項５】
前記ＧＵＩ配置変更部は、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
【請求項６】
前記ＧＵＩ配置変更部は、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
【請求項７】
前記ＧＵＩ配置変更部は、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする請求項１記載の携帯端末装置。
【請求項８】
タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置の制御プログラムであって、
センサによって、ユーザの把持状態を検出する処理と、
前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更する処理と、
前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する処理と、の一連の処理を、コンピュータに実行させることを特徴とする制御プログラム。
【請求項９】
前記センサにおいて、ユーザの把持状態として、左手把持左手操作、右手把持右手操作、右手把持左手操作、左手把持右手操作または両手把持両手操作のいずれかを検出する処理を更に含むことを特徴とする請求項８記載の制御プログラム。
【請求項１０】
前記ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする請求項８記載の制御プログラム。
【請求項１１】
前記タッチパネルディスプレイを介して、ユーザから把持状態の入力を受け付ける処理と、
前記ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理と、を更に含むことを特徴とする請求項８記載の制御プログラム。
【請求項１２】
一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする請求項８記載の制御プログラム。
【請求項１３】
ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする請求項８記載の制御プログラム。
【請求項１４】
ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする請求項８記載の制御プログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置および制御プログラムに関する。
【背景技術】
【０００２】
従来から、タッチパネルディスプレイを備えた携帯電話機が知られている。一般的に、ユーザが携帯電話機を使用する際、片手に携帯電話機を持ち、もう一方の片手に物を持っている場合のように、片手が使えない状態においても、もう片方の手で携帯電話機の操作を行ないたいという状況が多く見られる。しかし、携帯電話機は、多くのユーザにとって、掌より大きいため、片手で操作をする場合、持っている手から遠い位置にあるボタンに指が届きにくく、目標とするボタンとは異なるボタンを押してしまうという問題がある。そのため、片手でも入力しやすいグラフィカルユーザーインターフェース(ＧＵＩ)が必要である。
【０００３】
例えば、特許文献１には、ユーザが携帯電話機を上下、左右、または奥手前方向に動かした時、ソフトウェアキーボードを移動させ、または拡大縮小する制御方法および装置が開示されている。この携帯電話機では、例えば、ユーザが携帯電話機を右手に持ち、携帯電話機を左に動かすと、ソフトウェアキーボードは右に動く。これにより、ユーザは、右手で携帯電話機を持ちつつ、右手で操作することが可能である。
【０００４】
また、特許文献２には、入力操作する手が、タッチパネルのどちらの方向からタッチしてきたのかを赤外線センサを用いて判別する。そして、入力操作する手により遮蔽された部分を遮蔽していない方向にずらして表示する。これにより、ユーザは、片手で携帯電話機を持ち、もう一方の手でソフトウェアキーボードを操作することが容易になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２８２４５９号公報
【特許文献２】特開２０１０−２８７０３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の技術は、携帯電話機を動かすと、タッチパネルディスプレイに表示されたソフトウェアキーボードが自由に動くものであるため、ユーザの意図に反してキーボードが動いてしまうという問題がある。また、ソフトウェアキーボードを移動させる際、ユーザが独自の判断と操作で移動量や移動方向を決めなければならないため、その操作には熟練を要する。不慣れなユーザにとっては、ソフトウェアキーボードを自分の操作しやすい位置に移動させるのは容易ではない。
【０００７】
また、特許文献２の記載の技術では、片手で携帯電話機を把持し、もう一方の手でソフトウェアキーボード上のボタンを操作することを想定している。しかし、この携帯電話機を片手で操作すると、把持手から遠い方向に操作ボタンが移動してしまい、かえって操作しにくくなるという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、ユーザが片手で携帯端末装置を操作するときの操作性の向上と利便性の向上を図ることができる携帯端末装置および制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明の携帯端末装置は、タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置であって、ユーザの把持状態を検出するセンサと、前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するＧＵＩ配置変更部と、前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する表示部と、を備えることを特徴とする。
【００１０】
このように、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００１１】
（２）また、本発明の携帯端末装置において、前記センサは、ユーザの把持状態として、左手把持左手操作、右手把持右手操作、右手把持左手操作、左手把持右手操作または両手把持両手操作のいずれかを検出することを特徴とする。
【００１２】
この構成により、ユーザの把持状態に応じてタッチパネルディスプレイに表示する操作ボタンの図形的要素を変更することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００１３】
（３）また、本発明の携帯端末装置において、前記ＧＵＩ配置変更部は、前記ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。
【００１４】
このように、ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００１５】
（４）また、本発明の携帯端末装置において、前記タッチパネルディスプレイは、ユーザから把持状態の入力を受け付け、前記ＧＵＩ配置検出部は、前記ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。
【００１６】
このように、ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好みに応じた把持状態に基づいて、操作ボタンの大きさまたは位置を変更することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００１７】
（５）また、本発明の携帯端末装置において、前記ＧＵＩ配置変更部は、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。
【００１８】
このように、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、一定期間内のユーザの操作傾向に応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００１９】
（６）また、本発明の携帯端末装置において、前記ＧＵＩ配置変更部は、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。
【００２０】
このように、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好みに応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００２１】
（７）また、本発明の携帯端末装置において、前記ＧＵＩ配置変更部は、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更することを特徴とする。
【００２２】
このように、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好む画面の向きに応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００２３】
（８）また、本発明の制御プログラムは、タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置の制御プログラムであって、センサによって、ユーザの把持状態を検出する処理と、前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更する処理と、前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する処理と、の一連の処理を、コンピュータに実行させることを特徴とする。
【００２４】
このように、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００２５】
（９）また、本発明の制御プログラムにおいて、前記センサにおいて、ユーザの把持状態として、左手把持左手操作、右手把持右手操作、右手把持左手操作、左手把持右手操作または両手把持両手操作のいずれかを検出する処理を更に含むことを特徴とする。
【００２６】
この構成により、ユーザの把持状態に応じてタッチパネルディスプレイに表示する操作ボタンの図形的要素を変更することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００２７】
（１０）また、本発明の制御プログラムは、前記ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする。
【００２８】
このように、ユーザの把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００２９】
（１１）また、本発明の制御プログラムは、前記タッチパネルディスプレイを介して、ユーザから把持状態の入力を受け付ける処理と、前記ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理と、を更に含むことを特徴とする。
【００３０】
このように、ユーザから入力された把持状態に応じて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好みに応じた把持状態に基づいて、操作ボタンの大きさまたは位置を変更することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００３１】
（１２）また、本発明の制御プログラムは、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする。
【００３２】
このように、一定期間内に検出したユーザの把持状態から得られるユーザの把持傾向を示す情報に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、一定期間内のユーザの操作傾向に応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００３３】
（１３）また、本発明の制御プログラムは、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする。
【００３４】
このように、ユーザから設定されたパラメータに基づいて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好みに応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００３５】
（１４）また、本発明の制御プログラムは、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更する処理を更に含むことを特徴とする。
【００３６】
このように、ユーザの使用状態に応じてタッチパネルディスプレイの向きが変更された場合、既に検出したユーザの把持状態に対応するパラメータを用いて、前記タッチパネルディスプレイに表示する操作ボタンの大きさまたは位置を変更するので、ユーザの好む画面の向きに応じた操作ボタンの表示を行なうことが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【発明の効果】
【００３７】
本発明によれば、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【図面の簡単な説明】
【００３８】
【図１Ａ】ユーザが携帯電話機１を左手で持って左手で操作する様子を示す図である。
【図１Ｂ】ユーザが携帯電話機１を右手で持って右手で操作する様子を示す図である。
【図１Ｃ】ユーザが携帯電話機１を右手で持って左手で操作する様子を示す図である。
【図１Ｄ】ユーザが携帯電話機１を左手で持って右手で操作する様子を示す図である。
【図１Ｅ】ユーザが携帯電話機１を両手で持って両手で操作する様子を示す図である。
【図２Ａ】携帯電話機１におけるＧＵＩの文字入力画面の一例を示す図である。
【図２Ｂ】ソフトウェアによるテンキーボードの例を示す図である。
【図３Ａ】携帯電話機１のＧＵＩ配置変更のイメージを示す図である。
【図３Ｂ】携帯電話機１のＧＵＩ配置変更のイメージを示す図である。
【図４】本実施形態に係る携帯電話機の概略構成を示すブロック図である。
【図５】ユーザによるタッチ操作がされたときにデータを取得する様子を示す図である。
【図６】学習データ記憶表の一例を示す図である。
【図７】初期学習モードの動作を示すフローチャートである。
【図８】操作パターンaでボタンを押しやすいと想定される領域を斜線部で示した図である。
【図９Ａ】操作パターンaでのＧＵＩ配置変更図を示す図である。
【図９Ｂ】操作パターンaでのＧＵＩ配置変更図を示す図である。
【図９Ｃ】操作パターンaでのＧＵＩ配置変更図を示す図である。
【図１０Ａ】両把持両入力でのＧＵＩ配置変更概念図を示す図である。
【図１０Ｂ】両把持両入力でのＧＵＩ配置変更概念図を示す図である。
【図１１】通常モードの動作を示すフローチャートである。
【図１２Ａ】本実施形態の応用例における第１状態の携帯電話機１を示す図である。
【図１２Ｂ】本実施形態の応用例における第２状態の携帯電話機１を示す図である。
【図１２Ｃ】本実施形態の応用例における第３状態の携帯電話機１を示す図である。
【図１２Ｄ】本実施形態の応用例における第４状態の携帯電話機１を示す図である。
【発明を実施するための形態】
【００３９】
以下、本発明の実施形態について図面を参照して説明する。本発明において、携帯端末装置とは、移動しながら通信を行なうことができる装置のことを意味し、携帯電話機、ＰＤＡ（Personal Digital Assistant）、スマートフォンなどを含む概念である。本実施形態では、携帯電話機を例にとって説明するが、本発明は、携帯電話機に限定されるわけではない。
【００４０】
図１Ａ〜図１Ｅは、ユーザが携帯電話機を把持または操作する状態の概念を示す図である。図１Ａは、ユーザが携帯電話機１を左手で持って左手で操作する様子を示している（左把持左操作）。図１Ｂは、ユーザが携帯電話機１を右手で持って右手で操作する様子を示している（右把持右操作）。図１Ｃは、ユーザが携帯電話機１を右手で持って左手で操作する様子を示している（右把持左操作）。図１Ｄは、ユーザが携帯電話機１を左手で持って右手で操作する様子を示している（左把持右操作）。そして、図１Ｅは、ユーザが携帯電話機１を両手で持って両手で操作する様子を示している（両把持両操作）。このように、本実施形態では、ユーザが携帯電話機１を持つ手と操作する手を組み合わせて、５つのパターンで表現している。そして、本実施形態に係る携帯電話機１は、ＧＵＩ（Graphical User Interface）の配置を変更する機能を有し、ＧＵＩは、ソフトウェアキーボードおよび操作ボタンを表示する。
【００４１】
図２Ａは、携帯電話機１におけるＧＵＩの文字入力画面の一例を示す図である。この文字入力画面では、画面２に、ソフトウェアキーボード２−１や、入力ボタンとしての操作ボタン２−２が表示されている。また、図２Ｂは、ソフトウェアによるテンキーボードの例を示す図である。このテンキーボードでは、画面２に操作ボタン２−３、２−４が表示されている。
【００４２】
図３Ａ、図３Ｂは、携帯電話機１のＧＵＩ配置変更のイメージを示す図である。図３Ａは、変更前の画面表示例を示す。図３Ａに示すように、画面３にソフトウェアキーボード３−１が、通常のサイズ、通常の位置に表示されている。一方、図３Ｂは、変更後の画面表示例を示す。ソフトウェアキーボード３−２が、画面２の左下に縮小されて表示されている。この例では、ユーザが左把持左操作をしていることを検出したため、操作をし易くさせるために、ソフトウェアキーボード３−２を縮小して左に寄せているのである。これにより、ユーザが容易に片手操作を行なうことが可能となる。
【００４３】
本実施形態では、ユーザの操作パターンを識別する識別部の識別パラメータ、および、ＧＵＩ配置変更のためのＧＵＩパラメータを学習する初期学習モードと、初期学習モードで学習した結果、および、ユーザが操作する際の情報から、操作パターンを識別し、ＧＵＩ配置を変更する通常モードを有する。
【００４４】
図１Ａ〜図１Ｅに示したように、上記操作パターンには、左把持左入力および右把持右入力、左把持右入力、右把持左入力、両手把持両手入力の５パターンがある。ここでは、それぞれ操作パターンa,b,c,d,eとする。表示部の水平方向をX方向、垂直方向をY方向、鉛直方向をZ方向と記す。このうち、操作パターンa,bは、上述したように、片手操作に相当する。上記操作パターン毎に、ユーザの入力動作による携帯電話機１のゆれや傾きなどの物理的動作や、ユーザがタッチする位置などは異なる特徴を示す。そのため、これらの情報を用いることで、操作パターンを識別することが可能である。
【００４５】
また、図１Ａ〜図１Ｅに示したように、表示部の水平方向をX方向、垂直方向をY方向、鉛直方向をZ方向と記す。
【００４６】
図４は、本実施形態に係る携帯電話機の概略構成を示すブロック図である。主制御部４１は、携帯電話機１の各構成要素の動作を制御する。表示部４２は、種々の操作画面およびソフトウェアキーボードおよび操作ボタンを表示する。タッチパネル入力部４３は、タッチパネルディスプレイを介して、ユーザによる入力を受け付ける。タッチパネル入力部４３は、ユーザがタッチしたときに、以下のデータ(タッチ情報)を取得する。図５は、ユーザによるタッチ操作がされたときにデータを取得する様子を示す図である。
・タッチパネルにタッチした座標(x,y)
・タッチに反応したボタンの中心座標(cx,cy)
・タッチしたボタンの大きさ(w,h)
【００４７】
加速度センサ４４は、携帯電話機１の加速度情報を検出する。検出する加速度はAx、Ay、Azの3軸である。学習データ記憶部４５は、初期学習モードにおいて動作する。ユーザのタッチ操作ごとに、携帯電話機の操作パターン、加速度情報およびタッチ情報を保存する。本明細書では、これらの情報を学習データと呼称し、図６に示す記憶表のように記憶される。識別パラメータ演算部４６は、初期学習モードにおいて動作する。携帯電話機１の加速度情報から識別パラメータを計算する。この識別パラメータは、通常モードにおいて操作パターンを識別するために用いる。識別パラメータ記憶部４７は、識別パラメータ演算部４６により計算された識別パラメータを保存する。
【００４８】
操作パターン識別部４８は、通常モードにおいて動作する。識別パラメータ記憶部４７から読み込んだ識別パラメータと、通常モード時に計測された加速度情報から操作パターンを識別する。ＧＵＩ配置変更パラメータ演算部４９は、初期学習モードにおいて動作する。タッチ情報からＧＵＩ配置変更パラメータを演算する。ＧＵＩ配置変更パラメータ記憶部５０は、ＧＵＩ配置変更パラメータを記憶する。ＧＵＩ配置制御部５１は、通常モードにおいて動作する。操作パターン識別部４８にて識別された操作パターンおよびＧＵＩ配置変更パラメータからＧＵＩ配置を変更する。
【００４９】
次に、以上のように構成された本実施形態に係る携帯電話機１の動作について説明する。通常モードで操作パターンを識別するタイミングは、ユーザが携帯電話機１を把持し、所望の操作をする前であるのが好ましい。これは、ユーザが所望の動作をしている最中に、ＧＵＩ配置が大きく変化することは操作性の低下につながるためである。本実施形態では、通常モードにおいて操作パターンを識別するタイミングとして、携帯電話機１の暗証番号を入力して、スリープのロックを解除する時のテンキーボードによる入力動作について、本発明を適用した場合を説明する。ここで、初期学習モードで学習するタッチ情報および加速度情報は、テンキーボードを利用して入力された時のデータとする。
【００５０】
以下、初期学習モードについて説明する。図７は、初期学習モードの動作を示すフローチャートである。初期学習モードでは、ユーザの携帯電話機１の操作パターンを識別するための識別パラメータおよびＧＵＩ配置を変更するためのＧＵＩ配置変更パラメータを学習する。まず、携帯電話機１を起動し（ステップＳ１）、学習データ取得用テンキーボードの表示を行なう。図２Ｂに示すテンキーボードと、操作パターン選択肢を表示部に表示する。次に、図１Ａ〜Ｅに示す操作パターンa~eをユーザに選択させ（ステップＳ２）、結果を学習データ記憶部４５にて保存する。
【００５１】
次に、学習データの取得を行なう。ユーザに入力させる数字列を表示する。ユーザが開始ボタンを押した時から、終了ボタンを押すまで、あるいは、数字列の入力が開始されたときから、すべての入力が完了するまで、タッチ情報と加速度情報を計測する（ステップＳ３、ステップＳ４）。加速度情報は、タッチを検出した時のデータのみとする。計測した結果を学習データ記憶部４５にて保存する（ステップＳ５）。そして、図６に示すように、学習データ記憶部４５にデータ形式に応じてデータを記憶する。
【００５２】
次に、別の操作パターンの入力および学習データの取得を行なう（ステップＳ６）。上記と同様に、他の操作パターンの選択、数字列の入力をユーザに行なわせ、タッチ情報と加速度情報を取得する。学習が終了したかどうかを判断し（ステップＳ７）、終了していなければ、ステップＳ３に遷移し、学習が終了した場合は、ステップＳ８に遷移する。ステップＳ８では、識別パラメータの計算および保持を行なう。上記学習データの取得終了後に、操作パターン識別部４８の識別パラメータを計算する（ステップＳ８）。操作パターン識別部４８は、通常モードにおいて、加速度を入力値として、前記操作パターンa~eを出力値とする。つまり、ユーザが入力動作中の加速度データを元に、ユーザの操作パターンが、左把持左入力、右把持右入力、左把持右入力、右把持左入力、両把持両入力の５パターンのうち、どれであるかを識別する。
【００５３】
加速度の代わりに、タッチ情報または、加速度およびタッチ情報の両情報または、両情報に加えてそれらの時間微分値を入力値としてもよい。識別パラメータは、その識別に用いるパラメータである。
【００５４】
操作パターン識別部４８には、ＳＶＭ、ｋ近傍法、ベイズ分類、ニューラルネットワークなど、広く利用されている識別器を利用する。これらの識別器は、ある時刻での入力値から操作パターンを識別するものであるため、識別結果は時間変化につれて異なる結果を示しうる。そのため操作パターン識別部４８では、ある一定時間内または一定打鍵数内で識別器が識別した操作パターンのうち割合が大きいものを最終的な操作パターンと識別する。しかし、前記識別部を動作させるためには、ある程度高スペックの端末が必要となる。そのため、これらの識別部は、携帯電話機内部に配置するだけでなく、携帯電話と通信可能なサーバ端末上に配置してもよい。このとき、携帯電話機の送信部が、ユーザ動作中に取得した加速度およびタッチ情報をサーバに送信し、それらを元に、サーバが操作パターンの識別を行ない、その結果を携帯電話機の受信部が受信する構成とする。あるいは、操作パターンを選択させるＧＵＩをユーザに提示し、どれかをユーザに選択させる識別部であってもよい。
【００５５】
本発明において、操作パターン識別部４８は、ユーザが入力動作中のユーザの操作パターンが、左把持左入力、右把持右入力、左把持右入力、右把持左入力、両把持両入力の５パターンのうち、どれかを識別するものであれば、その構成、詳細実施方法は、問わない。上記、識別パラメータの計算結果を識別部パラメータ記憶部に保存する。
【００５６】
次に、ＧＵＩ配置変更のための学習を行なう（ステップＳ９）。すなわち、操作パターンiに対するＧＵＩ配置変更のための学習について説明する。ＧＵＩ配置変更はX、Y各方向に、
・ボタン位置を距離pi,qi平行移動
・ボタンサイズをri,si倍拡大
の一つまたはいずれかの組み合わせからなる。iは図１Ａ〜図１Ｅの操作パターンa,b,c,d,eに対応する。これらpi~siをＧＵＩ配置変更パラメータとする。
【００５７】
これらＧＵＩ配置変更は、操作パターンiの学習データまたは学習データから求めることができる以下の値および、ディスプレイ上の各値に基づいて定義する。
・加速度(Axi,Ayi,Azi) 
・タッチ座標(xi,yi)
・反応したボタンの中心座標(cx,cy)
・タッチ座標と反応したボタンの中心座標とのタッチ誤差(Δxi,Δyi)=(cx-xi，cy-yi)
・タッチしたボタンの大きさ(w,h)
・ディスプレイの大きさ(W,H)
・ソフトウェアキーボードの大きさ(Lx,Ly)
・タッチしたボタンと一つ前にタッチしたボタンとの距離
・隣のボタンとの距離
・上記の時間微分値
【００５８】
以下、ソフトウェアキーボードのＧＵＩ配置変更例を挙げる。図８は、操作パターンaでボタンを押しやすいと想定される領域を斜線部で示した図である。図中の斜線部は、ディスプレイ左下を中心とする2つの円弧に挟まれた領域としたが、円弧に限らない。図８の斜線部以外の領域は、手に近すぎる、または遠すぎるために、ユーザがボタンを押しにくい領域である。そのため、ＧＵＩ配置を変更する場合、斜線部内に移動することが望ましい。
【００５９】
一方、両手操作（操作パターンがcあるいはおよびd）の場合は、押しにくい領域を考慮する必要がなく、ボタンを大きく移動する必要はない。
【００６０】
また、操作パターンeでは、ソフトウェアキーボードを左右に分割することで、操作性が向上すると考えられる。このように、操作パターンa,およびbと、操作パターンc,およびdと、操作パターンeとではで、ＧＵＩ配置変更方法のポリシーが異なる。
【００６１】
さらに、各操作パターンにおいて、利き手、端末の持ち方（端末に対する手の添え方）、ボタンを押す指の違いによって、同じボタンであっても、タッチ座標の分布が異なる。それぞれの操作パターンに対して、タッチ誤差を基にＧＵＩ配置変更を行なうと、詳細な変更ができると考えられる。
【００６２】
そこで、以下の２段階の手順でＧＵＩ配置変更を行なう。
（手順１）片手操作(操作パターンa,b)なら片手操作しやすい想定される領域に大まかにソフトウェアキーボードを移動。操作パターンc,dなら変更なし。操作パターンeなら左右に分割。両手操作なら変更なし。
（手順２）各操作パターンに対して、タッチ誤差を用いてソフトウェアキーボードをX方向あるいは、および、Y方向に平行移動。
【００６３】
まず、手順１の片手操作について述べる。図９Ａ〜図９Ｃは、操作パターンaでのＧＵＩ配置変更図を示す図である。点O1(xmin,ymin)は手に近いために操作しにくいと想定される領域の端点のうちの一つである。点O2(xmax,ymax)は手から遠いために操作しにくいと想定される領域の端点のうちのひとつである。点O1,O2は、学習データでの、タッチしたボタンの中心座標と、加速度およびタッチ誤差およびそれらの平均・分散などから求められるものとする。あるいは、予め定数として与えておいても良い。また、点C1(cx1,cy1)はソフトウェアキーボードの左下端から最も近いボタンの中心座標、点C2(cx2,cy2)は右上端から最も近いボタンの中心座標である。
【００６４】
点C1および点C2が押しやすいと想定される領域に移動すれば全体が押しやすいＧＵＩ配置となると考えられる。そのために、まずC1をO1へ、C2をO2へ移動し、次に、ソフトウェアキーボード全体をそれに合わせて縮小する。このＧＵＩ配置変更により全てのボタンの一部および全体が押しやすいと想定される領域内に含まれることとなる。
【００６５】
このＧＵＩ配置変更はＧＵＩ配置変更パラメータpa,qa,ra,saを用いて次のように、説明できる。まず、ソフトウェアキーボードの大きさをキーボード左下端部座標(x0, y0)を中心に、X方向にra倍、Y方向にsa倍し、その後、X方向にpa,Y方向にqa平行移動する。各々のパラメータは以下に示す。
pa= xmin - x0
qa= ymin - y0
ra= (xmax -xmin)/(Lx-w)
sa=( ymax- ymin)/(Ly-h)
【００６６】
操作パターンｂでは、上記例をディスプレイ中心に対して、Ｘ方向を反転して同様のＧＵＩ配置変更をすればよい。
【００６７】
次に、操作パターンｅについて述べる。図１０Ａ、図１０Ｂは、両把持両入力でのＧＵＩ配置変更概念図を示す図である。タッチ位置およびタッチ誤差を用いてボタン毎に左右どちらで多く押されているか識別し、あるボタンとボタンの間を境界としソフトウェアキーボードを分割する。例えば、ボタンごとのΣΔxi/Miの正負を比較し、正ならボタンの左を多く押しているため、左にボタンを移動、負なら右に移動する。
【００６８】
操作パターンbでは、上記例をディスプレイ中心に対して、X方向を反転して同様のＧＵＩ配置変更をすればよい。
【００６９】
次に、手順２について述べる。各操作パターンiに対して、タッチ誤差の平均からソフトウェアキーボードをX座標にpi、Y座標にqi移動する。
pi，qiは以下の式で定義される。
pi=ΣΔxi/Mi
qi＝ΣΔyi/Mi
と定義する。ここでMiは図４に示す、操作パターンiの学習データ数である。
【００７０】
以上、手順１，２を繰り返し学習することで、ユーザの操作パターンに適したＧＵＩ配置変更を行なうことができると考えられる。この手順はソフトウェアキーボードだけでなく、他の入力場面に適応しても良い。
【００７１】
次に、通常モードを説明する。図１１は、通常モードの動作を示すフローチャートである。通常モードは、加速度情報を基に操作パターンを識別し、ＧＵＩ配置を変更する。まず、暗証番号入力を行なう（ステップＴ１）。図２Ｂに示したようなテンキーボードを表示し、ユーザに暗証番号を入力させる。次に、加速度情報およびタッチ情報の取得を行なう（ステップＴ２）。初期学習モードと同様に、暗証番号入力中の加速度およびタッチ情報を取得する。次に、操作パターンの初期識別を行なう（ステップＴ３）。入力完了時、加速度情報を基に前記識別部により、操作パターンを識別する。次に、ＧＵＩ配置変更を行なう（ステップＴ４）。識別された操作パターンに基づいて、初期学習モードで学習したＧＵＩパラメータをＧＵＩパラメータ記憶部から読み出し、ＧＵＩ配置を変更する。変更方法は前記(ＧＵＩ配置変更のための学習)で示した通りとする。
【００７２】
次に、通常操作が行なわれる（ステップＴ５）。この後、ユーザは通常通り携帯電話機１を使用する。これ以後も、ソフトウェアキーボードやボタンを押す際の加速度およびタッチ情報を記憶するものとする（ステップＴ６）。次に、終了操作が行なわれたかどうかを判断し（ステップＴ７）、ユーザが携帯操作を終了する操作を行なわなかった場合、操作パターンとＧＵＩ変更パラメータの再識別・再変更を行なう（ステップＴ８、Ｔ９）。実際の操作パターンと異なるパターンを誤って識別したり、通常操作の途中でユーザが携帯電話機１の操作パターンを変えることが考えられる。そこで、ある判定をもとに操作パターンの再識別・再変更を行なう。再識別・再変更の可否の判定タイミングには、以下のいずれかがある。
・一定時間または打鍵数間隔ごとに
・一定時間または打鍵数以内に文字入力キャンセルボタンを累積K回打鍵した時
・一定時間または打鍵数以内のタッチ誤差絶対値の平均値がある値より大きい時
・一定時間または打鍵数以内の加速度の分散がある値より大きい時
・携帯がスリープ状態になった時
・ユーザが操作パターンの判別間違いを直接指摘した時
・上記いずれかの組み合わせが起こった時
【００７３】
また、その操作開始から変更までの誤識別された操作パターンで計測された加速度およびタッチパネルの情報を正しい操作パターンに対応づけて学習データとして記憶する。さらに、操作パターンの再識別・再変更の後、ＧＵＩ変更パラメータも再学習する。
【００７４】
一方、ステップＴ７において、ユーザが携帯操作を終了する操作を行なった場合、記録した加速度およびタッチ情報を学習データに加えて、識別パラメータおよびＧＵＩ変更パラメータを再学習し（ステップＴ１０）、終了する（ステップＴ１１）。
【００７５】
本実施形態では、初期学習モードおよび通常モードの初期識別に、テンキーボードを用いて暗証番号を入力する方法を用いているが、他のソフトウェアキーボードを用い、他の文字列・数字列を入力する方法を用いても良い。また、本実施形態では、初期学習モードにおけるパラメータ計算は、ユーザが携帯電話の終了処理を行なった後に行なっているが、携帯電話がスリープになったときでも良い。また、通常モードは、初期学習モードで得られた識別パラメータおよびＧＵＩ変更パラメータを用いるが、初期学習モードが行なわれない場合、予め設定されているパラメータを使用しても良い。
【００７６】
また、本実施形態では、識別パラメータおよびＧＵＩ変更パラメータを学習データ記憶部に保存するが、両パラメータを記憶出来る外部のサーバと送受信する機能を有しても良い。このことで、ユーザが所有する携帯電話を変更しても、初期学習モードを伴わず、操作パターンの識別およびＧＵＩ配置の変更を行なうことができる。
【００７７】
本実施形態では、ＧＵＩ配置変更の移動を行なったが、代わりに、タッチパネル上のボタンの打鍵検出領域の移動を行なっても良い。図１２Ａ〜図１２Ｄは、本実施形態の応用例を示す図である。携帯電話機１の向きが、第１状態において、第１状態から表示部の垂線を軸に９０度、１８０度、２７０度ずつ回転させた状態を第２状態、第３状態、第４状態とすると、前記第１〜４状態のいずれか一つの初期学習モードより得た識別部パラメータおよびＧＵＩパラメータを用いて、加速度座標変換により、他の３状態の操作モードの識別に適応してもよい。
【００７８】
変換式として、第i状態で計測する加速度を(Aix,Aiy,Aiz) (i=1,2,3,4)とすると
(A2x,A2y,A2z)=(−A1y,A1x,A1z)
(A3x,A3y,A3z)=(−A1x,−A1y,A1z)
(A4x,A4y,A4z)=(A1y,−A1x,A1z)
とすることでユーザの操作パターンを識別できる。入力ＧＵＩ変更に関しては、入力ＧＵＩを移動させる方向を前記携帯の回転の向きに従い変更し、ＧＵＩパラメータを携帯電話の高さと幅情報を用いスケーリングすることで適応できる。第１状態での携帯電話機の高さをH、幅をWとした時、例として、第２、第４状態では第１状態のＧＵＩ配置変更での移動量をH/W倍することでスケーリングを行なうことが挙げられる。携帯電話機１の前記１〜４の状態判別は傾き検知センサなどで行なうものとする。
【００７９】
なお、本実施形態では、操作パターンの識別および入力ＧＵＩの変更のために、運動加速度を用いているが、各々について、地磁気センサ、ジャイロセンサから得られる情報を用いても良い。
【００８０】
なお、本発明の特徴的な動作は、制御プログラムをコンピュータに実行させることによっても実現することが可能である。すなわち、本実施形態に係る制御プログラムは、タッチパネルディスプレイを備え、前記タッチパネルディスプレイにおけるユーザの入力操作を契機として機能を発揮する携帯端末装置の制御プログラムであって、センサによって、ユーザの把持状態を検出する処理と、前記センサの検出結果に基づいて、前記タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更する処理と、前記変更後の操作ボタンを、前記タッチパネルディスプレイに表示する処理と、の一連の処理を、コンピュータに実行させることを特徴とする。
【００８１】
このように、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【００８２】
以上説明したように、本実施形態によれば、ユーザの把持状態の検出結果に基づいて、タッチパネルディスプレイに表示する操作ボタンの図形的要素を変更するので、ユーザが片手で操作する際に、より操作し易い操作ボタンを表示することが可能となる。その結果、携帯端末装置の利便性を向上させることが可能となる。
【符号の説明】
【００８３】
１  携帯電話機
２  画面
２−１  ソフトウェアキーボード
２−２  操作ボタン
２−３  画面
３−１  ソフトウェアキーボード
４１  主制御部
４２  表示部
４３  タッチパネル入力部
４４  加速度センサ
４５  学習データ記憶部
４６  識別パラメータ演算部
４７  識別パラメータ記憶部
４８  操作パターン識別部
４９  ＧＵＩ配置変更パラメータ演算部
５０  ＧＵＩ配置変更パラメータ記憶部
５１  ＧＵＩ配置制御部
【図１Ａ】
2012191445.tif 000003
【図１Ｂ】
2012191445.tif 000004
【図１Ｃ】
2012191445.tif 000005
【図１Ｄ】
2012191445.tif 000006
【図１Ｅ】
2012191445.tif 000007
【図２Ａ】
2012191445.tif 000008
【図２Ｂ】
2012191445.tif 000009
【図３Ａ】
2012191445.tif 000010
【図３Ｂ】
2012191445.tif 000011
【図４】
2012191445.tif 000012
【図５】
2012191445.tif 000013
【図６】
2012191445.tif 000014
【図７】
2012191445.tif 000015
【図８】
2012191445.tif 000016
【図９Ａ】
2012191445.tif 000017
【図９Ｂ】
2012191445.tif 000018
【図９Ｃ】
2012191445.tif 000019
【図１０Ａ】
2012191445.tif 000020
【図１０Ｂ】
2012191445.tif 000021
【図１１】
2012191445.tif 000022
【図１２Ａ】
2012191445.tif 000023
【図１２Ｂ】
2012191445.tif 000024
【図１２Ｃ】
2012191445.tif 000025
【図１２Ｄ】
2012191445.tif 000026