(57)【要約】      （修正有）【課題】ユーザの短時間の操作により、タッチパネルの表示画面の拡大倍率の大きな画像を取得し、誤って短時間のタッチパネル操作などをした際でも、極端な拡大画像を表示させることがなく、ユーザの操作性を向上するユーザーインターフェース装置、方法、プログラム及び記憶媒体を提供する。【解決手段】タッチパネルの画面のタッチされる位置を検知し、検知される位置を中心に所定の範囲を顔検出やタッチ面積などから指定する。タッチパネルの画面のタッチにより指定される範囲を中心に表示領域を拡大表示するユーザインタフェースにおいて、タッチパネルの画面にタッチされた状態で所定の時間経過したと判定された場合、タッチパネルの画面にタッチされた状態が継続された時間に応じて、タッチパネルの画面の画像の拡大する枠を表示し、タッチパネルの画面にタッチが解除された際に表示されている枠内の画像を拡大表示する。【選択図】図１
2015194997.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルの画面のタッチされる位置を検知する位置検知手段と、
前記位置検知手段により検知される位置を中心に所定の範囲を指定する範囲指定手段と、
前記タッチパネルの画面のタッチにより、前記範囲指定手段で指定される範囲を中心に表示領域を拡大表示する表示画像拡大手段と、
前記タッチパネルの画面にタッチされた状態で所定の時間経過したか判定する判定手段と、
前記判定手段により所定の時間経過したと判定された場合、前記タッチパネルの画面にタッチされた状態が継続された時間に応じて、該画面の画像の拡大する枠を表示する拡大枠表示手段と、を有し、
前記表示画像拡大手段は、前記タッチパネルの画面にタッチされた状態が解除された際に表示されている前記拡大枠表示手段で示された枠内の画像を拡大表示することを特徴とするユーザインタフェース装置。
【請求項２】
前記拡大範囲表示手段は、前記タッチパネルの画面にタッチされている時間とともに、前記画面の画像の拡大する候補範囲を広げて表示することを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記位置検知手段により検知される位置に最も近い顔を検出する顔検出手段を有し、
前記範囲指定手段は、前記顔検出手段により検出された顔を含むように範囲を指定することを特徴とする請求項１又は２に記載のユーザインタフェース装置。
【請求項４】
前記タッチパネルは、タッチされる面積を検出するタッチ面積検出手段を有し、
前記範囲指定手段は、前記タッチ面積検出手段により検出される面積を含む外接四角形を所定の範囲として指定することを特徴とする請求項１又は２に記載のユーザインタフェース装置。
【請求項５】
前記拡大範囲表示手段は、前記画面の画像を拡大する候補範囲が小さいときは早く拡大し、拡大する候補範囲が大きい場合は、遅く拡大することを特徴とする請求項１乃至４に記載のユーザインタフェース装置。
【請求項６】
前記拡大範囲指定手段は、前記タッチ時間測定手段で一定時間経過後に測定された時間に応じて、前記タッチパネルの画面の画像の拡大範囲を指定する請求項１乃至５に記載のユーザインタフェース装置。
【請求項７】
前記表示画像拡大手段により拡大される前の前記タッチパネルの画面に表示されている画像を記憶する画像記憶手段と、
前記拡大範囲指定手段で指定された拡大範囲が、一定の拡大倍率以上の拡大である場合は、前記表示画像拡大手段により表示される画像上に、前記表示画像拡大手段により拡大される前の前記タッチパネルの画面に表示されている画像に戻すためのオブジェクトを表示する画像回帰選択手段と、
前記画像回帰選択手段で表示されるオブジェクトが選択されると、前記画像記憶手段に記憶された画像を前記タッチパネルの画面に表示する画像回帰手段と
を有することを特徴とする請求項１乃至６に記載のユーザインタフェース装置。
【請求項８】
タッチパネルの画面のタッチされる位置を検知する位置検知工程と、
前記位置検知工程により検知される位置を中心に所定の範囲を指定する範囲指定工程と、
前記タッチパネルの画面のタッチにより、前記範囲指定工程で指定される範囲を中心に表示領域を拡大表示する表示画像拡大工程と、
前記タッチパネルの画面にタッチされた状態で所定の時間経過したか判定する判定工程と、
前記判定工程により所定の時間経過したと判定された場合、前記タッチパネルの画面にタッチされた状態が継続された時間に応じて、該画面の画像の拡大する枠を表示する拡大枠表示工程と、を有し、
前記表示画像拡大工程は、前記タッチパネルの画面にタッチされた状態が解除された際に表示されている前記拡大枠表示工程で示された枠内の画像を拡大表示することを特徴とするユーザインタフェース方法。
【請求項９】
請求項８に記載されたユーザインタフェース方法をコンピュータに実行させるためのプログラム。
【請求項１０】
請求項８に記載されたユーザインタフェース方法をコンピュータに実行させるためのプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチパネルに表示されるイメージを拡大するユーザインタフェースに関するものである。
【背景技術】
【０００２】
ユーザインタフェース装置のタッチパネルにおいて、領域を拡大表示する際に、拡大範囲を指定する手段として、タッチパネルの上で２本の指を開くようになぞることで拡大範囲を指定するピンチアウトという拡大方法、あるいはスライドバーをスライドさせて使用して拡大するという方法がある。
【０００３】
また、特許文献１には、パネル等に利用者からの所定の値以上の圧力を感知すると、予め定めた所定値以上の圧力を検出した際に、該利用者が触れた位置を含む一定範囲の領域を拡大表示する技術がある。
【０００４】
また、特許文献２には、ユーザがタッチパネルの表示画面の一点を押し続ければ、その押下点の位置が切り出し枠の中心位置に設定され、押下時間に応じて切り出し枠の大きさが設定される画像再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−１５４０４２号公報
【特許文献２】特開２０１１−５００３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ピンチアウトによる拡大では、２本の指を動かす速度の差によって拡大中心が意図しない場所にずれたり、スライドバーで拡大した場合には、画面の中心を基準指定として拡大されるため、範囲の端が拡大領域に入りきらない場合がある。
【０００７】
また、特許文献１では、利用者が触れた位置を中心に拡大することはできるが、ユーザの嗜好にあわせて拡大倍率を変更することができない。
【０００８】
また、特許文献２では、拡大縮小の範囲を決める枠の大きさは、入力画面の接触点を起点としており、タッチパネルを押下した位置を中心に押下し続けている時間の長さでその範囲が拡大縮小させているが、タッチパネルを押下してから指をすぐに離してしまうと、画像を拡大し過ぎることがあり、ユーザが最も確認したい領域がすぐには得られない可能性がある。
【０００９】
本発明は、上記のような課題を解決するためのものであり、ユーザの短時間の操作により、タッチパネルの表示画面の拡大倍率の大きな画像を取得すること、また誤って短時間のタッチパネル操作などをした際でも、極端な拡大画像を表示させることがなく、ユーザの操作性を向上させ、適切な拡大倍率の画像データを得ることができることを課題とする。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するためになされた発明であり、タッチパネルの画面のタッチされる位置を検知する位置検知手段と、前記位置検知手段により検知される位置を中心に所定の範囲を指定する範囲指定手段と、前記タッチパネルの画面のタッチにより、前記範囲指定手段で指定される範囲を中心に表示領域を拡大表示する表示画像拡大手段と、前記タッチパネルの画面にタッチされた状態で所定の時間経過したか判定する判定手段と、前記判定手段により所定の時間経過したと判定された場合、前記タッチパネルの画面にタッチされた状態が継続された時間に応じて、該画面の画像の拡大する枠を表示する拡大枠表示手段と、を有し、前記表示画像拡大手段は、前記タッチパネルの画面にタッチされた状態が解除された際に表示されている前記拡大枠表示手段で示された枠内の画像を拡大表示することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、タッチパネルの表示画面の拡大領域を適切な大きさに容易に指定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態におけるユーザインタフェース装置のソフトウェア構成を示す図である。
【図２】本発明の実施形態におけるユーザインタフェース装置のハードウェア構成を示す図である。
【図３】本発明の実施形態におけるユーザインタフェース装置とアプリケーションサーバとの処理手段の一例を示すシーケンスチャートである。
【図４】本発明の実施形態におけるユーザインタフェース装置１００の処理手段の一例を示すフローチャートである。
【図５】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。
【図６】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例を示した模式図である。
【図７】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面に表示される拡大範囲を示す模式図である。
【図８】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例を示した模式図である。
【図９】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面に表示される拡大範囲の一例を示す模式図である。
【図１０】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面に表示されるオブジェクトの一例を示す模式図である。
【図１１】本発明の実施形態におけるユーザインタフェース装置１００で読み取り可能な各種データ処理プログラムを格納する記録媒体（記憶媒体）のメモリマップを説明する図である。
【図１２】本発明の実施形態におけるユーザインタフェース装置１００の処理手段の一例を示すフローチャートである。
【図１３】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。
【図１４】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例を示した模式図である。
【図１５】本発明の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面に表示される拡大範囲を示す模式図である。
【図１６】先行技術の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例を示した模式図である。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
【００１４】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１５】
図１は、本発明の実施形態におけるユーザインタフェース装置のソフトウェア構成を示す図である。
【００１６】
図１において、１００は、ユーザインタフェース装置であり、具体的にはタッチパネルを有する利用者端末である。ユーザインタフェース装置１００は、アプリケーションサーバ１１０にデータを要求し、アプリケーションサーバ１１０からデータを受信して結果をタッチパネルのデータ表示部１０８に表示する。
【００１７】
１０１は、表示画像拡大部であり、タッチパネルへのユーザの操作により、データ表示部１０８で表示されている画像や地図情報を拡大する処理を行う。
【００１８】
１０２は、タッチ時間測定部であり、ユーザがタッチパネルへ操作した時間を測定する。その際、ユーザのタッチしている位置が変わらずにタッチしている時間を測定する。このタッチ時間の測定を行うことにより、ユーザは拡大する範囲を選ぶ（指定する）ことができる。
【００１９】
１０３は、拡大範囲指定部であり、拡大範囲表示部１０４で示された範囲を拡大する範囲として指定する処理を行う。拡大範囲指定部１０３により指定された範囲を表示画像拡大部１０１により拡大表示する。
【００２０】
１０４は、拡大範囲表示部であり、ユーザのタッチしている時間毎に拡大する範囲を変化させ、データ表示部に表示する。タッチしている時間の間、タッチパネルのディスプレイに拡大範囲表示部１０４により、画像や地図情報を拡大する範囲を変化して表示させ、視覚的に拡大表示させる範囲を示すことができる。
【００２１】
１０５は、画像記憶部であり、一旦拡大した画像を元の画像に戻す際に使用するために、元の画像もしくは地図情報を記憶しておく処理を行う。
【００２２】
１０６は、画像回帰選択部であり、一旦拡大した画像を元の画像に戻すかどうかをユーザに選択させるためのオブジェクトを表示する処理である。
【００２３】
１０７は、画像回帰部であり、画像回帰選択部でユーザから画像を元に戻す選択がされた場合に、画像記憶部に記憶されている画像や地図情報をタッチパネルのデータ表示部１０８に表示し、画像を元に戻す処理を行う。この処理により、画像額大がユーザのミスであった場合は、直ぐにもとの倍率の画像に戻すことができる。
【００２４】
１１１は、ユーザインタフェース装置１００からの要求により、地図データや画像データなどを有するアプリケーションＤＢ１１２からデータを抽出し、ユーザインタフェース装置に送信するアプリケーションである。
【００２５】
なお、本実施例では、アプリケーションサーバ１１０からデータを受信してユーザインタフェース装置１００に表示する構成を記載しているが、ユーザインタフェース装置１００がアプリケーション１１１の機能を有しておいて、アプリケーションＤＢ１１２のみがアプリケーションサーバ１１０に存在していて、アプリケーションサーバ１１０からデータのみを取得しても良い。また、アプリケーションサーバの代わりにアプリケーションＤＢ１１２をもユーザインタフェース装置が保持しておいて、ユーザインタフェース装置１００自らのデータを呼び出してユーザインタフェース装置１００のデータ表示部１０８に表示してもよいし、ユーザインタフェース装置１００が有するデータをデータ表示部１０８に表示してもよい。
【００２６】
次に、図１のユーザインタフェース装置１００のハードウェア構成について、図２を用いて説明する。
【００２７】
図２は、本発明の実施形態における各種装置のハードウェア構成を示す図である。
【００２８】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００２９】
また、ＲＯＭ２０２あるいはメモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。
【００３０】
ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００３１】
また、入力コントローラ（入力Ｃ）２０５は、タッチパネル２０９からの入力を制御する。
【００３２】
ビデオコントローラ（ＶＣ）２０６は、液晶パネル２１０等の表示器への表示を制御する。これらは必要に応じてユーザが使用するものである。
【００３３】
メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフラッシュメモリ等のメモリ２１１へのアクセスを制御する。
【００３４】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、主に無線ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。
【００３５】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、液晶パネル２１０上での表示を可能としている。また、ＣＰＵ２０１は、液晶パネル２１０上のタッチパネルでのユーザ指示を可能とする。
【００３６】
本発明を実現するための制御プログラムはメモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わる制御プログラムが用いるデータはメモリ２１１に格納されている。
【００３７】
以下、図３〜図４のフローチャートを参照して、ユーザインタフェース装置の処理の流れを説明する。
【００３８】
図３は、本発明の実施形態におけるユーザインタフェース装置とアプリケーションサーバ間のタッチパネル操作入力後の処理の流れを示すフローチャートの一例であり、Ｓ３０１〜Ｓ３１０は各装置における処理ステップを示す。
【００３９】
図３のフローチャートは、ユーザによりアプリケーションが起動され、液晶パネル２１０画像もしくは地図情報などが表示されている状態で、ユーザによりタッチパネル２０９がタッチされると開始される。なお、起動されるアプリケーションとして、本実施例では、画像を想定するが、前記画像は地図アプリケーションによる地図情報やＣＡＤ画像などでも良い。たとえば、複数のリンクボタンを有するＷｅｂ画面でも良いし、ロールプレイングゲームの画面や写真画像でも構わない。
【００４０】
タッチパネル２０９へユーザがタッチすると、ステップＳ３０１において、ユーザインタフェース装置１００は、ユーザのタッチ操作を受け付ける。ステップＳ３０１の処理の詳細を図４を参照して説明する。
【００４１】
図４は、本発明の実施形態におけるユーザインタフェース装置のタッチパネル操作入力後の処理の流れを示すフローチャートの一例であり、Ｓ４０１〜Ｓ４０８は各装置における処理ステップを示す。
【００４２】
図４は、ユーザがタッチパネル２０９をタッチすると開始される処理の流れである。
【００４３】
まず、ステップＳ４０１において、ユーザインタフェース装置１００は、ユーザのタッチパネル２０９へのタッチを受け付けると、タッチパネル上のタッチされている位置を検知する。図５を参照して説明する。
【００４４】
図５は、本発明の実施形態におけるユーザインタフェース装置のタッチパネルの画面を指で操作しているイメージの一例を示す模式図である。
【００４５】
図５の画面イメージにおいて、画像５００上を指５０１により黒丸位置５０２がタッチされた場合、タッチパネル２０９に表示された画像５００の黒丸位置５０２を拡大する画像の中心候補とする。図４のフローチャートの説明に戻る。
【００４６】
次に、ステップＳ４０２において、ユーザインタフェース装置１００は、ユーザがタッチパネル２０９へタッチされている時間を把握するために、タッチタイマを起動する。タッチタイマを起動してタッチしている時間を計測することにより、ユーザのタッチ操作が拡大処理のための操作なのか、画像移動（地図アプリケーションの場合は、地図画像の移動）のための操作なのかを判断する。なお、タッチタイマは、ユーザインタフェース装置１００が同じ場所でユーザのタッチを検知し続けるまで計測し続け、ユーザが同じ場所でのタッチをやめる、もしくはタッチをやめて指をタッチパネルから離すと止まる仕様である。
【００４７】
次に、ステップＳ４０３において、ユーザインタフェース装置１００は、タッチタイマが予め設定されている設定時間以上経過したかどうかを判断し、処理を分岐する。タッチタイマが設定時間以上経過している場合は、ステップＳ４０４へと処理を移行し、タッチタイマが設定時間より小さい間に止まっている場合は、ステップＳ４０８へと処理を遷移する。ステップＳ４０３の処理は、ユーザのタッチ操作が画像拡大のための操作なのか、画像移動やその他の機能を実施するための操作なのかを判断するための処理である。たとえば、ユーザがタッチパネル上の一点を指定して直ぐ離した場合は、そのポイントでのメニューを表示したり、ユーザがタッチパネル上をなぞるような操作をした場合は、画像を移動させるような処理を実施する。それらの処理は、タッチタイマが短時間で止まると判断できるため、予め設定されている設定時間より小さい時間でタッチタイマが止まっていると、画像の拡大処理ではないと判断して、ステップＳ４０８へと処理を移行する。
【００４８】
ステップＳ４０３で、タッチタイマが設定時間以上経過している場合は、ステップＳ４０４へと処理を移行し、ステップＳ４０４において、ユーザインタフェース装置１００は、タッチパネル２０９上の液晶パネル２１０に、タッチされた位置（図５における黒丸位置５０２）を中心とした円を表示する。図６と図７を参照して、ステップＳ４０４の処理を説明する。
【００４９】
図６は、本発明の実施形態におけるユーザインタフェース装置のタッチパネルの画面イメージの一例を示す模式図である。
【００５０】
図６の６００は黒丸位置６０１がタッチされて、タッチタイマが設定時間以上経過した場合の画面イメージである。指が黒丸位置６０１に設定時間以上タッチしていると、ユーザインタフェース装置１００は、液晶パネル２１０上に黒丸位置を中心に拡大する範囲をユーザに示すため、黒丸位置６０１を中心とする円を描き、ユーザのタッチ時間に応じて徐々に円の半径を大きくする処理を行う。この際、後ろに描かれている画像や地図のサイズは変えない。
【００５１】
ユーザは徐々に大きくなる円が自分の拡大したい所望の範囲の大きさになれば、タッチしている指を外し、ユーザインタフェース装置１００は、最終的にその円の外接四角形内を拡大表示する処理を行う。円の半径の大きさの変化を示すために、図７を参照してタッチ位置の中心から円の半径を大きくする処理を説明する。
【００５２】
図７は、本発明の実施形態におけるユーザインタフェース装置のタッチパネルの画面イメージの一例を示す模式図である。
【００５３】
図７の７００はタッチ位置７０４と、タッチ位置を押下し続けた場合に液晶パネル２１０に表示される円のみを表示した画面イメージである。
【００５４】
黒丸位置７０４が設定時間以上タッチされると、７０４を中心とする拡大可能な範囲の最小の範囲（たとえば７０１）に円を描き、そこからタッチしている時間の経過とともに円の半径を大きくする。
【００５５】
円の半径を大きくするスピードは、７０１から７０２へ拡大するとき、すなわち半径が小さいとき（ａ）に最も早くする。７０２から７０３へと拡大する際は拡大するスピード（ｂ）を遅くし、７０３から更に円の半径を拡大する場合は、半径を大きくするスピード（ｃ）を更に遅くする。これらの処理は、ユーザが少しだけ拡大したい場合などに、円の拡大スピードが最初からゆっくりだと時間がかかり、逆に拡大スピードが最初から一定の速度だと、少しだけ拡大したいユーザは、自分が拡大したい範囲で拡大範囲を止めることが難しいという課題を解決可能になる。図４のフローチャートの説明に戻る。
【００５６】
図４のステップＳ４０４の処理に続いて、ステップＳ４０５において、ユーザインタフェース装置１００は、ユーザの指がタッチパネルから離れたかどうかを検知する。指がタッチパネルから離れていなければ、ステップＳ４０４へと処理を移行し、タッチ位置を中心とした円の半径をより大きい円を表示する。
【００５７】
一方、指がタッチパネルから離れた場合（ＹＥＳ）は、指がタッチパネルから離れた状態で液晶パネル２１０に描かれている円の外接四角形内を拡大する命令を発するため、ユーザインタフェース装置１００は、ステップＳ４０６へと処理を移行し、指がタッチパネルから離れた段階の円の大きさを取得する。指がタッチパネルから離れるまでの円の大きさの変化を、図８を参照して説明する。
【００５８】
図８は、本発明の実施形態におけるユーザインタフェース装置のタッチパネルの画面イメージの一例を示す模式図である。
【００５９】
図８の８００はタッチ位置８０１と、タッチ位置を押下し続けた場合に液晶パネル２１０に表示される拡大する円を表示した画面イメージである。
【００６０】
タッチ位置８０１を押下し続けると、８０１を中心とする円が同心円状に拡大する。８０１を中心とする円が８０２の大きさの時に、ユーザが指をタッチパネルから離すと、円は８０２の大きさで拡大を止める。この処理により、ユーザはどの範囲の画像もしくは地図情報を拡大するのかを視覚的に確認できると言う効果を有する。円の大きさを取得するステップＳ４０６の処理の例を説明する。
【００６１】
たとえば、図８の８０１を中心とする円の半径をビデオコントローラ２０６内のＶＲＡＭ上に展開している円の大きさと表示画像（表示地図）と比較して決めても良いし、図８の８０１を中心とする円の半径が大きくなる速度が、時間に反比例して減少する場合、タッチタイマの予め設定された時間が経過した後のタッチタイマの時間から算出して、画像上（地図上）の半径を算出しても良い。
【００６２】
次に、ステップＳ４０７において、ユーザインタフェース装置１００は、ステップＳ４０６で取得した円の大きさから、画像上（地図上）の拡大範囲、拡大率を決めて、拡大表示命令を生成し、図４のフローチャートの処理を終える。
【００６３】
一方、ステップＳ４０３でタッチタイマが設定時間より小さい間に止まっている場合は、ステップＳ４０８へと処理を遷移する。ステップＳ４０８に遷移すると、ユーザインタフェース装置１００は、タッチパネルの通常の処理のように、画像の移動（地図の移動）命令や、タップによるメニュー表示命令などを生成し、図４のフローチャートの処理を終える。図３のフローチャートの説明に戻る。
【００６４】
図３のフローチャートのステップＳ３０１の処理を図４のように実行した後、次のステップＳ３０２では、ユーザインタフェース装置１００は、ステップＳ３０１の処理、すなわち図４のフローチャートの処理により生成された命令が拡大操作命令かどうかを判断する。ステップＳ３０１で生成された命令が拡大操作命令であれば、ステップＳ３０３の処理へと移行し、ステップＳ３０１で生成された命令が拡大操作命令でなければ、ステップＳ３０９の処理へと移行する。
【００６５】
ステップＳ３０９へと処理を移行すると、ユーザインタフェース装置１００は、通常の画像の移動処理や画像におけるメニュー表示処理などを実行するが、ステップＳ３０９の処理は本発明の本質ではないので、説明を省略する。
【００６６】
一方、ステップＳ３０２において、ステップＳ３０３へと移行すると判断された場合は、画像または地図情報の拡大操作命令だった場合なので、画像または地図情報の拡大処理を行う。ステップＳ３０３において、ユーザインタフェース装置１００は、拡大操作命令で生成された拡大率における拡大範囲の画像または地図情報をアプリケーションサーバ１１０から取得する処理を行う。なお、図３のようにアプリケーションサーバを有しておらず、ユーザインタフェース装置１００において、画像や地図情報を有している場合は、アプリケーションサーバ１１０を、ユーザインタフェース装置１００内のアプリケーションとみなしても良い。
【００６７】
ステップＳ３０３により、拡大範囲の取得命令を受信したアプリケーションサーバ１１０は、ステップＳ３１０において、アプリケーションＤＢから画像データや地図データを取得し、拡大範囲の画像データや地図データを加工し、ユーザインタフェース装置１００に拡大範囲のデータを送信する。
【００６８】
ユーザインタフェース装置１００は、ステップＳ３０４において、アプリケーションサーバ１１０からの拡大範囲の画像データもしくは地図情報を取得すると、ステップＳ３０５において、取得した拡大範囲の画像データもしくは地図情報を表示する。なお、ステップＳ３０５において、拡大範囲の画像データもしくは地図情報を表示する前に、現在表示している画像データもしくは地図情報をユーザインタフェース装置に記憶しておく。この記憶しておく画像データもしくは地図情報は、拡大した画像や地図を元に戻すステップＳ３０７の場合に使用する。ステップＳ３０５において、液晶パネル２１０に表示する一例を図９を参照して説明する。
【００６９】
図９は、本発明の実施形態におけるユーザインタフェース装置のタッチパネルの画面イメージの一例を示す模式図である。
【００７０】
図９の９００はタッチ位置９０１と、タッチ位置９０１を中心としたステップＳ４０６で指定した範囲を拡大したイメージ図である。ステップＳ４０６で指定された図８の円８０２と同じ範囲の円が９０２であり、９０２は画面上に表示しなくても良い。９０２の円の外接四角形の画像９０３がステップＳ３０４で取得され、９００のように液晶パネルに表示される。この際、ステップＳ４０１でタッチされた図５のタッチ位置５０２のように、画像中心でない位置を拡大する場合であっても、拡大された液晶パネル２１０上の表示は、図９の９００のようにタッチ位置９０１を中心位置とするように表示する。この処理により、画像の拡大と同時に画像中心位置の移動も可能となり、単に拡大するだけでなく、タッチ位置を中心とした画像を取得できるので、たとえば、地図などで画面の右端をタッチして拡大を指定すると、タッチした部分を画面の中心に移動して拡大することができ、地図の移動と拡大を同時に可能な操作となる。図３のフローチャートの説明に戻る。
【００７１】
ステップＳ３０５において、取得した拡大範囲の画像データもしくは地図情報を表示する処理を実行した後、次のステップＳ３０６の処理へと移行する。ステップＳ３０６では、ユーザインタフェース装置１００は、液晶パネル２１０へ表示された画像もしくは地図情報が、元の表示していた画像もしくは地図情報から、予め決められた拡大倍率以上の拡大であれば、ステップＳ３０７の処理へと移行する。一方、液晶パネル２１０へ表示された画像もしくは地図情報が、元の表示していた画像もしくは地図情報から、予め決められた拡大倍率以上の拡大でなければ、図３のフローチャートの処理を終える。
【００７２】
ステップＳ３０７へと処理を移行すると、ユーザインタフェース装置１００は、液晶パネル２１０上に拡大した倍率を元に戻すボタンを生成し、表示する。倍率を元に戻すボタンを表示する例を図１０を参照して説明する。
【００７３】
図１０は、本発明の実施形態におけるユーザインタフェース装置のタッチパネルの画面イメージの一例を示す模式図である。
【００７４】
図１０の１０００は中心のユーザがタッチした位置を中途半端に長押しし、拡大する領域を示す円が表示されて直ぐに、ユーザがタッチしている指を離した場合に拡大表示されている画面のイメージである。
【００７５】
１０００は、図５の画像５００と比べると拡大率が約４倍と大きく、予め決められた拡大倍率が３倍である場合は、予め決められた拡大倍率以上の拡大であるため、ステップＳ３０７へと処理を移行し、［元の倍率に戻す］ボタン１００１（オブジェクト）を表示する。［元の倍率に戻す］ボタン１００１が押下されると、ユーザインタフェース装置１００は、図３のフローチャートの開始前に表示していた画像の倍率で液晶パネル２１０の画面に表示する処理、すなわち元の倍率の表示に戻す処理を行う。たとえば、１０００の例で、［元の倍率に戻す］ボタン１００１が押下されると、図５の画像５００の画面イメージに戻ることになる。
【００７６】
ステップＳ３０６の判断分岐により、ユーザの操作ミスなどで、ユーザが中途半端に長押しなどした際に、極端な拡大画像になってしまった場合、直ぐに元の倍率の画像や地図情報に戻ることができる効果を有する。
【００７７】
なお、元の倍率の画像に戻さなくて良い場合は、［元の倍率に戻す］ボタン１００１を押下せず、別の部分をタッチすれば、［元の倍率に戻す］ボタン１００１を削除可能とする。図３のフローチャートの説明に戻る。
【００７８】
ステップＳ３０７の処理が終わるか、ステップＳ３０６で拡大倍率が予め指定されている倍率より小さいと判断されると、本願発明の一連の処理を終える。
【００７９】
以上のような構成により、本願発明は、タッチパネル上でユーザが希望する位置を中心に任意の拡大率で画像や地図情報を拡大させることができるという効果を有する。
＜第２の実施形態＞
【００８０】
第１の実施形態では、指でタッチした場所を中心として、拡大する範囲を円状に表示し広げていくことで拡大したい範囲を決めており、また、もしユーザの操作ミスなどでユーザが中途半端に長押しした場合などは、表示される「元の倍率に戻す」ボタンを押下して拡大倍率を元に戻すことを示した。
【００８１】
第２の実施形態では、指でタッチした際にある程度の面積を拡大範囲として予め指定しておき、その拡大範囲から徐々に拡大表示する範囲を大きく（拡大倍率を小さく）していくことで、ユーザの押し間違いなどによる極端な拡大率での表示を防ぎ、ユーザの要求する拡大倍率に素早く拡大することを課題とする。
【００８２】
第２の実施形態の課題を図１３と図１６を参照して説明する。
【００８３】
図１３は、本発明の第２の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例とユーザの指を示した模式図である。
【００８４】
図１３において、たとえば、指１３０１がアプリケーション表示画面１３００上の「指が触れた位置」１３０２を触れて、タッチタイマが経過後にすぐにユーザが指を離した場合の特許文献２の画面イメージを図１６を参照して説明する。
【００８５】
図１６は、先行技術の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例を示した模式図であり、図１３の指が触れた位置１３０２の周辺を極端に拡大した例（被写体の人物の目元の拡大図）である。
【００８６】
図１６のアプリケーション表示画面イメージ１６００は、特許技術２において、タッチタイマが経過後にすぐにユーザが指を離した後で表示される画面イメージであり、ユーザが指を離した際に指定された枠１６０２の範囲で拡大している。ユーザが誤って早めにタッチを離すと、１６００のように極端に拡大倍率が大きい画像が得られ、ユーザが望まない拡大倍率の画像や地図情報を表示してしまう。この課題を解決するための第２の実施形態による解決手段を図１２を参照して説明する。
【００８７】
図１２は、本発明の第２の実施形態におけるユーザインタフェース装置１００の処理手段の一例を示すフローチャートでああり、Ｓ４０１〜Ｓ４０８、Ｓ１２０１〜Ｓ１２０４はユーザインタフェース装置における処理ステップを示す。なお、図１２のフローチャートは、図３のステップＳ３０１の処理の詳細である。
【００８８】
図１２は、ユーザがタッチパネル２０９をタッチすると開始される処理の流れである。
【００８９】
図１２のフローチャートのステップＳ４０１〜Ｓ４０８の処理は図４のフローチャートの処理と同じであるので、説明を省略する。
【００９０】
ステップＳ４０３において、タッチタイマが設定時間以上経過した場合、ステップＳ１２０１へと処理を移行し、ステップＳ１２０１において、ユーザインタフェース装置１００は、タッチパネル２０９上の液晶パネル２１０に、タッチされた位置（図１３における黒丸位置１３０２）に近い位置での顔検出、もしくは指の接触面積の外接する四角形を表示する。図１３を参照して、画面イメージを説明する。
【００９１】
図１３において、画像１３００は、ユーザインタフェース装置１００のタッチパネル２０９上に表示された画面イメージであり、選択範囲１３０３は、指１３０１が触れた位置１３０２に近い位置で顔検出により検出された領域を選択範囲として表示された例である。ユーザは、顔を認識した範囲以上の拡大範囲の画像を要求することは通常はないと考えられるため、この顔検出で選択された範囲を最大の拡大倍率と設定する。すなわち、拡大倍率の開始倍率を顔検出で検出された範囲の倍率とし、この拡大倍率から徐々に拡大倍率を小さく（拡大範囲は徐々に大きく）変更するように画面上に選択範囲を表示する。
【００９２】
この処理により、ユーザが誤って短時間のタッチパネル操作などをした際でも、極端な拡大画像を表示させることがなくなり、ユーザの操作性が向上する。図１２のフローチャートの説明に戻る。
【００９３】
図１２のステップＳ１２０１の処理が終わると、次にステップＳ１２０２において、ユーザインタフェース装置１００は、タッチパネル２０９上に表示されている画像において、ステップＳ１２０１で検出された顔検出位置、または指の接触面積の外接する四角形位置を中心として、時間の経過とともに拡大される四角形を表示する。この四角形は、ステップＳ４０５の判断分岐にあるように、タッチパネルから指が離れるまで拡大する。時間とともに拡大される四角形の例を図１４を参照して説明する。
【００９４】
図１４は、本発明の第２の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例を示した模式図である。
【００９５】
図１４の画面イメージ１４００は、図１３の画面イメージ１３００とほぼ同じであって、指が触れた位置１４０１の周辺だけが異なっている。画面イメージ１４００では、ステップＳ１２０１で図１３の１３０３のように顔検出された場合の選択範囲について説明する。
【００９６】
図１４の拡大範囲を決める枠１４０２は、ステップＳ４０５の判断分岐でタッチパネルから指が離れる判断（ＹＥＳ）までに拡大される枠であり、タッチパネルから指が離れると枠の拡大が止まる。画面イメージ１４００では、拡大範囲１４０２のような枠でタッチパネルから指を離した場合を考える。図１２のフローチャートの説明に戻る。
【００９７】
次に、図１２のステップＳ１２０３において、ユーザインタフェース装置１００は、図１４の拡大範囲１４０２の状態で四角形の大きさを決定する。
【００９８】
次に、ステップＳ１２０４において、ユーザインタフェース装置１００は、ステップＳ１２０３で決定した四角形の枠を拡大範囲として拡大表示命令を発行する。その後、図３のステップＳ３０５において、ユーザインタフェース装置１００は、図１５のような拡大画面イメージを表示する
【００９９】
図１５は、本発明の第２の実施形態におけるユーザインタフェース装置１００のアプリケーション表示画面の一例を示した模式図であり、図１４の拡大範囲１４０２の範囲を拡大した例である。
【０１００】
以上の構成により、ユーザの短時間の操作により、拡大倍率の大きな画像を取得することができるという効果を有する。また、誤って短時間のタッチパネル操作などをした際でも、極端な拡大画像を表示させることがなく、ユーザの操作性を向上させ、適切な拡大倍率の画像データを得ることができるという効果をも有する。
【０１０１】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【０１０２】
以上、二つの実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１０３】
本実施形態における図３、図４、図１２に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
【０１０４】
また、図１１のように、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１０５】
この場合、記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。
【０１０６】
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【０１０７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０９】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１０】
さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１１１】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１２】
１００  ユーザインタフェース装置
１０１  表示画像拡大部
１０２  タッチ時間測定部
１０３  拡大範囲指定部
１０４  拡大範囲表示部
１０５  画像記憶部
１０６  画像回帰選択部
１０７  画像回帰部
１０８  データ表示
１１０  アプリケーションサーバ
１１１  アプリケーション
１１２  アプリケーションＤＢ
【図１】
2015194997.tif 000003
【図２】
2015194997.tif 000004
【図３】
2015194997.tif 000005
【図４】
2015194997.tif 000006
【図５】
2015194997.tif 000007
【図６】
2015194997.tif 000008
【図７】
2015194997.tif 000009
【図８】
2015194997.tif 000010
【図９】
2015194997.tif 000011
【図１０】
2015194997.tif 000012
【図１１】
2015194997.tif 000013
【図１２】
2015194997.tif 000014
【図１３】
2015194997.tif 000015
【図１４】
2015194997.tif 000016
【図１５】
2015194997.tif 000017
【図１６】
2015194997.tif 000018