(57)【要約】【課題】携帯端末のユーザインターフェース提供方法を提供する。【解決手段】本発明の一実施形態による携帯端末のユーザインターフェース提供方法は、アプリケーションを実行するステップと、ユーザのモード転換要請によってアプリケーション実行モードから筆記入力モードに転換するステップと、上記ユーザの筆記データを認識し、上記認識された筆記データを予め設定されたフォーマットを有するデータに変換するステップと、上記変換されたデータを予め設定された方式で処理して、上記変換されたデータの処理結果をタッチスクリーンを通してユーザに表示するステップと、を含むことを特徴とする。【選択図】図６
2014044725.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末のユーザインターフェース提供方法であって、
アプリケーションを実行するステップと、
ユーザのモード転換要請によってアプリケーション実行モードから筆記入力モードに転換するステップと、
前記ユーザの筆記データを認識し、前記認識された筆記データを予め設定されたフォーマットを有するデータに変換するステップと、
前記変換されたデータを予め設定された方式で処理し、前記変換されたデータの処理結果をタッチスクリーンを通してユーザに表示するステップと、を含むことを特徴とする携帯端末のユーザインターフェース提供方法。
【請求項２】
前記ユーザのモード転換要請は、
タッチ手段を用いたホバリングパターンの入力、前記タッチ手段を用いたタッチパターンの入力、筆記入力ボタンのクリック、及び筆記入力メニュー項目のクリックのうちの一つであることを特徴とする請求項１に記載の携帯端末のユーザインターフェース提供方法。
【請求項３】
前記ホバリングパターンの入力は、
前記タッチスクリーンの表面上に前記タッチ手段を予め設定された検出閾値間隔以内で予め設定された時間の間に維持することによって遂行されることを特徴とする請求項２に記載の携帯端末のユーザインターフェース提供方法。
【請求項４】
前記筆記データは、アプリケーションウィンドウにオーバラップされる方式で表示されることを特徴とする請求項１に記載の携帯端末のユーザインターフェース提供方法。
【請求項５】
前記筆記データは、予め設定されたフォーマットを有するテキストデータに変換されることを特徴とする請求項１に記載の携帯端末のユーザインターフェース提供方法。
【請求項６】
前記変換されたデータを処理する方式は、前記変換されたデータの表示、前記変換されたデータを前記アプリケーションの入力ウィンドウに入力、前記変換されたデータを外部装置に伝送、前記変換されたデータが指示する動作遂行のうちの一つであることを特徴とする請求項１に記載の携帯端末のユーザインターフェース提供方法。
【請求項７】
前記変換されたデータはサーバに転送され、前記サーバから受信した応答結果が前記ユーザに提供されることを特徴とする請求項１に記載の携帯端末のユーザインターフェース提供方法。
【請求項８】
前記変換されたデータと前記ユーザにより入力された追加データがサーバに転送され、前記サーバから受信した応答結果が前記ユーザに提供されることを特徴とする請求項１に記載の携帯端末のユーザインターフェース提供方法。
【請求項９】
前記変換されたデータは音声データに変換され、前記変換された音声データは音声認識サーバに転送され、前記音声認識サーバから受信した応答結果が前記ユーザに提供されることを特徴とする請求項１に記載の携帯端末のユーザインターフェース提供方法。
【請求項１０】
前記変換されたデータは第１の音声データに変換し、前記変換された第１の音声データと前記ユーザにより入力された第２の音声データが音声認識サーバに転送され、前記音声認識サーバから受信した応答結果が前記ユーザに提供されることを特徴とする請求項１に記載の携帯端末のユーザインターフェース提供方法。
【請求項１１】
請求項１乃至１０のいずれか一項に従う携帯端末のユーザインターフェース提供方法を実行するためのプログラムを記録した機械可読保存媒体。
【請求項１２】
機械可読保存媒体を含むことを特徴とする請求項１１に記載の携帯端末。
【請求項１３】
ユーザインターフェースを提供する携帯端末であって、
アプリケーションを保存する保存部と、
入力データを表示し、タッチ手段の接触またはホバリングを検出するタッチスクリーンと、
前記アプリケーションを実行し、
ユーザのモード転換要請によってアプリケーション実行モードから筆記入力モードに転換し、
前記ユーザの筆記データを認識し、前記認識された筆記データを予め設定されたフォーマットを有するデータに変換し、
前記変換されたデータを予め設定された方式で処理し、前記変換されたデータの処理結果を前記タッチスクリーンを通してユーザに表示するように構成された制御部と、を含むことを特徴とするユーザインターフェースを提供する携帯端末。
【請求項１４】
前記ユーザのモード転換要請は、
タッチ手段を用いたホバリングパターンの入力、前記タッチ手段を用いたタッチパターンの入力、筆記入力ボタンのクリック、及び筆記入力メニュー項目のクリックのうちの一つであることを特徴とする請求項１３に記載のユーザインターフェースを提供する携帯端末。
【請求項１５】
前記ホバリングパターンの入力は、
前記タッチスクリーンの表面上に前記タッチ手段を予め設定された検出閾値間隔以内で予め設定された時間の間に維持することによって遂行されることを特徴とする請求項１４に記載のユーザインターフェースを提供する携帯端末。
【請求項１６】
前記筆記データは、アプリケーションウィンドウにオーバラップされる方式で表示されることを特徴とする請求項１３に記載のユーザインターフェースを提供する携帯端末。
【請求項１７】
前記筆記データは予め設定されたフォーマットを有するテキストデータに変換されることを特徴とする請求項１３に記載のユーザインターフェースを提供する携帯端末。
【請求項１８】
前記変換されたデータを処理する方式は、前記変換されたデータの表示、前記変換されたデータを前記アプリケーションの入力ウィンドウに入力、前記変換されたデータを外部装置に伝送、前記変換されたデータが指示する動作遂行のうちの一つであることを特徴とする請求項１３に記載のユーザインターフェースを提供する携帯端末。
【請求項１９】
前記変換されたデータは、音声データに変換され、前記変換された音声データは音声認識サーバに転送され、前記音声認識サーバから受信した応答結果が前記ユーザに提供されることを特徴とする請求項１３に記載のユーザインターフェースを提供する携帯端末。
【請求項２０】
前記変換されたデータと前記ユーザにより入力された追加データがサーバに転送され、前記サーバから受信した応答結果が前記ユーザに提供されることを特徴とする請求項１３に記載のユーザインターフェースを提供する携帯端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザインターフェース提供方法に関し、特に筆記入力をサポートするユーザインターフェース提供方法に関する。
【背景技術】
【０００２】
一般的に、移動通信端末のような携帯端末に含まれるユーザ入力部は、キーパッドで構成される。このようなキーパッドを介したユーザ入力は、端末機に装着されているボタンをユーザが直接に手でキーを押して入力する方式とタッチスクリーンを用いた入力方式がある。このような入力方式のうち、タッチスクリーンを用いた入力方式は、ソフトキーボード入力方式と筆記入力（Handwriting Recognition）方式などがあるが、ソフトキーボード入力方式とは、携帯端末で一般キーボードとマウスの携帯性問題を克服するためにタッチスクリーンにキーボード形態の入力ウィンドウをディスプレイし、ペンクリックまたは指クリックを介して入力を受信する方式をいう。また、筆記入力方式は、人の手記（すなわち、筆記体）を認識してデータコードに変換させる方式である。
【０００３】
従来の筆記入力方式は、筆記入力を所望する位置にカーソルを位置させ、筆記入力アプリケーションを実行し、筆記入力画面に転換し、筆記データを入力し、ユーザが筆記データの認識結果を確認した後、保存ボタンを押す、５ステップを経なければならないので、筆記入力手順が不便であり、また明確なユーザの入力意図がなくても所望しない入力が頻繁に発生する可能性が存在するという問題点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１２／０２５１１２号公報
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の特定実施形態の目的は、従来技術と関連した問題点及び／または短所のうち、少なくとも一つを少なくとも部分的に解決、軽減または除去することにある。
【０００６】
本発明の一目的は、ホバリングを用いて入力モード転換が可能であるようにすることによって、ユーザが所望しない入力の発生を遮断する方法を提供することにある。
【０００７】
本発明の他の目的は、ユーザが書いた文字を筆記認識してテキストに変換し、変換されたテキストを画面に実行中であるアプリケーションの入力部に自動で挿入することによって筆記入力手順を単純化することにある。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態による携帯端末を示す概略的なブロック図である。
【図２】本発明の一実施形態による携帯端末の前面斜視図である。
【図３】本発明の一実施形態による携帯端末の後面斜視図である。
【図４】本発明の一実施形態によるユーザインターフェース提供方法を説明するためのフローチャートである。
【図５】ホバリング動作を説明するための図である。
【図６】本発明の望ましい実施形態による音声認識アプリケーションでのユーザインターフェース提供方法を説明するためのフローチャートである。
【図７】音声認識アプリケーションの初期画面を示す図である。
【図８】筆記入力ボタンの一例を示す図である。
【図９】筆記入力モード表示方法の一例を示す図である。
【図１０】筆記入力モード表示方法の他の例を示す図である。
【図１１】筆記入力データの一例を示す図である。
【図１２】変換されたテキストデータを処理する方法の一例を示す図である。
【図１３】本発明の他の実施形態によるメッセージアプリケーションでのユーザインターフェース提供方法を説明するための図である。
【図１４】本発明の他の実施形態によるメッセージアプリケーションでのユーザインターフェース提供方法を説明するための図である。
【図１５】本発明の他の実施形態によるメッセージアプリケーションでのユーザインターフェース提供方法を説明するための図である。
【図１６】本発明のさらに他の実施形態によるギャラリーアプリケーションでのユーザインターフェース提供方法を説明するための図である。
【図１７】本発明のさらに他の実施形態によるギャラリーアプリケーションでのユーザインターフェース提供方法を説明するための図である。
【図１８】本発明のさらに他の実施形態によるギャラリーアプリケーションでのユーザインターフェース提供方法を説明するための図である。
【図１９】本発明の変更実施形態による音声認識アプリケーションでのユーザインターフェース提供方法を説明するための図である。
【図２０】本発明の変更実施形態による音声認識アプリケーションでのユーザインターフェース提供方法を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の好適な実施形態について添付図面を参照しながら詳細に説明する。図面における同様な構成要素に対しては、他の図面に表示されても、同様な参照番号及び符号を付けてあることに注意されたい。また、下記の説明における具体的な特定事項は、本発明の実施形態の包括的な理解を助けるために提供するものであり、この理解を助けるために様々な特定の詳細を含むが、単に例示に過ぎない。さらに、明瞭性と簡潔性の観点から、本発明に関連した公知の機能や構成に関する具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳細な説明を省略する。
【００１０】
第１及び第２のように、序数を含む用語は多様な構成要素を説明するために使われることができるが、上記構成要素は上記用語により限定されない。上記用語は、ただ一つの構成要素を他の構成要素から区別する目的で使われる。例えば、本発明の権利範囲を抜け出さず、第１の構成要素は第２の構成要素と命名でき、同様に第２の構成要素も第１の構成要素と命名できる。及び／またはという用語は、記載された項目に関する多様な組合せ、または記載された項目に関する多様な組合せのうちいずれかの項目を含む。
【００１１】
ある構成要素が他の構成要素に「連結されて」または「接続されて」いると言及された時には、その他の構成要素に直接的に連結されたりまたは接続されたりすることも出来るが、間に他の構成要素が存在することもできると理解すべきである。反面、ある構成要素が他の構成要素に「直接連結されて」または「直接接続されて」いると言及された時には、間に他の構成要素が存在していないと理解すべきである。
【００１２】
本出願で使用した用語は、単に特定の実施形態を説明するために使われただけで、本発明を限定する意図ではない。単数の表現は、文脈上、明白に異ならない場合、複数の表現を含む。本出願で、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはそれらを組合せしたことが存在することを示す意図であり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはそれらを組合せしたもの存在または付加可能性を予め排除しないものと理解すべきである。
【００１３】
異なるように定義されない限り、技術的または科学的な用語を含めてここで使われる全ての用語は、本発明が属する技術分野で通常の知識を有する者に一般的に理解されることと同じ意味を持っている。一般的に使われる辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味で解されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解されない。
【００１４】
図１は、本発明の一実施形態による携帯端末を示す概略的なブロック図であり、図２は、本発明の一実施形態による携帯端末の前面斜視図であり、図３は、本発明の一実施形態による携帯端末の後面斜視図である。
【００１５】
図１を参照すると、携帯端末１００は、サブ通信モジュール１３０、コネクタ１６５及びイヤホン接続ジャック１６７のような外部装置接続部を用いて外部装置（図示せず）と接続されることができる。“外部装置”は、携帯端末１００に脱着され有線で接続可能なイヤホン（Earphone）、外部スピーカ（External speaker）、ＵＳＢ（Universal Serial Bus）メモリ、充電器、クレードル／ドック（Cradle／Dock）、ＤＭＢアンテナ、モバイル決済関連装置、健康管理装置（血糖計など）、ゲーム機、自動車ナビゲーション装置など多様な装置を含むことができる。また“外部装置”は、近距離通信によって無線で携帯端末１００に接続することができるブルートゥース（登録商標）通信装置、ＮＦＣ（Near Field Communication）装置のような近距離通信装置、及びWiFi-Direct通信装置、無線アクセスポイント（Access Point：ＡＰ）を含むことができる。また、外部装置は、他の装置、携帯電話、スマートフォン、タブレットＰＣ、デスクトップＰＣ、及びサーバを含むことができる。
【００１６】
携帯端末１００は、スマートフォン、携帯電話、ゲーム機、ＴＶ、ディスプレイ装置、車両用ヘッドユニット、ノートブック、ラップトップ、タブレット（Tablet）ＰＣ、ＰＭＰ（Personal Media Player）、ＰＤＡ（Personal Digital Assistants）などであり得る。携帯端末１００は、無線通信機能を有するポケットサイズの携帯用移動端末として具現され得る。
【００１７】
図１を参照すると、携帯端末１００は、タッチスクリーン１９０及びタッチスクリーンコントローラ１９５を含む。また、携帯端末１００は、制御部１１０、移動通信モジュール１２０、サブ通信モジュール１３０、マルチメディアモジュール１４０、カメラモジュール１５０、ＧＰＳモジュール１５５、入出力モジュール１６０、センサモジュール１７０、保存部１７５及び電源供給部１８０を含む。サブ通信モジュール１３０は、無線ランモジュール１３１及び近距離通信モジュール１３２のうち少なくとも一つを含み、マルチメディアモジュール１４０は、放送通信モジュール１４１、オーディオ再生モジュール１４２及び動映像再生モジュール１４３のうち少なくとも一つを含む。カメラモジュール１５０は、第１のカメラ１５１及び第２のカメラ１５２のうち少なくとも一つを含み、入出力モジュール１６０は、ボタン１６１、マイク１６２、スピーカ１６３、振動モーター１６４、コネクタ１６５、キーパッド１６６及びイヤホン接続ジャック１６７のうち少なくとも一つを含む。
【００１８】
制御部１１０は、ＣＰＵ１１１、携帯端末１００の制御のための制御プログラムが保存されたＲＯＭ１１２及び携帯端末１００の外部から入力される信号またはデータを記憶するか、携帯端末１００で遂行されるタスクのための記憶領域として使われるＲＡＭ１１３を含むことができる。ＣＰＵ１１１は、シングルコア、デュアルコア、トリプルコア、またはクアッドコアを含むことができる。ＣＰＵ１１１、ロム１１２及びラム１１３は、内部バス（bus）を介して相互接続することができる。
【００１９】
制御部１１０は、移動通信モジュール１２０、サブ通信モジュール１３０、マルチメディアモジュール１４０、カメラモジュール１５０、ＧＰＳモジュール１５５、入出力モジュール１６０、センサモジュール１７０、保存部１７５、電源供給部１８０、タッチスクリーン１９０、及びタッチスクリーンコントローラ１９５を制御することができる。
【００２０】
移動通信モジュール１２０、サブ通信モジュール１３０及びマルチメディアモジュール１４０の放送通信モジュール１４１は、通信部で通称されることができ、上記通信部は外部装置との直接接続またはネットワークを介した接続のために提供され、有線または無線通信部であり得る。上記通信部は、制御部１１０、保存部１７５、カメラモジュール１５０などからのデータを有線または無線で伝送するか、外部通信線または外部からデータを有線または無線受信して制御部１１０に伝達するか、保存部１７５に保存することができる。
【００２１】
移動通信モジュール１２０は、制御部１１０の制御によって少なくとも一つ（一つまたは複数）のアンテナ（図示せず）を用いて移動通信を通して携帯端末１００が外部装置と接続するようにする。移動通信モジュール１２０は、携帯端末１００に入力される電話番号、またはネットワークアドレスを有する携帯電話（図示せず）、スマートフォン（図示せず）、タブレットＰＣまたは他の装置（図示せず）と音声通話、画像通話、文字メッセージ（ＳＭＳ）、マルチメディアメッセージ（ＭＭＳ）などのデータ交換または一方向伝送または受信のための無線信号を送／受信する。
【００２２】
サブ通信モジュール１３０は、無線ＬＡＮモジュール１３１と近距離通信モジュール１３２のうち少なくとも一つを含むことができる。例えば、無線ＬＡＮモジュール１３１だけを含むか、近距離通信モジュール１３２だけを含むか、または無線ＬＡＮモジュール１３１と近距離通信モジュール１３２の両方を含むことができる。
【００２３】
無線ランモジュール１３１は、制御部１１０の制御によって無線アクセスポイント（Access Point：ＡＰ）（図示せず）が設置された場所でインターネットに接続することができる。無線ＬＡＮモジュール１３１は、米国電機電子学会（ＩＥＥＥ）の無線ＬＡＮ規格（ＩＥＥＥ８０２.１１x）をサポートする。近距離通信モジュール１３２は、制御部１１０の制御によって携帯端末１００と画像形成装置（図示せず）との間に無線で近距離通信をすることができる。近距離通信方式には、ブルートゥース（bluetooth：登録商標）、赤外線通信（infrared data association：ＩｒＤＡ）、ワイファイダイレクト（WiFi-Direct）通信、ＮＦＣ（Near Field Communication）などが含まれることができる。
【００２４】
携帯端末１００は、性能に従って移動通信モジュール１２０、無線ＬＡＮモジュール１３１、及び近距離通信モジュール１３２のうち少なくとも一つを含むことができる。例えば、携帯端末１００は、性能に従って移動通信モジュール１２０、無線ＬＡＮモジュール１３１、及び近距離通信モジュール１３２の組み合わせを含むことができる。
【００２５】
マルチメディアモジュール１４０は、放送通信モジュール１４１、オーディオ再生モジュール１４２または動映像再生モジュール１４３を含むことができる。放送通信モジュール１４１は、制御部１１０の制御によって放送通信アンテナ（図示せず）を通して放送局から送出される放送信号（例えば、ＴＶ放送信号、ラジオ放送信号またはデータ放送信号）及び放送付加情報（例、ＥＰＧ（Electric Program Guide）またはＥＳＧ（Electric Service Guide））を受信することができる。オーディオ再生モジュール１４２は、制御部１１０の制御によって保存されるか、または受信されるデジタルオーディオファイル（例えば、ファイル拡張子がｍｐ３、ｗｍａ、ｏｇｇ、ｗａｖなどであるファイル）をスピーカ１６３を通して再生することができる。動映像再生モジュール１４３は、制御部１１０の制御によって保存されるか、または受信されるデジタル動映像ファイル（例えば、ファイル拡張子がｍｐｅｇ、ｍｐｇ、ｍｐ４、ａｖｉ、ｍｏｖ、またはｍｋｖなどであるファイル）をタッチスクリーン１９０を通して再生することができる。
【００２６】
マルチメディアモジュール１４０は、放送通信モジュール１４１を除き、オーディオ再生モジュール１４２と動映像再生モジュール１４３を含むことができる。また、マルチメディアモジュール１４０のオーディオ再生モジュール１４２または動映像再生モジュール１４３は、制御部１１０に含まれることができる。
【００２７】
カメラモジュール１５０は、制御部１１０の制御によってスチールイメージ(still image)または動映像を撮影する第１のカメラ１５１及び第２のカメラ１５２のうち少なくとも一つを含むことができる。また、第１のカメラ１５１または第２のカメラ１５２は、撮影に必要な光量を提供する補助光源（例、フラッシュ（図示せず））を含むことができる。第１のカメラ１５１は、携帯端末１００の前面に配置され、第２のカメラ１５２は、携帯端末１００の後面に配置されることができる。このようなカメラ配置とは異なり、第１のカメラ１５１と第２のカメラ１５２は、隣接（例えば、第１のカメラ１５１と第２のカメラ１５２との間隔が１ｃｍより大きく、８ｃｍよりは小さな）するように配置され、３次元スチールイメージまたは３次元動映像を撮影することができる。
【００２８】
カメラ１５１、１５２は、レンズシステム、イメージセンサ、フラッシュなどを含むことができる。カメラ１５１、１５２は、レンズシステムを通して入力される（または撮影される）光信号を電気的なイメージ信号に変換して制御部１１０に出力し、ユーザはこのようなカメラ１５１、１５２を通して動映像またはスチールイメージを撮影することができる。
【００２９】
レンズシステムは、外部から入射された光を収斂させることによって被写体のイメージを形成する。上記レンズシステムは、少なくとも一つのレンズを含み、各レンズは、凸レンズ、非球面レンズなどであり得る。上記レンズシステムはその中心を通過する光軸（optical axis）に対して対称性を有し、上記光軸はこのような中心軸で定義される。上記イメージセンサは、レンズシステムを通して入射された外部光により形成された光学的なイメージを電気的なイメージ信号として検出する。上記イメージセンサは、Ｍ×Ｎ行列（matrix）構造で配置された複数の画素（pixel）ユニットを具備し、上記画素ユニットは、フォトダイオード及び複数のトランジスタを含むことができる。上記画素ユニットは入射された光により生成された電荷を蓄積し、蓄積された電荷による電圧は、上記入射された光の照度を示す。スチールイメージまたは動映像を構成する一つのイメージを処理する場合において、上記イメージセンサから出力されるイメージ信号は、上記画素ユニットから出力される電圧（すなわち、画素値）の集合で構成され、上記イメージ信号は一つのフレーム（すなわち、スチルイメージ）を示す。また、上記フレームは、Ｍ×Ｎ画素で構成される。上記イメージセンサとしては、ＣＣＤ（charge-coupled device）イメージセンサ、ＣＭＯＳ（complementary metal-oxide semiconductor）イメージセンサなどを使用することができる。
【００３０】
上記駆動部は、制御部１１０の制御によって上記イメージセンサを駆動する。上記駆動部は、制御部１１０から受信した制御信号によって上記イメージセンサの全体画素または全体画素の中で関心領域の画素だけを作動し、上記画素から出力されるイメージデータは、制御部１１０に出力される。
【００３１】
制御部１１０は、カメラ１５１、１５２から入力されるイメージまたは保存部１７５に保存されたイメージをフレーム（frame）単位で処理し、タッチスクリーン１９０の画面特性（サイズ、画質、解像度等）に合うように変換されたイメージフレームをタッチスクリーン１９０に出力する。
【００３２】
ＧＰＳモジュール１５５は、地球軌道上にある複数のＧＰＳ衛星（図示せず）から電波を受信し、ＧＰＳ衛星（図示せず）から携帯端末１００まで電波到達時間（Time of Arrival）を用いて携帯端末１００の位置を算出することができる。
【００３３】
入出力モジュール１６０は、複数のボタン１６１、マイク１６２、スピーカ１６３、振動モーター１６４、コネクタ１６５、及びキーパッド１６６のうち少なくとも一つを含むことができる。コネクタ１６５を除外した入出力モジュール１６０は、ユーザ入力を受信するか、ユーザに情報を知らせるための手段として使用され、入出力モジュール１６０の他の例は、これに限定されないが、マウス、トラックボール（trackball）、ジョイスティックまたはカーソル方向キーなどのようなカーソルコントロール（cursor control）が制御部１１０との情報通信及びタッチスクリーン１９０上のカーソル動作制御のために提供されることができる。
【００３４】
ボタン１６１は、携帯端末１００の前面１００ａ、側面１００ｂまたは後面１００ｃに形成されることができ、電源ボタン１６１ｄと、ボリューム増加ボタン１６１ｆ及びボリューム減少ボタン１６１ｇを有するボリュームボタン１６１ｅと、メニューボタン１６１ｂと、ホームボタン１６１ａと、戻るボタン（back button）１６１ｃと、検索ボタンのうち少なくとも一つを含むことができる。
【００３５】
マイク１６２は、制御部１１０の制御によって音声（voice）またはサウンド（sound）を受信して電気的な信号を生成する。
【００３６】
スピーカ１６３は、制御部１１０の制御によって移動通信モジュール１２０、サブ通信モジュール１３０、マルチメディアモジュール１４０またはカメラモジュール１５０の多様な信号（例えば、無線信号、放送信号、デジタルオーディオファイル、デジタル動映像ファイルまたは写真撮影等）に対応するサウンドを携帯端末１００の外部に出力することができる。スピーカ１６３は、携帯端末１００が遂行する機能に対応するサウンド（例えば、電話通話に対応するボタン操作音、または通話連結音）を出力することができる。スピーカ１６３は、携帯端末１００の適切な位置または複数の位置に一つまたは複数で形成されることができる。
【００３７】
振動モーター１６４は、制御部１１０の制御によって電気的な信号を機械的な振動に変換することができる。例えば、振動モードにある携帯端末１００は、他の装置（図示せず）から音声または画像通話が受信される場合、振動モーターが動作する。振動モーターは、携帯端末１００内に一つまたは複数で形成されることができる。振動モーターは、タッチスクリーン１９０をタッチするユーザのタッチ動作及びタッチスクリーン１９０上でのタッチの連続的な動きに応答して動作することができる。
【００３８】
コネクタ１６５は、携帯端末１００と外部装置（図示せず）、または電源ソース（図示せず）を接続するためのインターフェースとして利用されることができる。携帯端末１００は、制御部１１０の制御によってコネクタ１６５に接続した有線ケーブルを介して携帯端末１００の保存部１７５に保存されたデータを外部装置（図示せず）に伝送するか、または外部装置（図示せず）からデータを受信することができる。また携帯端末１００は、コネクタ１６５に接続した有線ケーブルを介して電源ソース（図示せず）から電源を受信するか、上記電源ソースを用いてバッテリー（図示せず）を充電することができる。
【００３９】
キーパッド１６６は、携帯端末１００の制御のためにユーザからキー入力を受信することができる。キーパッド１６６は、携帯端末１００に形成される物理的なキーパッド（図示せず）、またはタッチスクリーン１９０に表示される仮想のキーパッド（図示せず）を含む。携帯端末１００に形成される物理的なキーパッド（図示せず）は、携帯端末１００の性能または構造によって除外されることができる。
【００４０】
イヤホン接続ジャック（Earphone Connecting Jack）１６７にはイヤホン（図示せず）が挿入されて携帯端末１００に接続することができる。
【００４１】
センサモジュール１７０は、携帯端末１００の状態（位置、方位、動き等）を検出する少なくとも一つのセンサを含む。例えば、センサモジュール１７０は、ユーザの携帯端末１００に対する接近可否を検出する近接センサ、携帯端末１００周辺の光量を検出する照度センサ（図示せず）、または携帯端末１００の動作（例えば、携帯端末１００の回転、加速、減速、振動等）を検出するモーション／方位センサ、外部の圧力を測定して高度を検出する高度計（Altimeter）を含むことができる。また、モーション／方位センサは、加速度センサ、地球磁場を利用して方位（point of the compass）を検出する地磁気センサ（Geo-magnetic Sensor、図示せず）、重力の作用方向を検出する重力センサ（Gravity Sensor）、ジャイロ（gyro）センサ、衝撃センサ、ＧＰＳ、羅針盤センサ（compass sensor）、加速度センサなどを含むことができる。少なくとも一つのセンサは、状態を検出し、検出に対応する信号を生成して制御部１１０に伝送することができる。センサモジュール１７０のセンサは、携帯端末１００の性能に従って追加または削除されることができる。
【００４２】
保存部１７５は、制御部１１０の制御によって移動通信モジュール１２０、サブ通信モジュール１３０、マルチメディアモジュール１４０、カメラモジュール１５０、ＧＰＳモジュール１５５、入出力モジュール１６０、センサモジュール１７０、タッチスクリーン１９０の動作に対応するように入出力される信号またはデータを保存することができる。保存部１７５は、携帯端末１００または制御部１１０の制御のための制御プログラム及びアプリケーションを保存することができる。
【００４３】
“保存部”という用語は、保存部１７５、制御部１１０内のＲＯＭ１１２、ＲＡＭ１１３または携帯端末１００に装着されるメモリカード（図示せず）（例えば、ＳＤカード、メモリスティック）を含む。
【００４４】
保存部１７５は、ナビゲーション、画像通話、ゲームなどのような多様な機能のアプリケーションとそれと関連したグラフィカルユーザインターフェース（graphical user interface:ＧＵＩ）を提供するためのイメージ、ユーザ情報、文書、ユーザインターフェースを提供する方法と関連したデータベースまたはデータ、携帯端末１００を駆動するのに必要な背景イメージ（メニュー画面、待機画面等）またはオペレーティングプログラム、カメラにより撮影されたイメージなどを保存することができる。保存部１７５は、機械（例えば、コンピュータ）可読媒体であり、機械可読媒体という用語は、機械が特定機能を遂行できるように上記機械にデータを提供する媒体として定義されることができる。機械可読媒体は保存媒体であり得る。保存部１７５は、不揮発性媒体（non-volatile media）及び揮発性媒体を含むことができる。このような全ての媒体は、上記媒体により伝えられる命令が、上記命令を上記機械で読み込む物理的機構により検出されることができるタイプでなければならない。
【００４５】
上記機械可読媒体は、これに限定されないが、フロッピー（登録商標）ディスク（floppy disk）、フレキシブルディスク（flexible disk）、ハードディスク、磁気テープ、ＣＤ−ＲＯＭ（compact disc read-only memory）、光学ディスク、パンチカード（punch card）、ペーパーテープ（paper tape）、ＲＡＭ、ＰＲＯＭ（Programmable Read-Only Memory）、ＥＰＲＯＭ（Erasable PROM）及びフラッシュＥＰＲＯＭ（Flash-EPROM）のうち少なくとも一つを含む。
【００４６】
電源供給部１８０は、制御部１１０の制御によって携帯端末１００に配置される一つまたは複数のバッテリー（図示せず）に電源を供給することができる。一つまたは複数のバッテリー（図示せず）は、携帯端末１００に電源を供給する。また、電源供給部１８０は、コネクタ１６５と接続した有線ケーブルを介して外部の電源ソース（図示せず）から入力される電源を携帯端末１００に供給することができる。また、電源供給部１８０は、無線充電技術を通じて外部の電源ソースから無線で入力される電源を携帯端末１００に供給することができる。
【００４７】
タッチスクリーン１９０は、ユーザに多様なサービス（例えば、通話、データ伝送、放送、写真撮影）に対応するユーザインターフェースを提供することができる。タッチスクリーン１９０は、ユーザインターフェースに入力される少なくとも一つのタッチに対応するアナログ信号をタッチスクリーンコントローラ１９５に伝送することができる。タッチスクリーン１９０は、タッチ手段（例、指、スタイラスペン等）を通して少なくとも一つのタッチを受信することができる。また、タッチスクリーン１９０は、少なくとも一つのタッチの中で、一つのタッチの連続的な動きを受信することができる。タッチスクリーン１９０は、入力されるタッチの連続的な動きに対応するアナログ信号をタッチスクリーンコントローラ１９５に伝送することもできる。
【００４８】
また、携帯端末１００の下段側面には、スタイラスペン１６８が形成されることができる。スタイラスペン１６８は、携帯端末１００内部に挿入されて保管されることができ、使用時には携帯端末１００から引出し及び脱着されることができる。追加的に、スタイラスペン１６８が挿入される携帯端末１００内部の一領域には、スタイラスペン１６８の装着及び脱着に対応して動作するペン脱着スイッチ（図示せず）が設けられ、制御部１１０にスタイラスペン１６８の装着及び脱着に対応する信号を提供することができる。
【００４９】
なお、本発明でタッチはタッチスクリーン１９０とタッチ手段（指、スタイラスペン）の接触に限定されなく、非接触（例、タッチスクリーン１９０とタッチ手段との間隔が１ｃｍ以下）を含むことができる。タッチスクリーン１９０で検出閾値間隔は、携帯端末１００の性能または構造によって変更されることができ、特にタッチスクリーン１９０は、タッチ手段との接触によるタッチイベントと、非接触状態への入力（例えば、ホバリング（Hovering））イベントを区分して検出可能であるように、タッチスクリーン１９０とタッチ手段の間隔によってその出力値が変化できるように構成される。すなわち、タッチスクリーン１９０は、上記タッチイベントにより検出される値（例えば、電流値、電圧値、静電容量値等）とホバリングイベントにより検出される値を異なるように出力することができるように構成される。
【００５０】
一方、タッチスクリーンコントローラ１９５は、タッチスクリーン１９０から受信されたアナログ信号をデジタル信号（例えば、（Ｘ，Ｙ）座標及び検出値）に変換して制御部１１０に伝送する。制御部１１０は、タッチスクリーンコントローラ１９５から受信されたデジタル信号を用いてタッチスクリーン１９０を制御することができる。例えば、制御部１１０は、タッチイベントまたはホバリングイベントに応答してタッチスクリーン１９０に表示された短縮アイコンが選択されるように実行することができる。また、タッチスクリーンコントローラ１９５は、制御部１１０またはタッチスクリーン１９０に含まれることができる。
【００５１】
さらに、タッチスクリーンコントローラ１９５は、タッチスクリーン１９０から出力される値に基づいてタッチ手段とタッチスクリーン１９０との間の距離を算出することができ、算出された距離値をデジタル信号（例えば、Ｚ座標）に変換して制御部１１０に提供することができる。
【００５２】
また、タッチスクリーン１９０は、指による入力とスタイラスペンによる入力を区分して検出できるように、指による入力とスタイラスペンによる入力を各々感知することができる少なくとも二つのタッチスクリーンパネルを含むこともできる。上記少なくとも二つのタッチスクリーンパネルは、相異なる出力値をタッチスクリーンコントローラ１９５に提供し、タッチスクリーンコントローラ１９５は、上記少なくとも二つのタッチスクリーンパネルで入力される値を相異なるように認識し、タッチスクリーン１９０からの入力が指による入力であるか、スタイラスペンによる入力であるかを区分することもできる。例えば、タッチスクリーン１９０は、静電容量（capacitive）方式のタッチスクリーンパネルとＥＭＲ（Electromagnetic resonance）方式のタッチスクリーンパネルが組み合わせた構造を有することができる。
【００５３】
図２を参照すると、携帯端末１００の前面１００ａ中央にはタッチスクリーン１９０が配置される。タッチスクリーン１９０は、携帯端末１００の前面１００ａの大部分を占めるように大きく形成される。図２では、タッチスクリーン１９０にメインホーム画面が表示された例を示す。メインホーム画面は、携帯端末１００の電源をつけた時にタッチスクリーン１９０上に表示される最初の画面である。また携帯端末１００が複数のページの相異なるホーム画面を有している場合、メインホーム画面は上記複数のページのホーム画面のうち、最初のホーム画面であり得る。ホーム画面には頻繁に使われるアプリケーションを実行するための短縮アイコン１９１−１、１９１−２、１９１−３、メインメニューアイコン１９１−４、時間、天気などが表示されることができる。メインメニューアイコン１９１−４は、タッチスクリーン１９０上にメニュー画面を表示する。また、タッチスクリーン１９０の上段には、バッテリー充電状態、受信信号の強さ、現在時刻のような携帯端末１００の状態を表示する状態バー（Status Bar）１９２が形成されることもできる。
【００５４】
タッチスクリーン１９０の下には、ホームボタン１６１ａ、メニューボタン１６１ｂ、及び戻るボタン１６１ｃが形成されることができる。
【００５５】
ホームボタン１６１ａは、タッチスクリーン１９０にメインホーム画面（main Home screen）を表示する。例えば、タッチスクリーン１９０に上記メインホーム画面と他のホーム画面（any Home screen）、メニュー画面、アプリケーション画面などが表示された状態で、ホームボタン１６１ａが押されると、タッチスクリーン１９０にメインホーム画面がディスプレイされることができる。すなわち、タッチスクリーン１９０上でアプリケーションが実行されている間に、ホームボタン１６１ａがタッチされると、タッチスクリーン１９０上には図２に示されたメインホーム画面がディスプレイされることができる。またホームボタン１６１ａは、タッチスクリーン１９０上に最近（recently）使われたアプリケーションをディスプレイするようにするか、タスクマネジャー（Task Manager）をディスプレイするために使われることもできる。
【００５６】
メニューボタン１６１ｂは、タッチスクリーン１９０上で使われることができる接続メニューを提供する。上記接続メニューには、ウィジェット追加メニュー、背景画面変更メニュー、検索メニュー、編集メニュー、環境設定メニューなどが含まれることができる。
【００５７】
戻るボタン１６１ｃは、現在実行されている画面の直前に実行された画面をディスプレイするか、最も最近使われたアプリケーションを終了させることができる。
【００５８】
携帯端末１００の前面１００ａの縁には、第１のカメラ１５１と照度センサ１７０ａ及び近接センサ１７０ｂが配置されることができる。携帯端末１００の後面１００ｃには、第２のカメラ１５２、フラッシュ（flash）１５３、スピーカ１６３が配置されることができる。
【００５９】
携帯端末１００の側面１００ｂには、例えば電源ボタン１６１ｄ、ボリュームボタン１６１ｅ、放送受信のための地上波ＤＭＢアンテナ１４１ａ、一つまたは複数のマイク１６２などが配置されることができる。ＤＭＢアンテナ１４１ａは、携帯端末１００に固定されるか、着脱可能に形成されることもできる。
【００６０】
また、携帯端末１００の下段側面にはコネクタ１６５が形成される。コネクタ１６５には、複数の電極が形成されており、外部装置と有線で接続することができる。携帯端末１００の上段側面には、イヤホン接続ジャック１６７が形成されることができる。イヤホン接続ジャック１６７には、イヤホンが挿入されることができる。
【００６１】
なお、上述した本発明の一実施形態による携帯端末１００に設けられた制御部１１０は、特に本発明の一実施形態によるユーザインターフェース提供方法を遂行することができるように構成される。
【００６２】
図４は、本発明の一実施形態によるユーザインターフェース提供方法を説明するためのフローチャートである。
【００６３】
上記方法は、ステップ４１０〜ステップ４５０を含む。
【００６４】
ステップ４１０は、アプリケーションを実行するステップであり、ユーザはタッチスクリーン１９０、入出力モジュール１６０またはカメラモジュール１５０を通してボタン、アイコンまたはメニュー項目の選択、音声命令、ジェスチャまたはモーション入力、タッチパターンの入力などを遂行することによって、所望のアプリケーションを実行する。このようなアプリケーションは、ユーザ入力を受信する任意のアプリケーションであることができ、例えば、音声認識アプリケーション、スケジュール管理アプリケーション、文書作成アプリケーション、音楽アプリケーション、インターネットアプリケーション、地図アプリケーション、カメラアプリケーション、電子メールアプリケーション、イメージ編集アプリケーション、検索アプリケーション、ファイル探索アプリケーション、ビデオアプリケーション、ゲームアプリケーション、ＳＮＳアプリケーション、電話アプリケーション、メッセージアプリケーションなどであり得る。
【００６５】
ステップ４２０は、筆記入力モードに転換するステップであり、アプリケーションが実行中である状態でユーザがモード転換要請をすれば、制御部１１０は、モード転換要請によってアプリケーション実行モードから筆記入力モードに転換して動作する。
【００６６】
このようなモード転換要請は、ユーザがタッチスクリーン１９０の表面上でタッチ手段を用いて予め設定された時間の間、または予め設定されたパターンでホバリング動作をする場合、アプリケーションやオペレーティングシステムが提供する筆記入力ボタンまたは、筆記入力メニュー項目を選択する場合、予め設定されたタッチパターンを入力する場合などに発生することができる。ホバリングパターンやタッチパターンは、例えば、タッチ手段が円形、三角形、四角形などの予め設定されたパターンの軌跡を描く場合をいう。
【００６７】
このような筆記入力モードは、アイコン、テキストなどのような指示子、ボタン、または機能別ボタンを有するツールバー、別途の筆記入力画面またはウィンドウを通してユーザに表示されることができる。筆記入力モードは、別途の筆記入力画面の表示無しでアプリケーション画面がそのままディスプレイされる形態、別途の筆記入力画面が表示される形態で実行されることができる。
【００６８】
図５は、ホバリング動作を説明するための図である。
【００６９】
図示したように、ユーザは、携帯端末１００のタッチスクリーン１９０の表面上にスタイラスペン１６８を検出閾値間隔以内で維持することによってホバリング動作を遂行する。
【００７０】
ステップ４３０は、ユーザ筆記データを受信するステップであり、筆記入力モードでユーザはタッチ手段を用いてタッチスクリーン１９０に所望の内容の筆記データを入力する。この時、上記筆記データは、アプリケーションウィンドウにオーバラップされる（すなわち、重なる）方式で表示される。このような筆記データは、制御部１１０が認識してデジタルテキストデータに変換可能な形態（例えば、文字列）であるか、すなわちイメージ−テキスト変換が可能な形態であるか、イメージ−テキスト変換が不可能な形態（例えば、ドローイング）であり得る。
【００７１】
一方、制御部１１０は、実行中であるアプリケーションが変換されたデータを処理できるかを確認し、入力データの処理が不可能であるか、必要ない場合に、制御部は変換されたデータをアプリケーションに入力せずに保存することもできる。また、筆記データが入力された画面自体をキャプチャーして保存することもできる。
【００７２】
ステップ４４０は、変換されたデータをアプリケーションに入力するステップであり、制御部１１０は、ユーザが入力した筆記データを予め設定されたフォーマットに変換し、変換されたデータを上記実行中であるアプリケーションに入力する。制御部１１０は、ユーザが入力した筆記データを認識し、上記筆記データがイメージ−テキスト変換が可能な形態である場合に上記筆記データを予め設定されたフォーマットのテキストデータに変換し、上記筆記データがイメージ−テキスト変換が可能な形態でない場合には、上記筆記データを予め設定されたフォーマットのイメージデータに変換する。上記イメージデータは、ビットマップデータ、座標列で表現されるストロークデータなどであり得る。
【００７３】
ステップ４５０は、入力データを処理するステップであり、実行中であるアプリケーションは、入力データに従うプログラム動作を遂行する。このような入力データは、アプリケーション画面の入力ウィンドウに表示された後、ユーザが別途のボタンまたはメニュー項目を選択することによって後続処理されることができる。
【００７４】
例えば、音声認識アプリケーションは、入力データを外部サーバに伝送し、上記外部サーバから受信した応答結果をユーザに提供することができる。スケジュール管理アプリケーション、文書作成アプリケーション、電子メールアプリケーションまたはメッセージアプリケーションは、入力データを文書（ファイル、メッセージ、電子メール等）に挿入することができる。音楽アプリケーション、インターネットアプリケーション、カメラアプリケーション、イメージ編集アプリケーション、検索アプリケーション、ファイル探索アプリケーション、ビデオアプリケーションまたは電話アプリケーションは、入力データが指示する動作を遂行し、動作遂行の結果をユーザに提供することができる。
【００７５】
図６は、本発明の望ましい実施形態による音声認識アプリケーションでのユーザインターフェース提供方法を説明するためのフローチャートである。
【００７６】
上記方法は、ステップ６１０〜ステップ６８０を含む。
【００７７】
ステップ６１０は、音声認識アプリケーションを実行するステップであり、ユーザは、タッチスクリーン１９０、入出力モジュール１６０またはカメラモジュール１５０を通してボタン、アイコンまたはメニュー項目の選択、音声命令、ジェスチャまたはモーション入力、タッチパターンの入力などを遂行することによって、音声認識アプリケーションを実行する。
【００７８】
例えば、ユーザは、ホームボタン１６１ａをダブルクリックすることによって音声認識アプリケーションを実行することができる。以下、音声認識アプリケーションがプログラム動作の主体として例示されているが、プログラム動作は制御部１１０が遂行するものとして記述されることができる。
【００７９】
図７は、音声認識アプリケーションの初期画面を示す図である。
【００８０】
音声認識アプリケーションは、初期駆動されると、“どんな作業を実行しましょうか？”、または“What would you like to do?”という使用案内表現をアプリケーションウィンドウ７１０ａに表示する。
【００８１】
アプリケーションウィンドウ７１０ａの下部には、クリックした場合に使用方法を音声で案内する音声案内ボタン７２０と、クリックした場合に音声認識モードを実行する音声認識ボタン７３０と、クリックした場合に使用方法の例を表示するヘルプボタン７４０が提供される。
【００８２】
ステップ６２０は、ホバリングを感知するステップであり、制御部１１０は、ユーザがタッチスクリーン１９０の表面上でスタイラスペン１６８を用いてホバリング動作をするか否かを判断する。すなわち、ユーザはタッチスクリーン１９０の表面上にスタイラスペン１６８を検出閾値間隔以内で維持することによってホバリング動作を遂行し、制御部１１０は、タッチスクリーン１９０の検出値に基づいてホバリングイベントを感知する。ホバリングイベントが感知された場合にステップ６３０ステップに進行し、ホバリングイベントが感知されない場合にステップ６２０ステップを反復する。
【００８３】
ステップ６３０は、モード転換条件が満足するか否か、すなわちモード転換要請を確認するステップであり、制御部１１０は、ホバリングイベントが座標移動無しで予め設定された時間の間に持続されるか否かを判断する。この時の座標移動は、初期ホバリングイベントが発生した初期座標に基づいて予め設定されたサイズの領域から外れるか否かによってその移動可否が判断されることもできる。本例とは異なり、制御部１１０は、ホバリングイベントが座標移動可否と関係無しで予め設定された時間の間に持続されるか否かだけを判断することもできる。モード転換条件を満足する場合にステップ６４０に進行し、モード転換条件が満足しない場合にステップ６２０に復帰する。このようなモード転換条件は、筆記入力ボタンのクリックをさらに含むこともできる。
【００８４】
ホバリングイベントが座標移動無しで予め設定された時間の間に持続することは、予め設定されたホバリングパターンの一例に該当する。
【００８５】
図８は、筆記入力ボタンの一例を示す図である。ホバリングイベントが予め設定された時間の間に持続した場合に、アプリケーションウィンドウ７１０ｂには、筆記入力モードを示すペン先もようの指示子を有する筆記入力ボタン８１０が表示される。
【００８６】
ステップ６４０は、筆記入力モードに転換するステップであり、制御部１１０は、モード転換要請によってアプリケーション実行モードから筆記入力モードに転換して動作する。筆記入力モードでユーザはスタイラスペン１６８を用いてタッチスクリーン１９０に所望の内容の筆記データを入力する。このような筆記入力モードは、アイコン、テキストなどのような指示子、ボタン、または機能別ボタンを有するツールバー、別途の筆記入力画面またはウィンドウを通してユーザに表示されることができる。
【００８７】
図９は、筆記入力モード表示方法の一例を示す図である。筆記入力モードへの転換によって、アプリケーションウィンドウ７１０ｃには、筆記入力モードを示すペン先もようの指示子９１０が表示される。このような指示子９１０は、イメージ、テキスト、またはこれらの組み合わせであり得る。
【００８８】
図１０は、筆記入力モード表示方法の他の例を示す図である。筆記入力モードへの転換によって、アプリケーションウィンドウ７１０ｄの上またはその上部には、筆記入力ツールバー１０１０が表示され、ツールバー１０１０は、ペン道具使用及びペン設定（ペン種類、厚さ、色相などの設定）のための第１のメニュー項目１０１１、消しゴム使用及び消しゴムサイズ設定のための第２のメニュー項目１０１２、実行取消のための第３のメニュー項目１０１３、再実行のための第４のメニュー項目１０１４、筆記入力モードの取り消しのための第５のメニュー項目１０１５、そして筆記入力データの保存のための第６のメニュー項目１０１６を含む。
【００８９】
図１１は、筆記入力データの一例を示す図である。ユーザはスタイラスペン１６８を用いてタッチスクリーン１９０の画面に所望の内容、本例では“weather in Seoul”または“ソウルの天気”という内容の筆記データ１１１０を入力する。本例では、アプリケーションウィンドウ７１０ｅがタッチスクリーンの画面の大部分を占めているので、ユーザはアプリケーションウィンドウ７１０ｅに筆記データ１１１０を入力するものとして例示されている。
【００９０】
ステップ６５０は、筆記入力モードの終了要請またはアプリケーション実行モードへの転換要請を確認するステップであり、ユーザは、検出閾値間隔以上でスタイラスペン１６８をタッチスクリーン１９０から予め設定された時間の間に離隔することによって筆記入力モードを終了することができる。本例とは異なり、ユーザは、図１０に示したような既に選択されているペン道具使用及びペン設定のための第１のメニュー項目１０１１を選択解除することによって、筆記入力モードを終了することもできる。
【００９１】
ステップ６６０は、アプリケーション実行モードに転換するステップであり、制御部１１０は、検出閾値間隔以上でスタイラスペン１６８がタッチスクリーン１９０から離隔された状態（すなわち、タッチアップ状態）が予め設定された時間の間に持続した場合に、筆記入力モードを終了し、アプリケーション実行モードに転換する。
【００９２】
ステップ６７０は、筆記データを認識及び変換するステップであり、制御部１１０は、ユーザが入力した筆記データ１１１０を認識し、筆記データ１１１０をイメージ−テキスト変換することによって、予め設定されたフォーマットのテキストデータに変換する。
【００９３】
ステップ６８０は、変換されたテキストデータを処理するステップであり、実行中であるアプリケーションは、変換されたテキストデータに従うプログラム動作を遂行する。
【００９４】
図１２は、変換されたテキストデータを処理する方法の一例を示す図である。アプリケーションはアプリケーションウィンドウ７１０ｆに変換されたテキストデータ１２１０を表示し、変換されたテキストデータ１２１０を検索語としてソウルの天気を検索し、検索結果１２２０をアプリケーションウィンドウ７１０ｆに表示する。この時、アプリケーションは変換されたテキストデータ１２１０と携帯端末１００の現在位置（例えば、西橋洞(Seogyo-Dong)）を検索語としてソウルの天気を検索することもできる。
【００９５】
上記音声認識アプリケーションは、変換されたテキストデータ１２１０をさらに音声データに変換し、上記変換された音声データを音声認識サーバに伝送し、上記音声認識サーバから受信した応答結果をユーザに提供することもできる。
【００９６】
上述したように、上記音声認識アプリケーションなどのような本発明の任意のアプリケーションは、筆記データ、テキストデータまたは音声データをサーバに伝送し、サーバから受信した応答結果をユーザに提供することができる。サーバは、筆記データまたは音声データを携帯端末１００から受信した場合に、筆記−テキスト変換または音声−テキスト変換を遂行することができる。
【００９７】
例えば、本発明のアプリケーション、例えば、インターネットアプリケーションは、ユーザ認証を要求するサーバに接続した後、ユーザの筆記データをサーバに伝送することができる。サーバは、ユーザの登録された筆記体と受信した筆記データの筆記体を確認した後、ユーザの認証が成功した場合に、口座照会ウェブページ、口座振替ウェブページのようなセキュリティ接続ウェブページをユーザに提供することができる。
【００９８】
本発明をこのようなセキュリティ関連環境に適用する場合において、本発明は、ユーザの音声だけでなく筆記体の確認を要求する認証システムに適用されることもでき、さらに、セキュリティサーバに提供するテキストにおいて音声−テキスト変換情報と筆記−テキスト変換情報を共に提供することによって、セキュリティ性をより一層強化することができる。
【００９９】
一方、上述した例で、筆記入力モードへの転換がホバリング動作を伴うことと例示しているが、このようなホバリング動作を遂行することなく、筆記入力メニュー項目またはボタンのクリックだけで筆記入力モードに転換することもできる。
【０１００】
例えば、図８に示された筆記入力ボタン８１０または図１０に示されたツールバー１０１０は、アプリケーション実行に伴って自動で固定表示されるか、予め設定されたタッチパターンを入力する場合、アプリケーションやオペレーティングシステムが提供するメニュー（例えば、ホーム画面またはメニュー画面）を通して提供することもできる。
【０１０１】
図１３乃至図１５は、本発明の他の実施形態によるメッセージアプリケーションでのユーザインターフェース提供方法を説明するための図である。
【０１０２】
図１３は、メッセージアプリケーションの画面を示す図である。
【０１０３】
ユーザがアプリケーションウィンドウ１３１０ａの“李三星(Lee, Sam-Sung)”から受信したメッセージ１３２０上で予め設定されたホバリングパターンを入力した場合に、制御部１１０は、モード転換要請によってアプリケーション実行モードから筆記入力モードに転換して動作する。
【０１０４】
図１４は、筆記入力データの一例を示す図である。ユーザは、スタイラスペン１６８を用いてタッチスクリーン１９０の画面に所望の内容、本例では“洪吉童(Hong, Gil-Dong)です。”という内容の筆記データ１４１０を入力する。本例では、アプリケーションウィンドウ１３１０ｂがタッチスクリーン１９０の画面の大部分を占めているので、ユーザはアプリケーションウィンドウ１３１０ｂに筆記データ１４１０を入力することとして例示されている。制御部は、ユーザが入力した筆記データ１４１０を認識し、筆記データ１４１０をイメージ−テキスト変換することによって、予め設定されたフォーマットのテキストデータに変換する。
【０１０５】
図１５は、変換されたテキストデータを処理する方法の一例を示す図である。メッセージアプリケーションは、アプリケーションウィンドウ１５１０内の入力ウィンドウ１５２０に変換されたテキストデータを挿入及び表示する。メッセージアプリケーションは、変換されたテキストデータが挿入されたメッセージを“李三星(Lee, Sam-Sung)”から受信したメッセージに対する応答メッセージとして自動で伝送することもできる。
【０１０６】
図１６乃至図１８は、本発明の他の実施形態によるギャラリーアプリケーションでのユーザインターフェース提供方法を説明するための図である。
【０１０７】
図１６は、ギャラリーアプリケーションの画面を示す図である。
【０１０８】
ユーザがアプリケーションウィンドウ１６１０ａ内に選択した写真イメージ１６２０ａ上で予め設定されたホバリングパターンを入力した場合に、制御部１１０は、モード転換要請によってアプリケーション実行モードから筆記入力モードに転換して動作する。
【０１０９】
図１７は、筆記入力データの一例を示す図である。ユーザはスタイラスペン１６８を用いてタッチスクリーン１９０の画面に所望の内容、本例では“洪吉童(Hong, Gil-Dong)へ…”という内容の筆記データ１７１０を入力する。本例ではアプリケーションウィンドウ１６１０ｂがタッチスクリーン１９０の画面の大部分を占めているので、ユーザはアプリケーションウィンドウ１６１０ｂに筆記データ１７１０を入力することとして例示されている。制御部１１０は、ユーザが入力した筆記データ１７１０を認識し、筆記データ１７１０をイメージ−テキスト変換することによって、予め設定されたフォーマットのテキストデータに変換する。
【０１１０】
図１８は、変換されたテキストデータを処理する方法の一例を示す図である。ギャラリーアプリケーションは、原本写真イメージ１６２０ａに変換されたテキストデータをオーバレイして保存し、保存された写真イメージ１６２０ｂをアプリケーションウィンドウ１６１０ｃに表示する。
【０１１１】
図６と関連して説明したユーザインターフェース提供方法では、単純に“weather in Seoul”という内容の筆記データ１１１０を入力し、このような入力された筆記データを処理する場合を例示している。本発明は、筆記データと音声データの組み合わせ入力を処理することもできる。
【０１１２】
図１９及び図２０は、本発明の変更された実施形態による音声認識アプリケーションでのユーザインターフェース提供方法を説明するための図である。
【０１１３】
図１９を参照すると、ユーザは、アプリケーション実行モードまたは音声認識モードで、音声で“weather in”を入力した後、ユーザは、筆記入力モードでスタイラスペン１６８を用いてアプリケーションウィンドウ７５０ａに“Seoul”という内容の筆記データ１１１０ａを入力することができる。また、ユーザが音声入力した内容の把握を容易にするために、アプリケーションウィンドウ７５０ａに音声入力した内容１１１０ｂがテキストに変換され表示されることもできる。
【０１１４】
図２０を参照すると、ユーザは、筆記入力モードでスタイラスペン１６８を用いてアプリケーションウィンドウ７５０ｂに“weather in”という内容の筆記データ１１１０ｃを入力した後、ユーザは、アプリケーション実行モードまたは音声認識モードで音声で“Seoul”を入力することができる。
【０１１５】
このような筆記データと音声データの組み合わせ入力のために、制御部１１０は、筆記データまたは音声データの入力後、予め設定された閾値時間が超過するかを確認し、このような閾値時間以内にモード転換が遂行されると、残りのデータの入力を待機することもできる。
【０１１６】
このような筆記データと音声データの組み合わせ入力を受信した場合、制御部１１０は、音声データ及び筆記データを変換無しでサーバに伝送するか、音声データ及び筆記データをテキストデータに変換してサーバに伝送するか、筆記データを第２の音声データに変換して上記音声データと共にサーバに伝送することができる。また、制御部１１０は、音声データ及び筆記データのうちの一つは変換し、音声データ及び筆記データのうちの残りは変換しなく、このような変換データ及び非変換データの組み合わせをサーバに伝送することもできる。
【０１１７】
例えば、図１２に示したように、上記音声認識アプリケーションは、上記サーバから受信した応答結果をユーザに提供することができる。
【０１１８】
本発明は、ユーザが端末機能実行の中、追加構成要素（Ｈ／Ｗキー、ソフトウェアボタン）なくてペンのホバリング機能だけで筆記入力モードに転換して筆記入力が可能である。また、本発明では、ユーザにより入力されたストロークデータが筆記認識を通して自動でテキスト変換されテキスト入力ウィンドウに挿入及び実行されることによって、従来の筆記入力の５ステップ手続きを経ないで早い文字伝送及び検索実行などが可能である。
【０１１９】
上記した本発明による実施形態は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実現することができる。このような任意のソフトウェアは、例えば、削除可能、又は再記録可能の可否に関係なく、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）のような揮発性又は不揮発性格納装置、あるいはＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、磁気ディスク、又は磁気テープのような光学あるいは磁気的に記録可能であると同時に機械読み取り可能な記録媒体に格納され得る。携帯端末内に含まれるメモリは、本発明の実施形態を実現する指示を含むプログラム又はプログラムを記録するのに適合した機械で読み取り可能な記録媒体の一例であることがわかる。したがって、本発明は、本明細書の任意の請求項に記載された装置又は方法を実現するためのコードを含むプログラム及びこのようなプログラムを記録する機械（コンピュータなど）で読み取る格納媒体を含む。また、このようなプログラムは、有線又は無線接続を通じて伝達される通信信号のような任意の媒体を通じて電子的に移送でき、本発明は、これと均等なものを適切に含む。
【０１２０】
また、該当携帯端末は、有線または無線で接続するプログラム提供装置から該当プログラムを受信して格納することができる。該当プログラム提供装置は、該当携帯端末が予め設定されたユーザインターフェース提供方法を遂行するようにする指示を含むプログラム、ユーザインターフェース提供方法に必要な情報などを格納するためのメモリと、該当携帯端末との有線または無線通信を遂行するための通信部と、該当携帯端末の要請または自動で該当プログラムを該当携帯端末に伝送する制御部と、を含むことができる。
【０１２１】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【符号の説明】
【０１２２】
１００  携帯端末
１１０  制御部
１１２  ＲＯＭ
１１３  ＲＡＭ
１２０  移動通信モジュール
１３０  サブ通信モジュール
１３１  無線ＬＡＮモジュール
１３２  近距離通信モジュール
１４０  マルチメディアモジュール
１４１  放送通信モジュール
１４２  オーディオ再生モジュール
１４３  動映像再生モジュール
１５０  カメラモジュール
１５１  第１のカメラ
１５２  第２のカメラ
１５３  フラッシュ
１５５  ＧＰＳモジュール
１６０  入出力モジュール
１６１  ボタン
１６２  マイク
１６３  スピーカ
１６４  振動モーター
１６５  コネクタ
１６６  キーパッド
１６７  イヤホン接続ジャック
１６８  スタイラスペン
１７０  センサモジュール
１７５  保存部
１８０  電源供給部
１９０  タッチスクリーン
【図１】
2014044725.tif 000003
【図２】
2014044725.tif 000004
【図３】
2014044725.tif 000005
【図４】
2014044725.tif 000006
【図５】
2014044725.tif 000007
【図６】
2014044725.tif 000008
【図７】
2014044725.tif 000009
【図８】
2014044725.tif 000010
【図９】
2014044725.tif 000011
【図１０】
2014044725.tif 000012
【図１１】
2014044725.tif 000013
【図１２】
2014044725.tif 000014
【図１３】
2014044725.tif 000015
【図１４】
2014044725.tif 000016
【図１５】
2014044725.tif 000017
【図１６】
2014044725.tif 000018
【図１７】
2014044725.tif 000019
【図１８】
2014044725.tif 000020
【図１９】
2014044725.tif 000021
【図２０】
2014044725.tif 000022