(57)【要約】  本発明は、ユーザー端末で手書きと音声両方ともをサポートするハイブリッドユーザーインターフェース（ＵＩ）装置及びそれをサポートする方法を提供する。その装置は、画面に表示されたメモのコンテンツのうち一部又は全部がユーザーにより選択される場合、選択されたコンテンツを処理するメニューアイコンを表示し、表示したメニューアイコンのうちいずれか一つがユーザーにより選択される場合、選択されたメニューアイコンに対応する機能により選択されるコンテンツを処理するように構成される。
2015530658.tif 000002
【特許請求の範囲】
【請求項１】
ユーザー端末におけるユーザーインターフェース（ＵＩ）方法であって、
画面に表示されたメモのコンテンツのうち一部又は全部がユーザーにより選択される場合、前記選択されたコンテンツを処理するメニューアイコンを表示するステップと、
前記表示されたメニューアイコンのうちいずれか一つが前記ユーザーにより選択される場合、前記選択されたメニューアイコンに対応する機能により前記選択されたコンテンツを処理するステップと、
を有することを特徴とする方法。
【請求項２】
前記メニューアイコンは、メモに基づいて機能を実行するメニューアイコンと、前記ユーザーから受信した音声コマンドにより機能を実行するメニューアイコンのうち少なくとも一つを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記メニューアイコンは、メール伝送、通話、検索、及びメッセージ伝送のうち選択された少なくとも一つの機能を実行するメニューアイコンと、ユーザーから受信した音声コマンドにより機能を実行するメニューアイコンを含む請求項１に記載の方法。
【請求項４】
前記メニューアイコンは、前記選択されたコンテンツの周辺に表示されることを特徴とする請求項１に記載の方法。
【請求項５】
前記処理するステップは、メモベースの自然言語認識機能と音声認識機能のうちいずれか一つにより、ユーザーとの問答手順で前記選択されたコンテンツを処理することを特徴とする請求項４に記載の方法。
【請求項６】
前記画面に表示されたメモは、メモ階層の構成であることを特徴とする請求項１に記載の方法。
【請求項７】
前記メモ階層は、メニューボタンの押し、特定ジェスチャの入力、タッチペンのボタンが押さえた状態、又は指で画面の上下スクローリングによりランチされることを特徴とする請求項６に記載の方法。
【請求項８】
ユーザー端末におけるユーザーインターフェース（ＵＩ）装置であって、
画面に表示されたメモのコンテンツのうち一部又は全部がユーザーにより選択される場合、前記選択されたコンテンツを処理するメニューアイコンを表示し、
前記表示したメニューアイコンのうちいずれか一つが前記ユーザーにより選択される場合、前記選択されたメニューアイコンに対応する機能により前記選択されるコンテンツを処理するように構成されることを特徴とする装置。
【請求項９】
前記メニューアイコンは、メモに基づいて機能を実行するメニューアイコンと、前記ユーザーから受信した音声コマンドにより機能を実行するメニューアイコンのうち少なくとも一つを含むことを特徴とする請求項８に記載の装置。
【請求項１０】
前記メニューアイコンは、メール伝送、通話、検索、メッセージ伝送のうち選択された少なくとも一つの機能を実行するメニューアイコンと、前記ユーザーから受信した音声コマンドにより機能を実行するメニューアイコンを含むことを特徴とする請求項８に記載の装置。
【請求項１１】
前記メニューアイコンは、前記選択されたコンテンツの周辺に表示されることを特徴とする請求項８に記載の装置。
【請求項１２】
前記選択されたコンテンツは、メモベースの自然言語認識機能と音声認識機能のうちいずれか一つによりユーザーとの問答手順で処理されることを特徴とする請求項８に記載の装置。
【請求項１３】
前記画面に表示されたメモは、メモ階層の構成要素であることを特徴とする請求項８に記載の装置。
【請求項１４】
前記メモ階層は、メニューボタンの押し、特定ジェスチャの入力、タッチペンのボタンが押さえた状態、又は指で画面の上下スクローリングによりランチされることを特徴とする請求項１３に記載の装置。
【請求項１５】
請求項１に記載の方法を遂行するためのコンピュータプロセスを実行するために、少なくとも一つのプロセッサを指示する少なくとも一つのプロセッサにより読み取り可能なように構成される指示のコンピュータプログラムを格納することを特徴とする少なくとも一つの持続的プロセッサ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はユーザー端末のユーザーインターフェース装置及びそれをサポートする方法に関するもので、特にユーザー端末における手書き及び音声（ｓｐｅｅｃｈ）両方ともをサポートするハイブリッドのユーザーインターフェース装置及びそれをサポートする方法に関する。
【背景技術】
【０００２】
近年、携帯用電子機器が増加するに従って、直感的な入出力が可能なユーザーインターフェース（以下、‘ＵＩ’と称する）に対するユーザー要求が増加している。例えば、キーボード、キーパッド、マウスのような付加的装置を用いて情報が入力される従来のＵＩ方式は、指又はタッチ用電子ペンで画面を直接にタッチし、あるいは音声により情報を入力する直感的ＵＩ方式に徐々に進化している。
【０００３】
ＵＩ技術は、増加されたユーザーの便宜だけでなく、直感的かつ人間中心の開発がなされている。このＵＩ技術で、ユーザーは音声で携帯用電子機器と対話し、これを通じて所望する情報を入力し、あるいは所望の情報を獲得することができる。
【０００４】
一般的に、共通の携帯用電子機器、例えばスマートフォンには多様なアプリケーションが設置され、この設置したアプリケーションを通じて新たな機能が使用可能である。
【０００５】
しかしながら、スマートフォンに設置されたアプリケーションは一般的に単独で実行され、多様なアプリケーション間の連動を通じて新たな機能又は結果が提供されない。
【０００６】
例えば、ユーザー端末がスケジューラアプリケーションで直感的ＵＩをサポートしても、ユーザーは、このスケジュールアプリケーションによりサポートされるＵＩのみを用いて情報を入力できる。
【０００７】
さらに、タッチスクリーンによってメモ機能がサポートされるユーザー端末の場合、ユーザーは、指又は電子ペンのような入力手段を用いて簡単にメモを取るが、メモの内容を他のアプリケーションに関連して活用する特定方法は存在しない。
【０００８】
そのため、ユーザー端末が多様な直感的ＵＩをサポートしても、ユーザーが、他のアプリケーションから直感的なＵＩを容易に選択して使用することができる特定の方法がなかった。
【０００９】
したがって、手書き及び音声の両方ともをサポートするユーザー端末のハイブリッドユーザーインターフェースのための方法及び装置が要求される。
【００１０】
上記情報は、本発明の理解を助けるために背景情報のみとして開示される。これらが本発明に対して従来技術として適用できるか否かに関しては何の決定及び断言も下されていない。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
したがって、本発明は上記のような従来技術の問題点に鑑みてなされたもので、その目的は、ユーザー端末で手書きベースのユーザーインターフェースを用いてユーザーとの情報を交換する装置及び方法を提供することにある。
【００１２】
本発明の他の目的は、ユーザー端末で手書きベースのメモ機能を用いて所定のコマンドを実行するためのＵＩ装置及びそれをサポートする方法を提供することにある。
【００１３】
また、本発明の他の目的は、ユーザー端末で手書きベースのメモ機能を用いて問答を交換するＵＩ装置及びそれをサポートする方法を提供することにある。
【００１４】
さらに、本発明の他の目的は、ユーザー端末で手書きと音声によりユーザーとの問答手順を遂行するＵＩ装置及びそれをサポートする方法を提供することにある。
【００１５】
さらなる本発明の目的は、ユーザー端末で画面上に表示されたメモの選択される全部又は一部を処理するためにコマンドをメモ機能を用いて受信するＵＩ装置及び方法を提供することにある。
【００１６】
また、本発明の他の目的は、電子ペンを通じてメモ機能をサポートするユーザー端末でメモモードとコマンド処理モードとの切り替えをサポートするＵＩ装置及び方法を提供することにある。
【００１７】
さらに、本発明の他の目的は、ユーザー端末で所定のアプリケーションが駆動されている状態で駆動されるアプリケーション又は他のアプリケーションを制御するためにコマンドを入力することが可能なＵＩ装置及び方法を提供することにある。
【００１８】
なお、本発明の他の目的は、ユーザー端末でユーザーのメモパターンを分析し、分析したメモパターンを考慮してメモ機能により入力される情報を判定するＵＩ装置及び方法を提供することにある。
【００１９】
本発明のもう一つの目的は、複数の直感的ＵＩを提供するユーザー端末で、ユーザーがメモ内容を選択する場合に、ユーザーにより選択されたメモ内容を処理するためのメニューアイコンを画面に表示するＵＩ装置及び方法を提供することにある。
【００２０】
また、本発明の他の目的は、ユーザー端末でユーザーにより選択されたメモ内容をメモベースのＵＩと音声ベースのＵＩを選択的に使用できるようにサポートするＵＩ装置及び方法を提供することにある。
【課題を解決するための手段】
【００２１】
上記のような目的を達成するために、本発明の一態様によれば、ユーザー端末におけるユーザーインターフェース（ＵＩ）方法が提供される。その方法は、画面に表示されたメモのコンテンツのうち一部又は全部がユーザーにより選択される場合、選択されたコンテンツを処理するメニューアイコンを表示するステップと、表示されたメニューアイコンのうちいずれか一つが前記ユーザーにより選択される場合、選択されたメニューアイコンに対応する機能により選択されたコンテンツを処理するステップとを有する。
【００２２】
本発明の他の態様によれば、ユーザー端末におけるユーザーインターフェース（ＵＩ）装置が提供される。その装置は、画面に表示されたメモのコンテンツのうち一部又は全部がユーザーにより選択される場合、選択されたコンテンツを処理するメニューアイコンを表示し、表示したメニューアイコンのうちいずれか一つがユーザーにより選択される場合、選択されたメニューアイコンに対応する機能により選択されるコンテンツを処理するように構成される。
【発明の効果】
【００２３】
本発明は、ユーザー端末で電子ペンでメモ機能と音声認識機能の使用を活性化することができる。また、ユーザーに直感的なインターフェースが提供されるため、ユーザーは、拒否感なしにユーザー端末によりサポートされる機能を使用することができる。
【００２４】
本発明の他の態様、利点、及び顕著な特徴は、下記の詳細な説明から当業者には公知であり、その詳細な説明は、添付の図面とともに本発明の実施形態で開示する
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態による手書きベースのＮＬＩ（Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｉｎｔｅｒａｃｔｉｏｎ）をサポートするユーザー端末の概略的構成を示すブロック図である。
【図２】本発明の実施形態によるユーザー端末で手書きベースのＮＬＩ技術をサポートするコマンド処理部の詳細な構成を示すブロック図である。
【図３】本発明の実施形態によるユーザー端末で手書きベースのＮＬＩ技術を使用するユーザーインターフェースをサポートする制御動作を説明するためのフローチャートである。
【図４】本発明の一実施形態により、メモ機能を用いて特定アプリケーション又は特定機能による動作を要請する一例を示す図である。
【図５】本発明の実施形態のためのユーザーの実際メモパターンの一例を示す図である。
【図６】本発明の一実施形態により、一つのシンボルが多様な意味として解析される一例を示す図である。
【図７】本発明の一実施形態により、テキストとシンボルが結合された入力情報をシンボルに基づいて異なる意味として解析する一例を示す図である。
【図８】本発明の実施形態による記号学（ｓｅｍｉｏｔｉｃｓ）でサイン及びシンボルが活用される一例を示す図である。
【図９】本発明の実施形態により、機械／電気／コンピュータ工学及び化学分野でサイン及びシンボルが活用される例を示す図である。
【図１０】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１１Ａ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１１Ｂ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１２Ａ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１２Ｂ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１３Ａ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１３Ｂ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１４Ａ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１４Ｂ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１４Ｃ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１５】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１６Ａ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１６Ｂ】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１７】本発明の実施形態によるＵＩ技術の動作シナリオを示す図である。
【図１８】本発明の一実施形態により、特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオを説明するための図である。
【図１９】本発明の一実施形態により、特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオを説明するための図である。
【図２０】本発明の一実施形態により、特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオを説明するための図である。
【図２１】本発明の一実施形態により、特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオを説明するための図である。
【図２２】本発明の一実施形態により、特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオを説明するための図である。
【図２３】本発明の一実施形態により、特定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを呼び出して駆動されたアプリケーションを実行させるシナリオを説明するための図である。
【図２４】本発明の一実施形態による記号学に関連したシナリオを説明するための図である。
【図２５】本発明の一実施形態による記号学に関連したシナリオを説明するための図である。
【図２６】本発明の実施形態により、ユーザー端末でハイブリッド技術を用いるＵＩ（ハイブリッドＵＩ）をサポートする制御動作を示すフローチャートである。
【図２７】本発明の実施形態によるユーザー端末でハイブリッドＵＩを処理する一例を示す図である。
【図２８】本発明の実施形態によるユーザー端末でハイブリッドＵＩを処理する他の例を示す図である。
【図２９】本発明の一実施形態により、ユーザー端末でメモベースのコマンド実行に対応する選択されたメニューアイコンを処理する一例を示す図である。
【図３０】本発明の一実施形態により、ユーザー端末で音声コマンド実行に対応する選択されたメニューアイコンを処理する一例を示す図である。
【図３１Ａ】本発明の実施形態によるユーザー端末でハイブリッドＵＩサポートするシナリオを示す図である。
【図３１Ｂ】本発明の実施形態によるユーザー端末でハイブリッドＵＩサポートするシナリオを示す図である。
【発明を実施するための形態】
【００２６】
添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供するものであり、この理解を助けるための様々な特定の詳細を含むが、唯一つの実施形態に過ぎない。従って、本発明の範囲及び精神を逸脱することなく、ここに説明する実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
【００２７】
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。
【００２８】
本願明細書に記載の各要素は、文脈中に特に明示しない限り、複数形を含むことは、当業者には理解できるものである。したがって、例えば、“コンポーネント表面（ａ  ｃｏｍｐｏｎｅｎｔ  ｓｕｒｆａｃｅ）”との記載は、１つ又は複数の表面を含む。
【００２９】
本発明の技術的課題を達成するために、本発明の代表的な実施形態が提示される。定義している同一の名称は、同一のエンティティに対して使用することができる。しかしながら、この名称は、本発明の範囲に限定されるものでなく、説明の便宜のために使われた名称らが本発明にともなう権利を限定するのではなくて、類似した技術的背景を有するシステムに同一又は容易な変更により適用が可能である。
【００３０】
後述する本発明の実施形態では、ユーザー端末にＮＬＩ（Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｉｎｔｅｒａｃｔｉｏｎ）として手書きベースのＵＩ技術（以下、‘手書きベースのＮＬＩ’と称する）を適用して、ユーザー端末でメモ機能によりユーザーとの問答手順を可能にする。
【００３１】
一般的に、ＮＬＩは理解と生成を含む。これら理解と生成機能で、コンピュータは、入力を理解し、人間に容易な理解が可能なようにテキストを表示する。したがって、ＮＬＩが、人間と電子機器との間で自然言語で対話可能にする一つのアプリケーションと言える。
【００３２】
実施形態では、ユーザー端末は、ＮＬＩを通じてユーザーから受信されるコマンドを遂行するか、あるいは入力コマンドを遂行するために必要な情報を問答手順でユーザーから取得する。
【００３３】
しかしながら、本発明における問答手順は、必ずしもメモ機能に基づくものではない。すなわち、本発明の問答手順は、ユーザーとユーザー端末との間の問答がメモ機能のみに基づいて遂行されることに限定されるものではない。
【００３４】
実施形態では、ユーザー端末は音声で質問し、ユーザーは手書き又は音声により質問に応答し、あるいはその反対の場合も可能である。また、ユーザーは音声で質問をし、ユーザー端末は手書きで質問に応答し、あるいはその反対の場合も可能である。
【００３５】
実施形態において、ユーザー端末は、手書き及び音声によりユーザーに質問し、あるいはユーザーの質問に音声及び手書きにより応答することができる。
【００３６】
音声及び手書きによるユーザーとユーザー端末との間の情報入出力は、‘ハイブリッドＮＬＩ’と称する。
【００３７】
上記のように、ユーザーとユーザー端末との間の問答手順のために使用される直感的ＵＩは、ユーザー端末でユーザーにより設定及び変更できる。次の説明では、主に手書きベースの問答手順のコンテキストに与えられる。しかしながら、本発明が手書きベースの問答手順に限定されるものではないことに留意する。
【００３８】
手書きベースのＮＬＩをユーザー端末に適用するために、本発明の手書きベースのＮＬＩを通じて、メモモードとコマンド処理モードとの間の切り替えが有機的に遂行されることが好ましい。メモモードでは、ユーザー端末は駆動されたアプリケーションにより表示される画面上で指又は電子ペンのような入力手段でメモを書き込む。一方、コマンド処理モードでは、メモモードで受信されたメモは、現在駆動されているアプリケーションに関連した情報と連動して処理される。
【００３９】
実施形態において、切り替えは、電子ペンのボタンを押さえて、すなわちハードウェア的な信号の発生により、メモモードとコマンド処理モードとの間で発生する。
【００４０】
次の説明では電子ペンをメモ機能をサポートするための代表的な入力手段として説明するが、本発明では入力手段として電子ペンを使用するユーザー端末に限定されるものではない。言い換えれば、本発明の実施形態において、タッチパネルで情報の入力が可能な任意の手段が入力手段として使用できることは明らかである。
【００４１】
実施形態では、手書きベースのＮＬＩを用いてユーザー端末がユーザーとの問答により所望の情報を受信し、これを処理した結果をユーザーに提供するためには事前に合意した情報が共有される。実施形態では、動作モードの切り替えを要請するために、シンボル、パターン、テキスト、これらの組み合わせのうち少なくとも一つが使用されることを約束し、あるいはジェスチャはジェスチャ認識機能によって使用されることを約束し得る。実施形態において、メモモードからコマンド処理モードへの切り替え又はコマンド処理モードからメモモードへの切り替えが要求される。
【００４２】
シンボル、パターン、テキスト、又はこれらの組み合わせに対応する入力情報を合意する場合に、ユーザーのメモパターンを分析し、分析した結果を考慮して、ユーザーの所望する情報を直感的に入力できる便利さを提供する。
【００４３】
本発明の他の説明では、アプリケーションが駆動されている状態で手書きベースのＮＬＩに基づいたメモ機能を通じて制御され、その結果を出力する多様なシナリオについて詳細に説明する。
【００４４】
実施形態において、メモコンテンツの全部又は一部を選択して所定のコマンドにより処理するシナリオ、特定アプリケーションの画面にメモ機能により特定情報を入力するシナリオ、手書きベースのＮＬＩを用いて問答手順で特定コマンドを処理するシナリオについて具体的に説明する。
【００４５】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合に、その詳細な説明を省略する。
【００４６】
図１は、本発明の実施形態による手書きベースのＮＬＩをサポートするユーザー端末の概略的構成を示すブロック図である。図１では、本発明の実施形態による手書きベースのＮＬＩをサポートするためにユーザー端末の構成要素が要求されるが、この構成要素は、他の機能を遂行するためにユーザー端末に追加できることは明らかである。また、図１に示す各構成要素は、ハードウェア機能ブロックだけでなくソフトウェア機能ブロックの形態で構成することが可能である。
【００４７】
図１を参照すると、ユーザーの要求時に、アプリケーション実行部１１０は、ユーザーの要請によりネットワーク又は外部インターフェースを介して受信されるアプリケーションをメモリ（図示せず）と連動して設置する。アプリケーション実行部１１０は、ユーザーの要求又は外部コマンドの受信により設置されたアプリケーションの内のいずれか一つ（又は一つ以上）を駆動させ、駆動されたアプリケーションを外部のコマンドに従って制御する。外部コマンドは、該当アプリケーションが駆動することによって内部で発生するコマンド以外の外部から入力される大部分のコマンドを含む。
【００４８】
実施形態では、外部コマンドは、ネットワークを介して入力される情報によるコマンドだけでなく手書きベースのＮＬＩを用いてユーザーにより入力される情報によるコマンドであり得る。すなわち、外部コマンドは、手書きベースのＮＬＩを通じてユーザーにより入力される情報によるコマンドに限定されず、本発明がこれに限定されるものではないことに留意すべきである。
【００４９】
アプリケーション実行部１１０は、特定アプリケーションの設置又は駆動による結果を手書きベースのＮＬＩを通じてユーザーに提供する。実施形態では、アプリケーション実行部１１０は、タッチパネル部１３０のディスプレイ手段を通じて特定アプリケーションの設置又は駆動による結果を出力する。
【００５０】
タッチパネル部１３０は、手書きベースのＮＬＩにより情報の入出力を処理する。このタッチパネル部１３０は、ディスプレイ機能及び入力機能を遂行する。このディスプレイ機能は、画面に情報を表示するための機能を一般的に意味し、入力機能は、ユーザーから情報を受信する機能を包括的に意味する。
【００５１】
実施形態では、ユーザー端末は、ディスプレイ機能と入力機能のために別途の構成を具備できる。実施形態では、ユーザー端末は、ジェスチャを感知するためにカメラをさらに含むことができる。
【００５２】
次の説明において、タッチパネル部１３０は、ディスプレイ機能と入力機能を区分せずに、ディスプレイ機能及び入力機能ともを遂行することがわかる。
【００５３】
タッチパネル部１３０は、ユーザーから受信された所定の情報又はコマンドを認識し、認識した情報又はコマンドをアプリケーション実行部１１０及び／又はコマンド処理部１２０に提供する。
【００５４】
この情報は、ユーザーにより作成されたメモに関する情報又は手書きベースのＮＬＩによる問答手順の応答に関する情報であり得る。実施形態において、この情報は、現在画面上に表示されるメモのコンテンツのうち全部又は一部を選択するための情報であり得る。
【００５５】
このコマンドは、特定アプリケーションの設置を要請するコマンド又は既に設置されたアプリケーションのうち特定アプリケーションの駆動を要請するコマンドであり得る。実施形態では、このコマンドは、選択されたアプリケーションによりサポートされる特定動作、機能の実行を要請するコマンドであり得る。
【００５６】
この情報又はコマンドは、テキスト以外にもライン、シンボル、パターン、又はそれらの組み合わせの形態で入力できる。このようなライン、シンボル、パターンは、合意（ａｇｒｅｅｍｅｎｔ）又は学習（ｌｅａｒｎｉｎｇ）により予め設定することができる。
【００５７】
タッチパネル部１３０は、アプリケーション実行部１１０により、特定アプリケーションの駆動、又は駆動されたアプリケーションの特定機能の遂行による結果を画面に表示する。
【００５８】
また、タッチパネル部１３０は、問答手順による質問又は結果を画面に表示する。実施形態では、ユーザーが特定コマンドを入力する場合、タッチパネル部１３０は、コマンド処理部１２０から受信された特定コマンドの処理結果又は特定コマンドを処理するために追加に必要な情報を取得するための質問を表示する。ユーザーから表示した質問に応答して追加情報を受信する場合、タッチパネル部１３０は、受信された追加情報をコマンド処理部１２０に提供する。
【００５９】
その後、タッチパネル部１３０は、コマンド処理部１２０の要請により他の情報を取得するように追加質問を表示し、あるいは受信した追加情報を反映した特定コマンドの処理結果を表示する。
【００６０】
コマンド処理部１２０は、ユーザーにより入力されたテキスト、シンボル、図形、パターンなどをタッチパネル部１３０から受信し、これらテキスト、シンボル、図形、パターンによりユーザーが入力を識別する。
【００６１】
実施形態では、コマンド処理部１２０は、受信されたテキスト、シンボル、図形、パターンに対する自然言語処理を通じてユーザーの意図による入力を認識することができる。自然言語処理のために、コマンド処理部１２０は、手書きベースのＮＬＩ技術を採用する。ユーザーの意図による入力は、特定アプリケーションの駆動又は現在駆動アプリケーションでの特定機能の遂行を要求するコマンド、あるいは質問に対する応答を含む。
【００６２】
コマンド処理部１２０がユーザーの意図による入力が所定動作を要求するコマンドであると判定する場合、コマンド処理部１２０は、判定されるコマンドを処理する。実施形態において、コマンド処理部１２０は、処理されたコマンドにより、アプリケーション実行部１１０に特定アプリケーションを駆動させ、現在駆動中であるアプリケーションの特定機能を実行するように命令する。この場合、コマンド処理部１２０は、アプリケーション実行部１１０から処理された結果を受信してタッチパネル部１３０に提供する。
【００６３】
アプリケーション実行部１１０は、コマンド処理部１２０を通ることなく、処理結果をタッチパネル部１３０に直接提供することができる。
【００６４】
判定されたコマンドを処理するのに追加情報が必要である場合、コマンド処理部１２０は、追加情報を得るための質問を生成してタッチパネル部１３０に提供する。その後、コマンド処理部１２０は、質問に対する応答をタッチパネル部１３０から受信することができる。
【００６５】
コマンド処理部１２０は、判定されたコマンドを処理するために十分な情報を取得するまでタッチパネル部１３０を通じてユーザーとの問答交換、すなわち対話を持続することができる。すなわち、コマンド処理部１２０は、タッチパネル部１３０を通じて問答手順を反復する。
【００６６】
上記した動作を遂行するために、コマンド処理部１２０は、タッチパネル部１３０との相互作用（ｉｎｔｅｒｗｏｒｋｉｎｇ）により手書きベースのＮＬＩを採用する。すなわち、コマンド処理部１２０は、手書きをベースの自然言語インターフェース及びメモ機能により、ユーザーと電子機器との間の問答、すなわち対話を可能にする。ユーザー端末は、対話で、ユーザーのコマンドを処理し、あるいはその処理結果をユーザーに提供する。
【００６７】
図２は、本発明の実施形態によるユーザー端末において、手書きベースのＮＬＩをサポートするコマンド処理部の詳細な構成を示すブロック図である。
【００６８】
図２を参照すると、手書きベースのＮＬＩをサポートするコマンド処理部１２０は、認識エンジン２１０とＮＬＩエンジン２２０を含む。
【００６９】
認識エンジン２１０は、認識管理モジュール２１２、遠隔認識クライアントモジュール（ｒｅｍｏｔｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｃｌｉｅｎｔ  ｍｏｄｕｌｅ）２１４、及びローカル認識モジュール２１６を含む。ローカル認識モジュール２１６は、手書き認識ブロック２１５−１、光文字認識ブロック２１５−２、及びオブジェクト認識ブロック２１５−３を含む。
【００７０】
ＮＬＩエンジン２２０は、対話（ｄｉａｌｏｇ）モジュール２２２と知能モジュール２２４を含む。対話モジュール２２２は、対話フローを制御するための対話管理ブロック及びユーザーの意図を把握するための自然言語理解（Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ：ＮＬＵ）ブロックを含む。知能モジュール２２４は、ユーザーの選好度を反映するためのユーザーモデリングブロック、常識を反映するための常識推論ブロック、及びユーザーコンテキストを反映するためのコンテンツ管理ブロックを含む。
【００７１】
認識エンジン２１０は、電子ペンのような入力手段に対応する描画エンジン（ｄｒａｗｉｎｇ  ｅｎｇｉｎｅ）とカメラのような知能入力（ｉｎｔｅｌｌｉｇｅｎｔ）プラットフォームから情報を受信する。認識エンジン２１０で受信した情報は、テキスト、ライン、シンボル、パターン、又はこれら組み合わせの形態を取る。
【００７２】
認識エンジン２１０は、情報として受信した文字、ライン、シンボル、パターン、図形、これらの組み合わせから現在表示されたメモのうちユーザーにより選択された領域に含まれたメモコンテンツ、又はユーザーにより認識したコマンドを認識する。この認識エンジン２１０は、上記の動作で得られた認識結果を出力する。
【００７３】
実施形態において、認識エンジン２１０は、入力情報認識結果を出力するために全般的な制御を提供する認識管理モジュール２１２、遠隔認識クライアントモジュール２１４、及び入力情報を認知するためのローカル認識モジュール２１６を含む。ローカル認識モジュール２１６は、手書きした入力情報を認知する手書き認識ブロック２１５−１、入力された光信号から情報を認知する光文字認識ブロック２１５−２、及び入力ジェスチャから情報を認知するオブジェクト認識ブロック２１５−３を少なくとも含む。
【００７４】
手書き認識ブロック、光文字認識ブロック、及びオブジェクト認識ブロックから出力される認識結果は、ＮＬＩエンジン２２０に提供される。
【００７５】
ＮＬＩエンジン２２０は、認識エンジン２１０から受信された認識結果を処理してユーザーの意図を判定する。すなわち、ＮＬＩエンジン２２０は、認識エンジン２１０から受信された認知結果からユーザーが意図した入力情報を判定する。特に、ＮＬＩエンジン２２０は、手書きベースのＮＬＩに基づいてユーザーとの問答を交換して十分な情報を収集し、収集した情報に基づいてユーザーの意図を判定する。
【００７６】
この動作のために、ＮＬＩエンジン２２０の対話モジュール２２２は、ユーザーとの対話のための質問を生成し、その質問をユーザーに提供することによって、ユーザーからの応答を受信する対話フローを制御する。対話モジュール２２２は、問答を通じて取得した情報を管理する（すなわち、対話管理ブロック）。また、対話モジュール２２２は、管理される情報を考慮し、初期に受信したコマンドに対する自然言語処理を遂行してユーザーの意図を理解する（すなわち、ＮＬＵブロック）。
【００７７】
ＮＬＩエンジン２２０の知能モジュール２２４は、自然言語処理を通じてユーザーの意図を理解するために参照される情報を生成し、これを対話モジュール２２２に提供する。実施形態では、知能モジュール２２４は、メモ時にユーザーの習慣などを分析してユーザーの選好傾向を反映する情報をモデリングし（すなわち、ユーザーモデリングブロック）、常識を反映する情報を誘導し（すなわち、常識推論ブロック）、あるいは現在のユーザーの状況を示す情報を管理する（すなわち、コンテキスト管理ブロック）。
【００７８】
したがって、ＮＬＩエンジン２２０の対話モジュール２２２は、知能モジュール２２４から受信された情報の助けでユーザーとの問答手順による対話フローを制御できる。
【００７９】
図３は、本発明の実施形態によるユーザー端末で手書きベースのＮＬＩ技術を用いるＵＩをサポートする制御動作を説明するためのフローチャートである。
【００８０】
図３を参照すると、ユーザー端末は、ステップ３１０で、特定アプリケーションを駆動し、駆動したアプリケーションの機能を提供する。特定アプリケーションは、ユーザー端末に設置されたアプリケーションのうちユーザーにより駆動が要請されるアプリケーションである。
【００８１】
実施形態において、ユーザーは、特定アプリケーションをユーザー端末のメモ機能により駆動させ得る。すなわち、ユーザー端末は、ユーザーの要請により画面にメモ階層をランチする。その後、特定アプリケーションのＩＤ情報と実行コマンドに対応する情報が受信されると、ユーザー端末は、特定アプリケーションを検索して駆動する。このような方法は、ユーザー端末に設置された多くのアプリケーションのうち所望のアプリケーションの速い実行に有用である。
【００８２】
特定アプリケーションの識別情報は、例えばアプリケーションの名称であり得る。実行コマンドに対応する情報は、アプリケーションの駆動をコマンドに予め設定された図形、シンボル、パターン、テキストであり得る。
【００８３】
ステップ３１０で、アプリケーションが活性化された場合、ステップ３１２で、ユーザーが手書きした情報を入力するか否かを判定する。その後、アプリケーションは、ステップ３１４で入力情報を認識し、ステップ３１６で認識した入力情報の結果に対する自然言語処理を遂行する。ステップ３１８で、ユーザーの意図が理解されると判定される場合、ユーザーの意図による対応動作又は出力応答は、ステップ３２２で発生する。そうでない場合には、アプリケーションは、ステップ３２０で、問答手順により追加情報を獲得する。
【００８４】
図４は、メモ機能により特定アプリケーションまたは特定機能に基づいた動作を要請する一例を示す。
【００８５】
図４を参照すると、メモ機能により書き込まれたメモの一部は、ライン、閉ループ、又は図形を用いて選択され、選択されたメモコンテンツは他のアプリケーションを用いて処理される。実施形態では、メモコンテンツ“ＧＡＬＡＸＹ  ＮＯＴＥプレミアムスイート”がラインを用いて選択され、コマンドは、テキスト送信アプリケーションを用いて選択されたメモコンテンツを送信するように発行される。
【００８６】
ユーザーにより入力されたアプリケーションと一致するアプリケーションがユーザー端末に存在しない場合、類似したアプリケーションの候補セットは、ユーザーに提供することができ、ユーザーは、候補アプリケーションから意図するアプリケーションを選択することができる。
【００８７】
他の実施形態では、ユーザー端末によりサポートされる機能は、メモ機能により実行され得る。このために、ユーザー端末は、ユーザー端末はユーザーの要請によりメモ階層を呼び出し、ユーザーにより入力される情報に従って設置されたアプリケーションに対して検索する。
【００８８】
例えば、検索キーワードは、ユーザー端末に設置されたアプリケーションの中から特定アプリケーションを検索するために、メモ機能に対して再生されたメモ画面に入力される。その後、ユーザー端末は、入力されたキーワードによりアプリケーションに対する検索を遂行する。すなわち、ユーザーがメモ機能により画面に“車ゲーム”を記載する場合、ユーザー端末は、設置されたアプリケーションのうち‘車ゲーム’に関連したアプリケーションを検索し、その画面に検索結果を提供する。
【００８９】
他の実施形態では、ユーザーは、メモ機能により画面に設置時期、例えば２０１１年２月を入力する。その後、ユーザー端末は、２０１１年２月に設置されたアプリケーションに対して検索する。すなわち、ユーザーがメモ機能により画面に‘２０１１年２月’を手書きする場合、ユーザー端末は、設置されたアプリケーションのうち‘２０１１年２月’に設置されたアプリケーションを検索し、その検索結果を画面に提供する。
【００９０】
上述したように、ユーザーのメモにより特定アプリケーションを駆動又は検索することは、ユーザー端末に多くのアプリケーションが設置される場合に有用である。
【００９１】
実施形態において、アプリケーションをより効率的に検索するために、設置されたアプリケーションは、インデックスを作成することが望ましい。インデックス付きのアプリケーションは、特性、フィールド、機能のようなカテゴリにより分類することができる。
【００９２】
ユーザーから特定キー又は特定ジェスチャの入力を受信すると、メモ階層は、特定アプリケーションを検索するために、インデックス情報を活性化し、あるいは入力するようにアプリケーションの認識情報をユーザーが入力するように起動することができる。
【００９３】
上記した方式で駆動又は検索される特定アプリケーションは、メモアプリケーション、スケジューラアプリケーション、マップアプリケーション、音楽アプリケーション、及び地下鉄アプリケーションを含む。
【００９４】
再び図３を参照すると、特定アプリケーションが駆動されると、ユーザー端末は、ステップ３１２で、手書き情報の入力をモニタリングする。この入力情報は、テキスト、ライン、シンボル、パターン、及びそれらの組み合わせの形態で入力できる。その上、ユーザー端末は、ステップ３１２で、現在画面に手書きしたメモの一部又は全部を選択する情報の入力をモニタリングすることができる。
【００９５】
メモの全部又は一部が選択される場合、ユーザー端末は、ステップＳ３１２で、選択されたメモコンテンツを処理するために、コマンドに対応する情報の追加入力をモニタリングする。
【００９６】
ユーザー端末は、手書きベースの情報入力が感知されると、ステップＳ３１４で、感知した入力情報を認識するための動作を遂行する。実施形態では、一部又は全部選択されたメモコンテンツのテキスト情報を、認識したり、あるいはテキスト以外にライン、シンボル、パターン、及びそれらの組み合わせの形態で入力される情報を認識したりする。図２に示した認識エンジン２１０は、入力情報の認識を担当する。
【００９７】
ユーザー端末が感知した入力情報を認識すると、ユーザー端末は、ステップ３１６で、認識したテキスト情報のコンテンツを理解するために、認識したテキスト情報に対する自然言語処理を遂行する。ＮＬＩエンジン２２０は、認識したテキスト情報に対する自然言語処理を遂行する。
【００９８】
入力情報がテキストとシンボルの組み合わせであると判定される場合、ユーザー端末は、自然言語処理と一緒にシンボルを処理する。
【００９９】
シンボル処理において、ユーザー端末は、ユーザーの実際メモパターンを分析し、メモパターンの分析によりユーザーがよく使用するメインシンボルを検出する。その後、ユーザー端末は、検出したメインシンボルを用いてユーザー意図を分析し、その分析結果に基づいてメインシンボルの意味を判定する。
【０１００】
メインシンボル別にユーザーが意図する意味は、データベース化し、以後に入力されるシンボルに対する解析時に使用される。すなわち、具備されているデータベースは、シンボル処理に使用される。
【０１０１】
図５は、本発明の実施形態によるユーザーの実際メモパターンを示す。
【０１０２】
図５を参照すると、メモパターンは、ユーザーがシンボル“→”、“（）”、“＿”、“−”、“＋”、及び“？”をよく使用することを示す。例えば、シンボル“→”は、追加説明又は段落の区分に使用され、シンボル“（）”は、“（）”内のコンテンツが用語の定義又は記述であることを示す。
【０１０３】
同一のシンボルは、異なる意味で解析され得る。例えば、シンボル“→”は、‘時間経過’、‘因果関係’、‘位置’、‘属性間の関係説明’、‘クラスタリングのための基準点’、‘変更’を意味することもできる。
【０１０４】
図６は、本発明の実施形態により、一つのシンボルが多様な意味として解析される一例を示す。
【０１０５】
図６を参照すると、シンボル“→”は、「時間経過」、「因果関係」、「位置」を意味するために使用できる。
【０１０６】
図７は、本発明の実施形態より、テキストとシンボルの組み合わせを含む入力情報がシンボルに基づいて異なる意味として解析される一例を示す。
【０１０７】
図７を参照すると、ユーザー入力情報‘Ｓｅｏｕｌ→Ｂｕｓａｎ’は、‘Ｓｅｏｕｌからｂｕｓａｎまで’の意味だけでなく‘ＳｅｏｕｌをＢｕｓａｎに変更’という意味としても解析され得る。
【０１０８】
複数の意味で解析可能なシンボルは、追加情報又は前後情報との関係を考慮して解析され得る。しかしながら、この解析は、ユーザーの意図を正確に把握できない原因となり得る。
【０１０９】
このような問題点を解消するために、シンボル認識／理解に対する広範囲の研究及び努力が要求される。実施形態では、シンボル認識と理解との関係は、一般教養学分野の記号学（ｓｅｍｉｏｔｉｃｓ）で研究が進行されており、この研究は、広告、文学、映画、交通信号などで活用される。記号学は、広い意味で、サイン及びシンボルの機能、分析、解析、意味、及び表現、及び通信に関連した多様なシステムに関する理論及び研究である。
【０１１０】
また、サイン及びシンボルは、エンジニアリング科学の観点でも研究されている。実施形態では、研究は、機械／電気／コンピュータエンジニアリング分野でフローチャート及び設計図のシンボル認識に対して進行されている。この研究は、スケッチ（すなわち、手書き図）認知に使用される。さらに、複雑な化学構造公式のシンボルの認識は、関連研究が化学分野で研究され、この研究は、手書き化学図認識（ｈａｎｄ−ｄｒａｗｎ  ｃｈｅｍｉｃａｌ  ｄｉａｇｒａｍ  ｒｅｃｏｇｎｉｔｉｏｎ）に使用される。
【０１１１】
図８は、本発明の実施形態による記号学でサイン及びシンボルを活用する例示図である。
【０１１２】
図９は、機械／電気／コンピュータエンジニアリング及び化学分野でサイン及びシンボルが使用される例示図である。
【０１１３】
図３を参照すると、ユーザー端末は、認識結果に対する自然言語処理によりユーザー入力の情報によるコンテンツを理解した後に、ステップ３１８で、認識したコンテンツに基づいてユーザーが入力情報を入力した意図を把握する。
【０１１４】
ユーザー端末は、入力情報に関するユーザーの意図を判定する場合、ステップＳ３２２で、ユーザーの意図に対応する動作を遂行し、あるいはユーザーの意図に対応する応答を出力する。ユーザー端末は、ユーザーの意図に対応する動作を遂行した後、その動作結果をユーザーに出力することができる。
【０１１５】
一方、ユーザー端末が入力情報に関するユーザーの意図を把握できない場合、ユーザー端末は、ステップ３２０で、ユーザーとの問答手順を通じて、ユーザーの意図を把握するための追加情報を取得する。このために、ユーザー端末は、ユーザーに問うための質問を生成してユーザーに提供する。ユーザー端末は、ユーザーが質問の応答で追加情報を入力する場合、ステップ３１８で、自然言語処理により理解したコンテンツに新たな入力情報を追加に考慮してユーザーの意図を再把握する。
【０１１６】
図示していないが、ユーザー端末は、新たな入力情報を理解するためにステップ３１４及び３１６を追加して遂行することができる。
【０１１７】
ユーザー端末は、ユーザーの意図を正確に把握するまで、ステップＳ３２０で、ユーザーとの問答交換、すなわちユーザーとの対話を通じてユーザーの意図を決定するために要求される大部分の情報を取得する。
【０１１８】
ユーザー端末が上記した問答手順にユーザーの意図を判定すると、ユーザー端末は、ステップＳ３２２で、ユーザーの意図に対応する動作の結果を出力し、あるいはユーザーにユーザーの意図に対応する応答結果を出力する。
【０１１９】
ユーザー端末のＵＩ装置の構成及びＵＩ装置の手書きベースのＮＬＩによるＵＩ方法は、多様なシナリオを仮定することができる。
【０１２０】
図１０、図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ，図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、図１４Ｃ、図１５、図１６Ａ、図１６Ｂ、及び図１７は、本発明の実施形態によるＵＩ記述の動作シナリオを説明する。
【０１２１】
図１０、図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ，図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、図１４Ｃ、図１５、図１６Ａ、図１６Ｂ、及び図１７を参照すると、これら図は、他のアプリケーションを起動してメモ機能をサポートするアプリケーションでユーザーが入力したメモを処理する例を示す。
【０１２２】
図１０を参照すると、ユーザー端末でメモ機能を用いるメールによりメモの一部を送信するシナリオが示される。
【０１２３】
図１０において、ユーザーは、メモ機能によりユーザー端末の画面にメモを書き込み、そのメモのうち一部をライン、シンボル、閉ループを用いて選択する。実施形態では、全体メモの一部領域は、閉ループを用いて選択され、それによって閉ループ内に存在する領域内のメモのコンテンツを選択することができる。
【０１２４】
その後、ユーザーは、予め設定された又は直感的に認知可能なシンボルとテキストを用いて選択したコンテンツの処理を要請するコマンドを入力する。実施形態では、ユーザーは、選択した領域を矢印で示し、任意の人（例えば、ＨＷＡ  ＫＹＯＮＧ−ＫＩＭシニア）を示すテキストを手書きする。
【０１２５】
この情報を受信すると、ユーザー端末は、選択した領域のメモコンテンツを‘ＨＷＡ  ＫＹＯＮＧ−ＫＩＭシニア’に送信しようとするユーザーの意図を把握する。その後、ユーザー端末は、設置されたアプリケーションの中から選択されたメモコンテンツの伝送が可能な推薦アプリケーションを抽出し、抽出した推薦アプリケーションを画面に表示することにより、ユーザーは、推薦アプリケーションの選択又は駆動を要求することができる。
【０１２６】
ユーザー端末は、ユーザーが推薦アプリケーションのうちいずれか一つを選択する場合、選択されたアプリケーションを起動し、このアプリケーションにより選択したメモコンテンツを‘ＨＷＡ  ＫＹＯＮＧ−ＫＩＭシニア’に送信する。
【０１２７】
ユーザー端末は、受信側に関する情報が事前に登録されていない場合、ユーザーに‘ＨＷＡ  ＫＹＯＮＧ−ＫＩＭシニア’のメールアドレスを問い合わせる。この場合、ユーザー端末は、選択したメモコンテンツをユーザーからメールアドレスの受信に応答して送信することができる。
【０１２８】
ユーザー端末は、ユーザーの意図を処理した後に、その結果を画面上に表示することによって、ユーザーは、自身の意図に適切な処理がなされたことを確認することができる。実施形態では、ユーザー端末は、メール伝送の完了を示すメッセージを表示しつつ、メール送信の内訳をリストに格納するか否かを尋ねる。ユーザーがリストに送信メールの内訳を格納するように要請する場合、ユーザー端末は、送信メールの内訳をリストに登録する。
【０１２９】
上記したシナリオは、ユーザー端末がアプリケーション間の移動なしに、会議などを進行する過程でなされた手書きメモのコンテンツを当事者に伝送し、メッセージを伝送し、あるいは相互作用を通じて伝送されたメールの内訳を格納することでスループット向上を助けることができる。
【０１３０】
図１１Ａ及び図１１Ｂは、ユーザー端末がメモ機能による全体メモを送信するシナリオを示す。
【０１３１】
図１１Ａを参照すると、ユーザーは、メモ機能により画面にメモを手書きする（すなわち、書き込みメモ）。その後、ユーザーは、全体メモをライン、シンボル、閉ループを用いて選択する（すなわち、トリガリング）。実施形態では、ユーザーは、全体メモの周囲に閉ループを引く場合、閉ループ内のメモの全体コンテンツが選択されることを認識することができる。
【０１３２】
ユーザーは、予め設定された又は直感的に認識可能なテキスト、例えば‘テキスト送信’を手書きすることによって、選択したコンテンツに対するテキスト送信を要求する（すなわち、書き込みコマンド）。
【０１３３】
図１１Ｂを参照すると、ユーザーが入力した情報に基づいてＵＩを構成するＮＬＩエンジンは、ユーザーが選択された領域のコンテンツをテキストで送信しようとすることを認識する。その後、これを認識したＮＬＩエンジンは、テキスト送信のための情報が不足すると判断してユーザーとの問答手順を通じて必要な情報をさらに取得する。実施形態では、ＮＬＩエンジンは、テキストを送信する対象が誰であるか、例えば‘誰に？’との質問をユーザーに提供する。
【０１３４】
これに応答して、ユーザーがメモ機能を用いてテキストを受信する対象に関する情報を入力する。この情報は、受信者の名前又は電話番号は、受信者に関する情報として直接入力することができる。図１１Ｂでは、‘ＨＷＡ  ＫＹＯＮＧ−ＫＩＭ’及び‘ＪＵ  ＹＵＮ−ＢＡＥ’は、受信者情報として入力される。
【０１３５】
ＮＬＩエンジンは、入力された名前住所録にユーザーにより直接に入力された名前‘ＨＷＡ  ＫＹＯＮＧ−ＫＩＭ’及び‘ＪＵ  ＹＵＮ−ＢＡＥ’に対応する電話番号を検出し、電話番号を受信対象として選択したメモコンテンツを有するテキストを送信する。選択したメモコンテンツがイメージである場合、ユーザー端末は、イメージをテキストに変換して認識可能な形態にする手順を追加して遂行する。
【０１３６】
テキスト送信を完了すると、ＮＬＩエンジンは、処理結果を示す通知、例えばメッセージ‘テキスト送信完了’を表示する。したがって、ユーザーは、その処理が意図によって適切に完了することを確認する。
【０１３７】
図１２Ａ及び図１２Ｂは、ユーザー端末でメモ機能によりメモの一部に対する意味を検索するシナリオを示す。
【０１３８】
図１２Ａを参照すると、ユーザーは、メモ機能により画面に手書きする（すなわち、書き込みメモ）。その後、ユーザーは、ライン、シンボル、閉ループなどを用いてメモの一部を選択する（すなわち、‘トリガリング）。実施形態では、ユーザーは、単語周囲に閉ループを描いてメモの一部領域に記載された一つの単語を選択する。
【０１３９】
ユーザーは、所定の又は直感的に認知可能なシンボル、例えば‘？’を記載することによって選択した単語の意味を要求する（すなわち、書き込みコマンド）。
【０１４０】
図１２Ｂを参照すると、ユーザーにより入力された情報に基づいたＵＩを構成するＮＬＩエンジンは、選択された単語の意味を探すために使用するエンジンをユーザに尋ねる。このために、ＮＬＩエンジンは、ユーザーとの問答手順を使用する。実施形態では、ＮＬＩエンジンは、画面上に‘どの検索エンジン？’を表示してユーザーが検索エンジンを選択する情報を入力するように誘導する。
【０１４１】
ユーザーは、メモ機能により応答として‘ｗｉｋｉｐｅｄｉａ’を入力する。したがって、ＮＬＩエンジンは、ユーザーの入力により検索エンジンとして‘ｗｉｋｉｐｅｄｉａ’を使用しようとするユーザーの意図を認識する。ＮＬＩエンジンは、‘ｗｉｋｉｐｅｄｉａ’を用いて選択した‘ＭＬＳ’の意味を確認し、その結果を表示する。したがって、ユーザーは、画面上に表示された情報から‘ＭＬＳ’の意味を認識するようになる。
【０１４２】
図１３Ａ及び図１３Ｂは、ユーザー端末でメモ機能により他のアプリケーションの情報として記載されたメモの一部を登録するシナリオを示す。
【０１４３】
図１３Ａを参照すると、ユーザーは、メモ機能によりユーザー端末の画面に中国旅行のために準備する事項をＴｏＤｏリストに記載する（すなわち、書き込みメモ）。その後、ユーザーは、ライン、シンボル、閉ループを用いてメモの一部を選択する（すなわち、トリガリング）。実施形態では、ユーザーは、テキスト周囲に閉ループを引いてメモの一部のうち‘航空券の残りの料金を支払い’を選択する。
【０１４４】
ユーザーは、所定の又は直感的に認識可能なテキスト、例えば‘ＴｏＤｏリストに登録’に手書きすることによって選択したメモコンテンツの登録を要請する（すなわち、書き込みコマンド）。
【０１４５】
図１３Ｂを参照すると、ユーザーが入力した情報に基づいたＵＩを構成するＮＬＩエンジンは、選択された領域コンテンツに対応するタスクに対するスケジューリングを要請することがユーザーの意図であることを認識する。その後、ＮＬＩエンジンは、スケジューリングのための情報が不足すると判定し、ユーザーとの問答手順を通じて必要な情報をさらに取得する。実施形態では、ＮＬＩエンジンは、該当スケジュールを問い合わせる質問、例えば‘期日を入力’との質問によりユーザーに情報を入力するようにする。
【０１４６】
ユーザーは、応答としてメモ機能を用いて該当日程を処理する日付として‘５月２日’を入力する。したがって、ＮＬＩエンジンは、選択したコンテンツを５月２日まで処理する業務として格納する。
【０１４７】
ユーザーの要請を処理した後に、ＮＬＩエンジンは、処理結果、例えばメッセージ‘保存’を表示する。したがって、ユーザーは、自身の意図のように適切なプロセスが遂行されることを認識するようになる。
【０１４８】
図１４Ａは、ユーザー端末でメモ機能により記録されたメモをロック機能を用いて格納するシナリオを示す。図１４Ｂは、ロック機能により格納されているメモを読み取るシナリオを示す。図１４Ｃは、ロック機能により格納されているメモの中から一つのメモを選択するシナリオを示す。
【０１４９】
図１４Ａを参照すると、ユーザーは、メモ機能により大阪旅行中にユーザーの経験を写真とメモを用いてユーザー端末の画面に手書きする（すなわち、書き込みメモ）。その後、ユーザーは、手書きしたメモの一部又は全部をライン、シンボル、閉ループを用いて選択する（すなわち、トリガリング）。実施形態では、ユーザーは、メモの周囲に閉ループを引いて全体メモを選択する。
【０１５０】
ユーザーは、予め設定された又は直感的に認識可能なテキスト、例えば‘ロック’を手書きしてロック機能により選択したメモコンテンツの登録を要請する。  （書き込みコマンド）。
【０１５１】
図１４Ｂを参照すると、ユーザー入力の情報に基づいたＵＩを構成するＮＬＩエンジンは、ユーザーがメモのコンテンツをロック機能により格納しようとすることを認知する。すると、ＮＬＩエンジンは、情報がロック機能を設定するために不十分であると判定し、ユーザーとの問答手順を通じて必要な情報をさらに取得する。実施形態では、ＮＬＩは、ロック機能を設定するためにパスワードを問う質問、例えば‘パスワード入力’メッセージを画面に表示する。
【０１５２】
ユーザーは、メモ機能により、ロック機能を設定するための応答としてパスワードとして‘３２９５’を書き込む。したがって、ＮＬＩエンジンは、選択したメモコンテンツをパスワード‘３２９５’を用いて格納する。
【０１５３】
ロック機能によりメモコンテンツを格納した後に、ＮＬＩエンジンは、処理結果、例えば‘保存’メッセージを表示する。それによって、ユーザーは、自身の意図によって適切なプロセスがなされることを認識するようになる。
【０１５４】
図１４Ｃを参照すると、ユーザーは、ロック機能により格納されたメモのうちいずれか一つを選択する（すなわち、選択メモ）。ユーザーにより特定メモが選択されると、ＮＬＩエンジンは、選択されたメモを提供するためにパスワードが必要であると判定し、問答手順によりユーザーにパスワードの入力を誘導する（パスワード書き込み）。実施形態では、ＮＬＩエンジンは、ユーザーがパスワードを入力できるメモウィンドウを表示する。
【０１５５】
ユーザーが有効なパスワードを入力する場合、ＮＬＩエンジンは、画面に選択したメモを表示する。
【０１５６】
図１５は、ユーザー端末でメモ機能により記録した一部のメモを用いて特定機能を実行するシナリオを示す。
【０１５７】
図１５を参照すると、ユーザーは、メモ機能によりユーザー端末の画面にメモを記録する（すなわち、書き込みメモ）。その後、ユーザーは、メモのうち一部をライン、シンボル、閉ループを用いて選択する（すなわち、トリガリング）。実施形態では、ユーザーは、電話番号の周囲に閉ループを引いてメモの全部で電話番号‘０１０−９５３０−０１６３’を選択する。
【０１５８】
ユーザーは、予め設定された又は直感的に認識可能なテキスト、例えば‘通話’を手書きすることによって、電話番号への通話を要求する（すなわち、書き込みコマンド）。
【０１５９】
ユーザーにより入力された情報に基づいてＵＩを構成するＮＬＩエンジンは、選択された電話番号を自然言語に翻訳して認知し、認知した電話番号‘０１０−９５３０−０１６３’への電話通話を試みる。
【０１６０】
図１６Ａ及び図１６Ｂは、ユーザー端末でメモ機能により記録されたメモの一部を隠すシナリオを示す。
【０１６１】
図１６Ａを参照すると、ユーザーは、メモ機能により自身が利用するウェブサイト別にＩＤとパスワードをユーザー端末の画面に手書きする（すなわち、書き込みメモ）。その後、ユーザーは、手書きしたメモのうち全部又は一部をライン、シンボル、閉ループを用いて選択する（すなわち、トリガリング）。実施形態では、ユーザーは、パスワード周囲に閉ループを描いてメモのうち一部、すなわちパスワード‘ｗｎｓｅ３２８１’を選択する。
【０１６２】
ユーザーは、予め設定された又は直感的に認識可能なテキスト、例えば‘ｈｉｄｅ’を手書きすることによって、選択したコンテンツを隠すことを要求する（すなわち、書き込みコマンド）。
【０１６３】
図１６Ｂを参照すると、ユーザーが入力した情報に基づいてＵＩを構成するＮＬＩエンジンは、選択したメモコンテンツを隠すことがユーザーの意図であることを認知する。ＮＬＩエンジンは、隠し機能を利用するために、追加情報が必要であると判断し、ユーザーとの問答手順を通じて必要な情報をさらに取得する。ＮＬＩエンジンは、隠し機能を設定するためにパスワードを問う質問、例えば‘パスワード入力’のメッセージを出力する。
【０１６４】
これに対する応答として、ユーザーがメモ機能を用いて隠し機能を設定するためのパスワードとして‘３２９５’を手書きする場合、ＮＬＩエンジンは、手書きした‘３２９５’を自然言語に翻訳して認知した後、これを格納する。その後、ＮＬＩエンジンは、選択されたメモコンテンツを隠すことによって、画面上に表示されないようにする。
【０１６５】
図１７は、ユーザー端末でメモ機能により記録したメモの一部を翻訳するシナリオを説明するための図である。
【０１６６】
図１７を参照すると、ユーザーは、メモ機能を用いてユーザー端末の画面に手書きする（すなわち、書き込みメモ）。その後、ユーザーは、手書きしたメモのうち一部をライン、シンボル、閉ループを用いて選択する（すなわち、トリガリング）。実施形態では、下線を用いてメモがなされた領域のうち一部に記載された文章‘明日午前１１時まで要求した文書受信’を選択する。
【０１６７】
ユーザーは、予め設定した又は直感的に認知可能なテキスト、例えば‘翻訳’を手書きすることによって、選択したコンテンツに対する翻訳を要求する（すなわち、書き込みコマンド）。
【０１６８】
ユーザーにより入力された情報に基づいてＵＩを構成するＮＬＩエンジンは、選択したメモコンテンツに対する翻訳を要求する意図のあることを認知する。その後、ＮＬＩエンジンは、ユーザーとの問答手順を用いて翻訳する言語を指定することを要請する質問を画面に表示する。実施形態では、ＮＬＩエンジンは、画面上に‘どの言語？’メッセージを表示してユーザーが意図した言語を入力するように誘導する。
【０１６９】
ユーザーがメモ機能を用いて‘イタリア語’と手書きする場合、ＮＬＩエンジンは、ユーザーが意図する言語が‘イタリア語’であることを認識する。その後、ＮＬＩエンジンは、認識したメモコンテンツ、すなわち‘明日午前１１時まで要求した文書受信’をイタリア語に翻訳して出力する。それによって、ユーザーは、画面に要求した文章のイタリア翻訳を読み取る。
【０１７０】
上記した動作シナリオではユーザーとユーザー端末との間で問答手順が手書きに基づいて遂行されるが、この動作シナリオは、音声ベース及び手書きベースのＵＩ両方ともをサポートするハイブリッドＮＬＩを使用することができ、これは、手書きベースの問答手順に限定されるものではない。
【０１７１】
図１８〜図２３は、本発明の一実施形態により、所定のアプリケーションが駆動された後にメモ機能をサポートするアプリケーションを起動し、この起動したアプリケーションを用いて駆動されたアプリケーションを実行させるシナリオを示す。
【０１７２】
図１８を参照すると、ユーザー端末のホーム画面でメモ階層を実行し、この画面上にメモ階層に特定アプリケーションを実行するシナリオを示す。実施形態では、ユーザー端末は、ホーム画面にメモアプリケーションを実行してホーム画面にメモ階層をランチし、アプリケーション（例えば、アプリケーションの名称）‘ＣＨＡＴＯＮ’に関する識別情報の受信によりアプリケーションを実行する。
【０１７３】
図１９を参照すると、ユーザー端末でメモ機能により特定アクティブアプリケーションの特定動作を制御するシナリオを示す。実施形態では、メモ階層は、音楽再生アプリケーションが既に実行された画面でメモアプリケーションを実行させてランチされる。その後、ユーザーが、画面上に希望する音楽題目‘ＹＥＯＳＵ  ＮＩＧＨＴ  ＳＥＡ’を手書きする場合、ユーザー端末は、アクティブなアプリケーションで‘ＹＥＯＳＵ  ＮＩＧＨＴ  ＳＥＡ’に対応する音源を再生する。
【０１７４】
図２０を参照すると、ユーザー端末でメモ機能によりアクティブな特定アプリケーションを制御するシナリオの例を示す。実施形態では、ユーザーがビデオの視聴中にメモ階層で‘４０：２２’にジャンプするために時間を記載する場合、ユーザー端末は、４０分２２秒の時点にジャンプして進行中であるビデオを再生する。この機能は、ビデオ再生中以外にも音楽を聴取する中にも同一に遂行され得る。
【０１７５】
さらに、電子書籍アプリケーションを用いて本を読み取る間に、ユーザーは、メモ階層を起動させてジャンプするページ、例えば‘１０５’を書き込む。その後、ユーザー端末は、本の１０５ページにジャンプする。
【０１７６】
図２１を参照すると、ウェブブラウザがユーザー端末で実行中である間にメモ機能を用いて検索を試みるシナリオを示す。実施形態では、ウェブブラウザを用いて特定ウェブページを読み取る間に、ユーザーは、画面に表示されたコンテンツの一部を（例えば、ペンで）選択し、メモ階層をランチした後に、メモ階層に手書きコマンドとして単語‘ＳＥＡＲＣＨ’を手書きすることによって、キーワードとして選択したコンテンツを用いて検索をコマンドする。ＮＬＩエンジンは、ユーザーの意図を認識し、選択したコンテンツを自然言語処理を通じて理解する。その後、ＮＬＩエンジンは、このコマンドを実行し、選択したコンテンツを用いて検索エンジンを用いて検索し、画面に検索結果を再生する。
【０１７７】
上記したように、ユーザー端末は、特定アプリケーションを提供する画面での選択とメモ機能による情報入力両方ともを考慮して処理するシナリオで動作できる。
【０１７８】
図２２を参照すると、メモ機能によりマップアプリケーションで所望の情報を取得するシナリオを示す。実施形態において、ユーザは、メモ機能を用いてマップアプリケーションの画面で特定領域をその周囲に閉ループを引いて選択し、探すための情報、例えば“名所？”を手書きし、それによって選択された領域内の有名な場所に対する検索をコマンドする。
【０１７９】
ユーザーの意図を認識する場合、ＮＬＩエンジンは、自身が保有したデータベース又はサーバのデータベースの有用な情報を検索し、現在の画面に表示されるマップ上に検索された情報を追加して表示する。
【０１８０】
図２３を参照すると、スケジュールアプリケーションが駆動されている間に、メモ機能により所望の情報を入力するシナリオを示す。実施形態では、スケジュールアプリケーションが駆動されている間に、ユーザーは、メモ機能を実行して画面上にオフラインから直感的になされる情報を手書きする。例えば、ユーザーは、スケジュール画面で閉ループを描いて特定日付を選択し、その日付のスケジュールを記載する。すなわち、ユーザーは、２０１２年３月１３日を選択し、その日付に対する‘ＴＦワークショップ’を手書きする。その後、ユーザー端末１００のＮＬＩエンジンは、追加情報として時間の入力を要請する。実施形態では、ＮＬＩエンジンは、画面に質問‘時間？’を表示し、それによって、ユーザーがメモ機能により‘３：００ＰＭ’のような正確な時間を手書きするように誘導する。
【０１８１】
図２４及び図２５は、本発明の実施形態による記号学に関連したシナリオを示す。
【０１８２】
図２４を参照すると、メモ機能により進行される問答手順のフローのコンテキストで手書きしたシンボルの意味を解析する一例を示す。実施形態では、２個のメモ‘イタリア出張’と’‘Ｉｎｃｈｅｏｎ→Ｒｏｍｅ’とともに記載された場合を仮定する。シンボル→はある地域から他の地域への旅行として解析できるため、ユーザー端末１００のＮＬＩエンジンは、時間を問う質問、例えば“いつ？”をユーザーに出力する。
【０１８３】
さらに、ＮＬＩエンジンは、ユーザーにより記載された日付、４月５日にＩｎｃｈｅｏｎからＲｏｍｅへ移動するために利用可能な飛行機に関する情報を検索し、その結果をユーザーに提供することができる。
【０１８４】
図２５を参照すると、メモ機能により記載されたシンボルの意味を駆動中であるアプリケーションと関連して解析する一例を示す。実施形態では、地下鉄アプリケーションが駆動される画面でシンボル、すなわち矢印を用いてユーザーが出発地と目的地を直感的に表示する。その後、ユーザー端末は、現在駆動されたアプリケーションにより目的地行きの電車の到着時間及び必要とする時間に関する情報を案内することができる。
【０１８５】
上記したように、本発明は、多様なアプリケーションでメモ機能をサポートして該当アプリケーションを直感的に制御することによって、ユーザーの便宜性を向上させることができる。
【０１８６】
上記したシナリオは、メモ階層を画面上にランチしてメモ階層に情報を手書きする場合に、ユーザー端末は、その情報を認識して対応する動作を遂行することを特徴とする。このために、追加的に画面上にメモ階層をランチするための技術を用意することが望ましい。
【０１８７】
実施形態において、メモ階層は、メニューボタンの押し、特定ジェスチャの入力、タッチペンを押さえた状態、又は指で画面の上下スクローリングにより現在画面上にランチされ得る。図５では画面がメモ階層をランチするように上にスクローリングされるが、他の多くの技術が使用可能である。
【０１８８】
図２６は、本発明の実施形態によるユーザー端末で、ハイブリッド技術（以下、‘ハイブリッドＵＩ’と称する）を用いてＵＩをサポートする制御動作を示すフローチャートである。
【０１８９】
図２６を参照すると、ハイブリッド技術は、手書きコマンドと音声コマンドを選択的に処理する技術を意味する。手書きコマンドは、ユーザー端末でメモ機能によりユーザーが書き込むコマンドであり、音声コマンドは、ユーザーが音声により入力するコマンドである。
【０１９０】
図１に示した構成を有するユーザー端末は、図２６に示す制御動作を遂行することができる。実施形態では、ユーザー端末のコマンド処理部１２０は、手書きコマンドを処理する構成要素と、音声コマンドを処理する構成要素を含む。
【０１９１】
図２６を参照すると、ユーザー端末は、ステップ２６１０で、画面に表示されるユーザーが手書きしたメモの全部又は一部の選択をモニタリングする。画面に表示されたメモは、リアルタイムでユーザーから受信され、あるいはユーザーにより予め格納されているメモから検索され得る。ユーザーが画面に表示されたユーザー書きのメモの全部又は一部を選択する場合、ユーザー端末は、ステップ２６１２で、選択されたメモコンテンツを処理するメニューアイコンを表示する。特定のメニューアイコンをユーザーが選択すると、ユーザー端末は、ステップ２６１６で、選択されたメニューアイコンに対応してコマンドを処理するために追加情報が要求されるか否かを判定する。追加情報が要求されると判定される場合、ユーザー端末は、ステップ２６１８で、ユーザーから追加情報を取得するために問答手順を遂行する。一方、情報がそれ以上必要でない場合、ユーザー端末は、ステップ２６２０で、選択されたメニューアイコンに対応する機能により認識されるメモコンテンツを処理する。
【０１９２】
図２７は、本発明の一実施形態によるユーザー端末でハイブリッドＵＩを処理する一例を示す。図２８は、本発明の一実施形態によるユーザー端末でハイブリッドＵＩを処理する他の例を示す。
【０１９３】
図２７の（ａ）及び図２８の（ａ）を参照すると、メモは、図２７の（ａ）及び図２８の（ａ）でユーザー端末の画面に表示される。
【０１９４】
実施形態において、ユーザーは、メモの全体又は一部コンテンツに下線を引いて画面に表示されたメモのうち意図した全部又は一部を選択する。ユーザー端末は、下線のメモコンテンツを自然言語に変換し、変換した自然言語によりユーザーにより選択されたメモの一部又は全体コンテンツを認識する。
【０１９５】
図２７の（ｂ）と図２８の（ｂ）を参照すると、これら図の‘ＧＡＬＡＸＹ  ＮＯＴＥプレミアムスイート’に下線を引くことにより、ユーザーは、ユーザー端末の画面に表示されたメモの一部、すなわち‘ＧＡＬＡＸＹ  ＮＯＴＥプレミアムスイート’を選択する。
【０１９６】
ユーザー端末は、ユーザーが画面に表示された手書きしたメモの一部又は全部を選択する場合、ステップ２６１２で、選択されたコンテンツを処理するためのメニューアイコンを表示する。ユーザー端末は、選択したメモのコンテンツを処理するために使用可能な機能に対応するメニューアイコンのみを画面に表示し、それによってユーザーが特定メニューアイコンを選択するように助ける。ユーザーがメニューアイコンを容易に選択するように、メニューアイコンは、選択されたメモのコンテンツの周辺に表示される。ユーザーが左側から右側へ下線を引くことが一般的であるので、メニューアイコンは、例えば下線の最後部分の近くに表示される。
【０１９７】
図２７の（ｃ）を参照すると、メモに基づいて特定機能を遂行するメニューアイコン（例えば、上側メニューアイコン）と音声コマンドに基づいて特定機能を遂行するメニューアイコン（例えば、下側メニューアイコン）が例として表示される。
【０１９８】
図２８の（ｃ）を参照すると、メール伝送、通話、及び検索（すなわち、３個の上側メニューアイコン）に対応する機能を実行するメニューアイコンと、音声コマンドの入力により特定機能を実行するメニューアイコン（すなわち、最下のメニューアイコン）が表示される。２８の（ｃ）に示されていないが、特定機能を遂行するメニューアイコンがメッセージ伝送に対応する機能を実行するメニューアイコンをさらに含むように拡張できることは明らかである。
【０１９９】
ユーザー端末は、ステップ２６１４で、画面に表示されたメニューアイコンからメニューアイコンのユーザーによる選択を継続してモニタリングする。実施形態では、ユーザーは、画面にメニューアイコンをタッチして所望するメニューアイコンを選択することができる。
【０２００】
ユーザーにより特定メニューアイコンが選択されると、ユーザー端末は、ステップ２６１６で、選択されたメニューアイコンに対応するコマンドを処理するために追加情報が必要であるか否かを判定する。すなわち、ユーザー端末は、選択されたメニューアイコンに対応するコマンドを実行するのに十分な情報があるか否かを判定する。
【０２０１】
追加情報が必要であると判定される場合、ユーザー端末は、ステップ２６１８で、追加情報をユーザーから獲得するための問答手順を遂行する。すなわち、ユーザー端末は、追加情報の入力をユーザーに要請するメッセージを画面に表示し、メッセージに応答してユーザーから追加情報を獲得する。
【０２０２】
図２９は、本発明の実施形態により、ユーザー端末で実行するメモベースのコマンドに対応して選択されたメニューアイコンを処理する一例を示す。図３０は、本発明の実施形態により、ユーザー端末で実行する音声コマンドに対応する選択されたメニューアイコンを処理する一例を示す。
【０２０３】
図２９を参照すると、例えば、ユーザー端末は、ユーザーにより選択されたメニューアイコンに対応して認知されたコマンドから、ユーザーが‘ＧＡＬＡＸＹ  ＮＯＴＥプレミアムスイート’のメモコンテンツを‘テキスト’で送信しようとすることを判定する。しかしながら、ユーザー端末は、受信に関する情報がないため、ユーザーの意図による機能メニューが使用できないと判定する。
【０２０４】
受信に関する追加情報が必要であると判定されると、ユーザー端末は、画面に‘メッセージを誰に送る？’のメッセージを表示する。ユーザーがテキスト受信に関する情報、すなわち受信者の名前（例えば、Ｊｕ  Ｙｕｎ−ＢＡＥ）又は電話番号をメモ機能により書き込む場合、ユーザー端末は、書き込まれた情報を追加情報として認知する。
【０２０５】
ユーザー端末は、ユーザーから追加情報を受信すると、追加情報がさらに必要であるか否かを判定する。追加情報がさらに必要である場合、ユーザー端末は、追加情報を獲得するために上記した動作を反復する。
【０２０６】
一方、追加情報がそれ以上必要でない場合、ユーザー端末は、ステップ２６２０で、選択されたメニューアイコンに対応する機能により認知したメモコンテンツを処理する。ユーザー端末は、選択されたメニューアイコンに対応する機能を実行するために、メニューアイコンにマッチングするアプリケーションを実行することができる。実施形態では、ユーザーがメール伝送に対応するメニューアイコンを選択する場合、ユーザー端末は、メールアプリケーションの駆動により予め設定されたメールアカウントに基づいて、メールの本文に挿入される選択したメモコンテンツを含むメール作成画面を表示することができる。
【０２０７】
図２９を参照すると、ユーザーがメッセージ伝送機能に対応するメニューアイコンが選択される場合、ユーザー端末は、メッセージを受信する受信者が誰であるかをユーザーに尋ねるメッセージを表示する（図２９の（ａ）を参照）。このメッセージを読み取った後に、ユーザーは、メッセージ受信を識別する情報（例えば、受信者の名前）を画面に書き込む（図２９の（ｂ）を参照）。
【０２０８】
図３０を参照すると、ユーザーが音声コマンドを実行するメニューアイコンを選択する場合、ユーザー端末は、選択されたコンテンツを処理するコマンドを入力するようにユーザーに要請するメッセージを画面に表示し（図３０の（ａ）を参照）、あるいは音声によりメッセージを出力する。このメッセージを読み取り又は聴取した後、ユーザーは、選択したコンテンツを処理するためのコマンド（例えば、‘Ｇｏｏｇｌｅ検索’）を音声で入力する（図３０の（ｂ）を参照）。この場合、ユーザー端末は、検索エンジンＧｏｏｇｌｅを用いて‘ＧＡＬＡＸＹ  ＮＯＴＥプレミアムスイート’を考慮して検索動作を遂行し、その検索結果を画面に出力する。
【０２０９】
すなわち、ユーザー端末は、手書きしたメモ又は音声入力からユーザーの意図を判定し、その意図に従って選択されたコンテンツを処理する。
【０２１０】
図３１Ａ及び図３１Ｂは、本発明の実施形態によるユーザー端末でハイブリッドＵＩをサポートするシナリオを示す。
【０２１１】
図３１Ａ及び図３１Ｂを参照すると、ユーザーがユーザー端末でメモ機能を用いて画面に手書きしたメモの一部である‘Ｓａｍｓｕｎｇ駅近くのホテル’に下線を引く場合、ユーザー端末は、ユーザーが下線に応答して使用可能なメニューアイコンを表示する（１を参照）。
【０２１２】
ユーザーが画面に表示されたメニューアイコンのうち音声認識に対応するメニューアイコンを選択する場合、ユーザー端末は、ユーザーが音声により情報を入力するように誘導するために‘話す’のメッセージを表示する（２を参照）。ユーザー端末は、‘話す’のメッセージを音声と文字で同時に出力することができる。
【０２１３】
ユーザーがユーザー端末からの要請に応答して‘Ｎａｖｅｒ検索’を話す場合、ユーザー端末は、この‘Ｎａｖｅｒ検索’を自然言語で分析することによって、ユーザーの意図を把握する（３を参照）。その後、ユーザー端末は、ユーザーが‘Ｓａｍｓｕｎｇ駅近くのホテル’を‘Ｎａｖｅｒ’を用いて‘検索’を意図すると判定する。したがって、ユーザー端末は、‘Ｎａｖｅｒ’から‘Ｓａｍｓｕｎｇ駅近くのホテル’を検索した結果を画面に出力する。
【０２１４】
したがって、ユーザーは、ユーザー端末を通じて検索結果を確認できる。その後、ユーザーは、メモ機能を用いてメニュー階層を呼び出して‘インターコンチネンタルホテルの費用を推定’と書き込み、このメモを下線を引いて処理するコンテンツとして選択する。その後、ユーザーは、コマンド、ここでは‘テキスト’を手書きし、そのコマンドとして‘テキストを選択する（５を参照）。
【０２１５】
しかしながら、受信者に関する情報は、テキストを送信するために必要である。したがって、ユーザー端末は、受信者が誰であるか、すなわち‘メッセージを誰に送る？’をユーザーに問い合わせるメッセージを表示する（６を参照）。
【０２１６】
ユーザー端末は、ユーザーが問い合わせメッセージに応答してメモ機能により画面に‘Ｊｕ  Ｙｕｎ−ＢＡＥ’を書き込む場合、“‘Ｊｕ  Ｙｕｎ−ＢＡＥ’に‘インターコンチネンタルホテルの費用推定’のコンテンツを送信する”ことがユーザーの意図であることを判定する（７を参照）。ユーザー端末は、ディレクトリで‘Ｊｕ  Ｙｕｎ−ＢＡＥ’に対応する任意の電話番号が存在するか否かを判定しなければならない。‘Ｊｕ  Ｙｕｎ−ＢＡＥ’に対応する電話番号が存在しない場合に、ユーザー端末は、ユーザーに‘Ｊｕ  Ｙｕｎ−ＢＡＥ’の電話番号の入力を要求し、ユーザーから受信した電話番号にメッセージを送信することができる。
【０２１７】
図示しないが、ユーザー端末は、メッセージ伝送が完了すると、メッセージ伝送の完了を通知するメッセージを画面に出力し、それによってユーザーは、要請されたコマンドの処理結果を確認することができる。
【０２１８】
本発明の実施形態ではハードウェア、ソフトウェア、これらの組み合わせで実現可能であることがわかる。このようなソフトウェアは、データが削除可能であるかあるいは再書き込み可能であるかに関係なく、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）のような揮発性又は非揮発性メモリ装置、又はＲＡＭ、メモリチップ、デバイス、又は集積回路のようなメモリ、又はＣＤ、ＤＶＤ、磁気ディスク、又は磁気テープのような光学又は磁気的に記録可能であると同時に機械（例えば、コンピュータ）により読み取ることができる記憶媒体に保存することができる。
【０２１９】
本発明のユーザー端末でＵＩ装置及び方法は、制御部及びメモリを含むコンピュータ又は携帯端末により実現することができ、メモリは、本発明の実施形態を実現するためにコマンドを含むプログラムを格納するのに適合した機械読み取り可能な記憶媒体の一例である。したがって、本発明は、本発明の請求項により定められた装置又は方法を実現するための符号を実現するためのコードを含むプログラム、及びこのようなプログラムを格納する機械（例えば、コンピュータ）で読み取り可能な記憶媒体を含む。このプログラムは、有線又は無線接続を通じて伝送される通信信号のような媒体を介して電気的に伝送でき、これに均等なものと共に本発明に含まれる。
【０２２０】
さらに、ユーザー端末におけるＵＩ装置及び方法は、有線又は無線で接続されるプログラム提供装置からプログラムを受信して格納することができる。このプログラム提供装置は、本発明の実施形態を実現するためのコマンドを含むプログラム、本発明の実施形態に要求される情報を格納するメモリ、有線又は無線でＵＩ装置と通信する通信モジュール、及びＵＩ装置の要請時に又は自動で該当プログラムを送信する制御部を含むことができる。
【０２２１】
本発明の実施形態では、ＵＩを構成する認識エンジンは、認識結果に基づいてユーザーの意図を分析し、ユーザー意図に対応するプロセスを遂行する結果を提供し、これらすべての動作はユーザー端末内で遂行される。
【０２２２】
しかしながら、ユーザー端末は、本発明の実現に必要な機能をネットワークを介してアクセス可能なサーバとの連動により遂行することができる。実施形態では、ユーザー端末は、認識エンジンの認識結果をネットワークを介してサーバへ提供し、特定のサーバは、受信した認識結果に基づいてユーザーの意図を把握してその結果をユーザー端末に提供する。追加情報が認識結果のみによるユーザーの意図を把握し、あるいは把握したユーザーの意図を処理するために要求される場合、追加情報は、ユーザー端末との問答手順により獲得することができる。
【０２２３】
実施形態では、ユーザーは、ユーザー端末の設定を調整することによって、本発明の動作をユーザー端末に限定し、あるいはネットワークを介してサーバとの連動に選択的に拡張することができる。
【０２２４】
上記した本発明による実施形態は、コンピュータ読み取り可能な記録媒体に対するコンピュータ読み取り可能なコードとして実施されることができる。このコンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータを格納するデータストレージデバイスとなり得る。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置、及び搬送波（有無線伝送経路を介してインターネットを経由するデータ伝送のような）を含むが、これに限定されることではない。また、このコンピュータ読み取り可能な記録媒体は、ネットワーク接続されたコンピュータシステムにわたって分散されることによって、コンピュータ読み取り可能なコードは分散形態で格納及び遂行される。また、本発明を達成するための機能（ｆｕｎｃｔｉｏｎ）プログラム、コード、及びコードセグメントは、当該技術分野における熟練されたプログラマにとっては容易に理解できることである。
【０２２５】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【符号の説明】
【０２２６】
１００  ユーザー端末
１１０  アプリケーション実行部
１２０  コマンド処理部
１３０  タッチパネル部
２１０  認識エンジン
２１２  認識管理モジュール
２１４  遠隔認識クライアントモジュール
２１５−１  認識ブロック
２１５−２  光文字認識ブロック
２１５−３  オブジェクト認識ブロック
２１６  ローカル認識モジュール
２２０  ＮＬＩエンジン
２２２  対話モジュール
２２４  知能モジュール
【図１】
2015530658.tif 000003
【図２】
2015530658.tif 000004
【図３】
2015530658.tif 000005
【図４】
2015530658.tif 000006
【図５】
2015530658.tif 000007
【図６】
2015530658.tif 000008
【図７】
2015530658.tif 000009
【図８】
2015530658.tif 000010
【図９】
2015530658.tif 000011
【図１０】
2015530658.tif 000012
【図１１Ａ】
2015530658.tif 000013
【図１１Ｂ】
2015530658.tif 000014
【図１２Ａ】
2015530658.tif 000015
【図１２Ｂ】
2015530658.tif 000016
【図１３Ａ】
2015530658.tif 000017
【図１３Ｂ】
2015530658.tif 000018
【図１４Ａ】
2015530658.tif 000019
【図１４Ｂ】
2015530658.tif 000020
【図１４Ｃ】
2015530658.tif 000021
【図１５】
2015530658.tif 000022
【図１６Ａ】
2015530658.tif 000023
【図１６Ｂ】
2015530658.tif 000024
【図１７】
2015530658.tif 000025
【図１８】
2015530658.tif 000026
【図１９】
2015530658.tif 000027
【図２０】
2015530658.tif 000028
【図２１】
2015530658.tif 000029
【図２２】
2015530658.tif 000030
【図２３】
2015530658.tif 000031
【図２４】
2015530658.tif 000032
【図２５】
2015530658.tif 000033
【図２６】
2015530658.tif 000034
【図２７】
2015530658.tif 000035
【図２８】
2015530658.tif 000036
【図２９】
2015530658.tif 000037
【図３０】
2015530658.tif 000038
【図３１Ａ】
2015530658.tif 000039
【図３１Ｂ】
2015530658.tif 000040
【国際調査報告】
2015530658.tif 000041
2015530658.tif 000042