(57)【要約】【課題】ユーザデバイスでユーザ定義による１つまたはそれ以上の規則に従って状況認識サービスを支援することができる状況認識サービス方法および装置を提供する。【解決手段】テキスト入力および音声入力のうち少なくとも１つのユーザ入力を受信する過程と；前記受信されたユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則を定義する過程と；前記規則の条件を有する状況検出に反応して前記規則を活性化する過程と；前記状況が検出されれば、前記条件に対応する前記アクションを実行する過程と；を含む。【選択図】図２
2014064278.tif 000002
【特許請求の範囲】
【請求項１】
ユーザデバイスで状況認識サービス（ｃｏｎｔｅｘｔ−ａｗａｒｅ  ｓｅｒｖｉｃｅ）提供方法において、
テキスト入力および音声入力のうち少なくとも１つのユーザ入力を受信する過程と；
前記受信されたユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則（ｒｕｌｅ）を定義する過程と；
前記規則の条件を有する状況検出に反応して前記規則を活性化する過程と；
前記状況が検出されれば、前記条件に対応する前記アクションを実行する過程と；を含む方法。
【請求項２】
前記ユーザ入力は、
自然語基盤（ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ）のテキスト入力または自然語基盤の音声入力を含む、請求項１に記載の方法。
【請求項３】
前記規則を活性化する過程は、
前記条件に含まれた単語（ｗｏｒｄ）または文具（ｐｈｒａｓｅ）のうち少なくとも１つに対する自然語基盤のテキスト入力または自然語基盤の音声入力に対応する命令（ｃｏｍｍａｎｄ）に応答して前記規則を活性化する過程を含む、請求項１に記載の方法。
【請求項４】
前記状況は、
ユーザデバイスの変化を含み、
前記変化は、ユーザデバイスの姿勢変化（ｐｏｓｔｕｒｅ  ｃｈａｎｇｅ）および地域的位置変化（ｌｏｃａｔｉｏｎ  ｃｈａｎｇｅ）のうち少なくとも１つに対応するユーザデバイスの変化を含む、請求項１に記載の方法。
【請求項５】
前記状況は、
メッセージおよびサウンド受信のうち少なくとも１つを含む、請求項１に記載の方法。
【請求項６】
前記アクションは、
前記状況が認知されるとき、ユーザデバイスが行う動作を含む、請求項１に記載の方法。
【請求項７】
前記アクションは、
前記ユーザデバイスの内部構成を制御し、前記ユーザデバイスを通じて前記規則に対応する状況情報をフィードバックする動作制御と、外部機器制御および前記外部機器を通じて前記規則に対応する状況情報をフィードバックする動作制御のうち少なくとも１つを含む、請求項６に記載の方法。
【請求項８】
前記規則定義は、１つまたはそれ以上の規則定義を含み、
前記規則を活性化は、命令に応答して前記規則を活性化することを含む、請求項１に記載の方法。
【請求項９】
前記規則は、前記ユーザ入力を受信するためのユーザデバイスとユーザ間のインタラクションによって１つのアクション（ｏｎｅ  ａｃｔｉｏｎ）を含む単数構造（ｓｉｎｇｕｌａｒ  ｓｔｒｕｃｔｕｒｅ）と複数のアクション（ａｐｌｕｒａｌｉｔｙ  ｏｆ  ａｃｔｉｏｎｓ）を含む複数構造（ａ  ｐｌｕｒａｌ  ｓｔｒｕｃｔｕｒｅ）のうちいずれか１つで構成することを特徴とする、請求項１に記載の方法。
【請求項１０】
前記ユーザ入力の受信は、
前記ユーザデバイスで支援可能なアクションのうち少なくとも１つがユーザ入力によって指定されることができるユーザインターフェースおよび前記支援可能なアクションに対するガイドのうち少なくとも１つを提供することを特徴とする、請求項１に記載の方法。
【請求項１１】
前記規則を定義する過程は、
第１ユーザ入力が受信されれば、前記規則に付加的に必要な付加情報をユーザに音声またはテキストでフィードバックする過程と；
前記付加情報に対応する第２ユーザ入力を受信する過程と；
前記付加情報が不要なユーザ入力に対して追加的なユーザ入力要請を省略する過程と；を含むことを特徴とする、請求項１に記載のユーザデバイスで状況認識サービス提供方法。
【請求項１２】
ユーザデバイスで状況認識サービス（ｃｏｎｔｅｘｔ−ａｗａｒｅ  ｓｅｒｖｉｃｅ）提供方法において、
規則（ｒｕｌｅ）を設定するためのユーザインターフェースを提供する過程と；
前記ユーザインターフェースを通じて自然語基盤の音声入力および自然語基盤のテキスト入力のうち少なくとも１つのユーザ入力を受信する過程と；
前記ユーザ入力から条件（ｃｏｎｄｉｔｉｏｎ）およびアクション（ａｃｔｉｏｎ）を含む規則を設定する過程と；
前記規則の条件に対応するイベントを検出すれば、前記規則を活性化する過程と；
前記イベントが検出されるとき、前記条件に対応する前記アクションを実行する過程と；を含む方法。
【請求項１３】
前記規則を活性化するための命令（ｃｏｍｍａｎｄ）を受信する過程をさらに含む、請求項１２に記載の方法。
【請求項１４】
前記条件および前記命令のうち少なくとも１つは、
自然語基盤の音声、自然語基盤のテキスト、前記ユーザデバイスの動作感知イベント（motion detection event）、サウンド受信およびメッセージ受信のうち少なくとも１つに対応する
ことを特徴とする、請求項１３に記載の方法。
【請求項１５】
前記規則を活性化する過程は、
前記命令が受信されれば、前記命令に対応する規則があるかを判別する過程と；
前記命令に対応する規則がなければ、ガイドを出力する過程と；
前記命令に対応する規則があれば、前記命令に対応する規則が複数個であるかを判別する過程と；
前記命令に対応する規則に従って少なくとも１つの規則を活性化する過程と；を含むことを特徴とする、請求項１３に記載の方法。
【請求項１６】
前記規則を活性化する過程は、
複数の規則が存在するとき、前記複数の規則のうちいずれか１つの規則選択をガイドする過程をさらに含む、請求項１５に記載の方法。
【請求項１７】
前記規則を活性化する過程は、
前記規則が活性化された状態で規則解除条件が満たされるとき、前記活性化された規則を解除する過程と；
前記規則解除による解除情報をフィードバックする過程と；をさらに含む、請求項１２に記載の方法。
【請求項１８】
前記解除情報をフィードバックする過程は、
前記規則解除に対応する聴覚、視覚、そして触覚のうち少なくとも１つを通じてフィードバックすることを特徴とする、請求項１７に記載の方法。
【請求項１９】
ユーザデバイスにおいて、
条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則（ｒｕｌｅ）を格納する格納部と；
ユーザ入力を受信するためのユーザインターフェースを表示し、前記規則が活性化された状態で前記アクションの実行結果を表示する表示部と；
テキスト入力および音声入力のうち少なくとも１つのユーザ入力を基盤で前記条件および前記アクションを含む前記規則を定義し、前記規則の前記条件を有する状況（ｃｏｎｔｅｘｔ）検出に反応して前記規則を活性化し、前記状況検出に応答して前記アクション実行を制御する制御部と；を含むユーザデバイス。
【請求項２０】
前記制御部は、
自然語基盤の音声入力または自然語基盤のテキスト入力のうち少なくとも１つに基盤とするユーザ入力を受信し、前記ユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）と前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則を設定する規則設定モジュールと；
自然語基盤の音声、自然語基盤のテキスト、ユーザデバイスの動作感知、メッセージ受信およびサウンド受信のうち少なくとも１つによって前記規則を活性化するための命令（ｃｏｍｍａｎｄ）を受信し、前記命令に対応する規則を実行する規則実行モジュールと；
前記規則に設定された少なくとも１つの条件を有する少なくとも１つの状況を感知する条件感知モジュールと；
前記少なくとも１つの状況が検出されれば、前記検出された状況に対応する少なくとも１つのアクションを実行するアクション実行モジュールと；を含む、請求項１９に記載のユーザデバイス。
【請求項２１】
前記制御部は、
規則が活性化された状態で前記ユーザデバイスで感知されたイベントが前記規則に対応する前記条件を満たすとき、前記条件に対応する少なくとも１つのアクションを実行し、  前記アクション実行によるフィードバックを制御することを特徴とする、請求項１９に記載のユーザデバイス。
【請求項２２】
前記制御部は、
少なくとも１つの規則が活性化された状態で規則解除条件が満たされれば、前記活性化された規則を解除し、少なくとも１つの規則解除を通知するための解除情報（ｒｅｌｅａｓｅ  ｉｎｆｏｒｍａｔｉｏｎ）のフィードバックを制御する、請求項１９に記載のユーザデバイス。
【請求項２３】
ユーザデバイスにおいて、
自然語基盤の音声入力または自然語基盤のテキスト入力のうち少なくとも１つを基盤とするユーザ入力を受信し、前記ユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）と前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則を設定するためのコンピュータにより実行される（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ）規則設定モジュールと；
自然語基盤の音声、自然語基盤のテキスト、ユーザデバイスの動作感知、メッセージ受信およびサウンド受信のうち少なくとも１つを通じて規則を活性化するための命令（ｃｏｍｍａｎｄ）を受信し、前記命令に対応する規則を実行するためのコンピュータにより実行される規則実行モジュールと；
規則に設定された条件を有する状況（ｃｏｎｔｅｘｔ）を検出するためのコンピュータにより実行される条件感知モジュールと；
前記状況が検出されれば、前記条件に対応する前記アクションを実行するためのコンピュータにより実行されるアクション実行モジュールと；を含むユーザデバイス。
【請求項２４】
音声入力およびテキスト入力のうち少なくとも１つのユーザ入力を受信する動作、前記受信されたユーザ入力に基盤して条件および前記条件に対応するアクションを含む規則を設定する動作、前記規則の条件に対応する状況検出に反応して前記規則を活性化する動作、前記状況が検出される時前記条件に対応する前記アクションを実行する動作を行うプログラムを格納したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、状況認識サービス（Ｃｏｎｔｅｘｔ  Ａｗａｒｅ  Ｓｅｒｖｉｃｅ）の提供方法および装置に関し、特に本発明は、ユーザデバイスでユーザにより定義された規則（Ｒｕｌｅ）によってユーザの状況を認識（ｃｏｎｔｅｘｔ  ａｗａｒｅ）し、それによるアクション（ａｃｔｉｏｎ）を自動実行し、ユーザにフィードバック（ｆｅｅｄｂａｃｋ）することができるユーザデバイスで状況認識サービス提供方法および装置に関する。
【背景技術】
【０００２】
最近、デジタル技術の発達に伴い、通信および個人情報処理が可能な多様なユーザデバイス（ｕｓｅｒ  ｄｅｖｉｃｅ）（例えば、移動通信端末機、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、電子手帳、スマートフォン、タブレットパソコン（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が市販されている。ユーザデバイスは、各自の伝統的な固有領域にとどまらず、他の端末の領域まで含むモバイルコンバージェンス（ｍｏｂｉｌｅ  ｃｏｎｖｅｒｇｅｎｃｅ）段階に至っている。例えば、ユーザデバイスは、音声通話および映像通話などのような通話機能、ＳＭＳ（Ｓｈｏｒｔ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ）／ＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ）および電子メール（ｅ−ｍａｉｌ）などのようなメッセージ送受信機能、ナビゲーション機能、撮影機能、放送再生機能、メディア（動画および音楽）再生機能、インターネット機能、メッセンジャー機能およびソーシャルネットワークサービス（ＳＮＳ、Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）機能などの多様な機能を具備することができる。
【０００３】
また、最近、個人の人生をデジタル情報として記録するライフログ（ｌｉｆｅ−ｌｏｇ）に対する多様な技術が開発されており、これを利用した状況認識サービス（ＣＡＳ、Ｃｏｎｔｅｘｔ  Ａｗａｒｅ  Ｓｅｒｖｉｃｅ）に対する関心が高くなっている。前記状況認識サービスは、サービス客体（ｏｂｊｅｃｔ）が定義する状況が変更されることによって、サービス可否とサービスの内容が決定されるサービスを示す。ここで、状況（Ｃｏｎｔｅｘｔ）というのは、状況認識サービス客体によって定義されたサービス行為を決定する情報を意味し、サービス行為を決定する情報としては、サービスの提供時点、サービスの提供可否、サービスの提供対象、そしてサービスの提供位置などが含まれることができる。このような技術は、個人の行動を特定付けることができる多様な情報を格納し、これを基礎にして状況認識サービスを提供している。
【０００４】
しかし、従来の場合、個人から情報を収集するために、ドメイン（ｄｏｍａｉｎ）に基づいて多様なセンサー装置を設置しなければならない負担がある。従来の状況認識システムは、主にセンサーからデータを獲得するユーザデバイス、ユーザデバイスのセンサーから獲得されたデータから状況を抽出および解釈し、状況に適したサービスを実行するサーバーで構成されている。したがって、従来、状況認識サービスを支援するためにユーザデバイスが多様なセンサーを具備しなければならないし、サーバーとの連動によってユーザ状況によるサービスが処理されることによってシステム具現に費用的側面および設計的側面などにおいて困難がある。
【０００５】
また、従来の場合、ユーザデバイスから収集する情報を限定しており、また、このような情報に対する効果的な学習過程の不足により、実質的に有効な状況認識サービスを提供しにくい問題点がある。例えば、従来、ユーザが状況認識サービスを利用しようとする場合、ユーザデバイス製造社により定義された規則（Ｒｕｌｅ）のみに限って使用することができ、これにより、すべてのユーザの使用性を満たすことができない問題点がある。また、従来、ユーザが状況認識サービスを利用しようとする場合、別途のプログラムを実行するか、または複雑な設定過程を進行する場合にのみ利用可能になり、これにより、一般ユーザの接近性が低下する問題点がある。さらに、従来、１つの状況認識（Ｓｉｎｇｌｅ  Ｃｏｎｔｅｘｔ  Ａｗａｒｅ）シナリオに限っていて、多様な状況に対する条件設定が不可能であるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ユーザデバイスでユーザ定義による１つまたはそれ以上の規則に従って状況認識サービスを支援することができる状況認識サービス方法および装置を提供することにある。
【０００７】
本発明の他の目的は、ユーザデバイスでユーザによりあらかじめ定義される１つまたはそれ以上の規則に対応するユーザの各状況を認識し、認識された状況による当該アクション（ａｃｔｉｏｎ）を自動実行し、ユーザに１つまたはそれ以上として定義された規則に基づく状況情報（ｃｏｎｔｅｘｔ  ｉｎｆｏｒｍａｔｉｏｎ）をフィードバック（ｆｅｅｄｂａｃｋ）することができる状況認識サービス方法および装置を提供することにある。
【０００８】
本発明のさらに他の目的は、ユーザデバイスでユーザが自然言語に基づくテキストまたは音声を通じて規則（または状況）、当該規則実行のための命令および当該規則に対して実行するアクションを定義することができる状況認識サービス方法および装置を提供することにある。
【０００９】
本発明のさらに他の目的は、ユーザデバイスで自然言語に基づくテキストまたは音声を通じて規則、命令およびアクションを定義し、自然言語に基づくテキストまたは音声によって、またはユーザデバイスの動作感知によって定義された当該規則の自動実行を支援することによって、状況認識サービスの支援を拡張することができる状況認識サービス方法および装置を提供することにある。
【００１０】
本発明のさらに他の目的は、１つの規則に多数の条件を設定することができ、多数の条件に対応する多重状況認識（ｍｕｌｔｉ  ｃｏｎｔｅｘｔ  ａｗａｒｅ）および多重状況認識による多数のアクションを一緒に行うことができる状況認識サービス方法および装置を提供することにある。
【００１１】
本発明のさらに他の目的は、規則定義時にユーザ嗜好による１つまたはそれ以上の条件設定が可能な状況認識サービス方法および装置を提供することにある。
【００１２】
本発明のさらに他の目的は、状況認識サービスを支援するための最適の環境を具現し、ユーザ便宜性およびユーザデバイスの使用性を向上させることができる状況認識サービス方法および装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明の実施形態によるユーザデバイスの状況認識サービス（ｃｏｎｔｅｘｔ−ａｗａｒｅ  ｓｅｒｖｉｃｅ）提供方法は、テキスト入力および音声入力のうち少なくとも１つのユーザ入力を受信する過程と；前記受信されたユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則（ｒｕｌｅ）を定義する過程と；前記規則の条件を有する状況検出に反応して前記規則を活性化する過程と；前記状況が検出されれば、前記条件に対応する前記アクションを実行する過程とを；含むことができる。
【００１４】
本発明の実施形態によるユーザデバイスの状況認識サービス（ｃｏｎｔｅｘｔ−ａｗａｒｅｓｅｒｖｉｃｅ）提供方法は、規則（ｒｕｌｅ）を設定するためのユーザインターフェースを提供する過程と；前記ユーザインターフェースを通じて自然言語に基づく音声入力および自然言語に基づくテキスト入力のうち少なくとも１つのユーザ入力を受信する過程と；前記ユーザ入力から条件（ｃｏｎｄｉｔｉｏｎ）およびアクション（ａｃｔｉｏｎ）を含む規則を設定する過程と；前記規則の条件に対応するイベントを検出すれば、前記規則を活性化する過程と；前記イベントが検出されるとき、前記条件に対応する前記アクションを実行する過程と；を含むことができる。
【００１５】
本発明の実施形態によるユーザデバイスの状況認識サービス提供方法は、自然言語に基づく音声または自然言語に基づくテキストを利用した規則設定のためのユーザ入力を受け入れ、前記ユーザ入力による規則を設定する過程と；自然言語に基づく音声またはテキスト、ユーザデバイスの動作感知または外部のメッセージ受信を利用した規則実行のための命令を受け入れ、前記命令による規則を実行する過程と；規則に設定された１つまたはそれ以上の条件に反応して内部または外部で発生する１つまたはそれ以上の条件を感知する過程と；規則に設定された１つまたはそれ以上の条件認識に反応して１つまたはそれ以上のアクションを実行する過程と；を含むことができる。
【００１６】
本発明の実施形態によるユーザデバイスの状況認識サービス提供方法は、規則を定義する過程と；前記規則実行のための命令入力を受信する過程と；前記命令に対応する規則を実行する過程と；前記規則実行に応答して前記規則に対応する条件を感知する過程；および前記条件が感知されるとき、前記規則で前記条件に対応する１つまたはそれ以上のアクションを実行する過程と；を含むことができる。
【００１７】
本発明の実施形態によるユーザデバイスの状況認識サービス提供方法は、規則が実行された状態でイベントの発生可否を監視する過程と；前記イベントの発生があれば、前記実行規則で前記イベントに対するアクション実行のために定義された機能を抽出する過程と；前記抽出された機能によってアクション実行を制御する過程と；前記機能によるアクション実行によって関連情報のフィードバックを制御する過程と；前記イベントの発生がなければ、現在状況が規則解除条件に該当するかを判別する過程と；前記規則解除条件に対応すれば、前記実行された規則を解除する過程と；を含むことができる。
【００１８】
本発明の実施形態では、前記方法をプロセッサで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を含む。
【００１９】
本発明の実施形態による装置は、条件（ｃｏｎｄｉｔｉｏｎ）および前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則（ｒｕｌｅ）を格納する格納部と；ユーザ入力を受信するためのユーザインターフェースを表示し、前記規則が活性化された状態で前記アクションの実行結果を表示する表示部と；テキスト入力および音声入力のうち少なくとも１つのユーザ入力に基づいて前記条件および前記アクションを含む前記規則を定義し、前記規則の前記条件を有する状況（ｃｏｎｔｅｘｔ）検出に反応して前記規則を活性化し、前記状況検出に応答して前記アクション実行を制御する制御部と；を含むことができる。
【００２０】
本発明の実施形態による装置は、自然言語に基づく音声入力または自然言語に基づくテキスト入力のうち少なくとも１つに基づくユーザ入力を受信し、前記ユーザ入力に基づいて条件（ｃｏｎｄｉｔｉｏｎ）と前記条件に対応するアクション（ａｃｔｉｏｎ）を含む規則を設定するためのコンピュータにより実行される（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ）規則設定モジュールと；自然言語に基づく音声、自然言語に基づくテキスト、ユーザデバイスの動作感知、メッセージ受信およびサウンド受信のうち少なくとも１つを通じて規則を活性化するための命令（ｃｏｍｍａｎｄ）を受信し、前記命令に対応する規則を実行するためのコンピュータにより実行される規則実行モジュールと；規則に設定された条件を有する状況（ｃｏｎｔｅｘｔ）を検出するためのコンピュータにより実行される条件感知モジュールと；前記状況が検出されれば、前記条件に対応する前記アクションを実行するためのコンピュータにより実行されるアクション実行モジュールと；を含むことができる。
【００２１】
本発明の実施形態による記録媒体は、ユーザ入力によって状況認識サービスのための規則を定義し、前記規則実行のための命令が受信されれば、前記命令に対応する規則を実行し、前記実行された規則による条件が認識されるとき、前記規則で前記条件に対応するアクションを実行するプログラムを格納したコンピュータで読み取り可能な記録媒体と；を含むことができる。
【００２２】
本発明の実施形態による記録媒体は、音声およびテキスト入力のうち少なくとも１つのユーザ入力を受信する動作、前記受信されたユーザ入力に基づいて条件および前記条件に対応するアクションを含む規則を設定する動作、前記規則の条件に対応する状況検出に反応して前記規則を活性化する動作、前記状況が検出されるとき、前記条件に対応する前記アクションを実行する動作を行うプログラムを格納したコンピュータで読み取り可能な記録媒体を含むことができる。
【００２３】
前述したような内容は、当該分野における通常の知識を有する者が後述する本発明の具体的な説明からさらによく理解することができるようにするために、本発明の特徴および技術的な長所をさらに広く略述したものである。このような特徴および長所以外にも、本発明の請求範囲の主題を形成する本発明の追加的な特徴および長所が、後述する本発明の具体的な説明からよく理解されることができる。
【発明の効果】
【００２４】
前述したように、本発明で提案するユーザデバイスで状況認識サービス提供方法および装置によれば、ユーザデバイスで状況認識サービスのための規則（Ｒｕｌｅ）（または状況）をユーザ定義によって多様に設定が可能である。したがって、本発明によれば、ユーザデバイスでユーザにより定義される１つまたはそれ以上の規則に対応するユーザの各状況を認識し、認識された状況に定義された当該規則によって１つまたはそれ以上のアクション（ａｃｔｉｏｎ）を実行することができる。そして、アクション実行による内部または外部の１つまたはそれ以上の状況情報（ｃｏｎｔｅｘｔ  ｉｎｆｏｒｍａｔｉｏｎ）をユーザに多様な方式でフィードバック（ｆｅｅｄｂａｃｋ）することができる。
【００２５】
本発明によれば、ユーザは、ユーザデバイスを利用して自然言語に基づくテキストまたは音声を通じて状況認識サービスのための規則（または状況）、当該規則実行のための命令および当該規則に対して実行するアクションを定義することができる。したがって、本発明では、ユーザデバイス製造社によって定義された規則を含めてユーザが定義する１つまたはそれ以上の条件による多様な規則設定が可能である。また、本発明によれば、ユーザデバイスで自然言語に基づくテキストまたは音声を通じて規則と命令を定義し、自然言語に基づくテキストまたは音声によって、またはユーザデバイスの動作感知によって定義された当該規則が自動で実行されるようにできる。これにより、本発明では、状況認識サービスの支援範囲を拡張することができ、各ユーザ別に使用性を充足させることができる。
【００２６】
本発明によれば、１つの規則に多数の条件を設定することができ、多数の条件に対応する多重状況認識（ｍｕｌｔｉ  ｃｏｎｔｅｘｔ  ａｗａｒｅ）シナリオを支援することができる。これにより、本発明では、ユーザの嗜好（ｐｒｅｆｅｒｅｎｃｅ）による多様な条件設定が可能であり、また、多重状況認識シナリオに対応して複数のアクションを１回に行うことができる。また、本発明によれば、統計に基づく状況認識（ｃｏｎｔｅｘｔ  ａｗａｒｅ）を支援する従来技術に比べて、推薦機能と混用して状況認識を行うことによって状況認識の機能性を向上することができ、結果的に、状況認識の正確度を向上させることができる。
【００２７】
本発明によれば、ユーザに状況認識サービスを支援するための最適の環境を具現することによって、ユーザの便宜性を向上させ、ユーザデバイスの使用性、便宜性および競争力を向上させるのに寄与することができる。このような本発明は、移動通信端末機、スマートフォン、タブレットパソコン、ＰＤＡなどのようなすべての形態のユーザデバイスのみならず、状況認識サービスが可能な多様なデバイスに具現されることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態によるユーザデバイスの構成を概略的に示す図である。
【図２】本発明の実施形態によるユーザデバイスで状況認識サービスを運用する方法を示す流れ図である。
【図３Ａ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｂ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｃ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｄ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｅ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｆ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｇ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｈ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｉ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｊ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図３Ｋ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ａ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｂ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｃ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｄ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｅ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｆ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｇ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｈ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｉ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図４Ｊ】本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【図５Ａ】本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。
【図５Ｂ】本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。
【図５Ｃ】本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。
【図５Ｄ】本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。
【図５Ｅ】本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。
【図６】本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。
【図７】本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。
【図８】本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。
【図９】本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。
【図１０】本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。
【図１１】本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。
【図１２】本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。
【図１３】本発明の実施形態によるユーザデバイスを利用して状況認識サービスが提供される動作例示を示す図である。
【図１４Ａ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【図１４Ｂ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【図１５Ａ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【図１５Ｂ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【図１６Ａ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【図１６Ｂ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【図１６Ｃ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【図１７】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図１８Ａ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図１８Ｂ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図１９Ａ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図１９Ｂ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図２０Ａ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図２０Ｂ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図２０Ｃ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図２１Ａ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図２１Ｂ】本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【図２２Ａ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
【図２２Ｂ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
【図２２Ｃ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
【図２３Ａ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
【図２３Ｂ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
【図２４】本発明の実施形態によるユーザデバイスで状況認識サービスを終了する動作例示を示す図である。
【図２５】本発明の実施形態によるユーザデバイスで状況認識サービスを終了する動作例示を示す図である。
【図２６Ａ】本発明の実施形態によるユーザデバイスで規則を削除する動作例示を示す図である。
【図２６Ｂ】本発明の実施形態によるユーザデバイスで規則を削除する動作例示を示す図である。
【図２７】本発明の実施形態によるユーザデバイスで規則を生成する動作を示す流れ図である。
【図２８】本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
【図２９】本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
【図３０】本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
【図３１Ａ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｂ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｃ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｄ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｅ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｆ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｇ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｈ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｉ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｊ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｋ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｌ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｍ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３１Ｎ】本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【図３２Ａ】本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。
【図３２Ｂ】本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。
【図３２Ｃ】本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。
【図３２Ｄ】本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。
【図３２Ｅ】本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。
【図３３Ａ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。
【図３３Ｂ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。
【図３３Ｃ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。
【図３３Ｄ】本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。
【図３４Ａ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。
【図３４Ｂ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。
【図３４Ｃ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。
【図３４Ｄ】本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。
【発明を実施するための形態】
【００２９】
以下、添付の図面を参照して本発明の多様な実施形態を詳しく説明する。この際、添付の図面において同一の構成要素は、できるだけ同一の符号で示していることに留意しなければならない。また、本発明の要旨を不明にすることが公知機能および構成に対する詳細な説明を省略することができる。すなわち、下記の説明では、本発明の多様な実施形態による動作を理解するのに必要な部分だけが説明され、その他の部分の説明は、本発明の要旨を不明にしないように省略されるということを留意しなければならない。
【００３０】
提案する本発明は、ユーザデバイス（ｕｓｅｒ  ｄｅｖｉｃｅ）で状況認識サービス（ＣＡＳ、Ｃｏｎｔｅｘｔ  Ａｗａｒｅ  Ｓｅｒｖｉｃｅ）を提供する方法および装置に関する。
【００３１】
本発明の実施形態によれば、ユーザデバイスでユーザにより定義された１つまたはそれ以上の規則（Ｒｕｌｅ）によってユーザの多様な状況（ｃｏｎｔｅｘｔ）に対する状況認識（ｃｏｎｔｅｘｔ  ａｗａｒｅ）を行うことができる。
【００３２】
本発明の実施形態によれば、状況認識による１つまたはそれ以上のアクション（ａｃｔｉｏｎ）実行を自動処理し、アクション実行に対応する状況情報（ｃｏｎｔｅｘｔ  ｉｎｆｏｒｍａｔｉｏｎ）をユーザまたは定義された他のユーザにフィードバック（ｆｅｅｄｂａｃｋ）することができる。
【００３３】
本発明の多様な実施形態において、前記状況情報は、ユーザデバイスを通じてフィードバックされるか、外部機器（例えば、テレビ、電灯など）の制御を通じてユーザにフィードバックされるか、またはメッセージ伝送などを通じて他のユーザにフィードバックすることができる。
【００３４】
本発明の多様な実施形態において前記規則は、自然言語（ｎａｔｕｒａｌ  ｌａｎｇｕａｇｅ）に基づくテキスト（例えば、筆記（ｈａｎｄ  ｗｒｉｔｉｎｇ））または音声入力を通じて定義されることができる。本発明の多様な実施形態において、前記自然言語は、人々が日常的に使用する言語を人工的に作られた言語である人工語（または機械語）（ａｒｔｉｆｉｃｉａｌ  ｌａｎｇｕａｇｅ）と区分して呼ぶ概念である。
【００３５】
本発明の多様な実施形態において前記規則は、前記規則と関連した命令（ｃｏｍｍａｎｄ）の入力（または受信）に応答して活性化（ａｃｔｉｖａｔｅｄ）されることができる。
【００３６】
本発明の多様な実施形態において、前記規則は、受信されたユーザ入力に基づいて定義されるか、または選択されることができる。前記定義された規則は、前記規則の条件に対応する状況検出に反応して活性化されることができる。前記規則が検出されれば、前記条件に対応するアクションが実行されることができる。
【００３７】
本発明の多様な実施形態において前記規則が活性化されれば、ユーザデバイスは、ユーザデバイスが動作（ｏｐｅｒａｔｅｓ）する状況をモニター（ｍｏｎｉｔｏｒ）または検出（ｄｅｔｅｃｔ）することができる。ユーザデバイスが動作する状況モニターまたは検出に基づいて、ユーザデバイスは、活性化された規則に対応する状況でユーザデバイスが動作することを決定（ｄｅｔｅｒｍｉｎｅ）するか、または識別（ｉｄｅｎｔｉｆｙ）することができる。
【００３８】
本発明の多様な実施形態において前記規則は、少なくとも１つの条件および少なくとも１つのアクションに区分されることができ、前記規則を生成する動作については、後述する。
【００３９】
本発明の多様な実施形態においてあらかじめ定義された規則に対する実行は、前記規則に対応する命令（ｉｎｓｔｒｕｃｔｉｏｎ）受信を通じて行われることができる。本発明の多様な実施形態において前記命令は、ユーザデバイスの多様な入力手段（例えば、タッチスクリーン、キーパッド、マイクなど）を通じて入力される自然言語に基づくテキストまたは音声による命令語または命令語文章（ｓｅｎｔｅｎｃｅ）（例えば、命令文）を含むことができる。また、前記命令は、あらかじめ定義された規則に従ってユーザデバイスの多様なセンサー（ｓｅｎｓｏｒ）（例えば、近接センサー、照度センサー、加速度センサー、ジャイロセンサー、音声センサーなど）を通じて感知されるユーザデバイスの変化（例えば、姿勢変化、オリエンテーション（ｏｒｉｅｎｔａｔｉｏｎ）など）感知を含むことができる。また、前記命令は、あらかじめ定義された規則に対応する外部のメッセージまたは外部のサウンド受信を含むこともできる。また、前記命令は、あらかじめ定義された規則に対応するユーザ（またはユーザデバイス）の地域的位置変化を含むこともできる。
【００４０】
本発明の多様な実施形態において前記規則を実行する命令（例えば、命令語、命令語文章、感知しようとするユーザデバイスの動作または動作感知のためのセンサー定義）は、自然言語に基づく音声またはテキスト入力で設定されることができる。
【００４１】
本発明の多様な実施形態において前記規則を実行する命令のうち命令語または命令語文章は、前記規則定義時に前記規則に含まれる自然言語の一部（例えば、単語）、文章の一部または全体で入力されることができる。
【００４２】
本発明の多様な実施形態において前記文章は、考えや感情を言葉で表現するとき、完結された内容を示す最小の単位であることができ、主語と述語を備えることが原則であるが、時には主語と述語が省略されることもできる。
【００４３】
本発明の多様な実施形態において前記規則を実行する命令のうちユーザデバイスの動作感知は、前記規則定義時に設定される１つまたはそれ以上のセンサーが動作することによって入力されることができる。
【００４４】
本発明の多様な実施形態において前記アクションは、実行中の規則で当該規則に対応する状況が認知されるとき、ユーザデバイスが行う動作を含むことができる。
【００４５】
本発明の多様な実施形態において前記アクションは、ユーザデバイスの内部構成（例えば、表示部、通信モジュール、スピーカーなど）を制御し、当該規則に対応する状況情報をユーザデバイスを通じてフィードバックする動作制御（例えば、内部動作制御）、またはユーザデバイスの外部機器（例えば、テレビ、電灯、外部スピーカーなど）を制御し、当該規則に対応する状況情報を外部機器を通じてフィードバックする動作制御（例えば、外部動作制御）、またはユーザデバイスの内部動作および外部機器の外部動作を一緒に制御することを含むことができる。
【００４６】
本発明の多様な実施形態において状況認識サービス（ＣＡＳ）は、ユーザデバイスがユーザにより定義された規則による状況を認識し判断し、それに対応するアクションを実行し、アクション実行による状況情報をユーザ（または定義される他のユーザ）に提供するサービスを示す。前記状況情報は、ユーザが相互作用（ｉｎｔｅｒａｃｔｉｏｎ）をする時点に利用することができるすべての情報であって、ユーザ（またはユーザデバイス）の位置、識別、活動、そして状態などを含み、ユーザデバイスのアプリケーションをも含むことができる。
【００４７】
以下では、本発明の実施形態によるユーザデバイスの構成とその運用制御方法について下記図面を参照して説明する。本発明の実施形態によるユーザデバイスの構成とその運用制御方法が下記で記述する内容に制限されるかまたは限定されるものではないので、下記の実施形態に基づいて多様な実施形態に適用することができることに留意しなければならない。
【００４８】
図１は、本発明の実施形態によるユーザデバイスの構成を概略的に示す図である。
【００４９】
図１を参照すれば、本発明のユーザデバイス１００は、無線通信部１１０、ユーザ入力部１２０、タッチスクリーン１３０、オーディオ処理部１４０、格納部１５０、インターフェース部１６０、制御部１７０、そして電源供給部１８０を含んで構成される。本発明のユーザデバイス１００は、図１に示された構成要素より多い構成要素を有するか、またはそれより少ない構成要素を有するもので具現されることができる。例えば、本発明の実施形態によるユーザデバイス１００が撮影機能を支援する場合、カメラモジュール(図示せず）の構成がさらに含まれることもでき、本発明の実施形態によるユーザデバイス１００が放送受信および再生機能を支援しない場合、一部のモジュール（例えば、前記無線通信部１１０の放送受信モジュール１１９の構成）は省略されることもできる。
【００５０】
前記無線通信部１１０は、ユーザデバイス１００と無線通信システムとの間またはユーザデバイス１００と他のユーザデバイスとの間の無線通信を可能にする１つ以上のモジュールを含むことができる。例えば、無線通信部１１０は、移動通信モジュール１１１、無線ＬＡＮ（ＷＬＡＮ、Ｗｉｒｅｌｅｓｓ  Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）モジュール１１３、近距離通信モジュール１１５、位置算出モジュール１１７、そして放送受信モジュール１１９などを含んで構成されることができる。
【００５１】
移動通信モジュール１１１は、移動通信ネットワーク上で基地局、外部の端末、そして多様なサーバー（例えば、統合サーバー（ｉｎｔｅｇｒａｔｉｏｎ  ｓｅｒｖｅｒ）、プロバイダーサーバー（ｐｒｏｖｉｄｅｒ  ｓｅｒｖｅｒ）、コンテンツサーバー（ｃｏｎｔｅｎｔ  ｓｅｒｖｅｒ）、インターネットサーバー（ｉｎｔｅｒｎｅｔ  ｓｅｒｖｅｒ）、クラウドサーバー（ｃｌｏｕｄ  ｓｅｒｖｅｒ）など）のうち少なくとも１つと無線信号を送受信することができる。前記無線信号は、音声通話信号、画像通話信号または文字／マルチメディアメッセージ送受信による多様な形態のデータを含むことができる。移動通信モジュール１１１は、制御部１７０の制御によってプロバイダーサーバーまたはコンテンツサーバーなどに接続し、状況認識サービスのための多様な規則をダウンロード（ｄｏｗｎｌｏａｄ）することができる。前記移動通信モジュール１１１は、制御部１７０の制御によってアクション実行に対する結果（状況情報）を少なくとも１つのターゲットユーザデバイスに伝送することができる。また、前記移動通信モジュール１１１は、制御部１７０の制御によって特定規則が実行中の状態またはその他の状態で前記特定規則に定義された条件にマッチ（満足）するメッセージを受信することができる。
【００５２】
無線ＬＡＮモジュール１１３は、無線インターネット接続および他のユーザデバイスと無線ＬＡＮリンク（ｌｉｎｋ）を形成するためのモジュールを示すもので、ユーザデバイス１００に内蔵されるか、または外装されることができる。無線インターネット技術としては、無線ＬＡＮ（Ｗｉ−Ｆｉ）、Ｗｉｂｒｏ（Ｗｉｒｅｌｅｓｓ  ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（Ｗｏｒｌｄ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、そしてＨＳＤＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｄｏｗｎｌｉｎｋ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）などが利用されることができる。無線ＬＡＮモジュール１１３は、多様なサーバーと無線ＬＡＮ通信が連結されるとき、状況認識サービスのための多様なデータ（例えば、規則を含む）を受信されることができる。また、無線ＬＡＮモジュール１１３は、他のユーザデバイスと無線ＬＡＮリンクが形成されるとき、ユーザ選択による状況認識サービスのための多様なデータ（例えば、規則を含む）を他のユーザデバイスに伝送するか、または他のユーザデバイスから受信されることができる。または、無線ＬＡＮモジュール１１３は、無線ＬＡＮを介して状況認識サービスのための多様なデータ（例えば、規則を含む）をクラウドサーバーなどに伝送するか、またはクラウドサーバーから受信されることができる。前記無線ＬＡＮモジュール１１３は、制御部１７０の制御によってアクション実行に対する結果（状況情報）を少なくとも１つのターゲットユーザデバイスに伝送することができる。また、前記無線ＬＡＮモジュール１１３は、制御部１７０の制御によって特定規則が実行中の状態で前記特定規則に定義された条件に合致するメッセージを受信することができる。
【００５３】
近距離通信モジュール１１５は、ユーザデバイス１００の近距離通信（ｓｈｏｒｔ  ｒａｎｇｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ）のためのモジュールを示す。近距離通信技術としては、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ブルートゥース低エネルギー（ＢＬＥ、Ｂｌｕｅｔｏｏｔｈ（登録商標）  Ｌｏｗ  Ｅｎｅｒｇｙ）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（ＩｒＤＡ、Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）、ジグビー（ＺｉｇＢｅｅ）、そしてＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などが利用されることができる。また、近距離通信モジュール１１５は、ユーザデバイス１００が他のユーザデバイスと近距離通信が連結されるとき、ユーザ選択による状況認識サービスのための多様なデータ（例えば、規則を含む）を他のユーザデバイスに伝送するか、または受信されることができる。
【００５４】
位置算出モジュール１１７は、ユーザデバイス１００の位置を獲得するためのモジュールを示す。前記位置算出モジュール１１７は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎ  Ｓｙｓｔｅｍ）モジュールなどを含むことができる。位置算出モジュール１１７は、３個以上の基地局から離れた距離情報と正確な時間情報を算出した後、前記算出された情報に三角法を適用することによって、緯度（ｌａｔｉｔｕｄｅ）、経度（ｌｏｎｇｉｔｕｄｅ）、および高度（ａｌｔｉｔｕｄｅ）による３次元の現位置情報を算出することができる。または、位置算出モジュール１１７は、３個以上の衛星からユーザデバイス１００の位置情報をリアルタイムで続いて受信することによって、位置情報を算出することもできる。ユーザデバイス１００の位置情報は、多様な方法によって獲得されることができる。
【００５５】
放送受信モジュール１１９は、放送チャネル（例えば、衛星放送チャネル、地上波放送チャネルなど）を介して外部の放送管理サーバーから放送信号（例えば、テレビ放送信号、ラジオ放送信号、データ放送信号など）および／または前記放送と関連した情報（例えば、放送チャネル、放送番組または放送サービス提供者に関する情報など）を受信することができる。
【００５６】
ユーザ入力部１２０は、ユーザデバイス１００の動作制御のための入力データをユーザ入力に対応して発生させる。ユーザ入力部１２０は、キーパッド（ｋｅｙｐａｄ）、ドームスイッチ（ｄｏｍｅｓｗｉｔｃｈ）、タッチパッド（静圧／静電）、ジョグホイール（ｊｏｇ  ｗｈｅｅｌ）、ジョグスイッチ（ｊｏｇ  ｓｗｉｔｃｈ）、センサー（例えば、音声センサー、近接センサー、照度センサー、加速度センサー、ジャイロセンサーなど）などを含んで構成されることができる。前記ユーザ入力部１２０は、ユーザデバイス１００の外部にボタン形態で具現されることができ、一部のボタンは、タッチパネル（ｔｏｕｃｈ  ｐａｎｅｌ）で具現されることもできる。ユーザ入力部１２０は、規則定義および規則実行（例えば、命令）のためのユーザ入力（例えば、テキスト入力、音声入力、ユーザデバイス１００動作変化など）が受信されるとき、それによる入力データを発生させることができる。
【００５７】
タッチスクリーン１３０は、入力機能と表示機能を同時に行う入出力手段であって、表示部１３１とタッチ感知部１３３を含むことができる。本発明の実施形態においてタッチスクリーン１３０は、前記表示部１３１を介してユーザデバイス１００の運用による画面（例えば、規則（条件およびアクション）設定画面、通話発信のための画面、メッセンジャー画面、ゲーム画面、ギャラリー画面など）の表示中に、前記タッチ感知部１３３によるユーザのタッチイベント（例えば、１つまたはそれ以上のタッチ（ｔｏｕｃｈ）、タップ（ｔａｐ）、ドラッグ（ｄｒａｇ）、スウィープ（ｓｗｅｅｐ）、フリック（ｆｌｉｃｋ）など）が入力されれば、前記タッチイベントによる入力信号を前記制御部１７０に伝達することができる。それでは、制御部１７０は、前記タッチイベントを区分し、タッチイベントによる動作実行を制御することができる。例えば、表示部１３１に規則設定画面が表示された状態で、タッチ感知部１３３によってユーザの自然言語に基づくテキストが筆記されるタッチイベントが入力されれば、制御部１７０は、前記タッチイベントによって規則を生成する動作を行うことができる。
【００５８】
表示部１３１は、ユーザデバイス１００で処理される情報を表示（出力）することができる。例えば、ユーザデバイス１００が通話モードの場合、通話と関連したユーザインターフェース（ＵＩ、Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）またはグラフィックユーザインターフェース（ＧＵＩ、Ｇｒａｐｈｉｃａｌ  ＵＩ）を表示することができる。また、表示部１３１は、ユーザデバイス１００が画像通話モードまたは撮影モードの場合には、撮影または／および受信された映像またはＵＩ、ＧＵＩを表示することができる。特に、表示部１３１は、状況認識サービス運用と関連した多様なＵＩ、ＧＵＩを表示することができる。例えば、表示部１３１は、ユーザ入力による規則設定、規則実行状態、規則に対応するアクション実行状態、そしてアクション実行による結果（例えば、状況情報）などと関連した多様なＵＩ、ＧＵＩを表示することができる。また、表示部１３１は、ユーザデバイス１００の回転方向（または配置される方向）によって横モードによる画面表示、縦モードによる画面表示および横モードと縦モード間の変化による画面切替表示を支援することができる。本発明で運用される表示部１３１の画面例示について後述する。
【００５９】
表示部１３１は、液晶ディスプレイ（ＬＣＤ、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ＴＦＴ  ＬＣＤ、Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ−ＬＣＤ）、発光ダイオード（ＬＥＤ、Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、有機発光ダイオード（ＯＬＥＤ、Ｏｒｇａｎｉｃ  ＬＥＤ）、能動型ＯＬＥＤ（ＡＭＯＬＥＤ、ＡｃｔｉｖｅＭａｔｒｉｘ  ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）、ベンディドディスプレイ（ｂｅｎｄｅｄ  ｄｉｓｐｌａｙ）、および３次元ディスプレイ（３Ｄ  ｄｉｓｐｌａｙ）のうち少なくとも１つを含むことができる。これらのうち一部のディスプレイは、外部が見られるように透明型または光透明型で構成される透明ディスプレイ（ｔｒａｎｓｐａｒｅｎｔ  ｄｉｓｐｌａｙ）で具現されることができる。
【００６０】
タッチ感知部１３３は、前記表示部１３１に配置されることができ、前記タッチスクリーン１３０の表面に接触するユーザのタッチイベント（例えば、シングルタッチイベント、マルチタッチイベント、タッチに基づくジェスチャーイベントなど）を感知することができる。タッチ感知部１３３は、前記タッチスクリーン１３０の表面にユーザのタッチイベントを感知するとき、前記タッチイベントが発生した座標を検出し、検出された座標を前記制御部１７０に伝送することができる。タッチ感知部１３３は、ユーザにより発生するタッチイベントを感知し、感知されたタッチイベントによる信号を生成し、前記制御部１７０に伝送することができる。制御部１７０は、前記タッチ感知部１３３で伝送される信号によってタッチイベントが発生した領域に該当する機能を行うことができる。
【００６１】
タッチ感知部１３３は、表示部１３１の特定部位に加えられた圧力または表示部１３１の特定部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成されることができる。タッチ感知部１３３は、タッチされる位置および面積だけでなく、適用したタッチ方式によってタッチ時の圧力までも検出することができるように構成されることができる。タッチ感知部１３３に対するタッチ入力がある場合、それに対応する信号は、タッチ制御機(図示せず）に伝達されることができる。タッチ制御機(図示せず）は、その信号を処理した後、対応するデータを制御部１７０に伝送することができる。これにより、制御部１７０は、表示部１３１のどの領域がタッチされたかなどを把握することができる。
【００６２】
オーディオ処理部１４０は、制御部１７０から入力されたオーディオ信号をスピーカー（ＳＰＫ、ｓｐｅａｋｅｒ）１４１に伝送し、マイク（ＭＩＣ、ｍｉｃｒｏｐｈｏｎｅ）１４３から入力された音声などのオーディオ信号を制御部１７０に伝達する機能を行うことができる。オーディオ処理部１４０は、音声／音響データを制御部１７０の制御によってスピーカー１４１を介して可聴音に変換して出力し、マイク１４３から受信される音声などのオーディオ信号をデジタル信号に変換し、制御部１７０に伝達することができる。
【００６３】
スピーカー１４１は、通話モード、録音（録画）モード、音声認識モード、放送受信モード、撮影モード、 および状況認識サービスモードなどで無線通信部１１０から受信されるか、または格納部１５０に格納されたオーディオデータを出力することができる。スピーカー１４１は、ユーザデバイス１００で行われる機能（例えば、規則実行、アクション実行、状況情報フィードバック、通話連結受信、通話連結発信、撮影、メディアコンテンツ（例えば、音楽ファイル、動画ファイルなど）再生など）と関連した音響信号を出力することもできる。
【００６４】
マイク１４３は、通話モード、録音（録画）モード、音声認識モード、撮影モード、メッセンジャーモード、および状況認識サービスモードなどで外部の音響信号を入力されて電気的な音声データとして処理することができる。処理された音声データは、例えば、通話モードの場合、移動通信モジュール１１１を介して移動通信基地局に送信可能な形態に変換されて出力されることができる。マイク１４３には、外部の音響信号を入力される動作で発生する雑音（ｎｏｉｓｅ）を除去するための多様な雑音除去アルゴリズムが具現されることができる。マイク１４３は、規則定義および規則実行（命令）のためのユーザ入力(例えば、自然言語に基づくテキストまたは音声などの入力)が受信されるとき、それによる入力データを発生し、制御部１７０に伝達することができる。
【００６５】
格納部１５０は、制御部１７０の処理および制御のためのプログラム（ｐｒｏｇｒａｍ）を格納することもでき、入出力されるデータ（例えば、規則情報、命令情報、アクション情報、状況情報、コンタクト（ｃｏｎｔａｃｔ）情報、メッセージ、メディアコンテンツ（例えば、オーディオ、動画、電子島でなど）など）の臨時格納のための機能を行うこともできる。格納部１５０には、ユーザデバイス１００の機能運用による使用頻度（例えば、規則使用頻度、命令使用頻度、アプリケーション使用頻度、データ（例えば、電話番号、メッセージ、メディアコンテンツ）に対する使用頻度など）、重要度および優先順位も一緒に格納されることができる。格納部１５０には、ユーザ入力部１２０によるユーザ入力に応答して出力される多様なパターン（ｐａｔｔｅｒｎ）の振動および音響またはタッチスクリーン１３０上のタッチ入力に応答して出力される多様なパターンの振動および音響に関するデータを格納することもできる。特に、格納部１５０は、ユーザ定義による規則、定義される各規則の命令（例えば、規則実行命令）、各規則の実行アクション（例えば、機能またはアプリケーション）、および規則終了条件などがマッチングされるマッピングテーブルを格納することができる。
【００６６】
格納部１５０は、ユーザデバイス１００のオペレーティングシステム（ＯＳ、Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、タッチスクリーン１３０を利用した入力および表示制御動作と関連したプログラム、状況認識サービスを運用する制御動作（例えば、規則（例えば、条件およびアクション）生成、規則（例えば、条件）による状況認識、規則によるアクション実行、状況情報フィードバックなど）と関連したプログラム、そして各プログラムの動作によって発生するデータなどを持続的にまたは一時的に格納することができる。また、格納部１５０は、本発明の実施形態による状況認識サービスを支援することと関連した多様な設定情報を格納することができる。前記設定情報は、状況認識サービスを支援するにあたって音声に基づくか、またはテキストに基づくかに関する情報を含むことができる。また、前記設定情報は、規則別に１つまたはそれ以上の条件および前記条件別のアクションを含む規則を含むことができ、また、前記定義された規則を実行する命令がさらに含まれることもできる。
【００６７】
格納部１５０は、フラッシュメモリータイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マイクロタイプ（ｍｉｃｒｏ  ｔｙｐｅ）、およびカードタイプ（例えば、ＳＤカード（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ  Ｃａｒｄ）またはＸＤカード（ｅＸｔｒｅａｍ  Ｄｉｇｉｔａｌ  Ｃａｒｄ）などのメモリ（ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、磁気メモリ（ＭＲＡＭ、Ｍａｇｎｅｔｉｃ  ＲＡＭ）、磁気ディスク（ｍａｇｎｅｔｉｃ  ｄｉｓｋ）、および光ディスク（ｏｐｔｉｃａｌｄｉｓｋ）タイプのメモリのうち少なくとも１つのタイプの格納媒体（ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含むことができる。ユーザデバイス１００は、インターネット上で前記格納部１５０の格納機能を行うウェブストレージ（ｗｅｂ  ｓｔｏｒａｇｅ）と関連して動作することもできる。
【００６８】
インターフェース部１６０は、ユーザデバイス１００に連結されるすべての外部機器との通路の役目を行うことができる。インターフェース部１６０は、外部機器からデータを伝送されるか、または電源を供給されて、ユーザデバイス１００内部の各構成要素に伝達するか、またはユーザデバイス１００内部のデータが外部機器に伝送されるようにすることができる。例えば、有線／無線ヘッドセットポート（ｐｏｒｔ）、外部充電器ポート、有線／無線データポート、メモリカード（ｍｅｍｏｒｙ  ｃａｒｄ）ポート、識別モジュールが具備された装置を連結するポート、オーディオ入出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）ポート、ビデオ入出力ポート、イヤホンポートなどがインターフェース部１６０に含まれることができる。
【００６９】
制御部１７０は、ユーザデバイス１００の全般的な動作を制御することができる。例えば、音声通信、データ通信、画像通信などに関連した制御を行うことができる。制御部１７０は、本発明の多様な実施形態において状況認識サービスを提供することと関連した全般的な動作を制御することができる。本発明の多様な実施形態によれば、制御部１７０は、規則設定モジュール１７３、規則実行モジュール１７５、条件感知モジュール１７７、およびアクション実行モジュール１７９を含むデータ処理モジュール１７１を含むことができる。前記規則設定モジュール１７３、規則実行モジュール１７５、条件感知モジュール１７７、およびアクション実行モジュール１７９に関する動作は、下記で説明される図面と関連して説明される。また、制御部１７０は、状況認識サービス運用のための状況認識サービスフレームワーク(ｆｒａｍｅｗｏｒｋ)(図示せず）、マルチメディア再生のためのマルチメディアモジュール(図示せず）を具備することもできる。本発明において状況認識サービスフレームワーク(図示せず）およびマルチメディアモジュール(図示せず）は、制御部１７０内に具現されることもでき、制御部１７０と別に具現されることもできる。
【００７０】
本発明の実施形態によれば、制御部１７０は、ユーザ入力によって定義される規則設定、ユーザ定義による規則実行、定義された規則に対応する状況認識、定義された規則によるアクション実行、そしてアクション実行による状況情報のフィードバックなどと関連した状況認識サービスの運用を制御することができる。制御部１７０（例えば、規則設定モジュール１７３）は、ユーザ入力（例えば、自然言語に基づく音声またはテキスト入力）によって状況認識サービスのための規則を定義することができる。制御部１７０は、ユーザ入力を受信することができ、受信されたユーザ入力に基づいて条件および前記条件に対応するアクションを含む規則を定義することができる。制御部１７０は、前記規則の条件を有する（条件に対応する）状況（ｃｏｎｔｅｘｔ）検出によって前記規則を活性化することができる。制御部１７０（例えば、規則実行モジュール１７５）は、前記設定された規則による規則実行のための命令が感知されれば、前記命令に対応する１つまたはそれ以上の規則実行を制御することができる。制御部１７０（例えば、条件感知モジュール１７７）は、前記規則実行に応答して実行された当該規則による条件（または状況）を感知（判別）および認識することができる。制御部１７０（例えば、アクション実行モジュール１７９）は、当該規則による条件が認識される時前記実行された当該規則に対応するアクション実行を制御することができる。例えば、制御部１７０は、前記状況が検出されれば、前記条件に対応するアクションを実行することができる。制御部１７０（例えば、アクション実行モジュール１７９）は、アクションに対応する１つの機能（またはアプリケーション）または少なくとも２つ以上の複合機能（またはアプリケーション）を実行し、実行する機能（またはアプリケーション）に対応する当該動作実行を制御することができる。
【００７１】
また、制御部１７０は、規則実行モジュール１７５によってユーザ要請による１つまたはそれ以上の規則が実行された状態で条件感知モジュール１７７によりイベントの発生（例えば、規則に設定された条件に対応する動作感知）を検出すれば、アクション実行モジュール１７９を介して前記実行規則で前記イベントに対するアクション実行のために定義された機能を抽出することができる。そして、制御部１７０は、アクション実行モジュール１７９により前記抽出された機能に対応するアクションの実行を制御することができる。制御部１７０は、規則実行モジュール１７５によりユーザ要請による１つまたはそれ以上の規則が実行された状態でイベントの発生がなければ、条件感知モジュール１７７により現在状況が実行された１つまたはそれ以上の規則を終了する規則終了条件に該当するかを判別することができる。制御部１７０は、条件感知モジュール１７７により前記規則終了条件が感知されれば、規則実行モジュール１７５により前記実行された規則の終了を制御することができる。
【００７２】
また、制御部１７０は、規則実行モジュール１７５により１つまたはそれ以上の規則が実行された状態で、条件感知モジュール１７７により認識された条件によるアクションを実行するとき、アクション実行モジュール１７９によりアクション実行に対応する状況情報のフィードバック動作を制御することができる。また、制御部１７０は、規則実行モジュール１７５により１つまたはそれ以上の規則が実行された状態で条件感知モジュール１７７により認識された条件によって実行された規則を終了するとき、アクション実行モジュール１７９によりアクション終了に対応するフィードバック動作を制御することができる。
【００７３】
本発明の多様な実施形態において前記アクション実行によるフィードバック動作は、アクション実行に対する結果（例えば、状況情報）を表示部１３１などを介してユーザに出力するか、またはアクション実行に対する結果（例えば、状況情報）を無線通信部１１０を介して他のユーザに伝送することを含むことができる。また、前記アクション実行によるフィードバック動作は、アクション実行に対応して外部の機器（例えば、電灯、テレビなど）の動作（例えば、機器ターンオン（ｔｕｒｎ−ｏｎ）またはターンオフ（ｔｕｒｎ−ｏｆｆ）、機器ボリューム加減など）を制御するための制御信号を当該外部の機器に伝送することを含むことができる。本発明の多様な実施形態において前記規則終了によるフィードバック動作は、聴覚（例えば、スピーカー１４１）を用いた設定された音響データ出力）、視覚（例えば、表示部１３１を用いた設定された画面表示）、そして触覚（例えば、振動モジュール(図示せず）を用いた設定された振動パターン出力)の要素のうち少なくとも１つを介してユーザデバイス１００のユーザに提供することを含むことができる。
【００７４】
このような制御部１７０の詳細制御動作について後述する図面を参照したユーザデバイス１００の動作例示およびその制御方法で説明される。
【００７５】
また、本発明の多様な実施形態による制御部１７０は、前記の動作制御以外にユーザデバイス１００の通常的な機能と関連した各種動作を制御することもできる。例えば、制御部１７０は、特定アプリケーションを実行するとき、実行するアプリケーションの運用および画面表示を制御することができる。また、制御部１７０は、タッチに基づく入力インターフェース（例えば、タッチスクリーン１３０）で支援する多様なタッチイベント入力に対応する入力信号を受信し、受信された入力信号による機能運用を制御することができる。また、制御部１７０は、有線通信に基づいてまたはコードレス通信に基づいて各種データの送受信を制御することもできる。
【００７６】
電源供給部１８０は、制御部１７０の制御によって外部の電源、内部の電源を印加されて各構成要素の動作に必要な電源を供給することができる。
【００７７】
以上説明したように、本発明の多様な実施形態によるユーザデバイス１００は、一実施形態によれば、自然言語に基づく音声またはテキストを利用した規則設定のためのユーザ入力を受け入れ、前記ユーザ入力による規則を設定するためのコンピュータにより実行される（ｃｏｍｐｕｔｅｒ−ｉｍｐｌｅｍｅｎｔｅｄ）規則設定モジュール１７３、自然言語に基づく音声またはテキスト、ユーザデバイス１００の動作感知または外部のメッセージ受信を利用した規則実行のための命令を受け入れ、前記命令による規則を実行するためのコンピュータにより実行される規則実行モジュール１７５、規則に設定された１つまたはそれ以上の条件（状況）に反応して内部または外部で発生する１つまたはそれ以上の条件を感知（認識）するためのコンピュータにより実行される条件感知モジュール１７７、規則に設定された１つまたはそれ以上の条件認識に反応して１つまたはそれ以上のアクション実行を制御するためのコンピュータにより実行されるアクション実行モジュール１７９によって具現されることができる。
【００７８】
本発明の多様な実施形態において前記規則設定モジュール１７３は、規則設定モードでユーザによる自然言語に基づく音声またはテキスト入力に反応して前記音声またはテキストを認識（例えば、音声認識、筆記認識）するように動作することができる。本発明の多様な実施形態において前記規則設定モジュール１７３は、１つの規則に対して多数の条件を設定することができ、多数の条件に対応する多数のアクションを設定するように動作することができる。本発明の多様な実施形態において前記条件感知モジュール１７７は、１つの規則に設定された多数の条件に対応する多重状況認識（ｍｕｌｔｉ  ｃｏｎｔｅｘｔ  ａｗａｒｅ）を行うように動作することができる。本発明の多様な実施形態において前記アクション実行モジュール１７９は、１つの規則で多重状況認識に反応して多数のアクションを同時または順次に行うように動作することができる。
【００７９】
本発明において説明される多様な実施形態は、ソフトウェア（ｓｏｆｔｗａｒｅ）、ハードウェア（ｈａｒｄｗａｒｅ）またはこれらの組合されたものを利用してコンピュータ（ｃｏｍｐｕｔｅｒ）またはこれと類似の装置で読み取り可能な記録媒体内で具現されることができる。ハードウェア的な具現によれば、本発明で説明される実施形態は、ＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙｓ）、プロセッサ（ｐｒｏｃｅｓｓｏｒｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラー（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサー（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他機能実行のための電気的なユニット（ｕｎｉｔ）のうち少なくとも１つを利用して具現されることができる。
【００８０】
そして、一部の場合、本明細書で説明される実施形態が制御部１７０自体で具現されることができる。ソフトウェア的な具現によれば、本明細書で説明される手続および機能のような実施形態は、別途のソフトウェアモジュール（例えば、規則設定モジュール１７３、規則実行モジュール１７５、条件感知モジュール１７７またはアクション実行モジュール１７９）で具現されることができる。前記ソフトウェアモジュールそれぞれは、本明細書において説明される１つ以上の機能および動作を行うことができる。
【００８１】
ここで、前記記録媒体は、ユーザ入力によって状況認識サービスのための規則を定義し、前記規則実行のための命令が検出されれば、前記命令に対応する１つまたはそれ以上の規則を実行し、前記実行された規則による条件（状況）が認識されるとき、前記実行規則で前記条件に対応する１つまたはそれ以上のアクションが実行されるように処理するプログラムを格納したコンピュータで読み取り可能な記録媒体を含むことができる。また、前記記録媒体は、自然言語に基づく音声およびテキストのうち少なくとも１つのユーザ入力を条件および前記条件に対応するアクションで区分して前記条件および前記アクションを含む規則を設定する動作、前記規則に対応する命令に反応して前記規則を活性化する動作、前記規則活性化に応答して前記規則による条件を感知する動作、前記条件が感知されるとき、前記条件に対応する前記アクションを実行する動作を行うプログラムを格納したコンピュータで読み取り可能な記録媒体を含むことができる。
【００８２】
以上説明したような、本発明の多様な実施形態によるユーザデバイス１００は、本発明の機能を支援するすべての情報通信機器、マルチメディア機器およびそれに対する応用機器のように、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を使用するすべてのデバイスを含むことができる。例えば、前記ユーザデバイス１００は、多様な通信システムに対応する各通信プロトコル（ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｐｒｏｔｏｃｏｌｓ）に基づいて動作する移動通信端末機を含めて、タブレットパソコン（ｔａｂｌｅｔ  Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、スマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）、デジタルカメラ（Ｄｉｇｉｔａｌ  Ｃａｍｅｒａ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、メディアプレーヤー（Ｍｅｄｉａ  Ｐｌａｙｅｒ）（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末、およびＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などのデバイスを含むことができる。また、本発明の多様な実施形態による機能制御方法は、デジタルテレビ（Ｄｉｇｉｔａｌ  Ｔｅｌｅｖｉｓｉｏｎ）、ＤＳ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｇｅ）、ＬＦＤ（Ｌａｒｇｅ  Ｆｏｒｍａｔ  Ｄｉｓｐｌａｙ）などのように多様なディスプレイデバイス、ノートパソコンなどのようなラップトップコンピュータおよび個人用コンピュータ（ＰＣ）などに適用されて運用されることもできる。
【００８３】
図２は、本発明の実施形態によるユーザデバイスで状況認識サービスを運用する方法を示す流れ図である。
【００８４】
図２を参照すれば、制御部１７０(例えば、規則設定モジュール１７３)は、ユーザ入力部１２０、マイク１４３またはタッチスクリーン１３０を介して状況認識サービスのための規則を定義する入力が発生すれば、ユーザから入力（または選択）される規則を定義（例えば、規則設定および生成）することができる（２０１段階）。
【００８５】
例えば、ユーザは、規則設定モードでマイク１４３を介して設定しようとする規則に対応する自然言語に基づく音声を入力することができる。または、ユーザは、規則設定モードでタッチスクリーン１３０を介して設定しようとする規則に対応する自然言語に基づくテキストを入力することもできる。また、制御部１７０（例えば、規則設定モジュール１７３）は、ユーザ入力を認識（例えば、音声認識または筆記認識など）および解析（ｐａｒｓｉｎｇ）して実行する規則を定義することができる。制御部１７０（例えば、規則実行モジュール１７５）は、ユーザにより規則が定義されるとき、設定された規則に対する規則実行を待機（すなわち、規則実行のための命令検出待機）する活性化状態で管理することもできる。本発明の多様な実施形態において規則を設定および生成する動作について後述する図面（例えば、図３Ａ〜３Ｋ、図３１Ａ〜図３１Ｎなど）と関連して下記で説明される。
【００８６】
制御部１７０（例えば、規則実行モジュール１７５）は、ユーザ入力による１つまたはそれ以上の規則が定義された状態で特定規則の実行のための命令が受信されれば、当該規則実行を制御することができる（２０３段階）。
【００８７】
例えば、ユーザは、ユーザ入力部１２０、マイク１４３またはタッチスクリーン１３０を介してあらかじめ定義された規則を実行するための命令語または命令語文章を自然言語に基づいて入力することができる。ユーザは、機能キー入力に基づいて、音声入力に基づいて、タッチ入力（例えば、テキストの筆記入力、ウィジェット選択など）に基づいて、またはユーザデバイス１００を利用したジェスチャーに基づいて（例えば、ユーザデバイス１００の姿勢変化（例えば、傾き、加速運動など）など）のうち状況認識サービスの活性化のための１つまたはそれ以上の規則に対応する特定命令を入力することによって、当該規則を実行することができる。このように、本発明の実施形態において前記規則実行のための命令は、規則実行のために当該規則に定義された条件に合致するユーザの多様な入力方式を含むことができる。また、本発明の実施形態において前記規則実行のための命令は、前記ユーザによる入力を含めて、規則実行のために定義された条件に合致する特定メッセージまたはサウンドが外部から受信されることを含むことができる。それでは、制御部１７０（例えば、規則実行モジュール１７５）は、規則実行のための条件を満たす特定命令を認識し、認識された命令に応答して当該規則を実行し、状況認識サービスの活性化を制御することができる。
【００８８】
制御部１７０（例えば、条件感知モジュール１７７）は、実行されている規則に対応する条件（状況）をトリガリング（ｔｒｉｇｇｅｒｉｎｇ）することができる（２０５段階）。そして、制御部１７０（例えば、アクション実行モジュール１７９）は、実行中の規則に対応する条件がトリガリングされれば、前記条件に対応する１つまたはそれ以上のアクション実行を制御することができる（２０７段階）。
【００８９】
例えば、制御部１７０（例えば、条件感知モジュール１７７）は、１つまたはそれ以上の規則が実行されるとき、当該規則でアクションを誘発させる条件または状況（ｔｒｉｇｇｅｒｉｎｇ  ｃｏｎｄｉｔｉｏｎ）を監視することができる。そして、制御部１７０（例えば、アクション実行モジュール１７９）は、前記アクションを誘発する条件または状況が感知されれば、当該アクションを実行するための内部または外部に対する動作を制御することができる。ここで、アクション実行は、定義された規則（例えば、条件およびアクション）によって機能（またはアプリケーション）を実行し、それによる結果（例えば、状況情報）を生成し、ユーザまたは他のユーザにフィードバックされるようにする動作を含むことができる。
【００９０】
一方、本発明の実施形態では、前記２０１段階による規則定義動作は、ユーザによりあらかじめ定義されて格納された状態であることができ、またはユーザが希望する規則を実行する前に、ユーザにより追加定義されることもできる。したがって、前者の場合、ユーザは、規則実行のための命令を入力する２０３段階をすぐ行うことができ、後者の場合、ユーザは、規則定義および規則実行のための命令を入力する２０１段階および２０３段階をすべて行うこともできる。
【００９１】
図３Ａ〜図３Ｋは、本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【００９２】
図３Ａ〜図３Ｋは、まず図２を参照した説明で制御部１７０（例えば、規則設定モジュール１７３）がユーザ入力のうち自然言語に基づく音声入力を受け入れ、前記音声入力に反応して規則（例えば、条件およびアクション）を定義する動作の例示を示すものである。図３Ａ〜図３Ｋを参照すれば、図３Ａは、ユーザデバイス１００のユーザが本発明の実施形態による状況認識サービスのためのアプリケーションを実行したときのユーザデバイス１００の画面例示を示すものである。
【００９３】
図３Ａに示されたように、状況認識サービスのためのアプリケーションは、ユーザが定義した規則のリスト（ｌｉｓｔ）を表示するための第１メニュー（ｍｅｎｕ）３１０（例えば、マイメニュー、図３Ａで“Ｍｙ  Ｒｕｌｅ”）、定義された規則のうち現在実行されている規則のリストを表示するための第２メニュー３２０（例えば、アクティングメニュー、図３Ａで“Ａｃｔｉｎｇ  Ｒｕｌｅ”）、新しい規則を追加定義するための第３メニュー３５０（例えば、追加メニュー、図３ａで“Ａｄｄ  Ｒｕｌｅ”）などを含むＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）またはＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）（以下、画面インターフェース（ｄｉｓｐｌａｙ  ｉｎｔｅｒｆａｃｅ）という）を提供することができる。
【００９４】
また、前記画面インターフェースは、第１メニュー３１０または第２メニュー３２０のうち選択されたメニューアイテムに対応するリストを提供することができる。例えば、図３Ａの例示のように、第１メニュー３１０が選択された状態であるとき、ユーザにより定義された各規則に対応するアイテム(ｉｔｅｍ)（例えば、“家”アイテム３３０、“タクシー”アイテム３４０）のリストが表示されることができる。
【００９５】
また、前記アイテム３３０、３４０は、当該アイテムに設定された詳細情報を表示するためのプルダウンメニュー（ｐｕｌｌ−ｄｏｗｎ  ｍｅｎｕ）３３５を含むことができる。例えば、ユーザがプルダウンメニュー３３５を選択するとき、プルダウン（ｐｕｌｌ−ｄｏｗｎ）またはドロップダウン（ｄｒｏｐ  ｄｏｗｎ）メニュー３３５が選択された当該アイテムの規則に設定された詳細情報が当該アイテムの下方に広がって表示されることができる。
【００９６】
図３Ａのような状態で、ユーザは、新しい規則を追加定義するために第３メニュー３５０（Ａｄｄ  Ｒｕｌｅ）を選択（例えば、タップに基づくタッチイベント）することができる。それでは、ユーザデバイス１００の制御部１７０（例えば、規則設定モジュール１７３）は、規則を定義するための動作開始であるものと決定し、それにより、規則設定モードに切り替えて、それによる画面インターフェースを表示することができる。このような例示が前記図３Ｂに示されている。
【００９７】
図３Ｂは、ユーザデバイス１００のユーザが規則を定義するための規則設定モードを実行したときのユーザデバイス１００の画面例示を示すものである。本発明の実施形態において前記図３Ｂによる動作は、規則定義による動作実行方法に対するチュートリアル（ｔｕｔｏｒｉａｌ）をユーザに提供するための動作に該当するもので、このようなチュートリアルを提供する動作は、ユーザ選択によって省略されることができる。
【００９８】
図３Ｂに示されたように、チュートリアルは、ポップアップウィンドウ（ｐｏｐ−ｕｐ  ｗｉｎｄｏｗ）３５１を介して提供されることができる。制御部１７０は、チュートリアルが表示されるように動作するとき、ポップアップウィンドウ３５１の表示を制御し、ポップアップウィンドウ３５１内に規則を定義する方法を案内する実行情報（例えば、イメージ、テキストなど）を表示することができる。例えば、前記実行情報は、音声認識動作状態を指示するイメージ３５１ｃと規則を定義する方法を案内するテキスト３５１ｄ（例えば、次のようにルールを作ってください。“地下鉄と言えば、音楽を再生してくれ”、“地下鉄と言えば、次をしてくれ”）などを含んで提供されることができる。また、チュートリアルを提供するポップアップウィンドウ３５１は、規則定義する次の動作に進行するための選択メニュー３５１ａ（例えば、確認）と規則定義を取り消す動作に進行するための選択メニュー３５１ｂ（例えば、取り消し）とを含むことができる。図３Ｂのようなチュートリアルが行われる動作で前記ポップアップウィンドウ３５１の選択メニュー３５１ａ、３５１ｂの選択によって規則定義のための次の動作が行われるか、または規則定義のための動作が取り消されることができる。
【００９９】
図３Ｃないし図３Ｋは、本発明の実施形態において規則設定モードに進入し、新しい規則を定義する動作を示すものである。図３Ｃ〜図３Ｋでは、当該規則の条件およびアクションを設定する自然言語に基づく音声をユーザから入力され、ユーザ入力によって当該規則を設定する動作例示を示す。
【０１００】
図３Ｃ〜図３Ｋに示されたように、図３Ｃで、制御部１７０は、規則設定モード進入に反応してユーザの音声入力を案内（例えば、“ルールを話してください”）するポップアップウィンドウ３５３を表示した後、ユーザの音声入力を待機することができる。図３Ｃのような状態で、ユーザは、定義する規則のタイプ（例えば、単数構造または複数構造など）によって自然言語に基づいて１つまたはそれ以上の条件と、当該条件に設定する１つまたはそれ以上のアクションに対する音声を入力することができる。
【０１０１】
例えば、図３Ｃのような状態で、ユーザは、“地下鉄と言えば、次をしてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図３Ｄのように、音声認識による結果画面をポップアップウィンドウ３５５を通じて提供することができる。一実施形態によれば、制御部１７０は、“命令語［地下鉄］何をしてあげましょうか？”のように音声認識に対する結果と“地下鉄”という条件で行うアクションに対する音声入力を案内（例えば、“何をしてあげましょうか？”）するポップアップウィンドウ３５５を表示した後、ユーザの音声入力を待機することができる。
【０１０２】
図３Ｄのような状態で、ユーザは、“ワイファイ（Ｗｉ−Ｆｉ）オンしてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図３Ｅのように、音声認識および先立って入力された条件（例えば、地下鉄）とそれによるアクション（例えば、Ｗｉ−Ｆｉターンオン）をマッピングする動作中であることを案内（例えば、認識中）するポップアップウィンドウ３５９を提供することができる。本発明の多様な実施形態において、前記認識動作による関連画面表示は、省略されることもできる。
【０１０３】
制御部１７０は、前述した認識およびマッピング動作が完了するとき、図３ｆのように、それによる結果画面をポップアップウィンドウ３５９を通じて提供することができる。例えば、制御部１７０は、ユーザの音声入力によって新しい規則が定義され、定義された規則およびそのアクションに対する情報を案内するポップアップウィンドウ３５９を提供することができる。一実施形態によれば、前記ポップアップウィンドウ３５９を通じて示したように、制御部１７０は、“新しいルールが生成され、生成されたルールの条件が地下鉄であり、地下鉄の条件で実行されるアクションがＷｉ−Ｆｉのターンオン設定”であることを案内し、それに対するユーザ確認（例えば、確認および取り消し）を要求するメニューを提供することができる。図３Ｆのような状態で、ユーザは、前述した手続によって設定された規則を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消そうとするとき、取り消しメニューを選択することができる。
【０１０４】
図３Ｆのような状態で、ユーザが確認メニューを選択（または音声入力）するとき、図３Ｇのように、ユーザの次の音声入力を案内（例えば、“次を話してください”するポップアップウィンドウ３６１を表示した後、ユーザの音声入力を待機することができる。図３Ｇのような状態で、ユーザは、“振動に変えてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図３Ｈのように音声認識および先立って入力された条件（例えば、地下鉄）とそれによる追加アクション（例えば、振動設定）をマッピングする動作中であることを案内（例えば、認識中）するポップアップウィンドウ３６３を提供することができる。そして制御部１７０は、前述した認識およびマッピング動作が完了するとき、図３ｉのように、それによる結果画面をポップアップウィンドウ３６５を通じて提供することができる。例えば、制御部１７０は、ユーザの音声入力によって設定が進行中の規則およびそのアクションに対する情報を案内するポップアップウィンドウ３６５を提供することができる。一実施形態によれば、前記ポップアップウィンドウ３６５を通じて示されたように、制御部１７０は、“新しいルールが生成され、生成されたルールの条件が地下鉄であり、地下鉄の条件で実行される追加アクションが振動モードに切替設定”であることを案内し、それに対するユーザ確認（例えば、確認および取り消し）を要求するメニューを提供することができる。図３ｉのような状態で、ユーザは、前述した手続によって設定された規則を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消そうとするとき、取り消しメニューを選択することができる。
【０１０５】
図３Ｉのような状態で、ユーザが確認メニューを選択するとき、図３Ｊのように、ユーザの次の音声入力を案内（例えば、“次を話してください”）するポップアップウィンドウ３６７を表示した後、ユーザの音声入力を待機することができる。図３Ｉのような状態で、ユーザは、“エンド（または終了など）”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図３Ｋのように、図３Ｂ〜図３Ｊによって進行された規則定義によって設定された条件およびそれに対応する１つまたはそれ以上のアクションに対する情報を提供することができる。
【０１０６】
例えば、制御部１７０は、図３Ｋに示したように、先立って手続によって進行された規則定義動作で前記規則の条件が地下鉄であり、前記条件によって実行されるアクションが“Ｗｉ−Ｆｉのターンオン設定”と“振動モード切替設定”であることを示すことができる。このように、追加定義された規則は、先立って図３Ａで説明した規則リストで前記追加された定義が含まれて提供されることができる。例えば、ユーザにより以前に定義された規則に対応するアイテム（例えば、“家”アイテム３３０、“タクシー”アイテム３４０）に前記新しく追加定義された規則に対応するアイテム（例えば、“地下鉄”アイテム３６０）が追加されて現われることができ、前記新しく追加された“地下鉄”アイテム３６０に対する詳細情報（例えば、条件およびそのアクション）が広がった形態で提供されることができる。前記画面インターフェースは、デバイスの多様な設定を表示することができる。例えば、前記画面インターフェースは、Ｗｉ−Ｆｉ設定３７１とサウンド設定３７３などを表示することができる。前記デバイスの設定は、アイテム（例えば、アイテム３３０、アイテム３４０、および／またはアイテム３６０）と連関されることができる。
【０１０７】
一方、以上で、図３Ａ〜図３Ｋを参照して説明したように、本発明の多様な実施形態によれば、１つの条件に１つまたはそれ以上のアクションをマッピングすることができる。すなわち、本発明の実施形態によれば、単数構造による規則定義動作と複数構造による規則定義動作を支援することができる。これを整理して見れば、次の通りである。
【０１０８】
前記単数構造による規則定義動作を要約すれば、下記の表１のように示すことができる。
【０１０９】
【表１】
2014064278.tif 000003
【０１１０】
前記複数構造による規則定義動作を要約すれば、下記の表１のように示すことができる。
【０１１１】
【表２】
2014064278.tif 000004
【０１１２】
前記表１および前記表２に開示されたように、「“家”と言えば、ベル音に変えてくれ。」のように、単純Ｉｆ条件文の形態で可能であり、または「“家”と言えば、電話がかかってくるとき、テレビ音を消去してくれ。」のように、重複Ｉｆ条件文の形態でも可能である。また、本発明の実施形態によれば、単純Ｉｆ条件文または重複Ｉｆ条件文による１つまたはそれ以上の条件に対して複数のアクション（例えば、端末機機能、状況による多重アプセサリ（Ｍｕｌｔｉ−Ａｐｐｃｅｓｓｏｒｙ（Ａｐｐ＋Ａｃｃｅｓｓｏｒｙ）連動、クラウド（Ｃｌｏｕｄ）サービス使用）が設定されることができる。例えば、複数のアクションのうち端末機機能の場合、Ｗｉ−Ｆｉモード設定、ベル音／振動／無音モード変更、文字伝送（受信者、内容音声設定）、カメラフラッシュ点灯などが含まれることができ、状況による多重アプセサリの場合テレビ音消去設定、ＬＥＤ電球点灯などが含まれることができ、クラウドサービス使用の場合ユーザ位置把握（例えば、ＧＰＳ利用）後、文字伝送などが含まれることができる。
【０１１３】
このような本発明の実施形態で規則に設定されることができる条件（または命令）の種類および少なくとも１つの条件に対して設定されることができるアクションの種類を整理して記述すれば、次の表３のように示すことができる。
【０１１４】
【表３】
2014064278.tif 000005
【０１１５】
一方、本発明の多様な実施形態によれば、ユーザが特定条件に対して実行しようとするアクションによってユーザデバイス１００は、付加的に必要な情報をユーザに音声またはテキストでフィードバック（ｆｅｅｄｂａｃｋ）しながらインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）（例えば、質疑応答方式）動作を行うことができる。例えば、本発明の多様な実施形態によれば、ユーザデバイス１００で支援可能なすべてのアクションに対してユーザからどんな情報を受けなければならないかをあらかじめデータベース（ＤＢ、Ｄａｔａ  Ｂａｓｅ）化されて提供されることができる。一実施形態によれば、文字を伝送するアクションの場合、受信者と文字内容に対する追加的な情報が必要であるということをユーザデバイス１００が認知し、ユーザに音声およびテキストで追加情報を入力するように誘導することができ、また、誤った入力値の場合、エラーを通知し、再入力を要請および受信することができる。このような動作例示について、下記図４Ａ〜図４Ｊを参照して説明する。
【０１１６】
図４Ａ〜図４Ｊは、本発明の実施形態によるユーザデバイスで規則を生成する動作例示を示す図である。
【０１１７】
図４Ａ〜図４Ｊを参照すれば、制御部１７０は、先立って図３Ａ（または図３Ｂ動作を含む）のような状態で、ユーザの規則設定モード進入に反応してユーザの音声入力を案内（例えば、“ルールを話してください”）するポップアップウィンドウ４５１を表示した後、ユーザの音声入力を待機することができる。図４Ａのような状態で、ユーザは、定義する規則のタイプ（例えば、単数構造または複数構造など）によって自然言語に基づいて１つまたはそれ以上の条件と、当該条件に設定する１つまたはそれ以上のアクションに対する音声を入力することができる。
【０１１８】
例えば、図４Ａのような状態で、ユーザは、“タクシーと言えば、次をしてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｂのように、音声認識による結果画面をポップアップウィンドウ４５３を通じて提供することができる。一実施形態によれば、制御部１７０は、“命令語［タクシー］何をしてあげましょうか？”のように、音声認識に対する結果と“タクシー”という条件で行うアクションに対する音声入力を案内(例えば、“何をしてあげましょうか？”)するポップアップウィンドウ４５３を表示した後、ユーザの音声入力を待機することができる。
【０１１９】
図４Ｂのような状態で、ユーザは、“文字を送ってくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｃ〜図４Ｆのように、前記アクション（例えば、“文字を送ってくれ”）に対してユーザから入力されなければならない情報を認識し、それに対するフィードバックを提供するインタラクション動作を行うことができる。
【０１２０】
例えば、図４Ｃに示されたように、制御部１７０は、前記“文字を送ってくれ”のアクションに対して追加されることができる情報である“受信者”に対して入力することを案内（例えば、“命令語［タクシー］受信者を話してください。”）するポップアップウィンドウ４５５を表示した後、ユーザの音声入力を待機することができる。図４ｃのような状態で、ユーザは、文字を伝送する特定受信者情報（例えば、“ボーイフレンド”）に対する音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｄに示されたように、前記“文字を送ってくれ”のアクションに対して追加されることができる情報である“文字内容”に対して追加入力することを案内（例えば、“Ｔｏ.［ボーイフレンド］文字内容を話してください。”）するポップアップウィンドウ４５７を表示した後、ユーザの音声入力を待機することができる。すなわち、制御部１７０は、図４Ｃで入力された受信者（例えば、“ボーイフレンド”）のアクションに対する追加的な情報が必要であるということを認知し、それによって伝送する文字の内容に対して入力することを要請することができる。
【０１２１】
図４Ｄのような状態で、ユーザは、図４Ｄで入力された受信者（例えば、“ボーイフレンド”）に伝送する文字内容を入力することができる。一実施形態によれば、ユーザは、“ボーイフレンド”に伝送する文字内容で“私の位置を送ってくれ”という音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｅに示されたように、前記“位置伝送”のアクションに対する追加的な情報が必要であるということを認知し、ユーザに前記“位置伝送”に対する周期を案内（例えば、Ｔｏ．［ボーイフレンド］何分ごとに送りましょうか？”）するポップアップウィンドウ４５９を表示した後、ユーザの音声入力を待機することができる。
【０１２２】
図４Ｅのような状態で、ユーザは、“私の位置伝送”に対して伝送する周期を入力することができる。一実施形態によれば、ユーザは、“私の位置伝送”に対する周期で“５分ごとに”という音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｆに示されたように、それに対する結果画面を提供することができる。
【０１２３】
例えば、図４Ｆに示されたように、ユーザが現在定義しようとする規則の条件に設定された条件情報４１０と、前記条件に対するアクションに設定されたアクション情報４１１、４１３、４１５、４１７に対してポップアップウィンドウ４６１を通じて提供されることができる。特に、前記アクション情報４１１、４１３、４１５、４１７の場合、初めて設定されるアクションによって付加的に設定されたアクションが提供されることができる。一実施形態によれば、第１アクションとして“メッセージ伝送４１１”が設定されることができ、前記第１アクションによるメッセージを伝送する対象である第２アクションとして“ボーイフレンド４１３”が設定されることができ、前記第１アクションおよび第２アクション（または第２アクション）によってボーイフレンドに伝送するメッセージの内容である第３アクションとして“私の位置伝送４１５”が設定されることができ、前記第１アクション〜第３アクション（または第３アクション）によってボーイフレンドに私の位置に対するメッセージを伝送する周期の第４アクションとして“５分（４１７）”が設定されることができる。すなわち、本発明の実施形態によれば、制御部１７０は、前述したように、アクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクション動作を行うことができる。この際、制御部１７０は、アクションに対するインタラクション動作のうち追加的な情報がこれ以上不要なアクションに対してこれを認知し、図４Ｆのように、要請された条件（例えば、“タクシー４１０”）に対して設定されたアクション（例えば、“メッセージ伝送４１１”、“ボーイフレンド４１３”、“私の位置伝送４１５”、“５分（４１７）”）に対する情報をポップアップウィンドウ４６１を通じて提供することができる。これにより、ユーザは、“タクシー”という条件でボーイフレンドに５分ごとに私の位置を含むメッセージを伝送するアクションを有する規則を定義することができる。
【０１２４】
一方、図４Ｆのような状態で、ユーザは、前述した手続によって設定された規則の条件（例えば、タクシー）に対するアクション（例えば、ボーイフレンド、私の位置伝送、５分）を定義しようとするとき、確認メニューを選択することができ、上記のように設定された規則を取り消すかまたは再設定しようとするとき、取り消しメニューを選択することができる。
【０１２５】
図４Ｆのような状態で、ユーザが確認メニューを選択（または音声入力）すれば、（例えば、“確認”と言えば）、図４Ｇのように、ユーザの次音声入力を案内（例えば、“次を話してください”）するポップアップウィンドウ４６３を表示した後、ユーザの音声入力を待機することができる。図４Ｇのような状態で、ユーザは、前記条件（例えば、タクシー）に対する追加的なアクションとしてマナーモードへの切替設定のために“振動に変えてくれ”と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｈのように音声認識および先立って入力された条件（例えば、タクシー）とそれによる追加アクション（例えば、振動設定）に対する結果画面をポップアップウィンドウ４６５を通じて提供することができる。一実施形態によれば、前記ポップアップウィンドウ４６５を通じて示したように、制御部１７０は、“新しいルールが生成され、生成されたルールの条件がタクシーであり、タクシーの条件で実行される追加アクションが振動モードに切替設定”であることを案内し、それに対するユーザ確認（例えば、確認および取り消し）を要求するメニューを提供することができる。
【０１２６】
図４Ｈのような状態で、ユーザが確認メニューを選択するとき、図４Ｉのように、ユーザの次の音声入力を案内（例えば、“次を話してください”）するポップアップウィンドウ４６７を表示した後、ユーザの音声入力を待機することができる。図４Ｉのような状態で、ユーザは、進行中の規則に対する追加設定を終了しようとするとき、“エンド（または終了など”）と音声を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図４Ｊのように、前記図４Ａ〜図４Ｉによって進行された規則に設定された条件およびそれに対応する１つまたはそれ以上のアクションに対する情報を提供することができる。
【０１２７】
例えば、制御部１７０は、図４Ｊに示したように、先立って手続きによって進行された規則定義動作で前記規則の条件がタクシーであり、前記条件によって実行されるアクションが“メッセージ伝送”と“サウンド設定”に該当し、それに対する詳細情報として“ボーイフレンドに私の位置を５分ごとにメッセージで伝送”であり、“サウンド設定で振動”が設定されていることを案内する結果画面を提供することができる。
【０１２８】
一方、本発明の多様な実施形態によれば、図４Ａ〜図４Ｆに示されたように、ユーザが入力するアクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクションを動作を行うことができる。また、本発明の多様な実施形態によれば、図４Ｇ〜図４Ｉに示されたように、追加的な情報が不要なアクション（例えば、サウンド設定など）を認知することができ、追加的な情報が不要なアクションに対しては、追加的なユーザ入力を要請することなく、次の動作をすぐ進行することができる。
【０１２９】
以上では、本発明の多様な実施形態によって規則を定義する動作について説明した。以下では、上記のように定義された特定規則を実行する動作例示について説明する。本発明の多様な実施形態によれば、定義された規則に対する実行は、先立って説明したように、ユーザの音声またはテキスト入力によってすぐ実行されることができる。また、定義された規則に対する実行は、以下で説明するように、ユーザデバイスでユーザの定義による規則に対してウィジェット（ｗｉｄｇｅｔ）を生成し、前記ウィジェットによって当該規則を実行することもできる。すなわち、本発明の多様な実施形態によれば、ウィジェットを通じて規則に対する命令をすぐ実行することができるように支援することができる。
【０１３０】
また、本発明の多様な実施形態において規則生成時に、規則を生成する動作中に通話受信またはその他の動作によるインタラプトが発生し、規則生成動作が不可能な場合、インタラプト発生時点まで進行中であった規則を格納（または臨時格納）し、インタラプトによる動作が行われるようにすることができる。
【０１３１】
図５Ａ〜図５Ｅは、本発明の実施形態によるユーザデバイスで規則を実行する動作例示を示す図である。
【０１３２】
図５Ａ〜図５Ｅは、先立って図２を参照した説明で制御部１７０（例えば、規則実行モジュール１７５）がユーザ入力中に自然言語に基づく音声入力を受け入れ、前記音声入力に反応して規則を実行し、制御部１７０（例えば、条件感知モジュール１７７）が規則実行に反応して前記規則に対応する条件を感知し、制御部１７０（例えば、アクション実行モジュール１７９）が条件感知（例えば、状況（ｃｏｎｔｅｘｔ）が検出されるとき）に反応して当該条件に対応する１つまたはそれ以上のアクションを実行する動作の例示を示すものである。
【０１３３】
図５Ａ〜図５Ｅを参照すれば、図５Ａは、本発明の実施形態による状況認識サービスのためのウィジェットが提供されているときのユーザデバイス１００の画面例示を示すものである。
【０１３４】
図５Ａに示されたように、状況認識サービスのためのウィジェット５００は、ユーザデバイス１００のホーム画面（またはメニュー画面など）で表示されることができる。前記ウィジェット５００は、規則実行を命令するユーザ入力（例えば、タップ、タッチ）を受け入れるための命令入力領域（または規則実行ボタン）５１０と、ユーザにより定義された規則のうち現在動作中の規則に対する情報を表示する実行情報領域５２０とを含むことができる。また、前記ウィジェット５００は、実行中の規則などに対する情報を更新するためのリフレッシュ機能を提供するアイテム５３０をさらに含むことができる。一実施形態によれば、前記命令入力領域５１０は、ユーザの直観性が考慮されることができるイメージとテキストを含んで提供されることができる。そして、図５ａの例示では、現在実行中の規則がない状態の例示を示したもので、前記実行情報領域５２０には、動作中の規則がないことが案内されることができる。
【０１３５】
図５Ａのような状態で、ユーザは、規則を実行するために前記命令入力領域５１０を選択（例えば、タップに基づくタッチイベントなど）することができる。それでは、制御部１７０(例えば、規則実行モジュール１７５)は、規則を実行するための動作開始であるものと決定し、それによって実行しようとする規則に対する情報入力（例えば、音声）を案内（例えば、“命令語を話してください”）するポップアップウィンドウ５５１を表示した後、ユーザの音声入力を待機することができる。
【０１３６】
図５Ａのような状態で、ユーザは、実行しようとする当該規則に対する音声（例えば、“地下鉄”）を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、図５Ｃに示されたように、前記“地下鉄”に対応する規則をローディング（ｌｏａｄｉｎｇ）中であることを案内（例えば、認識中）するポップアップウィンドウ５５３を提供することができる。本発明の多様な実施形態において前記認識動作による関連画面表示は、省略されることもできる。
【０１３７】
制御部１７０は、前述した認識およびローディング動作が完了するとき、図５Ｄのように、それによる結果画面をポップアップウィンドウ５５５を通じて提供することができる。例えば、制御部１７０は、ユーザの音声入力によって実行する規則と、前記規則による条件およびアクションに対する情報をポップアップウィンドウ５５５を通じて提供することができる。一実施形態によれば、制御部１７０は、実行する規則が“地下鉄”であり、その条件として“地下鉄”が設定（例えば、［地下鉄］実行）されており、前記条件によって動作するアクションとして“Ｗｉ−Ｆｉターンオン”および“振動切替”が設定（例えば、‘Ｗｉ−Ｆｉ’ｏｎ、‘振動’設定）されていることを案内することができる。本発明の多様な実施形態において前記実行される規則に対する情報提供動作と関連した画面表示は、省略されることができ、後述する図５Ｅの動作にすぐ進行されることもできる。そして、図５Ｅの動作は、設定された所定の時間の間に表示された後、所定の時間が経過する時点で図５Ｅの動作に自動切り替えられることができる。
【０１３８】
図５Ｄのような状態で、所定の時間が経過するとき、制御部１７０は、図５Ｅに示されたように、前記ウィジェット５００の実行情報領域５２０にユーザにより実行された規則（または現在動作中の規則）に対する情報（例えば、地下鉄）をイメージまたはテキストのうち少なくとも１つを利用して提供することができる。例えば、図５Ｅに示されたように、ウィジェット５００の実行情報領域５２０が“動作中のルールがありません。”の代わりに、地下鉄に対応するアイコンおよびテキストが表示されることができる。また、図５Ｅに示されたように、制御部１７０は、規則実行に反応して、ユーザデバイス１００の多様な動作状態情報を提供するインジケータ領域（ｉｎｄｉｃａｔｏｒ  ａｒｅａ）に規則が動作中にあることを通知する通知アイテム（ｎｏｔｉｆｉｃａｔｉｏｎ  ｉｔｅｍ）５５０を提供することもできる。前記通知アイテムについて後述する。
【０１３９】
そして、図５Ｅでは、１つの規則が動作することを例示として示したが、前記手続を通じて複数の規則が実行されることができ、このような場合、前記実行情報領域５２０では、実行中の複数の規則に対する情報が提供されることができる。また、前記では、命令入力領域５１０が選択される時、ユーザ音声入力を要請する動作として進行することを例示したが、本発明の多様な実施形態によれば、前記命令入力領域５１０の選択に反応してユーザにより定義された規則に対する規則リストを提供し、規則リストでユーザが実行しようとする少なくとも１つの規則を選択される動作として進行されることもできる。
【０１４０】
一方、制御部１７０(例えば、条件感知モジュール１７７)は、上記のように定義された多様な規則のうち特定規則が動作中の状態で、動作中の当該規則に反応する条件を感知するように動作することができる。そして、制御部１７０（例えば、アクション実行モジュール１７９）は、当該規則の条件が感知されるとき、当該条件にマッピングされた１つまたはそれ以上のアクションを実行するように動作することができる。一実施形態によれば、制御部１７０（例えば、アクション実行モジュール１７９）は、前記規則の条件に対応する状況（ｃｏｎｔｅｘｔ）にマッピングされた少なくとも１つのアクションを実行することができる。
【０１４１】
以上のように、本発明の多様な実施形態によれば、ウィジェット５００を通じて規則を実行することができる。一実施形態によれば、ユーザは、ウィジェット５００で命令入力領域（または規則実行ボタン）５１０を選択し、設定された規則（または命令語）に対する音声を言うことができる。それでは、制御部１７０は、規則の開始を通知しながらどんなアクションが行われるかをテキストポップアップまたは音声（例えば、ＴＴＳ（Ｔｅｘｔ  Ｔｏ  ｓｐｅｅｃｈ）動作）でユーザにフィードバックすることができる。そして、制御部１７０は、実行する当該規則に対して実行情報領域５２０に追加しながら、インジケータ領域を通じて実行中の規則があることを通知する通知アイテム５５０を表示することができる。前記通知アイテム５５０については、後述する。
【０１４２】
以下では、本発明の多様な実施形態による状況認識サービス運用方法に対する具体的動作例示について下記図面（例えば、図６〜図１３）を参照して説明する。
【０１４３】
図６は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
【０１４４】
図６を参照すれば、図６は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示したものである。特に、図６では、ユーザが特定条件１（例えば、家）でアクション１（例えば、サウンド設定）を実行し、前記条件１の下に行われる二重条件（条件２）（例えば、電話がかかってくるとき）としてアクション２（例えば、電灯点滅）およびアクション３（例えば、テレビ音消去（ｍｕｔｅ））が行われるようにする規則に対する動作例示を示したものである。
【０１４５】
図６に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則生成のための機能を活性化し、ユーザデバイス１００とのインタラクションを通じて特定位置でベル音を自動切替し、前記特定位置から電話がかかってくるとき、電灯点滅およびテレビ音消去を制御するようにする規則を定義することができる。一実施形態によれば、ユーザは、“家では、サウンド設定をベル音に変え、家から電話がかかってくるとき、電灯を点滅し、テレビを音消去”することと関連した規則をユーザデバイス１００との段階別インタラクション動作によって定義することができる。このような規則を定義する動作は、図３Ａ〜図４Ｊを参照した規則生成動作によって行われることができる。ここで、前記規則を定義する動作は、自然言語に基づいて入力されて設定されることができる。
【０１４６】
そして、ユーザは、音声またはテキストを利用した自然言語に基づいて前記定義された規則の実行を命令することができる。図６で定義された規則による状況認識対象、すなわち条件は、“［家］という音声が入力されるとき、家から電話がかかってくるとき”になることができ、前記条件によるアクション実行対象は、“ベルサウンド設定、電灯瞬き、テレビ音消去”になることができる。図６でユーザは、別途の定義をしないが、ユーザデバイス１００では、実行アクションによって付加的なアクション実行を内部的に管理することもできる。例えば、電話がかかってくるとき、電灯点滅およびテレビ音消去に対応して、“電話を受ければ、電灯は、以前状態に戻り、電話を終えれば、テレビ音を自動再生”する追加的なアクションが遂行されるように動作することができる。
【０１４７】
一方、ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された規則を実行することができる。例えば、ユーザが外部から家に入るとき、図５Ａ〜図５Ｅのような動作例示に準じて、“家”という音声を入力することができる。それでは、ユーザデバイス１００は、現在動作中の１つまたはそれ以上の規則のうち前記“家”に対応する規則が動作中であるかを確認することができる。ユーザデバイス１００は、前記“家”に対応する規則が動作中の場合、前記“家”という規則に設定された１つまたはそれ以上の条件および当該条件に対するアクションを確認することができる。
【０１４８】
ユーザデバイス１００は、前記“家”という規則に定義された一番目の条件として“家”を認知し、それに対応する一番目のアクションとして“ベル音モード変更”を認知することができる。したがって、ユーザデバイス１００は、ユーザの“家”という音声入力に反応してユーザデバイス１００のサウンド設定をベル音モードに自動変更６１０することができる。
【０１４９】
また、ユーザデバイス１００は、前記“家”という規則に定義された二番目の条件として“電話がかかってくるとき”を認知し、それに対するインタラプト（例えば、外部からの電話受信）をチェック（判別）することができる。その後、ユーザデバイス１００は、外部から電話が受信されれば（６２０）、当該インタラプトに反応して前記“家”という規則に定義された二番目の条件として“電話がかかってくるとき”を認知することができる。そして、ユーザデバイス１００は、前記電話受信に反応して、二番目のアクションとして“電灯点滅６３０”および三番目のアクションとして“テレビ音消去６４０”を制御するように動作することができる。
【０１５０】
一方、ユーザデバイス１００は、電話受信によるアラーム（例えば、電話ベル発生）中にユーザにより電話が受諾（例えば、通話連結）されれば、電灯を以前状態に復帰を制御するように動作することができ、また、通話連結が終われば、テレビ音消去解除によって音再生を制御するように動作することもできる。
【０１５１】
図７は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
【０１５２】
図７を参照すれば、図７は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図７では、ユーザが自分の位置（またはユーザデバイスの位置）を設定された時間ごとに指定された少なくとも１つのターゲットユーザデバイスに自動伝送するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義された時間ごとに前記少なくとも１つのターゲットユーザデバイスに位置情報を伝送するアクションを実行する場合の例示を示すものである。
【０１５３】
図７に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、少なくとも１つのターゲットユーザデバイス２００に設定された時間ごとに位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザは、“私がタクシーに乗ったら、パパと弟に５分ごとに私の位置情報を知らせてくれ”のように規則を生成することができる。この際、前記規則は、前述したように、マイク１４３を通じて音声に基づいて入力されるか、または後述するように、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、前記例示のように、自然言語に基づいて入力されて設定されることを特徴とする。図７で定義された規則による状況認識対象、すなわち、条件は、“移動変化があるとき”になることができ、前記条件によるアクション実行対象は、“パパと弟に５分ごとに位置情報伝送”になることができる。
【０１５４】
ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、位置情報を伝送する少なくとも１つのターゲットユーザデバイス２００を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも１つのターゲットユーザデバイス２００の情報（例えば、電話番号、名前、ニックネームなど）を前記規則にマッピングして格納することができる。前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
【０１５５】
また、ユーザは、前記規則定義時に与えられるインターフェースを通じて前記規則を実行するための別途の命令を音声、テキストまたはジェスチャーに基づいて入力することができる。それでは、ユーザデバイス１００は、前記定義された規則と前記命令をマッピングして格納することができる。ここで、ユーザデバイス１００は、音声に基づいて命令が入力されるとき、音声の波形を格納することができ、または、入力された音声をテキストに変換して格納することもできて、または音声の波形および変換されたテキストをすべて格納することもできる。
【０１５６】
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令(例えば、音声、テキスト、またはジェスチャーなど)で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、タクシー（ＴＡＸＩ）に乗る前またはタクシーに乗りながら音声で前記定義された規則を実行するための当該命令（例えば、“タクシー”、“タクシーモード”、“今タクシーに乗りなさい”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されるか、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、前記例示のように自然言語に基づいて入力されることを特徴とする。
【０１５７】
また、ユーザは、前記規則（または条件、状況認識など）を実行するための音声を入力しようとするとき、ユーザデバイス１００に規則実行のための音声入力を行うことを通知する動作を先行することもできる。例えば、音声で規則（または条件、状況認識など）を実行する方式の場合、マイク１４３を活性化する動作が必要なことがある。すなわち、音声入力を待機するためにマイク１４３を常時ターンオン状態に維持するとき、意図しない音声入力で不要な動作やエラーが発生することができる。したがって、音声入力方式では、マイク１４３を活性化する特定動作（例えば、ウィジェット、ジェスチャーまたは機能キーなど）を定義し、音声入力前にマイク１４３をターンオンするために定義された当該動作が先行されることができる。一実施形態によれば、ユーザは、定義されたジェスチャーを行った後、音声を入力するか、または定義された機能キーを押圧した状態で音声を入力するか、またはウィジェットの規則実行ボタンを選択した後、音声を入力することができる。
【０１５８】
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。例えば、ユーザデバイス１００は、特定規則に対応する音声が入力されるとき、あらかじめ定義された規則（例えば、各規則別にマッピングされた音声波形）のうち入力音声に対応する音声波形を検索することができる。または、ユーザデバイス１００は、あらかじめ定義された規則（例えば、各規則別にマッピングされたテキスト）のうち入力音声をテキストに変換し、変換されたテキストに対応するテキストを検索することができる。または、あらかじめ定義された規則(例えば、各規則別にマッピングされた音声波形およびテキスト)のうち前記入力音声に対応する音声波形およびテキストをすべて検索することもできる。
【０１５９】
ユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記定義された規則に従ってユーザの“今タクシーに乗りなさい”のような条件１を認知し、前記条件１によって動作して設定された時間（例えば、５分）のような条件２をチェックすることができる。そして、ユーザデバイス１００は、前記条件２の設定された時間ごとにユーザデバイス１００の位置情報を獲得するアクション１を行うように動作することができる。また、ユーザデバイス１００は、アクション１の実行によって獲得された位置情報を指定された少なくとも１つのターゲットユーザデバイス２００に伝送するアクション２を行うように動作することができる。
【０１６０】
一方、前記少なくとも１つのターゲットユーザデバイス２００は、前記ユーザデバイス１００から位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス１００に対する位置情報をフィードバックすることができる。例えば、図７に示されたように、ターゲットユーザデバイス２００は、マップイメージとともにユーザデバイス１００のユーザ位置情報を示すことができる。この際、前記マップイメージと位置情報は、ユーザデバイス１００で加工されて伝送されるか、またはターゲットユーザデバイス２００で位置情報を受信するとき、当該位置情報に対するマップイメージをマッピングして出力することもできる。
【０１６１】
以上説明したような図７の実施形態によって、ユーザは、自分の位置に対して設定された時間ごとに指定された少なくとも１人の他のユーザに通知することができる。そして、少なくとも１人の他のユーザは、別途の行為を行うことなく、前記ユーザの位置および移動経路に対して提供されることができる。
【０１６２】
図８は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
【０１６３】
図８を参照すれば、図８は、コンポジットアプリケーション（Ｃｏｍｐｏｓｉｔｅ  Ａｐｐｌｉｃａｔｉｏｎ）を利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図８では、ユーザが自分の位置（またはユーザデバイス１００の位置）を外部のイベントによって特定のターゲットユーザデバイス２００に自動伝送するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義されたターゲットユーザデバイス２００からイベントが受信されるとき、前記ターゲットユーザデバイス２００に位置情報を伝送するアクションを実行する場合の例示を示すものである。図８では、外部デバイス（例えば、ターゲットユーザデバイス２００）からの入力（イベント）をユーザデバイス１００内部で感知して指定されたアクションを実行する場合の例示を示す。
【０１６４】
本発明の多様な実施形態において前記コンポジットアプリケーションは、多様なリソース（ｒｅｓｏｕｒｃｅ）から得たそれぞれ他の情報を最終ユーザに最も好ましい方式で、すなわちユーザが所望する方式で伝達するために画面構成をモジュール化し、ユーザの権限と役目によって画面構成および画面切替を異なるようにすることができるなどユーザ経験を最適化させるためのアプリケーションを示すことができる。
【０１６５】
図８に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、少なくとも１つのターゲットユーザデバイス２００からイベント（例えば、メッセージ受信）時ごとに位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザは、“運転中に妻から通話が来れば、現在私の位置情報を知らせてくれ”のように規則を生成することができる。この際、前記規則は、前述したように、マイク１４３を通じて音声に基づいて入力されるか、または後述するように、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることを特徴とする。図８で定義された規則による状況認識対象、すなわち条件は、“運転中の状態で妻から通話受信時”になることができ、前記条件によるアクション実行対象は、“イベント時ごとに位置情報を指定された対象に伝送”になることができる。また、追加的に、“運転中の状態で妻から‘どこなの’のような位置を確認するフレーズを含むメッセージ受信時”のように追加条件が設定されることもできる。
【０１６６】
ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、イベントを提供する対象である少なくとも１つのターゲットユーザデバイス２００を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも１つのターゲットユーザデバイス２００の情報（例えば、電話番号、名前、ニックネームなど）を前記規則にマッピングして格納することができる。前記規則は、前述したように、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス１００は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
【０１６７】
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、自動車に乗る前または自動車に乗りながら音声で前記定義された規則を実行するための当該命令（例えば、“運転”、“運転モード”、“運転するよ”など）の音声を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示にするが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されるか、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、前記例示のように自然言語に基づいて入力されることを特徴とする。また、ユーザは、前記命令を入力するとき、前述したように、ユーザデバイス１００に命令入力を行うことを知らせる動作（例えば、マイク１４３をターンオンするための動作）を先行することもできる。
【０１６８】
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記定義された規則に従ってユーザの“運転するよ”のような条件１を認知し、前記条件１によって動作して指定されたターゲットユーザデバイス２００のような条件２から文字メッセージ（特定条件（例えば、“どこなの”を含む文字メッセージに設定されることもできる）受信のような条件３をチェックすることができる。この際、ユーザデバイス１００は、前記条件２による前記ターゲットユーザデバイス２００から条件３による文字メッセージが受信されれば、ユーザデバイス１００の位置情報を獲得するアクション１を行うように動作することができる。また、ユーザデバイス１００は、アクション１の実行によって獲得された位置情報を前記ターゲットユーザデバイス２００に伝送するアクション２を行うように動作することができる。
【０１６９】
一方、前記ターゲットユーザデバイス２００は、前記ユーザデバイス１００から位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス１００に対する位置情報をフィードバックすることができる。例えば、図８に示されたように、ターゲットユーザデバイス２００は、マップイメージとともにユーザデバイス１００のユーザ位置情報を示すことができる。
【０１７０】
以上説明したような図８の実施形態によって、ユーザは、指定したターゲットユーザから外部イベントが受信されれば、別途の動作を行うことなく、前記ターゲットユーザにユーザの位置を文字メッセージを通じてすぐ通知することができる。そして、前記ターゲットユーザは、前記ユーザの位置および移動経路に対して提供されることができる。
【０１７１】
図９は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
【０１７２】
図９を参照すれば、図９は、規則実行時に類似の複数の規則のうちユーザ選択または自動によっていずれか１つの規則を推薦するか、または規則実行時に類似の複数の規則を一緒に運用する動作の例示を示すものである。特に、図９では、ユーザが特定環境変化に従ってユーザデバイス１００を通じてアラームをフィードバックするか、またはユーザデバイス１００の特定機能を制御するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、前記規則で定義された環境変化が感知されるとき、ユーザデバイス１００の特定機能を制御するか、またはアラームを出力するアクションを実行する場合の例示を示すものである。
【０１７３】
図９に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、環境変化によるイベント時ごとにアラームを出力するようにする１つの規則（以下、第１規則）と、環境変化によるイベント時ごとにユーザデバイスの機能を制御するようにする他の１つの規則（以下、第２規則）を生成することができる。一実施形態によれば、ユーザは、“運転中に時速８０Ｋｍ／ｈ以上なら警告アラーム出力”のような第１規則と、“運転中に時速６０Ｋｍ／ｈ以上ならオーディオボリューム（自動車のオーディオボリュームまたはユーザデバイス１００のオーディオボリューム）を増加”のような第２規則を生成することができる。この際、前記規則は、前述したように、マイク１４３を通じて音声に基づいて入力されるか、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図９で定義された規則による状況認識対象、すなわち条件は、“運転中の状態で環境変化（すなわち、速度変化）が一定基準値以上”になることができ、前記条件によるアクション実行対象は、“アラーム出力またはオーディオボリューム制御”になることができる。
【０１７４】
前記第１規則および第２規則は、前述したように、あらかじめ定義されるか、またはユーザの必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス１００は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。図９では、前記第１規則および第２規則のように複数の規則に対して１つの同一の命令がマッピングされる場合を例示にする。
【０１７５】
ユーザは、上記のように規則（第１規則および第２規則）が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、自動車に乗る前または自動車に乗りながら音声に定義された規則を実行するための命令（例えば、“運転”、“運転モード”、“運転するよ”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。ユーザは、前記音声に基づく命令を入力するとき、前述したように、ユーザデバイス１００に命令入力を行うことを知らせる動作（例えば、マイク１４３をターンオンするための動作）を先行することもできる。
【０１７６】
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス１００は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス１００は、前記定義された規則に従ってユーザの“運転するよ”のような条件１を認知し、前記条件１によって動作し、移動速度が特定条件（例えば、６０Ｋｍ／ｈ以上、８０Ｋｍ／ｈ以上）に到逹するかどうかのような条件２をチェックすることができる。この際、ユーザデバイス１００は、移動速度が前記条件２による移動速度に到逹すれば、当該条件に合致する機能実行を処理するアクション１を行うように動作することができる。例えば、６０Ｋｍ／ｈ以上の条件に合致すれば、前記定義された第２規則に従ってオーディオボリューム（例えば、設定条件によってユーザデバイス１００のオーディオボリュームまたは自動車のオーディオボリューム）を増加するアクションを行うことができる。または８０Ｋｍ／ｈ以上の条件に合致すれば、前記定義された第１規則に従って警告アラームを発生するアクションを行うことができる。
【０１７７】
一方、ターゲットユーザデバイス２００は、上記のように１つの命令に対して複数の規則（例えば、第１規則および第２規則）が定義された場合で、条件(状況)認識によるアクション実行時複数の規則の中で少なくとも１つの規則を選択するように当該規則（例えば、第１規則および第２規則）に対する規則推薦を提供することができる。例えば、図９に示されたように、前記命令に対して定義された第１規則（８０Ｋｍ／ｈ以上）と第２規則（６０Ｋｍ／ｈ）が定義されていることをポップアップウィンドウを通じて提供することができる。
【０１７８】
また、前述した実施形態では、ユーザが運転を開始する前に、規則を実行する場合の例示を示すものである。したがって、あらかじめ定義された複数の規則が動作中の場合で、当該規則に対応する条件である６０Ｋｍ／ｈおよび８０Ｋｍ／ｈが順次に監視され、それによるアクションが順次にすべて実行されるか、または最後の検出された条件によるアクションだけが実行されることもできる。
【０１７９】
これとは異なって、ユーザは、車両を運転する状態（例えば、図９に示されたように、現在時速１１０Ｋｍ／ｈの状態）で前述したように定義された規則を実行することもできる。
【０１８０】
このような場合、ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス１００は、規則実行によって条件(状況)認識を行うことができる。例えば、ユーザデバイス１００は、前記定義された規則に従ってユーザの“運転するよ”のような条件１を認知し、前記条件１によって動作し、移動速度が特定条件（例えば、６０Ｋｍ／ｈ以上、８０Ｋｍ／ｈ以上）に到逹するかどうかのような条件２をチェックすることができる。この際、ユーザデバイス１００は、現在移動速度が１１０Ｋｍ／ｈであり、あらかじめ定義された前記特定条件をすべて満足することによって、前記複数の条件に対する各アクションを同時に実行するように動作することができる。一実施形態によれば、現在移動速度（１１０Ｋｍ／ｈ）が６０Ｋｍ／ｈおよび８０Ｋｍ／ｈ以上の条件をすべて満足することによって、前記定義された第１規則および第２規則に従ってオーディオボリューム（例えば、設定条件によってユーザデバイス１００のオーディオボリュームまたは自動車のオーディオボリューム）を増加しながら警告アラームを発生することもできる。
【０１８１】
または、ターゲットユーザデバイス２００は、上記のように１つの命令に対して複数の規則が定義された場合で、状況認識によるアクション実行時に複数の規則のうち少なくとも１つの規則を選択するように定義された規則に対する規則推薦を提供することができる。例えば、図９に示されたように、前記命令に対して定義された第１規則（８０Ｋｍ／ｈ以上）と第２規則（６０Ｋｍ／ｈ）が定義されている状況であり、現在状況認識（１１０Ｋｍ／ｈ）によって第１規則および第２規則をすべて満たすとき、ポップアップウィンドウを通じて複数の規則のうち現在条件を満たす少なくとも１つの規則を選択することができる規則推薦を提供することができる。そして、ユーザは、規則推薦による特定規則選択時に運転中であることを考慮して音声入力によって選択することができる。そして、ユーザ設定によって規則推薦による少なくとも１つの規則選択は、音声を含めて、テキストおよびジェスチャーによって選択することもできる。
【０１８２】
図１０は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
【０１８３】
図１０を参照すれば、図１０は、ユーザデバイス１００と外部デバイス（またはユーザデバイスと通信可能であるか、または通信可能な装置が付着された物体など）と連動して状況認識サービスを提供する動作の例示を示すものである。
【０１８４】
図１０では、ユーザにより設定された時間ごとに外部の環境変化をチェックし、その結果によってユーザデバイス１００によってアラームをフィードバックするようにする規則を定義することができる。そして、ユーザデバイス１００は、定義された規則に対するユーザ命令に従って規則を実行した後、前記規則で定義された外部の環境変化が感知されるとき、アラームを出力するアクションを実行する場合の例示を示すものである。
【０１８５】
図１０に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、設定された時間ごとに外部の環境変化によるイベントを検出し、イベント検出時ごとにアラームを出力するようにする規則を定義することができる。一実施形態によれば、ユーザは、“４時間ごとに薬を飲まなければ、夜１０時と午前７時の間を除いてリマインド（ｒｅｍｉｎｄ）メッセージを提示し、風呂場に電気をつけてくれ”のように規則を生成することができる。この際、前記規則は、マイク１４３を通じて音声に基づいて入力されるか、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができる。前記音声またはテキストは、前記例示のように、自然言語に基づいて入力されて設定されることができる。図１０で定義された規則による状況認識対象、すなわち条件は、“４時間ごとに薬を飲まなければ（例えば、薬瓶の動きが感知されなければ）”と“夜１０時と午前７時の間”になることができ、前記条件によるアクション実行対象は、“リマインドメッセージ出力および風呂場電灯オン”になることができる。
【０１８６】
前記規則は、前述したようにあらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令を音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス１００は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
【０１８７】
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、音声で前記定義された規則を実行するための命令（例えば、“薬”、“薬瓶位置確認”、“薬服用時間”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。ユーザは、音声に基づいて命令を入力するとき、前述したように、ユーザデバイス１００に命令入力を行うことを通知する動作（例えば、マイク１４３をターンオンするための動作）を先行することもできる。
【０１８８】
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そしてユーザデバイス１００は、規則実行によって条件(状況)認識を行い、特定イベントを監視することができる。例えば、ユーザデバイス１００は、実行された規則に対応する状況検出をモニターすることができる。一実施形態によれば、前記ユーザデバイス１００は、前記定義された規則に従ってユーザの“薬服用時間”のような条件１を認知し、前記条件１によって動作して設定された時間（例えば、４時間）のような条件２をチェックし、前記条件２に反応して外部デバイス（例えば、薬瓶）の動き（振動）可否のような条件３を監視することができる。本発明の多様な実施形態において外部デバイスの動きの監視は、相互間の無線信号交信によって確認することができる。したがって、前記外部デバイス（例えば、薬瓶）は、ユーザデバイス１００と通信可能な装置（例えば、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）  Ｌｏｗ  Ｅｎｅｒｇｙ）タグ、ＲＦタグ、ＮＦＣタグなど）が付着されることができる。
【０１８９】
そして、ユーザデバイス１００は、設定された時間（例えば、４時間）の間に前記外部デバイス（すなわち、薬瓶）の動きが感知されなければ、ユーザに“薬を服用してください！”のようなリマインドメッセージを出力するアクション１を行うように動作することができる。また、ユーザデバイス１００は、前記アクション１によるリマインドメッセージ出力とともにターゲットデバイス（例えば、電灯、冷蔵庫、電気ポートなど）を制御するアクション２を行うように動作することができる。
【０１９０】
本発明の実施形態においてターゲットデバイスは、ユーザデバイス１００のようなスマート機器を含めて、電灯、冷蔵庫、電気ポートなどのようにユーザが日常的に使用する多様な品物を含むことができ、ユーザに定義された規則による状況を認知させ、当該状況で必要とするアクションを行うことができるすべての物体を含むことができる。そして、図１０のような動作例示で、前記ターゲットデバイスの制御は、ターゲットデバイスがユーザデバイス１００と直接通信可能な場合には、ターゲットデバイスが直接制御されることができ、直接通信が不可能な場合には、ターゲットデバイス制御のための別途のデバイス（例えば、通信機能を具備した電源制御装置など）と連動してターゲットデバイスが間接的に制御されることができる。一実施形態によれば、ユーザデバイス１００は、通信機能を具備した電源制御装置と通信し、ターゲットデバイスである風呂場の電灯に電源が印加されるように制御することができる。
【０１９１】
図１１は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
【０１９２】
図１１では、ユーザデバイスの持ち主（ｏｗｎｅｒ）が規則を実行するための指示（ｉｎｓｔｒｕｃｔｉｏｎ）を入力する場合の例示を示すことができる。例えば、本発明の実施形態では、ユーザデバイスのユーザが規則を実行するための指示を入力することができ、ユーザデバイスのユーザが子供などのようにデバイスの操作が難しいユーザの場合、他のユーザ（例えば、ユーザデバイス持ち主の親など）ユーザデバイスに対して規則を実行するための指示を入力することもできる。
【０１９３】
図１１を参照すれば、図１１は、コンポジットアプリケーションを利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図１１では、ユーザが自分の位置（またはユーザデバイス１００の位置）を外部のイベントによって特定ターゲットユーザデバイス２００に自動伝送するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義されたターゲットユーザデバイス２００からイベントが受信されるとき、前記ターゲットユーザデバイス２００に写真情報および位置情報を伝送するアクションを実行する場合の例示を示すものである。図１１では、特定モード状態で外部デバイス（例えば、ターゲットユーザデバイス２００）からの入力（イベント）をユーザデバイス１００内部で感知し、指定されたアクションを実行する場合の例示を示す。
【０１９４】
図１１に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザ（またはユーザの保護者）は、ユーザデバイス１００を操作して規則を生成することができる機能（またはアプリケーション）を活性化し、少なくとも１つのターゲットユーザデバイス２００からイベント（例えば、メッセージ受信）時に写真情報と位置情報を伝送するようにする規則を定義することができる。一実施形態によれば、ユーザ（または保護者）は、“保護モード中にママに文字が来れば、カメラで写真を撮って、私の位置とともに送ってくれ”のように、規則を生成することができる。この際、前記規則は、マイク１４３を通じて音声に基づいて入力されることができ、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図１１で定義された規則による状況認識対象、すなわち条件は、“保護モードでママから文字受信時”になることができ、前記条件によるアクション実行対象は、“イベントによってカメラで写真を撮って、位置情報を指定された対象に伝送”になることができる。また、追加的に、“保護モード中にママに‘どこなの’のような位置を確認するフレーズを含む文字受信時”のように追加条件が設定されることもできる。
【０１９５】
ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、イベントを提供する対象である少なくとも１つのターゲットユーザデバイス２００を指定するためのインターフェースを提供し、ユーザ入力によって前記少なくとも１つのターゲットユーザデバイス２００の情報（例えば、電話番号、名前、ニックネームなど）を前記規則にマッピングして格納することができる。前記規則は、前述したように、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができ、与えられるインターフェースを通じて前記規則を実行するための命令が音声、テキストまたはジェスチャーに基づいて入力されることができる。それでは、ユーザデバイス１００は、前述したように、前記定義された規則と前記命令をマッピングして格納することができる。
【０１９６】
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、学校（学院）から出て家へ行きながら規則を実行（例えば、保護モードで状態設定）するための当該命令（例えば、“保護モード”、“下校”、“家に帰る”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて命令を入力するとき、ユーザデバイス１００に命令入力を行うことを通知する動作（例えば、マイク１４３をターンオンするための動作）を先行することもできる。
【０１９７】
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そして、ユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記実行中の規則に従って“保護モード”のような条件１を認知し、前記条件１によって動作して指定されたターゲットユーザデバイス２００のような条件２から特定条件（例えば、“どこなの”のような文字）を含む文字メッセージ受信のような条件３をチェックすることができる。この際、ユーザデバイス１００は、前記条件２によるターゲットユーザデバイス２００から条件３による特定条件（例えば、どこなの）を含む文字メッセージが受信されれば、カメラモジュール（図示せず）を駆動するアクション１を行うように動作することができる。またユーザデバイス１００は、アクション１の実行によって自動撮影を行い、写真情報を獲得するアクション２を行うように動作することができる。また、ユーザデバイス１００は、位置算出モジュール１１７を駆動するアクション３を行うように動作することができる。また、ユーザデバイス１００は、アクション３の実行によってユーザデバイス１００の位置情報を獲得するアクション４を行うように動作することができる。そして、ユーザデバイス１００は、アクション１〜アクション４の実行によって獲得された写真情報と位置情報を前記ターゲットユーザデバイス２００に伝送するアクション５を行うように動作することができる。
【０１９８】
一方、前記ターゲットユーザデバイス２００は、前記ユーザデバイス１００から写真情報と位置情報が受信されるとき、あらかじめ定義されたインターフェースを通じて前記ユーザデバイス１００に対する周辺の写真情報および位置情報をフィードバックすることができる。例えば、図１１に示されたように、ターゲットユーザデバイス２００は、マップイメージ上にユーザデバイス１００が獲得した写真情報と位置情報を示すことができる。
【０１９９】
図１１では、図示を省略したが、前記写真情報は、ユーザデバイス１００の位置に対する周辺の写真情報を外部のサーバーから獲得することもできる。例えば、ユーザデバイス１００がユーザのポケットにある状態で撮影が行われるとき、所望の被写体（例えば、周辺写真）ではない黒白の写真だけが獲得されることができる。したがって、ユーザデバイス１００は、撮影された写真情報を確認するか、またはユーザデバイス１００の状態（例えば、照度センサー（図示せず）を通じてポケットの中にあるか否か確認など）をチェックし、前記例示のように、非正常状態の写真情報であるかを判別することができる。そして、ユーザデバイス１００は、非正常状態の写真情報の場合、ユーザデバイス１００の現在位置に対応する周辺写真を外部のサーバーから受信し、前記写真情報を獲得することによって進行する条件およびアクションを追加的に設定および動作するようにすることもできる。
【０２００】
また、図１１では、規則実行のための命令をユーザデバイス１００を備えるユーザが直接入力する場合を例示にする。しかし、幼い子供のようなユーザの場合、定義された規則を実行することができない場合も発生することができる。したがって、保護者が持続的に子供の位置をモニタリングするための方案として前記規則実行を外部の保護者が実行するようにすることもできる。例えば、規則定義時に“ママに‘どこなの’という文字が来れば、保護モードを実行し、私の位置を知らせてくれ”のように、規則が設定されることもできる。それでは、ユーザデバイス１００は、ターゲットユーザデバイス２００から‘どこなの’を含むメッセージを受信するとき、保護モードの実行状態をチェックし、保護モードが実行状態の場合、前述したような動作を行うことができる。一方、保護モードが実行されない状態の場合、保護モードを実行した後、前述したような動作を行うこともできる。
【０２０１】
以上説明したような図１１の実施形態によって、ユーザ（子供）の位置および周辺環境に対してイベントを要請した他のユーザ（保護者）に一層便利で且つ迅速に通知することができる。そして、前記他のユーザは、前記ユーザの位置、移動経路および周辺環境に対して提供されることができる。
【０２０２】
図１２は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
【０２０３】
図１２を参照すれば、図１２は、ユーザが音声を利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを実行する動作の例示を示すものである。特に、図１２では、ユーザが特定環境でユーザデバイス１００の特定機能を制御するようにする規則を定義することができる。そして、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義されたユーザデバイス１００の特定機能を処理するアクションを実行する場合の例示を示すものである。
【０２０４】
図１２に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作し、規則を生成することができる機能（またはアプリケーション）を活性化し、特定環境で定義された複数の機能（またはアプリケーション）を行うようにする規則を定義することができる。一実施形態によれば、ユーザは、“地下鉄に乗ったら、Ｗｉ−Ｆｉをつけて、音楽ＡＰＰを実行させてくれ”のように、規則を生成することができる。この際、前記規則は、マイク１４３を通じて音声に基づいて入力されることができ、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図１２で定義された規則による状況認識対象、すなわち条件は、“地下鉄に乗ったら”のように、ユーザによる明示的な命令入力や地下鉄に乗る状態変化による命令入力になることができ、前記条件によるアクション実行対象は、“Ｗｉ−Ｆｉ機能ターンオン（ｔｕｒｎ−ｏｎ）および音楽ＡＰＰ実行”になることができる。
【０２０５】
ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、当該条件で実行しようとする複数のアクション（例えば、機能、アプリケーション）を選択するためのインターフェースを提供することができ、ユーザは、前記インターフェースを通じて複数のアクションを選択することもできる。例えば、ユーザが当該規則に対する条件である“地下鉄”を入力するとき、ユーザデバイス１００は、前記地下鉄と連関して実行されることができるアクション（例えば、機能、アプリケーション）のリスト（アクションリスト）を表示し、前記アクションリストで実行しようとするアクション（例えば、Ｗｉ−Ｆｉオン、音楽アプリケーションなど）を選択するユーザ入力を受信されることもできる。ここで、前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
【０２０６】
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｅのような動作例示に準じて、地下鉄に乗る前または地下鉄に乗りながら音声で前記定義された規則を実行するための当該命令（例えば、“地下鉄に乗りなさい”、“地下鉄”、“地下鉄モード”などの音声）を入力することができる。ここで、前記命令は、マイク１４３を通じて音声に基づいて入力されることを例示するが、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて命令を入力するとき、ユーザデバイス１００に命令入力を行うことを通知する動作（例えば、マイク１４３をターンオンするための動作（例えば、機能キー入力、ウィジェットの規則実行ボタン入力など）を先行することもできる。
【０２０７】
ユーザデバイス１００は、入力された音声を認識および解析し、当該音声に対応する規則を実行することができる。そしてユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記実行中の規則に従って“地下鉄に乗ろう”のような条件を認知し、前記条件によって動作し、Ｗｉ−Ｆｉをターンオンするアクション１および音楽アプリケーションを行うアクション２を行うように動作することができる。ユーザデバイス１００は、前記アクション１およびアクション２による動作でＷｉ−Ｆｉ連結のための送受信信号処理および音楽アプリケーション実行による音楽再生を処理することができる。
【０２０８】
前記ユーザデバイス１００は、前記規則が実行され、前記規則による条件（例えば、地下鉄搭乗）が検出されるとき、Ｗｉ−Ｆｉ機能オンおよび音楽アプリケーションを一緒に実行し、それに対する情報をフィードバックすることができる。例えば、図１２に示されたように、ユーザデバイス１００は、Ｗｉ−Ｆｉのターンオン状態を表示し、音楽再生によるサウンドを出力することができる。
【０２０９】
以上説明したような図１２の実施形態よって、ユーザは、動作中の規則に対する条件感知で音声または状態変化を通じて入力することができ、当該条件によって複数のアクション（機能、アプリケーションなど）を複合的に運用することもできる。
【０２１０】
図１３は、本発明の実施形態によるユーザデバイスを利用した状況認識サービスが提供される動作例示を示す図である。
【０２１１】
図１３を参照すれば、図１３は、ユーザが自然言語に基づく音声または自然言語に基づくテキストを利用して規則を設定および実行し、ユーザデバイス１００が前記規則に従って定義された条件を認知し、それによるアクションを行う動作の例示を示す。例えば、ユーザデバイス１００は、規則が活性化されれば、前記活性化された規則の条件に対応する状況をモニターまたは検出することができる。もし、状況が検出されれば、ユーザデバイス１００は、前記規則の条件に対応するアクションを実行することができる。
【０２１２】
図１３では、ユーザが抽象的な状況を定義し、ユーザデバイス１００は、ユーザ入力によって前記規則を実行し、実行規則で定義されたユーザデバイス１００の特定機能処理および外部デバイス（またはユーザデバイス１００と通信可能であるか、または通信可能な装置が付着された物体など）を制御するアクションを実行する場合の例示を示すものである。
【０２１３】
図１３に示されたように、ユーザは、ユーザデバイス１００を利用して規則を定義することができる。例えば、ユーザは、ユーザデバイス１００を操作し、規則を生成することができる機能（またはアプリケーション）を活性化し、特定環境で定義された複数の機能（ユーザデバイス１００自体の機能および外部デバイスの機能）を実行するようにする規則を定義することができる。一実施形態によれば、ユーザは、“憂鬱なら、照明の明るさを２段階にし、クラシック音楽ジャンルを再生してくれ”のように、規則を生成することができる。この際、前記規則は、マイク１４３を通じて音声に基づいて入力されることができ、またはユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることもできる。前記音声またはテキストは、自然言語に基づいて入力されて設定されることができる。図１３で定義された規則による状況認識対象、すなわち条件は、“憂鬱なら”になることができ、アクション実行対象は、“照明の明るさ調節およびクラシック音楽再生”になることができる。
【０２１４】
この際、ユーザデバイス１００は、ユーザ要請に従って前記規則を定義するとき、当該条件で実行しようとする複数のアクション（例えば、ユーザデバイス１００の機能制御および外部デバイスの機能制御）を選択するためのインターフェースを提供することができ、ユーザは、前記インターフェースを通じて複数のアクションを選択することもできる。例えば、ユーザが当該規則に対する条件である“憂鬱だ”を入力するとき、ユーザデバイス１００は、前記“憂鬱だ”と連関して実行されることができるアクションのリスト（アクションリスト）を表示し、前記アクションリストで実行しようとするアクション（例えば、照明明るさ調節、音楽アプリケーション実行およびクラシック音楽再生など）を選択するユーザ入力を受信されることもできる。ここで、前記規則は、あらかじめ定義されるか、またはユーザ必要に応じて時間および場所の制限なしにリアルタイムで入力および定義されることができる。
【０２１５】
ユーザは、上記のように規則が定義された状態で、ユーザ必要に応じて前記定義された命令（例えば、音声、テキスト、またはジェスチャーなど）で規則を実行することができる。例えば、ユーザは、図５Ａ〜図５Ｂのような動作例示に準じて自然言語に基づく音声で前記定義された規則を実行するための該当命令（例えば、“憂鬱だ”、“疲れた”、“憂鬱モード”などの音声）を入力することができる。または、ユーザは、後述するように、自然言語に基づくテキストで前記定義された規則を実行するための当該命令を入力することもできる。一実施形態によれば、前記命令は、マイク１４３を通じて音声に基づいて入力されることができ、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはジェスチャーに基づいて入力されることもできる。前記音声およびテキストは、自然言語に基づいて入力されることができる。また、ユーザは、音声に基づいて前記命令を入力するとき、ユーザデバイス１００に命令入力を行うことを通知する動作（例えば、マイク１４３をターンオンするための動作（例えば、機能キー入力、ウィジェットの規則実行ボタン入力など）を先行することもできる。
【０２１６】
ユーザデバイス１００は、入力された命令（例えば、音声、テキストまたはジェスチャー）を認識および解析し、当該命令に対応する規則を実行することができる。そして<ユーザデバイス１００は、規則実行によって条件（状況）認識を行うことができる。例えば、ユーザデバイス１００は、前記実行中の規則に従って“憂鬱だ”のようなユーザの音声入力による条件を認知し、前記条件によって動作し、外部デバイスを制御し、照明の明るさを２段階で調節するアクション１を行うように動作し、ユーザデバイス１００の音楽アプリケーションを実行するアクション２を行うように動作し、クラシック音楽を再生するアクション３を行うように動作することができる。
【０２１７】
そして、図１３のような動作例示で、前記外部デバイスの制御は、外部デバイス（例えば、居間の照明またはユーザデバイス１００と通信および／または制御が許諾（ｐｅｒｍｉｓｓｉｏｎ）された他の外部デバイス）がユーザデバイス１００と直接通信可能な場合には、外部デバイスが直接制御されることができる。前記外部デバイスがユーザデバイス１００と直接通信が不可能な場合には、ユーザデバイス１００は、外部デバイス制御のための別途のデバイス（例えば、通信機能を具備した電源制御装置など）と連動して外部デバイスが間接制御されることもできる。一実施形態によれば、ユーザデバイス１００は、通信機能を具備した電源制御装置と通信し、外部デバイスである居間の照明の明るさが調節されるように制御することができる。
【０２１８】
前記ユーザデバイス１００は、前記規則実行のための命令が入力されるとき、外部照明の明るさ調節および音楽アプリケーションを一緒に実行し、それに対する情報をフィードバックすることができる。例えば、図１３に示されたように、ユーザデバイス１００は、照明の明るさの制御を通じてその明るさを２段階に低減し、クラシック音楽再生によるサウンド出力およびその画面を出力することができる。
【０２１９】
以上説明したような図１３の実施形態によって、ユーザは、抽象的な状況を定義し、これによるアクションを実行する規則設定が可能である。一実施形態によれば、前述した例示で説明したように、ユーザは、憂鬱（または疲労）ということを、ユーザ状況を通じてではなく、自然言語を通じて認識させ、それによるアクションを実行し、フィードバックを提供されることができる。
【０２２０】
一方、以上、図６〜図１３による動作例示では、規則と命令を区分して定義および設定することを例示した。しかし、本発明の多様な実施形態によれば、規則実行のための命令を別に定義しないとしても、定義された規則で抽出して運用することもできる。
【０２２１】
例えば、図７の例示のように、“私がタクシーに乗ったら、パパと弟に５分ごとに私の位置情報を知らせてくれ”のような規則が定義される場合を仮定する。ユーザデバイス１００は、前記規則で“タクシーに乗ったら”を認識し、それと関連した連関命令（または連関単語（Ａｓｓｏｃｉａｔｉｖｅ  ｗｏｒｄ）（規則実行のための命令語に定義された規則内の単語に対して連関度が高い命令語））である“今タクシーに乗りなさい”、“タクシー”、“タクシーモード”などを自動検出し、規則を実行することもできる。すなわち、ユーザは、別途の命令語指定なしに前記のような規則のみを定義した状態で“今タクシーに乗りなさい”、“タクシー”、または“タクシーモード”などの連関命令語を入力することだけで、規則を実行することができる。
【０２２２】
また、図８の例示で、“運転中に妻から文字が来れば、現在私の位置情報を知らせてくれ”のような規則が定義される場合を仮定する。ユーザデバイス１００は、前記規則で“運転中”を認識し、それと関連した連関命令語である“運転するよ”、“運転”、“運転モード”などを検出し、規則を実行することができる。すなわち、ユーザは、別途の命令語指定なしに前記のような規則のみを定義した状態で“運転するよ”、“運転”、または“運転モード”などの連関命令語を入力することだけで、規則を実行することができる。
【０２２３】
ユーザデバイス１００は、前記の動作例示のように連関命令語が入力されるとき、それに対応する規則をあらかじめ定義された多様な規則から追跡し、当該規則を実行するように動作することができる。
【０２２４】
一方、図７および図８の例示で説明したような運用方式を図６、図９〜図１３の場合でも適用されることができる。例えば、図９の場合、定義された規則に従って“運転するよ”、“運転”、または“運転モード”などが連関命令語として入力されることができ、図１０の場合、定義された規則に従って“薬”、“薬瓶位置確認”、または“薬服用時間”などが連関命令語として入力されることができ、図１１の場合、定義された規則に従って“保護モード”、“下校”、または“家に帰る”などが連関命令語として入力されることができ、図１２の場合、定義された規則に従って“地下鉄に乗ろう”、“地下鉄”、または“地下鉄モード”などが連関命令語に入力されることができ、図１３の場合、定義された規則に従って“憂鬱だ”、または“疲れた”などが連関命令語として入力されることができる。したがって、ユーザデバイス１００は、別途の命令語が定義されていないとしても、あらかじめ定義された規則に対応する連関命令語に基づいて当該規則実行を制御することができる。
【０２２５】
図１４Ａおよび図１４Ｂは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【０２２６】
図１４Ａおよび図１４Ｂを参照すれば、図１４Ａは、本発明の実施形態による状況認識サービスのためのウィジェット５００が提供されており、前記ウィジェット５００の実行情報領域５２０を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス１００の画面例示を示すものである。
【０２２７】
図１４Ａに示されたように、現在動作中の規則が“タクシー”および“地下鉄”に該当する場合を仮定する。ユーザは、ウィジェット５００の実行情報領域５２０を通じて提供中の特定規則を選択することによって、当該規則を一時中止させることができる。例えば、図１４ａのような状態で、ユーザは、“タクシー”の規則を選択（例えば、タップに基づくタッチイベント）することができる。それでは、ユーザデバイス１００は、図１４ｂに示されたように、実行中の規則（例えば、タクシー、地下鉄）のうちユーザ選択に対応する規則（例えば、タクシー）を一時中止させることができる。
【０２２８】
そして、ユーザデバイス１００は、一時中止する規則に対する表示を変更して提供することができる。一実施形態によれば、ユーザデバイス１００は、図１４Ｂに示されたように、実行情報領域５２０で“タクシー”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図１４Ｂは、ウィジェット５００の実行情報領域５２０で特定規則（例えば、タクシー）のボタンを通じて当該規則がしばらく中断されている状態のユーザデバイス１００の画面例示を示すものである。
【０２２９】
このように、本発明の実施形態によれば、現在実行中の規則をウィジェット５００を通じて表示することができ、表示中の規則に対してユーザ入力によってしばらく中止することができるように支援することができる。これにより、繰り返し的に行われなければならない規則（例えば、周期的に状態をチェックするか、または周期的に文字を送らなければならないアクションなど）の場合、ユーザ選択によってしばらく中断することができるようにして、ユーザの使用性が増大されることができる。
【０２３０】
図１５Ａおよび図１５Ｂは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【０２３１】
図１５Ａおよび図１５Ｂを参照すれば、図１５Ａおよび図１５Ｂは、本発明の実施形態による状況認識サービスのためのアプリケーション（例えば、規則リスト）を実行したときのユーザデバイス１００の画面例示を示すものである。
【０２３２】
図１５Ａおよび図１５Ｂに示されたように、現在設定された規則１５１０が“地下鉄”であり、ユーザ選択によって前記規則に設定された詳細情報がプルダウンされて表示中の状態であることができる。例えば、ユーザがプルダウンメニュー３３５を選択し、前記規則１５１０に設定された詳細情報（例えば、条件およびアクションなど）１５２０、１５３０に対応する“Ｗｉ−Ｆｉ設定：オン”と“サウンド設定：振動”にそれぞれ設定されていることを表示することができる。
【０２３３】
ユーザは、図１５Ａのような状態で１つの規則で定義された複数のアクション１５２０、１５３０のうち特定アクションを選択することによって当該アクションのみを一時中止させることができる。例えば、図１５Ａのような状態で、ユーザは、“地下鉄”規則１５１０に設定されたアクション(例えば、Ｗｉ−Ｆｉ設定、サウンド設定)１５２０、１５３０のうち“Ｗｉ−Ｆｉ設定”と関連したアクション１５２０を選択することができる。そして、ユーザデバイス１００は、図１５Ｂに示されたように、実行中の規則（例えば、地下鉄）１５１０のアクション（例えば、Ｗｉ−Ｆｉ設定、サウンド設定）１５２０、１５３０のうちユーザ選択に対応するアクション（例えば、Ｗｉ−Ｆｉ設定）１５２０を一時中止させることができる。
【０２３４】
そして、ユーザデバイス１００は、一時中止するアクションに対する表示を変更して提供することができる。一実施形態によれば、ユーザデバイス１００は、図１５Ｂに示されたように、“Ｗｉ−Ｆｉ設定”に対応するアクション１５２０の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図１５Ｂは、特定規則に設定された複数のアクション１５２０、１５３０のうち特定アクション（例えば、Ｗｉ−Ｆｉ設定）１５２０のボタンを通じて当該アクション１５２０がしばらく中断されている状態のユーザデバイス１００の画面例示を示すものである。
【０２３５】
このように、本発明の実施形態によれば、１つの規則で複数のアクションが実行される場合、実行中の規則リスト画面で全体または一部のアクションを選択的に中断することもできる。
【０２３６】
図１６Ａ〜図１６Ｂは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する動作例示を示す図である。
【０２３７】
図１６Ａおよび図１６Ｂを参照すれば、図１６Ａは、本発明の実施形態による状況認識サービスのためのウィジェット５００が実行されており、前記ウィジェット５００の実行情報領域５２０を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス１００の画面例示を示すものである。
【０２３８】
図１６ａに示されたように、現在動作中の規則が“タクシー”および“地下鉄”に該当する場合を仮定する。ユーザは、ウィジェット５００の命令入力領域（または規則実行ボタン）５１０を選択（例えば、タップに基づくタッチイベントなど）することができる。それでは、制御部１７０は、規則の実行、実行中の規則の一時停止、または実行中の規則の終了のうち少なくとも１つの動作を行うための動作開始であるものと決定することができる。図１６Ａ〜図１６Ｃの動作例示では、実行中の規則を一時停止するための動作の場合を仮定することができる。したがって、ユーザデバイス１００は、図１６Ｂに示されたように、実行を一時中止しようとする規則に対する情報入力（例えば、音声入力）を案内（例えば、“命令語を話してください”）するポップアップウィンドウ１６５１を表示した後、ユーザの音声入力を待機することができる。
【０２３９】
図１６Ｂのような状態で、ユーザは、実行を一時中止しようとする当該規則（例えば、タクシー）を一時中止する音声（例えば、“タクシー一時停止”）を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、実行中の規則（例えば、“タクシー”、“地下鉄”）で前記音声に対応する規則（例えば、“タクシー”）を一時中止させることができる。そして、制御部１７０は、図１６Ｃに示されたように、ウィジェット５００の実行情報領域５２０でユーザにより一時停止要請された当該規則（例えば、“タクシー”）に対する表示を変更して提供することができる。
【０２４０】
一実施形態によれば、制御部１７０は、図１６Ｃに示されたように、実行情報領域５２０で“タクシー”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。すなわち、図１６Ｃは、ウィジェット５００の実行情報領域５２０で特定規則（例えば、タクシー）がユーザの音声入力によって当該規則がしばらく中断されている状態のユーザデバイス１００の画面例示を示すものである。
【０２４１】
このように、本発明の実施形態によれば、現在実行中の規則をウィジェット５００を通じて表示することができ、表示中の規則に対してユーザの音声入力（例えば、“ＯＯＯ一時停止”、ＯＯＯは、規則または条件を含む）によってしばらく中止することができるように支援することができる。
【０２４２】
図１７は、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【０２４３】
図１７を参照すれば、ユーザデバイス１００は、ユーザ要請による規則を実行するとき、表示部１３１の画面上に関連通知アイテム７００を提供することができる。前記通知アイテム７００は、実行された規則に対応するアイコンまたはテキストなどで提供されることができる。例えば、前述した動作例示によって運転と関連した規則実行の場合、図１７の例示のように、“自動車”イメージ（またはテキスト）と関連した通知アイテム７００が画面上の一領域を通じて提供されることができる。または、前述した例示によって薬と関連した規則実行の場合、“薬局または薬瓶”イメージまたはテキストと関連した通知アイテム７００が画面上の一領域を通じて提供されることができる。このように、本発明の多様な実施形態によれば、規則が実行されるとき、現在実行中の規則に対してユーザが直観的に認知することができるように関連通知アイテム７００を通じてユーザにフィードバックすることができる。
【０２４４】
一方、図１７では、本発明の実施形態による通知アイテム７００が表示部１３１の画面上でいずれか１つの領域を通じて提供されることを例示した。しかし、本発明がこれに限定されるものではなく、図５Ｅを参照した説明で記述したように、ユーザデバイス１００の多様な動作状態情報を提供するインジケータ領域を通じて提供されることもできる。これを下記の図１８Ａ〜１９Ｂを参照して説明する。
【０２４５】
図１８Ａおよび図１８Ｂは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【０２４６】
図１８Ａおよび図１８Ｂを参照すれば、ユーザデバイス１００は、ユーザ要請による規則を実行するとき、表示部１３１のインジケータ領域１８５０のうちいずれか１つ領域を通じて通知アイテム５５０を提供することができる。一実施形態によれば、インジケータ領域１８５０の左側領域を利用して通知アイテム５５０を表示することによって、現在実行中の規則があることを通知することができる。
【０２４７】
図１８Ａおよび図１８Ｂに示されたように、本発明の多様な実施形態において前記通知アイテム５５０は、実行中の規則に関係なく、実行されている１つの規則だけでもあったら提供されることができる。
【０２４８】
例えば、図１８Ａを参照すれば、ウィジェット５００の実行情報領域５２０に示されたように、複数の規則（例えば、“タクシー”と“地下鉄”のように２個の規則）が現在動作中の状態であることができる。図１８Ｂを参照すれば、ウィジェット５００の実行情報領域５２０に示されたように、複数の規則（例えば、“タクシー”と“地下鉄”のように２個の規則）のうちいずれか１つの規則（例えば、“地下鉄”）だけが動作中であり、他の１つの規則（例えば、“タクシー”）は、不活性化状態（例えば、前述した動作例示を参照するとき、一時中止された状態）であることができる。
【０２４９】
このように、本発明の多様な実施形態によれば、インジケータ領域１８５０に現在実行中の規則があることを通知アイテム５５０を通じてフィードバックすることができ、１つまたはそれ以上の規則が実行中の場合、実行中のすべての規則を代表して１つの通知アイテム５５０が表示されることができる。しかし、本発明がこれに限定されるものではなく、本発明の多様な実施形態によれば、実行中の規則ごとに通知アイテムを提供することもできる。すなわち、インジケータ領域１８５０を通じて複数の通知アイテムが提供されることもできる。
【０２５０】
図１９Ａおよび図１９Ｂは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【０２５１】
図１９Ａおよび図１９Ｂを参照すれば、ユーザデバイス１００は、ユーザ要請に従って規則を実行するとき、表示部１３１の前述したようにインジケータ領域１８５０を通じて実行中の規則が存在することを通知する通知アイテム５５０を提供することができる。そして、本発明の実施形態によれば、実行中の規則が一時的に中止されるとき、それに反応してユーザデバイス１００は、現在一時的に中止された規則があることをインジケータ領域１８５０の当該通知アイテム５５０を通じてフィードバックすることもできる。
【０２５２】
例えば、図１９Ａに示されたように、動作中であった規則（例えば、タクシー）がユーザ選択によって一時中止するとき、ユーザデバイス１００は、当該規則の一時停止に反応して通知アイテム５５０を不活性化状態に切り替えて提供することができる。前記ウィジェット５００の実行情報領域５２０は、前記規則（例えば、タクシー）が現在動作（ｒｕｎｎｉｎｇ）中ではないことを指示することができる。
【０２５３】
また、本発明の実施形態によれば、図１９Ｂに示されたように、通知アイテム５５０は、当該規則に対応するアイコンまたはアプリケーション実行アイコンなど多様に提供されることができる。そして、当該規則に対応するアイコン形態を規則の実行状態（例えば、動作中でまたは一時停止中）によって活性化または不活性化状態を区分して直観的に提供することができる。一実施形態によれば、図１９ｂの例示のように、“タクシー”と関連した規則の場合、タクシー形状のアイコンの通知アイテム５５０が提供されることができる。
【０２５４】
図２０Ａ〜図２０Ｃは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【０２５５】
図２０Ａ〜図２０Ｃを参照すれば、ユーザデバイス１００は、１つまたはそれ以上の実行規則に対する通知アイテム５５０をインジケータ領域１８５０を通じて提供することができる。そして、本発明の実施形態によれば、ユーザが前記インジケータ領域１８５０の通知アイテム５５０を選択（例えば、タップまたはタッチに基づくタッチイベントなど）するか、またはクイックパネル（Ｑｕｉｃｋ  Ｐａｎｅｌ）２０１０を表示するためにインジケータ領域１８５０をタッチし、下方にドラッグすることができる。
【０２５６】
前記クイックパネル２０１０は、ユーザデバイス１００の多様な機能(例えば、Ｗｉ−Ｆｉ、ＧＰＳ、音、画面自動回転、節電モードなど)に対する設定情報およびそれらの迅速な設定などを支援することができ、ユーザ入力に反応してスライディングされ、表示部１３１の全体画面または一部の画面上に半透明形態で提供されることができる。特に、本発明の多様な実施形態において前記クイックパネル２０１０は、図２０Ｂに示されたように、規則が動作中の場合、動作中の当該規則に対する情報アイテム２０５０を提供することができる。したがって、ユーザは、前記クイックパネル２０１０を通じてインジケータ領域１８５０に提供された通知アイテム５５０に対応する少なくとも１つの規則の条件およびアクションが何であるかを直観的に確認することができる。
【０２５７】
図２０Ｂのような状態で、ユーザは、当該規則に対する詳細情報を確認するために、図２０Ｃに示されたように、前記クイックパネル２０１０の情報アイテム２０５０を選択（例えば、タップまたはタッチに基づくタッチイベントなど）することができる。ユーザデバイス１００は、前記情報アイテム２０５０の選択に反応して現在実行中の規則（すなわち、ユーザにより選択された情報アイテム２０５０に対応する規則）に対する詳細情報を出力することができる。本発明の多様な実施形態において前記詳細情報出力は、前記クイックパネル２０１０上のポップアップウィンドウを通じてテキストに基づいて提供されることもでき、または画面切替を通じて前述したような規則リストを通じて提供されることもでき、または前記クイックパネル２０１０を維持する状態で音声に基づいて提供されることもできる。
【０２５８】
例えば、本発明の多様な実施形態によれば、インジケータ領域１８５０の通知アイテム５５０をタッチするとき、当該規則の条件およびアクションなどが何であるかを音声またはテキストを通じてフィードバックすることができる。
【０２５９】
また、本発明の多様な実施形態によれば、インジケータ領域１８５０の通知アイテム５５０をタッチするか、またはインジケータ領域１８５０をタッチし、下方にドラッグするとき、クイックパネル２０１０を通じて当該規則に対する情報アイテム２０５０を提供することができる。そして、情報アイテム２０５０をタッチするとき、当該規則に対する詳細情報（例えば、条件および規則）に対して音声でフィードバックすることができる。一実施形態によれば、図２０Ｃの情報アイテム２０５０が選択されるとき、“［家］実行中です。サウンド設定ベル、Ｗｉ−Ｆｉ  ＯＮ”のような音声を出力することができ、またはテキストを出力することができ、または音声およびテキストをすべて出力することもできる。
【０２６０】
図２１Ａおよび図２１Ｂは、本発明の実施形態によるユーザデバイスで実行規則に対して通知する動作画面例示を示す図である。
【０２６１】
図２１Ａおよび図２１Ｂを参照すれば、図２１Ａおよび図２１Ｂは、本発明の実施形態によるウィジェット５００を利用してユーザが現在どんな規則を実行中であるかに対して通知する動作例を示すものである。
【０２６２】
図２１Ａに示されたように、ユーザは、ウィジェット５００の実行情報領域５２０を通じて現在実行中の規則（例えば、家）が表示中の状態で、当該規則を選択することができる。それでは、ユーザデバイス１００は、前記実行情報領域５２０で選択された当該規則に対する詳細情報をテキストまたは音声に基づいてフィードバックすることができる。
【０２６３】
例えば、図２１ｂに示されたように、ユーザデバイス１００は、ユーザ選択による当該規則（例えば、家）に対して設定された“［家］実行中、サウンド設定ベル音、Ｗｉ−Ｆｉ  ＯＮ”のような条件およびアクションをポップアップウィンドウ２１５０を通じてテキストに基づいて出力することができる。またはユーザデバイス１００は、ユーザの設定方式に対応して、前述した詳細情報を音声に基づいて出力するように動作するか、または前記テキストと前記音声をすべて出力するように動作することもできる。
【０２６４】
図２２Ａ〜図２２Ｃは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
【０２６５】
図２２Ａ〜図２２Ｃを参照すれば、図２２Ａは、本発明の実施形態による状況認識サービスのためのウィジェット５００が実行されており、前記ウィジェット５００の実行情報領域５２０を通じて現在動作中の規則に対する情報が表示されているときのユーザデバイス１００の画面例示を示すものである。
【０２６６】
図２２Ａに示されたように、現在動作中の規則が“地下鉄”に該当する場合を仮定する。これにより、ウィジェット５００の実行情報領域５２０を通じて実行中の規則である“地下鉄”に対する情報が表示されることができ、インジケータ領域１８５０に前記動作中の規則“地下鉄”に対応して通知アイテム５５０が提供されることができる。
【０２６７】
ユーザは、ウィジェット５００の命令入力領域（または規則実行ボタン）５１０を選択（例えば、タップに基づくタッチイベントなど）することができる。それでは、制御部１７０は、規則の実行、実行中の規則の一時停止、または実行中の規則の終了のうち少なくとも１つの動作を行うための動作開始であるものと決定することができる。図２２Ａ〜図２２Ｃの動作例示では、実行中の特定規則を終了するための動作の場合を仮定することができる。したがって、ユーザデバイス１００は、図２２Ｂに示されたように、実行を終了しようとする規則に対する情報入力（例えば、音声入力）を案内（例えば、“命令語を話してください”）するポップアップウィンドウ２２５１を表示した後、ユーザの音声入力を待機することができる。
【０２６８】
図２２ｂのような状態で、ユーザは、実行を終了しようとする当該規則（例えば、地下鉄）を終了する音声（例えば、“地下鉄終了”）を入力することができる。それでは、制御部１７０は、前記ユーザの音声入力を認識し、実行中の規則（例えば、“地下鉄”）で前記音声に対応する規則（例えば、“地下鉄”）を終了させることができる。そして、制御部１７０は、図２２ｃに示されたように、ウィジェット５００の実行情報領域５２０でユーザにより終了要請された当該規則（例えば、“地下鉄”）に対する表示を変更して提供することができる。また、制御部１７０は、実行中の規則“地下鉄”の終了に反応してインジケータ領域１８５０に表示された通知アイテム５５０の表示も除去することができる。
【０２６９】
一実施形態によれば、制御部１７０は、図２２Ｃに示されたように、実行情報領域５２０から“地下鉄”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。図２２Ｃは、ユーザの終了音声入力に反応してウィジェット５００の実行情報領域５２０で動作中のもので表示された当該規則（例えば、地下鉄）が除去された状態のユーザデバイス１００の画面例示を示すものである。図２２Ｃに示されたように、動作中であった“地下鉄”規則の終了要請に反応して、実行情報領域５２０に表示された“地下鉄”規則と関連した情報表示の代わりに、“動作中の規則がありません。”のような情報が代替されて表示されることができる。また、複数の規則が実行中であり、終了要請された規則が１つである場合を仮定するとき、前記実行情報領域５２０には、終了要請された規則の情報表示だけが除去され、他の規則の情報表示は、維持されることができる。
【０２７０】
以上のように、本発明の多様な実施形態によれば、“ＯＯＯ終了”のように、特定規則に対する終了を指示する音声入力を通じて当該規則に対して簡便に終了させることができる。また、本発明の多様な実施形態において、ユーザ入力によって特定規則が終わるとき、前記特定規則の条件およびアクションによって変更されたユーザデバイス１００の１つまたはそれ以上の設定を変更される前の状態に自動復帰するように動作することもできる。
【０２７１】
図２３Ａおよび図２３Ｂは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する動作例示を示す図である。
【０２７２】
図２３ａおよび図２３ｂを参照すれば、図２３Ａおよび図２３Ｂは、前述したようなウィジェット５００または規則リストなどで当該規則に対して終了を入力することができる終了ボタンを提供し、前記終了ボタンを利用して当該規則を終了させる場合の動作例示を示すものである。
【０２７３】
図２３ａに示されたように、ウィジェット５００を通じて現在動作中の規則が“地下鉄”に該当することをフィードバックすることができる。この際、図２３Ａに示されたように、インジケータ領域１８５０に前記動作中の規則に対応して通知アイテム５５０が提供されることができる。
【０２７４】
ユーザは、現在動作中の前記“地下鉄”規則に対して終了するために当該規則にマッピングされて提供される終了ボタン５２５を利用して当該規則の動作状態を終了することができる。例えば、図２３Ａに示されたように、ユーザは、ウィジェット５００の実行情報領域５２０で当該規則（例えば、“地下鉄”）にマッピングされた終了ボタン５２５を選択（例えば、タップまたはタッチに基づくタッチイベント）することができる。
【０２７５】
それでは、制御部１７０は、前記終了ボタン５２５に対するユーザ入力を認識し、実行中の規則（例えば、“地下鉄”）で前記終了ボタン５２５に対応する規則（例えば、“地下鉄”）を終了させることができる。そして、制御部１７０は、図２３ｂに示されたように、ウィジェット５００の実行情報領域５２０でユーザにより終了要請された当該規則(例えば、“地下鉄”)に対する表示を変更して提供することができる。また、制御部１７０は、実行中の規則の終了に反応してインジケータ領域１８５０に表示された通知アイテム５５０の表示も除去することができる。
【０２７６】
一実施形態によれば、制御部１７０は、図２３Ｂに示されたように、実行情報領域５２０で“地下鉄”に対応する規則の活性化状態を不活性化状態に切り替えて表示することができる。図２３Ｂは、ユーザの終了ボタン５２５入力に反応してウィジェット５００の実行情報領域５２０で動作中のものと表示された当該規則(例えば、地下鉄)が除去された状態のユーザデバイス１００の画面例示を示すものである。図２３Ｂに示されたように、動作中であった“地下鉄”規則の終了要請に反応して、実行情報領域５２０に表示された“地下鉄”規則と関連した情報表示の代わりに“動作中の規則がありません。”のような情報が代替されて表示されることができる。また、複数の規則が実行中であり、終了要請された規則が１つである場合を仮定するとき、前記実行情報領域５２０には、終了要請された規則の情報表示だけが除去され、他の規則の情報表示は、維持されることができる。
【０２７７】
図２４および図２５は、本発明の実施形態によるユーザデバイスで状況認識サービスを終了する動作例示を示す図である。
【０２７８】
図２４を参照すれば、ユーザは、規則終了のためにあらかじめ定義された特定命令（例えば、音声、テキスト、ウィジェットの終了ボタン、またはジェスチャーなど）を入力することによって、現在実行中の少なくとも１つの規則を終了することができる。ここで、前記規則終了のための命令は、音声命令やテキスト命令を含むことができる。または、前記規則終了は、別に割り当てられた機能キー入力を通じて終了することができ、ウィジェット５００を通じて規則ごとに割り当てられた終了ボタン５２５入力を通じて終了することもでき、または筆記入力のようなテキスト入力を通じて終了することもでき、または設定された特定ジェスチャー入力を通じて終了することもできる。
【０２７９】
例えば、図２４に示されたように、ユーザは、“ＯＯＯ（規則に対応する命令語など）終了、家到着、またはもう少しで家に到着”などのようにあらかじめ定義された規則終了のための自然言語に基づく音声を入力することができる。そして、ユーザデバイス１００は、ユーザから入力された音声を認識および解析し、当該音声が特定規則の終了のための命令に該当するとき、実行されている当該規則を終了することができる。本発明の多様な実施形態において前記規則終了のための命令は、定義される各規則別に設定されることができる。また、前記規則終了のための命令は、実行されている規則に関係なく、すべての規則に対して一括的に終了処理することができる統合命令（例えば、規則終了）が設定されることもできる。そして、統合命令の場合、複数で実行中の規則に対してすべて一括的に終了するように動作することができる。
【０２８０】
図２５を参照すれば、ユーザデバイス１００は、ユーザにより規則終了のための命令が直接的に入力されないとしても、特定条件が持続すれば、当該規則の終了を自動で行うか、または規則終了をユーザに誘導することもできる。
【０２８１】
例えば、図２５に示されたように、ユーザデバイス１００は、実行された規則による状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則終了条件に対応するかを区分することができる。本発明の多様な実施形態において、前記規則終了は、ユーザにより定義された１つまたはそれ以上の規則が所定の時間の間にどんな条件（状況）変化も検出されないか、またはユーザが定義した規則終了条件（例えば、規則終了のための音声入力、規則終了機能キー入力、特定条件持続など）が満たされれば、当該規則の終了として決定することができる。
【０２８２】
ユーザデバイス１００は、前記規則に対する終了条件が満たされるとき、ユーザに実行中の当該規則の終了を誘導するメッセージ（例えば、“運転モードを終了しましょうか？”）をポップアップ９００で提供することができ、ポップアップ９００を通じたユーザ選択によって当該規則を維持するかまたは当該規則を終了することができるようにする。
【０２８３】
図２６Ａおよび図２６Ｂは、本発明の実施形態によるユーザデバイスで規則を削除する動作例示を示す図である。
【０２８４】
図２６Ａおよび図２６Ｂを参照すれば、図２６Ａおよび図２６Ｂは、本発明の実施形態による状況認識サービスのためのアプリケーション（例えば、規則リスト）を実行するときのユーザデバイス１００の画面例示を示すものである。
【０２８５】
図２６ａおよび図２６ｂに示されたように、ユーザにより“家”、“タクシー”および“地下鉄”のように３個の規則が生成されて格納された場合を仮定することができる。ユーザは、前記のように３個の規則に対する規則リストが表示された状態でメニュー操作、音声入力、またはジェスチャー入力などを通じて削除機能を活性化することができる。
【０２８６】
例えば、ユーザは、図２６Ａのような状態で、ユーザデバイス１００のメニューを操作するユーザ入力、“規則削除”のような音声またはテキストに基づくユーザ入力、規則削除機能実行のためにあらかじめ定義されたジェスチャーに基づくユーザ入力などを通じて削除機能実行を要請することができる。それでは、制御部１７０は、前記のようなユーザ入力のうちいずれか１つのユーザ入力に反応して規則削除機能を活性化することができ、図２６Ｂのように、規則を削除することができる画面インターフェースを提供することができる。一実施形態によれば、図２６Ｂに示されたように、あらかじめ定義された規則に対するリストが表示されることができ、前記リスト内の各規則を選択することができる選択アイテム２６００（例えば、チェックボックス（Ｃｈｅｃｋ  Ｂｏｘ））が提供されることができる。
【０２８７】
ユーザは、規則に対応する選択アイテム２６００のうち削除しようとする少なくとも１つの規則を選択することができる。この際、制御部１７０は、ユーザの選択入力に反応して選択アイテム２６００上に当該規則が選択されることを表示することができる。一実施形態によれば、選択アイテム２６００の“空きのボックス(ｅｍｐｔｙ  ｂｏｘ)(例えば、内部にチェックマーク(ｃｈｅｃｋｍａｒｋ)がない選択ボックス)”上に“ｖ”のようにマーキングし、“内部にチェックマークを有するボックス”のように示すことができる。そして、ユーザは、メニュー操作または削除ボタンを利用して選択された少なくとも１つの規則を削除することができる。
【０２８８】
一方、図２６Ａおよび図２６Ｂでは、ユーザがメニューおよび選択アイテム２６００などを利用して規則を削除する動作を例示したが、ユーザは、図２６Ａまたは図２６Ｂのような状態で音声に基づいてまたはテキストに基づいて規則を削除することもできる。例えば、ユーザは、図２６Ａまたは図２６Ｂのような状態で“家削除”に対応する音声または筆記入力によって“家”規則を削除することもできる。
【０２８９】
図２７は、本発明の実施形態によるユーザデバイスで規則を生成する動作を示す流れ図である。
【０２９０】
図２７を参照すれば、制御部１７０（例えば、規則設定モジュール１７３）は、状況認識サービスのために入力されるユーザ入力を受信することができる（１００１段階）。例えば、ユーザは、ユーザ入力部１２０、マイク１４３およびタッチスクリーン１３０のうち少なくとも１つを操作して状況認識サービスの規則を定義するための設定モード実行を制御することができる。そして、ユーザは、設定モードでマイク１４３を通じた音声入力、ユーザ入力部１２０またはタッチスクリーン１３０を通じたテキスト入力などを通じてユーザの規則を定義する入力を行うことができる。それでは、制御部１７０は、前記設定モードで状況認識サービスのための前記ユーザ入力を感知することができる。ここで、ユーザは、前述した多様な動作例示のように、少なくとも１つの入力手段を通じて規則、条件状況、アクションおよび規則実行命令などを入力することができる。
【０２９１】
例えば、ユーザは、規則で“タクシーに乗ったら、文字を送ってくれ”を定義し、前記文字を伝送するターゲットに少なくとも１つのターゲットユーザデバイス（例えば、“パパに送ってくれ”）を指定し、それによる規則実行命令として“私はタクシーに乗った”を定義することができる。また、ユーザは、前述した例示で説明したように、“私がタクシーに乗ったら、パパと弟に５分ごとに私の位置情報を知らせてくれ”や“私がタクシーに乗った後、パパから‘どこなの’が含む文字受信時にパパに文字を送ってくれ”などのように具体的な規則を定義することもできる。
【０２９２】
制御部１７０は、ユーザ入力を認識することができる（１００３段階）。例えば、制御部１７０は、ユーザ規則の設定モードでユーザ入力が受信されるとき、当該手段に通じて入力された音声またはテキストを認識することができる。例えば、制御部１７０は、マイク１４３を通じてユーザの音声が入力されるとき、音声認識を行うことができ、ユーザ入力部１２０またはタッチスクリーン１３０を通じてユーザのテキストが入力されるとき、テキスト認識を行うことができる。ここで、本発明の実施形態においてユーザの音声またはユーザのテキストは、前述した例示のように、自然言語（ユーザが日常的に使用する言語）に基づいて入力されることができ、制御部１７０は、ユーザの音声またはテキストによる自然言語を認識することができる。
【０２９３】
制御部１７０は、認識されたユーザ入力（例えば、自然言語に基づくユーザ音声またはテキスト）を解析することができる（１００５段階）。例えば、制御部１７０は、前記自然言語に基づくユーザ音声を解析し、ユーザにより意図された規則、状況および規則実行命令語を抽出および区分することができる。または、制御部１７０は、ユーザからテキストが入力された場合、認識された自然言語に基づくユーザテキストを解析し、ユーザにより意図された規則、状況および規則実行命令語を抽出および区分することができる。ここで、前記規則、条件（状況）、アクションおよび規則実行命令は、ガイドによって順次に入力されることもできる。また、制御部１７０は、前記ユーザ入力に対する解析結果で状況認識によるアクション実行のための項目（例えば、状況認識対象、ターゲット、命令語など）をチェックし、漏れた部分を確認することもできる。一実施形態によれば、制御部１７０は、ユーザとのインタラクション動作を通じて規則生成に対するガイド提供およびそれに反応して入力された情報に基づいて規則を生成することができる。
【０２９４】
例えば、ユーザが“タクシーに乗ったら、文字を送ってくれ”のように、状況認識のための規則内容のみを定義し、ターゲットを指定しない場合、制御部１７０は、前記規則内容で文字を伝送する対象（すなわち、ターゲット）がないことを認知することができる。そして、制御部１７０は、ターゲットが指定されないことによって定義された規則に対するアクション実行時、どんなターゲットに伝送するかをガイドすることができる。すなわち、制御部１７０は、アクションによって付加的に必要な情報をユーザに音声またはテキストで質問しながらインタラクション動作を行うことができる。一実施形態によれば、制御部１７０は、“受信者を話してください”または“誰に送りましょうか？”などのようなポップアップ（音声案内を含む）を提供することができる。それでは、ユーザは、“後で決定するよ”、“ボーイフレンド”または“パパに送ってくれ”などのようにターゲットを指定することができる。前記ターゲット指定は、前述したように、音声またはテキストに基づく自然言語で指定されることができる。そして、制御部１７０は、上記のように規則に対する追加定義が行われるとき、前述したような手続によって認識および解析を行い、当該事項を１つの規則にマッチングすることができる。
【０２９５】
制御部１７０は、解析されたユーザ入力に対応して状況認識サービスのための規則を定義して管理することができる（１００７段階）。例えば、制御部１７０は、解析されたユーザ入力から抽出された規則、条件（状況）、アクションおよび規則実行命令などをマッピングしてマッピングテーブルで格納および管理することもできる。
【０２９６】
一方、図２７では、図示を省略したが、本発明の多様な実施形態によれば、前記規則定義時にユーザのためのガイドを追加提供することもできる。例えば、前述したような設定モードで、ユーザは、特定入力道具（例えば、電子ペン、ユーザの指など）を利用して定義しようとする規則に対するフレーズを筆記入力するか、仮想のタッチキーパッドを利用してタイピング入力することもできる。それでは、制御部１７０は、前記筆記またはタイピングによるテキストを認識し、認識されたテキストによる規則を定義することができる画面インターフェースを提供することができる。
【０２９７】
前記画面インターフェースを通じて指定可能な条件およびアクション（または機能、アプリケーション）などのリスト（例えば、条件リスト、アクションリスト）が提供されることができ、ユーザは、当該リストで所望のまたは必要な条件またはアクション（または機能、アプリケーション）をオン／オフ（Ｏｎ／Ｏｆｆ）するか、または所望の条件またはアクションを選択することができる。例えば、ユーザが事務室でＧＰＳ機能を自動オフするための規則を定義しようとするとき、前記設定モードで電子ペン（またはユーザの指）でユーザデバイスの画面上に“ｏｆｆｉｃｅ”を入力（筆記入力またはタッチキーパッドによるタイピング（文字）選択入力）することができる。
【０２９８】
本発明の多様な実施形態においては、ユーザ筆記入力またはタイピング入力のための画面インターフェース（例えば、命令語パッド（ｃｏｍｍａｎｄ  ｐａｄ）やタッチキーパッド）を画面上に提供することもできる。そして、前記命令語パッドやタッチキーパッドのような画面インターフェースを通じて様々な入力ツール（電子ペンまたはユーザ指など）を利用したユーザの筆記またはキーパッド入力によるテキストを入力されて“ｏｆｆｉｃｅ”を認識し、当該入力が規則定義のための入力であるものと認知することができる。それでは、制御部１７０は、設定リスト画面に切り替え、ユーザは、前記設定リスト画面で前記“ｏｆｆｉｃｅ”に関連した多様な条件またはアクション（機能、アプリケーションなど）のうち少なくとも１つの条件またはアクションに対するオン／オフを設定することができる。一例として、ユーザは、ＧＰＳ機能のオフを選択することができる。
【０２９９】
このように、本発明の実施形態によれば、規則定義は、ユーザの音声入力およびユーザのテキスト入力のうち少なくとも１つの入力方式を通じて規則を定義することができる。また、前記ユーザのテキスト入力方式は、ユーザが前述したような自然言語に基づいて規則を定義するか、または前述したような命令語パッドやタッチキーパッドを通じて特定索引語（例えば、‘ｏｆｆｉｃｅ’）を入力し、それに対応するアクションリストで少なくとも１つのアクションに対するオン／オフを選択的に設定する方式に区分されることができる。
【０３００】
図２８は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
【０３０１】
図２８では、ユーザデバイス１００でユーザにより定義された規則実行のための当該命令入力による規則を実行し、実行規則に対応する条件状況が感知されるとき、それによるアクションを実行する動作を示すものである。
【０３０２】
図２８を参照すれば、制御部１７０は、状況認識サービスのための命令入力を受信することができる（１１０１段階）。例えば、ユーザは、マイク１４３を通じて状況認識サービスのために定義された規則実行のための音声を入力することができる。それでは、制御部１７０は、前記マイク１４３を通じてユーザの音声を受信することができる。ここで、本発明の多様な実施形態によれば、ユーザの規則実行のための命令は、上記のようにマイク１４３を通じて音声に基づいて入力されることができ、ユーザ入力部１２０またはタッチスクリーン１３０を通じてテキストに基づいて入力されることができ、またはあらかじめ定義された特定ジェスチャーに基づいて入力されることもできる。
【０３０３】
また、本発明の多様な実施形態においては、音声命令を入力するために、ユーザデバイス１００の機能キーのうちユーザにより規則実行のための音声入力を待機するようにする命令キー（例えば、ショートカットキーまたはウィジェット５００の規則実行ボタンなど）を指定することもできる。例えば、制御部１７０は、前記命令キーによる入力が発生するとき、ユーザの状況移植サービスのための音声入力受信を待機し、前記待機状態で入力される音声のみに対して規則実行のための命令として認知することができる。ここで、前記命令キーの入力方式は、１回の入力で待機状態に切り替えられる方式であるか、または命令キーが押圧されている間にのみ、待機状態に切り替える方式であることができる。
【０３０４】
制御部１７０は、入力される命令を認識することができる（１１０３段階）。例えば、制御部１７０は、ユーザから音声が入力されるとき、入力された音声から規則実行を命令する命令語を認識することができる。
【０３０５】
制御部１７０は、認識された命令を解析することができる(１１０５段階)。例えば、制御部１７０は、認識されたユーザ音声（例えば、“私はタクシーに乗ります”）を解析し、規則実行命令語（例えば、“タクシー”）を抽出することができる、制御部１７０は、実行命令語が抽出されるとき、あらかじめ定義された規則で前記実行命令語に対応する規則があるのかを判別することができる（１１０７段階）。
【０３０６】
制御部１７０は、前記実行命令語に対応する規則がなければ（１１０７段階のＮＯ）、ガイド出力を制御することができる（１１０９段階）。例えば、制御部１７０は、ユーザにより要請された規則がないことを通知するガイドポップアップを出力することができる。または、制御部１７０は、前記ガイドポップアップを通じて当該命令語に対する規則を追加に定義するかなどを問い合わせるガイドを出力することもできる。または、制御部１７０は、ユーザにより定義された規則の規則リストを提供することもできる。
【０３０７】
制御部１７０は、ガイド出力後、ユーザ要請による当該動作実行を制御することができる（１１１１段階）。例えば、制御部１７０は、ユーザ選択によって前述した手続を終了するか、またはユーザ選択によって前記命令語に対応する新しい規則を定義するか、規則リストで特定規則を選択されるようにするなどの動作を処理することができる。
【０３０８】
制御部１７０は、前記実行命令語に対応する規則があれば（１１０７段階のＹＥＳ）、前記実行命令語に対して定義された規則が複数個であるかを判別することができる（１１１３段階）。例えば、ユーザは、１つの命令に対して１つまたはそれ以上の規則を定義することができる。一実施形態によれば、ユーザは、“運転”という規則（命令語）に“運転中に指定された外部からイベントが発生するとき、現在位置を伝送”するようにする第１規則、“運転中に時速１００Ｋｍ／ｈ以上なら、警告アラームを出力”するようにする第２規則、そして“運転中で時速６０Ｋｍ／ｈ以上ならオーディオボリュームを増加”するようにする第３規則などのように複数個を定義することができる。または、ユーザは、“運転１”という命令語に前記第１規則を定義し、“運転２”という命令語に前記第２規則を定義し、“運転３”という命令語に前記第３規則をそれぞれマッピングして定義することもできる。
【０３０９】
制御部１７０は、前記実行命令語に対して定義された規則が複数個ではなければ（１１１３段階のＮＯ）、すなわち前記実行命令語に対応する規則が１つなら、前記１つの規則による単一のアクション実行を制御することができる（１１１５段階）。例えば、制御部１７０は、前記１つの規則による条件（状況）のみを監視し、前記１つの規則に対する当該条件（状況）が検出されるとき、それに反応して１つまたはそれ以上のアクションを実行するように動作することができる。
【０３１０】
制御部１７０は、前記実行命令語に対して定義された規則が複数個なら（１１１３段階のＹＥＳ）、前記複数の規則による複数のアクション実行を制御することができる（１１１７段階）。例えば、制御部１７０は、前記複数の規則によるそれぞれの条件状況を監視し、前記複数の規則に対する１つまたはそれ以上の当該条件状況が検出されるとき、それに反応して１つまたはそれ以上のアクションを実行するように動作することができる。
【０３１１】
また、図２８では、図示を省略したが、制御部１７０は、１つの命令に対して複数の定義された規則が存在するとき、複数の規則のうちいずれか１つの規則選択をガイド（または推薦）するインターフェースを提供することもできる。そして、制御部１７０は、ユーザ選択（音声、テキスト、ジェスチャーなどによる選択入力）によって複数の規則に対する複数のアクション実行を制御することができ、または選択されたいずれか１つの規則に対する単一のアクション実行を制御することもできる。
【０３１２】
また、図２８では、図示を省略したが、前記ユーザ入力による規則でアクション実行のための項目（例えば、条件(状況)認識対象、ターゲット）をチェックし、漏れた部分を確認することもできる。すなわち、制御部１７０は、ユーザにより規則が実行される過程でインタラクションをチェックすることができる。
【０３１３】
例えば、ユーザが規則定義時に“タクシーに乗ったら、文字を送ってくれ”のように、条件(状況)認識のための規則内容のみを定義し、文字を伝送するターゲットを“後で決定するよ”として定義することができる。このような場合、制御部１７０は、規則実行段階または規則実行中に当該条件を検出して文字伝送のアクションを実行しようとする段階で、当該文字を伝送する対象（すなわち、ターゲット）がないことを認知することができる。したがって、制御部１７０は、ターゲットが指定されないことによって、当該規則に従って文字を伝送しようとするとき、どんなターゲットに伝送するかをガイドすることができる。一実施形態によれば、制御部１７０は、“文字を誰に送りましょうか？”のようなポップアップ（音声案内を含む）を提供することができる。それでは、ユーザは、“パパに送ってくれ”などのようにターゲットを指定することができ、前記ターゲット指定は、音声またはテキストに基づく自然言語で指定されることができる。
【０３１４】
図２９は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
【０３１５】
特に、図２９では、ユーザデバイス１００で規則実行後、実行された規則に対応する１つまたはそれ以上の条件（状況）をチェックしてアクションを実行するか、または動作中の規則を解除する動作の例示を示すものである。
【０３１６】
図２９を参照すれば、制御部１７０は、ユーザ要請による規則を実行し（１２０１段階）、前記規則実行による実行情報(例えば、通知アイテム)をフィードバックすることができる（１２０３段階）。例えば、制御部１７０は、前述したように、表示部１３１の画面上に実行されている規則と関連したアイテム（アイコン、テキストなど）が表示されるように動作することができる。
【０３１７】
制御部１７０は、規則実行による状態をチェックすることができる（１２０５段階）。例えば、制御部１７０は、現在実行中の規則に対応する条件（状況）が発生するかどうかを持続的または周期的に監視することができる。
【０３１８】
制御部１７０は、前記状態チェックされた結果を通じてアクション実行条件が満たされるかを判別することができる（１２０７段階）。例えば、制御部１７０は、実行中の規則で定義された１つまたはそれ以上の条件状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義されたアクションが実行されるようにする特定条件に対応するかを判別することができる。
【０３１９】
制御部１７０は、ユーザデバイス１００の条件（状況）がアクション実行条件に対応すれば（１２０７段階のＹＥＳ）、前記実行規則で当該条件に対応するアクション実行を制御することができる（１２０９段階）。例えば、制御部１７０は、規則実行時にアクションを誘発させる条件または状況を監視し、アクションを誘発する条件または状況になれば、当該アクションが実行されるように動作することができる。ここで、アクション実行は、定義された規則に従って機能（またはアプリケーション）を実行し、それによる結果（例えば、状況情報）を生成し、ユーザまたは他のユーザに出力されるようにする動作などを含むことができる。
【０３２０】
制御部１７０は、ユーザデバイス１００の条件（状況）がアクション実行条件に対応しなければ（１２０７段階のＮＯ）、前記状態チェックされた結果を通じて規則解除条件が満たされるかを判別することができる（１２１１段階）。例えば、制御部１７０は、実行された規則による条件（状況）を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則解除条件に対応するかを判別することができる。ここで、前記規則解除は、ユーザ設定による所定の時間の間にどんな状況変化も検出されないか、またはユーザが定義した規則解除条件（例えば、規則解除のための音声命令入力、規則解除のための機能キー入力、規則解除のためのテキスト入力、規則解除のためのジェスチャー入力、または特定条件持続）などが満たされれば、実行中の規則の解除として決定することができる。
【０３２１】
制御部１７０は、ユーザデバイス１００の条件（状況）が規則解除条件に対応しなければ（１２１１段階のＮＯ）、前記１２０５段階に進行し、状態チェックを行いながら以下の動作実行を制御することができる。
【０３２２】
制御部１７０は、ユーザデバイス１００の条件（状況）が規則解除条件に対応すれば（１２１１段階のＹＥＳ）、実行中の規則を解除し（１２１３段階）、規則解除による解除情報をフィードバックすることができる(１２１５段階)。例えば、制御部１７０は、実行された規則が解除されることを聴覚、視覚、そして触覚のうち少なくとも１つを通じてフィードバックすることができる。一実施形態によれば、制御部１７０は、オーディオ（例えば、音声、音響など）、解除案内ポップアップ、そして振動のうち少なくとも１つを通じて規則が解除されることをフィードバックする出力が行われるように動作することができる。
【０３２３】
ここで、図２９では、図示を省略したが、制御部１７０は、前記規則解除条件が充足されるとき、ユーザに実行規則終了を誘導するポップアップを提供することもでき、当該ポップアップを通じたユーザ選択によって実行中の規則を維持するかまたは解除することもできる。
【０３２４】
図３０は、本発明の実施形態によるユーザデバイスで状況認識サービスが提供される動作を示す流れ図である。
【０３２５】
図３０を参照すれば、制御部１７０は、ユーザ要請による規則が実行された状態でイベントを監視し（１３０１段階）、それによるイベント（条件）発生有無をチェックすることができる（１３０３段階）。例えば、制御部１７０は、実行中の規則による条件（状況）を監視し、内部または外部で発生するイベント（条件）があるか否かをチェックすることができる。
【０３２６】
前記イベント（条件）は、実行される規則に従ってユーザデバイス１００自体で状況変化（イベント）が監視される内部イベントと、外部でユーザデバイス１００に受信され、状況変化（イベント）が監視される外部イベントとを含むことができる。一実施形態によれば、前記内部イベントは、ユーザデバイス１００の速度変化が設定された条件を超過するときに発生するイベント、設定された時間の周期によって発生するイベント、ユーザから入力される音声またはテキストによって発生するイベント、ユーザデバイス１００の動作変化（例えば、モーション、照度など）によって発生するイベントなどを含むことができる。前記外部イベントは、外部からメッセージ受信（特に、実行中の規則で指定されたターゲットユーザデバイスからのメッセージ受信）によって発生するイベントなどを含むことができる。
【０３２７】
制御部１７０は、イベント発生があれば（１３０３段階のＹＥＳ）、前記実行規則で行う機能をチェックすることができる（１３０５段階）。例えば、制御部１７０は、現在実行中の規則で当該イベント（条件）に対してアクションとして定義された機能（またはアプリケーション）を抽出することができる。
【０３２８】
制御部１７０は、抽出された機能を活性化し（１３０７段階）、活性化された機能によってアクションが実行されるように動作することができる（１３０９段階）。例えば、制御部１７０は、前記実行規則で当該イベント（条件）によるアクションがユーザデバイス１００のオーディオボリューム制御に関するアクションの場合、オーディオボリューム制御のための機能を活性化し、ボリュームを加減するように動作することができる。または、制御部１７０は、前記実行規則で当該イベント（条件）によるアクションがユーザデバイス１００の現在位置伝送に関するアクションの場合、位置情報伝送のための機能（またはアプリケーション）（例えば、ＧＰＳ機能（ナビゲーション機能）およびメッセージ機能など）を活性化し、ユーザデバイス１００の現在位置情報を当該ターゲットデバイスに伝送するように動作することができる。すなわち、制御部１７０は、アクションを実行するタイプによって１つの機能（またはアプリケーション）または少なくとも２つ以上の複合機能（またはアプリケーション）を運用することができる。
【０３２９】
制御部１７０は、アクション実行（または実行の結果）によって関連情報（例えば、前記アクションの実行から発生する情報）のフィードバックを制御することができる（１３１１段階）。例えば、制御部１７０は、オーディオボリューム制御によってオーディオ出力のサイズを変化して出力しながら、変化したオーディオボリュームに対する画面インターフェース表示を制御することができる。または、制御部１７０は、ユーザデバイス１００の位置情報を指定されたターゲットデバイスに伝送したことを通知する画面インターフェース表示または音響（効果音など）出力を制御することができる。
【０３３０】
制御部１７０は、イベント（条件）発生がなければ（１３０３段階のＮＯ）、現在状況が規則解除条件に該当するかを判別することができる（１３１５段階）。例えば、制御部１７０は、現在実行されている規則による状況を監視し、現在状況がマッピングテーブルで前記規則に対して定義された規則解除条件に対応するかを判別することができる。
【０３３１】
制御部１７０は、前記規則解除条件に対応しなければ（１３１５段階のＮＯ）、前記１３０１段階に進行し、イベント監視を行いながら以下の動作実行を制御することができる。
【０３３２】
制御部１７０は、前記規則解除条件に対応すれば（１３１５段階のＹＥＳ）、前記実行された規則を解除し（１３１７段階）、規則解除（または規則の解除の結果）による解除情報（例えば、前記規則の解除から発生する情報）のフィードバックを制御することができる（１３１９段階）。例えば、前記規則解除条件が満たされるとき、ユーザに実行規則終了を誘導するポップアップを提供し、ポップアップを通じたユーザ選択によって実行規則を維持するか、または実行規則を解除することもできる。そして、制御部１７０は、実行規則解除時に、規則が解除されることを聴覚、視覚、そして触覚のうち少なくとも１つを通じてフィードバックすることができる。
【０３３３】
図３１Ａ〜図３１Ｎは、本発明の実施形態によるユーザデバイスで規則を生成する他の動作例示を示す図である。
【０３３４】
図３１Ａ〜図３１Ｎは、制御部１７０（例えば、規則設定モジュール１７３）がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して規則（例えば、条件およびアクション）を定義する動作の例示を示すものである。
【０３３５】
図３１Ａ〜図３１Ｎを参照すれば、図３１Ａ〜図３１Ｎは、図３Ａ〜図３Ｋまたは図４Ａ〜図４Ｊを参照した説明部分で説明したような規則生成動作に対応することができる。例えば、図３１Ａは、図４Ａに対応する動作であることができ、図３１Ｃは、図４Ｂに対応する動作であることができ、図３１Ｅは、図４Ｃに対応する動作であることができ、図３１Ｇは、図４Ｄに対応する動作であることができ、図３１Ｉは、図４Ｅに対応する動作であることができ、図３１Ｋは、図４Ｆに対応する動作であることができ、図３１Ｌは、図４Ｉに対応する動作であることができ、図３１Ｎは、図４Ｊに対応する動作であることができる。したがって、以下では、図３１Ａ〜図３１Ｎを参照する説明において前記図４Ａ〜図４Ｊを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
【０３３６】
すなわち、図３１Ａ〜図３１Ｎは、図４Ａ〜図４Ｊに対応する動作実行で規則を生成する本発明の実施形態を示すものである。但し、図３１Ａ〜図３１Ｎでは、規則生成のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストで入力される点において差異がある。したがって、図３１Ａ〜図３１Ｎでは、音声に基づいて規則を生成する動作（例えば、図４Ａ〜図４Ｊ）に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
【０３３７】
例えば、図３１Ａ〜図３１Ｎの場合、規則生成のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス１００は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力で“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図４Ａのポップアップウィンドウ４５１では、ユーザに音声入力インタラクション動作であることを通知する“ユーザが言う形態のイメージ”と“ＯＯＯを話してください”のような音声入力に対する案内が提供されることができる。一方、図３１Ａ、図３１Ｅ、図３１Ｇ、または図３１Ｌなどのポップアップウィンドウ３１５１、３１５５、３１５７、３１６７などでは、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“ＯＯＯを書いてください”のようなテキスト入力に対する案内が提供されることができる。
【０３３８】
また、図３１Ａ〜図３１Ｎの場合、規則生成のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図３１Ｂ、図３１Ｄ、図３１Ｆ、図３１Ｈ、図３１Ｊ、そして図３１Ｍに示されたように、ユーザデバイス１００の質疑に対するテキスト応答を入力（例えば、筆記入力）される動作が行われることができ、それによる筆記入力ウィンドウ３１００が提供されることができる。一実施形態によれば、図３１ａのポップアップウィンドウ３１５１を通じてユーザデバイス１００の“命令語を書いてください”という案内（質疑）後に、図３１Ｂのように、筆記入力ウィンドウ３１００が提供されれば、ユーザは、前記筆記入力ウィンドウ３１００を通じてテキスト（例えば、タクシー）を筆記入力することができる。
【０３３９】
このように、本発明の多様な実施形態によれば、規則を生成するにあたって、ユーザデバイス１００とユーザ間のインタラクション動作で規則生成過程が行われることができ、ユーザは、ユーザデバイス１００の案内に従って生成しようとする規則の条件およびアクションに対して自然言語に基づくテキストで入力して規則を設定することができる。すなわち、図３１Ａ〜図３１Ｎでユーザデバイス１００は、規則の条件およびアクションを設定する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を設定することができる。
【０３４０】
図３２Ａ〜図３２Ｅは、本発明の実施形態によるユーザデバイスで規則を実行する他の動作例示を示す図である。
【０３４１】
図３２Ａ〜図３２Ｅは、制御部１７０（例えば、規則実行モジュール１７５）がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して規則を実行し、制御部１７０（例えば、条件感知モジュール１７７）が規則実行に反応して前記規則に対応する条件を感知し、制御部１７０（例えば、アクション実行モジュール１７９）が条件感知に反応して当該条件に対応する１つまたはそれ以上のアクションを実行する動作の例示を示すものである。
【０３４２】
図３２Ａ〜図３２Ｅを参照すれば、図３２Ａ〜図３２Ｅは、図５Ａ〜図５Ｅを参照した説明部分で説明したような規則実行動作に対応することができる。例えば、図３２Ａは、図５Ａに対応する動作であることができ、図３２Ｂは、図５Ｂに対応する動作であることができ、図３２Ｄは、図５Ｃに対応する動作であることができ、図３２Ｅは、図５Ｄに対応する動作であることができる。したがって、以下では、図３２Ａ〜図３２Ｅを参照する説明で図５Ａ〜図５Ｅを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
【０３４３】
すなわち、図３２Ａ〜図３２Ｅは、図５Ａ〜図５Ｅに対応する動作実行で規則を実行する本発明の実施形態を示すものである。但し、図３２Ａ〜図３２Ｅでは、規則実行のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図３２Ａ〜図３２Ｅでは、音声に基づいて規則を生成する動作（例えば、図５Ａ〜図５Ｅ）に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
【０３４４】
例えば、図３２Ａ〜図３２Ｅの場合、規則実行のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス１００は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力として“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図５Ｂのポップアップウィンドウ５５１では、ユーザに音声入力インタラクション動作であることを通知する“ユーザが言う形態のイメージ”と“ＯＯＯを話してください”のような音声入力に対する案内が提供されることができる。一方、図３２Ｂなどのポップアップウィンドウ３２５１では、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“ＯＯＯを書いてください”のようなテキスト入力に対する案内が提供されることができる。
【０３４５】
また、図３２Ａ〜図３２Ｅの場合、規則実行のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図３２Ｃに示されたように、ユーザデバイス１００の質疑に対するテキスト応答を入力（例えば、筆記入力）される動作が行われることができ、それによる筆記入力ウィンドウ３２００が提供されることができる。一実施形態によれば、図３２Ｂのポップアップウィンドウ３２５１を通じてユーザデバイス１００の“命令語を書いてください”という案内（質疑）後に図３２Ｃのように筆記入力ウィンドウ３２００が提供されれば、ユーザは、前記筆記入力ウィンドウ３２００を通じてテキスト（例えば、地下鉄）を筆記入力することができる。
【０３４６】
このように、本発明の多様な実施形態によれば、規則を実行するにあたって、ユーザデバイス１００とユーザ間のインタラクション動作で規則実行過程が行われることができ、ユーザは、ユーザデバイス１００の案内に従って実行しようとする当該規則に対して自然言語に基づくテキストを入力して当該規則を実行することができる。すなわち、図３２Ａ〜図３２Ｅでユーザデバイス１００は、当該規則を実行する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を実行することができる。
【０３４７】
以上のように、本発明の多様な実施形態によれば、ウィジェット５００を通じて規則を実行することができる。一実施形態によれば、ユーザは、ウィジェット５００で命令入力領域（または規則実行ボタン）５１０を選択し、設定された規則（または命令語）に対するテキストを入力することができる。それでは、制御部１７０は、規則の開始を通知しながらどんなアクションが行われるかをテキストポップアップまたは音声（例えば、ＴＴＳ動作）でユーザにフィードバックすることができる。そして、制御部１７０は、実行する当該規則に対して実行情報領域５２０に追加しながら、インジケータ領域を通じて実行中の規則があることを通知する通知アイテムを表示することもできる。
【０３４８】
また、図３２Ａに示されたように、テキスト入力に基づく前記ウィジェット５００の場合、図５Ａで提示された音声入力に基づくウィジェット５００と区別されるように提供されることができる。一実施形態によれば、図５Ａのウィジェット５００の場合、命令入力領域または規則実行ボタン５１０に“ユーザが言う形態のイメージ”が提供されることができ、これにより、音声に基づく動作であることをユーザに通知することができる。また、図３２Ａのウィジェット５００の場合、命令入力領域（または規則実行ボタン）５１０に“ペンで文を書く形態のイメージ”が提供されることができ、これにより、テキストに基づく動作であることをユーザに通知することができる。
【０３４９】
図３３Ａ〜図３３Ｄは、本発明の実施形態によるユーザデバイスで実行中の規則を一時中止する他の動作例示を示す図である。
【０３５０】
図３３Ａ〜図３３Ｄを参照すれば、制御部１７０がユーザ入力のうち筆記による自然言語に基づくテキスト入力を受け入れ、前記テキスト入力に反応して現在動作中の規則を一時中止する動作の例示を示すものである。
【０３５１】
図３３Ａ〜図３３Ｄを参照すれば、図３３Ａ〜図３３Ｄは、図１６Ａ〜図１６Ｃを参照した説明部分で説明したような規則一時停止動作に対応することができる。例えば、図３３Ａは、図１６Ａに対応する動作であることができ、図３３Ｂは、図１６Ｂに対応する動作であることができ、図３３Ｄは、図１６Ｃに対応する動作であることができる。したがって、以下では、図３３Ａ〜図３３Ｄを参照する説明において前記図１６Ａ〜図１６Ｃを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
【０３５２】
すなわち、図３３Ａ〜図３３Ｄは、図１６Ａ〜図１６Ｃに対応する動作実行で実行中の規則を一時中止する本発明の実施形態を示すものである。但し、図３３Ａ〜図３３Ｄでは、規則を一時中止するためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図３３Ａ〜図３３Ｄでは、音声に基づいて規則を一時中止する動作（例えば、図１６Ａ〜図１６Ｃ）に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
【０３５３】
例えば、図３３Ａ〜図３３Ｄの場合、規則を一時中止するためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス１００は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力で“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図３３Ｂのポップアップウィンドウ３３５１では、ユーザにテキスト入力インタラクションション動作であることを通知する“ペンで文を書く形態のイメージ”と“ＯＯＯを書いてください”のように、テキスト入力に対する案内が提供されることができる。
【０３５４】
また、図３３Ａ〜図３３Ｄの場合、規則を一時中止するためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図３３Ｃに示されたように、ユーザデバイス１００の質疑に対するテキスト応答を入力（例えば、筆記入力）される動作が行われることができ、それによる筆記入力ウィンドウ３３００が提供されることができる。一実施形態によれば、図３３ｂのポップアップウィンドウ３３５１を通じてユーザデバイス１００の“命令語を書いてください”という案内（質疑）後に図３３ｃのように筆記入力ウィンドウ３３００が提供されれば、ユーザは、前記筆記入力ウィンドウ３３００を通じてテキスト（例えば、タクシー一時停止）を筆記入力することができる。
【０３５５】
このように、本発明の多様な実施形態によれば、規則を一時中止するにあたって、ユーザデバイス１００とユーザ間のインタラクション動作で一時停止過程が行われることができ、ユーザは、ユーザデバイス１００の案内に従って一時中止しようとする規則に対して自然言語に基づくテキストを入力し、当該規則を一時中止させることができる。すなわち、図３３Ａ〜図３３Ｄでユーザデバイス１００は、当該規則を一時中止する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を一時中止することができる。
【０３５６】
以上のように、本発明の多様な実施形態によれば、ウィジェット５００を通じて規則を一時中止することができる。一実施形態によれば、ユーザは、ウィジェット５００で命令入力領域（または規則実行ボタン）５１０を選択し、動作中の規則の一時停止のためのテキストを入力することができる。これにより、ユーザは、周期的に繰り返し実行される少なくとも１つの規則を一時的に中止することができる。すなわち、制御部１７０は、“ＯＯＯ一時停止”のように、テキストに基づくユーザ入力が入れば、当該規則（例えば、ＯＯＯ）を一時中止させることができる。
【０３５７】
図３４Ａ〜図３４Ｄは、本発明の実施形態によるユーザデバイスで実行中の規則を終了する他の動作例示を示す図である。
【０３５８】
図３４Ａ〜図３４Ｄを参照すれば、図３４Ａ〜図３４Ｄは、図２２Ａ〜図２２Ｃを参照した説明部分で説明したような規則終了動作に対応することができる。例えば、図３４Ａは、図２２Ａに対応する動作であることができ、図３４ｂは、図２２ｂに対応する動作であることができ、図３４Ｄは、図２２Ｃに対応する動作であることができる。したがって、以下では、図３４Ａ〜図３４Ｄを参照した説明に対応または同一の動作に対しては、その説明を省略するかまたは簡素化する。
【０３５９】
すなわち、図３４Ａ〜図３４Ｄは、図２２Ａ〜図２２Ｃに対応する動作実行で規則を終了する本発明の実施形態を示すものである。但し、図３４Ａ〜図３４Ｄでは、規則終了のためのユーザ入力が、音声ではなく、ユーザの筆記によってテキストに入力される点において差異がある。したがって、図３４Ａ〜図３４Ｄでは、音声に基づいて規則を終了する動作（例えば、図２２Ａ〜図２２Ｃ）に比べてユーザ音声入力を受け入れる動作の代わりに、ユーザの筆記に基づくテキスト入力を受け入れる動作が行われることができる。
【０３６０】
例えば、図３４Ａ〜図３４Ｄの場合、規則終了のためのユーザ入力がテキストに基づいて行われることによって、ユーザデバイス１００は、ユーザとのインタラクション動作によって提供するポップアップウィンドウにユーザ入力として“音声入力”の案内の代わりに、“テキスト入力”を案内する情報を提供することができる。一実施形態によれば、図３４Ｂのポップアップウィンドウ３４５１では、ユーザにテキスト入力インタラクション動作であることを通知する“ペンで文を書く形態のイメージ”と“ＯＯＯを書いてください”のようなテキスト入力に対する案内が提供されることができる。
【０３６１】
また、図３４Ａ〜図３４Ｄの場合、規則終了のためのユーザ入力がテキストに基づいて行われることによって、ユーザ入力として、音声ではなく、テキストのための筆記を入力される動作が行われることができる。例えば、図３４Ｃに示されたように、ユーザデバイス１００の質疑に対するテキスト応答を入力（例えば、筆記入力）される動作が行われることができ、それによる筆記入力ウィンドウ３４００が提供されることができる。一実施形態によれば、図３４Ｂのポップアップウィンドウ３４５１を通じてユーザデバイス１００の“命令語を書いてください”という案内(質疑)後に図３４Ｃのように筆記入力ウィンドウ３４００が提供されれば、ユーザは、前記筆記入力ウィンドウ３４００を通じてテキスト（例えば、地下鉄終了）を筆記入力することができる。
【０３６２】
このように、本発明の多様な実施形態によれば、規則を実行するにあたって、ユーザデバイス１００とユーザ間のインタラクション動作で規則終了過程が行われることができ、ユーザは、ユーザデバイス１００の案内に従って終了しようとする当該規則に対して自然言語に基づくテキストを入力し、当該規則を終了することができる。すなわち、図３４ａ〜図３４ｄでユーザデバイス１００は、当該規則を終了する自然言語に基づくテキストをユーザから入力され、ユーザ入力によって当該規則を終了することができる。
【０３６３】
以上のように、本発明の多様な実施形態によれば、ウィジェット５００を通じて規則を終了することができる。一実施形態によれば、ユーザは、ウィジェット５００で命令入力領域（または規則実行ボタン）５１０を選択し、動作中の規則の終了のためのテキストを入力することができる。また、本発明の多様な実施形態によれば、ユーザのテキスト入力によって当該規則が終わるとき、前記当該規則の条件およびアクションによって変更されたユーザデバイス１００の１つまたはそれ以上の設定を変更される前の状態に自動復帰するように動作することもできる。
【０３６４】
本発明の多様な実施形態によれば、それぞれのモジュールは、ソフトウェア、ファームウエア、ハードウェアまたはその組合で構成されることができる。また、一部または全体モジュールは、１つの個体（ｅｎｔｉｔｙ）に構成され、各モジュールの当該機能を同一に行われるように構成することができる。また、本発明の多様な実施形態によれば、それぞれの動作は、順次、繰り返し的または並列的に実行されることができる。また、一部の動作は、省略されるか、または他の動作が追加されて実行されることもできる。
【０３６５】
前述したような本発明の実施形態によるメッセージ処理方法は、多様なコンピュータ手段を通じて行われることができるプログラム命令形態で具現され、コンピュータで読み取り可能な記録媒体に記録されることができる。この際、前記コンピュータで読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。一方、記録媒体に記録されるプログラム命令は、本発明のために特別に設計され構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。
【０３６６】
前記コンピュータで読み取り可能な記録媒体には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ  Ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、フロプチカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、およびＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリなどのようなプログラム命令を格納し実行するように特別に構成されたハードウェア装置が含まれる。また、プログラム命令には、コンパイラによって作われるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードを含む。前述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
【０３６７】
そして、本明細書と図面に開示された本発明の実施形態は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。したがって、本発明の範囲は、ここに開示された実施形態以外にも、本発明の技術的思想に基づいて導出されるすべての変更または変形された形態が本発明の範囲に含まれるものと解釈されなければならない。
【符号の説明】
【０３６８】
１００  ユーザデバイス
１１０  無線通信部
１１１  移動通信モジュール
１１３  無線ＬＡＮモジュール
１１５  近距離通信モジュール
１１７  位置算出モジュール
１１９  放送受信モジュール
１２０  ユーザ入力部
１３０  タッチスクリーン
１３１  表示部
１３３  タッチ感知部
１４０  オーディオ処理部
１４１  スピーカー
１４３  マイク
１５０  格納部
１６０  インターフェース部
１７０  制御部
１７１  データ処理モジュール
１７３  規則設定モジュール
１７５  規則実行モジュール
１７７  条件感知モジュール
１７９  アクション実行モジュール
１８０  電源供給部
【図１】
2014064278.tif 000006
【図２】
2014064278.tif 000007
【図３Ａ】
2014064278.tif 000008
【図３Ｂ】
2014064278.tif 000009
【図３Ｃ】
2014064278.tif 000010
【図３Ｄ】
2014064278.tif 000011
【図３Ｅ】
2014064278.tif 000012
【図３Ｆ】
2014064278.tif 000013
【図３Ｇ】
2014064278.tif 000014
【図３Ｈ】
2014064278.tif 000015
【図３Ｉ】
2014064278.tif 000016
【図３Ｊ】
2014064278.tif 000017
【図３Ｋ】
2014064278.tif 000018
【図４Ａ】
2014064278.tif 000019
【図４Ｂ】
2014064278.tif 000020
【図４Ｃ】
2014064278.tif 000021
【図４Ｄ】
2014064278.tif 000022
【図４Ｅ】
2014064278.tif 000023
【図４Ｆ】
2014064278.tif 000024
【図４Ｇ】
2014064278.tif 000025
【図４Ｈ】
2014064278.tif 000026
【図４Ｉ】
2014064278.tif 000027
【図４Ｊ】
2014064278.tif 000028
【図５Ａ】
2014064278.tif 000029
【図５Ｂ】
2014064278.tif 000030
【図５Ｃ】
2014064278.tif 000031
【図５Ｄ】
2014064278.tif 000032
【図５Ｅ】
2014064278.tif 000033
【図６】
2014064278.tif 000034
【図７】
2014064278.tif 000035
【図８】
2014064278.tif 000036
【図９】
2014064278.tif 000037
【図１０】
2014064278.tif 000038
【図１１】
2014064278.tif 000039
【図１２】
2014064278.tif 000040
【図１３】
2014064278.tif 000041
【図１４Ａ】
2014064278.tif 000042
【図１４Ｂ】
2014064278.tif 000043
【図１５Ａ】
2014064278.tif 000044
【図１５Ｂ】
2014064278.tif 000045
【図１６Ａ】
2014064278.tif 000046
【図１６Ｂ】
2014064278.tif 000047
【図１６Ｃ】
2014064278.tif 000048
【図１７】
2014064278.tif 000049
【図１８Ａ】
2014064278.tif 000050
【図１８Ｂ】
2014064278.tif 000051
【図１９Ａ】
2014064278.tif 000052
【図１９Ｂ】
2014064278.tif 000053
【図２０Ａ】
2014064278.tif 000054
【図２０Ｂ】
2014064278.tif 000055
【図２０Ｃ】
2014064278.tif 000056
【図２１Ａ】
2014064278.tif 000057
【図２１Ｂ】
2014064278.tif 000058
【図２２Ａ】
2014064278.tif 000059
【図２２Ｂ】
2014064278.tif 000060
【図２２Ｃ】
2014064278.tif 000061
【図２３Ａ】
2014064278.tif 000062
【図２３Ｂ】
2014064278.tif 000063
【図２４】
2014064278.tif 000064
【図２５】
2014064278.tif 000065
【図２６Ａ】
2014064278.tif 000066
【図２６Ｂ】
2014064278.tif 000067
【図２７】
2014064278.tif 000068
【図２８】
2014064278.tif 000069
【図２９】
2014064278.tif 000070
【図３０】
2014064278.tif 000071
【図３１Ａ】
2014064278.tif 000072
【図３１Ｂ】
2014064278.tif 000073
【図３１Ｃ】
2014064278.tif 000074
【図３１Ｄ】
2014064278.tif 000075
【図３１Ｅ】
2014064278.tif 000076
【図３１Ｆ】
2014064278.tif 000077
【図３１Ｇ】
2014064278.tif 000078
【図３１Ｈ】
2014064278.tif 000079
【図３１Ｉ】
2014064278.tif 000080
【図３１Ｊ】
2014064278.tif 000081
【図３１Ｋ】
2014064278.tif 000082
【図３１Ｌ】
2014064278.tif 000083
【図３１Ｍ】
2014064278.tif 000084
【図３１Ｎ】
2014064278.tif 000085
【図３２Ａ】
2014064278.tif 000086
【図３２Ｂ】
2014064278.tif 000087
【図３２Ｃ】
2014064278.tif 000088
【図３２Ｄ】
2014064278.tif 000089
【図３２Ｅ】
2014064278.tif 000090
【図３３Ａ】
2014064278.tif 000091
【図３３Ｂ】
2014064278.tif 000092
【図３３Ｃ】
2014064278.tif 000093
【図３３Ｄ】
2014064278.tif 000094
【図３４Ａ】
2014064278.tif 000095
【図３４Ｂ】
2014064278.tif 000096
【図３４Ｃ】
2014064278.tif 000097
【図３４Ｄ】
2014064278.tif 000098