(57)【要約】  携帯電子機器で付加装置を介したディスプレイ方法及び装置を開示する。本発明の方法は、携帯電子機器でアプリケーションによるポップアップメニューの発生を感知するステップと、上記ポップアップメニューが付加装置で表示されるように、上記ポップアップメニューを示すＵＩ構成情報を上記付加装置に伝送するステップと、上記付加装置に表示されている上記ポップアップメニュー上で感知されたユーザ入力を示すユーザ入力データを上記付加装置から受信するステップと、上記ユーザ入力に応じて上記アプリケーションの実行を制御するステップとを含む。
2016521420.tif 000002
【特許請求の範囲】
【請求項１】
携帯電子機器と接続可能な付加装置を介したディスプレイ方法であって、
携帯電子機器におけるアプリケーションによって提供されるポップアップメニューの付加装置表示に対応する入力を感知するステップと、
前記ポップアップメニューに対応するユーザインターフェース（ＵＩ）構成情報を前記付加装置に伝送するステップと、
前記付加装置に表示される前記ポップアップメニューで感知されたユーザ入力に対応するユーザ入力データを前記付加装置から受信するステップと、
前記受信されたユーザ入力データに応じて、前記アプリケーションの実行を制御するステップと、を含むことを特徴とするディスプレイ方法。
【請求項２】
前記ポップアップメニューは、
前記携帯電子機器で実行されるイメージ編集アプリケーションにより発生されるブラシ設定メニューまたは前記携帯電子機器で写真ビューアアプリケーションにより表示されている写真に関連する詳細情報または前記携帯電子機器で実行されるゲームアプリケーションにより提供される特定オブジェクトの詳細情報及び設定情報のための少なくとも一つのメニューアイテムを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記ＵＩ構成情報は、
前記付加装置の物理的な形状、サイズ及び解像度によって構成されることを特徴とする請求項１に記載の方法。
【請求項４】
前記付加装置の物理的な形状、サイズ及び解像度に対応する画面情報を取得するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記ユーザ入力データは、
前記ポップアップメニュー上で、前記ユーザ入力が感知された位置を示す座標情報を含むか、または前記ユーザ入力によるコマンドを示すことを特徴とする請求項１に記載の方法。
【請求項６】
前記付加装置から付加ユーザインターフェース（ＵＩ）として使用されるための連動リクエストを受信するステップと、
前記付加装置に連動承認を通報するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記アプリケーションが付加ＵＩモードをサポートする場合、前記付加装置を付加ＵＩとして使用可能であるかを判定するステップと、
前記付加装置に連動リクエストを伝送するステップとをさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
携帯電子機器における表示可能なポップアップメニューを付加装置でディスプレイする方法であって、
携帯電子機器のアプリケーションで提供されるポップアップメニューに対応するＵＩ構成情報を前記携帯電子機器から受信するステップと、
前記ＵＩ構成情報の受信に応じて、前記ポップアップメニューを前記付加装置のディスプレイ画面に表示するステップと、
前記付加装置に表示される前記ポップアップメニューでユーザ入力を感知するステップと、
前記感知されたユーザ入力に対応するユーザ入力データを前記携帯電子機器に伝送するステップとを含むことを特徴とするディスプレイ方法。
【請求項９】
前記ポップアップメニューは、
前記携帯電子機器で実行されるイメージ編集アプリケーションにより発生されるブラシ設定メニュー、または、前記携帯電子機器で写真ビューアアプリケーションにより表示されている写真に関連する詳細情報、または、前記携帯電子機器で実行されるゲームアプリケーションにより提供される特定オブジェクトの詳細情報及び設定情報のための少なくとも一つのメニューアイテムを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記ＵＩ構成情報は、
前記付加装置の物理的な形状、サイズ及び解像度によって再構成されることを特徴とする請求項９に記載の方法。
【請求項１１】
前記付加装置の物理的な形状、サイズ及び解像度に対応する画面情報を前記携帯電子機器に伝送するステップをさらに含むことを特徴とする請求項８に記載の方法。
【請求項１２】
前記ユーザ入力データは、
前記ポップアップメニュー上で前記ユーザ入力が感知された位置を示す座標情報を含むか、または前記ユーザ入力によるコマンドを示すことを特徴とする請求項８に記載の方法。
【請求項１３】
前記付加装置から優先的に前記携帯電子機器の付加ユーザインターフェース（ＵＩ）として使用されるための連動リクエストを前記携帯電子機器に伝送するステップと、
前記携帯電子機器から連動承認を受信するステップと、をさらに含むことを特徴とする請求項８に記載の方法。
【請求項１４】
前記付加装置を前記携帯電子機器の付加ＵＩとして使用するための連動リクエストを前記携帯電子機器から受信するステップをさらに含むことを特徴とする請求項８に記載の方法。
【請求項１５】
付加装置を介してポップアップメニューを表示する携帯電子機器であって、請求項７乃至請求項１１に記載の方法の何れか一項を実行するように構成されることを特徴とする携帯電子機器。
【請求項１６】
携帯電子機器における表示可能なポップアップメニューを表示する付加装置であって、請求項８乃至請求項１４に記載の方法の何れか一項を実行するように構成されることを特徴とする付加装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電子機器のユーザインターフェース(以下、‘ＵＩ’と称する)提供に関し、特に、携帯電子機器で付加装置を介してユーザインターフェースをディスプレイするための方法及び装置に関する。
【背景技術】
【０００２】
携帯電子機器は、ユーザの便宜のために開発された小型機器であって、パーソナル・デジタルアシスタント(以下、‘ＰＤＡ’と称する)、ビデオプレイヤ、タブレットパーソナル・コンピュータ(以下、‘ＰＣ’と称する)、スマートフォンなど多様な形態で実現されることができる。特にスマートフォンは通話機能を有し、また、ユーザの必要によって所望のアプリケーションを自由に追加でダウンロードして設置することができるので広く普及されている。
【０００３】
携帯電子機器の最も大きい長所は、デスクトップコンピュータ、又はノートブックなどのラップトップコンピュータのような既存のコンピュータ機器に比べて小さなサイズを有するために、非常に携帯性が良いということである。しかし、このような長所により、ディスプレイが限定されたサイズを有するしかないという制約事項を有するようになる。このような制約を克服するために、最近の携帯電子機器はディスプレイと入力手段が統合されたタッチスクリーンを具備している。それにもかかわらず、ユーザは多様なアプリケーションを携帯電子機器の比較的小さなディスプレイ画面を通して利用するしかないので不便である。
【０００４】
上述した情報は、本開示の理解を助けるための背景情報としてのみ提示される。上記で開示された内容が先行技術として適用可能であるか否かにより、本開示が先行技術として定義されるか否かが主張されるべきではない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示の目的は、少なくとも上述した問題点及び／又は課題に取り組み、少なくとも以下の便宜を提供することにある。したがって、本発明は、携帯電子機器におけるユーザインターフェース（ＵＩ）をディスプレイするための方法及び装置を提供する。
【０００６】
本発明は、携帯電子機器における付加装置を介してユーザインターフェースをディスプレイするための方法及び装置を提供する。
本発明は、携帯電子機器におけるアプリケーションの実行によって発生する入力画面を、付加装置を介して表示する方法及び装置を提供する。
本発明は、携帯電子機器におけるポップアップメニューを、付加装置を介して表示する方法及び装置を提供する。
本発明は、携帯電子機器における付加装置を介してユーザ入力を感知する方法及び装置を提供する。
【課題を解決するための手段】
【０００７】
本発明の一実施形態による方法は、携帯電子機器と接続可能な付加装置を介したディスプレイ方法であって、携帯電子機器におけるアプリケーションによって提供されるポップアップメニューの付加装置表示に対応する入力を感知するステップと、上記ポップアップメニューに対応するユーザインターフェース（ＵＩ）構成情報を上記付加装置に伝送するステップと、上記付加装置に表示される上記ポップアップメニューで感知されたユーザ入力に対応するユーザ入力データを上記付加装置から受信するステップと、上記受信されたユーザ入力データに応じて、上記アプリケーションの実行を制御するステップと、を含む。  
【０００８】
本発明の一実施形態による方法は、携帯電子機器における表示可能なポップアップメニューを付加装置で表示する方法であって、携帯電子機器のアプリケーションで提供されるポップアップメニューに対応するＵＩ構成情報を上記携帯電子機器から受信するステップと、上記ＵＩ構成情報の受信に応じて、上記ポップアップメニューを上記付加装置のディスプレイ画面に表示するステップと、上記付加装置に表示される上記ポップアップメニューでユーザ入力を感知するステップと、上記感知されたユーザ入力に対応するユーザ入力データを上記携帯電子機器に伝送するステップとを含む。
【０００９】
本発明の一実施形態による装置は、付加装置を介してポップアップメニューをディスプレイする携帯電子機器であって、実行中のアプリケーションによるポップアップメニューの発生を感知し、上記ポップアップメニューが付加装置で表示されるように、上記ポップアップメニューを示すＵＩ構成情報を生成し、上記ポップアップメニュー上で感知されたユーザ入力に応じて上記アプリケーションの実行を制御するように構成される制御部と、上記ＵＩ構成情報を上記付加装置に伝送し、上記付加装置に表示されている上記ポップアップメニュー上で感知されたユーザ入力を示すユーザ入力データを上記付加装置から受信するように構成される通信部とを含む。
【００１０】
本発明の一実施形態による装置は、携帯電子機器で発生されるポップアップメニューをディスプレイする付加装置であって、ディスプレイ画面と、携帯電子機器で実行されるアプリケーションによるポップアップメニューを示すＵＩ構成情報を上記携帯電子機器から受信し、上記ポップアップメニュー上で感知されたユーザ入力を示すユーザ入力データを上記携帯電子機器に伝送するように構成される通信部と、上記ＵＩ構成情報の受信に応じて、上記ポップアップメニューを上記ディスプレイ画面に表示し、上記付加装置に表示されている上記ポップアップメニュー上でユーザ入力を感知すると、上記感知されたユーザ入力を示すユーザ入力データを生成するように構成される制御部とを含む。
【００１１】
本発明の他の目的、効果、及び顕著な特徴は、添付図面が併用される本発明の実施形態を開示する後述の詳細な説明から、当業者にとって一層明らかになる。
本開示及びその利点のより完全な理解のために、以下、添付の図面を参照して詳細に説明し、添付の図面において、同一の構成要素には同一の符号を付ける。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態による携帯電子機器と付加装置の接続を示す図である。
【図２】本発明の一実施形態による携帯電子機器の構成を示すブロック図である。
【図３】本発明の一実施形態による付加装置の構成を示すブロック図である。
【図４】本発明の一実施形態による携帯電子機器と付加装置の接続を示す図である。
【図５】本発明の一実施形態によるアプリケーションの実行手順を示すフローチャートである。
【図６Ａ】本発明の一実施形態による携帯電子機器の付加ＵＩ提供動作を示すフローチャートである。
【図６Ｂ】本発明の一実施形態による携帯電子機器の付加ＵＩ提供動作を示すフローチャートである。
【図７】本発明の一実施形態による付加装置を介した付加ＵＩ提供動作を示すフローチャートである。
【図８】従来技術でアプリケーションの作業領域に重複して表示されるポップアップメニューの一例を示す図である。
【図９Ａ】本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
【図９Ｂ】本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
【図９Ｃ】本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
【図９Ｄ】本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
【図９Ｅ】本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
【図９Ｆ】本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
【図１０】本発明の他の実施形態による携帯電子機器の付加ＵＩ提供動作を示すフローチャートである。
【図１１】本発明の他の実施形態による付加装置を介した付加ＵＩ提供動作を示すフローチャートである。
【図１２Ａ】本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
【図１２Ｂ】本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
【図１３】本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介したＵＩ動作の例示を示すフローチャートである。
【図１４Ａ】本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシ色の変更を実行する例を示すフローチャートである。
【図１４Ｂ】本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシ色の変更を実行する例を示すフローチャートである。
【図１５Ａ】本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシタイプ変更を実行する例を示すフローチャートである。
【図１５Ｂ】本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシタイプ変更を実行する例を示すフローチャートである。
【図１６Ａ】本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシの厚み変更を実行する例を示すフローチャートである。
【図１６Ｂ】本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシの厚み変更を実行する例を示すフローチャートである。
【図１７Ａ】本発明の一実施形態によるイメージ編集アプリケーションと腕時計の接続例示を示す図である。
【図１７Ｂ】は本発明の一実施形態によるイメージ編集アプリケーションと腕時計の接続例示を示す図である。
【図１８】従来技術による写真ビューアアプリケーションの実行画面を示す図である。
【図１９】本発明の一実施形態によって付加装置を介して写真ビューアアプリケーションの付加ＵＩを提供する携帯電子機器の動作を示すフローチャートである。
【図２０】本発明の一実施形態によって写真ビューアアプリケーションの付加ＵＩを提供する付加装置の動作を示すフローチャートである。
【図２１Ａ】本発明の一実施形態によって写真ビューアアプリケーションの付加ＵＩを提供する動作を説明するための図である。
【図２１Ｂ】本発明の一実施形態によって写真ビューアアプリケーションの付加ＵＩを提供する動作を説明するための図である。
【図２１Ｃ】本発明の一実施形態によって写真ビューアアプリケーションの付加ＵＩを提供する動作を説明するための図である。
【図２１Ｄ】本発明の一実施形態によって写真ビューアアプリケーションの付加ＵＩを提供する動作を説明するための図である。
【図２２】従来技術によるゲームアプリケーションの実行画面を示す図である。
【図２３】本発明の一実施形態によって付加装置を介してゲームアプリケーションの付加ＵＩを提供する携帯電子機器の動作を示すフローチャートである。
【図２４】本発明の一実施形態によってゲームアプリケーションの付加ＵＩを提供する付加装置の動作を示すフローチャートである。
【図２５Ａ】本発明の一実施形態によってゲームアプリケーションの付加ＵＩを提供する動作を説明するための図である。
【図２５Ｂ】本発明の一実施形態によってゲームアプリケーションの付加ＵＩを提供する動作を説明するための図である。
【図２５Ｃ】本発明の一実施形態によってゲームアプリケーションの付加ＵＩを提供する動作を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の望ましい実施形態を添付された図面を参照して詳細に説明する。そして、本発明を説明するにあって、関連する公知機能又は構成に対する具体的な説明が本発明の要旨を不必要にすると判定された場合はその詳細な説明は省略する。そして、後述する用語は本発明における機能を考慮して定義される用語であって、これはユーザ、運用者の意図または慣例などによって変更可能である。したがって、その定義は本明細書全般にかける内容に基づいて定められるべきである。
【００１４】
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。
【００１５】
英文明細書に記載の“ａ”、“ａｎ”、及び“ｔｈｅ”、すなわち単数形は、コンテキスト中に特記で明示されない限り、複数形を含むことは、当業者にはわかることである。したがって、例えば、“コンポーネント表面（a  component  surface）”との記載は、１つ又は複数の表面を含む。
【００１６】
図１は、本発明の一実施形態による携帯電子機器と付加装置の接続を図示する。
図１を参照すると、携帯電子機器１００と付加装置１１０は、近距離無線通信手段又は有線ケーブルを通して相互間に接続されることができる。一実施形態で、携帯電子機器１００は、ブルートゥース（登録商標）、ブルートゥース（登録商標）低エネルギー(以下、‘ＢＬＥ’と称する)、ジグビ（登録商標）、赤外線通信、ワイファイダイレクト、ホーム無線周波数（ＲＦ）、 デジタル・リビング・ネットワーク・アライアンス（ＤＬＮＡ）などのような無線技術を通して、付加装置１１０と接続されることができる。他の実施形態で、携帯電子機器１００は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ケーブル、ＵＳＢ （Universal Serial ＢＵＳ）ケーブル、マイクロ/ミニＵＳＢケーブル、ＡＶ（Audio-Video）ケーブルのような有線技術を通して付加装置１１０と接続されることができる。
【００１７】
携帯電子機器１００は、ディスプレイを有し、保存又はダウンロードされたアプリケーションを実行できるように構成された装置であって、ＰＤＡ、セルラー電話機、スマートフォン、タブレットパーソナル・コンピュータ(以下、‘ＰＣ’と称する)、マルチメディアデータプレイヤ(以下、‘ＰＭＰ’と称する)などであり得る。携帯電子機器１００が付加装置１１０と無線又は有線で接続及び同期化された状態で、付加装置１１０を通して情報をディスプレイする動作モードを意味する付加ＵＩモードの使用がアクティブ化された場合、携帯電子機器１００は、実行中のアプリケーションで付加ディスプレイのために提供するユーザインターフェース(以下、‘ＵＩ’と称する)データを付加装置１１０に伝送できる。
【００１８】
本発明の一実施形態で、付加装置１１０は、携帯電子機器１００で実行されるアプリケーションに対応するポップアップウィンドウ又はポップアップメニューを表示できる。付加装置１１０は、携帯電子機器１００のディスプレイと比較して相対的に小型のディスプレイを有し、より高い携帯性とユーザ接近性を有する装置、一例として腕時計や、ディスプレイ手段を有するイヤーセットリモコン、又はユーザの体に付着されたり着用できる（wearable）装置などであり得る。ここで、腕時計は、時計製品であって、ブルートゥース（登録商標）のような通信機能を有することで、スマートフォンと連動して、文字、電話、インスタントメッセージ通知のような機能をサポートするスマートワッチであり得る。
【００１９】
本発明におけるポップアップウィンドウは、実行中のアプリケーションで特定の内容を表示するためにポップアップ式で表示される新たなウィンドウを意味する。また、アプリケーションがリクエストするユーザの入力を感知できるように構成される場合、ポップアップウィンドウはポップアップメニューと称することができる。ポップアップメニューは、実行されるアプリケーションの作業領域上では表示されず、ユーザ又はアプリケーションからの特定の命令に応じてユーザが必要とする情報を表示すると同時に、ユーザから特定コマンドの入力を受けるように構成されることができる。ポップアップメニューは、タッチ又はモーションのようなユーザ相互動作のためのグラフィックユーザインターフェース(以下、‘ＧＵＩ’と称する)を提供するコンテキストメニューの一種である。また、ポップアップメニューは、アプリケーションの作業領域を区別しないと共にユーザのリクエストだけによって画面に表示され、付加的なインターフェースを提供するために使用されることができる。また、一つの機能又は複数の機能と関連する一つ又はそれ以上のソフトキーで構成されることができる。
【００２０】
本発明の後述する実施形態では、アプリケーションにより発生される大部分の情報を携帯電子機器に表示すると共に、ユーザ又はアプリケーションのリクエストにより示される少なくとも一部の情報を携帯電子機器ではなく、付加装置のディスプレイ画面を通して表示する。ここで、付加装置で表示される少なくとも一部の情報は、アプリケーションのポップアップウィンドウまたはポップアップメニューを含むことができる。以下で、ポップアップメニューを実行し、付加装置に表示するための具体的な動作に対して説明する。
【００２１】
図２は、本発明の一実施形態による携帯電子機器の構成を示すブロック図である。
図２を参照すると、携帯電子機器１００は、近距離無線通信部２５０、インターフェース部２４０、タッチスクリーン２３０、保存部２２０及び制御部２１０を含むことができる。タッチスクリーン２３０は、表示部２３２、タッチ感知部２３４を含むことができる。
【００２２】
近距離無線通信部２５０は、制御部２１０の制御下で、通信可能な範囲内に存在する他の電子機器と近距離無線通信チャネルを形成できる。特に、本発明の実施形態による近距離無線通信部２５０は、付加ＵＩモードの際に、付加装置１１０と近距離無線通信チャネルを形成し、上記近距離無線通信チャネルを通してＵＩ構成情報を付加装置１１０に伝送し、上記近距離無線通信チャネルを通して付加装置１１０からユーザ入力データを受信することができる。このような近距離無線通信部１５０は、ブルートゥース（登録商標）、赤外線通信、ワイファイＰ２Ｐ、ワイファイダイレクト、ホームＲＦ、ＤＬＮＡ及びジグビ（登録商標）のような近距離無線通信方式を利用できる。
【００２３】
選択的に存在できるインターフェース部２４０は、付加装置１１０と有線接続のために有線ケーブルを含み、上記有線ケーブルを通してＵＩ構成情報を付加装置１１０に伝送し、上記有線ケーブルを通して付加装置１１０からユーザ入力データを受信することができる。このためにインターフェース部２４０は、ＵＳＢ、マイクロ／ミニＵＳＢ、ＨＤＭＩ（登録商標）、２０極コネクターなどで形成され得る。携帯電子機器１００が有線ケーブルを介した付加ＵＩを提供しない場合、インターフェース部２４０は省略される。
【００２４】
タッチスクリーン２３０は、入力機能及び出力機能を実行できる。このためにタッチスクリーン２３０は、出力機能を実行する表示部２３２及び入力機能を実行するタッチ感知部２３４を含むことができる。表示部２３２は、携帯電子機器１００で実行されるアプリケーションの情報をはじめ、ユーザが入力した情報及び/またはユーザに提供するための情報を表示する。例えば、表示部２３２は、携帯電子機器１００の利用による多様なアプリケーション、例えばイメージ編集アプリケーション、ノートプログラム、写真ビューア、ゲームなどの作業領域を提供できる。付加ＵＩモードがアクティブ化されている状態で、作業領域を少なくとも部分的に隠すポップアップメニューが発生した場合、制御部２１０は、ポップアップメニューを表示部２３２に表示する代りに付加装置１１０に表示できる。例えば、イメージ編集アプリケーションの実行中にブラシ設定のためのポップアップメニューの表示がリクエストされる場合、制御部２１０は、ポップアップメニューを含むＵＩ構成情報を構成して近距離無線通信部２５０を通して付加装置１１０に伝送できる。
【００２５】
タッチ感知部２３４は、ユーザの指またはスタイラスなどの接触又は感知による入力イベントを生成し、生成された入力イベントを制御部２１０に伝達できる。タッチ感知部２３４は、指またはスタイラスの接触又は近接による物理量(例えば、静電容量、抵抗等）の変化を認識し、入力のタイプ及び入力が感知された位置情報を含む入力イベントを制御部２１０に伝達できる。
【００２６】
保存部２２０は、本発明の実施形態による動作に必要なプログラムコードをはじめ、ユーザデータなどを保存することができる。例えば、保存部２２０は、携帯電子機器１００の全般的な動作を制御するプログラム及び携帯電子機器１００をブーティングさせるオペレーティングシステム(ＯＳ）、携帯電子機器１００の付加的な機能、例えば、カメラ機能、サウンドプレイ機能、イメージ編集、イメージ表示、動画再生、近距離無線通信機能などに必要なアプリケーションを保存することができる。特に保存部２２０は、タッチスクリーン２３０及び付加装置１１０に表示されるポップアップメニューを示すＵＩ構成情報を保存することができる。一実施形態で保存部２２０は付加装置１１０のタイプ、一例として、サイズ、四角形又は円形のような物理的形状、解像度やサイズなどに適合した形態のポップアップメニューを示すＵＩ構成情報を制御部２１０の制御下で保存し、制御部２１０のリクエストがある際に、上記ＵＩ構成情報を制御部２１０に提供できる。
【００２７】
制御部２１０は、携帯電子機器１００の全般的な動作及び携帯電子機器１００の内部構成要素との間の信号の流れを制御できる。特に、制御部２１０は、付加ＵＩモードがアクティブ化されていて、ポップアップメニューの実行がリクエストされた場合、接続した付加装置１１０のタイプによって構成されたポップアップメニューを示すＵＩ構成情報を、近距離無線通信部２５０を通して付加装置１１０に伝送できる。また、制御部２１０は、近距離無線通信部２５０を通して、付加装置１１０から上記ポップアップメニュー上で感知されたユーザ入力を示すユーザ入力データが受信される場合、上記ユーザ入力データに基づいて、表示部２３２の作業領域に表示されるブラシ設定が変更されるように制御できる。
【００２８】
図２に図示していないが、携帯電子機器１００は、イメージまたは動画撮影のためのカメラモジュール、放送受信のための放送受信モジュール、ＭＰＥＧ audio layer-３(ＭＰ３)モジュールのようなデジタル音源再生モジュール及び近接センシングのための近接センサモジュールなどの付加機能を提供するための構成要素を選択的にさらに含むことができる。このような構成要素はデジタル機器のコンバージェンスのトレンドによって変形が多様であるため、全て列挙できないが、本発明の実施形態による携帯電子機器１００は、上述した構成要素と同等な水準の構成要素をさらに含むことができる。
【００２９】
図３は、本発明の一実施形態によって携帯電子機器と接続することができる付加装置の構成を示すブロック図である。
図３を参照すると、付加装置１１０は、携帯電子機器１００と同様に近距離無線通信部３５０、インターフェース部３４０、タッチスクリーン３３０、保存部３２０及び制御部３１０を含み、タッチスクリーン３３０は、表示部３３２とタッチ感知部３３４を含めて構成される。近距離無線通信部３５０は、制御部３１０の制御下で、携帯電子機器１００と近距離無線通信チャネルを形成し、上記近距離無線通信チャネルを通してＵＩ構成情報を携帯電子機器１００から受信し、ユーザからの入力を感知した際に、感知された入力を示すユーザ入力データを、上記近距離無線通信チャネルを通して携帯電子機器１００に伝送できる。選択的に存在できるインターフェース部３４０は、携帯電子機器１００との有線接続のために有線ケーブルを含み、上記有線ケーブルを通してＵＩ構成情報を携帯電子機器１００から受信して、上記有線ケーブルを通して携帯電子機器１００にユーザ入力データを伝送できる。
【００３０】
タッチスクリーン３３０は、出力機能を実行する表示部３３２及び入力機能を実行するタッチ感知部３３４を含み、表示部３３２は、付加装置１１０で固有に発生する情報をはじめ、ユーザが入力した情報及び/またはユーザに提供するための情報を表示する。例えば、付加装置１１０が腕時計である場合、表示部３３２は文字盤を提供できる。付加ＵＩモードで、携帯電子機器１００からポップアップメニューに関連するＵＩ構成情報が受信された場合、制御部３１０はポップアップメニューを表示部３３２に表示できる。
【００３１】
タッチ感知部３３４は、ユーザの指またはスタイラスなどの接触又は感知による入力イベントを生成し、生成された入力イベントを制御部３１０に伝達できる。タッチ感知部３３４は、指またはスタイラスの接触又は近接による物理量(例えば静電容量、抵抗等）の変化を認識し、入力のタイプ及び入力が感知された位置情報を含む入力イベントを制御部３１０に伝達できる。付加ＵＩモードで制御部３１０は上記入力イベントを、近距離無線通信部３５０を通して携帯電子機器１００に伝送する。
【００３２】
保存部３２０は、本発明の実施形態による機能動作に必要なプログラムコードをはじめ、ユーザデータなどを保存することができる。例えば、保存部３２０は、付加装置１１０の全般的な動作を制御するプログラム及び付加装置１１０をブーティングさせるオペレーティングシステム（ＯＳ）、付加装置１１０の付加的な機能、例えば、時計機能、アラーム機能、通知機能などに必要なプログラムコードを保存することができる。また、保存部３２０は携帯電子機器１００から受信された、ポップアップメニューのディスプレイのために必要なＵＩ構成情報を保存することができる。他の実施形態で保存部３２０は、付加装置１１０自分のタイプ、一例として、サイズ、四角形又は円形のような物理的形状、解像度やサイズなどに関連する情報を保存していて、制御部３１０のリクエストがある際に、上記情報を制御部３１０に提供できる。
【００３３】
制御部３１０は、付加装置１１０の全般的な動作及び付加装置１１０の内部構成要素との間の信号の流れを制御できる。特に、制御部３１０は付加ＵＩモードがアクティブ化されてポップアップメニューに関連するＵＩ構成情報が受信された場合、上記ポップアップメニューを、表示部３３２を通して表示できる。また、制御部３１０はタッチ感知部３３４から、上記ポップアップメニュー上でユーザ入力が感知されたことが通報された場合、上記ユーザ入力を示すユーザ入力データを生成して近距離無線通信部３５０を通して携帯電子機器１００に伝送できる。
【００３４】
図３に図示しないが、付加装置１１０は、オーディオ信号の出力のためのスピーカー、モーションセンサ、腕時計の回転部や龍頭などのような少なくとも一つの物理的な入力部などの付加機能を提供するための構成要素を選択的にさらに含むことができる。本発明の実施形態による付加装置１１０は、上述した構成要素と同等な水準の構成要素をさらに含むことができる。
【００３５】
後述する実施形態は、携帯電子機器と一つ又はそれ以上の付加装置を活用して、携帯電子機器で実行されるアプリケーションにより発生されるＵＩの少なくとも一部を付加装置に分離して表示する。一実施形態で、イメージ編集アプリケーションで主に使用する色変換機能やブラシの厚みの変更のような機能を含むポップアップメニューを、付加装置の画面に表示することで、ポップアップメニューによってイメージ編集アプリケーションの作業領域が遮られることを防ぎ、ブラシ設定の変更のために必要な操作行為の数を減らす。
【００３６】
図４は、本発明の一実施形態による携帯電子機器と付加装置の接続を示す図である。
図４を参照すると、携帯電子機器４１０は、ポップアップメニューを発生させるアプリケーションを含むメイン装置を意味し、実行可能な複数のアプリケーション４１２とカーネル４１６上で動作する付加装置用フレームワーク４１４とを含めて構成される。付加装置用フレームワーク４１４は、アプリケーション４１２のうち少なくとも一つと通信し、付加装置４２０との通信を担当する。アプリケーション４１２のうち少なくとも一つは付加入出力を使用可能なプログラムであって、一例でイメージ編集アプリケーション、ゲーム、又は写真ビューアであり得る。
【００３７】
携帯電子機器４１０は、無線又は有線通信手段４３０を使用して付加装置４２０と接続する。付加装置４２０は、携帯電子機器４１０と付加装置４２０との間の通信を担当するエージェントプログラム４２２と一つ又はそれ以上のソフトウェア実行部４２４，４２６を含めて構成される。ソフトウェア実行部４２４，４２６は、画面制御ソフトウェア４２４と入力制御ソフトウェア４２６を含むことができる。画面制御ソフトウェア４２４は、付加装置４２０自体で発生する情報又はエージェントプログラム４２２を通して携帯電子機器４１０から提供されるＵＩ構成情報を付加装置４２０の画面上に表示し、入力制御ソフトウェア４２６は、付加装置４２０のタッチスクリーン又は他の入力部を通して入力される情報を感知して処理するか又はエージェントプログラム４２２を通して携帯電子機器４１０に伝達する。
【００３８】
携帯電子機器４１０内の付加装置用フレームワーク４１４は、アプリケーション４１２と通信するアプリケーションプログラムインターフェース(以下、‘ＡＰＩ’と称する)モジュール４３５と、付加装置４２２に伝送するＵＩ構成情報を構成し、付加装置４２２から伝えられるユーザ入力データを受信して解析するエージェント制御モジュール４３４と、携帯電子機器４１０と付加装置４２０との間を接続する通信方式によって付加装置４２０のエージェントプログラム４２２との通信を担当するエージェント通信モジュール４４０を含めて構成される。エージェント制御モジュール４３４は、付加装置４２２に伝達するＵＩ構成情報を構成し、エージェント通信モジュール４４０を通して付加装置４２２に伝達する画面制御サブモジュール４３６と、エージェント通信モジュール４４０を通して付加装置４２２から伝えられたユーザ入力データを解析して該当アプリケーション４１２に伝達する入力制御サブモジュール４３８を含む。
【００３９】
ＡＰＩモジュール４３２は、付加装置４２０の画面制御、入力制御などのリソースを活用できるインターフェースを提供する。このためにＡＰＩモジュール４３２はエージェント制御モジュール４３４を利用する。エージェント制御モジュール４３４は付加装置４２０の画面、タッチ入力などの制御を担当するサブモジュール４３６、４３８を通して、付加装置４２０のリソース(画面出力、タッチ入力等）を携帯電子機器４１０で活用できるようにサポートする。エージェント通信モジュール４４０は、エージェント制御モジュール４３４を通して伝えられるアプリケーション４１２のリクエストを付加装置４２０に伝達するか、または付加装置４２０からのユーザ入力を、エージェント制御モジュール４３４を通して該当アプリケーション４１２に伝達する。
【００４０】
付加装置４２０内のエージェントプログラム４２２は、携帯電子機器４１０の付加装置用フレームワーク４１４と通信するメイン装置通信モジュール４５２と、付加装置４２０の入出力ハードウェア５６０を制御するハードウェア制御モジュール４５４を含めて構成される。入出力ハードウェア４６０はディスプレイやタッチスクリーンのような出力部と、タッチスクリーン、モーションセンサ、物理的ボタンのような入力部を含む。ハードウェア制御モジュール４５４は、メイン装置通信モジュール４５２を通して伝えられるＵＩ構成情報を入出力ハードウェア４６０のディスプレイ又はタッチスクリーンに表示する画面制御サブモジュール４５６と、入出力ハードウェア４６０のタッチスクリーン又は他の入力部を通して感知されたユーザ入力データを、メイン装置通信モジュール４５２を通して携帯電子機器４１０に伝達する入力制御サブモジュール４５８を含む。
【００４１】
ハードウェア制御モジュール４５４は、携帯電子機器４１０からリクエストを受信し、付加装置４２０の状態及び画面情報を構成して携帯電子機器４１０に伝達する機能を担当することができる。ハードウェア制御モジュール４５４は、付加装置４２０のソフトウェア構造によってオペレーティングシステム（ＯＳ）の装置ドライバを用いるか又はハードウェアレジスタに直接接近することによって動作できる。
【００４２】
図５は、本発明の一実施形態によるアプリケーションの実行手順を示すフローチャートである。図示した手順は、一例で図４の制御部の制御によってアプリケーション４１２を通して実行されることができる。
【００４３】
図５を参照すると、ステップ５０５で、携帯電子機器は、ユーザ入力によって又は自動でアプリケーションを実行し、ステップ５１０で携帯電子機器のリソースを使用してアプリケーションの固有な機能を実行する。一例としてイメージ編集アプリケーションの場合、イメージ編集のための作業領域と、作業領域上で使用される付加機能(ブラシ変更のための設定メニュー、テキスト入力、消しゴム等）を提供するメニュー領域が携帯電子機器のディスプレイ画面上に出力され、携帯電子機器のディスプレイ画面上で感知されたユーザ入力によってブラシ変更又は手描きのような固有な機能が実行される。
【００４４】
ステップ５１５で、携帯電子機器は、アプリケーションが実行される際に、自動で、又はユーザ命令に応じて上記アプリケーションのために付加入出力、すなわち付加ＵＩの使用が必要であるか否かを判定する。一実施形態で携帯電子機器は、ステータスバー又はアプリケーションのメニュー領域を通して、付加ＵＩモードの使用をリクエストできるアイコン(又はソフトキー）を提供し、上記アイコン上でタッチ又はタブのようなユーザ入力が感知される場合に付加ＵＩを使用すると判定できる。他の実施形態で腕時計が携帯電子機器にペアリングされている場合、携帯電子機器は付加ＵＩモードを提供するアプリケーションが実行される時に、ユーザに付加ＵＩモードを使用するか否かを問い合わせする通知ウィンドウ、一例として“時計を付加装置として使用しますか-はい/いいえ”又は“時計としてポップアップメニューを表示しますか-はい/いいえ”のような文句を表示し、通知ウィンドウ上の“はい”に該当するソフトキーを通してユーザ入力が感知される場合に、付加ＵＩを使用すると判定できる。他の実施形態で、腕時計が携帯電子機器にペアリングされている時、携帯電子機器は付加ＵＩモードを提供するアプリケーションに対して自動で付加ＵＩを使用すると決定できる。
【００４５】
付加入出力が必要であると判定された場合、ステップ５２５で、携帯電子機器は、携帯電子機器に接続されており、付加入出力として使用可能な付加装置が存在するかを判定する。具体的に携帯電子機器は、付加装置用フレームワークで提供するＡＰＩを通して、付加入出力として使用可能な付加装置が携帯電子機器に接続されているか否かを確認することができる。一例として、携帯電子機器は、携帯電子機器と付加装置との接続時に収集された付加装置に対する情報に基づいて、付加装置がディスプレイ画面と入力部を具備する場合、付加装置が付加入出力として使用可能であると判定できる。
【００４６】
ステップ５３０で、携帯電子機器は、付加入出力に使用可能な付加装置が携帯電子機器に接続されており、付加装置との接続が正常状態であるかを判定する。付加装置が正常に携帯電子機器に接続されている場合、ステップ５３５で、携帯電子機器は、付加ＵＩモードをアクティブ化し、付加装置用フレームワークで提供する画面制御及び入力制御用ＡＰＩを通して付加装置のリソースを利用して付加ＵＩを提供する。具体的に携帯電子機器は、アプリケーションの実行により発生する情報のうち、付加装置を介して表示する少なくとも一部の情報を識別し、上記識別された情報を上記付加装置に表示可能に再構成し、上記再構成された情報を示すＵＩ構成情報を生成した後、上記ＵＩ構成情報を付加装置に伝送する。上記付加装置で表示されている情報によって、上記付加装置で感知されたユーザ入力を示すユーザ入力データが上記付加装置から受信されると、携帯電子機器は、上記ユーザ入力に応じてアプリケーションの実行を制御する。一実施形態で、上記付加装置を介して表示する少なくとも一部の情報は、アプリケーションにより提供されるポップアップメニューであってもよく、ＵＩ構成情報は付加装置に表示可能に再構成されたポップアップメニューを含む。一例として、イメージ編集アプリケーションの作業領域は携帯電子機器のディスプレイを介して表示される一方、上記アプリケーションにより発生するポップアップメニューは付加装置のディスプレイを介して表示される。付加装置で表示されるポップアップメニュー上で感知されたユーザ入力は携帯電子機器のアプリケーションに伝えられる。
【００４７】
選択可能な実施形態で付加ＵＩモードをサポートするアプリケーションが実行される際に、携帯電子機器は付加入出力のために使用可能な付加装置が携帯電子機器と接続されているかを判定し、接続されていると、付加入出力を使用すると自動で決定できる。
【００４８】
一方、ステップ５１５で、付加入出力が不要であるか、または、ステップ５３０で付加装置が正常に接続されていない場合、ステップ５２０で携帯電子機器は携帯電子機器のリソースを利用してアプリケーションのＵＩを提供する。一実施形態でイメージ編集アプリケーションの作業領域と、必要な場合に発生するポップアップメニューは、両方とも携帯電子機器のディスプレイを介して表示される。
【００４９】
ステップ５４０で、携帯電子機器は、付加ＵＩモードの終了がリクエストされているか否かを判定する。一実施形態で、携帯電子機器は、付加ＵＩモードが実行中であることを示すアイコンをアプリケーションのメニュー領域又はステータスバーなどを通して提供し、上記アイコン上でユーザ入力が感知される場合、付加ＵＩモードの終了がリクエストされたと判定する。他の実施形態で、携帯電子機器は、アプリケーションが終了される場合、付加ＵＩモードの終了がリクエストされたと判定してもよい。付加ＵＩモードの終了がリクエストされた場合、携帯電子機器は、付加ＵＩモードの終了を付加装置に通知することによって付加装置に付加ＵＩの表示を終了させる。
【００５０】
図６Ａ及び図６Ｂは、本発明の一実施形態による携帯電子機器の付加ＵＩ提供動作を示すフローチャートである。
図６Ａ及び図６Ｂ参照すると、携帯電子機器が付加ＵＩの使用を開始する場合の動作が図示される。ステップ６０５で、携帯電子機器は、通信可能な付加装置を認知している。一実施形態で携帯電子機器は付加装置と合意した暗号を確認して相互間に認証を完了した場合、上記付加装置と通信可能であると識別できる。一実施形態で付加装置との無線接続のためにブルートゥース（登録商標）が使用される場合、携帯電子機器はブルートゥース（登録商標）を利用して付加装置とペアリングされている。ステップ６１０で、携帯電子機器は、アプリケーションの実行を感知して、ステップ６１５で、上記アプリケーションが付加装置を付加ＵＩとして使用することができるアプリケーションであるか、すなわち付加ＵＩモードを提供するかを判定する。上記アプリケーションが付加ＵＩモードを提供すると、ステップ６２０で、携帯電子機器は、接続している少なくとも一つの付加装置のうち付加ＵＩとして使用可能な付加装置が存在するか否かを判定する。一実施形態で携帯電子機器は接続されている付加装置のリストを管理し、上記付加装置のタイプを識別してディスプレイを有する場合、付加ＵＩとして使用可能であると判定できる。他の実施形態で、携帯電子機器は、付加装置との接続の際に付加ＵＩとして使用可能であるか否かに対する情報を付加装置から又はインターネットサーバから取得して保存することができる。
【００５１】
付加ＵＩとして使用可能な付加装置が存在する場合、ステップ６２５で、携帯電子機器は、付加ＵＩモードを使用することにユーザが同意したか否かを確認するためのアクティブ化通知ウィンドウを表示する。一実施形態で、携帯電子機器は、付加ＵＩモードを使用するか否かを問い合わせる通知ウィンドウを画面上に出力できる。ステップ６３０で、携帯電子機器は、付加ＵＩモードを使用することにユーザが同意したか否かを判定する。付加ＵＩモードを使用することにユーザが同意した場合、一例として、通知ウィンドウを通してユーザが付加ＵＩモードを使用することに同意する入力が感知される場合、ステップ６３５に進行する。アプリケーションが付加ＵＩモードを使用するように構成されている場合、ステップ６２５及び６３０は省略される。
【００５２】
ステップ６３５で、携帯電子機器は、付加ＵＩモードを使用するために付加装置に付加ＵＩの使用のための連動リクエストを伝送し、ステップ６４０で、付加装置から付加装置の状態情報と画面情報のうち少なくとも一つを受信する。ステップ６３５で、携帯電子機器は、必要であれば付加装置との接続を設定する動作を実行することができる。一実施形態で、上記状態情報は、付加装置が付加ＵＩとして正常に動作できるか否か及び/または付加装置と携帯電子機器間の接続が正常的であるか否かを示すことができる。上記画面情報は、付加装置のディスプレイ形状、サイズ及び解像度のうち少なくとも一つを示すことができる。選択可能な実施形態で、携帯電子機器が付加装置との事前接続(一例で、ブルートゥース（登録商標）ペアリング）を通して付加装置の画面情報を付加装置から直接又はインターネットサーバから取得できる場合、画面情報の伝送は省略される。携帯電子機器が付加装置から状態及び画面情報を受信しようとする場合、上記ステップ６３５の連動リクエストは、状態及び画面情報のリクエストのためのインジケータをさらに含むことができる。一例として、上記ステップ６３５の連動リクエストメッセージは、メッセージ又はパケットで構成され、上記インジケータは、上記メッセージ又はパケットに含まれる少なくとも一つのビットであり得る。
【００５３】
ステップ６４５で、携帯電子機器は、上記状態及び画面情報に基づいて付加装置を付加ＵＩとして使用可能であるか否かを判定する。付加ＵＩとして使用可能な状態であると、すなわち、上記付加装置が正常に接続されていて付加ＵＩをサポート可能であれば、ステップ６５０で携帯電子機器は付加ＵＩモードをアクティブ化して上記画面情報によって上記アプリケーションのための付加ＵＩを構成(又は識別)し、上記付加ＵＩを示すＵＩ構成情報を付加装置に伝送する。一実施形態で、携帯電子機器は、イメージ編集アプリケーションのブラシ設定のためのポップアップメニューを付加ＵＩとして構成して上記ポップアップメニューを含むＵＩ構成情報を生成でき、上記ポップアップメニューは付加装置の画面情報、具体的に物理的な形状とサイズによって再構成されたサイズと形状及び解像度を有する。
【００５４】
ステップ６５５で、携帯電子機器は、上記実行中のアプリケーションの固有機能のためのＵＩを自分のディスプレイ画面に出力する一方、付加装置から伝えられるユーザ入力によって上記アプリケーションの実行を制御する。一実施形態で付加装置からブラシ設定に関連するコマンドを含むユーザ入力データが受信される場合、携帯電子機器は上記ユーザ入力データによって自分のディスプレイ画面上で表示されるブラシ(タイプ、厚み、色など)を変更する。他の実施形態で付加装置から受信されるユーザ入力データは、ポップアップメニュー上のユーザ入力が感知された位置を示す座標情報を含み、携帯電子機器は、ステップ６５０で、既に知っているポップアップメニューの構成に基づいて、上記ユーザ入力が意味する制御命令、具体的にブラシタイプ、選択された色、選択された厚みのうち少なくとも一つを識別できる。
【００５５】
ステップ６６０で、携帯電子機器は、付加ＵＩの使用を終了するか否かを判定する。一実施形態で、携帯電子機器は、付加ＵＩが使用されていることを示すアイコンを実行中のアプリケーションのメニュー領域又は付加装置で表示されているポップアップメニューを通して提供し、上記アイコン上でユーザ入力が感知される場合、付加ＵＩの使用を終了すると判定する。他の実施形態でアプリケーションが終了される際に、付加ＵＩの使用を終了すると判定できる。付加ＵＩの使用を終了すると判定された場合、携帯電子機器は付加装置に付加ＵＩの表示を終了するように指示する。この時、付加装置が他の用途で使用されていないと、携帯電子機器は付加装置との接続を解除できる。アプリケーションが終了されていない状態で付加ＵＩの表示が終了される時、携帯電子機器はユーザのリクエストによって自分のディスプレイ画面にポップアップメニューを表示できる。
【００５６】
一方、ステップ６１５で、上記アプリケーションが付加ＵＩモードを提供しないか、または、付加ＵＩモードを必要としない場合、または、ステップ６２０で使用可能な付加装置が存在しない場合、または、ステップ６３０で、ユーザから付加ＵＩの使用同意の入力を受けていない場合、または、ステップ６４５で、付加装置が使用可能な状態でない場合の何れかの場合、ステップ６６５で、携帯電子機器は、自分のディスプレイ画面を通して上記アプリケーションの固有な機能を続けて実行する。
【００５７】
図７は、本発明の他の実施形態による付加装置を介した付加ＵＩ提供動作を示すフローチャートである。
図７を参照すると、携帯電子機器が付加ＵＩの使用を開始する場合の動作が図示される。ステップ７０５で、付加装置は、通信可能な携帯電子機器を認知している。一実施形態で付加装置は、携帯電子機器と合意した暗号を確認して相互間に認証を完了した場合、上記携帯電子機器と通信可能であると識別できる。一実施形態で携帯電子機器との無線接続のためにブルートゥース（登録商標）が使用される場合、付加装置はブルートゥース（登録商標）を利用し携帯電子機器とペアリングされている。ステップ７１０で、付加装置は、必要であれば、携帯電子機器と接続を設定した後携帯電子機器から状態確認リクエストを受信し、ステップ７１５で、付加装置の状態情報と画面情報のうち少なくとも一つを携帯電子機器に伝送する。一実施形態で、上記状態情報は、付加装置が付加ＵＩとして正常に動作できるか否か及び/または付加装置と携帯電子機器との間の接続が正常であるか否かを示すことができる。上記画面情報は、付加装置のディスプレイ形状、サイズ及び解像度のうち少なくとも一つを示すことができる。選択可能な実施形態で、携帯電子機器が付加装置との事前接続(一例でブルートゥース（登録商標）ペアリング）を介して付加装置の画面情報を付加装置から直接又はインターネットサーバから取得できる場合、画面情報の伝送は省略される。
【００５８】
ステップ７２０で、付加装置は、上記画面情報によって構成された付加ＵＩを示すＵＩ構成情報を携帯電子機器から受信し、ステップ７２５で上記ＵＩ構成情報による上記付加ＵＩを自分のディスプレイ画面に出力する。一実施形態で、上記ＵＩ構成情報は、携帯電子機器で実行中のイメージ編集アプリケーションのブラシ設定のためのポップアップメニューを含むことができ、上記ポップアップメニューは付加装置の画面情報によって再構成されたサイズと形状(shape)及び解像度を有する。
【００５９】
ステップ７３０で、付加装置は、上記ポップアップメニュー上でユーザ入力が感知されるか、すなわち、付加装置のタッチ感知部からユーザ入力が受信されるか否かをモニターリングする。タッチのようなユーザ入力が感知された場合、ステップ７３５で、付加装置は、上記ユーザ入力を示すユーザ入力データを構成して携帯電子機器に伝送する。一実施形態で上記ユーザ入力データは、ポップアップメニュー上のユーザ入力が感知された位置を示す座標情報であり得る。他の実施形態で上記ユーザ入力データはポップアップメニュー上で選択されたブラシタイプ、選択された色、選択されたブラシの厚みのうち少なくとも一つを含むことができる。
【００６０】
ステップ７４０で、付加装置は、携帯電子機器との連動を終了するか否かを判定する。一実施形態で携帯電子機器から付加ＵＩの表示を終了することを指示する命令が受信される場合、付加装置は付加ＵＩの表示を終了する。他の実施形態で付加装置はポップアップメニュー又は他のソフトメニューを通して連動終了をリクエストするユーザ入力を感知するか、又は連動終了をリクエストするための物理的なボタンの入力を感知した場合、付加ＵＩの表示を終了して、連動が終了されたことを携帯電子機器に報告できる。
【００６１】
以下、図面を参照して携帯電子機器と付加装置との間の連動動作に対する具体的な例を説明する。下記ではアプリケーションの作業領域に重複して表示されるポップアップメニューの一例として、スマートフォンで駆動されるイメージ編集アプリケーションや筆記のためのノートプログラム及びワードプロセッサの例を説明する。
【００６２】
図８は、従来技術によるイメージ編集アプリケーションの実行画面を示す図である。
図８を参照すると、イメージ編集アプリケーション８００は、スマートフォンの画面の大部分を占める作業領域８２０と、相対的に小さなメニュー領域８３０を提供する。メニュー領域８３０は、ユーザが作業領域８２０上でイメージ編集作業を実行する際に邪魔されないように、通常、最小のサイズを有するように設計される。メニュー領域８３０上の特定メニューアイテム、一例として“ブラシ設定”メニュー８０５上でユーザ入力が感知されると、イメージ編集アプリケーション８００はポップアップメニュー８１０を表示する。
【００６３】
ポップアップメニュー８１０は、選択されたブラシタイプと色を表示する現在状態領域８１２と、ブラシのタイプを選択するタイプ選択領域８１４とブラシの厚みを選択する厚み選択領域８１６とブラシの色を選択する色選択領域８１８のうち少なくとも一つを含むことができ、選択領域８１４，８１６，８１８上でユーザ入力が感知されることによって選択されたブラシの形状を現在状態領域８１２に表示する。ポップアップメニュー８１０の外部領域でユーザ入力が感知される際に、ポップアップメニュー８１０は消えるようになり、作業領域８２０上のユーザ入力によって、選択されたブラシを利用して手描き形状のイメージが作業領域８２０上に表示される。
【００６４】
付加ＵＩモードがアクティブされている場合、上記の通りに作業領域８２０上に重なって表示されるポップアップメニュー８１０は、付加ＵＩとして構成されることができる。
【００６５】
図９ａ乃至図９ｆは、本発明の一実施形態によって携帯電子機器と付加装置との間に連動する一連の動作を説明するための図である。
図９Ａを参照すると、携帯電子機器９００は、イメージ編集機能を含むメモアプリケーションを有するスマートフォンで実現され、メモアプリケーションが実行されている状態で付加ＵＩとして使用可能な付加装置が携帯電子機器９００に接続されている場合、付加ＵＩを使用するか否かをユーザに問い合わせする通知ウィンドウ９０５ａを画面上に表示する。一実施形態でスマートフォン９００は、付加ＵＩモードをサポートするアプリケーションが実行される際に、通知ウィンドウ９０５ａを表示できる。選択可能な実施形態でスマートフォン９００は、メモアプリケーションが実行されると、付加ＵＩをアクティブにすることができるソフトキー９０５ｂを提供し、ソフトキー９０５ｂ上でタッチのようなユーザ入力が感知された時に通知ウィンドウ９０５ａを表示できる。
【００６６】
通知ウィンドウ９０５ａ上で付加ＵＩを使用することを承認する入力、一例で“はい”のソフトキー上でタッチ入力が感知された場合、スマートフォン９００は、接続されている付加ＵＩとして使用可能な付加装置に状態確認リクエストを伝送する。
【００６７】
図９Ｂを参照すると、付加装置９１０は、携帯電子機器と有線又は無線で接続されるように構成される腕時計で実現され、スマートフォン９００の状態確認リクエストに応じて自分の状態及び画面情報９１５をスマートフォン９００に提供する。画面情報９１５は、一例として腕時計９１０の物理的形状を示す“四角形”とサイズ(又は解像度)を示す“３２０×３２０”を含む。
【００６８】
図９Ｃは、画面情報９１５を例示する図である。腕時計９１０が四角形の画面を有する場合、画面情報９２０ａは、“四角形、３２０×３２０”を示す。他の例として腕時計９１０が円形の画面を有する場合、画面情報９２０ｂは“円形、３２０×３２０”を示す。
【００６９】
図９Ｄを参照すると、スマートフォン９００は、腕時計９１０の画面に適合するように構成されたポップアップメニューを示すＵＩ構成情報９２０を腕時計９１０に伝送する。図９ｅを参照すると、腕時計９１０は、ＵＩ構成情報９２０に基づいてポップアップメニュー９２５を自分の画面に表示する。ポップアップメニュー９２５は、腕時計９１０の画面形状に適合した円形の構造を有することができ、ブラシのタイプを選択するタイプ選択領域９３０ａとブラシの厚みを選択する厚み選択領域９３０ｂとブラシの色を選択する色選択領域９３０ｃ及び選択されたブラシを示すブラシ状態領域９４０を含む。
【００７０】
図９Ｆを参照すると、ポップアップメニュー９２５上の特定地点でユーザ入力が感知されると、ブラシ状態領域９４０は、ユーザ入力が感知された位置に対応して変化する。一例として色選択領域９３０ｃ内の黒色領域上でユーザ入力が感知された場合、ブラシ状態領域９４０は黒色に変化され、上記ユーザ入力が感知された位置情報を示すユーザ入力データ９４５が腕時計９１０からスマートフォン９００に伝送される。スマートフォン９００はユーザ入力データ９４５によって選択されたブラシ色を計算して保存し、作業領域９５０上でユーザ入力が移動することによって黒色で手描き９５５を表示する。
【００７１】
図１０は、本発明の他の実施形態による携帯電子機器の付加ＵＩ提供動作を示すフローチャートである。ここでは、付加装置が付加ＵＩの使用を開始する場合の動作を図示した。
【００７２】
図１０を参照すると、ステップ１００５で、携帯電子機器は、通信可能な付加装置を認知している。一実施形態で携帯電子機器は付加装置と合意した暗号を確認して相互間に認証を完了した場合、上記付加装置と通信可能であると識別できる。一実施形態で付加装置との無線接続のためにブルートゥース（登録商標）が使用される場合、携帯電子機器はブルートゥース（登録商標）を利用し付加装置とペアリングされている。ステップ１０１０で、携帯電子機器は、付加装置から付加ＵＩとして使用されるための連動リクエストを受信して、ステップ１０１５で、画面で実行されているアプリケーションを確認する。
【００７３】
ステップ１０２０で、携帯電子機器は、上記実行中のアプリケーションに対して付加ＵＩモードを提供するかを判定する。一実施形態で、携帯電子機器は、上記アプリケーションがポップアップメニューを発生させる場合、付加ＵＩモードを提供すると判定できる。上記アプリケーションが付加ＵＩモードを提供すると、ステップ１０２５で、携帯電子機器は、付加ＵＩモードを使用することにユーザが同意したか否かを確認する。一実施形態で、携帯電子機器は、付加ＵＩモードを使用することかを問い合わせする通知ウィンドウを画面上に出力して、通知ウィンドウを通して付加ＵＩモードを使用することに同意するユーザ入力が感知された場合、ステップ１０３０に進行する。
【００７４】
ステップ１０３０で、携帯電子機器は付加装置に付加入出力のための連動が承認されたことを通知する。上記通知のために携帯電子機器は、必要ならば、付加装置との接続を確立する動作を実行することができる。アプリケーションが付加ＵＩをサポートできるか否かによって、携帯電子機器が付加ＵＩを使用すると自動決定する場合、ステップ１０２５は省略され、このような場合ステップ１０３０で携帯電子機器は、付加装置の画面情報だけをリクエストできる。
【００７５】
ステップ１０３５で、携帯電子機器は、付加装置から付加装置のディスプレイ形状、サイズ及び解像度のうち少なくとも一つを示す画面情報を受信する。選択可能な実施形態で、携帯電子機器が付加装置との事前接続(一例で、ブルートゥース（登録商標）ペアリング）を通して付加装置の画面情報を付加装置から直接又はインターネットサーバ(一例で付加装置の製造社サーバ)から取得できる場合、ステップ１０３５は省略される。
【００７６】
ステップ１０４０で、携帯電子機器は、付加ＵＩモードをアクティブ化して上記画面情報によって上記実行中のアプリケーションのための付加ＵＩを構成(又は識別)し、上記付加ＵＩを示すＵＩ構成情報を付加装置に伝送する。一実施形態で上記ＵＩ構成情報はイメージ編集アプリケーションのブラシ設定のためのポップアップメニューを含むことができ、上記ポップアップメニューは、付加装置の画面情報によって再構成されたサイズと形状及び解像度を有する。
【００７７】
ステップ１０４５で、携帯電子機器は、上記実行中のアプリケーションの固有機能のためのＵＩを自分のディスプレイ画面に出力する一方、付加装置から伝えられるユーザ入力によって上記アプリケーションの実行を制御する。一実施形態で付加装置からブラシ設定に関連するユーザ入力データが受信される場合、携帯電子機器は上記ユーザ入力データによって自分のディスプレイ画面上で表示されるブラシ(タイプ、厚み、色等)を変更する。他の実施形態で付加装置から受信されるユーザ入力データはポップアップメニュー上のユーザ入力が感知された位置を示す座標情報を含み、携帯電子機器はステップ１０４０で既に知っているポップアップメニューの構成に基づいて上記ユーザ入力が意味する制御命令、ブラシタイプ、選択された色、選択された厚みのうち少なくとも一つを識別できる。
【００７８】
ステップ１０５０で、携帯電子機器は、付加ＵＩの使用を終了するか否かを判定する。一実施形態で、携帯電子機器は、付加ＵＩが使用されていることを示すアイコンを実行中のアプリケーションのメニュー領域又は付加装置で表示されているポップアップメニューを通して提供し、上記アイコン上でユーザ入力が感知される場合に付加ＵＩの使用を終了すると判定する。他の実施形態で、アプリケーションが終了される際に、付加ＵＩの使用を終了すると判定できる。付加ＵＩの使用を終了すると判定された場合、携帯電子機器は付加装置に付加ＵＩの表示を終了するように指示する。この時、付加装置が他の用途で使用されていないと、携帯電子機器は付加装置との接続を解除できる。アプリケーションが終了されていない状態で付加ＵＩの表示が終了される時、携帯電子機器はユーザのリクエストによって自分のディスプレイ画面にポップアップメニューを表示できる。
【００７９】
一方、ステップ１０２０で、実行中のアプリケーションが付加ＵＩを使用可能でないと判定されるか、または、ステップ１０２５でユーザから付加入出力の同意の入力を受けていない場合、ステップ１０５５で、携帯電子機器は、付加装置に付加入出力のための連動が拒否されたことを通知し、ステップ１０６０で自分のディスプレイ画面を通して上記アプリケーションの固有な機能を続けて実行する。
【００８０】
図１１は、本発明の他の実施形態による付加装置を介した付加ＵＩ提供動作を示すフローチャートである。ここでは付加装置が付加ＵＩの使用を開始する場合の動作を図示する。
【００８１】
図１１を参照すると、ステップ１１０５で、付加装置は通信可能な携帯電子機器を認知している。一実施形態で、付加装置は、携帯電子機器と合意した暗号を確認して相互間に認証を完了した場合、上記携帯電子機器と通信可能であることを識別できる。一実施形態で携帯電子機器との無線接続のためにブルートゥース（登録商標）が使用される場合、付加装置はブルートゥース（登録商標）を利用し携帯電子機器とペアリングされている。ステップ１１１０で、付加装置は、ユーザによる携帯電子機器との連動リクエストを感知する。ここで、付加装置は、タッチスクリーン又は物理的な入力手段を通して携帯電子機器との連動がリクエストされたことが感知できる。一実施形態で付加装置がアナログ腕時計で実現された場合、付加装置は腕時計の龍頭が引き出される時に携帯電子機器との連動がリクエストされたと決定できる。他の実施形態で、付加装置は、タッチスクリーン上に携帯電子機器との連動のためのソフトメニュー又はソフトボタンを提供し、上記ソフトメニュー又はボタン上でタッチのようなユーザ入力が感知される際に、携帯電子機器との連動がリクエストされたと判定できる。上記ソフトメニュー又はソフトボタンは、単純に携帯電子機器との連動をリクエストする用途で指定されるか、又は携帯電子機器上で予め定められる特定アプリケーション、一例で、イメージ編集アプリケーションなどの実行と連動を同時にリクエストする用途として指定されることができる。
【００８２】
ステップ１１１５で、付加装置は、必要であれば、携帯電子機器と接続を設定した後付加装置が携帯電子機器の付加ＵＩとして使用されるための連動リクエストを携帯電子機器に伝送し、ステップ１１２０で携帯電子機器からの承認を待機する。携帯電子機器から付加入出力のための連動が承認されたことを示す通知が受信された場合、ステップ１１２５で、付加装置は、付加装置のディスプレイ形状、サイズ及び解像度のうち少なくとも一つを示す画面情報を携帯電子機器に伝送する。選択可能な実施形態で、携帯電子機器が付加装置との事前接続(一例で、ブルートゥース（登録商標）ペアリング）を通して付加装置の画面情報を直接又はインターネットサーバを通して取得できる場合、ステップ１１２５は省略される。
【００８３】
ステップ１１３０で、付加装置は、上記画面情報によって構成された付加ＵＩを示すＵＩ構成情報を携帯電子機器から受信して、ステップ１１３５で、上記ＵＩ構成情報による上記付加ＵＩを自分のディスプレイ画面に出力する。一実施形態で上記ＵＩ構成情報は、携帯電子機器で実行中のイメージ編集アプリケーションのブラシ設定のためのポップアップメニューを含むことができ、上記ポップアップメニューは付加装置の画面情報によって再構成されたサイズと形状及び解像度を有する。
【００８４】
ステップ１１４０で、付加装置は、上記ポップアップメニュー上で、ユーザ入力が感知されてタッチ感知部からユーザ入力イベントが受信されるか否かをモニターリングする。タッチのようなユーザ入力が感知された場合、ステップ１１４５で、付加装置は、上記ユーザ入力を示すユーザ入力データを構成して携帯電子機器に伝送する。一実施形態で上記ユーザ入力データは、ポップアップメニュー上のユーザ入力が感知された位置を示す座標情報であり得る。他の実施形態で、上記ユーザ入力データは、ポップアップメニュー上で選択されたブラシタイプ、選択された色、選択されたブラシの厚みのうち少なくとも一つを含むことができる。
【００８５】
ステップ１１５０で、付加装置は携帯電子機器との連動を終了するか否かを判定する。一実施形態で携帯電子機器から付加ＵＩの表示を終了することを指示する命令が受信される場合、付加装置は付加ＵＩの表示を終了する。他の実施形態で付加装置はポップアップメニュー又は他のソフトメニューを通して連動終了をリクエストするユーザ入力を感知するか、又は連動終了をリクエストするための物理的なボタンの入力を感知した場合、付加ＵＩの表示を終了して、連動が終了されたことを携帯電子機器に報告できる。
【００８６】
一方、ステップ１１２０で、携帯電子機器から付加入出力のための連動が承認されたことを示す通知が受信されない場合、ステップ１１５５で、付加装置は、携帯電子機器との連動が拒否されたことをユーザに通知し、付加装置の固有な機能(一例として時計機能）を続けて実行する。
【００８７】
以下、図面を参照して携帯電子機器と付加装置との間の連動動作に対する具体的な例を説明する。
【００８８】
図１２ａ及び図１２ｂは、本発明の一実施形態によって携帯電子機器と付加装置との間に連動する動作を説明するための図である。
図１２ａを参照すると、付加装置１２００は、携帯電子機器と接続されるように構成される腕時計で実現され、物理的なボタンとして動作できる龍頭１２０５を具備する。図示するように、龍頭１２０５が引き出される時、腕時計１２００は付加ＵＩとして使用されるための連動がリクエストされたと判定し、ペアリングされている携帯電子機器に連動リクエストを伝送する。選択可能な実施形態で、腕時計１２００は、タッチスクリーンで実現された画面上で付加ＵＩモードのための連動をリクエストできるアイコンを表示し、上記アイコンの入力を感知した以後、龍頭１２０５が引き出される時、携帯電子機器との連動がリクエストされたと判定できる。
【００８９】
図１２ｂを参照すると、携帯電子機器１２１０は、イメージ編集機能を含むメモアプリケーションを有するスマートフォンで実現され、メモアプリケーションが実行されている状態でペアリングされている腕時計１２００から付加ＵＩとして使用されるための連動リクエストが受信されると、腕時計１２００に連動が承認されたことを通知し、腕時計１２００の画面に適合するように構成されたポップアップメニューを示すＵＩ構成情報を腕時計１２００に伝送する。
【００９０】
腕時計１２００は、スマートフォン１２１０から提供されるＵＩ構成情報に基づいてポップアップメニュー１２３０を自分の画面に表示する。ポップアップメニュー１２３０は腕時計１２００の画面形状に適合した円形の構造を有することができ、ブラシのタイプを選択するタイプ選択領域１２３５ａとブラシの厚みを選択する厚み選択領域１２３５ｂとブラシの色を選択する色選択領域１２３５ｃ及び選択されたブラシを示すブラシ状態領域１０４０を含む。
【００９１】
ポップアップメニュー１２３０上の特定地点でユーザ入力が感知されると、ブラシ状態領域１２４０はユーザ入力が感知された位置に対応して変化する。一例として色選択領域１２３５ｃ内の黒色領域上でユーザ入力が感知された場合、ブラシ状態領域１２４０は黒色に変化されて、上記ユーザ入力が感知された位置情報を示すユーザ入力データ１２５０が腕時計１２００からスマートフォン１２１０に伝送される。スマートフォン１２１０は、ユーザ入力データ１２５０によって選択されたブラシ色を計算して保存し、作業領域１２６０上でユーザ入力が移動することによって黒色で手描き１２５５を表示する。
【００９２】
図１３は、本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシ設定を変更する動作を示すフローチャートである。
図１３を参照すると、ステップ１３００でイメージ編集アプリケーションを実行している携帯電子機器と付加装置との間に接続が設定され、付加装置のディスプレイには携帯電子機器から提供されたポップアップメニューが表示される。上記接続を設定するステップ１３００は、一例として、図６のステップ６０５乃至６５０、図７のステップ７０５乃至ステップ７２５、図１０のステップ１００５乃至１０４０、図１１のステップ１１０５乃至１１３５で実現されることができる。ステップ１３０５で付加装置はディスプレイに表示されているポップアップメニュー内の色選択領域上でユーザ入力を感知するとステップ１３１０に進行する。上記ユーザ入力は、一例として、タッチ又は非接触式接近であり得る。ステップ１３１０で、付加装置は、上記ユーザ入力の感知に応じて、ブラシ色の変更リクエストを示すユーザ入力データを携帯電子機器に伝送する。一例として、上記ユーザ入力データは、色選択領域上でユーザ入力が感知された位置を示す座標情報であり得る。他の実施形態で上記ユーザ入力データは色選択領域上で選択された色を指示できる。
【００９３】
ステップ１３１５で、携帯電子機器のイメージ編集アプリケーションは、上記ユーザ入力データに応じてポップアップメニュー上で選択された色を識別し、上記識別された色によって変更されたブラシ色を保存し、携帯電子機器のディスプレイ上で感知されるユーザ入力の移動によって上記変更されたブラシ色上で手描きを表示できる。
【００９４】
ステップ１３２０で、付加装置は、ディスプレイに表示されているポップアップメニュー内のタイプ選択領域上でユーザ入力を感知するとステップ１３２５に進行する。上記ユーザ入力は、一例として、タッチ又は非接触式接近であり得る。ステップ１３２５で、付加装置は、上記ユーザ入力の感知に応じてブラシタイプ変更リクエストを示すユーザ入力データを携帯電子機器に伝送する。上述したように、上記ユーザ入力データは座標情報または選択されたブラシタイプを指示する値であり得る。
【００９５】
ステップ１３３０で、携帯電子機器のイメージ編集アプリケーションは、上記ユーザ入力データに応じてポップアップメニュー上で選択されたブラシタイプを識別し、上記識別されたブラシタイプを保存し、携帯電子機器のディスプレイ上で感知されるユーザ入力の移動によって上記変更されたブラシタイプで手描きを表示できる。
【００９６】
ステップ１３３５で、付加装置は、ディスプレイに表示されているポップアップメニュー内の厚み選択領域上でユーザ入力を感知した場合ステップ１３４０に進行する。上記ユーザ入力は、一例として、タッチ又は非接触式接近であり得る。ステップ１３４０で、付加装置は、上記ユーザ入力の感知に応じてブラシの厚み変更リクエストを示すユーザ入力データを携帯電子機器に伝送する。上述したように、上記ユーザ入力データは、座標情報または選択されたブラシの厚みを指示する値であり得る。
【００９７】
ステップ１３４５で、携帯電子機器のイメージ編集アプリケーションは、上記ユーザ入力データに応じてポップアップメニュー上で選択されたブラシの厚みを識別し、上記識別されたブラシの厚みを保存し、携帯電子機器のディスプレイ上で感知されるユーザ入力の移動によって上記変更されたブラシの厚みで手描きを表示できる。
【００９８】
図１４ａ及び図１４ｂは、本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシ色の変更を実行する例を示すフローチャートである。
【００９９】
図１４ａを参照すると、腕時計１４００は、イメージ編集アプリケーションと連動されたポップアップメニュー１４１０を表示し、ポップアップメニュー１４１０上の特定色、一例で、ピンク領域１４１５上でユーザ入力を感知し、ブラシ状態領域１４２０を上記ユーザ入力に応じてピンクに変更する。併せて、腕時計１４００は、上記ユーザ入力を示すユーザ入力データを、イメージ編集アプリケーションを実行しているスマートフォンに伝送する。
【０１００】
図１４ｂを参照すると、スマートフォン１４４０は、イメージ編集アプリケーションにより提供される作業領域１４２５を表示し、作業領域１４２５上には既存に入力された黒色で手描き１４３０が表示されている。スマートフォン１４４０は、腕時計１４００からピンクへの変更をリクエストするユーザ入力データを受信する。上記ユーザ入力データは、腕時計１４００上のユーザ入力が感知された位置を示す座標情報を含むことができる。他の実施形態で、上記ユーザ入力データは、選択された色を示すRed、Green、Blue（ＲＧＢ）値を含むことができる。スマートフォン１４４０は、上記ユーザ入力データの受信に応じて変更された色、ピンクを保存する。以後、作業領域１４２５上でユーザ入力及び移動が感知されると、上記ユーザ入力の移動によってピンクで手描き１４３５を表示する。
【０１０１】
選択可能な実施形態でスマートフォン１４４０は、選択された色、ブラシタイプ、ブラシの厚みのうち少なくとも一つを示すブラシ状態アイコンを作業領域１４２５の内部又は外部に表示することによって、スマートフォン１４４０上でユーザが選択されたブラシを早く認知できるようにすることができる。
【０１０２】
図１５ａ及び図１５ｂは、本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシタイプ変更を実行する例を示すフローチャートである。
【０１０３】
図１５ａを参照すると、腕時計１５００は、イメージ編集アプリケーションと連動されたポップアップメニュー１５１０を表示し、ポップアップメニュー１５１０上の特定ブラシタイプ、例えば、ブラシ領域１５１５上でユーザ入力を感知し、上記ユーザ入力に応じてブラシ状態領域１５２０にブラシ形状のアイコンを表示する。併せて、腕時計１５００は、上記ユーザ入力を示すユーザ入力データを、イメージ編集アプリケーションを実行しているスマートフォンに伝送する。
【０１０４】
図１５ｂを参照すると、スマートフォン１５４０は、イメージ編集アプリケーションにより提供される作業領域１５２５を表示し、作業領域１５２５上には、既存に入力されたブラシタイプの手描き１５３０が表示されている。スマートフォン１５４０は、腕時計１５００からブラシへの変更をリクエストするユーザ入力データを受信する。上記ユーザ入力データは、腕時計１５００上のユーザ入力が感知された位置を示す座標情報を含むことができる。他の実施形態で、上記ユーザ入力データは、ブラシを示すインジケータを含むことができる。スマートフォン１５４０は、上記ユーザ入力データの受信に応じて、変更されたブラシタイプ、ブラシを保存する。以後、作業領域１５２５上でユーザ入力及び移動が感知されると、上記ユーザ入力の移動によってブラシタイプの手描き１５３５を表示する。
【０１０５】
図１６ａ及び図１６ｂは、本発明の一実施形態によってイメージ編集アプリケーションと接続した付加装置を介してブラシの厚み変更を実行する例を示すフローチャートである。
【０１０６】
図１６Ａを参照すると、腕時計１６００は、イメージ編集アプリケーションと連動になったポップアップメニュー１６１０を表示し、ポップアップメニュー１６１０上の特定ブラシの厚み、例えば、３ポイント領域１６２０上でユーザ入力を感知し、上記ユーザ入力に応じてブラシ状態領域１６１５に３ポイント厚みを示すアイコンを表示する。併せて、腕時計１６００は、上記ユーザ入力を示すユーザ入力データを、イメージ編集アプリケーションを実行しているスマートフォンに伝送する。
【０１０７】
図１６Ｂを参照すると、スマートフォン１６４０は、イメージ編集アプリケーションにより提供される作業領域１６２５を表示し、作業領域１６２５上には既存に入力されたブラシタイプの手描き１６３０が表示されている。スマートフォン１６４０は、腕時計１６００から３ポイント厚みへの変更をリクエストするユーザ入力データを受信する。上記ユーザ入力データは、腕時計１６００上のユーザ入力が感知された位置を示す座標情報を含むことができる。他の実施形態で、上記ユーザ入力データは、３ポイント厚みを示すインジケータを含むことができる。スマートフォン１６４０は、上記ユーザ入力データの受信に応じて変更されたブラシの厚み、３ポイントを保存する。以後、作業領域１６２５上でユーザ入力及び移動が感知されると、上記ユーザ入力の移動によって３ポイント厚みの手描き１６３５を表示する。
【０１０８】
図１７ａ及び図１７ｂは、本発明の一実施形態によるイメージ編集アプリケーションと腕時計の接続例示を示す図である。
図１７Ａを参照すると、スマートフォン１７１０は、イメージ編集アプリケーションにより提供される作業領域１７１５を表示し、イメージ編集アプリケーションにより発生されるポップアップメニュー１７０５は、円形形態で再構成されて腕時計１７００に表示される。一実施形態で、スマートフォン１７１０は、ポップアップメニュー１７０５が腕時計１７００に表示されていること及び/またはポップアップメニュー１７０５上で選択されたブラシの現在状態を示す少なくとも一つのアイコン１７１５ａを特定位置に表示できる。
【０１０９】
図１７Ｂを参照すると、スマートフォン１７３０は、イメージ編集アプリケーションにより提供される作業領域１７３５を表示していて、イメージ編集アプリケーションにより発生されるポップアップメニュー１７２５は、四角形形態で再構成されて腕時計１７２０に表示される。一実施形態で、スマートフォン１７３０は、ポップアップメニュー１７２５が腕時計１７２０に表示されていること及び/またはポップアップメニュー１７２５上で選択されたブラシの現在状態を示す少なくとも一つのアイコン１７３５ａを特定位置に表示できる。
【０１１０】
選択可能な実施形態で、イメージ編集アプリケーションは、ポップアップメニューが付加装置を介して表示されていることを示すアイコンを、メニュー領域を通して提供でき、上記アイコンは選択されたブラシタイプ、厚み、色を示す小さなイメージで構成されることができる。イメージ編集アプリケーションは、上記アイコン上でユーザ入力が感知される場合に付加ＵＩモードを終了すると決定し、付加装置にポップアップメニューの表示を中断することをリクエストできる。
【０１１１】
図１８は、従来技術による写真ビューアアプリケーションの実行画面を示す図である。
図１８を参照すると、携帯電子機器１８００は、写真ビューアアプリケーションを実行しているスマートフォンと同一機器として、ディスプレイ上に選択された写真を表示する。写真が初めて表示されてから数秒間又はユーザのリクエストがある時、携帯電子機器１８００は上記写真上に上記写真に対する詳細情報１８１０をポップアップ形態で表示できる。詳細情報１８１０は、一例として上記写真のファイル名、写真が撮影された場所、日付、サイズ、フォーマット、メモのうち少なくとも一つを含むことができる。詳細情報１８１０は、通常、写真をかざして表示される。
【０１１２】
携帯電子機器１８００は、付加装置(図示せず)を付加ＵＩとして使用するための接続を付加装置との間に設定して、詳細情報１８１０が付加装置に表示されるようにすることができる。
【０１１３】
図１９は、本発明の一実施形態によって付加装置を介して写真ビューアアプリケーションの付加ＵＩを提供する携帯電子機器の動作を示すフローチャートである。
【０１１４】
図１９を参照すると、ステップ１９０５で、携帯電子機器は、付加装置を写真ビューアアプリケーションの付加ＵＩとして使用するための接続を付加装置との間に設定して付加ＵＩモードをアクティブ化する。上記の接続は、携帯電子機器又は付加装置により開始でき、必要な場合、携帯電子機器は付加装置を付加ＵＩとして使用するかに対する承認をユーザにリクエストできる。
【０１１５】
ステップ１９１０で、携帯電子機器は、写真ビューアアプリケーションを通して、ユーザが選択した写真をディスプレイ上に表示する。ステップ１９１５で、携帯電子機器は、上記選択した写真に対して保存された詳細情報が存在するかを確認する。表示される詳細情報が存在しなければステップ１９３５で携帯電子機器は詳細情報が存在しないことをユーザに通知することができる。一例として“情報無し”の文句が写真に重なるか又は写真の外部領域に表示されることができる。他の実施形態で、ステップ１９３５で、携帯電話器は追加的な動作無しに写真だけを表示できる。
【０１１６】
一方、表示される詳細情報が存在する場合、ステップ１９２０で、携帯電子機器は、上記詳細情報を示すＵＩ構成情報を付加装置に伝送し、付加装置が上記詳細情報を自分のディスプレイに表示するようにする。ステップ１９２５で携帯電子機器は表示される写真の変更リクエストが存在するかを判定する。一例として、現在表示されている写真上でスライディング、フリックのような移動命令が感知されるか、又は画面上で提供される移動ソフトキー上でタッチのようなユーザ入力が感知された場合、携帯電子機器は写真リスト上の以前又は次の写真に変更して表示することがリクエストされたと判定して、ステップ１９１０に進行する。
【０１１７】
一方、写真変更のリクエストが存在しない場合、ステップ１９３０で、携帯電子機器は、付加ＵＩモードの終了がリクエストされているかを判定する。一実施形態で、携帯電子機器は、付加ＵＩが使用されていることを示すアイコンを写真ビューアアプリケーションのメニュー領域又は付加装置を介して提供し、上記アイコン上でユーザ入力が感知される場合に付加ＵＩモードを終了すると判定する。他の実施形態で、写真ビューアアプリケーションが終了される際に、付加ＵＩモードを終了すると判定できる。付加ＵＩモードを終了すると判定された場合、携帯電子機器は付加装置に付加ＵＩの表示を終了するように指示する。この時、付加装置が他の用途で使用されていなければ、携帯電子機器は付加装置との接続を解除できる。写真ビューアアプリケーションが終了されていない状態で付加ＵＩの表示が終了される時、携帯電子機器はユーザのリクエストによって自分のディスプレイ画面に写真の詳細情報を表示できる。
【０１１８】
図２０は、本発明の一実施形態によって写真ビューアアプリケーションのための付加ＵＩを提供する付加装置の動作を示すフローチャートである。
図２０を参照すると、ステップ２００５で、付加装置は、携帯電子機器の付加ＵＩとして動作するための接続を携帯電子機器との間に設定する。上記の接続は、携帯電子機器又は付加装置により開始される。ステップ２０１０で、付加装置は、携帯電子機器から表示される詳細情報が受信されるかを判定する。一例として、上記詳細情報は、携帯電子機器で実行されている写真ビューアアプリケーションにより提供される写真の詳細情報であり得る。受信された詳細情報が存在する場合、ステップ２０１５で、付加装置は、上記詳細情報を自分のディスプレイ画面を通して表示する。ステップ２０２０で、付加装置は、携帯電子機器との連動を終了するかを判定する。一実施形態で、携帯電子機器から付加ＵＩの表示を終了することを指示する命令が受信される場合、付加装置は、携帯電子機器との連動及び付加ＵＩの表示を終了する。他の実施形態で付加装置は自分のディスプレイ画面上で付加ＵＩが提供されていることを知らせるアイコンを表示し、上記アイコン上でタッチのようなユーザ入力が感知されるか、又は連動終了をリクエストするための物理的なボタンの入力を感知した場合、付加ＵＩの表示を終了して、連動が終了されたことを携帯電子機器に報告できる。
【０１１９】
図２１Ａ乃至図２１Ｄは、本発明の一実施形態によって写真ビューアアプリケーションの付加ＵＩを提供する動作を説明するための図である。
図２１Ａを参照すると、携帯電子機器２１００は、写真ビューアアプリケーションを実行しているスマートフォンで実現され、写真ビューアアプリケーションにより写真２１０５を表示している。
【０１２０】
図２１Ｂを参照すると、携帯電子機器２１００は、写真２１０５に関連する詳細情報２１１５が存在するかを判定して、詳細情報２１１５が存在し、付加ＵＩとして使用されるために接続された付加装置２１１０が存在する場合、詳細情報２１１５を付加装置２１１０に伝送する。
【０１２１】
図２１Ｃを参照すると、付加装置２１１０は、携帯電子機器２１００と接続されるように構成される腕時計で実現されることができ、携帯電子機器２１００から受信された詳細情報２１１５を自分のディスプレイ画面上に表示する。一実施形態で、詳細情報２１１５は、付加装置２１１０の固有な機能による元の画面(一例で、時計画面)上に重なって表示されることができる。他の実施形態で、詳細情報２１１５は、付加装置２１１０の元の画面に代えて表示されることができる。他の実施形態で、詳細情報２１１５が受信される時、付加装置２１１０の元の画面は縮小されて(又は変形されて)表示され、上記詳細情報は上記元の画面の縮小された領域を除外するか、または残り領域に表示されることができる。
【０１２２】
図２１Ｄを参照すると、携帯電子機器２１００で他の写真２１２０が表示される場合、同一手順を通して付加装置２１１０は写真２１２０の詳細情報２１２５を表示する。
【０１２３】
図２２は、従来技術によるゲームアプリケーションの実行画面を示す図である。
図２２を参照すると、携帯電子機器２２００は、ゲームアプリケーションを実行しているスマートフォンのような機器であって、ディスプレイ上にゲームアプリケーションの実行画面２２１０を表示する。特定のタイプのゲームアプリケーションは、実行画面を通して多様なオブジェクトを表示し、特定オブジェクト２２１５が選択(一例としてタッチ)された時、オブジェクト２２１５に対する詳細情報及び設定のためのポップアップメニュー２２２０を表示する。特に、リアルタイムで進行しなければならないゲームの場合、ポップアップメニュー２２２０の表示によってゲームの進行が邪魔されないようにそのサイズ及び位置が選択される必要がある。
【０１２４】
携帯電子機器２２００は、付加装置(図示せず)を付加ＵＩとして使用するための接続を付加装置との間に設定して、ポップアップメニュー２２２０が付加装置に表示されるようにすることができる。
【０１２５】
図２３は、本発明の一実施形態によって付加装置を介してゲームアプリケーションの付加ＵＩを提供する携帯電子機器の動作を示すフローチャートである。
図２３を参照すると、ステップ２３０５で、携帯電子機器は、付加装置を写真ビューアアプリケーションの付加ＵＩとして使用するための接続を付加装置との間に設定する。上記接続は携帯電子機器又は付加装置により開始され、必要な場合、携帯電子機器は付加装置を付加ＵＩとして使用するかに対する承認をユーザにリクエストしてもよい。
【０１２６】
ステップ２３１０で、携帯電子機器は、ゲームアプリケーションの実行画面をディスプレイ上に表示し、上記実行画面はゲームの進行に必要な一つ又はそれ以上のオブジェクトを含むことができる。ステップ２３１５で、携帯電子機器は上記実行画面上で特定オブジェクトが選択されるか否かを判定する。一例として上記オブジェクト上でタッチのようなユーザ入力が感知される場合、上記オブジェクトが選択されたと判定できる。特定オブジェクトが選択された場合、ステップ２３２０で、携帯電子機器は、上記選択したオブジェクトに対するポップアップメニューが存在するか否かを確認する。一実施形態で上記ポップアップメニューは、上記選択したオブジェクトに対する詳細情報及び/または設定のための少なくとも一つのソフトキーを含むことができる。他の例として、上記ポップアップメニューは、上記選択されたオブジェクトに対する名称及び詳細情報のうち少なくとも一つを含むことができる。
【０１２７】
表示されるポップアップメニューが存在する場合、ステップ２３２５で、携帯電子機器は上記ポップアップメニューを示す付加ＵＩ構成情報を付加装置に伝送し、付加装置が上記ポップアップメニューを自分のディスプレイに表示するようにする。図示しないが、必要ならば、上記ポップアップメニューは付加装置の物理的な形状及び解像度によって再構成でき、このために携帯電子機器は付加装置及び/またはインターネットサーバから付加装置の物理的な形状及び解像度を示す画面情報を取得できる。
【０１２８】
ステップ２３３０で、携帯電子機器は、付加ＵＩモードの終了がリクエストされているか否かを判定する。一実施形態で、携帯電子機器は、付加ＵＩが使用されていることを示すアイコンをゲームアプリケーションの実行画面内の特定領域又は付加装置を介して提供し、上記アイコン上でユーザ入力が感知される場合に付加ＵＩモードを終了すると判定する。他の実施形態でゲームアプリケーションが終了される時に付加ＵＩモードを終了すると判定できる。付加ＵＩモードを終了すると判定された場合、携帯電子機器は付加装置に付加ＵＩの表示を終了するように指示する。この時、付加装置が他の用途で使用されていないと携帯電子機器は付加装置との接続を解除できる。ゲームアプリケーションが終了されていない状態で付加ＵＩの表示が終了される時、携帯電子機器はユーザのリクエストによって自分のディスプレイ画面に該当ポップアップメニューを表示できる。
【０１２９】
図２４は、本発明の一実施形態によってゲームアプリケーションの付加ＵＩを提供する付加装置の動作を示すフローチャートである。
図２４を参照すると、ステップ２４０５で、付加装置は、携帯電子機器の付加ＵＩとして動作するための接続を携帯電子機器との間に設定する。上記の接続は、携帯電子機器又は付加装置により開始できる。ステップ２４１０で、付加装置は、携帯電子機器から表示される付加ＵＩを示す付加ＵＩ構成情報が受信されるか否かを判定する。一例として、上記付加ＵＩ構成情報は、ゲームアプリケーション上で特定オブジェクトに対する詳細情報及び/または設定のための少なくとも一つのソフトキーを含むポップアップメニューであり得る。図示しないが、必要な場合、上記ポップアップメニューは、付加装置の物理的な形状及び解像度によって再構成できて、このために付加装置は付加装置の物理的な形状及び解像度を示す画面情報を携帯電子機器に伝達できる。
【０１３０】
受信された付加ＵＩ構成情報が存在する場合、ステップ２４１５で、付加装置は上記ポップアップメニューを自分のディスプレイ画面を通して表示する。ステップ２４２０で、付加装置は、携帯電子機器との連動を終了するか否かを判定する。一実施形態で携帯電子機器から付加ＵＩの表示を終了することを指示する命令が受信される場合、付加装置は付加ＵＩの表示を終了する。他の実施形態で付加装置は自分のディスプレイ画面上で付加ＵＩが提供されていていることを知らせるアイコンを表示し、上記アイコン上でタッチのようなユーザ入力が感知されるか、又は連動終了をリクエストするための物理的なボタンの入力を感知した場合、付加ＵＩの表示を終了し、連動が終了されたことを携帯電子機器に報告できる。
【０１３１】
図２５ａ乃至図２５ｃは、本発明の一実施形態によってゲームアプリケーションの付加ＵＩを提供する動作を説明するための図である。
【０１３２】
図２５ａを参照すると、携帯電子機器２５００は、ゲームアプリケーションを実行しているスマートフォンで実現され、ゲームアプリケーションにより実行画面２５１０を表示している。実行画面２５１０は、ゲーム進行のために必要な一つ又はそれ以上のオブジェクト２５１５を含む。
【０１３３】
図２５ｂを参照すると、携帯電子機器２５００は、実行画面２５１０に含まれる何れか一つのオブジェクトに対するポップアップメニューの表示がリクエストされたことを感知する。一例として実行画面２５１０上に表示される何れか一つのオブジェクト上でユーザ入力が感知されるか、又はゲームアプリケーションが特定オブジェクトに対する付加情報を提供すると判定した場合に、携帯電子機器２５００はポップアップメニューの表示がリクエストされたと判定できる。ポップアップメニューの表示がリクエストされ、付加ＵＩとして使用されるために接続した付加装置２５１０が存在する場合、上記ポップアップメニューを示す付加ＵＩ構成情報２５２０が付加装置２５１０に伝送される。
【０１３４】
図２５ｃを参照すると、付加装置２５２５は、携帯電子機器２５００と接続するように構成される腕時計で実現されることができ、携帯電子機器２５００から受信された付加ＵＩ構成情報２５２０によるポップアップメニュー２５３０を自分のディスプレイ画面上に表示する。一実施形態で、上記ポップアップメニュー２５３０は、付加装置２５２５の固有な機能による元の画面(一例として時計画面)上に重なって表示されることができる。他の実施形態で、ポップアップメニュー２５３０は、付加装置２５２５の元の画面に代えて表示されることができる。他の実施形態で、付加ＵＩ構成情報２５２０が受信される際に、付加装置２５２５の元の画面は縮小されて(又は変形されて)表示され、ポップアップメニュー２５３０は、上記元の画面の縮小された領域を除外した残り領域に表示されることができる。
【０１３５】
一方、本発明の詳細な説明では具体的な実施形態に関して説明したが、本発明の範囲から逸脱しない限度内で多様な変形は可能である。したがって、本発明の範囲は説明された実施形態に限定されず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものにより定められるべきである。
【符号の説明】
【０１３６】
１００  携帯電子機器
１１０  付加装置
２１０  制御部
２２０  保存部
２３０  タッチスクリーン
２３２  表示部
２３４  タッチ感知部
２４０  インターフェース部
２５０  近距離無線通信部
３１０  制御部
３２０  保存部
３３０  タッチスクリーン
３３２  表示部
３３４  タッチ感知部
３４０  インターフェース部
３５０  近距離無線通信部
４１０  携帯電子機器
４１４  フレームワーク
４１６  カーネル
４２０  付加装置
４２４、４２６  ソフトウェア実行部
９００  携帯電子機器
９１０  腕時計
１２００  付加装置
１２１０  携帯電子機器
１５００、１６００、１７００，１７２０  腕時計
１６４０、１７１０、１７３０  スマートフォン
１８００、２１００、２２００、２５００  携帯電子機器
２１１０、２５２５  付加装置
【図１】
2016521420.tif 000003
【図２】
2016521420.tif 000004
【図３】
2016521420.tif 000005
【図４】
2016521420.tif 000006
【図５】
2016521420.tif 000007
【図６Ａ】
2016521420.tif 000008
【図６Ｂ】
2016521420.tif 000009
【図７】
2016521420.tif 000010
【図８】
2016521420.tif 000011
【図９Ａ】
2016521420.tif 000012
【図９Ｂ】
2016521420.tif 000013
【図９Ｃ】
2016521420.tif 000014
【図９Ｄ】
2016521420.tif 000015
【図９Ｅ】
2016521420.tif 000016
【図９Ｆ】
2016521420.tif 000017
【図１０】
2016521420.tif 000018
【図１１】
2016521420.tif 000019
【図１２Ａ】
2016521420.tif 000020
【図１２Ｂ】
2016521420.tif 000021
【図１３】
2016521420.tif 000022
【図１４Ａ】
2016521420.tif 000023
【図１４Ｂ】
2016521420.tif 000024
【図１５Ａ】
2016521420.tif 000025
【図１５Ｂ】
2016521420.tif 000026
【図１６Ａ】
2016521420.tif 000027
【図１６Ｂ】
2016521420.tif 000028
【図１７Ａ】
2016521420.tif 000029
【図１７Ｂ】
2016521420.tif 000030
【図１８】
2016521420.tif 000031
【図１９】
2016521420.tif 000032
【図２０】
2016521420.tif 000033
【図２１Ａ】
2016521420.tif 000034
【図２１Ｂ】
2016521420.tif 000035
【図２１Ｃ】
2016521420.tif 000036
【図２１Ｄ】
2016521420.tif 000037
【図２２】
2016521420.tif 000038
【図２３】
2016521420.tif 000039
【図２４】
2016521420.tif 000040
【図２５Ａ】
2016521420.tif 000041
【図２５Ｂ】
2016521420.tif 000042
【図２５Ｃ】
2016521420.tif 000043
【国際調査報告】
2016521420.tif 000044
2016521420.tif 000045