(57)【要約】  本発明は、可視性を拡大するために２個以上の通信端末により遂行される多重ディスプレイ方法が提供される。第１の通信端末は、第２の通信端末と無線接続を確立し、第２の通信端末の機器情報を受信し、機器情報に基づいて第１の通信端末の第１の画面を形成するための第１の画面データと、前記第２の通信端末の第２の画面を前記第１の画面に関連して第２の通信端末の第２の画面を形成する第２の画面データを生成する。第２の画面データは、第２の通信端末に伝送される。
2015524954.tif 000002
【特許請求の範囲】
【請求項１】
第１の通信端末による多重ディスプレイ方法であって、
前記第１の通信端末により第２の通信端末と無線接続を確立するステップと、
前記第１の通信端末の送受信器により、前記第２の通信端末の機器情報を受信するステップと、
前記受信した機器情報に基づいて、前記第１の通信端末の第１の画面を形成するための第１の画面データと前記第２の通信端末の第２の画面を前記第１の画面に関連して形成するための第２の画面データの両方を第１の通信端末の制御により生成するステップと、
前記第１の通信端末の送受信器により、前記第２の画面データを前記第２の通信端末に伝送するステップと、
を有することを特徴とする多重ディスプレイ方法。
【請求項２】
前記第２の画面に対する入力データを前記第２の通信端末から受信するステップと、
前記受信した入力データによって前記第１の画面又は第２の画面をアップデートするためのアップデートされた第１又は第２の画面データを前記第１の通信端末の制御により生成するステップと、
をさらに有すること特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項３】
前記第１及び第２の画面は、一つのアプリケーションウィンドウの異なる部分に対応することを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項４】
前記第１の画面はアプリケーションウィンドウを表示し、前記第２の画面は文字入力インターフェースを表示することを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項５】
前記第１及び第２の画面データは、前記機器情報と共に前記第２の通信端末の方向、及び位置のうち少なくとも一つに基づいて生成されることを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項６】
前記第２の画面データは、前記第２の通信端末の第２の画面に関するチルト情報を含むことを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項７】
前記第２の画面データは、前記第２の画面の拡大又は縮小情報を含むことを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項８】
前記機器情報は、ディスプレイ部のサイズ又は解像度、モデル名、及び固有識別子のうち少なくとも一つを含むことを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項９】
第３の通信端末と無線接続を確立するステップと、
前記第３の通信端末の機器情報を前記第３の通信端末から受信するステップと、
前記第３の通信端末の機器情報に基づいて、前記第３の通信端末の第３の画面を前記第１の画面に関連して形成するための第３の画面データを生成するステップと、
前記第３の画面データを前記第３の通信端末に伝送するステップと、
をさらに有することを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項１０】
第１の通信端末により、前記第２の通信端末の撮影イメージをサーバに伝送するステップと、
第１の通信端末の送受信器により、前記サーバから前記第２の通信端末の接続情報を受信するステップと、をさらに有し、
前記第２の通信端末との無線接続は、前記サーバから受信した接続情報を用いて確立されることを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項１１】
前記第２の通信端末が前記第１の通信端末から少なくとも所定距離内に近づく場合に発生する衝突又は近接イベントを第１の通信端末により検出するステップをさらに有し、
前記第１及び第２の画面データを生成するステップは、前記衝突又は近接イベントにより開始されることを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項１２】
ユーザーが装置使用履歴又はユーザー設定から左利きであるかあるいは右利きであるかを判定するステップをさらに有し、
前記第１及び第２の画面データは、前記機器情報及び前記右利き又は左利きの判定結果に従って生成されることを特徴とする請求項１に記載の多重ディスプレイ方法。
【請求項１３】
請求項１〜請求項１２のうちいずれか１項による複数の通信端末を用いるディスプレイ方法を遂行するプロセッサによりロード及び実行される場合に格納される機械遂行可能なコードを有することを特徴とする非一時的機械読み取り可能な格納媒体。
【請求項１４】
制御部、送受信器を有する通信部、及び請求項１３の機械読み取り可能な格納媒体を含むことを特徴とする通信端末。
【請求項１５】
多重ディスプレイを提供する通信端末であって、
第２の通信端末と無線接続を確立し、前記第２の通信端末の機器情報を受信し、第２の画面データを前記第２の通信端末に送信する送受信器を有する通信部と、
第１の画面データによる第１の画面を形成して前記第１の画面の出力として表示するディスプレイ部と、
前記受信した機器情報に基づいて前記通信端末の前記第１の画面を形成するための前記第１の画面データと、前記第２の通信端末の第２の画面を前記第１の画面に関連して形成するための前記第２の画面データを生成する制御部と、
を含むことを特徴とする通信端末。
【請求項１６】
前記通信部は、前記第２の画面に関する入力データを前記第２の通信端末から受信し、
前記制御部は、前記入力データに基づいて前記第１の画面又は第２の画面の出力をアップデートするためのアップデートされた第１又は第２の画面データを生成することを特徴とする請求項１５に記載の通信端末。
【請求項１７】
前記通信部は、第３の通信端末と無線接続を確立し、前記第３の通信端末に関する付加機器情報を受信し、第３の画面データを前記第３の通信端末に送信し、
前記制御部は、前記第３の通信端末の付加機器情報に基づいて前記第３の通信端末の第３の画面を前記第１の画面に関連して構成するための前記第３の画面データを生成することを特徴とする請求項１５に記載の通信端末。
【請求項１８】
前記制御部は、カメラを制御して前記第２の通信端末を撮影し、前記第２の通信端末のイメージをサーバに送信し、前記サーバから前記第２の通信端末の接続情報を受信し、
前記第２の通信端末との無線接続は、前記接続情報を用いて確立されることを特徴とする請求項１５に記載の通信端末。
【請求項１９】
前記第２の通信端末がセンサ部を用いて前記通信端末から所定距離内に近づく場合に発生する衝突イベントを検出するセンサ部をさらに含み、
前記制御部は、前記衝突イベントを検出すると、前記第１及び第２の画面データを生成することを特徴とする請求項１５に記載の通信端末。
【請求項２０】
前記制御部は、メモリに格納された装置使用履歴又はユーザー設定からユーザーが左利きであるかあるいは右利きであるかを判定し、前記受信した機器情報及び前記ユーザーの左利き又は右利きに対する判定に従って前記第１及び第２の画面データを生成することを特徴とする請求項１５に記載の通信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はディスプレイ方法、機器、装置、及び/又はシステムに関するもので、特に複数の機器又は装置(例えば、通信端末)を使用するディスプレイを提供する方法、機器、装置及び/又はシステムに関する。
【背景技術】
【０００２】
一般に、電子機器、例えば通信端末は、これにユーザー入力部を具備する。例えば、移動通信端末は、一般的にキーパッドを含む。このようなキーパッドを使用する入力方法は、ボタン基盤の(例えば、物理的キー基盤の)入力方法とタッチスクリーン基盤の(又はタッチパッド基盤の)入力方法に分けられる。タッチスクリーン入力方法は、例えばソフトキーボード基盤の(又は仮想キーボード基盤の)入力方式と手書き認識(Handwriting  Recognition)方式を含む。ソフトキーボード入力方式は、タッチスクリーン上に表示される仮想キーボードを含む入力ウィンドウに、入力オブジェクト、例えばペン又は指を用いてタッチジェスチャ、例えばタップを適用して入力する方法を意味する。物理キーボード及びマウスの代わりにソフトキーボードを使用することは、機器から物理的キーボード及びマウスを除去可能にするため、機器の携帯性を増加させる。手書き認識方式は、ユーザーの手書き(例えば、筆記体)を認識してデータコードに変換させる方式を意味する。
【０００３】
このようなタッチスクリーンを具備する通信端末への入力は、例えばメニューアイテム選択を可能にする多様なアプリケーション、例えば電話又はビデオ通話アプリケーション、文書作成アプリケーションの使用によるもの、及び選択したアプリケーションで動作遂行のために必要な数字、文字、又はシンボルの入力によるものがある。
【０００４】
後者の場合、(例えば、通話のための)数字、(例えば、文字メッセージのための)文字、及び他のシンボルは、タッチスクリーンに表示されるソフトキーボードを通じて入力され得る。移動端末に提供されるタッチスクリーンは、移動端末の小型化の傾向に従って比較的小さいサイズで提供される。この場合、このタッチスクリーンに表示されるソフトキーボードの一部キー又は全体キーは、比較的小さい。したがって、ソフトキーボードを使用する場合に、ユーザーがキーを間違えてタッチする可能性が増加する。小型のタッチスクリーン上に表示されるキーが非常に小さいため、例えば、ユーザーがソフトキーボードの希望するキーの隣接キーをタッチし、あるいは一つ以上のキーをタッチすることがある。
【０００５】
したがって、電子機器又は装置(例えば、通信端末)のユーザーのためのより大きい(例えば、より広い)画面を提供する新たなディスプレイ方法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、上記した従来技術の問題点を解決するために、本発明の目的は、通信端末のユーザーに、例えば通常の通信端末で提供される画面より大きい(例えば、より広い)画面を提供する装置(例えば、通信端末)及び方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記のような目的を達成するために、本発明の一態様によれば、第１の装置の第１の画面と第２の装置の少なくとも一つの第２の画面を用いるディスプレイを提供するための第１の装置(例えば、通信端末)による方法(例えば、多重ディスプレイ方法）が提供される。上記方法は、第２の装置(例えば、通信端末）に接続(例えば、無線接続）を確立するステップと、第２の装置の機器情報を受信するステップと、機器情報に基づいて第１の装置の第１の画面を構成するための第１の画面データと第２の装置の第２の画面を(例えば、第１の画面データと第２の画面データとの組み合わせは全体ディスプレイの少なくとも一部に対応する)第１の画面に関連して構成するための第２の画面データを生成するステップと、第２の画面データを第２の装置に伝送するステップを有する。
【０００８】
本発明の他の態様によれば、実行時に、任意の側面又は請求項による方法、システム及び/又は装置を実現するように構成される指示を含むコンピュータプログラムを提供する。もう一つの例示的側面は、プログラムを格納する機械読み取り可能な格納媒体を提供する。
【０００９】
本発明のもう一つの態様によれば、ハードウェア(例えば、プロセッサ)により実行時にハードウェアが任意の側面又は請求項による方法、システム及び/又は装置を実現可能にする機械で実行可能なコードを格納する機械読み取り可能な格納媒体(例えば、非一時的機械読み取り可能な格納媒体)が提供され、例えば、コードは、任意の側面又は請求項による多重通信端末を用いて多重ディスプレイ方法を遂行可能にする。
さらに、本発明の他の態様によれば、任意の側面又は請求項による他の機械読み取り可能な格納媒体を含む装置(例えば、通信端末）が提供される。
【００１０】
本発明の他の実施形態によれば、第１の装置の第１の画面と第２の装置の少なくとも一つの第２の画面を利用したディスプレイ(例えば、多重ディスプレイ)を提供するための第１の装置(例えば、通信端末)が提供される。第１の装置は、第２の装置と接続(無線接続)を確立し、第２の装置の機器情報を受信し、第２の画面データを伝送するための通信部と、第１の画面データに基づいた第１の画面を構成し、第１の画面をユーザーに表示するためのディスプレイ部と、機器情報に基づいて第１の装置の第１の画面を構成するための第１の画面データと第２の装置の第２の画面を第１の画面に関連して構成する(例えば、第１の画面データと第２の画面データの組み合わせは全体ディスプレイの少なくとも一部に対応する)ための第２の画面データを生成するための制御部を含む。
【００１１】
また、本発明のもう一つの実施形態によれば、第１の装置の第１の画面と第２の装置の第２の画面を用いるディスプレイを提供する方法が提供される。上記方法は、第１の装置に接続を確立するステップと、第２の装置の機器情報を伝送することで第１の装置が前記機器情報に基づいて第１の装置の前記第１の画面を構成するための第１の画面データと前記第２の装置の前記第２の画面を前記第１の画面と連貫して構成するための第２の画面データを生成させるステップと、第２の画面データを受信するステップと、第２の画面データに基づいて第２の画面を構成するステップと、第２の画面をユーザーに表示するステップを有する。
【００１２】
本発明の他の態様によれば、第１の装置の第１の画面と第２の装置の少なくとも一つの第２の画面を使用するディスプレイを提供するための第２の装置が提供される。第２の装置は、第１の装置と無線接続を確立し、第２の装置の機器情報を伝送することで第１の装置が機器情報に基づいて第１の装置の第１の画面を構成するための第１の画面データと第２の装置の第２の画面を第１の画面に関連して構成するための第２の画面データを生成させ、第２の画面データを受信する通信部と、第２の画面データに基づいて第２の画面を構成し、第２の画面をユーザーに表示するディスプレイ部を含む。
【００１３】
本発明のもう一つの態様によれば、第１の装置又は端末の第１の画面と第２の装置又は端末の第２の画面を用いるディスプレイを提供するためのシステムが提供される。システムは、任意の側面または請求項による第１の装置又は端末と、任意の側面又は請求項による第２の装置又は端末を含む。
【００１４】
さらに、本発明の他の態様によれば、請求項１〜１２のうちいずれか一つによる方法が提供される。本発明のもう一つの態様によれば、請求項１５による通信端末が提供される。
【００１５】
本発明は、通信端末のユーザーに、より大きい(例えば、より広い)画面を提供する機器(例えば、通信端末)、装置、システム、及び方法を提供する効果がある。
本発明による実施形態の上記及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による多重ディスプレイシステムを示すブロック構成図である。
【図２】本発明の実施形態により、多重ディスプレイ方法の限定されない動作例を示すフローチャートである。
【図３Ａ】本発明の第１の実施形態による多重ディスプレイ方法を示す図である。
【図３Ｂ】本発明の第１の実施形態による多重ディスプレイ方法を示す図である。
【図４Ａ】本発明の第２の実施形態による多重ディスプレイ方法を示す図である。
【図４Ｂ】本発明の第２の実施形態による多重ディスプレイ方法を示す図である。
【図５Ａ】本発明の第３の実施形態による多重ディスプレイ方法を示す図である。
【図５Ｂ】本発明の第３の実施形態による多重ディスプレイ方法を示す図である。
【図６Ａ】本発明の第４の実施形態による多重ディスプレイ方法を示す図である。
【図６Ｂ】本発明の第４の実施形態による多重ディスプレイ方法を示す図である。
【図７Ａ】本発明の第５の実施形態による多重ディスプレイ方法を示す図である。
【図７Ｂ】本発明の第５の実施形態による多重ディスプレイ方法を示す図である。
【図８Ａ】本発明の第６の実施形態による多重ディスプレイ方法を示す図である。
【図８Ｂ】本発明の第６の実施形態による多重ディスプレイ方法を示す図である。
【図９】本発明の他の実施形態による多重ディスプレイ方法を示すフローチャートである。
【図１０】本発明の第７の実施形態による多重ディスプレイ方法を示す図である。
【図１１】本発明の第８の実施形態による多重ディスプレイ方法を示す図である。
【図１２】本発明の他の実施形態による多重ディスプレイシステムを示すブロック構成図である。
【図１３】本発明の一実施形態により、サーバの接続情報を提供する機能を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
【００１８】
次の説明において、具体的な構成及び構成要素のような特定詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
【００１９】
本明細書では、同一又は類似した参照番号は、同一又は類似した要素、特性、又は構成要素を称するために使用される。公知の構造、構成、機能及び/又はプロセスの詳細な説明は、本発明の要旨を不明にすることを防ぐために、さらに明瞭性と簡潔性のために省略する。
【００２０】
‘第１’、‘第２’、‘第３’のように序数を含む用語は多様なエレメント、構成要素、領域、階層及び/又はセクションを説明するために使用されるが、これらは、上記用語により限定されない。これらの用語は、一つのエレメント、構成要素、領域、階層及び/又はセクションを他の領域、階層、又はセクションから区別する目的のみで使われる。例えば、本発明の権利範囲を外れることなく、第１のエレメント、構成要素、領域、階層及び/又はセクションは第２のエレメント、構成要素、領域、階層及び/又はセクションと称され得る。説明において、‘及び／又は’という接続用語は、複数の関連した記載項目の組合せ又は複数の関連した記載項目のうちいずれか一つを含む。
【００２１】
ここで使用される用語は、特定の実施形態を説明するためのものであり、本発明を限定するものではない。 英文明細書に記載の“ａ”、“ａｎ”、及び“ｔｈｅ”、すなわち単数形は、コンテキスト中に特記で明示されない限り、複数形を含むことは、当業者にはわかることである。例えば、“ａｎ  ｏｂｊｅｃｔ”は、一つ以上のオブジェクトを含む。また、‘含む’又は‘有する’などの用語は、明細書上に記載された特徴、数字、段階、動作、要素、特性、及び/又は構成要素が存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴、数字、段階、動作、要素、特性、及び/又は構成要素及び/又はこれらを組み合わせの存在又は付加可能性を予め排除しないことを理解しなければならない。
【００２２】
別に定義されない限り、ここで使用される技術的及び科学的な用語を含むすべての用語は、本発明が属する技術分野で通常の知識を持った者には一般的に理解される意味と同一の意味を有する。一般的に使用される辞典で定義されるような用語は、関連技術の文脈上有する意味と一致する意味を有すると解析されなければならなく、ここで明白に定義されない限り、理想的又は過度に形式的な意味で解析されない。
【００２３】
特徴、数字、段階、動作、エレメント、構成要素、特性、及び/又はこれらの組合せが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品、あるいはこれらの組合せが、存在するあるいは付加される可能性を予め排除しないことが理解されなければならない。
【００２４】
この明細書の説明及び請求項を通じて“ＹのためのＸ”の一般的な言語形式がＹを行うために具体的であるが(ここで、Ｙは行動、行為、又はステップであり、Ｘはこれら行動、行為、又はステップを実行するための手段である)、制限されずに適用され、構成され、あるいは配列される意味を含むことが理解され得る。
【００２５】
図１は、本発明の一実施形態による多重ディスプレイシステムを示すブロック構成図である。多重ディスプレイシステムは、第１及び第２の端末１００，２００を含む。本実施形態では、第１及び第２の端末１００，２００が同一の構成を有することを示すが、他の実施形態では異なる構成を有することができる。以下の説明は第１の端末１００に関して提供される詳細を含むが、このような説明は、第２の端末２００に適用できる。同様に、第２の端末２００に関する説明は、第１の端末１００に適用することができる。
【００２６】
第１の端末１００は、例えばスマートフォン、携帯電話、ゲーム機、ＴＶ、ディスプレイ装置、車両用ヘッドユニット、ノートブック、ラップトップ、タブレット型、ファブレット、パーソナルコンピュータ(ＰＣ)、ＰＭＰ(Personal  Media  Player)、ＰＤＡ(Personal  Digital  Assistant)であり得る。本発明で、‘端末’は、‘機器’、‘電子装置’、‘装置’、‘携帯端末’、‘通信端末’、‘携帯通信端末’などの用語に代替使用することができる。
【００２７】
第１の端末１００は、第２の端末２００と通信し、あるいは第２の端末２００に関連して作業を遂行することができる。第１の端末１００は、サーバ又は他の中間エンティティを介して、あるいはネットワークを介して画面データを第２の端末２００に直接伝送できる。第１の端末１００は、第２の端末２００を制御し、あるいは第２の端末２００の制御下に動作できる。このような制御は、多様な方式で実現することができる。ネットワークは、これに限定されるものでないが、近距離通信網(Local  Area  Network：ＬＡＮ)、無線近距離通信網(Wireless  Local  Area  Network：ＷＬＡＮ)、広域通信網(Wide  Area  Network：ＷＡＮ)、インターネット、及び小地域通信網(Small  Area  Network：ＳＡＮ)であり得る。
【００２８】
第１の端末１００は、第１のスピーカ１１２、第１のマイク１１４、及び第１のディスプレイ部１１６を含む第１のユーザーインターフェース１１０、第１のセンサ部１２０、第１のメモリ１３０、第１の通信部１４０、第１のカメラ１５０、及び第１の制御部１６０を含む。一つ以上の構成要素は、第１の端末１００で選択的に省略でき、あるいは均等又は類似した構成要素に代替でき、及び/又は一つ以上の追加構成要素は選択的に追加できる。
【００２９】
第１のスピーカ１１２は、第１の端末１６０の制御によって多様な信号(例えば、無線周波数(ＲＦ)信号、放送信号、デジタルオーディオファイル、デジタルビデオファイル、又はフォトグラフィックイメージなど)に対応するサウンドを第１の端末１６０の外部に出力する。第１のスピーカ１１２は、第１の端末１００により遂行される機能に対応するサウンドを出力できる。一つ又は複数のスピーカ１１２は、第１の端末１００の適切な位置又は位置に一つまたは複数個配置され得る。
【００３０】
第１のマイク１１４は、第１の端末１００の外部から音声及び/又はサウンドを受信して電気信号を生成する。
【００３１】
第１のディスプレイ部１１６は、第１の制御部１６０から入力されたイメージ信号によるイメージを表示すると同時に、ユーザー入力データ、すなわちユーザー入力情報)受信して第１の制御部１６０に出力する。第１のディスプレイ部１１６は、ＬＣＤ(Liquid  Crystal  Display)、ＯＬＥＤ(Organic  Light  Emitting  Diodes)、又はＬＥＤのようなディスプレイ部分と、ディスプレイ部分の下部又は上部に位置されるタッチパネルを含むことができる。タッチパネルは、ユーザー入力を検出する。ユーザー入力手段(例えば、指、スタイラスペンなど)が第１のディスプレイ部１１６の表面を押さえ、又はタッチし、あるいは第１のディスプレイ部１１６、すなわちタッチ又は接触しないタッチ(すなわち、ホバリング)が考慮される画面から所定距離内に存在する場合、タッチパネルは、入力位置(又は座標)及び/又は入力状態(例えば、マウスダウン、マウスアップ、マウス移動など)に関する情報を有する検出信号(例えば、タッチ検出信号又は近接検出信号)を出力する。例えば、ユーザーは、第１のディスプレイ部１１６の画面に表示された多様な実行可能なアイテムのうちいずれか一つをタッチしてアイテムに関連したアプリケーションを実行する。ディスプレイ部１１６は、ハードウェアを含み、ユーザーの入力を受信する手段を提供し、カメラアプリケーション、画像通信アプリケーション、インターネットアプリケーションのように、アプリケーションに関連した画面データを出力する。実施形態で、このタッチスクリーンは、第１のディスプレイ部１１６の例として挙げるが、第１のディスプレイ部１１６は、タッチパネルなしにディスプレイすることができる。本発明では、画面は、第１のディスプレイ部１１６により表示されるイメージの全体又は一部を表すことができる。
【００３２】
タッチスクリーンは、ユーザーに多様なサービス(例えば、通話、データ伝送、放送、写真/ビデオ撮影サービス)に対応するグラフィックユーザーインターフェース(ＧＵＩ)を  提供できる。タッチスクリーンは、ＧＵＩに対する少なくとも一つのタッチに対応するユーザー入力データを第１の制御部１６０に伝送できる。
【００３３】
本発明での入力は、ユーザーの物理的接触又はタッチ可能な入力手段を用いる接触による物理的タッチに限定されるものでなく、非接触入力(例えば、タッチスクリーンとユーザーの身体またはタッチ可能な入力手段との間隔が検出可能な１ｃｍ以下である入力）を含むことができる。タッチスクリーンは、例えば抵抗(resistive)方式、静電容量方式、赤外線(infrared)方式、超音波(acoustic  wave)方式、電磁誘導(Electronic Magnetic Resonance：ＥＭＲ)方式、又はこれらの組み合わせで実現される。
【００３４】
第１のユーザーインターフェース１１０は、ユーザー入力を受信し、あるいはユーザーに情報を示し、例えば、複数のボタン、振動モーター、コネクタ、キーパッドなどを含む構造を含む。第１のユーザーインターフェース１１０は、これに限定されるものではなく、一つ以上のマウス、トラックボール(trackball)、ジョイスティック、又は方向キーのようなカーソル制御が第１の制御部１６０との情報通信及び第１のディスプレイ部１１６上のカーソル移動を制御するために提供することができる。
【００３５】
ボタンは、第１の端末１００の前面、側面、及び/又は後面に配列することができ、電源/ロックボタン(図示せず)、ボリュームボタン(図示せず)、メニューボタン、ホームボタン、戻るボタン(back  button)、及び検索ボタンのうち少なくとも一つを含むことができる。
【００３６】
振動モーターは、第１の制御部１６０の制御下に電気信号を機械的振動に変換できる。例えば、振動モードの第１の端末１００は、他の装置(図示せず)から音声通話が受信される場合、振動モーターを作動する。一つ以上の振動モーターは、第１の端末１００内に形成することができる。この振動モーターは、タッチスクリーン上にユーザーのタッチに応答して動作できる。
【００３７】
コネクタは、第１の端末１００を外部装置又は電源ソース(図示せず)に接続するためのインターフェースとして使用することができる。第１の制御部１６０の制御下に、第１の端末１００の第１のメモリ１３０に格納されているデータは、コネクタに接続した有線ケーブルを介して外部装置に伝送、あるいは外部装置から受信することができる。第１の端末１００は、ケーブルを介して電源ソースから電源がパワーオンされ、あるいはバッテリを充電できる。
【００３８】
キーパッドは、第１の端末１００を制御するためにユーザーからのキー入力の受信及び検出に採用される。キーパッドは、例えば第１の端末１００に形成される機械的なキーパッド又はタッチスクリーンに表示される仮想のキーパッドを含む。
【００３９】
第１のセンサ部１２０は、第１の端末１００の状態(例えば、位置、方位、方向、動きなど)を検出する少なくとも一つのセンサを含む。例えば、第１のセンサ部１２０は、ユーザーの第１の端末１００に対する近接可否を検出する近接センサ、又は第１の端末１００の動作(例えば、第１の端末１００の回転、加速、減速、振動など）を検出するモーションセンサなどを含むことができる。また、モーションセンサは、加速度センサ、重力センサ、衝撃センサ、ＧＰＳ、コンパスセンサなどを含むことができる。第１のセンサ部１２０は、第１の端末１００の状態を検出し、検出に対応する信号を生成して第１の制御部１６０に抵抗する。例えば、ＧＰＳは、地球軌道上の複数のＧＰＳ衛星(図示せず)から無線信号を受信し、ＧＰＳ衛星から第１の端末１００まで電波到達時間を用いて第１の端末１００の位置を算出できる。
【００４０】
第１のメモリ１３０は、画像通話、ゲームのような多様な機能のアプリケーションとこれに関連したグラフィックユーザーインターフェース(graphical  user  interface：ＧＵＩ)を提供するためのイメージ、ユーザー情報、文書、指紋情報/データ、指紋、及び機能のマッピングテーブルに関連したデータベース、第１の端末１００を駆動するのに必要な背景イメージ(メニュー画面、待機画面など)又はオペレーティングプログラム、カメラにより撮影されたイメージを格納することができる。機械読み取り可能な媒体は、格納媒体を含む。第１のメモリ１３０は、非揮発性媒体(non-volatile  media)及び揮発性媒体を含むことができる。これらの媒体は、この媒体により伝送される命令が機械的機器により検出可能でなければならない。
【００４１】
機械読み取り可能な媒体は、これに限定されるものでなく、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、ＣＤ-ＲＯＭ(Compact  Disc  Read-Only  Memory：ＣＤ-ＲＯＭ)、光学ディスク、パンチカード(punch  card)、ペーパーテープ(paper  tape)、ＲＡＭ、ＰＲＯＭ(Programmable  Read-Only  Memory)、ＥＰＲＯＭ(Erasable  PROM)、及びフラッシュＥＰＲＯＭのうち少なくとも一つを含む。
【００４２】
第１の通信部１４０は、外部装置に第１の端末１００に接続する。この接続は、ネットワークを介して直接又は間接に接続され、有線又は無線であり得る。この接続は、第１の制御部１６０、第１のメモリ１３０、第１のカメラ１５０からのデータを有線又は無線で伝送し、あるいは有線又は無線でデータを受信する。このデータは、第１の制御部１６０に伝送し、及び/あるいは第１のメモリ１３０に格納する。
【００４３】
第１の通信部１４０は、移動通信モジュール、ＷＬＡＮ、及びＬＡＮモジュールのうち少なくとも一つのための送受信器を含むことができる。第１の通信部１４０の例は、これに限定されず、総合サービスデジタル網(Integrated  Services  Digital  Network：ＩＳＤＮ)カード、モデム、ＬＡＮカード、赤外線装置、ブルートゥース装置、ジグビー(zigbee（登録商標）)装置、無線装置を含む。第１の通信部１４０は、ＵＭＴＳ(Universal  Mobile  Telecommunications  System)、ＧＳＭ（登録商標）(Global  System  for  Mobile  communications)、ＣＤＭＡ(Code  Division  Multiple  Access)、ＣＤＭＡ２０００、ＷＩＭＡＸ(World  Interoperability  for  Microwave  Access)、３Ｇ  ＬＴＥ(Long  Term  Evolution)、ＷｉＦｉ(８０２.１１ｘ)、赤外線、ジグビー、近距離無線通信(ＮＦＣ)、ＲＦＩＤ(Radio-Frequency  IDentification)、ブルートゥース、ＵＷＢ(Ultra  WideBand)などの任意の適用可能な無線通信プロトコルをサポートする装置であり得る。
【００４４】
移動通信モジュールは、第１の制御部１６０の制御によって少なくとも一つのアンテナ１４５を用いて通信(例えば、移動通信)を通じて第１の端末１００を外部装置に接続する。移動通信モジュールの送受信器は、第１の端末１００に入力される電話番号又はネットワークアドレスを有する携帯電話(図示せず)、スマートフォン(図示せず)、タブレット（図示せず）、ファブレット、ネットブック、又は他の装置(図示せず)との音声通話、ビデオ通話、文字メッセージ(ＳＭＳ）、マルチメディアメッセージ(ＭＭＳ）などの無線信号を送受信する。これらの送受信機は、一般的に第１の端末１００に入力される電話番号又はネットワークアドレスを有する。
【００４５】
無線ＬＡＮ(ＷＬＡＮ)モジュールは、第１の制御部１６０の制御下に、ＡＰ(Access  Point)(図示せず)である場所でインターネットに接続することができる。ＷＬＡＮモジュールは、米国電気電子学会(ＩＥＥＥ）のＷＬＡＮ規格ＩＥＥＥ８０２.１１ｘをサポートする。ＮＦＣは、第１の制御部１６０の制御によって第１の端末１００と外部装置との間に無線で近距離通信が可能である。
【００４６】
第１のカメラ１５０は、レンズシステム、駆動部、及びイメージセンサを含み、フラッシュをさらに含むことができる。第１のカメラ１５０は、レンズシステムを通じて入力される(又は撮影される)光信号を電気的なイメージ信号又はデータに変換して出力し、ユーザーは、このような第１のカメラ１５０を通じてビデオイメージ又は静止イメージを撮影できる。言い換えれば、第１のカメラ１５０は、被写体の光学的イメージを形成し、形成した光学的イメージを電気信号として検出する。
【００４７】
レンズシステムは、外部から入射された光を収束させることによって被写体のイメージを形成する。レンズシステムは、少なくとも一つのレンズを含み、各レンズは、凸レンズ又は凹レンズであり得る。レンズシステムは、その中心を通る光軸(optical  axis)に対して対称的であり、光軸は、このような中心軸として定義される。イメージセンサは、レンズシステムを通じて入射される外部光により形成される光学的映像を電気的映像信号として検出する。
【００４８】
イメージセンサは、Ｍ×Ｎ行列構造で配列される複数の画素を含み、各画素は、フォトダイオード及び少なくとも一つのトランジスタを含むことができる。画素は、入射される光により生成された電荷を蓄積する(すなわち、露出過程)。蓄積された電荷による電圧は、入射した光の照度を表す(すなわち、イメージ出力過程)。静止イメージ又はビデオイメージを構成する一つのイメージを処理する場合に、イメージセンサから出力されるイメージデータは、画素から出力される電圧(すなわち、画素値）の集合で構成され、一つのイメージ(すなわち、静止イメージ)を表す。また、イメージは、Ｍ×Ｎ画素で構成される。イメージセンサでは、ＣＣＤ(Charge-Coupled  Device)イメージセンサ、ＣＭＯＳ(Complementary  Metal-Oxide  Semiconductor)イメージセンサのうち少なくとも一つを含むことができる。
【００４９】
駆動部は、第１の制御部１６０の制御によってイメージセンサを駆動する。駆動部は、第１の制御部１６０から受信した制御信号によってイメージセンサの全体画素又は全体画素のうち関心領域の画素のみを露出させ、画素から出力されるイメージデータは、第１の制御部１６０に出力される。
【００５０】
第１の制御部１６０は、ハードウェア、例えばプロセッサ又はマイクロプロセッサを含み、ユーザー入力データによるアプリケーションを実行する。アプリケーションは、機械で実行可能な指示を含み、ユーザー入力データにより実行される。このとき、ユーザー入力は、キーパッド又はタッチスクリーンなどを通じた入力又はカメラ基盤の入力を含む。第１の制御部１６０は、情報通信のためのバス及び情報処理のためにバスと接続したプロセッサを含むことができる。第１の制御部１６０は、プロセッサにより要求される情報を格納するためにバスに接続される第２のメモリ(例えば、ＲＡＭ(Random  Access  Memory))を含むことができる。第２のメモリは、プロセッサにより要求される臨時情報を格納するのに使用することができる。第１の端末１００は、プロセッサにより要求される静的情報(static  information)を格納するためにバスに接続されるＲＯＭ(Read  Only  Memory）をさらに含むことができる。第１の制御部１６０は、中央処理処置として第１の端末１００の全般的な動作を制御し、本発明による多重ディスプレイ方法を遂行する役割をする。第１の制御部１６０は、第１のカメラ１５０から入力されるイメージ又は第１のメモリ１３０に格納されるイメージをフレーム単位で処理し、第１のディスプレイ部１１６の画面特性(サイズ、画質、解像度など)に適用されるイメージフレームを出力する。
【００５１】
第２の端末２００は、第２のスピーカ２１２、第２のマイク２１４及び第２のディスプレイ部２１６を含む第２のユーザーインターフェース２１０、第２のセンサ部２２０、第２のメモリ２３０、第２の通信部２４０、第２のカメラ２５０、及び第２の制御部２６０を含む。第２の端末２００の構成素子に関する説明は、第１の端末１００と同一の機能及び動作を有する。
【００５２】
本発明による多重ディスプレイ方法は、画面データを構成する第１の端末(例えば、メイン端末)とメイン端末から受信した画面データによって自身の画面を構成する第２の端末(例えば、サブ端末)との間の連動により遂行される。本実施形態では、第１の端末１００がメイン端末であり、第２の端末２００がサブ端末である。実施形態において、一つのサブ端末であり得る。他の実施形態では、２個以上のサブ端末であり得る。
【００５３】
第１の制御部１６０は画面データを構成し、画面データは、第１の端末１００の第１のディスプレイ部１１６に表示され、第２の端末２００の第２のディスプレイ部２１６に表示される第２の画面データを含む。このとき、画面データは、画面を構成する任意のデータであり、このような画面データはイメージデータ、アプリケーションデータであり得る。第１の制御部１６０は、ユーザー入力データ、ユーザー設定、デフォルト設定により選択される一つ以上の多重ディスプレイ方式に基づいて画面データを構成する。この多重ディスプレイ方式は、一つのイメージ画面又はユーザーインターフェースがイメージ、画面又はユーザーインターフェースを分割して表示する“分割表示方式”であり、分割されたイメージ、画面又はユーザーインターフェースの一部は、多重ディスプレイ部の各ディスプレイ部に表示される。この複数のディスプレイ方式は、多数のアプリケーション又はウィンドウが複数のディスプレイ部の各ディスプレイ部に表示される“独立表示方式”であり得る。
【００５４】
多様な実施形態において、一つ以上のイメージ、画面、ユーザーインターフェース、アプリケーション、ウィンドウ、及び/又はディスプレイの他のグラフィック要素、特徴及び/又は態様は、第１及び第２の画面に分けられて割り当てられ、所定の適切な方式で第１及び第２の端末により表示される。例えば、一実施形態で、第１及び第２の画面は、各々一つのアプリケーションからなる。他の実施形態では、単一イメージ又はアプリケーションは、第１及び第２の画面に分割される。他の実施形態において、第１の画面は一つのイメージ及びアプリケーションのうちいずれか一つを含み、第２の画面は他のイメージ及びアプリケーションのうちいずれか一つを含むことができる。当該技術分野で多数の実施形態があり、以下、これらのうち一部について説明する。
【００５５】
第１の制御部１６０は、通信部１４０を介して、第２の画面データを第２の端末２００に伝送し、第２の端末２００からユーザー入力データを受信し、ユーザー入力データに基づいて画面データをアップデートする。この第１及び第２の画面データは、同時にアップデートされ、あるいは第１及び第２の画面データのうちいずれか一つのみがアップデートされることができる。
【００５６】
以下の説明で、各端末が任意の動作を遂行することは、各端末に具備された制御部が異なる構成素子を制御して動作を遂行することが理解されるべきである。また、各端末内で生成され、あるいは外部から受信したデータは、各端末のメモリに格納できる。上記した各端末の各構成素子の動作説明に基づき、制御部により遂行される動作が該当構成素子を用いて遂行することがわかる。例えば、外部装置との通信には通信部を、データ表示はディスプレイ部を、撮影はカメラを、イベントや環境の感知はセンサ部を、各々利用することがわかる。
【００５７】
図２は、本発明の実施形態による多重ディスプレイ方法を示すフローチャートである。図示のように、この実施形態では、第１の端末１００と第２の端末２００が関与する
【００５８】
ステップＳ２１０において、無線接続は、第１及び第２の通信部１４０，２４０を用いて第１の端末１００と第２の端末２００との間で発生する。このような無線接続は、無線接続プロトコル、例えばＷｉＦｉ(８０２.１１ｘ)、赤外線、ジグビー)、ＮＦＣ、ＲＦＩＤ(Radio-Frequency  IDentification)、ブルートゥース、ＵＷＢ(Ultra  Wide  Band)のうち少なくとも一つ以上により確立することができる。このような無線接続は、第１の端末１００と第２の端末２００の各々により遂行される自動機器探索に従って開始され、あるいはユーザーにより第１及び第２の端末１００，２００に設置された同一の多重ディスプレイアプリケーションを実行することにより開始され得る。ユーザーは、多重ディスプレイアプリケーションを通じてメイン端末とサブ端末を選択できる。ステップＳ２２０〜Ｓ２５０のうちいずれか一つは、第１の端末１００と第２の端末２００との間で発生する所定のイベントに基づいて開始され、この所定のイベントは、例えば第１のセンサ部１２０又は第２のセンサ部２２０により検出される衝突イベント又は近接イベントを含む。衝突イベントは、例えば第１の端末と第２の端末との間の物理的衝突又は接触を含む。近接イベントは、例えば第１及び第２の端末が相互に近づいてこれら間の間隔が所定しきい距離内に位置されることを含む。
【００５９】
ステップＳ２２０において、この実施形態の第１の制御部１６０は、機器情報を他の端末(第２の端末２００)から受信し、機器情報は、例えば第２のディスプレイ部２１６の解像度、第２のディスプレイ部２１６のサイズ、第２の端末２００のモデル名、及び/又は第２の端末２００の固有識別子を含む。機器情報は、第１の通信部１４０を通じて受信される。所定の実施形態では、第１の制御部１６０は、機器情報から第２の端末２００の機器タイプ又は機器特性、及び/又は使用されるディスプレイ部のタイプ又は特性を識別することができる。選択的に、又は追加的に、第１の制御部１６０は、第２の端末２００の方向(又は方位)情報及び/又は位置情報を受信する。このような方向(又は方位)情報及び/又は位置情報は、上記した機器情報の一部、又は選択的に機器情報を代替し、あるいはこれに追加される別途の情報と見なされる。この方向(又は方位)情報は、第２の端末２００の中心軸が示す方向(すなわち、基準方位又は第１の端末１００の方位を基準とする第２の端末２００の方位)を示す。この中心軸は、任意に設定され、あるいは第２の端末２００の幅を左右に両分する軸に設定することができる。位置情報は、例えば、第１及び第２の端末の相対的位置を示す情報(例えば、第２の端末が第１の端末に対して上下左右又は対角線に位置するかに関する情報)を含む。位置情報は、例えば第１及び第２の端末の離隔距離を示す情報を含むことができる。
【００６０】
ステップＳ２３０において、第１の制御部１６０は、第２の端末２００の機器情報、方向情報(又は方位情報)、及び位置情報のうち少なくとも一つに基づいて画面データを生成する。特定実施形態では、第１の制御部１６０は、追加的に第１の端末の機器情報、方向情報(又は方位情報)、及び位置情報のうち少なくとも一つに基づいて画面データを生成する。第１の制御部１６０は、多重ディスプレイ方式によって画面データを生成できる。分割表示方式の場合に、第１及び第２の画面データは、一つのアプリケーションウィンドウ、ホーム画面のようなイメージを分割してイメージを表すことができる。独立表示方式の場合に、第１の画面データは一つのアプリケーションウィンドウを表し、第２の画面データは第２の端末２００が実行するアプリケーションに関する情報を表すことができる。以下の説明において、アプリケーションウィンドウは、アプリケーションイメージに代替表現することができる。機器情報、第１及び第２の画面データは、第１のメモリ１３０に格納することができる。
【００６１】
ステップＳ２４０において、第１の制御部１６０は、第１の通信部１４０を通じて第２の画面データを第２の端末２００に伝送する。分割表示方式の場合に、第２の画面データの生成及び伝送は周期的に遂行され、独立表示方式の場合に第２の画面データの生成及び伝送は、非周期的に、ユーザー入力のようなイベント発生時に遂行できる。
【００６２】
ステップＳ２５０において、多重ディスプレイモードで、第１の端末１００は、第１のディスプレイ部１１６上に第１の画面データに基づいて第１の画面を表示し、第２の端末２００は第２のディスプレイ部２１６上に第２の画面データに基づいて第２の画面を表示する。
【００６３】
ステップＳ２６０で、第１の端末１００がユーザー入力データを受信するステップであり、第２の制御部２６０は、第２のユーザーインターフェース２１０を通じてユーザー入力を検出し、このユーザー入力に基づいてユーザー入力データを生成して第２の通信部２４０を通じて第１の端末１００に伝送し、第１の制御部１６０は、第１の通信部１４０を通じて第２の端末２００からユーザー入力データを受信する。
【００６４】
ステップＳ２７０で、第１の制御部１６０は、ユーザー入力データに基づいて画面データをアップデートする。ここで、第１及び第２の画面データが同時にアップデートされ、あるいは第１及び第２の画面データのうち一つのみがアップデートすることができる。第１の端末１００は、自身の画面のみをアップデートして表示し、その上、第２の端末２００の画面アップデートのための第２の画面データを伝送できる。一方で、第１の端末１００は、自身の画面はアップデートせず、第２の端末２００の第２の画面データのみを送信してその画面をアップデートする。
【００６５】
図３Ａ及び図３Ｂは、本発明の第１の実施形態による多重ディスプレイ方法を示す。以下の説明において、‘アプリケーションウィンドウ’(本発明ではアプリケーションウィンドウの一つのタイプとして文字入力インターフェースの形態である）及び画面は、交互に使用することができる。
【００６６】
図３Ａを参照すると、一つのインターネットアプリケーションウィンドウは、第１及び第２の画面３１０，３２０に分割され、第１の画面３１０は第１の端末１００に表示され、第２の画面３２０は第２の端末２００に表示される。
【００６７】
図３Ａに示すように第２の画面３２０で、ユーザーが天気アイテム３２１を選択又はクリックする場合に、第２の制御部２６０は、このようなユーザー入力を検出し、第２の端末２００は、ユーザー入力に基づいたユーザー入力データを第１の端末１００に伝送する。したがって、２個の端末は、選択的に両方向に使用され、２個の端末は２個の各々の小さい画面より一つの大きい画面を提供するために連携する。
【００６８】
図３Ｂを参照すると、第１の制御部１６０は、ユーザー入力データに対応して画面データをアップデートし、アップデートした天気関連画面データを第１及び第２の画面データに分割し、第２の画面データを第２の端末２００に伝送する。図３Ａ及び図３Ｂに示すように、第１の端末１００は、第１の画面データに基づいてアップデートした第１の画面３１１を表示し、第２の端末２００は第２の画面データに基づいてアップデートした第２の画面３２２を表示する。ユーザーが、第１の画面３１０のアイテムを選択又はクリックする場合、第１の制御部１６０は、このようなユーザー入力を検出し、第１の端末１００は、ユーザー入力データに基づいて第１及び第２の画面３１０，３２０をアップデートすることができる。
【００６９】
図４Ａ及び図４Ｂは、本発明の第２の実施形態による多重ディスプレイ方法を示す。
【００７０】
図４Ａを参照すると、第１の端末１００は、一つのインターネットアプリケーションウィンドウを表す第１の画面４１０を表示し、第２の端末２００は、文字入力インターフェースを表す第２の画面４２０を表示する。（一つのインターネットアプリケーションウィンドウを表す）第１の画面４１０は、第１の画面４１０が分割されないインターネットアプリケーションウィンドウを表示することを意味する。しかしながら、第１の画面４１０の全体がインターネットアプリケーションウィンドウのみからなることを意味するものではない。すなわち、インターネットアプリケーションウィンドウの第１の画面４１０の一部に表示することができる。
【００７１】
図４Ａに示すような第２の画面４２０で、ユーザーが文字入力インターフェースを通じて用語“天気”を入力すると、第２の制御部２６０は、このようなユーザー入力を検出し、ユーザー入力によるユーザー入力データを第１の端末１００に伝送する。
【００７２】
図４Ｂを参照すると、第１の制御部１６０は、ユーザー入力データに対応して画面データをアップデートし、アップデートした画面データに基づいてアップデートされた第１の画面４１０を表示する。図４Ｂに示すように、用語‘天気’は、インターネットアプリケーションウィンドウの検索ウィンドウ４１１に入力されて表示される。
【００７３】
図５Ａ及び図５Ｂは、本発明の第３の実施形態による多重ディスプレイ方法を示す。
【００７４】
第１の制御部１６０は、第１のメモリ１３０に格納されたユーザーの装置使用履歴、ユーザー環境設定、方向情報、及び位置情報に基づいて画面データを構成できる。
【００７５】
図５Ａは、ユーザーの装置使用履歴又はユーザー環境設定に基づいて画面データを構成するケースを示す。
【００７６】
図５Ａに示すように、第１の制御部１６０は、ユーザーの装置使用履歴又はユーザー環境設定を検索してユーザーが左利きであることを判定し、このようなユーザー環境に適応するように画面データを構成する。すなわち、第１の端末１００は、文字入力インターフェースを表す第１の画面５１０を表示し、第２の端末２００は一つのインターネットアプリケーションウィンドウを表す第２の画面５２０を表示する。このようなユーザー設定の識別において、第１の制御部１６０は、文字入力インターフェースに対する所定の設定を検索して右利きであるかあるいは左利きであるかを検索し、あるいはユーザーのタッチが画面の右側領域に主に分布するか、あるいは左側領域に主に分布するかを判定するためにユーザータッチの分布を分析してユーザーが右利き又は左利きであるかを判定できる。
【００７７】
図５Ｂは、第１及び第２の端末１００，２００の方向情報に基づいて画面データを構成する例を示す。
【００７８】
第１の端末１００の中心軸(図示せず）は、上側を示し、第２の端末２００の中心軸(図示せず）は、右側を示す。第１の端末１００は、このような第２の端末２００の方向情報を第２の端末２００から受信する。
【００７９】
第１の制御部１６０は、第１の端末１００の中心軸と第２の端末２００の中心軸に垂直であることを判定し、このような状況に適合するように画面データを構成する。例えば、一つ以上のセンサ、ジャイロスコープ、チルトスイッチが中心軸を決定するために使用できることは、当業者には明らかである。特に、第１の端末１００は、一つのインターネットアプリケーションウィンドウ５１１が縦に表示し、第２の端末２００は、文字入力インターフェース５２１を横に表示することができる。すなわち、第１の制御部１６０は、文字入力インターフェース５２１を第２の端末２００の方向に合わせて整列させる。このような文字入力インターフェース５２１の表示方向情報は、第２の画面データに含まれて第２の端末２００に伝送される。
【００８０】
図６Ａ及び図６Ｂは、本発明の第４の実施形態による多重ディスプレイ方法を示す。図６Ａ及び図６Ｂは、方向情報に従って画面データを構成する他のケースを示す。
【００８１】
図６Ａを参照すると、方向情報を考慮しない場合の問題点を説明するための図であって、第１の端末１００は、一つのインターネットアプリケーションウィンドウを示す第１の画面６１０が表示され、第２の端末２００は文字入力インターフェースを示す第２の画面６２０が表示される。第１及び第２の端末１００，２００の中心軸１０１，２０１は相互に一致せず、第２の端末２００の第２の中心軸２０１は、第１の端末１００の第１の中心軸１０１に対して傾き、それによって第２の画面６２０も傾いている。この場合、ユーザーは、文字入力インターフェースが傾斜するので、文字入力が困難である。
【００８２】
図６Ｂは、第１及び第２の端末１００，２００の方向情報に基づいて画面データを構成するケースを示す。
【００８３】
第１の制御部１６０は、第２の端末２００の第２の中心軸２０１が第１の端末１００の第１の中心軸１０１に対して傾斜していることを判断し、第２の端末２００に表示される文字入力インターフェースが第１の端末１００の第１の中心軸１０１に沿って整列される。
【００８４】
特に、第２の端末２００の第２の画面６２１は、第１の端末１００の第１の中心軸１０１と第２の端末２００の第２の中心軸２０１からなる角度だけ第２の端末２００が傾ける方向の逆方向に傾ける。このような第２の画面６２１のチルト情報は、第２の画面データに含まれて第２の端末２００に伝送される。したがって、第２の画面の方位は、縦向き(portrait)又は横向き(landscape)に維持されず、第２の端末２００に対して傾いているが、第１の端末とは整列されたように見えることによって、ユーザーは、同一のレベルディスプレイを見ることができる。
【００８５】
図７Ａ及び図７Ｂは、本発明の実施形態による多重ディスプレイ方法を示す。図７Ａ及び図７Ｂは、方向情報に基づいて画面データを構成するもう一つのケースを示す。
【００８６】
図７Ａを参照すれば、第１の端末１００の中心軸(図示せず)は、上方を示し、第２の端末２００の第１の中心軸は右側を示す。第１の端末１００は、このような第２の端末２００の方向情報を第２の端末２００から受信する。第１の制御部１６０は、第１の端末１００の第１の中心軸から第２の端末２００の第２の中心軸が時計方向に９０度回転されることを検出し、このようなユーザー環境に適合するように画面データを構成する。すなわち、第１の端末１００に一つのインターネットアプリケーションウィンドウ７１０が縦に表示され、第２の端末２００に文字入力インターフェース７２０が横に表示することができる。すなわち、第１の制御部１６０は、文字入力インターフェース７２０が第１の端末１００の方向に合わせて整列されるようにする。このような文字入力インターフェース７２０の表示方向情報は、第２の画面データに含まれて第２の端末２００に伝送される。
【００８７】
図７Ｂを参照すれば、第１の端末１００の第１の中心軸(図示せず)は上側を示し、第２の端末２００の第２の中心軸(図示せず)は左側を示す。第１の制御部１６０は、第１の端末１００の中心軸から第２の端末２００の中心軸が反時計方向に９０度回転されることを検出し、このような状況に適合するように画面データを構成する。特に、第１の端末１００は、一つのインターネットアプリケーションウィンドウ７１０を縦に表示し、第２の端末２００は文字入力インターフェース７２１を横に表示することができる。第１の制御部１６０は、文字入力インターフェース７２１を第１の端末１００の方向に合わせて整列する。すなわち、第１の制御部１６０は、文字入力インターフェース７２１が逆方向に表示されないように制御する。
【００８８】
図８Ａ及び図８Ｂは、本発明の第６の実施形態による多重ディスプレイ方法を示す。図８Ａ及び図８Ｂは、機器情報に基づいて画面データを構成するケースを示す。図８Ａ及び図８Ｂにおいて、第２の端末２００ａは、ディスプレイ部が以前図面に示したサイズに比べて小さいことを除き、第２の端末２００と同一の構成を有する。
【００８９】
指示情報を考慮しない場合の問題点を説明するために図８Ａを参照すると、一つの文字(文書作成)アプリケーションウィンドウは、第１及び第２の画面８１０，８２０に分けられ、第１の画面８１０は、第１の端末１００に表示され、第２の画面８２０は第２の端末２００ａに表示される。このとき、第２の端末２００ａの第２のディスプレイ部２１６のサイズは、第１の端末１００の第１のディスプレイ部１１１６のサイズより小さい。このような場合に、ユーザーに文書作成アプリケーションウィンドウの２部分が異なるサイズと見なされるので、ユーザーに不便さを招くようになる。
【００９０】
図８Ｂは、第１及び第２の端末１００，２００ａの機器情報に基づいて画面データを構成するケースを示す。
【００９１】
第１の制御部１６０は、第２の端末２００ａの第２のディスプレイ部２１６のサイズが第１の端末１００の第１のディスプレイ部１１６のサイズより小さいと判断し、第２の端末２００ａに表示される文字作成アプリケーションウィンドウの部分を拡大し、あるいは第１の端末１００に表示される文字作成アプリケーションウィンドウの部分を縮小するように制御する。画面拡大の場合に、このような第２の画面８２１の拡大情報は、第２の画面データに含まれて第２の端末２００ａに伝送される。
【００９２】
上述したように、サブ端末の数は２以上であり、以下サブ端末の数が２である場合を例示する。しかしながら、他の実施形態において、サブ端末の数は、１より大きい。例えば、以下の実施形態では２個のサブ端末を示す。
【００９３】
図９は、本発明の第２の実施形態による多重ディスプレイ方法を示すフローチャートである。上記した内容と重複する説明は省略する。このとき、第３の端末３００は、第２の端末２００と同一の構成を有する。
【００９４】
ステップＳ９１０において、無線接続は、第１の端末１００、第２の端末２００、及び第３の端末３００の間に無線接続を確立する。
【００９５】
ステップＳ９２０及びＳ９３０において、第１の端末１００の第１の制御部１６０は、画面データを構成するために第２及び第３の端末２００，３００の各々からディスプレイ部の解像度又はサイズ、各端末のモデル名のような機器情報を受信する。第１の制御部１６０は、このような機器情報を通じて第２及び第３の端末２００，３００がどのタイプの装置であるか、どのディスプレイ部を具備するかを識別できる。あるいは、第１の制御部１６０は、第２及び第３の端末２００，３００のそれぞれの方向(又は方位)情報及び/又は位置情報をさらに受信することができる。
【００９６】
ステップＳ９４０において、第１の制御部１６０は、第２及び第３の端末２００，３００の機器情報、方向情報、及び位置情報のうち少なくとも一つに基づいて画面データを生成する。
【００９７】
ステップＳ９５０及びＳ９６０では、第１の制御部１６０は、第２の画面データを第２の端末２００に伝送し、第３の画面データを第３の端末３００に伝送する。
【００９８】
ステップＳ９７０において、多重ディスプレイモードを遂行するために、第１の端末１００は、第１の画面データに基づいてその画面を表示し、第２の端末２００は、第２の画面データに基づいて画面を表示し、第３の端末２００ｂは第３の画面データに基づいて画面を表示する。
【００９９】
ステップＳ９８０及びＳ９８５において、第２の端末２００の第２の制御部２６０又は第３の端末３００の第３の制御部(図示せず）はユーザー入力を検出し、第１の制御部１６０は、第２の端末２００又は第３の端末３００からユーザー入力データを受信する。
【０１００】
ステップＳ９９０において、第１の制御部１６０は、ユーザー入力データに基づいて画面データをアップデートする。ここで、第１〜第３の画面データは、同時にアップデートされ、あるいは第１〜第３の画面データのうちいずれか一つのみがアップデートされる。
【０１０１】
図１０は、本発明の第７の実施形態による多重ディスプレイ方法を示す。
図１０において、一つのインターネットアプリケーションウィンドウの第１〜第３の画面１０１０、１０２０，１０３０に分割され、第１の画面１０１０は、第１の端末１００に表示され、第２の画面１０２０は第２の端末２００に表示され、第３の画面１０３０は第３の端末２００ｂに表示される。
【０１０２】
第２又は第３の画面１０２０，１０３０で、ユーザーがアイテムを選択又はクリックした場合に、第２の制御部２０６又は第３の制御部は、このようなユーザー入力を検出し、ユーザー入力データを第１の端末１００に伝送する。第１の画面１０１０でユーザーがアイテムを選択又はクリックする場合、第１の制御部はユーザー入力を検出する。第１の制御部１６０は、このようなユーザー入力データに対応して画面データをアップデートし、アップデートされた画面データを第１〜第３の画面データに分割し、第２及び第３の画面データを第２及び第３の端末２００，３００に伝送できる。
【０１０３】
第１の制御部１６０は、第１〜第３の端末１００，２００，３００の位置情報に基づいて画面データを構成できる。すなわち、図示のように、左側から右側へ第１〜第３の端末１００，２００，３００が順に位置した場合に、第１の制御部１６０は、一つのインターネットアプリケーションウィンドウを横に第１〜第３の画面に分割し、第１〜第３の画面１０１０，１０２０，１０３０が第１〜第３の端末１００，２００，３００を通じて横に引き続いて表示されるように画面データを構成できる。
【０１０４】
一方、図１１に示すように、第３の端末３００が第１及び第２の端末１００，２００の下に配置される場合に、第１の制御部１６０は、一つのインターネットアプリケーションウィンドウを上部及び下部に区分し、インターネットアプリケーションウィンドウの上部を第１及び第２の画面に分割し、インターネットアプリケーションウィンドウの下部を第３の画面に設定できる。
【０１０５】
図１１は、本発明の第８の実施形態による多重ディスプレイ方法を示す。
図１１において、一つのインターネットアプリケーションウィンドウの第１及び第２の画面１１１０，１１２０に分割され、第１の画面１１１０は第１の端末１００に表示され、第２の画面１１２０は第２の端末２００に表示される。第３の端末３００に文字入力インターフェースを表す第３の画面１１３０が表示される。
【０１０６】
図１２は、本発明の第２の実施形態による多重ディスプレイシステムを示すブロック構成図である。上記システムは、第１及び第２の端末１００，２００以外にサーバ１０をさらに含むことが、図１のシステムと異なる。したがって、図１のシステムと重複される説明は省略し、サーバ１０に重点を置いて説明する。
【０１０７】
サーバ１０は、プログラム提供機能と、接続情報提供機能を遂行できる。サーバ１０は、クラウドサーバ、ウェブサーバ、データベースサーバのように機能のうち少なくとも一つを遂行するように構成される任意のサーバであり得る。
まず、サーバ１０がプログラム提供機能を遂行する場合について、以下に説明する。
【０１０８】
サーバ１０は、第１又は第２の端末１００，２００が多重ディスプレイ方法を遂行するようにする指示を含むプログラム、このプログラムのアップデート情報などを格納するためのメモリ１１と、第１又は第２の端末１００，２００との有線又は無線通信を遂行するための通信部１２と、第１又は第２の端末１００，２００の要請又は自動で該当プログラム又はアップデート情報を第１又は第２の端末１００，２００に伝送する制御部１３を含む。
【０１０９】
次に、サーバが接続情報提供機能を遂行する場合について図１３を参照して説明する。
図１３は、サーバ１０が接続情報を提供する場合を示す図である。
【０１１０】
ステップＳ１３１０において、第１の制御部１６０は、ユーザーの命令に応じて第１のカメラ１５０を制御して第２の端末２００を撮影し、撮影イメージを第１のメモリ１３０に格納する。
【０１１１】
ステップＳ１３２０において、第１の制御部１６０は、第２の端末２００の撮影イメージをメッセージの形態で第２の端末２００に伝送する。このメッセージは、第１の端末１００の識別情報を含む。
【０１１２】
ステップＳ１３３０において、サーバ１０の制御部１３は、メモリ１１に予め格納されている第１の端末１００に関連した端末のイメージの中から受信したイメージに一致するイメージを検索し、一致したイメージに対応する端末を識別する。この例で、上記端末は、第２の端末２００に対応する。
【０１１３】
ステップＳ１３４０において、サーバ１０の制御部１３は、第２の端末２００の接続情報(ネットワーク識別子(ＩＤ)、ネットワークアドレスなど)を第１の端末１００に伝送する。接続情報は、前述した第２の端末２００の機器情報を含むことができる。
【０１１４】
ステップＳ１３５０において、第１の端末１００の第１の制御部１６０は、受信した接続情報を用いて第２の端末２００と無線接続を確立する。
【０１１５】
以後に図２のステップＳ２１０以後の動作が遂行されるが、機器情報を受信するステップＳ２２０は、機器情報の受信がステップＳ１３４０で遂行される場合に省略できる。
【０１１６】
本発明の実施形態では、ハードウェア、ソフトウェア、又は適切なハードウェア及びソフトウェアの組み合わせの形態で実現可能であるとことがわかり、例えば、ハードウェアは、ソフトウェアを実行してオペレーション用で構成される。このようなソフトウェアは、コンピュータ読み取り可能な媒体で、ハードウェア、例えばマイクロプロセッサ又はプロセッサで実行可能なプログラム指示又はコンピュータ読み取り可能なコードとして格納され得る。コンピュータ読み取り可能な記録媒体の例は、磁気記憶媒体(例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど)、及び選択的記録媒体(例えば、ＣＤ-ＲＯＭ、又はＤＶＤ)を含む。コンピュータ読み取り可能な記録媒体は、ネットワーク接続されたコンピュータシステムにわたって分散されることによって、コンピュータ読み取り可能なコードは分散形態で格納及び遂行される。この媒体は、コンピュータにより読み取ってメモリに格納され、プロセッサにより実行することができる。パワー送信器又はパワー受信器に含まれるメモリは、本発明の実施形態を実現するプログラム又は指示を有するプログラムを格納する適切なコンピュータ読み取り可能な記録媒体の一例であり得る。
【０１１７】
このメモリは、また、本発明を達成するための機能(function)プログラム、コード、及びコードセグメントは、当該技術分野における熟練されたプログラマにとっては容易に理解できることである。
【０１１８】
上記した本発明による実施形態(例えば、装置又は動作方法)は、ハードウェアで実現することができ、選択的にファームウェア、ソフトウェア、又は非一時的機械読み取り可能な媒体、例えばＣＤ―ＲＯＭ、ＲＡＭ、フロッピー（登録商標）ディスク、ハードディスク、又は磁気-光ディスクに格納されたコンピュータコード、リモート記録媒体又は非一時的機械読み取り可能な媒体に格納された後、ネットワークを介してダウンロードされ、ローカル非一時的記録媒体に格納されたコンピュータコードとして一部実現でき、上記方法は、汎用コンピュータ、特別プロセッサ、ＡＳＩＣ又はＦＰＧＡのようなプログラム可能又は専用ハードウェアにローディングされる。
【０１１９】
当業者により理解されるように、コンピュータ、プロセッサ、マイクロプロセッサコントローラまたはプログラム可能なハードウェアは、コンピュータ、プロセッサ、又はハードウェアによりアクセスになって実行される際、前述した処理方法を実現するソフトウェアまたはコンピュータコードを格納又は受信できるメモリ要素(例えば、ＲＡＭ、ＲＯＭ、フラッシュなど）を含む。また、汎用コンピュータが上記した処理方法を実現する場合、コードの実行は、汎用コンピュータを上記処理方法をするための特別コンピュータに変換する。また、当業者は、“プロセッサ”又は“マイクロプロセッサ”が請求される発明におけるハードウェアを構成すると理解するはずである。
【０１２０】
格納装置又は格納媒体は、実行の際に、本発明の実施形態を実現する指示を含むプログラム又はプログラムを格納するのに適合した機械読み取り可能な記憶装置の一実施形態であると理解され得る。したがって、実施形態では、本明細書の請求項のうちいずれか一つに記載された装置、システム及び/又は方法を実現するためのコードを含むプログラム、及びプログラムを格納する機械読み取り可能な記憶装置とする。
【０１２１】
“〜部”又は“モジュール”は、例えば要求される機能に合わせて構成され、あるいは適応されるハードウェア、例えばプロセッサ又はマイクロプロセッサ機能を実現するための機械で実行可能なコードを含む非一時的媒体、又はこれらの適切な組み合わせのうち少なくとも一つを含むことがわかる。
【０１２２】
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲を外れない限り、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。したがって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。
【符号の説明】
【０１２３】
１０  サーバ
１１  メモリ
１２  通信部
１３  制御部
１００、２００  端末
１０１、２０１  中心軸
１１２、２１２  スピーカ
１１４、２１４  マイク
１１６、２１６  ディスプレイ部
１２０、２２０  センサ部
１３０、２３０  メモリ
１４０、２４０  通信部
１４５  アンテナ
１５０、２５０  カメラ
１６０、２６０  制御部
１１０、２１０  ユーザーインターフェース
【図１】
2015524954.tif 000003
【図２】
2015524954.tif 000004
【図３ａ】
2015524954.tif 000005
【図３ｂ】
2015524954.tif 000006
【図４ａ】
2015524954.tif 000007
【図４ｂ】
2015524954.tif 000008
【図５ａ】
2015524954.tif 000009
【図５ｂ】
2015524954.tif 000010
【図６ａ】
2015524954.tif 000011
【図６ｂ】
2015524954.tif 000012
【図７ａ】
2015524954.tif 000013
【図７ｂ】
2015524954.tif 000014
【図８ａ】
2015524954.tif 000015
【図８ｂ】
2015524954.tif 000016
【図９】
2015524954.tif 000017
【図１０】
2015524954.tif 000018
【図１１】
2015524954.tif 000019
【図１２】
2015524954.tif 000020
【図１３】
2015524954.tif 000021
【国際調査報告】
2015524954.tif 000022
2015524954.tif 000023