(57)【要約】【課題】ソース装置及び拡張装置に基づく双方向通信システム並びにその方法を提供する。【解決手段】本発明に係るソース装置及び拡張装置に基づく双方向通信システムにおいて、前記ソース装置は、前記ソース装置のシステム運営を担当するシステム運営部；前記拡張装置に送信する映像信号を処理する映像処理部；前記拡張装置と無線通信を実行する無線通信部；及び前記拡張装置から送信されたユーザ入力を処理する拡張エージェント部；を有し、前記拡張装置は、前記ソース装置と無線通信を実行する無線通信部；前記ソース装置から送信された映像信号を処理する映像処理部；前記映像信号をディスプレイするディスプレイ部；及び前記拡張装置のユーザインターフェースを提供するユーザ入力部を有する。【選択図】図６
2014107865.tif 000002
【特許請求の範囲】
【請求項１】
ソース装置及び拡張装置に基づく双方向通信システムであって、
前記ソース装置が、
前記ソース装置のシステム運営を担当するシステム運営部；
前記拡張装置に送信する映像信号を処理する映像処理部；
前記拡張装置と無線通信を実行する無線通信部；及び
前記拡張装置から送信されたユーザ入力を処理する拡張エージェント部；を有し、
前記拡張装置が、
前記ソース装置と無線通信を実行する無線通信部；
前記ソース装置から送信された映像信号を処理する映像処理部；
前記映像信号を表示するディスプレイ部；及び
前記拡張装置のユーザインターフェースを提供するユーザ入力部；を有するソース装置及び拡張装置に基づく双方向通信システム。
【請求項２】
前記ソース装置の前記拡張エージェント部は、前記拡張装置から連結要請（Ｒｅｑｕｅｓｔ  Ｃｏｎｎｅｃｔ）を受信した場合、前記拡張装置と性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行して前記拡張装置とセッション（Ｓｅｓｓｉｏｎ）を形成し、前記拡張装置からユーザ入力及び制御信号のうちの少なくとも１つを受信した場合、これを処理して前記ソース装置のシステム運営部に送信する請求項１に記載のソース装置及び拡張装置に基づく双方向通信システム。
【請求項３】
前記性能交渉は、前記ソース装置の拡張エージェント部が前記拡張装置のユーザ入力部に対する情報を受信し、前記ソース装置の拡張エージェント部と前記拡張装置との間の制御信号を協議することを含む請求項２に記載のソース装置及び拡張装置に基づく双方向通信システム。
【請求項４】
前記拡張装置の前記ユーザ入力部は、前記ユーザ入力を前記性能交渉に基づいて前記ソース装置に適合するように変更する請求項２又は３に記載のソース装置及び拡張装置に基づく双方向通信システム。
【請求項５】
前記ソース装置の前記拡張エージェント部は、前記拡張装置から送信されたユーザ入力を前記ソース装置のシステム運営部の入力に適合するように変更する請求項１〜３のいずれか一項に記載のソース装置及び拡張装置に基づく双方向通信システム。
【請求項６】
前記ソース装置の前記システム運営部は、前記ソース装置と前記拡張装置とを個別に分離して運営する請求項１〜３のいずれか一項に記載のソース装置及び拡張装置に基づく双方向通信システム。
【請求項７】
ソース装置及び拡張装置に基づく双方向通信システムのためのソース装置であって、
前記ソース装置のシステム運営を担当するシステム運営部；
前記拡張装置に送信する映像信号を処理する映像処理部；
前記拡張装置と無線通信を実行する無線通信部；及び
前記拡張装置から送信されたユーザ入力を処理する拡張エージェント部；を含み、
前記拡張エージェント部は、前記拡張装置から連結要請（Ｒｅｑｕｅｓｔ  Ｃｏｎｎｅｃｔ）を受信した場合、前記拡張装置と性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行して前記拡張装置とセッション（Ｓｅｓｓｉｏｎ）を形成し、前記拡張装置からユーザ入力及び制御信号のうちの少なくとも１つを受信した場合、これを処理して前記システム運営部に送信するソース装置及び拡張装置に基づく双方向通信システムのためのソース装置。
【請求項８】
前記拡張エージェント部は、前記拡張装置から送信されたユーザ入力を前記システム運営部の入力に適合するように変更して前記システム運営部に送信する請求項７に記載のソース装置及び拡張装置に基づく双方向通信システムのためのソース装置。
【請求項９】
前記性能交渉は、前記拡張エージェント部が前記拡張装置のユーザ入力部に対する情報を受信し、前記拡張エージェント部と前記拡張装置との間の制御信号を協議することを含む請求項７又は８に記載のソース装置及び拡張装置に基づく双方向通信システムのためのソース装置。
【請求項１０】
前記ソース装置の前記システム運営部は、前記ソース装置と前記拡張装置とを個別に分離して運営する請求項７又は８に記載のソース装置及び拡張装置に基づく双方向通信システムのためのソース装置。
【請求項１１】
ソース装置及び拡張装置に基づく双方向通信方法であって、
前記ソース装置が前記拡張装置から連結要請（Ｒｅｑｕｅｓｔ  Ｃｏｎｎｅｃｔ）を受信するステップ；
前記ソース装置が前記拡張装置と性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行するステップ；
前記ソース装置が前記拡張装置とセッション（Ｓｅｓｓｉｏｎ）を形成するステップ、
前記ソース装置が前記拡張装置からユーザ入力及び制御信号のうちの少なくとも１つを受信するステップ；及び
前記ソース装置が前記拡張装置から送信されたユーザ入力及び制御信号のうちの少なくとも１つを処理するステップ；を備えるソース装置及び拡張装置に基づく双方向通信方法。
【請求項１２】
ソース装置及び拡張装置に基づく双方向通信方法であって、
前記ソース装置が前記拡張装置を検索するステップ；
前記ソース装置が前記拡張装置と性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行するステップ；
前記ソース装置が前記拡張装置とセッション（Ｓｅｓｓｉｏｎ）を形成するステップ；
前記ソース装置が前記拡張装置に映像ミラーリングを実行するステップ；
前記ソース装置が前記拡張装置からユーザ入力及び制御信号のうちの少なくとも１つを受信するステップ；及び
前記ソース装置が前記拡張装置から送信されたユーザ入力及び制御信号のうちの少なくとも１つを処理するステップ；を備えるソース装置及び拡張装置に基づく双方向通信方法。
【請求項１３】
前記ソース装置が前記処理された結果映像を前記拡張装置に送信するステップを更に備える請求項１１又は１２に記載のソース装置及び拡張装置に基づく双方向通信方法。
【請求項１４】
前記性能交渉を実行するステップは、
前記ソース装置が前記拡張装置のユーザ入力部に対する情報を受信し、前記ソース装置と前記拡張装置の間の制御信号を協議することを含む請求項１１又は１２に記載のソース装置及び拡張装置に基づく双方向通信方法。
【請求項１５】
前記処理するステップは、
前記ソース装置の前記拡張エージェント部が前記拡張装置の前記ユーザ入力部を介して入力されたユーザ入力を前記ソース装置の前記システム運営部の入力に適合するように変更することを含む請求項１１又は１２に記載のソース装置及び拡張装置に基づく双方向通信方法。
【請求項１６】
前記制御信号は、連結要請（Ｒｅｑｕｅｓｔ  Ｃｏｎｎｅｃｔ）信号、連結維持（Ｋｅｅｐ  Ａｌｉｖｅ）信号、連結解除要請（Ｒｅｑｕｅｓｔ  Ｄｉｓｃｏｎｎｅｃｔ）信号、状態報告要請（Ｒｅｑｕｅｓｔ  Ｓｔａｔｕｓ  Ｒｅｐｏｒｔ）信号、及び性能要請（Ｒｅｑｕｅｓｔ  Ｃａｐａｂｉｌｉｔｙ）信号のうちの少なくとも１つを含む請求項１１又は１２に記載のソース装置及び拡張装置に基づく双方向通信方法。
【請求項１７】
請求項１１又は１２に記載のソース装置及び拡張装置に基づく双方向通信方法を実行するプログラムが記録された、コンピュータで読み取り可能な記録媒体。
【請求項１８】
請求項１１又は１２に記載のソース装置及び拡張装置に基づく双方向通信方法を実行するプログラムを送信する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ソース装置及び拡張装置に基づく双方向通信システム並びにその方法に関し、より詳しくは、ソース装置（例、無線モバイルデバイス）の画面を切ることなく拡張装置（例、拡張したディスプレイ装置）にリアルタイムでミラーリング（ｍｉｒｒｏｒｉｎｇ）しながらユーザ入力を何らの制約もなく伝達し、まるで実際の機器を操作するようなユーザ経験を提供するソース装置及び拡張装置に基づく双方向通信システム並びにその方法に関する。
【背景技術】
【０００２】
電子、通信、コンピュータ技術の発達と共に、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）のような無線モバイルデバイス（ｗｉｒｅｌｅｓｓ  ｍｏｂｉｌｅ  ｄｅｖｉｃｅ）が広く普及している。無線モバイルデバイスは、通話機能はもちろん、無線インターネットやコンピュータ機能まで提供しており、私たちの生活になくてはならない必需品になった。
【０００３】
しかし、無線モバイルデバイスはサイズが小さいため携帯性には優れているが、小さい画面と小さいスピーカとによってはユーザに感動的な映像や音声を提供することができないという限界があった。また、このような短所を補うために、最近では無線モバイルデバイスの画面を他のディスプレイ装置に拡張して表示する無線ディスプレイ技術が開発されており、その例としては、ＡｉｒＰｌａｙ、Ａｌｌｓｈａｒｅｃａｓｔ、Ｗｉｒｅｌｅｓｓ  ＨＤ、ＷｉＦｉ  Ｄｉｓｐｌａｙなどがある。
【０００４】
図１及び図２を参照して従来技術に係る無線ディスプレイ技術を詳察すれば、従来技術の場合、ソース装置（例、無線モバイルデバイス）が自身のディスプレイ部を介して映像を出力し、かつ無線通信を介して映像信号を拡張装置（例、拡張ディスプレイ装置）に送信し、拡張装置のディスプレイ部を介してミラーリング（ｍｉｒｒｏｒｉｎｇ）することによってより大きい画面を提供する方式であった。例えば、ソース装置１０は、映像処理部１３で処理された映像信号をディスプレイ部１４を介して出力し、かつ、無線通信部１５を介して拡張装置２０に送信し、これを受信した拡張装置２０は、自身のディスプレイ部２３を介してソース装置１０と同じ映像を出力することによってより大きい画面を提供する方式であった。
【０００５】
しかし、このような無線ディスプレイ技術は、モバイルデバイスの小さい画面を無線で連結したＴＶやディスプレイ装置に表示する技術（すなわち、ソース装置と拡張装置との間の片方向通信技術）であって、単にモバイルデバイスの画面を大きい画面のＴＶやディスプレイ装置で見ることができるという効果を提供するだけに過ぎず、ユーザがＴＶやディスプレイ装置（拡張装置）を介してモバイルデバイス（ソース装置）を遠隔で制御したり、ユーザの入力を伝達することはできないという問題点があった。したがって、従来技術の場合、拡張ディスプレイ装置をまるで自身のモバイルデバイスのように扱うことができないという限界があったため、このような限界を克服し、２つの装置をまるで１つの装置であるように円滑に使用することができる方案が強く求められてきた。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上述したような要求を満たすためになされたものであって、モバイルデバイス（ソース装置）をミラーリングする拡張ディスプレイ装置（拡張装置）を、まるでモバイルデバイスを直接使用するように実現することができるソース装置及び拡張装置に基づく双方向通信システム並びにその方法を提供することを目的とする。
【０００７】
また、本発明は、拡張装置と連動するソース装置が拡張装置へのユーザ入力を処理する拡張エージェントを備えることにより、ソース装置と拡張装置とを１つの装置のように使用することができるソース装置及び拡張装置に基づく双方向通信システム並びにその方法を提供することを他の目的とする。
【０００８】
また、本発明は、ソース装置と拡張装置との間の双方向通信を介して拡張装置へのユーザ入力をユーザが感じることができない程度の遅延速度内（ｌａｇ‐ｆｒｅｅ）でユーザ入力に基づく情報をソース装置に伝達し、拡張装置を介してまるで実際のデバイスを使用しているときと実質的に同じ経験をユーザに提供することができるソース装置及び拡張装置に基づく双方向通信システム並びにその方法を提供することを他の目的とする。
【０００９】
更に、本発明は、小さい画面を有し、制約された環境で用いるスマートフォンをスマート無線タブレット拡張装置、無線ラップトップ拡張装置、無線大型タッチパネル拡張装置、無線プロジエクタ拡張装置、無線テーブル拡張装置、及び／又は無線玩具拡張装置等に応用することにより、ユーザ経験を害することなく、多様な形態に拡張することができるソース装置及び拡張装置に基づく双方向通信システム並びにその方法を提供することを他の目的とする。
【課題を解決するための手段】
【００１０】
上述した目的を達成するために、本発明の一実施形態に係る双方向通信システムは、ソース装置及び拡張装置に基づく双方向通信システムであって、前記ソース装置は、前記ソース装置のシステム運営を担当するシステム運営部と、前記拡張装置に送信する映像信号を処理する映像処理部と、前記拡張装置と無線通信を実行する無線通信部と、前記拡張装置から送信されたユーザ入力及び制御信号を処理する拡張エージェント部とを有し、前記拡張装置は、前記ソース装置と無線通信を実行する無線通信部と、前記ソース装置から送信された映像信号を処理する映像処理部と、前記映像信号を表示するディスプレイ部と、前記拡張装置のユーザインターフェースを提供するユーザ入力部とを有する。
【００１１】
また、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信システムは、前記ソース装置が、前記ソース装置のシステム運営を担当するシステム運営部と、前記拡張装置に送信する映像信号を処理する映像処理部と、前記拡張装置と無線通信を実行する無線通信部と、前記拡張装置から送信されたユーザ入力および制御信号を処理する拡張エージェント部とを有し、前記拡張エージェント部が、前記拡張装置から連結要請（Ｒｅｑｕｅｓｔ  Ｃｏｎｎｅｃｔ）を受信した場合、前記拡張装置と性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行して前記拡張装置とセッション（Ｓｅｓｓｉｏｎ）を形成し、前記拡張装置からユーザ入力及び制御信号のうちの少なくとも１つを受信した場合、これを処理して前記システム運営部に送信することもできる。
【００１２】
また、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信方法は、前記ソース装置が前記拡張装置から連結要請（Ｒｅｑｕｅｓｔ  Ｃｏｎｎｅｃｔ）を受信するステップと、前記ソース装置が前記拡張装置と性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行するステップと、前記ソース装置が前記拡張装置とセッション（Ｓｅｓｓｉｏｎ）を形成するステップと、前記ソース装置が前記拡張装置からユーザ入力及び制御信号のうちの少なくとも１つを受信するステップと、前記ソース装置が前記拡張装置から送信されたユーザ入力及び制御信号のうちの少なくとも１つを処理するステップとを備える。
【００１３】
更に、本発明の他の一実施形態によるソース装置及び拡張装置に基づく双方向通信方法は、前記ソース装置が前記拡張装置を検索するステップと、前記ソース装置が前記拡張装置と性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行するステップと、前記ソース装置が前記拡張装置とセッション（Ｓｅｓｓｉｏｎ）を形成するステップと、前記ソース装置が前記拡張装置に映像ミラーリングを実行するステップと、前記ソース装置が前記拡張装置路からユーザ入力及び制御信号のうちの少なくとも１つを受信するステップと、前記ソース装置が前記拡張装置から送信されたユーザ入力及び制御信号のうちの少なくとも１つを処理するステップとを備える。
【発明の効果】
【００１４】
本発明によれば、モバイルデバイス（ソース装置）をミラーリングする拡張ディスプレイ装置（拡張装置）を、まるでモバイルデバイスを直接使用するように実装することができる効果を有する。
【００１５】
また、本発明によれば、拡張装置と連動するソース装置が拡張装置のユーザ入力を処理する拡張エージェントを備えることにより、ソース装置と拡張装置とを１つの装置のように使用することができる効果を有する。
【００１６】
なお、本発明によれば、ソース装置と拡張装置との間の双方向通信を介して拡張装置のユーザ入力をユーザが感じることができない程度の遅延速度内（ｌａｇ−ｆｒｅｅ）で自然にソース装置に伝達し、ユーザに拡張装置を介してまるで実際にデバイスを使用しているときと実質的に同じ経験を提供することができる効果を有する。
【００１７】
更に、本発明によれば、小さい画面を有し、制約された環境で用いるスマートフォンをスマート無線タブレット拡張装置、無線ラップトップ拡張装置、無線大型タッチパネル拡張装置、無線プロジエクタ拡張装置、無線テーブル拡張装置、及び／又は無線玩具拡張装置等に応用することにより、ユーザ経験を害することなく、多様な形態に拡張することができる効果を有する。
【図面の簡単な説明】
【００１８】
【図１】従来技術に係るソース装置及び拡張装置の片方向通信システムの概要図である。
【図２】従来技術に係るソース装置及び拡張装置の片方向通信システムの構成図である。
【図３】本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信システムの概要図である。
【図４】本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信システムの構成図であって、ソース装置の映像が拡張装置に送信される過程を説明する図である。
【図５】本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信方法のフローチャートであって、ソース装置の映像が拡張装置に送信される過程を説明する図である。
【図６】本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信システムの構成図であって、拡張装置のユーザ入力及び／又は制御信号がソース装置に送信される過程を説明する図である。
【図７】本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信方法のフローチャートであって、拡張装置のユーザ入力及び／又は制御信号がソース装置に送信される過程を説明する図である。
【図８】ソース装置の座標と拡張装置の座標とをマッピングする一例を示す図である。
【図９】本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信方法のフローチャートであって、ソース装置と拡張装置との間の性能交渉が１つの手順によって処理される過程を説明する図である。
【発明を実施するための形態】
【００１９】
以下、添付の図面及び好ましい実施形態を参照して、本発明を詳しく説明する。参考までに、後述する説明において、本発明の要旨を不必要に不明瞭にし得る公知機能及び構成についての詳細な説明は省略する。
【００２０】
まず、本発明の実施形態で使用される用語について簡単に定義すれば、「ソース装置」は、無線通信を介してソース映像を他のディスプレイ装置に送信する装置を意味し、その主な例としては、スマートフォンのような無線モバイルデバイスを挙げることができる。また、「拡張装置」は、ソース装置から無線通信を介して送信された映像をディスプレイする装置を意味し、その主な例としては、アイパッドやギャラクシータブ（登録商標）のようなタブレット（ｔａｂｌｅｔ）ＰＣを挙げることができる。しかし、本発明が上述した例に限定されることはなく、ある装置やデバイスが上述した定義を満たしていれば、これがソース装置及び／又は拡張装置に該当することはもちろんである。
【００２１】
一方、ソース装置及び拡張装置の関係と関連して、本発明の一実施形態において、ソース装置は、それ自身にプロセッサを備え、システム運営を含め、ユーザ入力や映像出力等を全般的に制御する装置を意味し、拡張装置は、ソース装置に従属し、ソース装置から送信された映像を出力する装置を意味する。例えば、本発明の一実施形態の場合、それぞれの装置が全てのコンピュータ機能を実行可能なプロセッサを独立して備え、第１装置から送信された映像を第２装置で受信してディスプレイしながら、第２装置のユーザ入力部を介して入力された事項を第２装置が独自のプロセッサを介して処理してその結果を出力する場合（すなわち、第１装置と第２装置とが主従関係ではなく、それぞれ個別の独立的な関係によって動作する場合）を除く。しかし、それぞれの装置が全て独自のプロセッサを備えて独立してコンピュータ機能の実行が可能な装置であるとしても、第１装置で全体システム運営を主導し、第２装置はまるで第１装置の一部のように第１装置から提供された映像をディスプレイし、第２装置に入力されたユーザ入力を第１装置に伝達する場合には、これに該当するとする。
【００２２】
図３は、本発明の一実施形態によるソース装置及び拡張装置に基づく双方向通信システムの概要図である。図３に例示するように、本発明の一実施形態は、ソース装置（例、スマートフォン）の映像をソース装置より大きい画面を有する拡張装置（例、タブレットＰＣ）に送信してミラーリングしながら、拡張装置の入力部（例、タッチパネル）を介して入力されるユーザ入力をソース装置に送信し、その結果を再び拡張装置を介して出力することにより、ユーザがまるでソース装置を直接使用するような使用感を提供する。参考までに、好ましくは、本発明の一実施形態は、コンピュータ機能の実行が可能な独自のプロセッサを備えず、単にディスプレイとタッチパネルとの組み合わせ、ディスプレイとキーパッドとの組み合わせ、ディスプレイとタッチパッドとの組み合わせ、ディスプレイとマウスとの組み合わせ、ディスプレイと２つ以上の入力装置（例、タッチパネル、キーパッド、タッチパッド、マウス等）との組み合わせ等で構成された拡張装置を使用することにより、拡張装置の製造費用を大きく節減すると共に、拡張装置をまるで１つのコンピュータ機能の実行が可能な装置のように使用することができるため、ソース装置と拡張装置との活用性を大きく高めることができる。
【００２３】
以下、図４及び図５を参照して、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信システムでソース装置の映像が拡張装置に送信される過程を説明する。
【００２４】
まず、図４は、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信システムの構成図である。
【００２５】
図４を参照すれば、本発明の一実施形態に係るソース装置１００は、システム運営部１１０、ユーザ入力部１２０、映像処理部１３０、ディスプレイ部１４０、無線通信部１５０、及び拡張エージェント部１６０等を有する。また、本発明の一実施形態に係る拡張装置２００は、無線通信部２１０、映像処理部２２０、ディスプレイ部２３０、及びユーザ入力部２４０等を有する。
【００２６】
これを簡略に説明すれば、まず、ソース装置１００において、システム運営部１１０は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、フレームワーク（ｆｒａｍｅｗｏｒｋ）等を有しており、システムの全般的な運営を担当する。また、ユーザ入力部１２０は、タッチパネル、キーパッド、タッチパッド、入力ボタン、トラックボール、及び／又はマウス等で構成され、ユーザインターフェースを提供する。
【００２７】
映像処理部１３０は、ソース装置１００及び／又は拡張装置２００が出力する映像を処理し、ディスプレイ部１４０は、映像処理部１３０で処理した映像を表示する。また、無線通信部１５０は、ＷｉＦｉ（登録商標）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））等の無線インターフェースを提供して外部装置と無線通信を実行し、拡張エージェント部１６０は、拡張装置２００から送信されるユーザ入力及び制御信号を処理してシステム運営部１１０に提供する。
【００２８】
一方、拡張装置２００も、その基本的な機能はソース装置１００に類似し、無線通信部２１０は、ＷｉＦｉ（登録商標）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））等の無線インターフェースを提供してソース装置１００と無線通信を実行し、映像処理部２２０は、ソース装置１００から送信された映像信号を処理してディスプレイ部２３０に提供し、ディスプレイ部２３０はこれを表示する。また、ユーザ入力部２４０は、タッチパネル、キーパッド、タッチパッド、入力ボタン、トラックボール、及び／又はマウス等で構成されたユーザインターフェースを提供し、これを介して得られたユーザ入力をソース装置１００に送信する。
【００２９】
図５は、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信方法のフローチャートであって、ソース装置１００の映像が拡張装置２００に送信されてディスプレイされる過程を示している。
【００３０】
まず、ステップＳ５１０で、ソース装置１００は、無線通信部１５０を介して装置検索（Ｄｅｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ）信号を送信して周辺の装置を検索する。これにより、ソース装置１００から送信された装置検索信号を受信した少なくとも１つの拡張装置２００は、これに対する応答（Ｒｅｓｐｏｎｓｅ）信号をソース装置１００に発信し、拡張装置２００の装置の種類と拡張装置２００との連結に必要な情報とをソース装置１００に提供する。
【００３１】
ステップＳ５２０で、ソース装置１００は、応答信号を送信した少なくとも１つの拡張装置２００にサービス検索（Ｓｅｒｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ）信号を送信し、これを受信した少なくとも１つの拡張装置２００は、これに対する応答信号を発信して提供可能なサービス及びサービス特性に関する情報をソース装置１００と交換する。
【００３２】
ステップＳ５３０で、ソース装置１００は、ディスプレイ部１４０を介して無線ディスプレイサービスを提供することができる拡張装置２００をユーザに見せ、ユーザはソース装置１００のユーザ入力部１２０を介して自身が所望する拡張装置を選択する。もちろん、拡張装置の選択は、予め定められたアルゴリズムによってシステム運営部１１０が自動で選択するように実現することもできる。
【００３３】
ステップＳ５４０で、ソース装置１００は、ステップＳ５３０で選択された拡張装置２００と互いの性能（Ｃａｐａｂｉｌｉｔｙ）情報を交換し、相互連結のための性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行する。例えば、ソース装置１００と拡張装置２００とは、自身が処理することができる性能に関する情報（例、エンコーディング／デコーディング方式、画面サイズ、解像度、プロトコル、及び／又は識別子等）を相互に交換し、ソース装置１００から送信された映像情報を拡張装置２００でディスプレイする具体的な方式を協議する。
【００３４】
その後、ステップＳ５５０で、ソース装置１００と拡張装置２００との間にセッション（Ｓｅｓｓｉｏｎ）が形成され、ソース装置１００と拡張装置２００とが相互に連結する。
【００３５】
ステップＳ５６０で、ソース装置１００は、拡張装置２００に映像情報をリアルタイムで送信する。例えば、ソース装置１００の映像処理部１３０は、ディスプレイする映像をエンコーディング（Ｅｎｃｏｄｉｎｇ）及びパケット化（Ｐａｃｋｅｔｉｚｉｎｇ）して無線通信部１５０に供給し、ソース装置１００の無線通信部１５０はこれを拡張装置２００にリアルタイムで送信する。
【００３６】
これにより、ステップＳ５７０で、拡張装置２００の無線通信部２１０を介して受信された映像信号は、映像処理部２２０で再びデパケット化（Ｄｅ−Ｐａｃｋｅｔｉｚｉｎｇ）及びデコーディング（Ｄｅｃｏｄｉｎｇ）され、拡張装置２００のディスプレイ部２３０を介してディスプレイされることにより、ソース装置１００の映像が拡張装置２００にミラーリングされる。
【００３７】
以下、図６及び図７を参照して、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信システムで拡張装置のユーザ入力及び／又は制御信号がソース装置に送信される過程を説明する。
【００３８】
参考までに、図６は、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信システムの構成図であるが、その構成は図４と実質的に同一であり、拡張装置のユーザ入力及び／又は制御信号がソース装置に送信される過程を示した点において差がある。また、図７は、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信方法のフローチャートであって、拡張装置のユーザ入力及び／又は制御信号がソース装置に送信される過程を示している。
【００３９】
ステップＳ７１０で、ソース装置１００の拡張エージェント部１６０は、拡張装置２００からの連結要請を受信するまで待機する。参考までに、拡張エージェント部１６０は、ソース装置１００を一意に識別する固有の識別子を生成し、ソース装置１００が複数存在している場合に拡張装置２００が複数のソース装置１００のそれぞれを区分できるようにする。
【００４０】
ステップＳ７２０で、拡張装置２００は、ソース装置１００の拡張エージェント部１６０にユーザ制御のための連結を要請する。参考までに、拡張装置２００は、このような連結要請を、ユーザの入力を受け付けるか、又は予め定められたアルゴリズムによって自動で実現することができる。
【００４１】
その後、ステップＳ７３０で、ソース装置１００の拡張エージェント部１６０は、拡張装置２００と互いの性能（Ｃａｐａｂｉｌｉｔｙ）情報を交換し、相互連結のための性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行する。参考までに、ステップＳ７３０の性能交渉は、図５のステップＳ５４０の性能交渉とは個別の過程であって、ステップＳ７３０の場合、拡張装置２００のユーザ入力部２４０に対する情報が拡張エージェント部１６０に伝達され、拡張エージェント部１６０とユーザ入力部２４０との間の連動に対する性能交渉を実行する過程である。これを詳述すれば、ソース装置１００の拡張エージェント部１６０は、拡張装置２００のユーザ入力部２４０に対する詳細プロファイル（例えば、タッチパネルの場合、パネルのサイズ、座標情報、入力方式、プロトコル、及び／又は識別情報等）を受信し、これを参考にして自身が処理することができる能力（性能）を考慮した上で拡張エージェント部１６０とユーザ入力部２４０との間の連動に対する性能を決定した後、このように決定された性能に対する情報（すなわち、相互連動に関する情報）を自身の識別情報と共に拡張装置２００に送信する。
【００４２】
また、ステップＳ７４０で、ソース装置１００の拡張エージェント部１６０と拡張装置２００とは、互いのユーザ入力及び制御信号を送受信するためのセッション（Ｓｅｓｓｉｏｎ）を形成する。また、セッション形成が完了した場合、拡張エージェント部１６０は、ユーザインターフェースを介してセッション形成が完了した旨をユーザに知らせる。
【００４３】
ステップＳ７５０で、拡張装置２００は、ユーザ入力部２４０を介して入力されたユーザ入力及び／又は連結維持のための制御信号等を拡張エージェント部１６０に送信する。例えば、拡張装置２００は、ユーザ入力部２４０を介して入力された情報をＨＩＤ（Ｈｕｍａｎ  Ｉｎｔｅｒｆａｃｅ  Ｄｅｖｉｃｅ）規格又は独自規格でフォーマッティング（ｆｏｒｍａｔｔｉｎｇ）し、フォーマッティングされた入力情報を無線通信部２１０を介してソース装置１００に送信する。
【００４４】
その後、ステップＳ７６０で、ソース装置１００の拡張エージェント部１６０は、これをＯＳ及び／又はフレームワークに適合するようにネイティブ（ｎａｔｉｖｅ）入力規格に変更してシステム運営部１１０に送信する。例えば、拡張エージェント部１６０は、拡張装置２００のユーザ入力部２４０を介して入力された情報をソース装置１００と拡張装置２００とのディスプレイ部の解像度、ディスプレイ部の大きさ、入力方式、プロトコル等を考慮してソース装置１００の画面座標及び／又はユーザインターフェースに適合するように補正（変更）し、補正されたユーザ入力情報（例、位置情報）をシステム運営部１１０に送信する。図８はこれを例示した図であって、拡張エージェント部１６０は、ソース装置のディスプレイ部の大きさに対する情報、拡張装置のディスプレイ部の大きさに対する情報、拡張装置のディスプレイ部に実際に表示される領域の大きさに対する情報（参考までに、このような情報は、ステップＳ７３０の性能交渉の過程で得られる。）に基づいてソース装置１００の座標と拡張装置２００の座標とをマッピングする。図８の場合、ソース装置のディスプレイの大きさを（ｗｉｄｔｈ＿ｓｏｕｒｃｅ、ｈｅｉｇｈｔ＿ｓｏｕｒｃｅ）とし、拡張装置のディスプレイの大きさを（ｗｉｄｔｈ＿ｓｉｎｋ、ｈｅｉｇｈｔ＿ｓｉｎｋ）とし、拡張装置のディスプレイ部に実際に表示される領域の大きさを（ｗｉｄｔｈ＿ｓｉｎｋ＿ｖｉｅｗ、ｈｅｉｇｈｔ＿ｓｉｎｋ＿ｖｉｅｗ）とすれば、ソース装置の座標（ｘ＿ｓｏｕｒｃｅ、ｙ＿ｓｏｕｒｃｅ）と拡張装置の座標（ｘ＿ｓｉｎｋ、ｙ＿ｓｉｎｋ）との間のマッピングは、例えば下記数式１及び数式２を用いて実行できる。なお、その他にも多様な方法によって当該マッピングを実現できることはもちろんである。
【００４５】
（数式１）
ｘ＿ｓｏｕｒｃｅ＝（ｘ＿ｓｉｎｋ‐（ｗｉｄｔｈ＿ｓｉｎｋ／ｗｉｄｔｈ＿ｓｉｎｋ＿ｖｉｅｗ）／２）×（ｗｉｄｔｈ＿ｓｏｕｒｃｅ／ｗｉｄｔｈ＿ｓｉｎｋ＿ｖｉｅｗ）
【００４６】
（数式２）
ｙ＿ｓｏｕｒｃｅ＝（ｙ＿ｓｉｎｋ‐（ｈｅｉｇｈｔ＿ｓｉｎｋ−ｈｅｉｇｈｔ＿ｓｉｎｋ＿ｖｉｅｗ）／２）×（ｈｅｉｇｈｔ＿ｓｏｕｒｃｅ／ｈｅｉｇｈｔ＿ｓｉｎｋ＿ｖｉｅｗ）
【００４７】
参考までに、拡張装置２００のユーザ入力部２４０を介して入力されたユーザ入力は、拡張装置２００のユーザ入力部２４０がソース装置１００に当該ユーザ入力を供給する前に、ステップＳ７５０においてユーザ入力部２４０自身が直接、ソース装置１００のネイティブ入力規格に適合するように補正（変更）した後に供給するように実現することもでき、この場合、ステップＳ７６０で、ソース装置１００の拡張エージェント部１６０は、変更されたユーザ入力をそのままシステム運営部１１０に伝達する。
【００４８】
また、ステップＳ７７０で、ソース装置１００のシステム運営部１１０は、ユーザ入力を処理し、処理された結果の画面を再び映像処理部１３０及び無線通信部１５０を介して拡張装置２００に送信することにより、ユーザは拡張装置２００のディスプレイ部２３０を介して自身が入力した事項に対する処理結果をリアルタイムで確認し、まるで拡張装置２００を介してソース装置１００を直接使用するような効果を得ることができる。
【００４９】
参考までに、ステップＳ７７０で、ソース装置１００のシステム運営部１１０は、拡張装置２００からのユーザ入力を処理するとき、ソース装置１００にイベント（例、ソース装置のユーザ入力部を介した入力、外部からの電話通話の要請）等が発生して当該イベントと拡張装置２００からのユーザ入力とが相互に衝突する場合、ソース装置１００のディスプレイ部１４０と拡張装置２００のディスプレイ部２３０とに互いに異なる画面をディスプレイさせることができる。例えば、ソース装置１００のシステム運営部１１０は、ソース装置１００のユーザ入力部１２０及びディスプレイ部１４０を介してソース装置で発生したイベント内容（例、電話通話）を処理し、拡張装置２００のユーザ入力部２４０及びディスプレイ部２３０を介してイベント発生前に拡張装置２００で処理した内容を継続して処理することにより、まるで２つの装置（ソース装置、及び拡張装置）を個別に使用するように実現することができる。
【００５０】
一方、制御信号の送信に関し、拡張装置２００又はソース装置１００（具体的には、拡張エージェント部１６０）は、相手側に連結要請（Ｒｅｑｕｅｓｔ  Ｃｏｎｎｅｃｔ）信号、連結維持（Ｋｅｅｐ  Ａｌｉｖｅ）信号、連結解除要請（Ｒｅｑｕｅｓｔ  Ｄｉｓｃｏｎｎｅｃｔ）信号、状態報告要請（Ｒｅｑｕｅｓｔ  ＳｔａｔｕｓＲｅｐｏｒｔ）信号、性能要請（Ｒｅｑｕｅｓｔ  Ｃａｐａｂｉｌｉｔｙ）信号等を送信し、これに対する応答として、ソース装置１００又は拡張装置２００は、連結応答（Ｒｅｓｐｏｎｓｅ  Ｃｏｎｎｅｃｔ）信号、連結解除応答（Ｒｅｓｐｏｎｓｅ  Ｄｉｓｃｏｎｎｅｃｔ）信号、状態応答（Ｒｅｓｐｏｎｓｅ  Ｓｔａｔｕｓ）信号、性能応答（Ｒｅｓｐｏｎｓｅ  Ｃａｐａｂｉｌｉｔｙ）信号等を相手側に送信する。
【００５１】
ここで、連結維持（Ｋｅｅｐ  Ａｌｉｖｅ）信号は、拡張装置とソース装置との間の連結をモニタリングするための信号であって、拡張装置とソース装置との電力消耗を最小化することに対して重要な役割を担う。また、状態報告（Ｓｔａｔｕｓ  Ｒｅｐｏｒｔ）信号は、拡張装置及び／又はソース装置の状態をモニタリングするための信号であって、装置の様々な状態（画面オン状態、設定状態、通話中状態、アプリケーション使用中状態等）を報告する。参考までに、状態報告（Ｓｔａｔｕｓ  Ｒｅｐｏｒｔ）信号に含まれる状態データは、ソース装置のＯＳ及びデバイス特性によって異なり、このような状態報告（Ｓｔａｔｕｓ  Ｒｅｐｏｒｔ）信号に含まれる内容は、連結時に性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）過程で決定されることができる。また、この他にも、ソース装置及び拡張装置の特性によって多様な制御信号が追加することができる。
【００５２】
一方、図９は、本発明の一実施形態に係るソース装置及び拡張装置に基づく双方向通信方法のフローチャートであって、ソース装置と拡張装置との間の性能交渉が１つの手順によって処理される過程を説明する図である。
【００５３】
まず、ステップＳ９１０で、ソース装置１００は、無線通信部１５０を介して装置検索（Ｄｅｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ）信号を送信して周辺の装置を検索する。これにより、ソース装置１００から送信された装置検索信号を受信した少なくとも１つの拡張装置２００は、これに対する応答（Ｒｅｓｐｏｎｓｅ）信号を発信し、当該拡張装置２００の装置の種類と当該拡張装置２００との連結に必要な情報とをソース装置１００に提供する。
【００５４】
ステップＳ９２０で、ソース装置１００は、応答信号を送信した少なくとも１つの拡張装置２００にサービス検索（Ｓｅｒｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ）信号を送信し、これを受信した少なくとも１つの拡張装置２００は、これに対する応答信号を発信し、提供可能なサービス及びサービス特性に関する情報をソース装置１００と交換する。
【００５５】
ステップＳ９３０で、ソース装置１００は、ディスプレイ部１４０を介して無線ディスプレイサービスを提供することができる拡張装置２００をユーザに見せ、ユーザはソース装置１００のユーザ入力部１２０を介して自身が所望する拡張装置を選択する。もちろん、拡張装置の選択は、予め定められたアルゴリズムによってシステム運営部１１０が自動で選択するように実現することもできる。
【００５６】
ステップＳ９４０で、ソース装置１００は、ステップＳ９３０で選択された拡張装置２００と互いの性能（Ｃａｐａｂｉｌｉｔｙ）情報を交換し、相互連結のための性能交渉（Ｃａｐａｂｉｌｉｔｙ  Ｎｅｇｏｔｉａｔｉｏｎ）を実行する。この場合、性能交渉は、ソース装置１００の映像を拡張装置２００にミラーリングするための性能交渉の他にも、拡張装置２００のユーザ入力部２４０に対する情報（例、プロファイル）がソース装置１００の拡張エージェント部１６０に伝達され、拡張エージェント部１６０とユーザ入力部２４０との間の連動に対する性能交渉も共に実行する。
【００５７】
これにより、ステップＳ９５０で、ソース装置１００と拡張装置２００との間にセッション（Ｓｅｓｓｉｏｎ）が形成され、ソース装置１００と拡張装置２００とが相互に連結する。また、セッション形成が完了した場合、拡張エージェント部１６０は、ユーザインターフェースを介してセッション形成が完了した旨をユーザに知らせる。
【００５８】
ステップＳ９６０で、ソース装置１００は、拡張装置２００に映像情報をリアルタイム送信する。例えば、ソース装置１００の映像処理部１３０は、ディスプレイする映像をエンコーディング（Ｅｎｃｏｄｉｎｇ）及びパケット化（Ｐａｃｋｅｔｉｚｉｎｇ）して無線通信部１５０に供給し、ソース装置１００の無線通信部１５０は、これを拡張装置２００にリアルタイム送信する。これにより、拡張装置２００の無線通信部２１０を介して受信された映像信号は、映像処理部２２０で再びデパケット化（Ｄｅ−Ｐａｃｋｅｔｉｚｉｎｇ）及びデコーディング（Ｄｅｃｏｄｉｎｇ）され、拡張装置２００のディスプレイ部２３０を介してディスプレイされることにより、ソース装置１００の映像が拡張装置２００にミラーリングされる。
【００５９】
一方、ステップＳ９７０で、拡張装置２００は、ユーザ入力部２４０を介して入力されたユーザ入力及び／又は連結維持のための制御信号等を拡張エージェント部１６０に送信する。例えば、拡張装置２００は、ユーザ入力部２４０を介して入力された情報をＨＩＤ（Ｈｕｍａｎ  Ｉｎｔｅｒｆａｃｅ  Ｄｅｖｉｃｅ）規格又は独自規格でフォーマッティング（ｆｏｒｍａｔｔｉｎｇ）し、フォーマッティングされた入力情報を無線通信部２１０を介してソース装置１００に送信する。
【００６０】
これにより、ステップＳ９８０で、ソース装置１００の拡張エージェント部１６０は、これをＯＳ及び／又はフレームワークに適合するようにネイティブ（ｎａｔｉｖｅ）入力規格に変更してシステム運営部１１０に送信する。例えば、拡張エージェント部１６０は、拡張装置２００のユーザ入力部２４０を介して入力された情報をソース装置１００と拡張装置２００とのディスプレイ部の解像度、ディスプレイ部の大きさ、入力方式、プロトコル等を考慮した上でソース装置１００の画面座標及び／又はユーザインターフェースに適合するように補正（変更）し、補正されたユーザ入力情報（例、位置情報）をシステム運営部１１０に送信する。参考までに、拡張装置２００のユーザ入力部２４０を介して入力されたユーザ入力は、拡張装置２００のユーザ入力部２４０がソース装置１００に当該ユーザ入力を供給する前に、ステップＳ９７０においてユーザ入力部２４０自身が直接、ソース装置１００のネイティブ入力規格に適合するように補正（変更）した後に供給するように実現することもでき、この場合、ステップＳ９８０で、ソース装置１００の拡張エージェント部１６０は、変更されたユーザ入力をそのままシステム運営部１１０に伝達する。
【００６１】
また、ステップＳ９９０で、ソース装置１００のシステム運営部１１０は、ユーザ入力を処理し、処理された結果の画面を再び映像処理部１３０及び無線通信部１５０を介して拡張装置２００に送信することにより、ユーザは拡張装置２００のディスプレイ部２３０を介して自身が入力した事項に対する処理結果をリアルタイムで確認し、まるで拡張装置２００を介してソース装置１００を直接使用するような効果を得ることができる。
【００６２】
参考までに、ステップＳ９９０で、ソース装置１００のシステム運営部１１０は、拡張装置２００からのユーザ入力を処理するとき、ソース装置１００にイベント（例、ソース装置のユーザ入力部を介した入力、外部からの電話通話要請）等が発生して当該イベントと拡張装置２００からのユーザ入力とが相互に衝突する場合、ソース装置１００のディスプレイ部１４０と拡張装置２００のディスプレイ部２３０とに互いに異なる画面をディスプレイさせることができる。例えば、ソース装置１００のシステム運営部１１０は、ソース装置１００のユーザ入力部１２０及びディスプレイ部１４０を介してソース装置で発生したイベント内容（例、電話通話）を処理し、拡張装置２００のユーザ入力部２４０及びディスプレイ部２３０を介してイベント発生前に拡張装置２００で処理した内容を継続して処理することにより、まるで２つの装置（ソース装置、及び拡張装置）を個別に使用するように実現することができる。
【００６３】
参考までに、上述した本発明の実施形態においては、拡張装置がｉ）ソース装置の映像をミラーリング（ディスプレイ）する機能、及びｉｉ）ソース装置の代わりにユーザインターフェースを提供する機能を全て１つの装置に含む場合（例えば、ディスプレイとタッチパネルとを１つの拡張装置に実現した場合）を例示しているが、本発明がこれに限定されることではなく、多様に適用されることができる。例えば、２つの機能が１つの拡張装置で実現された場合には、図５、図７、及び図９を参照しながら説明した方法が選択的に適用されることができる。
【００６４】
また、本発明の実施形態に係る拡張装置を使用すれば、小さい画面を有し、制約された環境で用いるソース装置（例、スマートフォン）を、ユーザ経験を害することなく多様な形態に拡張することができる。例えば、スマートタブレット拡張装置を使用すれば、ユーザはスマートフォンを無線で連結してタブレットＰＣのように使用することが可能であり、大型タッチパネル拡張装置を使用すれば、追加費用を支払わずに多様な展示効果やプレゼンテーションすることが可能になる。また、まるで画面共有の効果を出すため、大型テーブルディスプレイ拡張装置を利用して会議にも使用することができ、各種玩具やエンターテイメント機器、ブラックボックス、ナビゲーション等に拡張して使用することも可能である。最終的には、ユーザは、信号線でソース装置と拡張装置とを連結する不便さがなく、簡単な操作だけで１つのモバイルデバイスによって多様な形態のＩＴ機器を使用できるようになる。
【００６５】
一方、本発明の実施形態に係るソース装置及び拡張装置に基づく双方向通信方法は、多様なコンピュータで実現される動作を実行するためのプログラム命令を含むコンピュータで読み取り可能な記録媒体を介して実施されることができる。前記コンピュータで読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造等を単独又は組み合わせて含むことができる。前記記録媒体は、本発明の実施形態のために特別に設計されて構成した記録媒体、又はパソコンピュータソフトウェア当業者に公知の記録媒体を用いることができる。コンピュータで読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、並びにＲＯＭ、ＲＡＭ、フラッシュメモリ等のようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって生成されるような機械語コードだけではなく、インタプリタ等を使用してコンピュータによって実行され得る高級言語コードが含まれる。
【００６６】
また、上述した本発明の実施形態に係るソース装置及び拡張装置に基づく双方向通信方法を実行するプログラムは、アプリケーション（ａｐｐｌｉｃａｔｉｏｎ）形態で製作され、有線・無線通信（例、インターネット）を介して個別端末機（例、スマートフォン）に送信されることができ、本発明の実施形態は、このようなソース装置及び拡張装置に基づく双方向通信方法を実行するプログラムを送信する装置（例、サーバ）で実現されることもできる。
【００６７】
以上、本発明について、その好ましい実施形態を参照して詳しく説明したが、本発明が属する技術分野の当業者は、本発明の技術的思想や必須特徴を変更しなくても、他の具体的な多様な形態で実施することができるため、上述した実施形態はすべての面において例示的なものであり、限定的なものではないと理解されなければならない。
【００６８】
また、本発明の範囲は、上述した詳細な説明よりは後述する特許請求の範囲によって特定されるものであり、特許請求の範囲の意味及び範囲、そしてその等価概念から導き出されるすべての変更又は変形した形態は、本発明の範囲に含まれるものと解釈されなければならない。
【符号の説明】
【００６９】
１０  ソース装置
１３  映像処理部
１４  ディスプレイ部
１５  無線通信部
２０  拡張装置
２３  ディスプレイ部
１００  ソース装置
１１０  システム運営部
１２０  ユーザ入力部
１３０  映像処理部
１４０  ディスプレイ部
１５０  無線通信部
１６０  拡張エージェント部
２００  拡張装置
２１０  無線通信部
２２０  映像処理部
２３０  ディスプレイ部
２４０  ユーザ入力部
【図１】
2014107865.tif 000003
【図２】
2014107865.tif 000004
【図３】
2014107865.tif 000005
【図４】
2014107865.tif 000006
【図５】
2014107865.tif 000007
【図６】
2014107865.tif 000008
【図７】
2014107865.tif 000009
【図８】
2014107865.tif 000010
【図９】
2014107865.tif 000011