(57)【特許請求の範囲】
【請求項１】
ＷＦＤにおいて補助データを出力する方法であって、
ＷＦＤソースがＷＦＤシンクとのＷＦＤ接続を設定するステップと、
前記ＷＦＤ接続を設定するステップの後、前記ＷＦＤソースがＲＴＳＰに基づいて構成されたＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信するステップと、
前記ＷＦＤソースが前記ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージを前記ＷＦＤシンクから受信するステップと、
前記ＷＦＤソースが送信ストリームを前記ＷＦＤシンクに送信するステップと、
を含み、
前記ＲＴＳＰパラメータ応答メッセージは、前記ＷＦＤシンクのネイティブ解像度に関する情報、及び前記ＷＦＤシンクの最大ビデオ解像度に関する情報を含み、
前記送信ストリームは、第１の解像度のビデオデータを含むビデオストリームと第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化して構成され、
前記第２の解像度は、前記ＷＦＤシンクのネイティブ解像度、前記ＷＦＤシンクの最大ビデオ解像度、及び前記ＷＦＤソースの最大解像度の最小値に基づいて決定される、方法。
【請求項２】
前記補助データは、サブタイトルデータとユーザインターフェースデータを含む、請求項１に記載の方法。
【請求項３】
前記ＷＦＤシンクのネイティブ解像度に関する情報は、コンシューマー  エレクトロニクス  アソシエーション（ＣＥＡ）、ビデオ  エレクトロニクス  スタンダーズ  アソシエーション（ＶＥＳＡ）及びハンドヘルド（ＨＨ）フォーマットの１つに対する解像度／リフレッシュレートのインデックスにより示される、請求項１に記載の方法。
【請求項４】
前記ＲＴＳＰパラメータ応答メッセージは、前記補助ストリームのフォーマットに関する情報を更に含み、前記補助ストリームのフォーマットは、前記ＷＦＤシンクによりサポートされる、請求項１に記載の方法。
【請求項５】
ＷＦＤにおいて補助データを送信するためのＷＦＤソースであって、
無線信号を送信及び受信するＲＦ部と、
前記ＲＦ部と動作可能に結合されたプロセッサと、を含み、
前記プロセッサは、
ＷＦＤシンクとのＷＦＤ接続を設定し、
前記ＷＦＤ接続の設定後、ＲＴＳＰに基づいて構成されたＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信し、
前記ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージを前記ＷＦＤシンクから受信し、
送信ストリームを前記ＷＦＤシンクに送信するよう構成され、
前記ＲＴＳＰパラメータ応答メッセージは、前記ＷＦＤシンクのネイティブ解像度に関する情報、及び前記ＷＦＤシンクの最大ビデオ解像度に関する情報を含み、
前記送信ストリームは、第１の解像度のビデオデータを含むビデオストリームと第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化して構成され、
前記第２の解像度は、前記ＷＦＤシンクのネイティブ解像度、前記ＷＦＤシンクの最大ビデオ解像度、及び前記ＷＦＤソースの最大解像度の最小値に基づいて決定される、ＷＦＤソース。
【請求項６】
前記補助データは、サブタイトルデータとユーザインターフェースデータを含む、請求項５に記載のＷＦＤソース。
【請求項７】
前記ＷＦＤシンクのネイティブ解像度に関する情報は、コンシューマー  エレクトロニクス  アソシエーション（ＣＥＡ）、ビデオ  エレクトロニクス  スタンダーズ  アソシエーション（ＶＥＳＡ）及びハンドヘルド（ＨＨ）フォーマットの１つに対する解像度／リフレッシュレートのインデックスにより示される、請求項５に記載のＷＦＤソース。
【請求項８】
前記ＲＴＳＰパラメータ応答メッセージは、前記補助ストリームのフォーマットに関する情報を更に含み、前記補助ストリームのフォーマットは、前記ＷＦＤシンクによりサポートされる、請求項５に記載のＷＦＤソース。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無線通信に関し、より詳しくは、ＷＦＤ（ＷｉＦｉ（ｗｉｒｅｌｅｓｓ  ｆｉｄｅｌｉｔｙ）ｄｉｓｐｌａｙ）における補助コンテンツを出力する方法及び装置に関する。
【背景技術】
【０００２】
現在、モバイル機器の性能は、ＰＣ（ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）と立ち並ぶほど著しく向上したが、画面大きさにおいては限界がある。特に、スマートフォンは、携帯性が重要であるため、６インチ程度が画面大きさのマジノ線であるといわれており、６インチのディスプレイは、マルチメディアコンテンツを楽しむユーザ立場で依然として小さい画面である。
【０００３】
したがって、モバイル機器での映像を大画面のＴＶ（ｔｅｌｅｖｉｓｉｏｎ）またはモニタで見ることができるようにする技術が研究されている。このような技術は、無線ディスプレイ送信技術という用語で表現されることができる。無線ディスプレイ送信技術は、大いに、コンテンツ送信とミラーリング（スクリーンキャスティング）とに分けられる。コンテンツ送信は、モバイル機器の画面をそのまま送信することではなく、ＶＯＤ（Ｖｉｄｅｏ  ｏｎ  Ｄｅｍａｎｄ）サービスと連係されなければならない。コンテンツ送信は、映像を信号で送る方式であり、ミラーリングは、コンテンツファイルをストリーミングで遠隔機器に送ってＴＶのような大画面ディスプレイに再び表示させる方式である。
【０００４】
ミラーリング（スクリーンキャスティング）は、名称の通りにモバイル機器に表示された画面を鏡に照らしたように同時に表示させる方式である。プレゼンテーションをする時、Ｄ−ｓｕｂ（Ｄ−Ｓｕｂｍｉｎｉａｔｕｒｅ、ＲＧＢ）、ＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｓｕａｌ  Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）のような有線方式で連結してコンピュータ画面をプロジェクタに投射する方式と類似する。ミラーリング方式は、リアルタイムで特定サービスに従属されずに、元画面のピクセル情報をそのまま無線で送信することができるという長所がある。
【０００５】
ワイパイを利用した無線ディスプレイ送信技術としてワイパイミラキャスト（ＷｉＦｉ  Ｍｉｒａｃａｓｔ）が研究されている。ミラキャストは、ワイパイ協会（ＷｉＦｉ  ａｌｌｉａｎｃｅ）がつくった無線映像送信規格であり、且つ無線ディスプレイ送信技術である。ミラキャストでは画面と音声を圧縮して無線ＬＡＮで送り、ドングル（ｄｏｎｇｌｅ）や一体型タイプでできた受信機に圧縮を解除して画面に表示するミラーリング（スクリーンキャスティング）技術の一類型である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、ＷＦＤにおける補助コンテンツを出力する方法を提供することである。
【０００７】
本発明の他の目的は、ＷＦＤにおける補助コンテンツを出力する装置を提供することである。
【課題を解決するための手段】
【０００８】
前述した本発明の目的を達成するための本発明の一側面による、ＷＦＤ（ＷｉＦｉ  ｄｉｓｐｌａｙ）における補助コンテンツを出力する方法は、ＷＦＤソースがＷＦＤシンクにサービス能力（ｓｅｒｖｉｃｅ  ｃａｐａｂｉｌｉｔｙ）を探索するためのＷＦＤサービス探索要求フレームを送信するステップ、前記ＷＦＤソースが前記ＷＦＤシンクから前記ＷＦＤサービス探索要求フレームに対する応答としてＷＦＤサービス探索応答フレームを受信するステップ、前記ＷＦＤソースが前記ＷＦＤサービス探索応答フレームに基づいて前記ＷＦＤシンクとＷＦＤ接続（ｃｏｎｎｅｃｔｉｏｎ）を設定するステップ、前記ＷＦＤソースが前記ＷＦＤ接続以後、前記ＷＦＤシンクと能力交渉（ｃａｐａｂｉｌｉｔｙ  ｎｅｇｏｔｉａｔｉｏｎ）手順のためにＲＴＳＰ（ｒｅａｌ  ｔｉｍｅ  ｓｔｒｅａｍｉｎｇ  ｐｒｏｔｏｃｏｌ）に基づくＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信するステップ、前記ＷＦＤソースが前記ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージを前記ＷＦＤシンクに送信するステップ、及び前記ＷＦＤソースが前記能力交渉手順以後、第１の解像度のビデオデータを含むビデオストリーム、第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化した送信ストリームを前記ＷＦＤシンクに送信するステップを含み、前記ＷＦＤ探索応答フレームは、前記第２の解像度の決定のための第２の解像度関連情報を含み、前記ＲＴＳＰパラメータ応答フレームは、前記第２の解像度関連情報を含む。
【０００９】
一方、前記補助データは、サブタイトルデータ、ユーザインターフェースデータを含み、前記第２の解像度と関連した情報は、前記ＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ  ｒｅｓｏｌｕｔｉｏｎ）に対する情報を含み、前記第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、前記第２の解像度は、前記ＷＦＤシンクのネイティブ解像度に基づいて決定される。
【００１０】
また、前記補助データは、サブタイトルデータ、ユーザインターフェースデータを含み、前記第２の解像度と関連した情報は、前記ＷＦＤシンクの前記補助データに対してサポートされる最大解像度に対する情報を含み、前記第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、前記第２の解像度は、前記ＷＦＤシンクの前記補助データに対してサポートされる前記最大解像度に対する情報に基づいて決定される。
【００１１】
また、前記ビデオデータは、前記ＷＦＤシンクで再スケーリングされて前記第１の解像度と異なる解像度で出力され、前記補助データは、前記ＷＦＤシンクで前記再スケーリングすることなく前記第２の解像度で出力される。
【００１２】
また、前記ＷＦＤソースが前記ＷＦＤシンクからＵＩＢＣ（ｕｓｅｒ  ｉｎｐｕｔ  ｂａｃｋ  ｃｈａｎｎｅｌ）を介して前記ＷＦＤシンク上でユーザ動作によるユーザ動作情報を受信するステップ、及び前記ＷＦＤソースが前記ユーザ動作情報に対応される動作を実行するステップをさらに含み、前記ユーザ動作情報は、ストリーム情報を含み、前記ストリーム情報は、前記ユーザ動作が前記ＷＦＤシンクで出力される前記ビデオデータ及び前記補助データの各々に基づくオーバーレイされた複数のイメージのうちどのイメージ上で実行されるかを指示する識別情報を含む。
【００１３】
前述した本発明の目的を達成するための本発明の他の側面による、ＷＦＤ（ＷｉＦｉ  ｄｉｓｐｌａｙ）における補助データを送信するＷＦＤソースにおいて、前記ＷＦＤは、無線信号を送信及び受信するＲＦ（ｒａｄｉｏ  ｆｒｅｑｕｅｎｃｙ）部、及び前記ＲＦ部と動作可能なように（ｏｐｅｒａｔｉｖｅｌｙ）結合されたプロセッサを含み、前記プロセッサは、ＷＦＤシンクにサービス能力（ｓｅｒｖｉｃｅ  ｃａｐａｂｉｌｉｔｙ）を探索するためのＷＦＤサービス探索要求フレームを送信し、前記ＷＦＤシンクから前記ＷＦＤサービス探索要求フレームに対する応答としてＷＦＤサービス探索応答フレームを受信し、前記ＷＦＤサービス探索応答フレームに基づいて前記ＷＦＤシンクとＷＦＤ接続（ｃｏｎｎｅｃｔｉｏｎ）を設定し、前記ＷＦＤ接続以後、前記ＷＦＤシンクと能力交渉（ｃａｐａｂｉｌｉｔｙ  ｎｅｇｏｔｉａｔｉｏｎ）手順のためにＲＴＳＰ（ｒｅａｌ  ｔｉｍｅ  ｓｔｒｅａｍｉｎｇ  ｐｒｏｔｏｃｏｌ）に基づくＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信し、前記ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージを前記ＷＦＤシンクに送信し、前記能力交渉手順以後、第１の解像度のビデオデータを含むビデオストリーム、第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化した送信ストリームを前記ＷＦＤシンクに送信するように具現され、前記ＷＦＤ探索応答フレームは、前記第２の解像度の決定のための第２の解像度関連情報を含み、前記ＲＴＳＰパラメータ応答フレームは、前記第２の解像度関連情報を含む。
【００１４】
一方、前記補助データは、サブタイトルデータ、ユーザインターフェースデータを含み、前記第２の解像度と関連した情報は、前記ＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ  ｒｅｓｏｌｕｔｉｏｎ）に対する情報を含み、前記第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、前記第２の解像度は、前記ＷＦＤシンクのネイティブ解像度に基づいて決定される。
【００１５】
また、前記補助データは、サブタイトルデータ、ユーザインターフェースデータを含み、前記第２の解像度と関連した情報は、前記ＷＦＤシンクの前記補助データに対してサポートされる最大解像度に対する情報を含み、前記第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、前記第２の解像度は、前記ＷＦＤシンクの前記補助データに対してサポートされる前記最大解像度に対する情報に基づいて決定される。
【００１６】
また、前記ビデオデータは、前記ＷＦＤシンクで再スケーリングされて前記第１の解像度と異なる解像度で出力され、前記補助データは、前記ＷＦＤシンクで前記再スケーリングすることなく前記第２の解像度で出力される。
【００１７】
また、前記プロセッサは、前記ＷＦＤシンクからＵＩＢＣ（ｕｓｅｒ  ｉｎｐｕｔ  ｂａｃｋ  ｃｈａｎｎｅｌ）を介して前記ＷＦＤシンク上でユーザ動作によるユーザ動作情報を受信し、前記ユーザ動作情報に対応される動作を実行するように具現され、前記ユーザ動作情報は、ストリーム情報を含み、前記ストリーム情報は、前記ユーザ動作が前記ＷＦＤシンクで出力される前記ビデオデータ及び前記補助データの各々に基づくオーバーレイされた複数のイメージのうちどのイメージ上で実行されるかを指示する識別情報を含む。
【発明の効果】
【００１８】
ＷＦＤ（ＷｉＦｉ  ｄｉｓｐｌａｙ）ソースでＷＦＤシンクに補助コンテンツを送信する時、ＷＦＤシンクでサポート可能な解像度を有する補助コンテンツを含む補助ストリームを送信することができる。したがって、ＷＦＤシンクの解像度に合わせて適応的に補助コンテンツがＷＦＤシンクのディスプレイ上で出力されることができる。
【図面の簡単な説明】
【００１９】
【図１】ワイパイダイレクトサービス（ＷＦＤＳ）フレームワーク構成要素を示す概念図である。
【図２】ＷＦＤネットワークを示す概念図である。
【図３】ＷＦＤセッションを示す概念図である。
【図４】ＷＦＤセッション設定方法を示す概念図である。
【図５】ＷＦＤソースとＷＦＤシンクとの間のネットワークを示す概念図である。
【図６】ＷＦＤ能力交換及び交渉手順を示す概念図である。
【図７】ＷＦＤセッション確立手順を示す概念図である。
【図８】本発明の実施例に係るＭＰＥＧ−ＴＳに基づく複数のストリームを送信及び受信する方法を示す概念図である。
【図９】本発明の実施例に係るＭＰＥＧ−ＴＳに基づくオーバーレイ多重化（ｏｖｅｒｌａｙ  Ｍｕｘ）の問題点を示す概念図である。
【図１０】本発明の実施例に係るＭＰＥＧ−ＴＳに基づくオーバーレイ多重化の問題点を示す概念図である。
【図１１】本発明の実施例に係るユーザインターフェース及びサブタイトルの設定方法を示す概念図である。
【図１２】本発明の実施例に係るＷＦＤソースのユーザインターフェース情報及びサブタイトル情報の送信方法を示す概念図である。
【図１３】本発明の実施例に係る最適のユーザインターフェース及びサブタイトルを設定する方法を示す概念図である。
【図１４】本発明の実施例に係るＵＩＢＣに基づくＷＦＤソース及びＷＦＤシンクの動作を示す概念図である。
【図１５】本発明の実施例に係るＵＩＢＣに基づくＷＦＤソース及びＷＦＤシンクの動作を示す概念図である。
【図１６】本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。
【図１７】本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。
【図１８】本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。
【図１９】本発明の実施例が適用されることができる無線装置を示すブロック図である。
【発明を実施するための形態】
【００２０】
既存の無線ＬＡＮシステムではアクセスポイント（ａｃｃｅｓｓ  ｐｏｉｎｔ、ＡＰ）がハブとして機能するインフラストラクチャ（ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）ＢＳＳ（ｂａｓｉｃ  ｓｅｒｖｉｃｅ  ｓｅｔ）内での装置（ＡＰ及びＳＴＡ（ｓｔａｔｉｏｎ））間の動作が主に定義された。ＡＰは、無線／有線連結のための物理階層サポート機能、ネットワーク上の装置に対するルーティング機能、装置をネットワークに追加／除去する機能、サービス提供機能などを担当することができる。即ち、既存の無線ＬＡＮシステムにおいて、ネットワーク内の装置は、ＡＰを介して連結されるものであり、相互間に直接連結されるものではない。
【００２１】
装置間の直接連結をサポートするための技術としてワイパイダイレクト（Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ）標準が定義されている。ワイパイダイレクトは、既存の無線ＬＡＮシステムで基本的に要求されるアクセスポイント無しで装置（ｄｅｖｉｃｅ）（または、ＳＴＡ（ｓｔａｔｉｏｎ））間に互いに容易に連結できるようにする直接通信技術である。ワイパイダイレクトが使われる場合、複雑な設定過程無しで装置間に連結が設定されてユーザに多様なサービスを提供することができる。
【００２２】
ＷＦＡ（Ｗｉ−Ｆｉ  Ａｌｌｉａｎｃｅ）ではＷｉ−Ｆｉ  Ｄｉｒｅｃｔリンクを利用した多様なサービス（例えば、センド（Ｓｅｎｄ）、プレイ（Ｐｌａｙ）、ディスプレイ（Ｄｉｓｐｌａｙ）、プリント（Ｐｒｉｎｔ）等）をサポートするワイパイダイレクトサービス（ＷＦＤＳ）が研究されている。ＷＦＤＳによると、アプリケーションは、ＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｅｒｖｉｃｅ  Ｐｌａｔｆｏｒｍ）というサービスプラットフォームにより制御または管理されることができる。
【００２３】
ＷＦＤＳがサポートされるＷＦＤＳ装置は、ディスプレイ装置、プリンタ、デジタルカメラ、プロジェクタ及びスマートフォンなどのような無線ＬＡＮシステムをサポートする装置を含む。また、ＷＦＤＳ装置は、ＳＴＡ及びＡＰを含むことができる。ＷＦＤＳネットワーク内のＷＦＤＳ装置は、互いに直接連結されることができる。
【００２４】
図１は、ワイパイダイレクトサービス（ＷＦＤＳ）フレームワーク構成要素を示す概念図である。
【００２５】
図１を参照すると、ＷＦＤＳフレームワークは、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ階層１００、ＡＳＰ１２０、サービス階層１４０、アプリケーション階層１６０を含むことができる。
【００２６】
Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ階層１００は、ワイパイダイレクト標準で定義されたＭＡＣ（ｍｅｄｉｕｍ  ａｃｃｅｓｓ  ｃｏｎｔｒｏｌ）階層である。Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ階層１００の下位にはＷｉ−Ｆｉ  ＰＨＹと互換される物理階層（図示せず）により無線連結が構成されることができる。Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ階層１００の上位にはＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｅｒｖｉｃｅ  Ｐｌａｔｆｏｒｍ）１２０が定義される。
【００２７】
ＡＳＰ１２０は、共通共有プラットフォーム（ｃｏｍｍｏｎ  ｓｈａｒｅｄ  ｐｌａｔｆｏｒｍ）であり、その上位のアプリケーション（Ａｐｐｌｉｃａｔｉｏｎ）階層１６０とその下位のＷｉ−Ｆｉ  Ｄｉｒｅｃｔ階層１００との間でセッション（ｓｅｓｓｉｏｎ）管理、サービスの命令処理、ＡＳＰ間の制御及びセキュリティ機能を遂行する。
【００２８】
ＡＳＰ１２０の上位にはサービス（Ｓｅｒｖｉｃｅ）階層１４０が定義される。例えば、サービス階層１４０では４個の基本サービスであるセンド（Ｓｅｎｄ）、プレイ（Ｐｌａｙ）、ディスプレイ（Ｄｉｓｐｌａｙ）、プリント（Ｐｒｉｎｔ）サービス及びサードパーティーアプリケーションで定義されたサービスがサポートされることができる。それだけでなく、サービス階層１４０は、ワイパイシリアルバス（Ｗｉ−Ｆｉ  Ｓｅｒｉａｌ  Ｂｕｓ、ＷＳＢ）、ワイパイドッキング（Ｗｉ−Ｆｉ  Ｄｏｃｋｉｎｇ）、または隣接認知ネットワーク（Ｎｅｉｇｈｂｏｒ  Ａｗａｒｅｎｅｓｓ  Ｎｅｔｗｏｒｋｉｎｇ、ＮＡＮ）をサポートすることもできる。
【００２９】
アプリケーション階層１６０は、ユーザインターフェース（ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ、ＵＩ）を提供することができ、情報を人間が認識可能な形態で表現し、ユーザの入力を下位階層に伝達することができる。
【００３０】
以下、本発明の実施例では、ＷＦＤＳのうち、ワイパイディスプレイ（ＷＦＤ：Ｗｉ−Ｆｉ（ｗｉｒｅｌｅｓｓ  ｆｉｄｅｌｉｔｙ）ｄｉｓｐｌａｙ）がより具体的に開示される。
【００３１】
ＷＦＤ標準は、高い品質と低いレイテンシーを満たさせながら、オーディオ／ビデオ（ＡＶ：ａｕｄｉｏ／ｖｉｄｅｏ）データを装置間に送信するために定義された。Ｗｉ−Ｆｉデバイスは、ホームネットワーク、オフィスネットワーク、またはホット−スポットネットワークに接続せずに、ＷＦＤ標準が適用されたＷＦＤネットワーク（ＷＦＤセッション）を介してピアツーピア（ｐｅｅｒ  ｔｏ  ｐｅｅｒ）方式で互いに連結されることができる。以下、ＷＦＤ標準によってデータを送信及び受信する装置は、ＷＦＤ装置という用語で表現されることができる。ＷＦＤネットワーク内のＷＦＤ装置は、ＷＦＤ装置に対する情報（例えば、能力情報（ｃａｐａｂｉｌｉｔｙ  ｉｎｆｏｒｍａｔｉｏｎ））を互いに探索し、ＷＦＤセッションを設定した後、ＷＦＤセッションを介してコンテンツをレンダリング（ｒｅｎｄｅｒｉｎｇ）することができる。
【００３２】
ＷＦＤセッションは、コンテンツを提供するソース装置（ｓｏｕｒｃｅ  ｄｅｖｉｃｅ）及びコンテンツを受信してレンダリングするシンク装置（ｓｉｎｋ  ｄｅｖｉｃｅ）間のネットワークである。ソース装置はＷＦＤソース、シンク装置はＷＦＤシンクという用語で表現されることもできる。ＷＦＤソースは、ＷＦＤソースのディスプレイ（または、スクリーン）上に存在するデータをＷＦＤシンクのディスプレイでミラーリング（ｍｉｒｒｏｒｉｎｇ）することができる。
【００３３】
ＷＦＤソースとＷＦＤシンクは、相互間に第１のシーケンスメッセージを交換してデバイス探索及びサービス探索手順を実行することができる。ＷＦＤソースとＷＦＤシンクとの間のデバイス探索及びサービス探索手順が完了した以後、ＷＦＤソース及びＷＦＤシンクの各々にインターネットプロトコル（ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ、ＩＰ）アドレスが割り当てられることができる。ＷＦＤソースとＷＦＤシンクとの間には送信制御プロトコル（ＴＣＰ：ｔｒａｎｓｍｉｓｓｉｏｎ  ｃｏｎｔｒｏｌ  ｐｒｏｔｏｃｏｌ）連結が確立され、以後ＷＦＤソース及びＷＦＤシンクに対するリアルタイムストリーミングプロトコル（ＲＴＳＰ：ｒｅａｌ  ｔｉｍｅ  ｓｔｒｅａｍｉｎｇ  ｐｒｏｔｏｃｏｌ）及びリアルタイムプロトコル（ＲＴＰ：ｒｅａｌ  ｔｉｍｅ  ｐｒｏｔｏｃｏｌ）スタックが活性化されることができる。
【００３４】
ＷＦＤソースとＷＦＤシンクとの間に能力交渉手順（ｃａｐａｂｉｌｉｔｙ  ｎｅｇｏｔｉａｔｉｏｎ  ｐｒｏｃｅｄｕｒｅ）は、ＲＴＳＰを介して実行され、能力交渉手順が実行される間に、ＷＦＤソースとＷＦＤシンクは、ＲＴＳＰベースのメッセージ（Ｍ（ｍｅｓｓａｇｅ）１乃至Ｍ４）を交換することができる。以後ＷＦＤソースとＷＦＤシンクは、ＷＦＤセッション制御メッセージを交換することができる。また、ＷＦＤソースとＷＦＤシンクとの間にはＲＴＰを介したデータセッションが確立されることができる。ＷＦＤネットワークではデータ伝達（ｄａｔａ  ｔｒａｎｓｐｏｒｔ）のためにユーザデータグラムプロトコル（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ、ＵＤＰ）が使われることができる。
【００３５】
図２は、ＷＦＤネットワークを示す概念図である。
【００３６】
図２を参照すると、ＷＦＤソース２００とＷＦＤシンク２５０は、ＷＦＤ装置であって、ＷｉＦｉ−Ｐ２Ｐに基づいて連結されることができる。
【００３７】
ここで、ＷＦＤソース２００は、ＷｉＦｉ  Ｐ２Ｐ（ｐｅｅｒ  ｔｏ  ｐｅｅｒ）リンクを介してマルチメディアコンテンツのストリーミングをサポートする装置であり、ＷＦＤシンク２５０は、Ｐ２Ｐリンクを介してＷＦＤソース２００からマルチメディアコンテンツを受信し、イメージ及び／またはサウンドを生成する手順を実行する装置を意味する。イメージ及び／またはサウンドを生成する手順は、レンダリングという用語で表現されることができる。
【００３８】
ＷＦＤシンク２５０は、プライマリ（ｐｒｉｍａｒｙ）シンクとセカンダリ（ｓｅｃｏｎｄａｒｙ）シンクとに区分されることができる。特に、セカンダリシンクは、ＷＦＤソース２００と独立的に連結されると、オーディオペイロードのみをレンダリングすることができる。
【００３９】
図３は、ＷＦＤセッションを示す概念図である。
【００４０】
図３の上段の１番目は、オーディオ−単独（ａｕｄｉｏ  ｏｎｌｙ）セッションである。ＷＦＤソース３００は、オーディオ単独セッションを介してプライマリシンク３０５またはセカンダリシンク３１０のうちいずれか一つと連結されることができる。
【００４１】
図３の上段の２番目は、ビデオ−単独（ｖｉｄｅｏ−ｏｎｌｙ）セッションである。ＷＦＤソース３２０は、プライマリシンク３２５と連結されることができる。
【００４２】
図３の上段の３番目は、オーディオ及びビデオセッションであって、ビデオ−単独（ｖｉｄｅｏ−ｏｎｌｙ）セッションと同様に、ＷＦＤソース３４０は、プライマリシンク３４５と連結されることができる。
【００４３】
図３の上段の４番目は、カップルドシンク（Ｃｏｕｐｌｅｄ  ＷＦＤ  Ｓｉｎｋ）動作でセッション連結を開示する。カップルドシンク（Ｃｏｕｐｌｅｄ  ＷＦＤ  Ｓｉｎｋ）動作でプライマリシンク３６５は、ビデオをレンダリングし、セカンダリシンク３７０は、オーディオを各々レンダリングすることができる。または、プライマリシンク３６５がビデオ及びオーディオを両方ともレンダリングすることもできる。
【００４４】
このようなＷＦＤセッションは、以下の図４に示すような手順を実行した後に確立されることができる。
【００４５】
図４は、ＷＦＤセッション設定方法を示す概念図である。
【００４６】
図４を参照すると、ＷＦＤ装置探索手順（ＷＦＤ  Ｄｅｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ）Ｓ４０１、ＷＦＤサービス探索手順（ＷＦＤ  Ｓｅｒｖｉｃｅ  Ｄｉｓｃｏｖｅｒｙ）Ｓ４０２、ＷＦＤ接続セットアップ手順（ＷＦＤ  Ｃｏｎｎｅｃｔｉｏｎ  Ｓｅｔｕｐ）Ｓ４０３、能力交換及び交渉手順（Ｃａｐａｂｉｌｉｔｙ  Ｅｘｃｈａｎｇｅ  ａｎｄ  Ｎｅｇｏｔｉａｔｉｏｎ）Ｓ４０４が実行された以後、ＷＦＤセッションが設定されることができる。
【００４７】
具体的に、ＷＦＤ装置探索手順Ｓ４０１において、ＷＦＤソースは、ＷＦＤ装置探索手順を介してＷＦＤのためのピア装置、即ち、ＷＦＤシンクをさがすことができる。
【００４８】
ＷＦＤソース及びＷＦＤシンクによりＷＦＤ装置探索のために送信されるビーコンフレーム、プローブ要求フレーム及びプローブ応答フレームなどは、ＷＦＤ  ＩＥ（Ｉｎｆｏｒｍａｔｉｏｎ  Ｅｌｅｍｅｎｔ）を含むことができる。ここで、ＷＦＤ  ＩＥは、装置タイプ、装置状態などのＷＦＤと関連した情報を含む情報要素である。
【００４９】
ＷＦＤソースは、ＷＦＤ  ＩＥを含むプローブ要求フレームをＷＦＤシンクに送信することができ、ＷＦＤシンクは、プローブ要求フレームに対する応答としてＷＦＤ  ＩＥを含むプローブ応答フレームを送信することができる。もし、ＷＦＤ装置がインフラストラクチャＡＰと連係されてＷｉ−Ｆｉ  Ｐ２Ｐ装置で動作する場合、プローブ要求フレームにはＷＦＤ  ＩＥ及びＰ２Ｐ情報要素が含まれることができる。プローブ要求フレームに対する応答であるプローブ応答フレームは、プローブ要求フレームが受信されたチャネルを介して送信され、Ｐ２Ｐ  ＩＥ及びＷＦＤ  ＩＥを両方とも含むことができる。
【００５０】
言及されないＷＦＤ装置探索と関連した内容は、「Ｗｉ−Ｆｉ  Ｄｉｓｐｌａｙ  Ｔｅｃｈｎｉｃａｌ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ」及び／または「Ｗｉ−Ｆｉ  Ｐｅｅｒ−ｔｏ−Ｐｅｅｒ（Ｐ２Ｐ）Ｔｅｃｈｎｉｃａｌ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ  Ｓｅｒｖｉｃｅ  Ａｄｄｅｎｄｕｍ」文書に従い、これは以下の説明にも適用される。
【００５１】
ＷＦＤサービス探索手順Ｓ４０２ではＷＦＤ装置探索を実行したＷＦＤソース及びＷＦＤシンクの相互間のサービス能力に対する探索が実行されることができる。例えば、ＷＦＤソースがＷＦＤ能力（ｃａｐａｂｉｌｉｔｙ）に対する情報を含むサービス探索要求フレームを送信すると、ＷＦＤシンクは、サービス探索要求フレームに対する応答としてＷＦＤ能力に対する情報を含むサービス探索応答フレームが送信されることができる。ＷＦＤサービス探索手順は、選択的な手順である。
【００５２】
ＷＦＤサービス探索手順の実行のためにＷＦＤ装置探索手順に利用されるプローブ要求フレーム及びプローブ応答フレームは、ＷＦＤ装置がサービス探索手順をサポートする能力を備えているかどうかを指示する情報を含むことができる。
【００５３】
ＷＦＤ接続セットアップ手順Ｓ４０３において、ＷＦＤ装置探索手順、そして選択的にＷＦＤサービス探索手順を実行したＷＦＤ装置は、ＷＦＤ接続セットアップのためのＷＦＤ装置を選択することができる。政策（ｐｏｌｉｃｙ）またはユーザ入力などによってＷＦＤ接続セットアップのためのＷＦＤ装置が選択された後、ＷＦＤ接続のためにＷｉ−Ｆｉ  Ｐ２Ｐ及びＴＤＬＳ（ｔｕｎｎｅｌｅｄ  ｄｉｒｅｃｔ  ｌｉｎｋ  ｓｅｒｖｉｃｅ）うちいずれか一つの接続方法（ｃｏｎｎｅｃｔｉｖｉｔｙ  ｓｃｈｅｍｅ）が使われることができる。ＷＦＤ装置は、接続優先順（ｐｒｅｆｅｒｒｅｄ  ｃｏｎｎｅｃｔｉｖｉｔｙ）情報及びＷＦＤ情報要素と共に伝達される連係したＢＳＳＩＤ（ｂａｓｉｃ  ｓｅｒｖｉｃｅ  ｓｅｔ  ｉｄｅｎｔｉｆｉｅｒ）副要素（ｓｕｂｅｌｅｍｅｎｔ）に基づいて接続方法を決定することができる。
【００５４】
図５は、ＷＦＤソースとＷＦＤシンクとの間のネットワークを示す概念図である。
【００５５】
図５の上段ではＷｉ−Ｆｉ  Ｐ２Ｐに基づくＷＦＤソース５００とＷＦＤシンク５１０との間の連結が開示され、図５の下段ではＴＤＬＳリンクに基づくＷＦＤソース５５０とＷＦＤシンク５６０との間の連結が開示されている。
【００５６】
図５の上段のように、ＡＰは、ＷＦＤソース５００とＷＦＤシンク５１０に共通され、または異なる。または、ＡＰは、存在しない場合もある。図５の下段のように、ＴＤＬＳリンクを使用してＷＦＤ接続を実行する場合、ＷＦＤソース５５０とＷＦＤシンク５６０は、同じＡＰと連結を維持しなければならない。
【００５７】
ＷＦＤ能力交換及び交渉手順は、ＷＦＤ装置間にＷＦＤ接続セットアップ手順以後に実行されることができる。ＷＦＤ能力交換及び交渉を介してＷＦＤソース及びＷＦＤシンクは、相互がサポートするコーデック、コーデックのプロファイル情報、コーデックのレベル情報及び解像度情報のうち少なくとも一つ以上の情報を相互間に交換することができる。ＷＦＤ能力交換及び交渉は、ＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）を利用したメッセージを交換により実行されることができる。また、ＷＦＤセッション間のオーディオ／ビデオペイロードを定義するパラメータセットを決定することができる。ＷＦＤ能力交換及び交渉手順は、後述する図６に示すように、ＲＴＳＰ  Ｍ１からＲＴＳＰ  Ｍ４メッセージの交換により実行されることができる。
【００５８】
ＷＦＤ交換及び交渉手順以後、ＷＦＤセッション確立手順が実行されることができる。
【００５９】
図６は、ＷＦＤ能力交換及び交渉手順を示す概念図である。
【００６０】
図６を参照すると、ＷＦＤソースは、ＲＳＴＰ手順及びＷＦＤ能力交渉を開始するためのＲＴＳＰ  Ｍ１要求メッセージを送信することができる（ステップＳ６０１）。
【００６１】
ＲＴＳＰ  Ｍ１要求メッセージは、ＷＦＤシンクでサポートするＲＴＳＰメソッド（ｍｅｔｈｏｄｓ）セット（ｓｅｔ）を決定するためのＲＴＳＰ  ＯＰＴＩＯＮＳ要求を含むことができる。ＲＴＳＰ  Ｍ１要求メッセージを受信したＷＦＤシンクは、自分がサポートするＲＴＳＰメソッドが列挙されたＲＴＳＰ  Ｍ１応答メッセージを送信することができる（ステップＳ６０２）。
【００６２】
その次に、ＷＦＤシンクは、ＷＦＤソースでサポートするＲＴＳＰメソッドセットを決定するためのＲＴＳＰ  Ｍ２要求メッセージを送信することができる（ステップＳ６０３）。
【００６３】
ＲＴＳＰ  Ｍ２要求メッセージが受信されると、ＷＦＤソースは、自分がサポートするＲＴＳＰメソッドが列挙されたＲＴＳＰ  Ｍ２応答メッセージで応答できる（ステップＳ６０４）。
【００６４】
ＷＦＤソースは、知りたいＷＦＤ能力の目録を明示したＲＴＳＰ  Ｍ３要求メッセージ（ＲＴＳＰ  ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）を送信することができる（ステップＳ６０５）。
【００６５】
ＲＴＳＰ  Ｍ３要求メッセージが受信されると、ＷＦＤシンクは、ＲＴＳＰ  Ｍ３応答メッセージ（ＲＴＳＰ  ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答メッセージ）で応答できる（ステップＳ６０６）。
【００６６】
ＲＴＳＰ  Ｍ３応答メッセージに基づいて、ＷＦＤソースは、ＷＦＤセッションの間に使われる最適のパラメータセットを決定し、決定されたパラメータセットを含むＲＴＳＰ  Ｍ４要求メッセージ（ＲＴＳＰ  ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）をＷＦＤシンクに送信することができる。
【００６７】
ＲＴＳＰ  Ｍ４要求メッセージを受信したＷＦＤシンクは、ＲＴＳＰ  Ｍ４応答メッセージ（ＲＴＳＰ  ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ応答メッセージ）を送信することができる（ステップＳ６０７）。
【００６８】
図７は、ＷＦＤセッション確立手順を示す概念図である。
【００６９】
図７では、ＷＦＤ能力交換及び交渉を実行したＷＦＤソース／ＷＦＤシンクは、ＷＦＤセッションを確立することができる。具体的に、ＷＦＤソースは、ＲＴＳＰ  ＳＥＴパラメータ要求メッセージ（ＲＴＳＰ  Ｍ５  Ｔｒｉｇｇｅｒ  ＳＥＴＵＰ  ｒｅｑｕｅｓｔ）をＷＦＤシンクに送信することができる（Ｓ７０１）。
【００７０】
ＷＦＤシンクは、ＲＴＳＰ  ＳＥＴパラメータ要求メッセージに対する応答としてＲＴＳＰ  Ｍ５応答メッセージ（ＲＴＳＰ  Ｍ５  ｒｅｓｐｏｎｓｅ  ｍｅｓｓａｇｅ）を送信することができる（ステップＳ７０２）。
【００７１】
トリガパラメータ設定（ＳＥＴＵＰ）を含むＲＴＳＰ  Ｍ５メッセージが成功的に交換されると、ＷＦＤシンクは、ＲＴＳＰ  ＳＥＴＵＰ要求メッセージ（ＲＴＳＰ  Ｍ６  ｒｅｑｕｅｓｔ）をＷＦＤソースに送信することができる（ステップＳ７０３）。
【００７２】
ＲＴＳＰ  Ｍ６要求メッセージが受信されると、ＷＦＤソースは、ＲＴＳＰ  ＳＥＴＵＰ応答メッセージ（ＲＴＳＰ  Ｍ６ｒｅｓｐｏｎｓｅ）で応答できる（ステップＳ７０４）。
【００７３】
ＲＴＳＰ  Ｍ６応答メッセージの状態コードの設定を介してＲＴＳＰセッションの成功的な構築が指示されることができる。
【００７４】
ＲＴＳＰ  Ｍ６メッセージの成功的な交換以後、ＷＦＤシンクは、ＲＴＰストリームを受信する準備ができたことを知らせるために、ＲＴＳＰ  ＰＬＡＹ要求メッセージ（ＲＴＳＰ  Ｍ７  ｒｅｑｕｅｓｔ  ｍｅｓｓａｇｅ）をソース装置に送信することができ（ステップＳ７０５）、ＷＦＤソースは、ＲＴＳＰ  ＰＬＡＹ応答メッセージ（ＲＴＳＰ  Ｍ７  ｒｅｓｐｏｎｓｅ  ｍｅｓｓａｇｅ）で応答できる（ステップＳ７０６）。ＲＴＳＰ  ＰＬＡＹ応答メッセージの状態コードに基づいてＷＦＤセッションの成功的な確立が指示されることができる。
【００７５】
ＷＦＤセッションが確立された後、ＷＦＤソースは、ＷＦＤシンクでサポートする少なくとも一つのＲＴＳＰパラメータに対する能力を取得するためのＲＴＳＰ  Ｍ３要求メッセージ（ＲＴＳＰ  ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）、ＡＶ（Ａｕｄｉｏ／Ｖｉｄｅｏ）フォーマット更新のためのＷＦＤソース及びＷＦＤシンク間の能力再交渉のためにＷＦＤセッションに対応する少なくとも一つのＲＴＳＰパラメータ値を設定するためのＲＴＳＰ  Ｍ４要求メッセージ、ＷＦＤシンクがＲＴＳＰ  ＰＡＵＳＥ要求メッセージ（ＲＴＳＰ  Ｍ９要求メッセージ）を送信するようにトリガするＲＴＳＰ  Ｍ５要求メッセージ、ＷＦＤソースがＷＦＤ待機モード（ｓｔａｎｄｂｙ  ｍｏｄｅ）に進入することを指示するＲＴＳＰ  Ｍ１２要求メッセージ、ＵＩＢＣ（ｕｓｅｒ  ｉｎｐｕｔ  ｂａｃｋ  ｃｈａｎｎｅｌ）で使われる入力タイプ、入力装置及び他のパラメータを選択するためのＲＴＳＰ  Ｍ１４要求メッセージまたはＵＩＢＣ（ｕｓｅｒ  ｉｎｐｕｔ  ｂａｃｋ  ｃｈａｎｎｅｌ）を活性化（ｅｎａｂｌｅ）または非活性化（ｄｉｓａｂｌｅ）するためのＲＴＳＰ  Ｍ１５要求メッセージなどをＷＦＤシンクに送信することができる。ＷＦＤソースから前述したＲＴＳＰ要求メッセージを受信したＷＦＤシンクは、ＲＴＳＰ応答メッセージで応答できる。
【００７６】
その次に、ＷＦＤシンクは、オーディオ／ビデオストリーミングを開始（または、再開）するためのＲＴＳＰ  Ｍ７要求メッセージ（ＲＴＳＰ  ＰＬＡＹ要求メッセージ）、ＷＦＤソースからＷＦＤシンクに送信されるオーディオ／ビデオストリーミングの一時中断のためのＲＴＳＰ  Ｍ９要求メッセージ（ＲＴＳＰ  ＰＡＵＳＥ要求メッセージ）、ＷＦＤソースにオーディオレンダリング装置を変更することを要求するためのＲＴＳＰ  Ｍ１０要求メッセージ、活性コネクタタイプ（ａｃｔｉｖｅ  ｃｏｎｎｅｃｔｏｒ  ｔｙｐｅ）の変更を指示するＲＴＳＰ  Ｍ１１要求メッセージ、ＷＦＤシンクがＷＦＤ待機モードに進入したことを指示するＲＴＳＰ  Ｍ１２要求メッセージ、ＷＦＤソースにＩＤＲ（ｉｎｓｔａｎｔａｎｅｏｕｓ  ｄｅｃｏｄｉｎｇ  ｒｅｆｒｅｓｈ）をリフレッシュすることを要求するＭ１３要求メッセージ、ＵＩＢＣで使われる入力タイプ、入力装置及び他のパラメータを選択するためのＲＴＳＰ  Ｍ１４要求メッセージまたはＵＩＢＣの活性化（ｅｎａｂｌｅ）または非活性化（ｄｉｓａｂｌｅ）のためのＲＴＳＰ  Ｍ１５要求メッセージなどをＷＦＤソースに送信することができる。ＷＦＤシンクから前記列挙されたＲＴＳＰ要求メッセージを受信したＷＦＤソースは、ＲＴＳＰ応答メッセージで応答できる。
【００７７】
ＷＦＤセッションが構築されてオーディオ／ビデオストリーミングが開始されると、ＷＦＤソース及びＷＦＤシンクは、両方とも共通にサポートするコーデックを利用してオーディオ／ビデオストリーミングを進行することができる。ＷＦＤソースとＷＦＤシンクが共通にサポートするコーデックを利用することによって両者間の相互運用性（ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ）が保障されることができる。
【００７８】
ＷＦＤ通信は、ＷＦＤ  ＩＥに基づいており、ＷＦＤ  ＩＥのフォーマットは、以下の表１のように定義されることができる。
【００７９】
【表１】
0006430646.tif 000002
【００８０】
要素ＩＤ（ｅｌｅｍｅｎｔ  ＩＤ）フィールド、長さ（Ｌｅｎｇｔｈ）フィールド、ＷＦＤ特定のＯＵＩフィールド、ＷＦＤ  ＩＥのタイプ／バージョンを示すＯＵＩタイプフィールド及びＷＦＤ副要素（ｓｕｂｅｌｅｍｅｎｔ）フィールドからなる。ＷＦＤ副要素フィールドは、以下の表２のような形式を有する。
【００８１】
【表２】
0006430646.tif 000003
【００８２】
副要素ＩＤは、以下の表３のように定義されることができる。
【００８３】
【表３】
0006430646.tif 000004
【００８４】
表３を参照すると、１オクテットの副要素ＩＤフィールドは、ＷＦＤ副要素がどのような情報を含むかを指示することができる。具体的に、副要素ＩＤフィールドの値０、１、…、１０は、副要素の各々がＷＦＤ  Ｄｅｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ  ｓｕｂｅｌｅｍｅｎｔ、Ａｓｓｏｃｉａｔｅｄ  ＢＳＳＩＤ  ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ  Ａｕｄｉｏ  Ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ  Ｖｉｄｅｏ  Ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ  ３Ｄ  Ｖｉｄｅｏ  Ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ  Ｃｏｎｔｅｎｔ  Ｐｒｏｔｅｃｔｉｏｎ  ｓｕｂｅｌｅｍｅｎｔ、Ｃｏｕｐｌｅｄ  Ｓｉｎｋ  Ｉｎｆｏｒｍａｔｉｏｎ  ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ  Ｅｘｔｅｎｄｅｄ  Ｃａｐａｂｉｌｉｔｙ  ｓｕｂｅｌｅｍｅｎｔ、Ｌｏｃａｌ  ＩＰ  Ａｄｄｒｅｓｓ  ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ  Ｓｅｓｓｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  ｓｕｂｅｌｅｍｅｎｔ、Ａｌｔｅｒｎａｔｉｖｅ  ＭＡＣ  Ａｄｄｒｅｓｓ  ｓｕｂｅｌｅｍｅｎｔであることを示すことができる。ここで、ＷＦＤ  Ｄｅｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ  ｓｕｂｅｌｅｍｅｎｔは、ＷＦＤ装置とのペアリング及びセッション生成を試みるかを決定するのに必要な情報を含むことができる。Ａｓｓｏｃｉａｔｅｄ  ＢＳＳＩＤ  ｓｕｂｅｌｅｍｅｎｔは、現在連係したＡＰのアドレスを指示するために使われることができる。ＷＦＤ  Ａｕｄｉｏ  Ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ  Ｖｉｄｅｏ  Ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔ、ＷＦＤ  ３Ｄ  Ｖｉｄｅｏ  Ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔの各々は、オーディオ、ビデオ、３Ｄビデオに関連したＷＦＤ装置の能力（ｃａｐａｂｉｌｉｔｙ）を指示するために使われることができる。ＷＦＤ  Ｃｏｎｔｅｎｔ  Ｐｒｏｔｅｃｔｉｏｎ  ｓｕｂｅｌｅｍｅｎｔは、コンテンツ保護方法と関連した情報を伝達し、Ｃｏｕｐｌｅｄ  Ｓｉｎｋ  Ｉｎｆｏｒｍａｔｉｏｎ  ｓｕｂｅｌｅｍｅｎｔは、ｃｏｕｐｌｅｄシンクの状態、ＭＡＣアドレスなどに対する情報を伝達することができる。ＷＦＤ  Ｅｘｔｅｎｄｅｄ  Ｃａｐａｂｉｌｉｔｙ  ｓｕｂｅｌｅｍｅｎｔは、その他のＷＦＤ装置の多様な能力情報を伝達するために使われ、Ｌｏｃａｌ  ＩＰ  Ａｄｄｒｅｓｓ  ｓｕｂｅｌｅｍｅｎｔは、ＴＤＬＳセットアップ過程でＷＦＤピアにＩＰアドレスを伝達するために使われることができる。ＷＦＤ  Ｓｅｓｓｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  ｓｕｂｅｌｅｍｅｎｔは、ＷＦＤグループ内のＷＦＤ装置情報技術者のリストなどの情報を含むことができる。ＷＦＤ接続方法が装置探索で使われるものと異なるインターフェース（例えば、ＭＡＣアドレス）を必要とする場合、Ａｌｔｅｒｎａｔｉｖｅ  ＭＡＣ  Ａｄｄｒｅｓｓ  ｓｕｂｅｌｅｍｅｎｔが関連情報を伝達することができる。
【００８５】
以下、本発明の実施例ではＷＦＤ（または、ミラキャスト（ｍｉｒａｃａｓｔ））を介したユーザ入力（ｕｓｅｒ  ｉｎｐｕｔ、ＵＩ）及びサブタイトル（ｓｕｂｔｉｔｌｅ）に対する情報を送信する方法が開示される。
【００８６】
特に、ＵＩイメージ／サブタイトルの各々は、基礎ストリーム（ｅｌｅｍｅｎｔａｒｙ  ｓｔｒｅａｍ）としてパケットタイジングされて別途のＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）で生成された後、ＭＰＥＧ２−ＴＳ（ｔｒａｎｓｐｏｒｔ  ｓｔｒｅａｍ）の多重化部を介してビデオストリームにオーバーレイ（ｏｖｅｒｌａｙ）及び多重化（ＭＵＸ）されて送信されることができる。本発明の実施例では、ＷＦＤソースにより送信されたＵＩイメージ／サブタイトルがＷＦＤシンクで最適化されて設定されるための方法が開示される。
【００８７】
本発明の実施例によると、ＷＦＤソースは、ＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ  ｒｅｓｏｌｕｔｉｏｎ）を認知してＷＦＤシンクに最適化された解像度を有するＵＩストリーム及びサブタイトルストリームを送信することができる。このような方法に基づいてＷＦＤシンクは、画質低下無しでＷＦＤシンクのディスプレイ上で最適の大きさを有するＵＩイメージ／サブタイトルイメージをＷＦＤシンクのディスプレイ上に出力することができる。
【００８８】
また、以下、本発明の実施例では、ＵＩイメージ及びサブタイトルイメージがビデオイメージにオーバーレイ（ｏｖｅｒｌａｙ）される場合、ＷＦＤシンクでＵＩＢＣデータ（または、ＵＩＢＣボディフォーマット）にオーバーレイと関連した情報を含んで送信する方法が開示される。オーバーレイと関連した情報は、オーバーレイインデックス、ストリームインデックスなどを含むことができる。ＵＩＢＣを介して送信されるＵＩＢＣデータに含まれるオーバーレイと関連した情報に基づいてＷＦＤソースがＷＦＤシンク上で実行されるユーザの動作の意図を正確に認知することができる。
【００８９】
ＷＦＤソースで送信される一つのＭＰＥＧ２−ＴＳで多重化（ｍｕｌｔｉｐｌｅｘｉｎｇ）されたストリームは、複数個のオーディオストリーム／ビデオストリーム、ＵＩストリーム、サブタイトルストリームを含み、ＷＦＤシンクは、一つのＭＰＥＧ２−ＴＳで多重化されたストリームを逆多重化（ｄｅｍｕｌｔｉｐｌｅｘｉｎｇ）し、複数個の互いに異なるストリームをアルファブレンディング（ａｌｐｈａ−ｂｌｅｎｄｉｎｇ）という方法でオーバーレイしてＷＦＤシンクのディスプレイ上に出力することができる。
【００９０】
ＭＰＥＧ２−ＴＳは、複数のストリームをオーバーレイ多重化するための送信ストリームに対する一つの例示であり、ＭＰＥＧ２−ＴＳの代わりに他のフォーマット（または、構造（ｓｔｒｕｃｔｕｒｅ））の送信ストリームがオーディオストリーム／ビデオストリーム、ＵＩストリーム、サブタイトルストリームなどを多重化して送信するために使われることもできる。
【００９１】
図８は、本発明の実施例に係るＭＰＥＧ−ＴＳに基づく複数のストリームを送信及び受信する方法を示す概念図である。
【００９２】
図８を参照すると、ビデオストリーム８００、オーディオストリーム８１０、サブタイトルストリーム８２０、ユーザインターフェースストリーム８３０は、オーバーレイ多重化されてＭＰＥＧ２−ＴＳ８４０で生成されることができる。
【００９３】
ビデオストリーム８００は、ビデオデータを含み、オーディオストリーム８１０は、オーディオデータを含み、サブタイトルストリーム８２０は、サブタイトルデータを含み、ユーザインターフェースストリーム８３０は、ユーザインターフェースに対するデータを含むことができる。
【００９４】
ビデオストリーム８００、オーディオストリーム８１０、サブタイトルストリーム８２０、ユーザインターフェースストリーム８３０は、個別的なＥＳ（ｅｌｅｍｅｎｔａｒｙ  ｓｔｒｅａｍ）であり、複数のＥＳの各々は、互いに異なるフォーマット、互いに異なる解像度、互いに異なるビットレートを有することができる。複数のＥＳの各々は、パケット化されて複数のＰＥＳの各々で生成されることができ、複数のＰＥＳの各々は、オーバーレイ多重化されてＭＰＥＧ２−ＴＳで生成されることができる。
【００９５】
ＷＦＤソースは、生成されたＭＰＥＧ２−ＴＳ８４０をＷｉＦｉダイレクト（ＷｉＦｉ  Ｐ２Ｐ（ｐｅｅｒ  ｔｏ  ｐｅｅｒ））に基づいてＷＦＤシンクに送信することができる。
【００９６】
ＷＦＤシンクは、ＭＰＥＧ２−ＴＳ８４０をＷｉＦｉダイレクトに基づいて受信することができる。ＷＦＤシンクにおけるＭＰＥＧ２−ＴＳ８４０は、逆多重化されてビデオストリーム８５０、オーディオストリーム８６０、サブタイトルストリーム８７０、ユーザインターフェースストリーム８８０に再び分離されることができる。分離されたビデオストリーム８５０、オーディオストリーム８６０、サブタイトルストリーム８７０、ユーザインターフェースストリーム８８０は、アルファブレンディング（または、オーバーレイ）に基づいて再生されることができる。
【００９７】
図９は、本発明の実施例に係るＭＰＥＧ−ＴＳに基づくオーバーレイ多重化（ｏｖｅｒｌａｙ  Ｍｕｘ）の問題点を示す概念図である。
【００９８】
前述したように、ＭＰＥＧ２−ＴＳに基づく複数のＥＳのオーバーレイ時、複数のＥＳの各々は、互いに異なる解像度を有することができる。大部分のＷＦＤシンクは、受信したビデオストリーム（または、ビデオデータ）／サブタイトルストリーム（または、サブタイトルデータ）／ユーザインターフェースストリーム（または、ユーザインターフェースデータ）の解像度がＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ  ｒｅｓｏｌｕｔｉｏｎ）と合わない場合、ネイティブ解像度に合うように受信したビデオストリーム／サブタイトルストリーム／ユーザインターフェースストリームの解像度が再スケーリング（ｒｅｓｃａｌｉｎｇ）（アップスケーリングまたはダウンスケーリング）されることができる。
【００９９】
以下、説明の便宜上、ビデオストリーム／サブタイトルストリーム／ユーザインターフェースストリームの解像度が再スケーリングされるという表現を使用するが、このような表現は、ビデオストリームに含まれるビデオデータの解像度／サブタイトルストリームに含まれるサブタイトルデータの解像度／ユーザインターフェースストリームに含まれるユーザインターフェースデータの解像度が再スケーリングされることを意味する。
【０１００】
ビデオストリームが再スケーリングされる場合、ユーザには大きい拒否感がない。しかし、ユーザインターフェースストリームやサブタイトルストリームが再スケーリングされる場合、ユーザにあまりにも大きい、またはあまりにも小さいユーザインターフェースイメージ／サブタイトルイメージがＷＤＦシンク上でディスプレイされることができる。
【０１０１】
図９では、ＷＦＤシンクのネイティブ解像度に合うように受信したビデオストリーム／サブタイトルストリーム／ユーザインターフェースストリームの解像度がアップスケーリングされた場合が開示される。
【０１０２】
図９を参照すると、ＷＦＤシンクのネイティブ解像度が１９２０×１０８０であり、ＷＦＤソースのネイティブ解像度が６４０×４８０である場合が仮定される。このような場合、ＷＦＤソースにより送信される複数のＥＳを含むＭＰＥＧ２−ＴＳに含まれるビデオストリーム、サブタイトルストリームまたはユーザインターフェースストリームの解像度は、６４０×４８０である。
【０１０３】
６４０×４８０の解像度を有するビデオストリーム、サブタイトルストリーム及びユーザインターフェースストリームを受信したＷＦＤシンクは、ＷＦＤシンクのネイティブ解像度を考慮して６４０×４８０の解像度を有するビデオストリーム、サブタイトルストリーム及びユーザインターフェースストリームを１９２０×１０８０にアップスケールリング９００することができる。
【０１０４】
このような場合、ビデオイメージは、ＷＦＤシンクで大きい異質感無しで出力されることができるが、ユーザインターフェースイメージとサブタイトルイメージは、あまりにも大きくなる。例えば、ＷＦＤソースでは、ユーザの可視性及び操作容易度のために画面の比率に比べて相対的に大きいイメージのサブタイトル及びユーザインターフェースが活用されることができ、ＷＦＤシンクでこのような比率を考慮せずにＷＦＤシンクのネイティブ解像度を考慮してサブタイトルイメージ及びユーザインターフェースイメージをアップスケールリング９００する場合、サブタイトルイメージ及びユーザインターフェースイメージがあまりにも大きくなる。それだけでなく、サブタイトルイメージとユーザインターフェースイメージのアップスケールリング９００によりサブタイトルイメージとユーザインターフェースイメージの解像度がＷＦＤシンクのディスプレイの解像度と差が大きい場合、文字可読性が落ちてユーザが一層異質感を大きく感じるようになる。
【０１０５】
図１０は、本発明の実施例に係るＭＰＥＧ−ＴＳに基づくオーバーレイ多重化の問題点を示す概念図である。
【０１０６】
図１０では、ＷＦＤシンクのネイティブ解像度に合うように受信したビデオストリーム／サブタイトルストリーム／ユーザインターフェースストリームの解像度がダウンスケーリング１０００された場合が開示される。
【０１０７】
図１０を参照すると、ＷＦＤシンクのネイティブ解像度が１９２０×１０８０であり、ＷＦＤソースのネイティブ解像度が４０９６×２１６０である場合が仮定される。このような場合、ＷＦＤソースにより送信される複数のＥＳを含むＭＰＥＧ２−ＴＳに含まれるビデオストリーム、サブタイトルストリーム、ユーザインターフェースストリームの解像度は、４０９６×２１６０である。
【０１０８】
４０９６×２１６０の解像度を有するビデオストリーム、サブタイトルストリーム及びユーザインターフェースストリームを受信したＷＦＤシンクは、ＷＦＤシンクのネイティブ解像度を考慮して４０９６×２１６０の解像度を有するビデオストリーム、サブタイトルストリーム及びユーザインターフェースストリームを１９２０×１０８０にダウンスケーリング１０００することができる。
【０１０９】
このような場合、ビデオストリームは、ＷＦＤシンクでユーザに大きい異質感無しで出力されることができるが、ユーザインターフェースとサブタイトルが同じ場合、あまりにも小さくなる。例えば、ＷＦＤソースでは、ユーザの可視性及び操作容易度のために画面の比率に比べて相対的に小さいサブタイトル及びユーザインターフェースが活用されることができ、ＷＦＤシンクでこのような比率を考慮せずにＷＦＤシンクのネイティブ解像度を考慮してサブタイトル及びユーザインターフェースをダウンスケーリング１０００をする場合、サブタイトル及びユーザインターフェースがあまりにも小さくなる。
【０１１０】
即ち、図９及び図１０に示すように、ＷＦＤソースがＷＦＤシンクのネイティブ解像度を考慮せずに、オーバーレイエンコーディングを実行してＥＳ／ＰＥＳを送信する場合、ＷＦＤシンク上で不要に大きいまたは小さいユーザインターフェースイメージ、サブタイトルイメージが出力されることができる。本発明の実施例では、画面上にオーバーレイして出力されるサブタイトルイメージ／ユーザインターフェースイメージの大きさをＷＦＤシンクに合わせて調整するための方法が開示される。
【０１１１】
図１１は、本発明の実施例に係るユーザインターフェース及びサブタイトルの設定方法を示す概念図である。
【０１１２】
図１１では、ＷＦＤソースがＷＦＤシンクのネイティブ解像度に対する情報を取得するための方法が開示される。前述したように、ユーザインターフェースとサブタイトルがオーバーレイして送信される場合、ＷＦＤシンクのディスプレイに最適化されたユーザインターフェースとサブタイトルの設定及び表示方法が必要である。
【０１１３】
本発明の実施例によると、ソースＷＦＤは、オーバーレイエンコーディング（ｏｖｅｒｌａｙ  ｅｎｃｏｄｉｎｇ）時、ＷＦＤシンクのネイティブ解像度に合うサブタイトルストリームとユーザインターフェースストリームに基づいてオーバーレイエンコーディングを実行することができる。
【０１１４】
即ち、ＷＦＤシンクは、ＷＦＤソースから受信したビデオストリームに対してのみ再スケーリング（アップスケールリング／ダウンスケーリング）を実行することができる。サブタイトルストリームとユーザインターフェースストリームは、ＷＦＤシンクのネイティブ解像度を考慮してＷＦＤソースにより送信されるため、サブタイトルストリームとユーザインターフェースストリームに対しては、ＷＦＤシンクは、ネイティブ解像度に基づく再スケーリングを実行しない。
【０１１５】
即ち、ＷＦＤシンクは、ＷＦＤシンクのネイティブ解像度に合うサブタイトルストリーム及びユーザインターフェースストリームをＷＦＤソースから受信し、再スケーリングすることなくそのまま出力することができる。したがって、サブタイトルとユーザインターフェースに対する画質損失無しでＷＦＤシンクの解像度に適応的に合うサブタイトルイメージ及びユーザインターフェースイメージがＷＦＤシンクに提供されることができる。
【０１１６】
ＷＦＤソースは、ＷＦＤサービス探索手順及びＲＴＳＰ能力交渉手順上でＷＦＤシンクのネイティブ解像度に対する情報を取得することができる。
【０１１７】
図１１を参照すると、ＷＦＤソースは、ＷＦＤサービス探索要求フレーム１１００をＷＦＤシンクに送信することができる。ＷＦＤシンクは、ＷＦＤサービス探索要求フレーム１１００に対する応答としてＷＦＤサービス探索応答フレーム１１２０を送信することができる。ＷＦＤサービス探索応答フレーム１１２０は、ＷＦＤシンクのネイティブ解像度に対する情報を含むことができる。例えば、ＷＦＤサービス探索応答フレーム１１２０は、ＷＦＤビデオフォーマット副要素（ＷＦＤ  Ｖｉｄｅｏ  Ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔ）に含まれるネイティブ解像度／リフレッシュレートビットマップを介してＷＦＤシンクのネイティブ解像度に対する情報を伝達することができる。
【０１１８】
または、ＷＦＤソースは、ＲＴＳＰ  Ｍ３要求メッセージ（または、Ｍ３  ＲＴＳＰ  ＧＥＴ  ＰＡＲＡＭＥＴＥＲ  Ｒｅｑｕｅｓｔ）１１４０を送信し、ＷＦＤシンクは、ＲＴＳＰ  Ｍ３要求メッセージ１１４０に対する応答としてＲＴＳＰ  Ｍ３応答メッセージ（または、Ｍ３  ＲＴＳＰ  ＧＥＴ  ＰＡＲＡＭＥＴＥＲ  Ｒｅｓｐｏｎｓｅ）１１６０を送信することができる。そのとき、ＲＴＳＰ  Ｍ３応答メッセージ１１６０は、ＷＦＤシンクのネイティブ解像度に対する情報を含むことができる。
【０１１９】
図１２は、本発明の実施例に係るＷＦＤソースのユーザインターフェース情報及びサブタイトル情報の送信方法を示す概念図である。
【０１２０】
図１２を参照すると、ＷＦＤソースは、ＷＦＤシンクのネイティブ解像度を認知することができ、ＷＦＤソースは、ＷＦＤシンクに対してＷＦＤシンクの解像度に合う最適（ｏｐｔｉｍａｌ）のユーザインターフェースデータ及び最適のサブタイトルデータの各々に対するＥＳをパケット化して多重化してＷＦＤシンクに送信することができる。
【０１２１】
ＷＦＤソースがＷＦＤシンクのネイティブ解像度に基づいて決定された最適の解像度のサブタイトルストリーム及びユーザインターフェースストリームをビデオストリームとオーバーレイして送信する場合、ＷＦＤシンクは、ＷＦＤシンクのディスプレイ上でサブタイトル及びユーザインターフェースを最適化して出力することができる。
【０１２２】
このような方法が使われる場合、ユーザは、ビデオストリーム（または、ビデオデータ）の解像度と独立的な解像度を有するＷＦＤシンクのネイティブ解像度に合うサブタイトルストリーム及びユーザインターフェースストリームを受信することができる。即ち、ＷＦＤシンクは、ユーザインターフェースとサブタイトルを画質低下無しでディスプレイ上で出力することができる。
【０１２３】
そのために、ＷＦＤソースは、格納部（ｓｔｏｒａｇｅ）１２００に多様な解像度／設定のユーザインターフェースデータ及びサブタイトルデータの設定セットを含むことができる。ＷＦＤソースは、ユーザインターフェースデータ及びサブタイトルデータの設定セットでＷＦＤソースのネイティブ解像度に最適であるユーザインターフェース及びサブタイトルを選択してＷＦＤシンクに送信することができる。
【０１２４】
例えば、ＷＦＤソースの格納部１２００には多様な解像度（２０４８×Ｎ、１９２０×Ｎ、１６８０×Ｎ、１２８０×Ｎ等）の水平方向のユーザインターフェース情報／水平方向のサブタイトル情報が格納されることができる。また、ＷＦＤソースの格納部１２００には多様な解像度（Ｎ×２０４８、Ｎ×１９２０、Ｎ×１６８０、Ｎ×１２８０等）の垂直方向のユーザインターフェース情報／垂直方向のサブタイトル情報が格納されることができる。
【０１２５】
ＷＦＤソースは、ＷＦＤサービス探索手順及びＲＴＳＰ能力交渉手順上でＷＦＤシンクのネイティブ解像度に対する情報だけでなく、選好するユーザインターフェース及びサブタイトルの方向に対する情報を取得し、解像度及びユーザインターフェース及びサブタイトルの方向に対する情報に基づいて最適のサブタイトルストリーム及びユーザインターフェースストリームをＷＦＤシンクに送信することができる。
【０１２６】
図１３は、本発明の実施例に係る最適のユーザインターフェース及びサブタイトルを設定する方法を示す概念図である。
【０１２７】
図１３において、ＷＦＤソースは、ＷＦＤソースのユーザインターフェースデータ及びサブタイトルデータの設定セット（ｃｏｎｆｉｇｕｒａｔｉｏｎ  ｓｅｔ）に基づいてＷＦＤシンクに合うようにユーザインターフェースの位置を調整することができる。
【０１２８】
例えば、図１２に示すように、ユーザインターフェースデータ及びサブタイトルデータの設定セットが垂直方向のユーザインターフェースデータ及びサブタイトルデータと水平方向のユーザインターフェースデータ及びサブタイトルデータとを含む場合、ＷＦＤソースとＷＦＤシンクとの間の交渉（ｎｅｇｏｔｉａｔｉｏｎ）によって水平または垂直方向のユーザインターフェースデータ及びサブタイトルデータがＷＦＤソースからＷＦＤシンクに送信されることができる。
【０１２９】
図１３を参照すると、ＷＦＤソースは、エンコーディング／ストリーミングするビデオストリームの解像度と独立的にＷＦＤシンクのネイティブ解像度に基づいて決定された解像度の垂直または水平方向のサブタイトルデータ／ユーザインターフェースデータの各々を各々のストリームで生成してビデオストリームと共にオーバーレイ多重化してＭＰＥＧ２−ＴＳを介して送信することができる。
【０１３０】
ＷＦＤシンクは、ＭＰＥＧ２−ＴＳに対する逆多重化を実行した後、ビデオストリームに対してのみ再スケーリング（アップスケールリング／ダウンスケーリング）してディスプレイ上で出力することができる。また、ＷＦＤシンクは、ＭＰＥＧ２−ＴＳに対する逆多重化を介して分離したサブタイトルストリーム及びユーザインターフェースストリームの各々に対しては再スケーリング手順無しで即座に出力することができる。
【０１３１】
図１４は、本発明の実施例に係るＵＩＢＣに基づくＷＦＤソース及びＷＦＤシンクの動作を示す概念図である。
【０１３２】
図１４では、ＷＦＤソースがビデオストリーム、サブタイトルストリームユーザインターフェースストリームをオーバーレイエンコーディング（ｏｖｅｒｌａｙ  ｅｎｃｏｄｉｎｇ）して送信する場合、ＵＩＢＣ（ｕｓｅｒ  ｉｎｐｕｔ  ｂａｃｋ  ｃｈａｎｎｅｌ）を介してユーザのＷＦＤシンクに対する入力信号をＷＦＤソースに伝達するための方法が開示される。ＵＩＢＣは、ＷＦＤシンクに存在するユーザインターフェースでユーザ動作に基づくユーザ入力情報を入力した場合、ユーザ入力情報をＷＦＤソースに伝達するためのチャネルである。
【０１３３】
以下、既存のＵＩＢＣを介したＷＦＤシンク及びＷＦＤソース間の通信において、ユーザ入力情報の解釈の問題点が開示される。
【０１３４】
図１４を参照すると、ＷＦＤソースが二つの互いに異なるユーザインターフェース（ＵＩ１、ＵＩ２）の各々に対する複数のユーザインターフェースストリームの各々をＭＰＥＧ２−ＴＳにオーバーレイする場合、ＷＦＤシンクは、ディスプレイ上でどこでもＵＩ１イメージ１４００及びＵＩ２イメージ１４５０を出力することができる。
【０１３５】
ＷＦＤシンクは、ＷＦＤシンクのディスプレイを基準にしてユーザ入力信号に対するＸ座標、Ｙ座標をＵＩＢＣを介して送信し、ＷＦＤソースは、ＷＦＤシンクのディスプレイを基準にするユーザ入力信号による動作を正確に解釈することができない。例えば、ユーザがＷＦＤシンクのディスプレイ上で左側マウスボタンを押してクリック状態を設定してＵＩ１イメージ１４００を選択した以後、マウスを動いてＵＩ１イメージ１４００を他の位置に移動させ、左側マウスボタンの押しを解除してクリック状態を解除する場合が仮定されることができる。
【０１３６】
このような場合、ＷＦＤシンクは、ＷＦＤシンクのディスプレイ上の（１０、２００）位置で左側マウスダウン信号が生成されることを指示するＬｅｆｔ  ｍｏｕｓｅ  Ｄｏｗｎ（１０、２００）信号（ステップＳ１４１０）を生成し、マウスがＷＦＤシンクのディスプレイ上の（１７００、８００）位置に移動することを指示するＭｏｕｓｅ  ｍｏｖｅ（１７００、８００）信号（ステップＳ１４２０）を生成し、（１７１０、８２０）の位置で左側マウスアップ信号が生成されることを指示するＬｅｆｔ  ｍｏｕｓｅ  Ｕｐ（１７１０、８２０）信号（ステップＳ１４３０）を順次に生成してＷＦＤソースに送信することができる。
【０１３７】
しかし、ビデオストリームとオーバーレイして送信したＵＩ１に対するユーザインターフェースストリーム１に基づくＵＩ１イメージ１４００とＵＩ２に対するユーザインターフェースストリーム２に基づくＵＩ２イメージ１４５０の各々がＷＦＤシンクのディスプレイ上へのどの位置に出力されるかは、ＷＦＤシンクの決定に従うため、ＷＦＤソースは、ユーザ入力信号によるユーザの意図を正確に解釈することができない。また、既存のように包括タイプ（ｇｅｎｅｒｉｃ  ｔｙｐｅ）のＵＩＢＣパケットが生成される場合、ＷＦＤソースは、ＵＩ１及びＵＩ２のうちどのＵＩに対するユーザ動作であるかに対しても正確に認知することができない。
【０１３８】
図１５は、本発明の実施例に係るＵＩＢＣに基づくＷＦＤソース及びＷＦＤシンクの動作を示す概念図である。
【０１３９】
図１５では、図１４で開示した既存のＵＩＢＣを介したＷＦＤシンク及びＷＦＤソース間の通信において、ユーザ入力情報の解釈の問題点を解決するための方法が開示される。ＵＩＢＣベースの動作のために、ＷＦＤシンクは、既存の座標情報及び追加的な情報（オーバーレイインデックス（ｏｖｅｒｌａｙ  ｉｎｄｅｘ）またはＭＰＥＧ２−ＴＳストリーム識別子（ＭＰＥＧ２ＴＸ  ｓｔｒｅａｍ  ｉｄ）、ストリームタイプ（ｓｔｒｅａｍ  ｔｙｐｅ）、説明タグ（ｄｅｓｃｒｉｐｔｉｏｎ  ｔａｇ）等）をＵＩＢＣを介してＷＦＤソースに送信してユーザ入力情報を伝達することができる。
【０１４０】
図１５を参照すると、ＷＦＤソースは、ＷＦＤシンクが送信するＵＩＢＣメッセージのＵＩＢＣ包括入力ボディ（ＵＩＢＣ  ｇｅｎｅｒｉｃ  ｉｎｐｕｔ  ｂｏｄｙ）内に含まれるストリーム情報（ｓｔｒｅａｍ  ｉｎｆｏｒｍａｔｉｏｎ）に基づいて現在ＷＦＤシンクを介してユーザがどのＵＩに対してどのような動作を実行したかに対する情報を取得することができる。
【０１４１】
具体的に、ＵＩＢＣ包括入力ボディは、以下の表４のような構成を含むことができる。
【０１４２】
【表４】
0006430646.tif 000005
【０１４３】
以上の表４において、ストリーム情報（ｓｔｒｅａｍ  ｉｎｆｏｒｍａｔｉｏｎ）は、以下の表５のようなフィールドを含むことができる。
【０１４４】
【表５】
0006430646.tif 000006
【０１４５】
即ち、ＷＦＤソースは、ストリーム情報フィールドに含まれるオーバーレイインデックス情報に基づいてＷＦＤシンクでユーザが指示したＵＩに対する情報を取得することができる。また、ＷＦＤソースは、ストリーム情報フィールドに含まれるストリームＩＤ情報、ストリームタイプ情報に基づいてユーザが指示したＵＩに対する情報を取得することができる。
【０１４６】
説明タグは、複数のオーバーレイＩＤ（または、ストリームＩＤ）の各々により指示されるＵＩイメージ／サブタイトルイメージ／ビデオイメージの各々に対するユーザの動作で生成されたユーザ入力信号（または、ユーザ入力情報）を理解するための詳細情報を含むことができる。例えば、説明タグは、オーバーレイＩＤに対応されるＷＦＤシンクのディスプレイ上で出力されるイメージで可能なＸ座標及びＹ座標に対する情報を含むことができる。例えば、説明タグに含まれるＸ座標、Ｙ座標の値は、ＷＦＤシンクで出力されるＵＩイメージの横／縦の大きさに対応されることができる。例えば、ＵＩ１のイメージ（ＵＩイメージ１）１５００の大きさが４００×２００であり、ＷＦＤシンクのディスプレイ上でユーザがＵＩイメージ１  １５００上でユーザ入力信号を発生させた場合、発生可能なＸ座標、Ｙ座標は（０、０）から最大（４００、２００）の範囲に含まれることができる。
【０１４７】
図１５のように、ＷＦＤシンクは、ＵＩＢＣ包括入力ボディ内にストリーム情報を含んで送信することができる。ＷＦＤソースは、ストリーム情報に基づいてＷＦＤシンクがどのＵＩイメージ上で動作したかに対して決定できる。例えば、ＷＦＤシンクは、ＵＩイメージ１  １５００上の特定部分座標（３９０、２００）に対して左側マウスダウンをしてクリックし（ステップＳ１５１０）、ビデオストリームに基づくビデオイメージを基準にして特定部分座標（１７００、８００）にマウスを移動し（ステップＳ１５２０）、ＵＩイメージ２  １５５０上の特定位置座標（２００、１００）でＭｏｕｓｅ  ｕｐ動作をすることができる（ステップＳ１５３０）。
【０１４８】
このように、ＷＦＤシンクは、全体画面を基準にする座標値伝達でないオーバーレイされる各々のイメージ（または、オーバーレイされるストリーム）（例えば、ＵＩイメージ）を基準にする座標を伝達することができる。したがって、ＷＦＤシンクのディスプレイ上で各オーバーレイされるＵＩの位置が変更される場合、ＷＦＤソースは、ＷＦＤシンクから送信されるＵＩＢＣ包括入力ボディ内にストリーム情報に基づいてユーザ入力信号によるユーザ動作を正確に解釈（または、決定）することができる。
【０１４９】
また、本発明の実施例ではユーザインターフェース及びサブタイトルがオーバーレイ多重化に基づいて送信される場合、ＷＦＤシンクのディスプレイに最適化されたＵＩとサブタイトルの設定及び出力のために下記のような方法が使われることができる。ＵＩとサブタイトルは、補助コンテンツ（ａｕｘｉｌｉａｒｙ  ｃｏｎｔｅｎｔｓ）、ＵＩとサブタイトルのためのストリームは、補助ストリーム（ａｕｘｉｌｉａｒｙ  ｃｏｎｔｅｎｔｓ）という用語で表現されることができる。ＷＦＤソースでサポート可能な補助コンテンツ（補助ストリーム）の解像度とＷＦＤシンクのネイティブ解像度（または、パネル解像度）を比較し、二つのうち解像度が低いものがＷＦＤシンクで出力される補助コンテンツ（補助ストリーム）の解像度で設定されることができる。
【０１５０】
数式として、ＷＦＤシンクで補助コンテンツのための解像度（Ｒｅｓｏｌｕｔｉｏｎ  ｆｏｒ  ａｕｘｉｌｉａｒｙ  ｃｏｎｔｅｎｔｓ  ｉｎ  ＷＦＤ  ｓｉｎｋ）＝Ｍｉｎｉｍｕｍ｛ソース装置（または、ＷＦＤソース）の最大解像度（Ｓｏｕｒｃｅ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｏｕｒｃｅ）’ｓ  ｍａｘｉｍｕｍ  ｒｅｓｏｌｕｔｉｏｎ）、シンク装置（または、ＷＦＤシンク）のネイティブ解像度（Ｓｉｎｋ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｉｎｋ）’ｓ  ｎａｔｉｖｅ  ｒｅｓｏｌｕｔｉｏｎ）｝で表現されることができる。
【０１５１】
例えば、ＷＦＤソースの最大解像度が２０４８×１０８０（２ｋ）であり、ＷＦＤシンクのネイティブ解像度が３８４０×２１６０（または、４０９６×２１６０）（４ｋ）であり、シンク装置の最大解像度が２ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、２ｋである。
【０１５２】
他の例として、ＷＦＤソースの最大解像度が４ｋであり、ＷＦＤシンクのネイティブ解像度が４ｋであり、シンク装置の最大解像度が２ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、４ｋである。
【０１５３】
また、本発明の実施例ではユーザインターフェース及びサブタイトルがオーバーレイ多重化に基づいて送信される場合、ＷＦＤシンクのディスプレイに最適化されたＵＩとサブタイトルの設定及び出力のために下記のような方法が使われることができる。
【０１５４】
ＷＦＤソースの補助コンテンツ（または、補助ストリーム）のためにサポート可能な最大解像度とＷＦＤシンクの補助コンテンツ（または、補助ストリーム）のためにサポート可能な最大解像度を比較し、二つのうち低い解像度がＷＦＤシンクで出力される補助コンテンツ（または、補助ストリーム）に対する最大解像度である。
【０１５５】
数式として、ＷＦＤシンクで補助ストリームのための解像度（Ｒｅｓｏｌｕｔｉｏｎ  ｆｏｒ  ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍｓ  ｉｎ  ＷＦＤ  ｓｉｎｋ）＝Ｍｉｎｉｍｕｍ｛ソース装置（または、ＷＦＤソース）の補助ストリームの最大解像度（Ｓｏｕｒｃｅ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｏｕｒｃｅ）’ｓ  ｍａｘｉｍｕｍ  ｒｅｓｏｌｕｔｉｏｎ  ｏｆ  ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍｓ及びシンク装置（または、ＷＦＤシンク）の補助ストリームの最大解像度（Ｓｉｎｋ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｉｎｋ）’ｓ  ｍａｘｉｍｕｍ  ｒｅｓｏｌｕｔｉｏｎ  ｏｆ  ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍｓ）｝である。
【０１５６】
例えば、ＷＦＤソースで補助ストリームに対して最大サポート可能な解像度が２０４８×１０８０（２ｋ）であり、ＷＦＤシンクで補助ストリームに対して最大サポート可能な解像度が３８４０×２１６０（４ｋ）である場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、２ｋである。
【０１５７】
他の例として、ＷＦＤソースで補助ストリームに対して最大サポート可能な解像度が４ｋであり、ＷＦＤシンクで補助ストリームに対して最大サポート可能な解像度が２ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、４ｋである。
【０１５８】
図１６は、本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。
【０１５９】
図１６を参照すると、ＷＦＤソースは、ＷＦＤ２サービス探索（ｓｅｒｖｉｃｅ  ｄｉｓｃｏｖｅｒｙ）とＲＴＳＰ能力交渉（ｃａｐａｂｉｌｉｔｙ  ｎｅｇｏｔｉａｔｉｏｎ）に基づいてＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報／サポート可能な補助ストリームの最大解像度に対する情報を取得することができる。
【０１６０】
例えば、ＷＦＤソースは、ＷＦＤ２サービス探索要求フレーム１６００をＷＦＤシンクに送信することができる。ＷＦＤシンクは、ＷＦＤ２サービス探索要求フレーム１６００に対する応答としてＷＦＤ２サービス探索応答フレーム１６１０をＷＦＤソースに送信することができる。ＷＦＤシンクのＷＦＤ２サービス探索応答フレーム１６１０は、補助ストリームフォーマット副要素（ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍ  ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔ）を含むことができる。補助ストリームフォーマット副要素は、補助ストリームコーデックビットマップ、参照オーバーレイ解像度ビットマップを含むことができる。補助ストリームコーデックビットマップは、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報を含み、参照オーバーレイ解像度ビットマップは、ＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報を含むことができる。
【０１６１】
また、ＲＴＳＰ  Ｍ３要求メッセージ（Ｍ３  ＲＴＳＰ  ＧＥＴ  ＰＡＲＡＭＥＴＥＲ  Ｒｅｑｕｅｓｔ）１６２０／ＲＴＳＰ  Ｍ３応答メッセージ（Ｍ３  ＲＴＳＰ  ＧＥＴ  ＰＡＲＡＭＥＴＥＲ  Ｒｅｓｐｏｎｓｅ）１６３０に基づいてＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報／サポート可能な補助ストリームの最大解像度に対する情報が取得されることもできる。
【０１６２】
ＲＴＳＰ  Ｍ３応答メッセージ１６３０は、補助ストリームフォーマットを含むことができる。補助ストリームフォーマットは、補助ストリームコーデックビットマップ、参照オーバーレイ解像度ビットマップを含むことができる。補助ストリームコーデックビットマップは、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報を含み、参照オーバーレイ解像度ビットマップは、ＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報を含むことができる。
【０１６３】
補助ストリームコーデックビットマップは、以下の表６のように定義されることができる。
【０１６４】
【表６】
0006430646.tif 000007
【０１６５】
表６を参照すると、補助ストリームコーデックビットマップは、サポートされる補助コンテンツのコーデックに対する情報を含むことができる。補助ストリームコーデックビットマップで、１番目のビットは、ＰＮＧフォーマットの補助コンテンツをサポートするかどうかに対する情報を指示し、２番目のビットは、ＪＰＥＧフォーマットの補助コンテンツをサポートするかどうかに対する情報を指示することができる。
【０１６６】
参照オーバーレイ解像度ビットマップは、以下の表７のように定義されることができる。
【０１６７】
【表７】
0006430646.tif 000008
【０１６８】
表７を参照すると、参照オーバーレイ解像度ビットマップは、補助ストリームを生成するためにサポートされる解像度を示すためのビットを含むことができる。
【０１６９】
補助ストリームのためのサポートされる解像度／リフレッシュレートは、ＣＥＡ（Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ａｓｓｏｃｉａｔｉｏｎ）、ＶＥＳＡ（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）、ＨＨ（ｈａｎｄｈｅｌｄ）フォーマットの解像度／リフレッシュレートを参照することができる。
【０１７０】
参照オーバーレイ解像度ビットマップの１：０ビット情報を介して参照するグラフィックフォーマットに対する情報を含み、７：２ビット情報に基づいて１：０ビット情報を介して選択されたグラフィックフォーマットでサポートされる全ての解像度に対する情報が指示されることができる。
【０１７１】
表８は、ＣＥＡ解像度／リフレッシュレートに対するインデックスを例示的に示す。
【０１７２】
【表８】
0006430646.tif 000009
【０１７３】
または、本発明の実施例ではユーザインターフェース及びサブタイトルがオーバーレイ多重化に基づいて送信される場合、ＷＦＤシンクのディスプレイに最適化されたＵＩとサブタイトルの設定及び出力のために下記のような方法が使われることができる。
【０１７４】
ＷＦＤシンクで出力される補助コンテンツ（または、補助ストリーム）の解像度は、１）ＷＦＤソースの補助ストリームに対する最大解像度、２）ＷＦＤシンクのネイティブ解像度及びＷＦＤシンクの補助ストリームの最大解像度のうち最小値に対して１）、２）の最小値である。
【０１７５】
数式として、補助ストリームのための解像度（Ｒｅｓｏｌｕｔｉｏｎ  ｆｏｒ  ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍｓ）＝Ｍｉｎｉｍｕｍ｛ソース装置（または、ＷＦＤソース）の補助ストリームの最大解像度（Ｓｏｕｒｃｅ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｏｕｒｃｅ）’ｓ  ｍａｘｉｍｕｍ  ｒｅｓｏｌｕｔｉｏｎ  ｏｆ  ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍｓ）、Ｍｉｎｉｍｕｍ［シンク装置のネイティブ解像度（Ｓｉｎｋ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｉｎｋ）’ｓ  ｎａｔｉｖｅ  ｒｅｓｏｌｕｔｉｏｎ）、シンク装置（または、ＷＦＤシンク）の補助ストリームの最大解像度（Ｓｉｎｋ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｉｎｋ）’ｓ  ｍａｘｉｍｕｍ  ｒｅｓｏｌｕｔｉｏｎ  ｏｆ  ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍｓ）］｝である。
【０１７６】
例えば、ＷＦＤソースで補助ストリームに対して最大サポート可能な解像度が２ｋであり、ＷＦＤシンクで補助ストリームに対して最大サポート可能な解像度が２ｋであり、ＷＦＤシンクでネイティブ解像度が４ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、２ｋである。
【０１７７】
図１７は、本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。
【０１７８】
図１７を参照すると、ＷＦＤソースは、ＷＦＤサービス探索手順とＲＴＳＰ能力交渉手順に基づいてＷＦＤシンクのネイティブ解像度に対する情報、ＷＦＤシンクの最大ビデオ解像度（ｍａｘ  ｖｉｄｅｏ  ｒｅｓｏｌｕｔｉｏｎ）に対する情報、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報及びサポート可能な補助ストリームの最大解像度に対する情報を取得することができる。
【０１７９】
例えば、ＷＦＤソースは、ＷＦＤ２サービス探索要求フレーム１７００をＷＦＤシンクに送信することができる。ＷＦＤシンクは、ＷＦＤ２サービス探索要求フレーム１７００に対する応答としてＷＦＤ２サービス探索応答フレーム１７１０をＷＦＤソースに送信することができる。ＷＦＤシンクのＷＦＤ２サービス探索応答フレーム１７１０は、ビデオフォーマット副要素（ｖｉｄｅｏ  ｆｏｒｍａｔ  ｓｕｂｅｌｅｍｅｎｔ）及び補助ストリームフォーマット副要素（ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍ  ｆｏｒｍａｔｓ  ｓｕｂｅｌｅｍｅｎｔ）を含むことができる。
【０１８０】
ビデオフォーマット副要素（ｖｉｄｅｏ  ｆｏｒｍａｔ  ｓｕｂｅｌｅｍｅｎｔ）は、ＷＦＤシンクのネイティブ解像度に対する情報及びＷＦＤシンクの最大ビデオ解像度に対する情報を含むことができる。
【０１８１】
補助ストリームフォーマット副要素は、補助ストリームコーデックビットマップ、参照オーバーレイ解像度ビットマップを含むことができる。補助ストリームコーデックビットマップは、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報を含み、参照オーバーレイ解像度ビットマップは、ＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報を含むことができる。
【０１８２】
また、ＲＴＳＰ  Ｍ３要求メッセージ（Ｍ３  ＲＴＳＰ  ＧＥＴ  ＰＡＲＡＭＥＴＥＲ  Ｒｅｑｕｅｓｔ）１７２０／ＲＴＳＰ  Ｍ３応答メッセージ（Ｍ３  ＲＴＳＰ  ＧＥＴ  ＰＡＲＡＭＥＴＥＲ  Ｒｅｓｐｏｎｓｅ）１７３０に基づいてＷＦＤシンクのネイティブ解像度に対する情報、ＷＦＤシンクの最大ビデオ解像度に対する情報、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報及びサポート可能な補助ストリームの最大解像度に対する情報を取得することができる。
【０１８３】
ＲＴＳＰ  Ｍ３応答メッセージ１７３０は、ビデオフォーマット及び補助ストリームフォーマットを含むことができる。
【０１８４】
ビデオフォーマットは、ＷＦＤシンクのネイティブ解像度に対する情報及びＷＦＤシンクの最大ビデオ解像度に対する情報を含むことができる。
【０１８５】
補助ストリームフォーマットは、補助ストリームコーデックビットマップ、参照オーバーレイ解像度ビットマップを含むことができる。補助ストリームコーデックビットマップは、ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報を含み、参照オーバーレイ解像度ビットマップは、ＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報を含むことができる。
【０１８６】
ＷＦＤソースは、ＷＦＤ２サービス探索応答フレーム１７１０／ＲＴＳＰ  Ｍ３応答メッセージ１７３０に含まれる情報に基づいてＷＦＤシンクに送信する補助コンテンツの解像度を決定することができる。
【０１８７】
以下の表９は、ビデオフォーマット副要素に含まれるＷＦＤシンクのネイティブ解像度に対する情報を示すビットマップに対する説明である。
【０１８８】
【表９】
0006430646.tif 000010
【０１８９】
選択されたグラフィックフォーマットでサポートされる解像度に対するインデックスに基づいてＷＦＤシンクのネイティブ解像度に対する情報が指示されることができる。具体的に、ビデオフォーマット副要素ではＣＥＡ、ＶＥＳＡ、ＨＨのうち、一つの解像度／リフレッシュレートに対するインデックスを介してＷＦＤシンクのネイティブ解像度に対する情報が指示されることができる。
【０１９０】
ＷＦＤシンクでサポート可能な補助ストリームのフォーマットに対する情報及びＷＦＤシンクでサポート可能な補助ストリームの最大解像度に対する情報は、前述した表６及び表７のようなビットマップに基づいて送信されることができる。
【０１９１】
または、本発明の実施例ではユーザインターフェース及びサブタイトルがオーバーレイ多重化に基づいて送信される場合、ＷＦＤシンクのディスプレイに最適化されたＵＩとサブタイトルの設定及び出力のために下記のような方法が使われることができる。
【０１９２】
ＷＦＤシンクで出力される補助コンテンツ（または、補助ストリーム）の解像度は、１）ＷＦＤソースの最大解像度、２）ＷＦＤシンクのネイティブ解像度及びＷＦＤシンクの最大解像度の最小値に対して１）、２）の最小値である。
【０１９３】
数式として、ＷＦＤシンクで補助ストリームのための解像度（Ｒｅｓｏｌｕｔｉｏｎ  ｆｏｒ  ａｕｘｉｌｉａｒｙ  ｓｔｒｅａｍｓ  ｉｎ  ＷＦＤ  ｓｉｎｋ）＝Ｍｉｎｉｍｕｍ｛ソース装置（または、ＷＦＤソース）の最大解像度（Ｓｏｕｒｃｅ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｏｕｒｃｅ）′ｓ  ｍａｘｉｍｕｍ  ｒｅｓｏｌｕｔｉｏｎ）、Ｍｉｎｉｍｕｍ［シンク装置のネイティブ解像度（Ｓｉｎｋ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｉｎｋ）’ｓ  ｎａｔｉｖｅ  ｒｅｓｏｌｕｔｉｏｎ）、シンク装置（または、ＷＦＤシンク）の最大解像度（Ｓｉｎｋ  ｄｅｖｉｃｅ（ＷＦＤ  ｓｉｎｋ）’ｓ  ｍａｘｉｍｕｍ  ｒｅｓｏｌｕｔｉｏｎ）］｝である。
【０１９４】
ＷＦＤソースの最大解像度は、ソースにより選択される特定ＡＵＸ（ａｕｘｉｌｉａｒｙ）コーデックによりサポートされる補助ストリームに対するサポート可能な最大解像度である。
【０１９５】
ＷＦＤシンクの最大解像度は、ＲＴＳＰ  Ｍ３応答メッセージに含まれる最大解像度情報に基づいて指示されることができる。ＷＦＤシンクの最大解像度に対する情報は、ＲＴＳＰ  Ｍ３応答メッセージのｗｆｄ−ｖｉｄｅｏ−ｃｏｄｅｃｓ、ｗｆｄ−３ｄ−ｖｉｄｅｏ−ｆｏｒｍａｔｓ、ｗｆｄ−ｐｒｅｆｅｒｒｅｄ−ｄｉｓｐｌａｙ−ｍｏｄｅのようなパラメータに含まれることができる。
【０１９６】
ＷＦＤシンクのネイティブ解像度は、ＲＴＳＰ  Ｍ３応答メッセージに含まれるネイティブ解像度情報に基づいて指示されることができる。ネイティブ解像度情報は、ＲＴＳＰ  Ｍ３応答メッセージのｗｆｄ−ｖｉｄｅｏ−ｃｏｄｅｃｓ、ｗｆｄ−３ｄ−ｖｉｄｅｏ−ｆｏｒｍａｔｓ、ｗｆｄ−ｐｒｅｆｅｒｒｅｄ−ｄｉｓｐｌａｙ−ｍｏｄｅのようなパラメータに含まれることができる。
【０１９７】
例えば、ＷＦＤソースの最大解像度が２ｋであり、ＷＦＤシンクの最大解像度が２ｋであり、ＷＦＤシンクのネイティブ解像度が４ｋである場合、ＷＦＤシンクで出力される補助コンテンツの解像度は、２ｋである。
【０１９８】
図１８は、本発明の実施例に係る補助ストリームのための解像度を決定する方法を示す概念図である。
【０１９９】
図１８を参照すると、ＷＦＤソースは、ＷＦＤサービス探索手順とＲＴＳＰ能力交渉手順に基づいてＷＦＤシンクのネイティブ解像度に対する情報、ＷＦＤシンクの最大解像度に対する情報を取得することができる。
【０２００】
例えば、ＷＦＤソースは、ＷＦＤ２サービス探索要求フレーム１８００をＷＦＤシンクに送信することができる。ＷＦＤシンクは、ＷＦＤ２サービス探索要求フレーム１８００に対する応答としてＷＦＤ２サービス探索応答フレーム１８１０をＷＦＤソースに送信することができる。ＷＦＤシンクのＷＦＤ２サービス探索応答フレーム１８１０は、ビデオフォーマット副要素を含むことができる。
【０２０１】
ビデオフォーマット副要素は、ＷＦＤシンクのネイティブ解像度に対する情報及びＷＦＤシンクの最大解像度に対する情報を含むことができる。
【０２０２】
また、ＲＴＳＰ  Ｍ３要求メッセージ（Ｍ３  ＲＴＳＰ  ＧＥＴ  ＰＡＲＡＭＥＴＥＲ  Ｒｅｑｕｅｓｔ）１８２０／ＲＴＳＰ  Ｍ３応答メッセージ（Ｍ３  ＲＴＳＰ  ＧＥＴ  ＰＡＲＡＭＥＴＥＲ  Ｒｅｓｐｏｎｓｅ）１８３０に基づいてＷＦＤシンクのネイティブ解像度に対する情報、ＷＦＤシンクの最大解像度に対する情報を取得することができる。
【０２０３】
ＲＴＳＰ  Ｍ３応答メッセージ１８３０は、ビデオフォーマットを含むことができる。
【０２０４】
ビデオフォーマットは、ＷＦＤシンクのネイティブ解像度に対する情報及びＷＦＤシンクの最大解像度に対する情報を含むことができる。
【０２０５】
ＷＦＤソースは、ＷＦＤ２サービス探索応答フレーム１８１０／ＲＴＳＰ  Ｍ３応答メッセージ１８３０に含まれる情報に基づいてＷＦＤシンクに送信する補助コンテンツの解像度を決定することができる。
【０２０６】
図１９は、本発明の実施例が適用されることができる無線装置を示すブロック図である。
【０２０７】
図１９を参照すると、無線装置は、前述した実施例を具現することができるＷＦＤソース１９００及びＷＦＤシンク１９５０である。
【０２０８】
ＷＦＤソース１９００は、プロセッサ１９１０、メモリ１９２０及びＲＦ部（ｒａｄｉｏ  ｆｒｅｑｕｅｎｃｙ  ｕｎｉｔ）１９３０を含む。
【０２０９】
ＲＦ部１９３０は、プロセッサ１９１０と連結して無線信号を送信／受信することができる。
【０２１０】
プロセッサ１９１０は、本発明で提案された機能、過程及び／または方法を具現することができる。例えば、プロセッサ１９１０は、前述した本発明の実施例に係るＷＦＤソース１９００の動作を実行するように具現されることができる。プロセッサは、図１乃至図１８の実施例で開示したＷＦＤソース１９００の動作を実行することができる。
【０２１１】
例えば、プロセッサ１９１０は、ＷＦＤシンクにサービス能力（ｓｅｒｖｉｃｅ  ｃａｐａｂｉｌｉｔｙ）を探索するためのＷＦＤサービス探索要求フレームを送信し、ＷＦＤシンクからＷＦＤサービス探索要求フレームに対する応答としてＷＦＤサービス探索応答フレームを受信し、ＷＦＤサービス探索応答フレームに基づいてＷＦＤシンクとＷＦＤ接続（ｃｏｎｎｅｃｔｉｏｎ）を設定することができる。
【０２１２】
また、プロセッサ１９１０は、ＷＦＤ接続以後、ＷＦＤシンクと能力交渉（ｃａｐａｂｉｌｉｔｙ  ｎｅｇｏｔｉａｔｉｏｎ）手順のためにＲＴＳＰ（ｒｅａｌ  ｔｉｍｅ  ｓｔｒｅａｍｉｎｇ  ｐｒｏｔｏｃｏｌ）に基づくＲＴＳＰパラメータ要求メッセージを前記ＷＦＤシンクに送信し、ＲＴＳＰパラメータ要求メッセージに対する応答としてＲＴＳＰパラメータ応答メッセージをＷＦＤシンクに送信するように具現されることができる。
【０２１３】
また、プロセッサ１９１０は、能力交渉手順以後、第１の解像度のビデオデータを含むビデオストリーム、第２の解像度の補助データを含む補助ストリームをオーバーレイ多重化した送信ストリームをＷＦＤシンクに送信するように具現され、前述したＷＦＤ探索応答フレームは、第２の解像度の決定のための第２の解像度関連情報を含み、ＲＴＳＰパラメータ応答フレームは、前記第２の解像度関連情報を含むことができる。
【０２１４】
補助データは、サブタイトルデータ、ユーザインターフェースデータを含むことができる。
【０２１５】
前述したように、第２の解像度と関連した情報は、ＷＦＤシンクのネイティブ解像度（ｎａｔｉｖｅ  ｒｅｓｏｌｕｔｉｏｎ）に対する情報を含み、第１の解像度は、前記ＷＦＤソースのネイティブ解像度に基づいて決定され、第２の解像度は、前記ＷＦＤシンクのネイティブ解像度に基づいて決定されることができる。
【０２１６】
または、第２の解像度と関連した情報は、ＷＦＤシンクの補助データに対してサポートされる最大解像度に対する情報を含み、第１の解像度は、ＷＦＤソースのネイティブ解像度に基づいて決定され、第２の解像度は、ＷＦＤシンクの補助データに対してサポートされる最大解像度に対する情報に基づいて決定されることができる。
【０２１７】
ビデオデータは、ＷＦＤシンクで再スケーリングされて前記第１の解像度と異なる解像度で出力され、補助データは、前記ＷＦＤシンクで再スケーリングすることなく前記第２の解像度で出力されることができる。
【０２１８】
また、プロセッサ１９１０は、ＷＦＤシンクからＵＩＢＣ（ｕｓｅｒ  ｉｎｐｕｔ  ｂａｃｋ  ｃｈａｎｎｅｌ）を介してＷＦＤシンク上でユーザ動作によるユーザ動作情報を受信し、ユーザ動作情報に対応される動作を実行するように具現されることができる。
【０２１９】
ユーザ動作情報は、ストリーム情報を含み、ストリーム情報は、ユーザ動作がＷＦＤシンクで出力されるビデオデータ及び補助データの各々に基づくオーバーレイされた複数のイメージのうちどのイメージ上で実行されるかを指示する識別情報を含むことができる。
【０２２０】
ＷＦＤシンク１９５０は、プロセッサ１９６０、メモリ１９７０及びＲＦ部（ｒａｄｉｏ  ｆｒｅｑｕｅｎｃｙ  ｕｎｉｔ）１９８０を含む。
【０２２１】
ＲＦ部１９８０は、プロセッサ１９６０と連結して無線信号を送信／受信することができる。
【０２２２】
プロセッサ１９６０は、本発明で提案された機能、過程及び／または方法を具現することができる。例えば、プロセッサ１９６０は、前述した本発明の実施例に係るＷＦＤシンク１９５０の動作を実行するように具現されることができる。プロセッサは、図１乃至図１８の実施例でＷＦＤシンク１９５０の動作を実行することができる。
【０２２３】
例えば、プロセッサ１９６０は、ＷＦＤソースにＷＦＤシンクで出力される補助データの解像度を決定するための情報を送信するように具現されることができる。例えば、プロセッサ１９６０は、ＷＦＤシンクのネイティブ解像度、ＷＦＤシンクで出力可能な補助コンテンツの解像度に対する情報などをＷＦＤサービス探索応答フレーム／ＲＴＳＰベースの応答メッセージに基づいて送信するように具現されることができる。
【０２２４】
プロセッサ１９６０は、ＷＦＤソースから受信した送信ストリーム（ＭＰＥＧ２−ＴＳ）を逆多重化し、ビデオストリームに含まれるビデオデータは、再スケーリングして異なる解像度でディスプレイ上に出力し、補助ストリーム（サブタイトルストリーム、ユーザインターフェースストリーム）に含まれるサブタイトルデータ、ユーザインターフェースデータは、再スケーリングすることなく受信したデータと同じ解像度で出力できる。
【０２２５】
プロセッサ１９１０、１９６０は、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、他のチップセット、論理回路、データ処理装置及び／またはベースバンド信号及び無線信号を相互変換する変換器を含むことができる。メモリ１９２０、１９７０は、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。ＲＦ部１９３０、１９８０は、無線信号を送信及び／または受信する一つ以上のアンテナを含むことができる。
【０２２６】
実施例がソフトウェアで具現される時、前述した技法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリ１９２０、１９７０に格納され、プロセッサ１９１０、１９６０により実行されることができる。メモリ１９２０、１９７０は、プロセッサ１９１０、１９６０の内部または外部にあり、よく知られた多様な手段でプロセッサ１９１０、１９６０と連結されることができる。
【図１】
0006430646.tif 000011
【図２】
0006430646.tif 000012
【図３】
0006430646.tif 000013
【図４】
0006430646.tif 000014
【図５】
0006430646.tif 000015
【図６】
0006430646.tif 000016
【図７】
0006430646.tif 000017
【図８】
0006430646.tif 000018
【図９】
0006430646.tif 000019
【図１０】
0006430646.tif 000020
【図１１】
0006430646.tif 000021
【図１２】
0006430646.tif 000022
【図１３】
0006430646.tif 000023
【図１４】
0006430646.tif 000024
【図１５】
0006430646.tif 000025
【図１６】
0006430646.tif 000026
【図１７】
0006430646.tif 000027
【図１８】
0006430646.tif 000028
【図１９】
0006430646.tif 000029