(57)【要約】【課題】ピクチャインピクチャ(PIP)を遂行するためのマルチメディア信号整合システム及び方法を提供する。【解決手段】基準フォーマットの信号をデコーディングする復号器を含み、PIPを遂行するための制御信号を生成する一以上のセットトップボックスと、放送通信網から種々のフォーマットのマルチメディア信号を受信し、該受信信号を、制御信号に応答して基準フォーマットに処理するマルチメディア整合装置203とを含む。マルチメディア整合装置203は、PIPの対象となるビデオ及びオーデオ信号を抽出する基準信号処理部300と、非基準フォーマットのマルチメディア信号をトランスコードして基準フォーマットの信号に変換する非基準信号処理部310と、制御信号に応答してビデオ信号のPIPとオーディオ信号の選択とを行い、セットトップボックスでデコーディングが可能なマルチメディア信号フォーマットに多重化するマルチメディア整合部312と、を含む。【選択図】図３
2006191641.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャインピクチャ機能を遂行するためのマルチメディア信号整合システムであって、
所定の基準フォーマットの信号をデコーディングする復号器を含み、前記ピクチャインピクチャ機能を遂行するための制御信号を生成する少なくとも一のセットトップボックスと、
放送通信網から様々なフォーマットのマルチメディア信号を受信し、該受信されたマルチメディア信号を、前記制御信号に応答して前記所定の基準フォーマットに処理するマルチメディア整合装置と、からなり、
前記マルチメディア整合装置は、
前記マルチメディア信号からピクチャインピクチャ機能を遂行するためのビデオ及びオーデオ信号を抽出する基準信号処理部と、
前記マルチメディア信号が非基準フォーマットの信号である場合に、トランスコーディングを遂行して予め定められた基準フォーマットの信号に変換する非基準信号処理部と、
前記制御信号に応答してビデオ信号の表示につきピクチャインピクチャ機能を遂行し、前記セットトップボックスでのデコーディングが可能なマルチメディア信号フォーマットに多重化されるべきオーディオ信号を選択するマルチメディア整合部と、
を含むことを特徴とするマルチメディア信号整合システム。
【請求項２】
前記セットトップボックスからピクチャインピクチャ機能が遂行されたマルチメディア信号を受信して表示するためのユーザーディスプレー装置をさらに含む
ことを特徴とする請求項１記載のマルチメディア信号整合システム。
【請求項３】
前記マルチメディア整合装置の基準信号処理部は、予め定められた基準フォーマットのマルチメディア信号を、ピクチャインピクチャ機能を適用するためのビデオ及びオーディオ信号に逆多重化するための逆多重化器をさらに含む
ことを特徴とする請求項１記載のマルチメディア信号整合システム。
【請求項４】
前記マルチメディア整合装置の非基準信号処理部は、
イーサネット（登録商標）信号を処理して非基準フォーマットのマルチメディア信号を抽出するためのイーサネット処理部と、
前記制御信号に応答して画像通話信号を処理する画像通話信号処理部と、
非基準フォーマットのマルチメディア信号を、予め定められた基準フォーマットの信号にトランスコーディングするための復号器と、
を含むことを特徴とする請求項１記載のマルチメディア信号整合システム。
【請求項５】
前記制御信号は、ピクチャインピクチャ機能の遂行要求に関する情報を含む信号である
ことを特徴とする請求項４記載のマルチメディア信号整合システム。
【請求項６】
前記マルチメディア整合装置のマルチメディア整合部は、
前記制御信号に応答して、ピクチャインピクチャ機能の適用対象となる前記ビデオ信号を受信し、ピクチャインピクチャ機能が適用されたビデオストリームを生成するためのリソースを割り当てるピクチャインピクチャ生成部と、
前記オーディオ信号を受信し、前記制御信号に応答して、再生のためのオーディオ信号を選択してオーディオ信号ストリームを生成するオーディオ信号選択器と、
前記ピクチャインピクチャ機能が適用されたビデオストリームと前記オーディオ信号ストリームとを多重化して前記セットトップボックスに供給するための多重化器と、
を含むことを特徴とする請求項１記載のマルチメディア信号整合システム。
【請求項７】
前記制御信号は、ピクチャインピクチャマルチメディア信号を形成するために必要なリソース割当情報を含む
ことを特徴とする請求項６記載のマルチメディア信号整合システム。
【請求項８】
前記セットトップボックスは、前記マルチメディア整合装置から出力されたマルチメディア信号のフォーマットと同一の基準フォーマットを用いて信号をデコーディングする
ことを特徴とする請求項１記載のマルチメディア信号整合システム。
【請求項９】
ピクチャインピクチャ機能を遂行するためのマルチメディア信号の整合方法であって、
マルチメディア信号とピクチャインピクチャ機能を遂行するための制御信号とを受信する段階と、
受信されたマルチメディア信号が基準フォーマットの信号であるか否かを判定する段階と、
受信されたマルチメディア信号が前記基準フォーマットの信号でない場合に、トランスコーディングを遂行して前記基準フォーマットの信号に変換する段階と、
受信されたマルチメディア信号が前記基準フォーマットの信号である場合に、ピクチャインピクチャ機能を遂行するためのビデオ及びオーディオ信号を抽出する段階と、
前記制御信号を用いて、前記抽出されたビデオ信号にピクチャインピクチャ機能を遂行し、該ビデオ信号を選択されたオーディオ信号と多重化する段階と、
を有することを特徴とする方法。
【請求項１０】
前記トランスコーディングを遂行する段階は、マルチメディア信号を逆多重化し、ピクチャインピクチャの適用対象となるビデオ信号を抽出し、該抽出されたビデオ信号を、前記制御信号に応答して処理する
ことを特徴とする請求項９記載の方法。
【請求項１１】
前記制御信号は、ピクチャインピクチャ機能の遂行要求に関する情報と、ピクチャインピクチャの遂行に必要なリソース割当情報と、を含む信号である
ことを特徴とする請求項９記載の方法。
【請求項１２】
前記受信されたマルチメディア信号が前記基準フォーマットの信号でない場合に、該マルチメディア信号がイーサネット（登録商標）信号であるか否かについて判定し、否であれば、該受信されたマルチメディア信号を、前記トランスコーディングの遂行をすることなくデコーディングする
ことを特徴とする請求項９記載の方法。
【請求項１３】
ピクチャインピクチャ機能を遂行するためのマルチメディア信号整合システムであって、
少なくとも一のセットトップボックスと結合され、様々なフォーマットで構成されるマルチメディア信号を受信するマルチメディア整合装置を含み、
該マルチメディア整合装置は、ピクチャインピクチャを遂行するためのマルチメディア信号からビデオとオーディオ信号を抽出する基準信号処理部と、
予め定められた基準フォーマットではないマルチメディア信号を、予め定められた基準フォーマットの信号にトランスコーディングする非基準信号処理部と、
を含むことを特徴とするマルチメディア信号整合システム。
【請求項１４】
ビデオ信号の表示につきピクチャインピクチャ機能を遂行し、かつ、前記セットトップボックスでのデコーディングが可能なマルチメディア信号フォーマットに多重化されるべきオーディオ信号を選択するマルチメディア整合部をさらに含む
ことを特徴とする請求項１３記載のマルチメディア信号整合システム。
【請求項１５】
信号を、予め定められた基準フォーマットの信号にデコーディングするデコーダーを含む少なくとも一のセットトップボックスを有する
ことを特徴とする請求項１３記載のマルチメディア信号整合システム。
【請求項１６】
前記セットトップボックスからピクチャインピクチャ機能が適用されたマルチメディア信号を受信し連続して表示するためのユーザーディスプレー装置をさらに含むこと
を特徴とする請求項１３記載のマルチメディア信号整合システム。
【請求項１７】
前記セットトップボックスは、前記マルチメディア整合装置から出力されたマルチメディア信号のフォーマットと同一のフォーマットを用いて信号をデコーディングすること
を特徴とする請求項１４記載のマルチメディア信号整合システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送通信融合システムに関し、特に、様々なフォーマットのビデオデータにピクチャインピクチャ機能を遂行するためのマルチメディア信号整合システム及び方法に関するものである。
【背景技術】
【０００２】
ネットワーク融合(ｎｅｔｗｏｒｋ  ｃｏｎｖｅｒｇｅｎｃｅ)は、音声、ビデオ、データの伝送を含む統合されたネットワーク環境であり、放送及び通信網を通じて、統合されたサービス及びアプリケーションを含んで発展されている。このうち、通信網を通じた放送サービスとしては、インターネットを通じたＴＶ放送サービス、既存の放送局などによるＶＯＤ(Ｖｉｄｅｏ  ｏｎ  Ｄｅｍａｎｄ)サービス、及び、通信用衛星を用いた直接衛星放送（ダイレクト・ブロードキャスト・サテライト：ＤＢＳ）などがある。一方、放送網を通じた通信サービスには、ケーブル網を用いたインターネット又は電話サービスのような付加通信サービスがある。放送−通信融合は、超高速コンピュータネットワーク事業、広範に発展されたインターネットアクセス、通信網の広帯域化のようなハードウェア的発展と、ＨＤＴＶ(Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ)、ケーブルＴＶ、衛星放送のようなソフトウェア的発展と、の双方によって支えられている。その結果、現在の放送通信システムは、ユーザーに放送サービスを提供する場合に、既存の放送信号のみを受信して表示（ディスプレー）するといった単純な機能に留まらない。すなわち、現在の放送通信システムは、放送と通信が融合されたネットワークから様々なフォーマットを有するマルチメディア信号を受信し、当該受信した信号をデコーディングして、デコード後の信号を表示する必要がある。 
【０００３】
上記した放送と通信の融合されたサービスを提供するために、様々な伝送技術が提案され開発されている。それに伴い、ネットワークを通じたマルチメディア信号（すなわちビデオ信号及びオーディオ信号）も、様々なフォーマットのものが放送通信網を通じてユーザーに提供される。このマルチメディア信号の伝送フォーマットは、ＭＰＥＧ(Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ)フォーマットを含む。このＭＰＥＧは、ビデオとオーディオ信号のエンコーディングの標準を開発するために結成されたワーキンググループである。放送信号のフォーマットとしてのＭＰＥＧは、多数のフォーマットを有する。通信システムにマルチメディア信号を伝送するために、各ビデオ信号及びオーディオ信号用の種々の伝送フォーマットが使用される。
【０００４】
ここで、２つのマルチメディア信号が相異なる出所（信号源）から受信されるときには、ピクチャインピクチャ(Ｐｉｃｔｕｒｅ  ｉｎ  Ｐｉｃｔｕｒｅ：以下、“ＰＩＰ”とも称する。)、すなわち、同一画面上に２つ（２種類）のビデオ信号を同時に表示する機能が用いられる場合がある。このとき、同一のフォーマットの信号を受信し、同時に表示する場合には、何ら問題は生じない。しかしながら、相異なるフォーマットの映像信号（すなわちビデオ信号）を受信してこれをＰＩＰ機能で表示する場合には、複数のデコーダー（復号器）を使用する必要がある。
【０００５】
図１は、従来の一般的なデジタル放送通信システムの受信部を概略的に示す図である。図１に示すように、従来の放送通信網１０１を介したデジタル放送通信システムの受信部（すなわち受信端側の構成）は、放送通信網１０１から放送通信信号を受信するセットトップボックス１０３，１０７と、ユーザーディスプレー装置１０５，１０９とを含む。
【０００６】
セットトップボックス１０３，１０７は、様々なフォーマットで受信されるマルチメディア信号を復号するための複数の復号器を含む。これらセットトップボックス１０３，１０７は、 複数のチャンネルから受信される信号を、復調器を通じてバイナリ信号に変換する。その後、バイナリ信号は、逆多重化器によって、オーディオ、ビデオ、データ信号に分割され、これらがさらにデコーディングされる。セットトップボックス１０３，１０７は、受信された信号を、ユーザーディスプレー装置１０５，１０９で表示可能な信号に変換する。
【０００７】
前述したように、従来の放送通信ネットワークで様々なフォーマットのビデオ信号についてＰＩＰ機能を遂行するためには、各マルチメディアフォーマットを復号するための復号器を付加的に備えたセットトップボックス１０３，１０７が必要であった。その結果、マルチメディア信号のフォーマットにＰＩＰを適用するためには、それぞれの受信されるマルチメディア信号に該当する復号器をすべて備えなければならないことになる。
【０００８】
すなわち、もしも２個或いはそれ以上のセットトップボックスが家内で使用されているのであれば、同一のフォーマットのマルチメディア信号を受信する場合には問題にならない。しかしながら、様々なフォーマットを有するマルチメディア信号についてＰＩＰを適用して表示（ディスプレー）する場合には、各セットトップボックスは、様々なフォーマットを復号するための多数の復号器を備えている必要があり、各フォーマットによる多数の復号器を備えなければＰＩＰ機能を遂行できない、という問題点があった。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
したがって、上記のような問題点を解決するために、本発明の目的は、ピクチャインピクチャ機能を遂行するための、マルチメディア信号整合システム及び方法を提供することにある。
【００１０】
本発明の他の目的は、様々な形態のフォーマットを有する放送信号を受信し、この受信された信号を用いてピクチャインピクチャ機能を遂行するマルチメディア信号整合システム及び方法を提供することにある。
【００１１】
さらに、本発明の目的は、ピクチャインピクチャ機能を有するマルチメディア整合装置を通じて、それぞれ単一の復号器を備えた複数のセットトップボックスにビデオ信号を提供するための、マルチメディア信号整合システム及び方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記した目的を達成するために、本発明は、ピクチャインピクチャ機能を遂行するためのマルチメディア信号整合システムであって、所定の基準フォーマットの信号をデコーディングする復号器を含み、前記ピクチャインピクチャ機能を遂行するための制御信号を生成する少なくとも一のセットトップボックスと、放送通信網から様々なフォーマットのマルチメディア信号を受信し、該受信されたマルチメディア信号を、前記制御信号に応答して前記所定の基準フォーマットに処理するマルチメディア整合装置と、からなる。
【００１３】
そして、上記マルチメディア整合装置は、基準フォーマットのマルチメディア信号を受信し、該受信したマルチメディア信号からピクチャインピクチャ機能を遂行するためのビデオ及びオーデオ信号を抽出する基準信号処理部と、基準フォーマットでない（すなわち非基準フォーマットの）マルチメディア信号を受信し、該受信したマルチメディア信号にトランスコーディングを遂行して予め定められた基準フォーマットの信号に変換する非基準信号処理部と、前記制御信号を使用してビデオ信号の表示についてピクチャインピクチャ機能を遂行し、前記セットトップボックスでのデコーディングが可能なマルチメディア信号フォーマットに多重化されるべきオーディオ信号を選択するマルチメディア整合部と、を含むことを特徴とする。
【００１４】
また、本発明は、ピクチャインピクチャ機能を遂行するためのマルチメディア信号の整合方法であって、マルチメディア信号とピクチャインピクチャ機能を遂行するための制御信号とを受信する段階と、受信されたマルチメディア信号が基準フォーマットの信号であるか否かを判定する段階と、受信されたマルチメディア信号が前記基準フォーマットの信号でない場合に、トランスコーディングを遂行して前記基準フォーマットの信号に変換する段階と、受信されたマルチメディア信号が前記基準フォーマットの信号である場合に、ピクチャインピクチャ機能を遂行するためのビデオ及びオーディオ信号を抽出する段階と、前記制御信号を用いて、前記抽出されたビデオ信号にピクチャインピクチャ機能を遂行し、該ビデオ信号を選択されたオーディオ信号と多重化する段階と、を有することを特徴とする。
【００１５】
さらに、本発明は、ピクチャインピクチャ機能を遂行するためのマルチメディア信号整合システムであって、少なくとも一のセットトップボックスと結合され、様々なフォーマットで構成されるマルチメディア信号を受信するマルチメディア整合装置を含み、該マルチメディア整合装置は、ピクチャインピクチャを遂行するためのマルチメディア信号からビデオとオーディオ信号を抽出する基準信号処理部と、予め定められた基準フォーマットではないマルチメディア信号を、予め定められた基準フォーマットの信号にトランスコーディングする非基準信号処理部と、を含むことを特徴とする。
【発明の効果】
【００１６】
本発明は、複数のフォーマットを有するマルチメディアデータにＰＩＰ機能を適用するマルチメディア整合装置を提案する。それによって、様々なフォーマットのマルチメディア信号を受信し、かつ受信した信号にＰＩＰ機能を適用することが可能となる。また、各セットトップボックスごとに備えるべき復号器をマルチメディア整合装置に装備することで、リソース使用の効率性が向上する効果が得られる。したがって、各セットトップボックスは、単一の復号器のみを使用して、マルチメディア整合装置から出力された、ＰＩＰ機能が適用されたマルチメディア信号をデコードし、該デコード後の信号をユーザーディスプレー装置に送ることが可能となる。また、マルチメディア整合装置を用いることによって、ユーザーは、マルチメディアサービスを利用しながら、同時に、ＰＩＰ画面を通じて画像通話を行うことができる、という効果も得られる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の望ましい実施形態を、添付図面を参照しながら詳細に説明する。
【００１８】
以下は、簡潔性及び明瞭性の観点より、本発明に関連した公知の機能や構成に関する説明が本発明の要旨を不明にすると判断された場合には、その詳細な説明を省略する。
【００１９】
図２は、本発明の実施形態によるピクチャインピクチャ機能を遂行するマルチメディア信号整合システムを概略的に示す図である。図２を参照すると、本実施形態における放送通信網２０１を介したデジタル放送通信システムの受信部（すなわち受信端側の構成）は、接続される放送通信網２０１から放送通信信号を受信するマルチメディア整合装置２０３と、このマルチメディア整合装置２０３の後段に（相互に並列に）接続されたセットトップボックス２０５，２０９と、各セットトップボックス２０５，２０９に接続されたユーザーディスプレー装置２０７，２１１とを含む。
【００２０】
放送通信網２０１は、図１で上述した従来の放送通信網１０１と同様であり、その詳細な説明は省略する。本実施形態のデジタル放送システムの受信部において、マルチメディア整合装置２０３は、ＰＩＰ機能を遂行して各セットトップボックス２０５，２０９にマルチメディア信号を伝送するために設けられる。なお、図２では、説明の便宜のために、２台のセットトップボックス２０５，２０９と２台のディスプレー装置２０７，２１１を使用した場合を示したが、実際には、本発明の実施において、より多数のセットトップボックスとディスプレー装置を含めることが可能である。
【００２１】
動作時において、マルチメディア整合装置２０３は、マルチメディア信号(すなわち、ビデオ信号及びオーディオ信号)を放送通信網２０１から受信する。マルチメディア整合装置２０３は、該受信したビデオ信号を予め定められた基準フォーマットを有する信号に変換して、ＰＩＰ機能を遂行する。また、放送通信網２０１から様々なフォーマットのビデオ信号を受信した場合には、マルチメディア整合装置２０３は、該受信した複数のビデオ信号を、単一の基準フォーマットに変換し、当該変換された基準フォーマットの信号らに、ＰＩＰ機能を適用する。その結果、ＰＩＰが適用されたビデオ信号は、後段のセットトップボックス２０５，２０９に、予め定められた基準フォーマットで伝送される。したがって、セットトップボックス２０５，２０９は、マルチメディア整合装置２０３から伝送された信号を受信し、単一のデコーダーを使用して、該受信された信号を、ユーザーディスプレー装置２０７，２１１でディスプレー可能な信号に変換する。
【００２２】
従来技術では、受信される複数のマルチメディア信号のフォーマットを単一の基準フォーマットに変換するために、複数の復号器（デコーダー）が要求された。これに対して、本発明の実施形態では、単一の装置であるマルチメディア整合装置２０３に、受信される信号のフォーマットの数（種類）に応じて復号器（デコーダー）が追加されることにより、変換されるべき信号のフォーマットの数（種類）の増加にかかわらず、これを拡張してＰＩＰ機能を遂行することが可能となる。
【００２３】
また、ユーザーディスプレー装置２０７，２１１は、セットトップボックス２０５，２０９からＰＩＰが適用されたマルチメディア信号を受信し、該受信されたマルチメディア信号をユーザーのために表示する。
【００２４】
図３は、本発明の実施形態によるマルチメディア整合装置の構造及び構成 要素を概略的に示す図である。図３を参照すると、マルチメディア整合装置２０３は、大きく、基準信号処理部３００と、非基準信号処理部３１０と、マルチメディア整合部３１２と、に分けられる。ここでは、一例として、マルチメディア整合装置２０３に入力されるマルチメディア信号は、ＭＰＥＧ-２のフォーマットを有する基準フォーマットのビデオ信号(ｖｉｄｅｏ  ｓｉｇｎａｌ)と、ＭＰＥＧ-４のフォーマットを有する画像通話信号(ｖｉｄｅｏ  ｃｏｎｆｅｒｅｎｃｅ  ｓｉｇｎａｌ)と、を含むと仮定して説明する。
【００２５】
マルチメディア整合装置２０３は、２つ（２種類）のマルチメディア信号（すなわちＭＰＥＧ-２のフォーマットを有するビデオ信号と、ＭＰＥＧ-４のフォーマットを有する画像通話信号）を受信する。ここでは、ＭＰＥＧ-２の画像信号が基準フォーマット信号である。したがって、マルチメディア整合装置２０３は、受信されたマルチメディア信号にＰＩＰを適用し、ＰＩＰ適用されたマルチメディア信号を、基準フォーマット（すなわちＭＰＥＧ-２）でセットトップボックスに伝送する。
【００２６】
以下、詳細に説明すると、マルチメディア整合装置２０３では、基準信号であるＭＰＥＧ-２フォーマットの信号が基準信号処理部３００に入力され、一方、非基準信号であるＭＰＥＧ-４フォーマットの信号は、非基準信号処理部３１０に入力される。
【００２７】
基準信号処理部３００は、基準フォーマットを有する信号を処理するために、逆多重化を遂行する逆多重化器３０１を含む。受信されたＭＰＥＧ-２フォーマットの信号は、逆多重化器３０１でビデオ信号とオーディオ信号とに逆多重化され、それぞれ、ＰＩＰ生成部３０９とオーディオ信号選択器３１１とに伝送される。
【００２８】
非基準信号処理部３１０は、非基準フォーマットの信号を受信し、この信号にトランスコーディング或いはデコーディングなどを遂行する。さらに、イーサネット（登録商標）通信信号である画像通話信号を処理するために、非基準信号処理部３１０は、イーサネット処理部３０３と、画像通話信号処理部３０５と、復号器３０７とから構成される。かかる構成の非基準信号処理部３１０では、イーサネット信号以外の非基準フォーマットの信号が受信された場合には、当該受信された信号を、復号器３０７のみを用いて処理することが可能である。
【００２９】
ＭＰＥＧ-４のフォーマットを有する画像通話信号を含む通信信号が非基準信号処理部３１０に入力された場合には、この入力信号は、ＰＩＰ適用のために、イーサネット処理部３０３によって処理される。イーサネット処理部３０３は、受信された通信信号を逆多重化し、ＰＩＰ適用の対象となるＭＰＥＧ−４の画像通話信号を抽出する。
【００３０】
すなわち、イーサネット処理部３０３は、ＰＩＰ適用のために、通信信号からマルチメディア信号のみ、すなわち画像通話信号のみを抽出して、画像通話信号処理部３０５に伝送する。画像通話信号処理部３０５は、セットトップボックスから、画像通信に関する接続セッション及びＰＩＰ機能の遂行要求に関する情報を含む制御信号（第１の制御信号）を受信し、この制御信号を用いて、画像通話信号を処理する。すなわち、画像通話信号処理部３０５は、セットトップボックスから受信した（第１の）制御信号に応答して、画像通話データを復号器３０７に伝送する。ここで、復号器３０７は、画像通話のためのビデオ信号及びオーディオ信号を復号化する。
【００３１】
より具体的には、復号器３０７は、入力信号のフォーマットを変換するために、トランスコーディング又は復号化などの処理を遂行する。すなわち、ＭＰＥＧ-４のフォーマットを有する画像通話信号は、復号器３０７でトランスコーディング又はデコーディングなどの復号化の処理を遂行することによって、規格化されたＭＰＥＧ-２フォーマットの圧縮ストリームに復号化される。ここで、上記の「トランスコーディング」とは、予め圧縮されたストリーム（pre-compressed stream）を、同一フォーマットのより低いビット率又は異なる解像度のストリームに再変換（re-encoding）すること、或いは一のフォーマットから他のフォーマットのストリームにリアルタイムで変換する処理を意味する。
【００３２】
復号器３０７によってＭＰＥＧ-２のストリームに変換された信号のうち、ビデオ信号はＰＩＰ生成部３０９に伝送され、オーディオ信号はオーディオ信号選択器３１１に伝送される。そして、復号器３０７は、受信された信号をトランスコーディングする機能と、受信された信号をデコーディングする機能を遂行する。
【００３３】
マルチメディア整合部３１２は、ＰＩＰ生成部３０９と、オーディオ信号選択器３１１と、多重化器３１３とを含む。
【００３４】
逆多重化器３０１と復号器３０７から出力されたビデオ信号は、マルチメディア整合部３１２のＰＩＰ生成部３０９に入力される。ＰＩＰ生成部３０９は、ＰＩＰマルチメディア信号を形成するのに必要なリソース割当情報を含む制御信号（第２の制御信号）をセットトップボックスから受信し、この制御信号に従ってＰＩＰ機能を適用する。このＰＩＰが適用されたビデオ信号は、多重化器３１３に出力される。一方、逆多重化器３０１で逆多重化されたオーディオ信号は、オーディオ信号選択器３１１に入力される。
【００３５】
マルチメディア整合部３１２のオーディオ信号選択器３１１は、逆多重化器３０１からの逆多重化されたオーディオ信号を受信する。また、オーディオ信号選択器３１１は、復号器３０７によってＭＰＥＧ-２のストリームに変換された信号のうちのオーディオ信号を受信する。さらに、オーディオ信号選択器３１１は、セットトップボックスからの制御信号（すなわち、再生するオーディオ信号を選択するための信号）を受信する。かかる制御信号（第３の制御信号）を受信したオーディオ信号選択器３１１は、オーディオ信号を選択してオーディオ信号ストリームを生成し、該生成されたストリームを多重化器３１３に出力する。
【００３６】
マルチメディア整合部３１２の多重化器３１３は、ＰＩＰ生成部３０９からのＰＩＰが適用されたビデオ信号と、オーディオ信号選択器３１１からの選択されたオーディオ信号とを受信し、続いて、当該受信したビデオおよびオーディオ信号を多重化し、該多重化されたＭＰＥＧ-２のストリームのマルチメディア信号を、セットトップボックスに伝送する。
【００３７】
なお、上述の例では、マルチメディア信号の一例として、画像通話信号を含む通信信号について説明し、また、基準フォーマットをＭＰＥＧ-２とした場合について説明した。しかしながら、本発明はこれに限定されるものではなく、システムの状況や特性により、他のフォーマットを基準フォーマットに設定することも可能である。また、受信されるマルチメディア信号のフォーマットは、ＭＰＥＧ-４だけでなくＨ.２６４のような様々なフォーマットの信号について受信することができる。そして、マルチメディア整合装置２０３では、受信される信号のフォーマットにより、複数の復号器を並列に拡張することが可能であり、これによって、異なるフォーマットの信号についてもＰＩＰ機能を遂行することが出来るようになる。この場合も、非基準信号処理部３１０の画像通話信号処理部３０５、マルチメディア整合部３１２のＰＩＰ生成部３０９、及びオーディオ信号選択器３１１は、それぞれ、セットトップボックスから制御信号を受信し、該受信した制御信号に基づいて動作する。
【００３８】
また、上述の例では、制御信号として、画像通話信号処理部３０５に入力され、画像画像通信に関する接続セッション及びＰＩＰ機能の遂行要求に関する情報を含む第１の制御信号と、ＰＩＰ生成部３０９に入力され、ＰＩＰマルチメディア信号の構成のためのリソース割当情報を含む第２の制御信号と、オーディオ信号選択器３１１に入力され、再生するオーディオ信号を選択するための選択信号である第３の制御信号と、を使用する実施形態について説明したが、これら各制御信号には、上述した機能以外に本発明で必要な制御情報を含めることができる。
【００３９】
なお、ＰＩＰを行わない通常の放送受信状態について簡単に説明すると、以下の通りである。すなわち、基準信号は逆多重化器３０１に入力されてビデオ信号とオーディオ信号に逆多重化され、逆多重化されたビデオ信号がＰＩＰ生成部３０９に入力される。このとき、ＰＩＰ生成部３０９ではどのような動作も遂行せずに入力ビデオ信号をそのまま出力する。また、オーディオ信号選択器３１１は、ＰＩＰ生成部３０９で出力するビデオ信号に相応するオーディオ信号を出力する。
【００４０】
一方、非基準信号の場合には、該信号は、イーサネット処理部３０３、画像通話信号処理部３０５、復号器３０７を経る。そして、復号器３０７で非基準信号につきトランスコーディングまたはデコーディングを遂行してビデオ信号とオーディオ信号を出力し、当該ビデオ信号がＰＩＰ生成部３０９に入力され、当該オーディオ信号がオーディオ信号選択器３１１に入力される。このときのビデオ信号とオーディオ信号は、上述した基準信号の場合と同一の方法で出力される。すなわち、ＰＩＰ生成部３０９ではどのような動作も遂行せずに入力ビデオ信号をそのまま出力し、オーディオ信号選択器３１１はＰＩＰ生成部３０９で出力するビデオ信号に相応するオーディオ信号を出力する。
【００４１】
ただし、ＰＩＰを遂行しない場合には、ＰＩＰ生成部３０９とオーディオ信号選択器３１１は、同時に基準信号と非基準信号が入力される場合に、入力される制御信号を用いて、基準信号又は非基準信号の内のいずれか一方の信号を選択する動作を遂行する。
【００４２】
以下、図４を参照して、ＰＩＰ機能を遂行するために、マルチメディア整合装置２０３と、セットトップボックス２０５及び２０９と、ユーザーディスプレー装置２０７及び２１１との間で送受信される信号の流れ等について詳細に説明する。
【００４３】
図４は、本発明の実施形態によるピクチャインピクチャ機能を遂行するマルチメディア信号整合システムの動作を概略的に示す図である。
【００４４】
図４を参照すると、マルチメディア信号整合システムは、ユーザーディスプレー装置４００と、セットトップボックス４３０と、マルチメディア整合装置４６０とを含む。
【００４５】
ここで、ユーザーディスプレー装置４００は、図２及び図３のユーザーディスプレー装置２０７または２１１のいずれかであると仮定し、セットトップボックス４３０は、図２及び図３のセットトップボックス２０５または２０９のいずれかであると仮定する。一方、マルチメディア整合装置４６０は、図３のマルチメディア整合装置２０３とほぼ同一であるが、上述した基準信号処理部３００及び非基準信号処理部３１０の前段に、図示しない入力信号分析処理部が加えられた構成となっている。この入力信号分析処理部は、放送通信網２０１から受信したマルチメディア信号を分析して、そのフォーマットが上述した基準フォーマットであるか否かを判定し、基準フォーマットであれば該信号を基準信号処理部３００に供給し、基準フォーマットでなければ（すなわち非基準フォーマットであれば）該信号を非基準信号処理部３１０に供給するように、入力信号の経路を切り換える（振り分ける）ものである。
【００４６】
かかるマルチメディア信号整合システムにおいては、ユーザーディスプレー装置４００がＰＩＰについての要求信号（すなわちＰＩＰ要求信号）を生成すると、図４に示すように、セットトップボックス４３０を介してマルチメディア整合装置４６０に、その要求信号が入力される(ステップＳ４０１，Ｓ４０２)。ＰＩＰ要求信号を受信したマルチメディア整合装置４６０は、上述した入力信号分析処理部によって、入力されたマルチメディア信号を分析し、分析後のマルチメディア信号をそのフォーマットにしたがって、基準信号処理部３００又は非基準信号処理部３１０のいずれかに出力する(ステップＳ４０３)。ここで、分析されたマルチメディア信号が非基準フォーマットである場合には、入力信号分析処理部は、当該マルチメディア信号とともに、該信号の種類を示す情報を非基準信号処理部３１０に出力するようにしてもよい。続いて、かかる信号を受信した基準信号処理部３００又は非基準信号処理部３１０は、受信した信号について、それらのビデオ（すなわち映像）フォーマットにしたがった処理を遂行する(ステップＳ４０５)。
【００４７】
すなわち、マルチメディア信号が基準フォーマットの信号である場合には、マルチメディア整合装置４６０は、ビデオデータのＰＩＰ適用のために、この信号を基準信号処理部３００の逆多重化器３０１を用いて逆多重化する。一方、マルチメディア信号が基準フォーマットでない場合には、マルチメディア整合装置４６０は、上述した非基準信号処理部３１０の復号器３０７を使用して、この信号を基準フォーマットの信号に変換する。ステップＳ４０５でこのような処理を行うことにより、ＰＩＰ機能を、同一の基準フォーマットを有するビデオデータに適用することが可能になる。
【００４８】
例えば、上述した例では、ＭＰＥＧ-２のフォーマットを有する信号は、ビデオ信号とオーディオ信号とに分離される。また、ＭＰＥＧ-４のフォーマットを有する画像通話信号は、ＭＰＥＧ-２のフォーマットを有する信号に変換される。その後、ＰＩＰ機能は、ＭＰＥＧ-２のフォーマットを有するビデオ信号に適用可能になる。すなわち、ステップＳ４０５の処理の後に、マルチメディア整合装置４６０は、上述したマルチメディア整合部３１２を使用して、ＰＩＰが適用されたＭＰＥＧ-２ストリームを構成し(ステップＳ４０７)、このＭＰＥＧ-２ストリームをセットトップボックス４３０に伝送する(ステップＳ４０９)。セットトップボックス４３０は、受信されたＭＰＥＧ-２ストリームを表示可能な映像信号に変換し、該映像信号をユーザーディスプレー装置４００に伝送する(ステップＳ４１１)。ユーザーディスプレー装置４００は、この映像信号を受信し、ＰＩＰ機能が適用されたビデオデータを表示（ディスプレー）する(ステップＳ４１３)。
【００４９】
図５は、本発明の実施形態によるピクチャインピクチャ機能を遂行するためのマルチメディア信号の整合の処理を示すフローチャートである。
【００５０】
マルチメディア整合装置に放送通信網からの一定のフォーマットを有するマルチメディア信号が入力される(ステップＳ５０１)と、マルチメディア整合装置４６０は、上述した入力信号分析処理部によって、入力されたマルチメディア信号を分析し、当該入力されたマルチメディア信号がセットトップボックスでデコーディング可能な基準フォーマット信号であるか否かを判定する(ステップＳ５０３)。ここで、当該マルチメディア信号が基準フォーマットの信号ではないと判定された場合には、マルチメディア整合装置４６０は、上述した非基準信号処理部３１０の復号器３０７を用いて、そのマルチメディア信号をトランスコーディングして基準フォーマットの信号に変換し(ステップＳ５０５)、マルチメディア整合部３１２のＰＩＰ生成部３０９を用いて、ＰＩＰ適用のためのビデオ信号（以下、ＰＩＰビデオデータと呼ぶ。）を抽出する(ステップＳ５０７)。
【００５１】
一方、ステップＳ５０３で、入力されたマルチメディア信号が基準フォーマットの信号であると判定された場合には、マルチメディア整合装置４６０は、その信号をトランスコーディングすることなく、基準信号処理部３００の逆多重化器３０１で逆多重化した後に、マルチメディア整合部３１２のＰＩＰ生成部３０９を用いて、ＰＩＰビデオデータを直接抽出する(ステップＳ５０７)。
【００５２】
ステップＳ５０７の処理を行ったマルチメディア整合装置４６０は、その後、抽出されたＰＩＰビデオデータについて、ＰＩＰ生成部３０９により、資源（リソース）の割当を遂行する(ステップＳ５０９)。ここで、リソースの割当とは、例えば、主要な画面（すなわち第１の画像）の領域内に表示されるＰＩＰ画面（すなわち第２の画像）の座標、ＰＩＰ画面の横，縦の長さ、ＰＩＰ画面の相対的配置の順序、ＰＩＰ画面の透明度、ＰＩＰ機能の遂行時に選択され再生されるオーディオ信号の優先順位などの情報（すなわち制御情報）に基づいて、２つのマルチメディアデータのディスプレー（表示）のためのリソースを割り当てる処理を意味する。
【００５３】
ここで、マルチメディア整合装置４６０は、セットトップボックス４３０或いはユーザーディスプレー装置４００から、上述した制御情報を含む制御信号を受信する。かかる制御情報は、上述したＰＩＰ要求信号（図４のステップＳ４０１，Ｓ４０２参照）に含まれることができる。かくして、ＰＩＰ領域によるリソース割当（ステップＳ５０９）が遂行されると、ＰＩＰが適用されたビデオストリームがＰＩＰ生成部３０９で生成される(ステップＳ５１１)。そして、ＰＩＰ生成部３０９から出力されたＰＩＰが適用されたビデオストリームと、オーディオ信号選択器１１１で選択され出力されたオーディオ信号ストリームは、多重化器３１３で多重化されることで、ユーザーディスプレー装置４００でＰＩＰ機能が適用されたマルチメディア信号を表示可能な信号として、セットトップボックス４３０を介してユーザーディスプレー装置４００に伝送される(ステップＳ５１３)。
【００５４】
このように、本発明では、マルチメディア信号整合システムにおいて、マルチメディア整合装置を付加（追加）するように提供される。このマルチメディア整合装置は、各セットトップボックス内に備えられるべき複数の復号器を装備することによって、それぞれのセットトップボックスで備えるべき復号器の個数を減少させることが可能となる。また、マルチメディア整合装置は、入力されるマルチメディア信号のフォーマットの数（種類）が増加する場合には、当該異なるフォーマットの数に対応した復号器を追加して設けることによって、受信される信号に制限を受けることなく、マルチメディア信号にＰＩＰ機能が適用された信号を表示させることが可能となる。したがって、セットトップボックスは、一つの復号器のみを使用して、マルチメディア整合装置から出力された信号をデコーディングすることが可能となり、該デコーディング後の信号をユーザーディスプレー装置に伝送する。
【００５５】
以上、本発明の具体的な実施形態に関して詳細に説明したが、本発明の範囲を外れない限り、様々な変形が可能であることは、当該技術分野における通常の知識を持つ者には自明なことであろう。したがって、本発明の範囲は、上述した実施形態に限定されるものではなく、特許請求の範囲及びこの特許請求の範囲と均等なものに基づいて定められるべきである。
【図面の簡単な説明】
【００５６】
【図１】従来のデジタル放送通信システムの受信部を概略的に示す図である。
【図２】本発明の実施形態によるピクチャインピクチャ機能を遂行するマルチメディア信号整合システムを概略的に示す図である。
【図３】本発明の実施形態によるマルチメディア整合装置の構造及び構成 要素を概略的に示す図である。
【図４】本発明の実施形態によるピクチャインピクチャ機能を遂行するマルチメディア信号整合システムの動作を概略的に示す図である。
【図５】本発明の実施形態によるピクチャインピクチャ機能を遂行するマルチメディア信号の整合の処理を示すフローチャートである。
【符号の説明】
【００５７】
２０３，４６０  マルチメディア整合装置
２０５，２０９，４３０  セットトップボックス
３００  基準信号処理部
３１０  非基準信号処理部
３１２  マルチメディア整合部
【図１】
2006191641.tif 000003
【図２】
2006191641.tif 000004
【図３】
2006191641.tif 000005
【図４】
2006191641.tif 000006
【図５】
2006191641.tif 000007