(57)【要約】【課題】複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報を伝送することができるようにする。【解決手段】各系統のビデオの１フレームは、画面サイズの大きいビデオフレームである多重ビデオフレームに挿入され、多重ビデオフレームのデータとして伝送される。また、各系統のオーディオデータは、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプル毎に分割され、多重ビデオフレームに挿入される。各多重回路においては、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報が多重ビデオフレームに挿入される。本発明は、複数系統のオーディオデータを処理する映像音響機器に適用することができる。【選択図】図１
2011146929.tif 000002
【特許請求の範囲】
【請求項１】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第１の情報を前記多重ビデオフレームに挿入する生成手段と、
入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第２の情報と、前記ビデオデータのフォーマットに関する情報である第３の情報とを、多重化後の前記多重ビデオフレームに挿入する第１の多重化手段と、
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第１乃至第３の情報に基づいて抽出し、抽出したデータに処理を施す処理手段と
を備える情報処理装置。
【請求項２】
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、
前記分割手段による分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報である第４の情報と、前記分割後のオーディオデータの配置位置に関する情報である第５の情報と、前記オーディオデータのフォーマットに関する情報である第６の情報とを、前記多重ビデオフレームに挿入する第２の多重化手段と
をさらに備え、
前記処理手段は、多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータを、前記第１、第４乃至第６の情報に基づいて抽出し、抽出したデータに処理を施す
請求項１に記載の情報処理装置。
【請求項３】
前記第１の多重化手段は、複数のフォーマットの前記ビデオデータの各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第１のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、前記複数のフォーマットの前記フレームのデータを多重化する
請求項２に記載の情報処理装置。
【請求項４】
前記第２の多重化手段は、前記分割後のオーディオデータを、前記多重ビデオフレームの前記第１のビデオ用の領域の下方に設定された第１のオーディオ用の領域のデータとして伝送されるように多重化する
請求項３に記載の情報処理装置。
【請求項５】
前記処理手段は、
処理後の各フォーマットの前記フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第２のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化し、
処理後の前記分割後のオーディオデータを、前記多重ビデオフレームの前記第２のビデオ用の領域の上方に設定された第２のオーディオ用の領域のデータとして伝送されるように多重化し、
処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力する
請求項４に記載の情報処理装置。
【請求項６】
前記処理手段から出力された前記多重ビデオフレームから、各フォーマットの前記フレームのデータを前記第１乃至第３の情報に基づいて抽出する第１の抽出手段と、
抽出された各フォーマットの前記フレームのデータを、前記第３の情報に基づいてフォーマットに応じた処理を施した後に外部に出力する第１の送信手段と
をさらに備える請求項５に記載の情報処理装置。
【請求項７】
前記処理手段から出力された前記多重ビデオフレームから、前記分割後のオーディオデータを前記第１、第４乃至第６の情報に基づいて抽出する第２の抽出手段と、
抽出された前記分割後のオーディオデータに対して、前記第６の情報に基づいてフォーマットに応じた処理を施し、処理を施した後の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する第２の送信手段と
をさらに備える請求項６に記載の情報処理装置。
【請求項８】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第１の情報を前記多重ビデオフレームに挿入し、
入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第２の情報と、前記ビデオデータのフォーマットに関する情報である第３の情報とを、多重化後の前記多重ビデオフレームに挿入し、
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第１乃至第３の情報に基づいて抽出し、抽出したデータに処理を施す
ステップを含む情報処理方法。
【請求項９】
所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第１の情報を前記多重ビデオフレームに挿入し、
入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第２の情報と、前記ビデオデータのフォーマットに関する情報である第３の情報とを、多重化後の前記多重ビデオフレームに挿入し、
入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第１乃至第３の情報に基づいて抽出し、抽出したデータに処理を施す
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報を伝送することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
［ビデオ型インタフェース］
クロック、水平同期信号、垂直同期信号等のタイミング信号と、画像データとを伝送する一方向の伝送形式を「ビデオ型インタフェース」という。SMPTE(Society of Motion Picture and Television Engineers)125MやSMPTE274Mはビデオ型インタフェースの代表例となる。
【０００３】
ビデオ型インタフェースには、DVI/VESAのようにデータイネーブル信号を加える方式、HDMIのようにビデオデータをシリアライズする方式、SMPTE259MやSMPTE292Mのようにタイミング情報をデータ線にさらに多重する方式もある。
【０００４】
以下、適宜、ビデオ型インタフェースにより伝送される信号セットを「ビデオ信号」という。また、ビデオ型インタフェースの入力ピンと出力ピンのセットを「ビデオポート」という。
【０００５】
［ビデオポートの帯域幅］
ビデオポートの特長は、帯域幅の広さと実効速度の安定性にある。例えば、24bit HD(1920x1080@30frame/sec)を謳うビデオポートでは、1920×1080×30pix/sec＝186MB/sの安定的なデータ転送を保証する。
【０００６】
ビデオポートの帯域幅が急速に向上してきている。これは、ディスプレイの解像度が向上したこと、放送画質が標準画質(720×480)からHD画質(1920×1080)へ移行したこと、ディスプレイの表示能力が多様化(480i/480p/1080i/720p/1080p)したことなどによる。いまでは、HD(1920x1080@30frame/sec)やWUXGA(1920x1200@60frame/sec)の帯域幅は一般的なものになっている。
【０００７】
［ビデオ・オーディオの多チャンネル化］
ところで、近年、映像音響機器は多数のビデオ／オーディオ信号を扱うようになってきている。
【０００８】
例えば、家庭用のデジタルレコーダにおいては次のようなデータが出力系のデータとして扱われる。
・メニューやガイドが入らない映像出力（ビデオ出力）。
・メニューやガイドが入る映像出力（モニタ出力）。
・アンテナからのビットストリームをデコードした映像出力（デコーダ出力）。
【０００９】
また、映像加工に用いる業務用の機器においては、多いものでは次のようなデータが出力系のデータとして扱われ、かつ、同時に出力することが求められる。
・標準の映像出力（プログラム出力、ビデオ出力）。
・スーパーインポーズした映像出力（モニタ出力）。
・数秒前の映像（プレビュー出力）。
・外部ディスプレイへの表示画面。
・機器のディスプレイへの表示。
【００１０】
特に映像加工に用いる業務用の機器が扱うデータには、SD/HD、4:2:2/4:4:4、RGB/YCbCr、インタレース／プログレッシブといったような、様々なディスプレイサイズ、様々なフレーム周波数（リフレッシュレート）のデータが混在する。
【００１１】
入力系についても、異なるフォーマットで非同期のビデオ信号を同時入力・同時記録したり、同時入力しながらそれらを切り替えたり、切り替えるときに加工して合成したり、といったように、多数の映像をプロセッサに同時入力することが求められる。ビデオに付随するオーディオのチャンネル数も、5.1ch、7.1ch、9.1ch、マルチチャンネルでの他カ国語などと急速に増大している。
【００１２】
このように、映像音響機器のプロセッサには、複数のビデオ、複数のオーディオの入出力を同時に行うことが可能であることが要求される。
【００１３】
例えば、特許文献２には、入力された複数のフォーマットのビデオデータを、画面サイズの大きいビデオフレームである多重ビデオフレームのデータとして多重化し、ビデオポートからプロセッサに入力する技術が開示されている。
【００１４】
また、特許文献２には、多重ビデオフレームから抽出された各フォーマットのビデオデータに対してプロセッサにおいて処理が行われ、処理後の各フォーマットのビデオデータが、多重ビデオフレームにプロセッサにおいて再度多重化されることも記載されている。プロセッサのビデオポートから出力された多重ビデオフレームからは、処理後の各フォーマットのビデオデータが抽出され、装置の外部に出力されるようになされている。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００６−２３６０５６号公報
【特許文献２】特開２００９−７１７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
特許文献２に記載されている技術によっては、入力側の回路とプロセッサの間、プロセッサと出力側の回路の間で、それぞれ、各フォーマットのビデオデータの、多重ビデオフレームにおける多重位置に関する情報を予め一致させておく必要がある。各フォーマットのビデオデータが多重化された多重化後の多重ビデオフレームを入力側の回路から受信したプロセッサ、または、プロセッサから受信した出力側の回路においては、多重位置に関する情報に基づいて、データの抽出が行われる。
【００１７】
多重位置に関する情報には、どのチャンネル（系統）のビデオデータを多重ビデオフレームのどこに貼り付けるかなどの情報が含まれる。
【００１８】
また、データの配列に影響を与えるビデオ信号のフォーマットについても、入力側の回路とプロセッサの間、プロセッサと出力側の回路の間で、それぞれ、予め決めておく必要がある。
【００１９】
必然的に、多重ビデオフレームにおける各フォーマットのビデオデータの多重位置は固定化され、多重位置を組み変えて、様々な信号の伝送に対応するようなことは容易ではなかった。
【００２０】
また、扱うことのできるビデオデータのフォーマットも限定的で、入力側の回路が、外部から入力された信号に基づいてビデオ信号の有無や種類を自動的に判別し、それに応じて、多重ビデオフレームの構成を変更するといったことができなかった。
【００２１】
本発明はこのような状況に鑑みてなされたものであり、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報を伝送することができるようにするものである。
【課題を解決するための手段】
【００２２】
本発明の一側面の情報処理装置は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第１の情報を前記多重ビデオフレームに挿入する生成手段と、入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第２の情報と、前記ビデオデータのフォーマットに関する情報である第３の情報とを、多重化後の前記多重ビデオフレームに挿入する第１の多重化手段と、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第１乃至第３の情報に基づいて抽出し、抽出したデータに処理を施す処理手段とを備える。
【００２３】
入力されたオーディオデータを、先頭のサンプルから順に、前記多重ビデオフレームの１フレーム期間に相当する時間に入力されたサンプルからなるオーディオデータ毎に分割する分割手段と、前記分割手段による分割後のオーディオデータを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化するとともに、前記分割後のオーディオデータを構成するサンプルの数を表す情報である第４の情報と、前記分割後のオーディオデータの配置位置に関する情報である第５の情報と、前記オーディオデータのフォーマットに関する情報である第６の情報とを、前記多重ビデオフレームに挿入する第２の多重化手段とをさらに設けることができる。この場合、前記処理手段には、多重化後の前記多重ビデオフレームに多重化されている前記分割後のオーディオデータを、前記第１、第４乃至第６の情報に基づいて抽出させ、抽出させたデータに処理を施させることができる。
【００２４】
前記第１の多重化手段には、複数のフォーマットの前記ビデオデータの各フォーマットの１フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第１のビデオ用の領域に下詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、前記複数のフォーマットの前記フレームのデータを多重化させることができる。
【００２５】
前記第２の多重化手段には、前記分割後のオーディオデータを、前記多重ビデオフレームの前記第１のビデオ用の領域の下方に設定された第１のオーディオ用の領域のデータとして伝送されるように多重化させることができる。
【００２６】
前記処理手段には、処理後の各フォーマットの前記フレームを、同じフレームのラインが連続せず、前記多重ビデオフレームに設定された第２のビデオ用の領域に上詰めになるようにライン毎に分割して前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように多重化させ、処理後の前記分割後のオーディオデータを、前記多重ビデオフレームの前記第２のビデオ用の領域の上方に設定された第２のオーディオ用の領域のデータとして伝送されるように多重化させ、処理後のデータを伝送する前記多重ビデオフレームを出力ビデオポートから出力させることができる。
【００２７】
前記処理手段から出力された前記多重ビデオフレームから、各フォーマットの前記フレームのデータを前記第１乃至第３の情報に基づいて抽出する第１の抽出手段と、抽出された各フォーマットの前記フレームのデータを、前記第３の情報に基づいてフォーマットに応じた処理を施した後に外部に出力する第１の送信手段とをさらに設けることができる。
【００２８】
前記処理手段から出力された前記多重ビデオフレームから、前記分割後のオーディオデータを前記第１、第４乃至第６の情報に基づいて抽出する第２の抽出手段と、抽出された前記分割後のオーディオデータに対して、前記第６の情報に基づいてフォーマットに応じた処理を施し、処理を施した後の前記分割後のオーディオデータを先頭のサンプルから順に外部に出力する第２の送信手段とをさらに設けることができる。
【００２９】
本発明の一側面の情報処理方法は、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第１の情報を前記多重ビデオフレームに挿入し、入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第２の情報と、前記ビデオデータのフォーマットに関する情報である第３の情報とを、多重化後の前記多重ビデオフレームに挿入し、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第１乃至第３の情報に基づいて抽出し、抽出したデータに処理を施すステップを含む。
【００３０】
本発明の一側面のプログラムは、所定の画面サイズを有するビデオフレームである多重ビデオフレームを生成し、前記多重ビデオフレームの構成に関する情報である第１の情報を前記多重ビデオフレームに挿入し、入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータを多重化するとともに、前記フレームの配置位置に関する情報である第２の情報と、前記ビデオデータのフォーマットに関する情報である第３の情報とを、多重化後の前記多重ビデオフレームに挿入し、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータを前記第１乃至第３の情報に基づいて抽出し、抽出したデータに処理を施すステップを含む処理をコンピュータに実行させる。
【００３１】
本発明の一側面においては、所定の画面サイズを有するビデオフレームである多重ビデオフレームが生成され、前記多重ビデオフレームの構成に関する情報である第１の情報が前記多重ビデオフレームに挿入される。また、入力されたビデオデータを構成する１フレームを前記多重ビデオフレームに配置し、配置位置に応じた前記多重ビデオフレームのデータとして伝送されるように、前記フレームのデータが多重化されるとともに、前記フレームの配置位置に関する情報である第２の情報と、前記ビデオデータのフォーマットに関する情報である第３の情報とが、多重化後の前記多重ビデオフレームが挿入される。さらに、入力ビデオポートから入力された多重化後の前記多重ビデオフレームに多重化されている前記フレームのデータが前記第１乃至第３の情報に基づいて抽出され、抽出されたデータに処理が施される。
【発明の効果】
【００３２】
本発明によれば、複数の系統のデータを多重ビデオフレームのデータとして多重化して伝送する場合に、各系統のデータの多重ビデオフレームにおける配置位置に関する情報と各系統のデータのフォーマットに関する情報を伝送することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態に係る情報処理装置の構成例を示すブロック図である。
【図２】オーディオサンプルの切り出しの例を示す図である。
【図３】多重ビデオフレームの例を示す図である。
【図４】多重化後の多重ビデオフレームの例を示す図である。
【図５】多重ビデオフレームのビデオ信号の例を示す図である。
【図６】ビデオ型インタフェースを模式的に示す図である。
【図７】ビデオ信号の波形の例を示す図である。
【図８】図７の実線矢印で示す範囲の波形の詳細を示す図である。
【図９】多重フレーム配置情報の例を示す図である。
【図１０】多重フレーム配置情報の例を示す、図９に続く図である。
【図１１】情報処理装置の処理について説明するフローチャートである。
【図１２】図１１のステップＳ１において行われるビデオ受信処理について説明するフローチャートである。
【図１３】図１１のステップＳ２において行われるオーディオ受信処理について説明するフローチャートである。
【図１４】図１１のステップＳ５において行われる多重化処理について説明するフローチャートである。
【図１５】図１１のステップＳ７において行われる抽出処理について説明するフローチャートである。
【図１６】図１１のステップＳ９において行われるオーディオ出力処理について説明するフローチャートである。
【図１７】図１１のステップＳ１０において行われるビデオ出力処理について説明するフローチャートである。
【図１８】多重ビデオフレームの例を示す図である。
【図１９】多重ビデオフレームの他の例を示す図である。
【図２０】情報処理装置の他の構成例を示すブロック図である。
【図２１】入力用の多重ビデオフレームの領域構成の例を示す図である。
【図２２】多重化の対象となるビデオフレームの例を示す図である。
【図２３】データを下詰めで挿入した多重ビデオフレームの例を示す図である。
【図２４】下詰めのメリットについて説明する図である。
【図２５】出力用の多重ビデオフレームの領域構成の例を示す図である。
【図２６】データを上詰めで挿入した多重ビデオフレームの例を示す図である。
【図２７】上詰めのメリットについて説明する図である。
【図２８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３４】
［情報処理装置の全体構成］
図１は、本発明の一実施形態に係る情報処理装置１の構成例を示すブロック図である。
【００３５】
情報処理装置１は、１入力１出力のビデオポートを有するプロセッサ４３を用いて２系統ずつ入力されたビデオデータ、オーディオデータに対して処理を施し、ビデオデータ、オーディオデータを２系統ずつ出力する機器である。
【００３６】
外部から供給されたビデオ＃１のビデオ信号は同期信号とともにビデオ受信回路２１−１に入力され、ビデオ＃２のビデオ信号は同期信号とともにビデオ受信回路２１−２に入力される。
【００３７】
解像度、フレームレート、走査方式、伝送方式、および圧縮方式等の、ビデオ＃１とビデオ＃２のフォーマットは互いに同一であってもよいし、異なっていてもよい。ビデオ＃１のフレームとビデオ＃２のフレームの入力タイミングは同期していなくてもよい。
【００３８】
また、外部から供給されたオーディオ＃１のオーディオ信号はオーディオ受信回路３１−１に入力され、オーディオ＃２のオーディオ信号はオーディオ受信回路３１−２に入力される。例えば、オーディオ受信回路３１−１と３１−２には、クロック信号、データ信号、サンプリング周波数を表す信号からなる三線オーディオの形でオーディオ信号が入力される。
【００３９】
サンプリング周波数、ビット数、チャンネル数等の、オーディオ＃１とオーディオ＃２のフォーマットも、互いに同一であってもよいし、異なっていてもよい。オーディオ＃１のデータとオーディオ＃２のデータの入力タイミングも同期していなくてもよい。オーディオはビデオに付随するものであってもよいし、独立したものであってもよい。
【００４０】
ビデオ受信回路２１−１は、ケーブルイコライザ、デシリアライザ、各種デコーダ、4:2:2／4:4:4デコーダ、およびA/D(Analog/Digital)コンバータ等を有する。ビデオ受信回路２１−１は、入力されたビデオ信号に対してA/D変換等の各種の処理を施し、ビデオ＃１を構成する各フレームのデータを生成する。
【００４１】
また、ビデオ受信回路２１−１は、ビデオ＃１のフレームデータに付随する情報として伝送されてきたAncillary Dataを取得する。Ancillary Dataは、ビデオのブランキング期間を使って伝送されるデータである。Ancillary Dataには、Timecode、Video Index、字幕などの、画像データではない情報が含まれる。
【００４２】
ビデオ受信回路２１−１は、生成した各フレームのデータ、Ancillary Data、およびビデオ＃１のビデオフォーマット情報をフレームシンクロナイザ２２−１に出力する。ビデオフォーマット情報は、ビデオ信号のフォーマットに関する情報であり、後述する多重フレーム配置情報に含まれる。ビデオフォーマット情報等の、多重フレーム配置情報に含まれる情報については後述する。
【００４３】
フレームシンクロナイザ２２−１は、各系統のビデオ間でフレームのタイミングを同期させ、ビデオ受信回路２１−１から供給された１フレームのデータをフレームメモリ２３−１に記憶させる。また、フレームシンクロナイザ２２−１は、ビデオ受信回路２１−１から供給されたビデオ＃１のAncillary Dataとビデオフォーマット情報をフレームメモリ２３−１に記憶させる。
【００４４】
フレームシンクロナイザ２２−１は、多重回路４２−１からの要求に応じてフレームメモリ２３−１からデータを読み出し、出力する。
【００４５】
実装上、ビデオ受信回路２１−１、フレームシンクロナイザ２２−１、多重回路４２−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、ビデオ受信回路２１−１とフレームシンクロナイザ２２−１の間、フレームシンクロナイザ２２−１と多重回路４２−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
【００４６】
ビデオ受信回路２１−２とフレームシンクロナイザ２２−２の間、フレームシンクロナイザ２２−２と多重回路４２−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、オーディオ受信回路３１−１とメモリ制御回路３２−１の間、メモリ制御回路３２−１と多重回路４２−３の間や、オーディオ受信回路３１−２とメモリ制御回路３２−２の間、メモリ制御回路３２−２と多重回路４２−４の間にも、適宜、FIFOが設けられる。
【００４７】
ここで、入力されたビデオ＃１のビデオ信号のフレーム周波数と、後述する多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ２２−１は、フレームメモリ２３−１に記憶されているビデオデータを重複して（同じフレームのデータを続けて）多重回路４２−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。ビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数を一致させることについては特開２００９−７１７０１号公報に記載されている。
【００４８】
ビデオ受信回路２１−２は、ビデオ受信回路２１−１と同様に、入力されたビデオ信号に各種の処理を施し、ビデオ＃２を構成する各フレームのデータを生成する。また、ビデオ受信回路２１−２は、ビデオ＃２のAncillary Dataを取得する。
【００４９】
ビデオ受信回路２１−２は、生成した各フレームのデータ、ビデオ＃２のAncillary Data、およびビデオフォーマット情報をフレームシンクロナイザ２２−２に出力する。
【００５０】
フレームシンクロナイザ２２−２は、フレームシンクロナイザ２２−１と同様に、各系統のビデオ信号間でフレームのタイミングを同期させ、ビデオ受信回路２１−２から供給されたフレームデータをフレームメモリ２３−２に記憶させる。また、フレームシンクロナイザ２２−２は、ビデオ受信回路２１−２から供給されたビデオ＃２のAncillary Dataとビデオフォーマット情報をフレームメモリ２３−２に記憶させる。
【００５１】
フレームシンクロナイザ２２−２は、多重回路４２−２からの要求に応じてフレームメモリ２３−２からデータを読み出し、出力する。フレームシンクロナイザ２２−２においても、フレームメモリ２３−２に記憶されているフレームデータの重複読み出しや読み飛ばしが適宜行われる。
【００５２】
オーディオ受信回路３１−１は、入力されたオーディオ信号に対してA/D変換、サンプリングレート変換、S/P変換などの各種の処理を施し、オーディオ＃１を構成するオーディオデータを生成する。生成されたオーディオデータは、オーディオサンプルの時系列から構成される。
【００５３】
オーディオ受信回路３１−１は、オーディオ＃１のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割する（切り出す）。また、オーディオ受信回路３１−１は、分割したオーディオサンプルのデータを、それを構成するオーディオサンプルの数を表す情報であるサンプル数情報とともにメモリ制御回路３２−１に出力する。オーディオ受信回路３１−１に対しては、多重ビデオフレームの１フレーム期間を表す同期信号が多重ビデオ信号発生回路４１から供給される。多重ビデオフレームについては後述する。
【００５４】
図２は、オーディオサンプルの切り出しの例を示す図である。
【００５５】
図２の横軸は時間を表し、時間軸上に並ぶそれぞれの実線がオーディオサンプルを表す。図２の例においては、多重ビデオ信号発生回路４１から供給される同期信号（垂直同期信号）により、時刻ｔ１から時刻ｔ２までの時間である時間Ｔ１、および、時刻ｔ２から時刻ｔ３までの時間である時間Ｔ２が、それぞれ多重ビデオフレームの１フレーム期間とされている。
【００５６】
オーディオ受信回路３１−１は、時間Ｔ１に入力されたオーディオサンプルの数をカウントし、時刻ｔ２になったタイミングで、時間Ｔ１に入力されたオーディオサンプルを切り出す。オーディオ受信回路３１−１は、切り出したオーディオサンプルのデータを、時間Ｔ１に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとして、サンプル数情報とともにメモリ制御回路３２−１に出力する。
【００５７】
同様に、オーディオ受信回路３１−１は、時間Ｔ２に入力されたオーディオサンプルを切り出し、時間Ｔ２に多重ビデオ信号発生回路４１から出力された多重ビデオフレームに多重化するデータとしてサンプル数情報とともに出力する。
【００５８】
オーディオデータとビデオデータとで異なる点は、フレームシンクロナイザ機能を装備してはならない点である。これは、原則、オーディオデータは重複も欠落もしてはならないためである。従って、オーディオ受信回路３１−１においては、多重ビデオフレームの同期信号を基準として、１フレーム期間内に入力されたオーディオサンプルが、そのまま、１つの多重ビデオフレームに多重化するオーディオデータとして切り出される。
【００５９】
オーディオデータのサンプリング周波数が、多重ビデオフレームのフレーム周波数の整数倍ではない場合、１フレーム期間内にオーディオ受信回路３１−１に入力されるオーディオサンプルの数にばらつきが生じる。サンプル数情報をも多重ビデオフレームに多重化することによって、何サンプルのオーディオサンプルが多重ビデオフレームに多重化されているのかを、その多重ビデオフレームの供給を受けたプロセッサ４３等は判断することが可能になる。
【００６０】
図１の説明に戻り、さらに、オーディオ受信回路３１−１は、オーディオ＃１のオーディオフォーマット情報をメモリ制御回路３２−１に出力する。オーディオフォーマット情報は、オーディオ信号のフォーマットに関する情報であり、多重フレーム配置情報に含まれる。
【００６１】
メモリ制御回路３２−１は、オーディオ受信回路３１−１から供給されたオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報をメモリ３３−１に記憶させる。メモリ制御回路３２−１は、多重回路４２−３からの要求に応じて、メモリ３３−１からデータを読み出し、出力する。
【００６２】
オーディオ受信回路３１−２は、オーディオ受信回路３１−１と同様に、入力されたオーディオ信号に対して各種の処理を施し、オーディオ＃２を構成するオーディオデータを生成する。オーディオ受信回路３１−２は、オーディオ＃２のオーディオデータを、多重ビデオフレームの１フレーム期間に相当する時間内に入力されたサンプルからなるオーディオデータ毎に分割し、サンプル数情報とともにメモリ制御回路３２−２に出力する。
【００６３】
また、オーディオ受信回路３１−２は、オーディオ＃２のオーディオフォーマット情報をメモリ制御回路３２−２に出力する。
【００６４】
メモリ制御回路３２−２は、オーディオ受信回路３１−２から供給されたオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報をメモリ３３−２に記憶させる。メモリ制御回路３２−２は、多重回路４２−４からの要求に応じて、メモリ３３−２からデータを読み出し、出力する。
【００６５】
多重ビデオ信号発生回路４１は、発振子とPLL(Phase Locked Loop)を有する周波数マルチプライヤである。多重ビデオ信号発生回路４１は、各系統のビデオデータ、オーディオデータを多重化してプロセッサ４３に入力、またはプロセッサ４３から出力するためのビデオフレームを生成する。多重ビデオ信号発生回路４１により生成されるビデオフレームは、例えば、伝送に使用する帯域幅がプロセッサ４３のビデオポートの帯域幅を超えない範囲で許容される最大のサイズ（画素数）を有するフレームとされる。
【００６６】
以下、ビデオデータ、オーディオデータ等の多重化に用いられるビデオフレームを多重ビデオフレームという。また、多重ビデオフレームの信号を多重ビデオ信号という。
【００６７】
図３は、多重ビデオフレームの例を示す図である。
【００６８】
図３に示すように、多重ビデオ信号発生回路４１により生成された多重ビデオフレームは、ビデオデータ、オーディオデータが多重化されていない画像である。多重ビデオフレームには、多重ビデオフレーム構成情報が多重ビデオ信号発生回路４１により挿入される。多重ビデオフレーム構成情報は、多重ビデオフレームの構成に関する情報であり、多重フレーム配置情報に含まれる。
【００６９】
多重ビデオフレームのサイズは、各系統のビデオのフレームサイズと、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオデータのサイズとの総和より大きい。多重ビデオフレームには、各系統のビデオのフレームを互いに重ならないように貼り付けることが可能とされる。また、各系統のオーディオの、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプルのデータを挿入することが可能とされる。
【００７０】
多重ビデオ信号発生回路４１は、多重ビデオフレームのデータと同期信号を多重回路４２−１に出力する。多重ビデオフレームの同期信号は、多重ビデオフレームのデータとともに、多重回路４２−１より後段の各回路に供給される。多重ビデオ信号発生回路４１から出力された同期信号は、オーディオ受信回路３１−１と３１−２にも供給される。
【００７１】
多重回路４２−１は、要求に応じてフレームシンクロナイザ２２−１からデータが供給されたビデオ＃１のフレームを多重ビデオ信号発生回路４１から供給された多重ビデオフレームに貼り付ける（挿入する）。多重回路４２−１は、ビデオ＃１のフレームを多重ビデオフレームに貼り付けた後、ビデオ多重関連情報を多重ビデオフレームに挿入する。ビデオ多重関連情報は、ビデオフレームのデータの多重と配列に関する情報であり、多重フレーム配置情報に含まれる。
【００７２】
また、多重回路４２−１は、フレームシンクロナイザ２２−１から供給されたビデオ＃１のビデオフォーマット情報とAncillary Dataを多重ビデオフレームに挿入する。
【００７３】
多重回路４２−１は、各種のデータを挿入した多重ビデオフレームのデータを多重回路４２−２に出力する。多重回路４２−１から出力される多重ビデオフレームには、多重ビデオ信号発生回路４１により挿入された多重ビデオフレーム構成情報の他に、ビデオ＃１のフレームデータ、ビデオフォーマット情報、Ancillary Data、ビデオ多重関連情報が挿入されている。
【００７４】
多重回路４２−２は、要求に応じてフレームシンクロナイザ２２−２からデータが供給されたビデオ＃２のフレームを多重回路４２−１から供給された多重ビデオフレームに貼り付ける。ビデオ＃２の１フレームは、ビデオ＃１のフレームと重ならない位置に貼り付けられる。多重回路４２−２は、ビデオ＃２のフレームを多重ビデオフレームに貼り付けた後、ビデオ多重関連情報を多重ビデオフレームに挿入する。
【００７５】
また、多重回路４２−２は、フレームシンクロナイザ２２−２から供給されたビデオ＃２のビデオフォーマット情報とAncillary Dataを多重ビデオフレームに挿入する。
【００７６】
多重回路４２−２は、各種のデータを挿入した多重ビデオフレームのデータを多重回路４２−３に出力する。多重回路４２−２から出力された多重ビデオフレームのデータは、ビデオ＃１の１フレームのデータと、ビデオ＃２の１フレームのデータが多重化されたデータになる。
【００７７】
多重回路４２−３は、要求に応じてメモリ制御回路３２−１から供給されたオーディオ＃１のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。また、多重回路４２−３は、オーディオ＃１のオーディオサンプルのデータを挿入した後、オーディオ多重関連情報を多重ビデオフレームに挿入する。オーディオ多重関連情報は、オーディオサンプルのデータの多重と配列に関する情報であり、多重フレーム配置情報に含まれる。
【００７８】
多重回路４２−３は、データを挿入した多重ビデオフレームのデータを多重回路４２−４に出力する。
【００７９】
多重回路４２−４は、要求に応じてメモリ制御回路３２−２から供給されたオーディオ＃２のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報を、多重回路４２−３から供給された多重ビデオフレームに挿入する。多重回路４２−４は、データを挿入した多重ビデオフレームのデータをプロセッサ４３に出力する。プロセッサ４３に対する入力は１系統のビデオデータになる。
【００８０】
図４は、多重化後の多重ビデオフレームの例を示す図である。
【００８１】
ここでは、多重ビデオフレームを使ったビデオデータ、オーディオデータの多重化について説明する。多重フレーム配置情報についても同様にして多重化が行われる。以下、適宜、水平方向に並ぶ画素をラインとして説明する。
【００８２】
図４の例においては、多重ビデオフレームの有効画枠の左上端に左上頂点を合わせるようにしてビデオ＃１のフレームが貼り付けられている。ビデオ＃１のフレームの１ライン目と、多重ビデオフレームの１ライン目は一致する。
【００８３】
また、ビデオ＃１のフレームと重ならず、かつ、１ライン目が、多重ビデオフレームのｍライン目にくるようにビデオ＃２のフレームが貼り付けられている。
【００８４】
さらに、多重ビデオフレームのn-2ライン目と次のラインであるn-1ライン目にオーディオ＃１のオーディオデータが挿入され、多重ビデオフレームの最も下のラインであるｎライン目にオーディオ＃２のオーディオデータが挿入されている。
【００８５】
図５は、図４に示す形で各データが貼り付けられた多重ビデオフレームのビデオ信号の例を示す図である。
【００８６】
図５に示すように、多重ビデオ信号は、それを時間軸上に表した場合、多重ビデオフレームの１ライン目からｎライン目までの各ラインのデータを伝送する区間毎の信号から構成される。
【００８７】
図５の例においては、時刻ｔ１からｔ２までの区間である区間Ｔ１は、多重ビデオフレームの１ライン目のデータを伝送する区間であり、時刻ｔ２からｔ３までの区間である区間Ｔ２は、多重ビデオフレームの２ライン目のデータを伝送する区間である。
【００８８】
また、時刻ｔｍからｔm+1までの区間である区間Ｔｍは、多重ビデオフレームのｍライン目のデータを伝送する区間であり、時刻ｔn-2からｔn-1までの区間である区間Ｔn-2は、多重ビデオフレームのn-2ライン目のデータを伝送する区間である。時刻ｔn-1からｔｎまでの区間である区間Ｔn-1は、多重ビデオフレームのn-1ライン目のデータを伝送する区間であり、時刻ｔｎからｔn+1までの区間である区間Ｔｎは、多重ビデオフレームのｎライン目のデータを伝送する区間である。
【００８９】
図４に示す形で各データが貼り付けられた場合、多重ビデオ信号の区間Ｔ１には、ビデオ＃１のフレームの１ライン目の信号が挿入される。また、多重ビデオ信号の区間Ｔ２には、ビデオ＃１のフレームの２ライン目の信号が挿入される。
【００９０】
また、多重ビデオフレームの区間Ｔｍには、その前半に、ビデオ＃１のフレームのｍライン目の信号が挿入され、所定の期間だけ空けて後半に、ビデオ＃２のフレームの１ライン目の信号が挿入される。
【００９１】
多重ビデオフレームの区間Ｔn-2と区間Ｔn-1には、サンプル数情報により表される数のオーディオ＃１のオーディオサンプルの信号が挿入される。
【００９２】
多重ビデオフレームの区間Ｔｎには、サンプル数情報により表される数のオーディオ＃２のオーディオサンプルの信号が挿入される。
【００９３】
このように、プロセッサ４３に入力するデータの多重化は、入力するデータの信号を、多重ビデオ信号を構成する全区間のうちの、多重ビデオフレームにおけるデータの挿入位置に応じた区間に挿入することによって実現される。
【００９４】
フレームデータ、オーディオデータ等のデータを多重ビデオフレームに貼り付ける、または挿入するということは、データを、貼り付け位置、または挿入位置に応じた多重ビデオフレームのデータとして伝送することを意味する。多重ビデオフレームのデータは、貼り付け、または挿入されたデータが多重化されたデータになる。
【００９５】
図１の説明に戻り、プロセッサ４３は、ビデオポート（Video In）に入力された多重ビデオフレームのデータに多重化されている各系統のビデオデータと各系統のオーディオデータを抽出し、抽出したデータを対象として所定の処理を行う。プロセッサ４３は、CPU，GPU，DSP，SoCなどの演算装置である。
【００９６】
例えば、ビデオデータの抽出は、後述する抽出回路４５−３および４５−４による抽出と同様にして行われ、オーディオデータの抽出は、抽出回路４５−１および４５−２による抽出と同様にして行われる。
【００９７】
また、プロセッサ４３は、処理を施した各系統のビデオのフレーム、オーディオのサンプルを多重ビデオフレームに貼り付け、それらのデータを多重化する。プロセッサ４３が多重ビデオフレームから抽出したデータの挿入位置と、処理後のデータの挿入位置が異なる場合、適宜、多重ビデオフレームに挿入されているビデオ多重関連情報とオーディオ多重関連情報が書き換えられる。
【００９８】
プロセッサ４３は、処理後のデータが多重化された多重ビデオフレームのデータをビデオポート（Video Out）から出力する。プロセッサ４３からの出力も、１系統のビデオデータになる。プロセッサ４３から出力された多重ビデオフレームのデータは同期信号とともに抽出回路４５−１に供給される。プロセッサ４３から出力された同期信号はタイミング発生回路４４にも供給される。
【００９９】
タイミング発生回路４４は、プロセッサ４３から供給された同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレーム、オーディオサンプルの出力タイミングの基準となる出力タイミング信号を生成する。各系統のビデオ、オーディオのフォーマットに関する情報は、抽出回路４５−１乃至４５−４から供給される。
【０１００】
具体的には、タイミング発生回路４４は、プロセッサ４３から供給された同期信号と、抽出回路４５−４から供給された、ビデオ＃１のビデオフォーマット情報に基づいて、ビデオ＃１用の出力タイミング信号を生成し、ビデオ送信回路５３−１に出力する。
【０１０１】
また、タイミング発生回路４４は、プロセッサ４３から供給された同期信号と、抽出回路４５−３から供給された、ビデオ＃２のビデオフォーマット情報に基づいて、ビデオ＃２用の出力タイミング信号を生成し、ビデオ送信回路５３−２に出力する。
【０１０２】
タイミング発生回路４４は、プロセッサ４３から供給された同期信号と、抽出回路４５−２から供給された、オーディオ＃１のオーディオフォーマット情報に基づいて、オーディオ＃１用の出力タイミング信号を生成し、オーディオ送信回路６３−１に出力する。
【０１０３】
タイミング発生回路４４は、プロセッサ４３から供給された同期信号と、抽出回路４５−１から供給された、オーディオ＃２のオーディオフォーマット情報に基づいて、オーディオ＃２用の出力タイミング信号を生成し、オーディオ送信回路６３−２に出力する。
【０１０４】
抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータから、オーディオ＃２のオーディオサンプルのデータを抽出する。
【０１０５】
抽出回路４５−１が抽出対象とするオーディオ＃２のオーディオサンプルのデータの多重位置は、多重ビデオフレームに挿入されているオーディオ＃２のオーディオ多重関連情報により表される。また、多重ビデオフレームに挿入されているオーディオ＃２のオーディオサンプルの数はオーディオ＃２のサンプル数情報により表される。
【０１０６】
抽出回路４５−１は、多重ビデオフレームが供給されたとき、オーディオ＃２のサンプル数情報を抽出し、多重ビデオフレームに挿入されているオーディオ＃２のオーディオサンプルの数を特定する。また、抽出回路４５−１は、オーディオ＃２のオーディオ多重関連情報により表されるラインに挿入されているデータを、特定した数のオーディオサンプルに相当する分だけ、オーディオ＃２のオーディオサンプルのデータとして抽出する。
【０１０７】
抽出回路４５−１は、抽出したオーディオ＃２のオーディオサンプルのデータをメモリ制御回路６１−２に出力する。また、抽出回路４５−１は、多重ビデオフレームに挿入されているオーディオ＃２のオーディオフォーマット情報を抽出し、タイミング発生回路４４とメモリ制御回路６１−２に出力する。
【０１０８】
抽出回路４５−１は、プロセッサ４３から供給された多重ビデオフレームのデータを抽出回路４５−２に出力する。
【０１０９】
抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームから、抽出回路４５−１と同様にしてオーディオ＃１のオーディオサンプルのデータを抽出する。
【０１１０】
すなわち、抽出回路４５−２は、オーディオ＃１のサンプル数情報を抽出し、多重ビデオフレームに挿入されているオーディオ＃１のオーディオサンプルの数を特定する。また、抽出回路４５−２は、オーディオ＃１のオーディオ多重関連情報により表されるラインに挿入されているデータを、特定した数のオーディオサンプルに相当する分だけ、オーディオ＃１のオーディオサンプルのデータとして抽出する。
【０１１１】
抽出回路４５−２は、抽出したオーディオ＃１のオーディオサンプルのデータをメモリ制御回路６１−１に出力する。また、抽出回路４５−２は、多重ビデオフレームに挿入されているオーディオ＃１のオーディオフォーマット情報を抽出し、タイミング発生回路４４とメモリ制御回路６１−１に出力する。
【０１１２】
抽出回路４５−２は、抽出回路４５−１から供給された多重ビデオフレームのデータを抽出回路４５−３に出力する。
【０１１３】
抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータから、ビデオ＃２のフレームデータを抽出する。
【０１１４】
抽出回路４５−３が抽出対象とするビデオ＃２のフレームデータの挿入位置は、多重ビデオフレームに挿入されているビデオ＃２のビデオ多重関連情報により表される。抽出回路４５−３は、ビデオ＃２のビデオ多重関連情報により表される位置のデータをビデオ＃２のフレームのデータとして多重ビデオフレームから抽出する。
【０１１５】
抽出回路４５−３は、抽出したビデオ＃２のフレームデータをフレームシンクロナイザ５１−２に出力する。また、抽出回路４５−３は、多重ビデオフレームに挿入されているビデオ＃２のビデオフォーマット情報を抽出し、タイミング発生回路４４とフレームシンクロナイザ５１−２に出力する。
【０１１６】
抽出回路４５−３は、抽出回路４５−２から供給された多重ビデオフレームのデータを抽出回路４５−４に出力する。
【０１１７】
抽出回路４５−４は、抽出回路４５−３から供給された多重ビデオフレームのデータから、ビデオ＃１のフレームデータを抽出する。
【０１１８】
抽出回路４５−４が抽出対象とするビデオ＃１のフレームデータの挿入位置は、多重ビデオフレームに挿入されているビデオ＃１のビデオ多重関連情報により表される。抽出回路４５−４は、ビデオ＃１のビデオ多重関連情報により表される位置のデータをビデオ＃１のフレームのデータとして多重ビデオフレームから抽出する。
【０１１９】
抽出回路４５−４は、抽出したビデオ＃１のフレームデータをフレームシンクロナイザ５１−１に出力する。また、抽出回路４５−４は、多重ビデオフレームに挿入されているビデオ＃１のビデオフォーマット情報を抽出し、タイミング発生回路４４とフレームシンクロナイザ５１−１に出力する。
【０１２０】
フレームシンクロナイザ５１−１は、抽出回路４５−４から供給されたビデオ＃１のフレームデータとビデオ＃１のビデオフォーマット情報をフレームメモリ５２−１に記憶させる。フレームシンクロナイザ５１−１は、ビデオ送信回路５３−１からの要求に応じてフレームメモリ５２−１からデータを読み出し、出力する。
【０１２１】
ビデオ送信回路５３−１は、ケーブルドライバ（Cable Driver）、シリアライザ（Serializer）、各種エンコーダ（Encoder）、4:2:2／4:4:4コンバータ、およびD/A（Digital / Analog）コンバータ等を有する。
【０１２２】
ビデオ送信回路５３−１は、要求に応じてフレームシンクロナイザ５１−１から供給されたビデオ＃１のフレームデータを同期信号とともに、タイミング発生回路４４から供給された出力タイミング信号に従って情報処理装置１の外部に出力する。
【０１２３】
情報処理装置１の外部に出力する前、ビデオ送信回路５３−１は、適宜、ビデオ＃１のビデオフォーマット情報に基づいて、ビデオ＃１のフレームデータのデータ形式を整えるための処理を行う。
【０１２４】
実装上、抽出回路４５−４、フレームシンクロナイザ５１−１、ビデオ送信回路５３−１の動作クロックとしてそれぞれ周波数の異なるクロックが用いられる場合、抽出回路４５−４とフレームシンクロナイザ５１−１の間、フレームシンクロナイザ５１−１とビデオ送信回路５３−１の間にはそれぞれDual-Port RAM等のFIFOが設けられる。FIFOを経由することによって、データの送受信を確実に行うことが可能になる。また、メモリアクセス時のデータレートの偏りを軽減することが可能になる。
【０１２５】
抽出回路４５−３とフレームシンクロナイザ５１−２の間、フレームシンクロナイザ５１−２とビデオ送信回路５３−２の間にも、適宜、FIFOが設けられる。オーディオデータを処理する構成についても同様に、抽出回路４５−２とメモリ制御回路６１−１の間、メモリ制御回路６１−１とオーディオ送信回路６３−１の間や、抽出回路４５−１とメモリ制御回路６１−２の間、メモリ制御回路６１−２とオーディオ送信回路６３−２の間にも、適宜、FIFOが設けられる。
【０１２６】
ここで、出力するビデオ＃１のビデオ信号のフレーム周波数と、多重ビデオ信号のフレーム周波数が一致している保証はない。フレームシンクロナイザ５１−１は、フレームメモリ５２−１に記憶されているビデオデータを重複して（同じフレームのビデオデータを続けて）ビデオ送信回路５３−１に供給したり、読み飛ばしを行ったりして、フレーム周波数の違いを吸収する。
【０１２７】
フレームシンクロナイザ５１−２は、抽出回路４５−３から供給されたビデオ＃２のフレームデータとビデオ＃２のビデオフォーマット情報をフレームメモリ５２−２に記憶させる。フレームシンクロナイザ５１−２は、ビデオ送信回路５３−２からの要求に応じてフレームメモリ５２−２からデータを読み出し、出力する。
【０１２８】
ビデオ送信回路５３−２は、ビデオ送信回路５３−１と同様に、要求に応じてフレームシンクロナイザ５１−２から供給されたビデオ＃２のフレームデータを同期信号とともに、タイミング発生回路４４から供給された出力タイミング信号に従って外部に出力する。
【０１２９】
情報処理装置１の外部に出力する前、ビデオ送信回路５３−２は、適宜、ビデオ＃２のビデオフォーマット情報に基づいて、ビデオ＃２のフレームデータのデータ形式を整えるための処理を行う。
【０１３０】
メモリ制御回路６１−１は、抽出回路４５−２から供給されたオーディオ＃１のデータをメモリ６２−１に一時的に記憶させる。メモリ６２−１には、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプル単位で、オーディオ＃１のオーディオデータが記憶される。また、メモリ６２−１には、オーディオ＃１のオーディオフォーマット情報も記憶される。
【０１３１】
メモリ制御回路６１−１は、オーディオ送信回路６３−１からの要求に応じて、メモリ６２−１からデータを読み出し、出力する。
【０１３２】
オーディオ送信回路６３−１は、メモリ制御回路６１−１から供給されたオーディオ＃１のオーディオサンプルのデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された出力タイミング信号に従って情報処理装置１の外部に出力する。
【０１３３】
情報処理装置１の外部に出力する前、オーディオ送信回路６３−１は、適宜、オーディオ＃１のオーディオフォーマット情報に基づいて、オーディオ＃１のオーディオサンプルのデータ形式を整えるための処理を行う。
【０１３４】
メモリ制御回路６１−２は、抽出回路４５−１から供給されたオーディオ＃２のオーディオサンプルのデータをメモリ６２−２に一時的に記憶させる。メモリ６２−２には、多重ビデオフレームの１フレーム期間内に入力されたオーディオサンプル単位で、オーディオ＃２のオーディオデータが記憶される。また、メモリ６２−２には、オーディオ＃２のオーディオフォーマット情報も記憶される。
【０１３５】
メモリ制御回路６１−２は、オーディオ送信回路６３−２からの要求に応じて、メモリ６２−２からデータを読み出し、出力する。
【０１３６】
オーディオ送信回路６３−２は、メモリ制御回路６１−２から供給されたオーディオ＃２のオーディオサンプルのデータを、１サンプルのデータずつ、タイミング発生回路４４から供給された出力タイミング信号に従って情報処理装置１の外部に出力する。
【０１３７】
情報処理装置１の外部に出力する前、オーディオ送信回路６３−２は、適宜、オーディオ＃２のオーディオフォーマット情報に基づいて、オーディオ＃２のオーディオサンプルのデータ形式を整えるための処理を行う。
【０１３８】
なお、図１においては、２系統のビデオデータと２系統のオーディオデータが情報処理装置１に入力され、処理が行われるものとしたが、入力されるデータの系統の数は変更可能である。
【０１３９】
例えば、情報処理装置１には、１系統のビデオデータ毎に、入力側の構成として、ビデオ受信回路２１−１、フレームシンクロナイザ２２−１、フレームメモリ２３−１、多重回路４２−１と同様の構成が設けられる。また、出力側の構成として、抽出回路４５−４、フレームシンクロナイザ５１−１、フレームメモリ５２−１、ビデオ送信回路５３−１と同様の構成が設けられる。
【０１４０】
情報処理装置１には、１系統のオーディオデータ毎に、入力側の構成として、オーディオ受信回路３１−１、メモリ制御回路３２−１、メモリ３３−１、多重回路４２−３と同様の構成が設けられる。また、出力側の構成として、抽出回路４５−２、メモリ制御回路６１−１、メモリ６２−１、オーディオ送信回路６３−１と同様の構成が設けられる。
【０１４１】
以下、適宜、同じ名称を有する回路、構成を区別する必要がない場合、「−」とそれに続く数字を省略して説明する。
【０１４２】
［ビデオ型インタフェース］
図６は、ビデオ型インタフェースを模式的に示す図である。
【０１４３】
ビデオ型インタフェースにおいては、水平同期信号（H-Sync）、垂直同期信号（V-Sync）、フィールドフラグ信号（Field Flag）、画像や音声よりなるデータ信号（Data）、クロックを示すイネーブル信号（EN）などが送信側から受信側に伝送される。フィールドフラグ信号は、第１フィールドであるか第２フィールドであるかを示す。
【０１４４】
図６のビデオ型インタフェースにおいて伝送されるビデオ信号の波形の例を図７に示す。図７の上段の信号群＃１１は、インタレース方式のビデオ信号の波形の例を示し、下段の信号群＃１２は、プログレッシブ方式のビデオ信号の波形の例を示す。
【０１４５】
図７の信号群＃１１に示す波形のうち、実線矢印で示す範囲の波形の詳細を図８に示す。図８は、HD(High-Definition)画像のビデオ信号の波形の例を示す。
【０１４６】
図８に示すように、垂直同期信号（V）の１周期の間に、１フィールド（540ライン）分のデータ（Data）が伝送される（Active Video）。また、水平同期信号（H）の１周期の間に１ライン（1920画素）分のデータ（Data）が伝送される。
【０１４７】
［多重フレーム配置情報］
多重フレーム配置情報には、上述した多重ビデオフレーム構成情報、ビデオ多重関連情報、ビデオフォーマット情報、オーディオ多重関連情報、オーディオフォーマット情報、および、オーディオの付随データとしてのサンプル数情報が含まれる。
【０１４８】
図９および図１０を参照して、各情報について説明する。
【０１４９】
図９に示すように、多重ビデオフレーム構成情報には、多重ビデオフレームの水平長、水平ブランキング長、水平有効長、垂直長、垂直ブランキング長、垂直有効長を表す情報が含まれる。
【０１５０】
また、多重ビデオフレーム構成情報には、多重ビデオフレームのフレーム構造（InterlacedであるかProgressiveであるか）、フレーム周波数、ビット幅（8bit/10bit/12bit/16bit）を表す情報が含まれる。
【０１５１】
ビデオ多重関連情報には、ビデオ（フレームデータ）の有無、多重位置、水平サイズ、垂直サイズ、多重ライン間隔を表す情報が含まれる。ビデオの有無は、ビデオデータが多重されているか否かを示すフラグにより表され、多重位置は、多重ビデオフレームの所定の位置を原点として、貼り付けられているフレームの左上などの、起点となる位置のｘ座標、ｙ座標で表される。
【０１５２】
また、ビデオ多重関連情報には、Ancillary Dataの有無、多重位置、水平サイズ、垂直サイズ、多重ライン間隔を表す情報が含まれる。Ancillary Dataの有無は、Ancillary Dataが多重されているか否かを示すフラグにより表され、多重位置は、多重ビデオフレームの所定の位置を原点として、Ancillary Dataの先頭のデータの位置などの、起点となる位置のｘ座標、ｙ座標で表される。
【０１５３】
これらの各情報を含むビデオ多重関連情報は、各系統のビデオデータ毎に用意される。
【０１５４】
ビデオフォーマット情報には、クロック周波数、ブランキングパルスの極性（H,V）、水平長、水平ブランキング長、水平有効長、垂直長、垂直ブランキング長、垂直有効長を表す情報が含まれる。
【０１５５】
また、ビデオフォーマット情報には、フレーム構造（Interlaced/Progressive）、フレーム周波数、イメージフォーマット（Interleaved/Planar）、ビット数（8bit/10bit/12bit/14bit/16bit）を表す情報が含まれる。ビデオフォーマット情報には、サンプリングフォーマット（4:2:2/4:4:4/4:1:1）、色数とカラーフォーマット（RGB/YCbCr/CMYK/６色/８色/…）、Ancillary Dataのライン番号、Timecodeのライン番号を表す情報も含まれる。
【０１５６】
ビデオフォーマット情報は、各系統のビデオデータ毎に用意される。
【０１５７】
図１０に示すように、オーディオ多重関連情報には、オーディオサンプルのデータの有無、多重位置、水平サイズ、垂直サイズ、多重ライン間隔を表す情報が含まれる。オーディオサンプルのデータの有無は、オーディオサンプルのデータが多重されているか否かを示すフラグにより表され、多重位置は、多重ビデオフレームの所定の位置を原点として、オーディオサンプルのデータが挿入されている領域の起点となる位置のｘ座標、ｙ座標で表される。
【０１５８】
オーディオ多重関連情報は、各系統のオーディオデータ毎に用意される。
【０１５９】
オーディオフォーマット情報には、クロック周波数、チャンネル数（Mono/Dual-Mono/Stereo/.../5.1ch/7.1ch/9.1ch）、サンプリング周波数（32kHz/44.1kHz/48kHz/96kHz/192kHz）、ビット数（16bit/20bit/24bit）を表す情報が含まれる。
【０１６０】
オーディオフォーマット情報は、各系統のオーディオデータ毎に用意される。
【０１６１】
オーディオの付随データであるサンプル数情報も、各系統のオーディオデータ毎に用意される。
【０１６２】
多重フレーム配置情報に含まれる各情報の挿入位置を表す情報は、入力回路とプロセッサ４３の間、プロセッサ４３と出力回路の間でそれぞれ共通の位置を表すように予め設定されている。
【０１６３】
入力回路は、プロセッサ４３に対してデータを入力する回路全体をいい、出力回路は、プロセッサ４３から出力されたデータを情報処理装置１の外部に出力する回路全体をいう。
【０１６４】
入力回路は、図１のビデオ受信回路２１、フレームシンクロナイザ２２、フレームメモリ２３、オーディオ受信回路３１、メモリ制御回路３２、メモリ３３、多重ビデオ信号発生回路４１、および多重回路４２から構成される。また、出力回路は、図１のタイミング発生回路４４、抽出回路４５、フレームシンクロナイザ５１、フレームメモリ５２、ビデオ送信回路５３、メモリ制御回路６１、メモリ６２、およびオーディオ送信回路６３から構成される。
【０１６５】
［入力回路の動作］
多重フレーム配置情報に含まれる各情報に関する入力回路の処理について説明する。
【０１６６】
多重ビデオフレーム構成情報は、多重ビデオ信号発生回路４１により多重ビデオフレームに挿入される。プロセッサ４３は、多重ビデオフレーム構成情報に基づいて、多重ビデオフレームのデータ領域（有効画枠）を認識することが可能になる。
【０１６７】
ビデオ多重関連情報は、ビデオデータを処理する多重回路４２（図１の例の場合、多重回路４２−１と４２−２）により生成され、多重ビデオフレームに挿入される。ビデオ多重関連情報は、ビデオデータを処理する多重回路４２に予め設定されているようにしてもよいし、多重化する対象のビデオデータに応じて自動的に生成されるようにしてもよい。
【０１６８】
ビデオ多重関連情報が予め設定される場合、その情報は、例えば、ビデオデータを処理する多重回路４２内のレジスタに記憶される。多重回路４２は、レジスタに記憶されているビデオ多重関連情報を多重ビデオフレームに挿入する。
【０１６９】
一方、多重回路４２により自動的に生成される場合、多重化対象のビデオデータの挿入位置を、ビデオデータのフォーマットに基づいて自動的に決定する機能（回路）が、ビデオデータを処理する多重回路４２に用意される。多重回路４２は、その機能によって決定した挿入位置を表す情報を、ビデオ多重関連情報として多重ビデオフレームに挿入する。
【０１７０】
プロセッサ４３は、ビデオ多重関連情報に基づいて、多重ビデオフレームから所望の系統のビデオフレームのデータを抽出することが可能になる。
【０１７１】
ビデオフォーマット情報は、ビデオ受信回路２１から出力され、ビデオデータを処理する多重回路４２により多重ビデオフレームに挿入される。ビデオフォーマット情報は、ビデオ受信回路２１に予め設定されているようにしてもよいし、ビデオ信号に基づいてフォーマットの検出が行われることによってビデオ受信回路２１により生成されるようにしてもよい。ビデオフォーマット情報が、ビデオ受信回路２１ではなく、フレームシンクロナイザ２２により生成されるようにすることも可能である。
【０１７２】
プロセッサ４３は、ビデオフォーマット情報に基づいて、多重ビデオフレームから抽出したビデオフレームのデータの構成を判断することが可能になる。
【０１７３】
オーディオ多重関連情報は、オーディオデータを処理する多重回路４２（図１の例の場合、多重回路４２−３と４２−４）により生成され、多重ビデオフレームに挿入される。オーディオ多重関連情報は、オーディオデータを処理する多重回路４２に予め設定されているようにしてもよいし、多重化する対象のオーディオデータに応じて自動的に生成されるようにしてもよい。
【０１７４】
オーディオ多重関連情報が予め設定される場合、その情報は、例えば、オーディオデータを処理する多重回路４２内のレジスタに記憶される。多重回路４２は、レジスタに記憶されているオーディオ多重関連情報を多重ビデオフレームに挿入する。
【０１７５】
一方、多重回路４２により自動的に生成される場合、多重化対象のオーディオデータの挿入位置を、オーディオデータのフォーマットに基づいて自動的に決定する機能（回路）が、オーディオデータを処理する多重回路４２に用意される。多重回路４２は、その機能によって決定した挿入位置を表す情報を、オーディオ多重関連情報として多重ビデオフレームに挿入する。
【０１７６】
プロセッサ４３は、オーディオ多重関連情報に基づいて、多重ビデオフレームから所望の系統のオーディオサンプルのデータを抽出することが可能になる。
【０１７７】
オーディオフォーマット情報は、オーディオ受信回路３１から出力され、オーディオデータを処理する多重回路４２により多重ビデオフレームに挿入される。オーディオフォーマット情報は、オーディオ受信回路３１に予め設定されているようにしてもよいし、オーディオ信号に基づいてフォーマットの検出が行われることによってオーディオ受信回路３１により生成されるようにしてもよい。オーディオフォーマット情報が、オーディオ受信回路３１ではなく、メモリ制御回路３２により生成されるようにすることも可能である。
【０１７８】
プロセッサ４３は、オーディオフォーマット情報に基づいて、多重ビデオフレームから抽出したオーディオサンプルのデータの構成を判断することが可能になる。
【０１７９】
サンプル数情報は、オーディオ受信回路３１により生成され、オーディオデータを処理する多重回路４２により多重ビデオフレームに挿入される。サンプル数情報が、オーディオ受信回路３１ではなく、メモリ制御回路３２により生成されるようにすることも可能である。
【０１８０】
プロセッサ４３は、サンプル数情報に基づいて、オーディオ多重関連情報により特定される、オーディオデータの挿入位置のうちの有効領域（オーディオサンプルのデータが実際に挿入されている領域）を判断することが可能になる。
【０１８１】
［出力回路の動作］
多重フレーム配置情報に含まれる各情報に関する出力回路の処理について説明する。
【０１８２】
プロセッサ４３から出力された多重ビデオフレームに挿入されているビデオ多重関連情報は、ビデオデータを処理する抽出回路４５（図１の例の場合、抽出回路４５−３と４５−４）により読み取られ、フレームデータの抽出に用いられる。
【０１８３】
また、ビデオフォーマット情報は、ビデオデータを処理する抽出回路４５により読み取られ、タイミング発生回路４４とビデオ送信回路５３に供給される。
【０１８４】
タイミング発生回路４４においては、ビデオフォーマット情報に基づいて、ビデオ送信回路５３用の出力タイミング信号（ビデオのH-Sync、V-Sync）が生成される。また、ビデオ送信回路５３においては、ビデオフォーマット情報に基づいて、信号の出力形式を整えるための処理が行われる。例えば、ビデオ送信回路５３が有するD/A変換器によるD/A変換やフォーマットの変換が行われる。
【０１８５】
また、プロセッサ４３から出力された多重ビデオフレームに挿入されているオーディオ多重関連情報は、オーディオデータを処理する抽出回路４５（図１の例の場合、抽出回路４５−１と４５−２）により読み取られ、オーディオサンプルの抽出に用いられる。
【０１８６】
また、オーディオフォーマット情報は、オーディオデータを処理する抽出回路４５により読み取られ、タイミング発生回路４４とオーディオ送信回路６３に供給される。
【０１８７】
タイミング発生回路４４においては、オーディオフォーマット情報に基づいて、オーディオ送信回路６３用の出力タイミング信号（ビデオのオーディオのfs）が生成される。また、オーディオ送信回路６３においては、オーディオフォーマット情報に基づいて、信号の出力形式を整えるための処理が行われる。例えば、オーディオ送信回路６３が有するサンプリングレート変換器によるサンプリングレートの変換、D/A変換器によるD/A変換、フォーマットの変換が行われる。
【０１８８】
［情報処理装置の動作］
ここで、図１１のフローチャートを参照して、図１の情報処理装置１の処理について説明する。
【０１８９】
ステップＳ１において、ビデオ受信回路２１−１および２１−２によりビデオ受信処理が行われる。
【０１９０】
ステップＳ２において、オーディオ受信回路３１−１および３１−２によりオーディオ受信処理が行われる。
【０１９１】
ステップＳ３において、多重ビデオ信号発生回路４１は、多重ビデオフレームを生成する。
【０１９２】
ステップＳ４において、多重ビデオ信号発生回路４１は、多重ビデオフレーム構成情報を多重ビデオフレームに挿入し、多重ビデオフレームのデータと同期信号を出力する。
【０１９３】
ステップＳ５において、多重回路４２−１乃至４２−４により多重化処理が行われる。
【０１９４】
ステップＳ６において、プロセッサ４３は、ビデオポートに入力された多重ビデオフレームのデータに多重化されているビデオデータ、オーディオデータを抽出し、所定の処理を行う。プロセッサ４３は、処理後のデータが多重化された多重ビデオフレームのデータをビデオポートから出力する。
【０１９５】
ステップＳ７において、抽出回路４５−１乃至４５−４により抽出処理が行われる。
【０１９６】
ステップＳ８において、タイミング発生回路４４は、各系統のビデオ、オーディオのフォーマットに基づいて、各系統のデータ用の出力タイミング信号を生成し、出力する。
【０１９７】
ステップＳ９において、オーディオ送信回路６３−１および６３−２によりオーディオ出力処理が行われる。
【０１９８】
ステップＳ１０において、ビデオ送信回路５３−１および５３−２によりビデオ出力処理が行われる。ビデオ出力処理が終了した後、処理は終了される。
【０１９９】
次に、図１２のフローチャートを参照して、図１１のステップＳ１において行われるビデオ受信処理について説明する。
【０２００】
ステップＳ１１において、ビデオ受信回路２１−１は、入力されたビデオ信号を受信し、A/D変換等の各種の処理を施すことによって、ビデオ＃１を構成する各フレームのデータとAncillary Dataを生成する。ビデオ受信回路２１−２においても同様の処理が行われ、ビデオ＃２を構成する各フレームのデータとAncillary Dataが生成される。
【０２０１】
ステップＳ１２において、ビデオ受信回路２１−１は、フォーマット検出を行い、ビデオ＃１のビデオフォーマット情報を生成する。この例においては、フォーマット検出が行われることによって、ビデオフォーマット情報が生成されるようになされている。
【０２０２】
ステップＳ１３において、フレームシンクロナイザ２２−１は、ビデオ＃１のフレームデータ、Ancillary Data、およびビデオフォーマット情報をフレームメモリ２３−１に記憶させる。フレームシンクロナイザ２２−２においても、ビデオ＃２のフレームデータ、Ancillary Data、およびビデオフォーマット情報をフレームメモリ２３−２に記憶させることが行われる。
【０２０３】
ビデオ＃１および＃２のデータがフレームメモリ２３に記憶された後、図１１のステップＳ１に戻り、それ以降の処理が行われる。
【０２０４】
次に、図１３のフローチャートを参照して、図１１のステップＳ２において行われるオーディオ受信処理について説明する。
【０２０５】
ステップＳ２１において、オーディオ受信回路３１−１は、入力されたオーディオ信号を受信し、A/D変換等の処理を施すことによって、オーディオサンプルの時系列から構成されるオーディオ＃１のオーディオデータを生成する。オーディオ受信回路３１−２においても同様の処理が行われ、オーディオ＃２のオーディオデータが生成される。
【０２０６】
ステップＳ２２において、オーディオ受信回路３１−１は、フォーマット検出を行い、オーディオ＃１のオーディオフォーマット情報を生成する。この例においては、フォーマット検出が行われることによって、オーディオフォーマット情報が生成されるようになされている。
【０２０７】
ステップＳ２３において、オーディオ受信回路３１−１は、サンプル数をカウントしつつ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃１のオーディオサンプルを切り出す。オーディオ受信回路３１−２においても同様の処理が行われ、多重ビデオフレームの１フレーム期間内に入力されたオーディオ＃２のオーディオサンプルが切り出される。
【０２０８】
ステップＳ２４において、メモリ制御回路３２−１は、切り出されたオーディオ＃１のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報をメモリ３３−１に記憶させる。また、メモリ制御回路３２−２は、切り出されたオーディオ＃２のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報をメモリ３３−２に記憶させる。
【０２０９】
オーディオ＃１および＃２のデータがメモリ３３に記憶された後、図１１のステップＳ２に戻り、それ以降の処理が行われる。
【０２１０】
次に、図１４のフローチャートを参照して、図１１のステップＳ５において行われる多重化処理について説明する。図１１のステップＳ３において生成された多重ビデオフレームのデータは多重回路４２−１に供給される。
【０２１１】
ステップＳ３１において、多重回路４２−１は、フレームシンクロナイザ２２−１に対して要求することによって、ビデオ＃１のデータをフレームメモリ２３−１から読み出す。フレームメモリ２３−１からは、ビデオ＃１のフレームデータ、Ancillary Data、およびビデオフォーマット情報が読み出される。
【０２１２】
ステップＳ３２において、多重回路４２−１は、フレームメモリ２３−１から読み出したビデオ＃１のフレームデータを多重ビデオフレームに挿入する。
【０２１３】
ステップＳ３３において、多重回路４２−１は、フレームメモリ２３−１から読み出したビデオ＃１のAncillary Dataを多重ビデオフレームに挿入する。
【０２１４】
ステップＳ３４において、多重回路４２−１は、ビデオ＃１のフレームデータの挿入位置を表すビデオ多重関連情報と、フレームメモリ２３−１から読み出したビデオフォーマット情報を多重ビデオフレームに挿入する。
【０２１５】
ステップＳ３１乃至Ｓ３４の処理と同様の処理が多重回路４２−２においても行われ、フレームメモリ２３−２から読み出されたビデオ＃２のフレームデータが、多重回路４２−１から供給された多重ビデオフレームに挿入される。また、ビデオ＃２のビデオ多重関連情報とビデオフォーマット情報が挿入される。
【０２１６】
ステップＳ３５において、多重回路４２−３は、メモリ制御回路３２−１に対して要求することによって、メモリ３３−１からデータを読み出す。メモリ３３−１からは、オーディオ＃１のオーディオサンプルのデータ、サンプル数情報、およびオーディオフォーマット情報が読み出される。
【０２１７】
ステップＳ３６において、多重回路４２−３は、オーディオ＃１のオーディオサンプルのデータを、多重回路４２−２から供給された多重ビデオフレームに挿入する。
【０２１８】
ステップＳ３７において、多重回路４２−３は、オーディオ＃１のサンプル数情報、オーディオ多重関連情報、およびオーディオフォーマット情報を、多重回路４２−２から供給された多重ビデオフレームに挿入する。
【０２１９】
ステップＳ３５乃至Ｓ３７の処理と同様の処理が多重回路４２−４においても行われる。メモリ３３−２から読み出されたオーディオ＃２のオーディオサンプルのデータが、サンプル数情報、オーディオ多重関連情報、およびオーディオフォーマット情報とともに、多重回路４２−３から供給された多重ビデオフレームに挿入される。
【０２２０】
全系統のビデオデータとオーディオデータが多重ビデオフレームに挿入された後、図１１のステップＳ５に戻り、それ以降の処理が行われる。
【０２２１】
次に、図１５のフローチャートを参照して、図１１のステップＳ７において行われる抽出処理について説明する。
【０２２２】
ステップＳ５１において、抽出回路４５−１は、プロセッサ４３から出力された多重ビデオフレームのデータを受信する。
【０２２３】
ステップＳ５２において、抽出回路４５−１は、多重ビデオフレームに挿入されているオーディオ多重関連情報とサンプル数情報に基づいて、オーディオ＃２のオーディオサンプルのデータを多重ビデオフレームから抽出する。
【０２２４】
ステップＳ５３において、抽出回路４５−１は、オーディオ＃２のオーディオフォーマット情報を多重ビデオフレームから抽出する。
【０２２５】
ステップＳ５４において、メモリ制御回路６１−２は、抽出回路４５−１により抽出されたオーディオ＃２のオーディオサンプルのデータとオーディオフォーマット情報をメモリ６２−２に記憶させる。
【０２２６】
ステップＳ５２乃至Ｓ５４の処理と同様の処理が抽出回路４５−２、メモリ制御回路６１−１においても行われ、多重ビデオフレームから抽出されたオーディオ＃１のオーディオサンプルのデータとオーディオフォーマット情報がメモリ６２−１に記憶される。
【０２２７】
ステップＳ５５において、抽出回路４５−３は、多重ビデオフレームに挿入されているビデオ多重関連情報に基づいて、ビデオ＃２のフレームデータとAncillary Dataを多重ビデオフレームから抽出する。
【０２２８】
ステップＳ５６において、抽出回路４５−３は、ビデオフォーマット情報を多重ビデオフレームから抽出する。
【０２２９】
ステップＳ５７において、フレームシンクロナイザ５１−２は、抽出回路４５−３により抽出されたビデオ＃２のフレームデータ、Ancillary Data、およびビデオフォーマット情報をフレームメモリ５２−２に記憶させる。
【０２３０】
ステップＳ５５乃至Ｓ５７の処理と同様の処理が抽出回路４５−４、フレームシンクロナイザ５１−１においても行われる。多重ビデオフレームから抽出されたビデオ＃１のフレームデータ、Ancillary Data、およびビデオフォーマット情報がフレームメモリ５２−１に記憶される。
【０２３１】
全系統のビデオデータとオーディオデータが多重ビデオフレームから抽出された後、図１１のステップＳ７に戻り、それ以降の処理が行われる。
【０２３２】
次に、図１６のフローチャートを参照して、図１１のステップＳ９において行われるオーディオ出力処理について説明する。
【０２３３】
ステップＳ６１において、オーディオ送信回路６３−２は、メモリ制御回路６１−２に対して要求することによって、オーディオ＃２のオーディオサンプルのデータとオーディオフォーマット情報をメモリ６２−２から読み出す。
【０２３４】
ステップＳ６２において、オーディオ送信回路６３−２は、オーディオフォーマット情報に基づいて、信号の出力形式を整えるための処理を行う。
【０２３５】
ステップＳ６３において、オーディオ送信回路６３−２は、１サンプルのデータずつ、出力形式を整えたオーディオ＃２のオーディオデータを外部に出力する。
【０２３６】
ステップＳ６１乃至Ｓ６３の処理と同様の処理がオーディオ送信回路６３−１においても行われ、メモリ６２−１から読み出されたオーディオ＃１のオーディオデータが外部に出力される。
【０２３７】
全系統のオーディオデータが出力された後、図１１のステップＳ９に戻り、それ以降の処理が行われる。
【０２３８】
次に、図１７のフローチャートを参照して、図１１のステップＳ１０において行われるビデオ出力処理について説明する。
【０２３９】
ステップＳ７１において、ビデオ送信回路５３−２は、フレームシンクロナイザ５１−２に対して要求することによって、ビデオ＃２のフレームデータとビデオフォーマット情報をフレームメモリ５２−２から読み出す。
【０２４０】
ステップＳ７２において、ビデオ送信回路５３−２は、ビデオフォーマット情報に基づいて、信号の出力形式を整えるための処理を行う。
【０２４１】
ステップＳ７３において、ビデオ送信回路５３−２は、出力形式を整えたビデオ＃２のフレームデータを外部に出力する。ビデオ＃２のAncillary Dataが多重ビデオフレームから抽出されている場合、適宜、Ancillary Dataもフレームメモリ５２−２から読み出され、フレームデータとともに外部に出力される。
【０２４２】
ステップＳ７１乃至Ｓ７３の処理と同様の処理がビデオ送信回路５３−１においても行われ、フレームメモリ５２−１から読み出されたビデオ＃１のフレームデータが外部に出力される。
【０２４３】
全系統のビデオのフレームデータが出力された後、図１１のステップＳ１０に戻り、それ以降の処理が行われる。
【０２４４】
以上の各ステップの処理は、必ずしも図に示す順に行われるものではなく、適宜、他のステップの処理と並行して、または他のステップの処理と前後して行われる。
【０２４５】
以上の一連の処理により、１つの入力ビデオポートを備えるプロセッサ４３に対して複数の系統のビデオデータとオーディオデータを入力することができる。また、１つの出力ビデオポートを備えるプロセッサ４３から、複数の系統のビデオデータとオーディオデータを出力させることができる。すなわち、プロセッサ４３に対するデータの入力、およびプロセッサ４３からのデータの出力を、１つのビデオポートを使って効率的に行うことができる。
【０２４６】
また、情報処理装置１に入力するデータの柔軟性と自由度を確保することが可能になる。
【０２４７】
すなわち、データの多重位置に関する情報などが入力回路から後段に提供されることによって、入力回路とプロセッサ４３の間、プロセッサ４３と出力回路の間でそれぞれデータの多重位置などを固定的に予め設定しておく必要がない。
【０２４８】
その結果、多重位置を変え、様々な組み合わせの信号の入力に対応することが容易になる。例えば、4K×2Kの多重ビデオフレームにHDのビデオフレームを４フレーム貼り付けるようにしてもよいし、SDのビデオフレームを４フレーム貼り付けるようにしてもよい。HDとSDが混在してもよい。各種の組み合わせの信号に対応するためには、入力回路さえ設定を変えれば済む。
【０２４９】
同時に、入力回路とプロセッサ４３の間、プロセッサ４３と出力回路の間で、設定の不整合が起こる危険性を排除することも可能になる。
【０２５０】
入力回路が信号の有無や種類（フォーマット）を自動判別し、その判別結果に基づいて多重ビデオフレームを調整・変更することも可能になる。例えば、入力がないチャンネルのデータを多重ビデオフレームから自動的に消す（多重ビデオフレームに挿入しない）といったことを、ユーザによる入力に応じてではなく、入力回路に独自の判断で行わせることが可能になる。また、入力されるビデオフレームのSD/HDの切り替えを判別して、多重ビデオフレームに確保する必要があるビデオ挿入用の領域のサイズを入力回路が自動的に変えるといったことも可能になる。
【０２５１】
出力信号の形式を多重フレーム配置情報に基づいて自動的に整えることが出力回路において行われるようにすることも可能になる。この際、出力回路は多重フレーム配置情報を読み取って出力形式を自動的に変えることができる回路であるため、出力回路に新たな設定を行う必要がない。
【０２５２】
多重フレーム配置情報を定義することにより、入力ビデオデータとしてフレームとフィールドが混在する場合のデータ伝送を容易に行うことが可能になる。例えば、フレーム周波数が60Hzの多重ビデオ信号を生成し、それを用いてフィールド周波数が60Hzのビデオデータを多重化することや、フレーム周波数が30Hzの多重ビデオ信号を生成し、それを用いてフィールド周波数が60Hzのビデオデータを多重化することも可能になる。この場合でも、多重フレーム配置情報が伝送されることにより、元のビデオ信号を正確に復元することができる。
【０２５３】
また、多重フレーム配置情報を多重ビデオフレーム毎に挿入することにより、ビデオ／オーディオデータと対応付けた値を、１多重ビデオフレーム毎に変更・更新することができる。GPIOやシリアルポートを使ったデータ伝送においては、このような即応性を得ることはできない。
【０２５４】
［多重化の例］
以上においては、２系統のビデオ信号と２系統のオーディオ信号が情報処理装置１に入力されるものとしたが、入力される信号の数は適宜変更可能である。例えば、ビデオ信号とオーディオ信号が４系統ずつ入力されるようにしてもよい。
【０２５５】
図１８は、ビデオ信号とオーディオ信号が４系統ずつ入力された場合の多重ビデオフレームの例を示す図である。
【０２５６】
図１８の多重ビデオフレームにおいては、ブランキング領域が水平方向と垂直方向にそれぞれ設けられ、有効画枠内の１ライン目から所定のラインまでの領域が、多重フレーム配置情報用の領域Ａ１として設定されている。図９、図１０に示す各情報が、領域Ａ１のうちの、各情報に対して割り当てられた位置に挿入される。
【０２５７】
図１８に示すように連続した領域にまとめて挿入されるのではなく、多重フレーム配置情報に含まれる各情報が、多重ビデオフレーム内に離れて設定された複数の領域に挿入されるようにしてもよい。
【０２５８】
また、図１８の多重ビデオフレームにおいては、領域Ａ１の下に、ビデオ用の領域であるビデオ領域Ａ２が設定されている。ビデオ領域Ａ２には、ビデオ＃０乃至＃３のフレームが、互いに重ならないように、それぞれのフレームサイズを保持したまま貼り付けられている。
【０２５９】
ビデオ領域Ａ２の下に、オーディオデータ用の領域であるオーディオ領域Ａ３が設定されている。オーディオデータ領域Ａ３の各ラインには、オーディオ＃０乃至＃３のオーディオデータが、情報処理装置１に入力された順に、各ラインの左側を先頭にして詰めて挿入されている。
【０２６０】
図１８において、各ラインに挿入されるオーディオデータの水平方向の長さが異なることは、挿入されているオーディオデータのデータ量が系統毎に異なることを表す。上述したように、同じ多重ビデオフレームに多重化されるオーディオデータは、その多重ビデオフレームのフレーム期間内に入力されたものである。従って、各オーディオデータのサンプリング周波数が異なる場合や量子化精度が異なる場合、同じ多重ビデオフレームに多重化されるオーディオデータのデータ量にはばらつきが生じることになる。オーディオデータに割り当てられたラインのうち、データの記録されている領域が、上述した、オーディオデータの有効領域になる。
【０２６１】
図１９は、ビデオ信号とオーディオ信号が４系統ずつ入力された場合の多重ビデオフレームの他の例を示す図である。
【０２６２】
図１９の多重ビデオフレームのビデオ領域Ａ２には、水平方向の画素数が有効画枠の水平方向の画素数と等しく、垂直方向の画素数が所定のライン数分の画素数からなる領域が各ビデオのフレームのデータを挿入するための領域として設定されている。図１９の例においては、ビデオ＃０乃至＃３のフレームのデータを挿入するための領域が上から順に設定されている。
【０２６３】
このように、入力されたときのサイズを保持したまま多重ビデオフレームに貼り付けられるのではなく、各ビデオのフレームが、入力時の形と合同ではない他の形で貼り付けられるようにしてもよい。各ビデオのフレームを貼り付けるための領域の設定の仕方によっては、データの多重化を効率的に行うことが可能になる。
【０２６４】
［変形例］
図２０は、情報処理装置１の他の構成例を示すブロック図である。
【０２６５】
図２０に示す構成のうち、図１に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２６６】
図２０に示す構成は、多重ビデオ信号発生回路４１の前段に切り替え回路１１１が設けられている点で図１に示す情報処理装置１の構成と異なる。
【０２６７】
切り替え回路１１１に対しては、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および、その２つの同期信号とは別に外部から入力された同期信号である外部同期信号が入力される。外部同期信号はタイミング発生回路４４にも供給される。
【０２６８】
切り替え回路１１１は、ビデオ＃１の同期信号、ビデオ＃２の同期信号、および外部同期信号のうちの所定の同期信号を選択し、多重ビデオ信号発生回路４１に出力する。
【０２６９】
多重ビデオ信号発生回路４１は、切り替え回路１１１から供給された同期信号により規定される周期で多重ビデオフレームを生成し、生成した多重ビデオフレームのデータを、切り替え回路１１１から供給された同期信号とともに多重回路４２−１に出力する。
【０２７０】
タイミング発生回路４４は、外部同期信号、または各系統のビデオ、オーディオのフォーマットに基づいて、各系統のビデオのフレームデータ、オーディオデータの出力タイミングの基準となる同期信号を生成し、出力する。
【０２７１】
このように、多重ビデオフレームを生成する周期を規定する同期信号として、外部から入力された同期信号を切り替えて用いるようにすることも可能である。
【０２７２】
［入力用の多重ビデオフレームを用いた多重化について］
ここで、多重ビデオフレームを用いて行われるビデオデータとオーディオデータの多重化の方法について説明する。データの挿入位置によって、データの遅延を抑えることが可能になる。
【０２７３】
はじめに、多重回路４２により行われる、プロセッサ４３に対する入力用の多重ビデオフレームを用いた多重化について説明する。
【０２７４】
図２１は、入力用の多重ビデオフレームの領域構成の例を示す図である。
【０２７５】
図２１に示すように、入力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図２１の例においては、有効画枠内の１ライン目からｍ１ライン目までの領域が、ビデオ用の領域であるビデオ領域Ａ11として設定されている。また、有効画枠内のm1+1ライン目から、ｍ２ライン目までの領域が、オーディオ用の領域であるオーディオ領域Ａ12として設定されている。m２+1ライン目から最終ラインであるｎライン目までの領域が、多重フレーム配置情報用の領域Ａ13として設定されている。
【０２７６】
このように、入力用の多重ビデオフレームには、その上側にビデオ領域Ａ11が設定され、ビデオ領域Ａ11の下側にオーディオ領域Ａ12が設定される。入力用の多重ビデオフレームを時間軸上に表した場合、処理順でいうと、入力用の多重ビデオフレームの上側が時間軸上では前側、下側が時間軸上では後ろ側になる。
【０２７７】
図２２は、図２１の入力用の多重ビデオフレームに貼り付けるビデオフレームの例を示す図である。
【０２７８】
ここでは、ビデオ＃０乃至＃３の４系統のビデオデータを多重化する場合について説明する。
【０２７９】
図２２の例においては、ビデオ＃０のフレームサイズは720×486i（SD）であり、ビデオ＃１のフレームサイズは1280×720p（720p）とされている。また、ビデオ＃２のフレームサイズは、ビデオ＃１のフレームサイズと同じ1280×720p（720p）であり、ビデオ＃３のフレームサイズは1920×1080i（HD）とされている。
【０２８０】
入力用の多重ビデオフレームへの貼り付け対象となるフレームは例えばライン毎に分割され、各ラインが、入力用の多重ビデオフレームのそれぞれ異なるラインに貼り付けられる。
【０２８１】
また、貼り付け対象となる各フレームのデータが重ならないように、かつ、インタリーブして貼り付けられる。インタリーブとは、同じフレームのラインが垂直方向に連続しないように入力用の多重ビデオフレームに配置することをいう。
【０２８２】
なお、ビデオ＃０，＃３はインタレース方式のフレームである。ビデオ＃０，＃３については、実際には、１フィールドを構成するラインが１つの入力用の多重ビデオフレームに貼り付けられるが、フレームを貼り付けるものとして説明する。
【０２８３】
図２３は、多重回路４２による多重化後の入力用の多重ビデオフレームの例を示す図である。
【０２８４】
図２３の例においては、ビデオ＃０のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に720画素の範囲であり、垂直方向の範囲は、ビデオ領域Ａ11の最終ラインであるｍ１ラインから上に243×2ラインの範囲である。図２３には、ビデオ＃０のフレームのラインとして４ラインしか示していないが、１フィールドのライン数である243ラインが、１ライン毎に、１ラインずつ空けて挿入される。
【０２８５】
また、図２３の例においては、ビデオ＃１のフレームの各ラインが挿入されている水平方向の範囲は有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲は、ビデオ領域Ａ11の最終ラインであるｍ１ラインから上に720×2ラインの範囲である。図２３には、ビデオ＃１のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃０のフレームのラインと重ならないように挿入される。
【０２８６】
ビデオ＃２のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ11の最終ラインであるｍ１ラインから上に720×2ラインの範囲である。図２３には、ビデオ＃２のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて挿入される。
【０２８７】
ビデオ＃３のフレームの各ラインが挿入されている水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ11の最終ラインであるｍ１ラインから上に540×2ラインの範囲である。図２３には、ビデオ＃３のフレームのラインとして７ラインしか示していないが、１フィールドのライン数である540ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃２のフレームのラインと重ならないように挿入される。
【０２８８】
この例においては、入力用の多重ビデオフレームの有効画枠の水平方向の画素数は3200画素（1280+1920画素）とされている。
【０２８９】
各フレームのラインが挿入されている領域の上には、各ビデオのAncillary Dataが、各フレームのラインと同様にインタリーブされて多重ビデオフレームに挿入されている。
【０２９０】
Ancillary Dataにフレームデータと同じ処理をしてはならない。例えば、Ancillary Dataに、フレームデータと同様に4:2:2-4:4:4変換、YCbCr-RGB変換をすると、Ancillary Dataは破壊される。プロセッサ４３に対しては、Ancillary Dataとフレームデータを区別して入力する必要がある。図２３に示すようにAncillary Dataとフレームデータが分けてビデオ領域Ａ11に挿入されるようにすることにより、Ancillary Dataが破壊されるのを防ぐことが可能になる。
【０２９１】
また、図２３に示すように、入力用の多重ビデオフレームのオーディオ領域Ａ12には、オーディオ＃０乃至＃３のオーディオデータが、情報処理装置１に入力された順に、各ラインの左側を先頭にして詰めて挿入される。
【０２９２】
図２３の例においては、オーディオ領域Ａ12の開始位置であるm1+1ライン目とm1+2ライン目がオーディオ＃０のオーディオデータに割り当てられている。m1+1ライン目とm1+2ライン目には、m1+1ライン目の全体と、m1+2ライン目の途中までに渡って、オーディオ＃０のオーディオデータが挿入される。
【０２９３】
また、m1+3ライン目とm1+4ライン目がオーディオ＃１のオーディオデータに割り当てられている。m1+3ライン目とm1+4ライン目には、m1+3ライン目の全体と、m1+4ライン目の途中までに渡って、オーディオ＃１のオーディオデータが挿入される。
【０２９４】
m1+5ライン目とm1+6ライン目がオーディオ＃２のオーディオデータに割り当てられている。m1+5ライン目とm1+6ライン目には、m1+5ライン目の全体と、m1+6ライン目の途中までに渡って、オーディオ＃２のオーディオデータが挿入される。
【０２９５】
m1+7ライン目とm1+8ライン目（ｍ２ライン目）がオーディオ＃３のオーディオデータに割り当てられている。m1+7ライン目とm1+8ライン目には、m1+7ライン目の全体と、m1+8ライン目の途中までに渡って、オーディオ＃３のオーディオデータが挿入される。
【０２９６】
入力用の多重ビデオフレームに挿入されるオーディオデータのサイズは、各多重回路４２において処理されるオーディオデータのデータレートと、入力用の多重ビデオフレームのフレーム周波数（１フレーム期間）などから決定される。
【０２９７】
従って、各系統のオーディオデータを挿入するラインの数として何ラインを割り当てればよいのかは、各系統のオーディオデータのフォーマットが検出された後に決定することが可能である。図２３の例においては、各系統のオーディオデータに２ラインずつ割り当てられている。
【０２９８】
例えば、オーディオ領域Ａ12のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図２３の例においてもそのようにしてオーディオ領域Ａ12のライン数が設定されている。
【０２９９】
以上のように、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、入力用の多重ビデオフレームのビデオ領域Ａ11に下詰めで貼り付けられる。また、挿入の対象となる各オーディオデータは、ビデオ領域Ａ11の下に設定されたオーディオ領域Ａ12に、例えばオーディオ領域Ａ12全体のラインを使って挿入される。多重フレーム配置情報は、オーディオ領域Ａ12の下に設定された領域Ａ13に挿入される。
【０３００】
入力用の多重ビデオフレーム全体を見た場合、各系統のデータは、下詰めの形で配置されることになる。
【０３０１】
これにより、入力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ４３に入力する場合であっても入力遅延を抑えることが可能になる。入力遅延は、プロセッサ４３による処理の対象のデータが情報処理装置１に入力された時刻と、プロセッサ４３に入力された時刻の差で表される。
【０３０２】
図２４は、下詰めのメリットについて説明する図である。図２４の横軸は時間を表す。
【０３０３】
図２４の例においては、ビデオ＃０乃至＃３のビデオデータ（入力ビデオ信号）が、それぞれ異なるタイミングで入力される。
【０３０４】
例えば、ビデオ＃０のある１フレームのデータは、時刻ｔ３から時刻ｔ７のタイミングで情報処理装置１に入力される。また、ビデオ＃１のある１フレームのデータは、時刻ｔ１から時刻ｔ５のタイミングで情報処理装置１に入力される。
【０３０５】
ビデオ＃２のある１フレームのデータは、時刻ｔ４から時刻ｔ８のタイミングで情報処理装置１に入力される。ビデオ＃３のある１フレームのデータは、時刻ｔ２から時刻ｔ６のタイミングで情報処理装置１に入力される。
【０３０６】
例えばビデオについては、入力用の多重ビデオフレームの１フレームの期間内に最終ラインのデータが入力されたビデオフレームが、その期間内に生成された入力用の多重ビデオフレームに貼り付けられる。
【０３０７】
従って、この場合、図２４において各ラインに斜線を付して示すビデオ＃０乃至＃３のフレームが、時刻ｔ４から時刻ｔ８までの期間Ｔに生成された入力用の多重ビデオフレーム（多重ビデオ信号）である多重ビデオフレームＦ１に多重化されることになる。
【０３０８】
各ラインに斜線を付して示すビデオ＃０のフレームの最終ラインのデータは、期間Ｔ内の時刻である時刻ｔ７の直前の時刻に入力されている。同様に、各ラインに斜線を付して示すビデオ＃１乃至＃３のフレームの最終ラインのデータは、期間Ｔ内の時刻に入力されている。
【０３０９】
また、オーディオについては、上述したように、入力用の多重ビデオフレームの１フレームの期間内に入力されたオーディオサンプルが、その期間内に生成された入力用の多重ビデオフレームに挿入される。
【０３１０】
従って、図２４の例の場合、オーディオ＃０のオーディオサンプル全体のうち、期間Ｔに含まれる、太線で示すオーディオサンプルが、多重ビデオフレームＦ１に挿入されることになる。図２４にはオーディオ＃０だけを示しているが、他の系統のオーディオデータについても同様にして多重ビデオフレームＦ１に挿入される。
【０３１１】
入力用の多重ビデオフレームの１フレームの期間は、多重ビデオ信号発生回路４１により生成された同期信号により規定される。図２４の同期信号sync-1は、多重ビデオ信号発生回路４１により生成された同期信号を表す。
【０３１２】
なお、図２４の例においては、同期信号sync-1は、ビデオ＃２の同期信号と同期している。図２０を参照して説明したように、入力用の多重ビデオフレームの１フレーム期間を規定する同期信号として、外部から入力されたビデオの同期信号を用いることも可能である。
【０３１３】
同期信号sync-2は、プロセッサ４３に入力用の多重ビデオフレームを出力する最終段の多重回路４２が出力する、入力用の多重ビデオフレームの１フレーム期間を規定する同期信号を表す。最終段の多重回路４２からプロセッサ４３に対しては、同期信号sync-2に従って、各系統のデータを多重化した多重化後の入力用の多重ビデオフレームが出力される。図１の例においては多重回路４２−４が最終段の多重回路になる。
【０３１４】
各多重回路４２においては、多重化の対象のデータが入力されるのを待って多重化が行われる。多重ビデオ信号発生回路４１から、あるいは前段の多重回路４２から入力用の多重ビデオフレームが入力される時刻と、入力用の多重ビデオフレームにデータを多重化し、多重化後の入力用の多重ビデオフレームをある多重回路４２が出力する時刻には、多重化の対象のデータのうちの、最終のデータが入力される時刻に応じて差が生じる。ここでは、ビデオ受信回路２１やオーディオ受信回路３１におけるデータの受信や、フレームメモリ２３やメモリ３３にデータを一時的に記憶するのにかかる時間を無視するものとする。
【０３１５】
同期信号sync-1とsync-2のタイミング（１の値の時刻）が近いことは、多重ビデオ信号発生回路４１から入力用の多重ビデオフレームが出力された時刻と、多重化後の入力用の多重ビデオフレームがプロセッサ４３に入力される時刻の差が小さいことを表す。すなわち、同期信号sync-1とsync-2のタイミングが近いことは、入力遅延が抑えられていることを表す。
【０３１６】
このことを前提として、入力用の多重ビデオフレームに下詰めでデータを挿入した場合について説明する。
【０３１７】
図２４の多重ビデオフレームＦ１は、図２３を参照して説明したようにして各データが下詰めで挿入された多重化後の入力用の多重ビデオフレームを示す。
【０３１８】
図２４に示すように、左側を時間的に前、右側を時間的に後ろとする時間軸上に表した場合、ビデオ領域Ａ11は多重ビデオフレームＦ１において左側に示され、オーディオ領域Ａ12は右側に示される。図２４の多重ビデオフレームＦ１内の右側に示す１本の太線は、オーディオ領域Ａ12に挿入されたオーディオ＃０のオーディオデータを表す。
【０３１９】
多重ビデオフレームＦ１に貼り付けるビデオ＃０のフレームの最終ラインのデータは、それが入力された、時刻ｔ７の直前の時刻以降であれば挿入することが可能になる。ビデオ＃０のフレームの最終ラインのデータを多重ビデオフレームＦ１のビデオ領域Ａ11の上の方（前の方）に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ１のラインの時刻は、時刻ｔ７より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ１全体が図２４に示す位置より右側の位置になってしまう。
【０３２０】
従って、入力遅延を抑えるという点からは、ビデオ＃０のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームＦ１の、時刻ｔ７の直前の時刻より後の時刻に対応する位置であることが好ましい。実際に挿入される時刻より前に入力されたデータは、挿入時刻までメモリに記憶される。
【０３２１】
また、多重ビデオフレームＦ１に多重化するビデオ＃２のフレームの最終ラインのデータは、それが入力された、時刻ｔ８の直前の時刻以降（時刻ｔ８の直前の時刻を含む）であれば挿入することが可能になる。ビデオ＃２のフレームの最終ラインのデータを多重ビデオフレームＦ１のビデオ領域Ａ11の上の方に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ１のラインの時刻は、時刻ｔ８の直前の時刻より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ１全体が図２４に示す位置より右側の位置になってしまう。
【０３２２】
従って、入力遅延を抑えるという点からは、ビデオ＃２のフレームの最終ラインのデータの挿入位置は、多重ビデオフレームＦ１の、時刻ｔ８の直前の時刻より後の時刻に対応する位置であることが好ましい。
【０３２３】
ビデオ＃１，３のフレームの最終ラインのデータについても同様である。
【０３２４】
また、多重ビデオフレームＦ１に挿入するオーディオ＃０のオーディオサンプルのデータとサンプル数情報は、同期信号sync-1によって定まる。期間Ｔの終了時刻である時刻ｔ８以降（時刻ｔ８を含む）であれば、オーディオ＃０のオーディオデータを挿入することが可能になる。
【０３２５】
オーディオ＃０のオーディオデータを、多重ビデオフレームＦ１の上の方に設定された領域内に挿入するとした場合、その挿入位置となる多重ビデオフレームＦ１のラインの時刻は、時刻ｔ８より後の時刻になってしまう。イメージとしては、多重ビデオフレームＦ１全体が図２４に示す位置より右側の位置になってしまう。
【０３２６】
従って、入力遅延を抑えるという点からは、オーディオ＃０のオーディオデータの挿入位置は、多重ビデオフレームＦ１の、時刻ｔ８より後の時刻に対応する位置であることが好ましい。
【０３２７】
また、多重フレーム配置情報については、それに含まれる例えばサンプル数情報を挿入することが可能になる時刻は、多重ビデオフレームに多重化するサンプルの数が決定した後の時刻である。従って、多重フレーム配置情報をまとめて挿入する場合、サンプル数情報を挿入する位置は、多重化するサンプルの数が決まる時刻ｔ８以降の時刻に対応する位置であることが好ましい。
【０３２８】
以上のことから、入力用の多重ビデオフレーム全体としてデータが下詰めで配置されるように、各ビデオのビデオデータについてはフレームをライン毎にインタリーブしてビデオ領域Ａ11に下詰めで挿入し、各オーディオのオーディオデータについてはビデオ領域Ａ11の下に設定されたオーディオ領域Ａ12に挿入することによって、入力遅延を抑えることが可能になることがわかる。また、多重フレーム配置情報は、オーディオ領域Ａ12の下に設定された領域Ａ13に挿入される。
【０３２９】
図２４の例においては、入力遅延は、時刻ｔ４と、プロセッサ４３に対する多重ビデオフレームＦ１の入力の開始時刻である時刻ｔ11との差である数ラインに相当する時間に抑えられている。
【０３３０】
図２４に示すように、ビデオ＃０乃至＃３のフレームデータがそれぞれ異なるタイミングで入力される場合、時間的に前に最終ラインのデータが入力される系統のビデオデータは、より前段の多重回路４２により処理される。また、時間的に後に最終ラインのデータが入力される系統のビデオデータは、より後段の多重回路４２により処理される。これにより、以上のような、ビデオフレームの各ラインを下詰めで挿入することが可能になる。
【０３３１】
さらに、オーディオデータは、ビデオデータを処理する多重回路４２より後段の多重回路４２によって処理される。これにより、以上のような、入力用の多重ビデオフレームの下の方に設定されたオーディオ領域Ａ12にオーディオデータを挿入することが可能になる。
【０３３２】
多重フレーム配置情報に含まれる各情報は、最終段の多重回路４２に供給され、最終段の多重回路４２によりまとめて多重ビデオフレームに挿入される。これにより、入力用の多重ビデオフレームのオーディオ領域Ａ12の下に設定された領域Ａ13に多重フレーム配置情報を挿入することが可能になる。
【０３３３】
図１に示す多重回路４２−１乃至４２−４を１つの回路として統合するようにしてもよい。統合した１つの回路において全てのデータの多重化が行われるようにすることによって、図１に示すように直列に接続された複数の多重回路４２のうちのどの多重回路４２においてどの系統のデータが処理されるようにするかを考慮する必要が無くなる。
【０３３４】
［出力用の多重ビデオフレームを用いた多重化について］
次に、出力用の多重ビデオフレームを用いた多重化について説明する。
【０３３５】
出力用の多重ビデオフレームには、入力用の多重ビデオフレームから抽出され、各種の処理が施された各系統のデータが多重化される。すなわち、出力用の多重ビデオフレームを用いたデータ（処理後のデータ）の多重化は、プロセッサ４３により行われる。
【０３３６】
プロセッサ４３においては、入力用の多重ビデオフレームを用いた多重化とは異なり、各系統のデータが、上詰めで挿入される。
【０３３７】
図２５は、出力用の多重ビデオフレームの領域構成の例を示す図である。
【０３３８】
図２５に示すように、出力用の多重ビデオフレームには、ブランキング領域が水平方向と垂直方向にそれぞれ設けられる。図２５の例においては、有効画枠内の１ライン目からｍ11ライン目までの領域が、多重フレーム配置情報用の領域Ａ21として設定されている。また、有効画枠内のｍ11+1ライン目から、ｍ12ライン目までの領域が、オーディオ用の領域であるオーディオ領域Ａ22として設定されている。有効画枠内のm12+1ライン目から、最終ラインであるｎライン目までの領域が、ビデオ用の領域であるビデオ領域Ａ23として設定されている。
【０３３９】
このように、出力用の多重ビデオフレームには、その上側にオーディオ領域Ａ22が設定され、オーディオ領域Ａ22の下にビデオ領域Ａ23が設定される。
【０３４０】
図２６は、プロセッサ４３による多重化後の出力用の多重ビデオフレームの例を示す図である。
【０３４１】
入力用の多重ビデオフレームが入力された場合、プロセッサ４３においては、ビデオ＃０乃至＃３のフレームのデータと、オーディオ＃０乃至＃３のオーディオデータが抽出され、適宜、処理が施される。出力用の多重ビデオフレームには、処理が適宜施された後の、ビデオ＃０乃至＃３のフレームのデータと、オーディオ＃０乃至＃３のオーディオデータが挿入される。
【０３４２】
図２６に示すように、多重フレーム配置情報は、出力用の多重ビデオフレームの領域Ａ21に挿入される。
【０３４３】
また、出力用の多重ビデオフレームのオーディオ領域Ａ22には、オーディオ＃０乃至＃３のオーディオデータが、各ラインの左側を先頭にして詰めて挿入される。
【０３４４】
図２６の例においては、オーディオ領域Ａ22の開始位置であるm11+1ライン目とm11+2ライン目がオーディオ＃０のオーディオデータに割り当てられている。m11+1ライン目とm11+2ライン目には、m11+1ライン目の全体と、m11+2ライン目の途中までに渡って、オーディオ＃０のオーディオデータが挿入される。
【０３４５】
また、図２６の例においては、m11+3ライン目とm11+4ライン目がオーディオ＃１のオーディオデータに割り当てられている。m11+3ライン目とm11+4ライン目には、m11+3ライン目の全体と、m11+4ライン目の途中までに渡って、オーディオ＃１のオーディオデータが挿入される。
【０３４６】
m11+5ライン目とm11+6ライン目がオーディオ＃２のオーディオデータに割り当てられている。m11+5ライン目とm11+6ライン目には、m11+5ライン目の全体と、m11+6ライン目の途中までに渡って、オーディオ＃２のオーディオデータが挿入される。
【０３４７】
m11+7ライン目とm11+8ライン目（ｍ12ライン目）がオーディオ＃３のオーディオデータに割り当てられている。m11+7ライン目とm11+8ライン目には、m11+7ライン目の全体と、m11+8ライン目の途中までに渡って、オーディオ＃３のオーディオデータが挿入される。
【０３４８】
例えば、オーディオ領域Ａ22のライン数は、各系統のオーディオデータに割り当てたライン数の総和と同じライン数になるように設定される。図２６の例においてもそのようにしてオーディオ領域Ａ22のライン数が設定されている。
【０３４９】
また、貼り付けの対象となる各フレームは、互いに重ならないように、フレームを構成するライン毎にインタリーブされ、出力用の多重ビデオフレームのビデオ領域Ａ23内に、Ancillary Dataに続けて上詰めで貼り付けられる。
【０３５０】
図２６の例においては、ビデオ＃０のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に720画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ23に挿入されたAncillary Dataの最終ラインの次のラインから下に243×2ラインの範囲である。図２６には、ビデオ＃０のフレームのラインとして４ラインしか示していないが、１フィールドのライン数である243ラインが、１ライン毎に、１ラインずつ空けて挿入される。
【０３５１】
また、ビデオ＃１のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端から右に1280画素の範囲であり、垂直方向の範囲は、ビデオ領域Ａ23に挿入されたAncillary Dataの最終ラインの次のラインから下に720×2ラインの範囲である。図２６には、ビデオ＃１のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃０のフレームのラインと重ならないように挿入される。
【０３５２】
ビデオ＃２のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1280画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ23に挿入されたAncillary Dataの最終ラインの次のラインから下に720×2ラインの範囲である。図２６には、ビデオ＃２のフレームのラインとして10ラインしか示していないが、１フレームのライン数である720ラインが、１ライン毎に、１ラインずつ空けて挿入される。
【０３５３】
ビデオ＃３のフレームの各ラインが挿入される水平方向の範囲は、有効画枠の左端の画素を１画素目として1281画素目から右に1920画素の範囲である。また、垂直方向の範囲は、ビデオ領域Ａ23に挿入されたAncillary Dataの最終ラインの次のラインから下に540×2ラインの範囲である。図２６には、ビデオ＃３のフレームのラインとして７ラインしか示していないが、１フィールドのライン数である540ラインが、１ライン毎に、１ラインずつ空けて、ビデオ＃２のフレームのラインと重ならないように挿入される。
【０３５４】
この例においては、出力用の多重ビデオフレームの有効画枠の水平方向の画素数も3200画素とされている。入力用の多重ビデオフレームのサイズと出力用の多重ビデオフレームのサイズが異なるようにすることも可能である。
【０３５５】
このように、出力用の多重ビデオフレーム全体を見た場合、各系統のデータは、上詰めで挿入されることになる。
【０３５６】
これにより、出力用の多重ビデオフレームを用いて複数系統のデータの多重化を行い、プロセッサ４３から出力する場合であっても出力遅延を抑えることが可能になる。出力遅延は、処理後のデータがプロセッサ４３から出力された時刻と、処理後のデータが情報処理装置１の外部に出力された時刻との差で表される。
【０３５７】
図２７は、上詰めのメリットについて説明する図である。図２７の横軸は時間を表す。
【０３５８】
図２７の多重ビデオフレームＦ２は、プロセッサ４３から出力された出力用の多重ビデオフレームを表す。同期信号sync-3は、プロセッサ４３が出力する同期信号であり、多重ビデオフレームＦ２の１フレーム期間を規定する。時刻ｔ１から時刻ｔ２までの期間において、多重ビデオフレームＦ２がプロセッサ４３から出力されている。
【０３５９】
各ラインに斜線を付して示すビデオ＃０乃至＃３のフレームのデータは、多重ビデオフレームＦ２から抽出され、ビデオ送信回路５３から情報処理装置１の外部に出力されるデータ（出力ビデオ信号）を表す。また、太線で示すオーディオ＃０のオーディオサンプルのデータは、多重ビデオフレームＦ２から抽出され、オーディオ送信回路６３から情報処理装置１の外部に出力されるデータ（出力オーディオ信号）を表す。
【０３６０】
例えば、同じ出力用の多重ビデオフレームに多重化されていたデータは、タイミング発生回路４４から出力された同期信号に従って、同じタイミングで、情報処理装置１の外部に出力される。
【０３６１】
図２７の同期信号sync-4は、タイミング発生回路４４により生成され、各ビデオ送信回路５３、各オーディオ送信回路６３に供給される同期信号である。時刻ｔ11から時刻ｔ12までの期間において、多重ビデオフレームＦ２から抽出された各系統のデータが情報処理装置１の外部に出力されている。
【０３６２】
各ビデオ送信回路５３においては、出力対象のフレームのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。
【０３６３】
また、各オーディオ送信回路６３においては、出力対象のオーディオサンプルのデータが出力用の多重ビデオフレームから抽出された後にデータの出力が可能になる。
【０３６４】
同じ出力用の多重ビデオフレームに多重化されていたデータについては同じタイミングで出力する場合、各ビデオ送信回路５３、各オーディオ送信回路６３がデータを出力するには、同じ出力用の多重ビデオフレームから抽出された出力対象となるデータを、全てのビデオ送信回路５３とオーディオ送信回路６３が受信している必要がある。
【０３６５】
プロセッサ４３から出力用の多重ビデオフレームが出力される時刻と、データを外部に出力する時刻には、出力対象のデータのうちの、先頭のデータが各ビデオ送信回路５２と各オーディオ送信回路６３に入力される時刻に応じて差が生じる。ここでは、抽出回路４５におけるデータの抽出や、フレームメモリ５２やメモリ６２にデータを一時的に記憶するのにかかる時間を無視するものとする。
【０３６６】
同期信号sync-3と同期信号sync-4のタイミング（１の値の時刻）が近いことは、プロセッサ４３から出力用の多重ビデオフレームが出力された時刻と、各系統のデータが外部に出力される時刻の差が小さいことを表す。すなわち、同期信号sync-3と同期信号sync-4のタイミングが近いことは、出力遅延が抑えられていることを表す。
【０３６７】
このことを前提として、出力用の多重ビデオフレームに上詰めでデータを挿入した場合について説明する。
【０３６８】
多重フレーム配置情報は、各系列のビデオデータ、オーディオデータの抽出に用いられる情報を含む情報である。従って、多重フレーム配置情報が多重ビデオフレームから抽出されていなければ、各系列のビデオデータ、オーディオデータを抽出することはできない。出力遅延を抑えるという点からは、多重フレーム配置情報の挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。
【０３６９】
オーディオデータについては、仮に、多重ビデオフレームＦ２の下の方に設定された領域内にオーディオデータを挿入するとした場合、オーディオ＃０のオーディオデータの出力の開始時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。
【０３７０】
イメージとしては、オーディオ＃０の出力タイミングが、図２７に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ＃０乃至＃３の出力タイミングも、図２７に示す位置より右側の位置になってしまう。
【０３７１】
従って、出力遅延を抑えるという点からは、オーディオ＃０のオーディオデータの挿入位置は、出力用の多重ビデオフレームの前方の位置であることが好ましい。
【０３７２】
また、各ビデオのフレームがライン毎にインタリーブされて下詰めで出力用の多重ビデオフレームに挿入されている場合を考える。この場合、ビデオ＃０のフレームの先頭ラインのデータの出力時刻は、その挿入位置に対応する時刻より後の時刻になってしまう。特に、ビデオ＃０のフレーム全体のライン数が少ないほど、後の時刻になってしまう。
【０３７３】
イメージとしては、ビデオ＃０の出力タイミングが、図２７に示す位置より右側の位置になってしまう。同じ出力用の多重ビデオフレームから抽出されたデータは同じタイミングで出力されるから、ビデオ＃１乃至＃３の出力タイミングと、オーディオ＃０の出力タイミングも、図２７に示す位置より右側の位置になってしまう。
【０３７４】
従って、出力遅延を抑えるという点からは、ビデオ＃０のフレームの先頭ラインのデータの挿入位置は、多重ビデオフレームＦ２のビデオ領域Ａ23内であって、より上の方の位置であることが好ましい。ビデオ＃１乃至３についても同様である。
【０３７５】
以上のことから、出力用の多重ビデオフレーム全体としてデータが上詰めで配置されるように、各オーディオのオーディオデータについては出力用の多重ビデオフレームの上の方に設定されたオーディオ領域Ａ22に挿入し、各ビデオのビデオデータについてはフレームをライン毎にインタリーブして、オーディオ領域Ａ22の下に設定されたビデオ領域Ａ23に上詰めで挿入することによって、出力遅延を抑えることが可能になることがわかる。
【０３７６】
図２７の例においては、出力遅延は、多重ビデオフレームＦ２のプロセッサ４３からの出力の開始時刻である時刻ｔ１と、外部へのデータの出力の開始時刻である時刻ｔ11との差である数ラインに相当する時間に抑えられている。
【０３７７】
［その他の変形例］
以上においては、１入力１出力のビデオポートがプロセッサ４３に設けられるものとしたが、入力と出力がそれぞれ複数設けられるようにしてもよい。それぞれのビデオポートを用いて多重ビデオフレームの入出力が行われるようにすることにより、プロセッサ４３に対してさらに多くの系統のデータを入力し、また、処理後のデータがプロセッサ４３から出力されるようにすることが可能である。
【０３７８】
また、情報処理装置１に入力するビデオデータ、オーディオデータとして、圧縮したビットストリームを用いるようにしてもよい。さらに、ビデオデータ、オーディオデータに限らず、特殊なサイズのデータを多重ビデオ信号を用いて伝送し、プロセッサ４３に入力またはプロセッサ４３から出力するようにしてもよい。例えば、プラナー（色別）伝送や多色（６色、８色など）伝送も可能になる。
【０３７９】
以上においては、主に、入力ビデオデータ、多重ビデオフレームがフレーム単位で処理されるものとしたが、フィールド単位で処理されるようにしてもよい。上述した“フレーム”は、すべて“フィールド”と言い換えることが可能である。
【０３８０】
［コンピュータの構成例］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３８１】
図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３８２】
CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続されている。
【０３８３】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。
【０３８４】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５及びバス２０４を介してRAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０３８５】
CPU２０１が実行するプログラムは、例えばリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部２０８にインストールされる。
【０３８６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３８７】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３８８】
１  情報処理装置，  ２１−１および２１−２  ビデオ受信回路，  ２２−１および２２−２  フレームシンクロナイザ，  ２３−１および２３−２  フレームメモリ，  ３１−１および３１−２  オーディオ受信回路，  ３２−１および３２−２  メモリ制御回路，  ３３−１および３３−２  メモリ，  ４１  多重ビデオ信号発生回路，  ４２−１乃至４２−４  多重回路，  ４３  プロセッサ，  ４４  タイミング発生回路，  ４５−１乃至４５−４  抽出回路，  ５１−１および５１−２  フレームシンクロナイザ，  ５２−１および５２−２  フレームメモリ，  ５３−１および５３−２  ビデオ送信回路，  ６１−１および６１−２  メモリ制御回路，  ６２−１および６２−２  メモリ，  ６３−１および６３−２  オーディオ送信回路
【図１】
2011146929.tif 000003
【図２】
2011146929.tif 000004
【図３】
2011146929.tif 000005
【図４】
2011146929.tif 000006
【図５】
2011146929.tif 000007
【図６】
2011146929.tif 000008
【図７】
2011146929.tif 000009
【図８】
2011146929.tif 000010
【図９】
2011146929.tif 000011
【図１０】
2011146929.tif 000012
【図１１】
2011146929.tif 000013
【図１２】
2011146929.tif 000014
【図１３】
2011146929.tif 000015
【図１４】
2011146929.tif 000016
【図１５】
2011146929.tif 000017
【図１６】
2011146929.tif 000018
【図１７】
2011146929.tif 000019
【図１８】
2011146929.tif 000020
【図１９】
2011146929.tif 000021
【図２０】
2011146929.tif 000022
【図２１】
2011146929.tif 000023
【図２２】
2011146929.tif 000024
【図２３】
2011146929.tif 000025
【図２４】
2011146929.tif 000026
【図２５】
2011146929.tif 000027
【図２６】
2011146929.tif 000028
【図２７】
2011146929.tif 000029
【図２８】
2011146929.tif 000030