(57)【要約】【課題】各種のメディア情報毎に、バッファやパケット化回路の実装を不要にできるようにする。【解決手段】各種の符号化メディア情報をパケット化して伝送パケットを生成するパケット生成部５と、パケット生成部５から出力された伝送パケットをパケット格納バッファ１２に格納した後、パケット格納バッファ１２から伝送パケットを選択的に取り出して多重化ストリームを生成するパケット多重化部６とを設け、メディア多重制御部７がパケット生成部５によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化部６によりパケット格納バッファ１２から取り出される伝送パケットの順序を制御する。【選択図】図１
2010141585.tif 000002
【特許請求の範囲】
【請求項１】
各種のメディア情報を符号化する複数のメディア符号化手段と、上記メディア符号化手段により符号化されたメディア情報である符号化メディア情報をパケット化して、上記符号化メディア情報を含む伝送パケットを出力するパケット生成手段と、上記パケット生成手段から出力された伝送パケットをバッファに格納した後、上記バッファから伝送パケットを選択的に取り出して多重化ストリームを生成するパケット多重化手段と、上記パケット生成手段によりパケット化される符号化メディア情報の順序を制御するとともに、上記パケット多重化手段により上記バッファから取り出される伝送パケットの順序を制御する制御手段とを備えた画像送信装置。
【請求項２】
パケット生成手段は、符号化メディア情報をパケット化するとともに、上記伝送パケットに含まれている符号化メディア情報に関する制御情報をパケット化して、上記制御情報を含む伝送パケットを出力することを特徴とする請求項１記載の画像送信装置。
【請求項３】
パケット多重化手段は、パケット生成手段から出力された伝送パケットに含まれている符号化メディア情報の種類と関係なく、上記伝送パケットを共通のバッファに格納することを特徴とする請求項１または請求項２記載の画像送信装置。
【請求項４】
パケット多重化手段は、複数の多重化ストリームを生成して異なる出力先に出力することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像送信装置。
【請求項５】
パケット多重化手段は、バッファに格納されている伝送パケットの格納順序及び格納位置を示す伝送パケット管理テーブルを有し、上記伝送パケット管理テーブルを参照して、上記バッファに対する伝送パケットの格納と取り出しを制御することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像送信装置。
【請求項６】
制御手段は、バッファにおける伝送パケットの格納量又は時間当りの格納量の変化量に応じて、パケット生成手段によりパケット化される符号化メディア情報の順序及びパケット化の頻度を制御することを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像送信装置。
【請求項７】
制御手段は、複数のメディア符号化手段からパケット生成手段により取り込まれる符号化メディア情報を時分割に制御することで、上記パケット生成手段による符号化メディア情報のパケット化の処理をシリアル化させることを特徴とする請求項１から請求項６のうちのいずれか１項記載の画像送信装置。
【請求項８】
パケット生成手段は、伝送パケットをパケット多重化手段に出力する際、上記伝送パケットの種別を識別する識別子を上記伝送パケットに付与することを特徴とする請求項１から請求項７のうちのいずれか１項記載の画像送信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、映像信号、音声信号、データ信号などのメディア情報を符号化して符号化メディア情報を生成し、それらの符号化メディア情報又は制御情報を含む伝送パケットを多重化ストリームに多重化して送信する画像送信装置に関するものである。
【背景技術】
【０００２】
例えば、デジタル放送、デジタルビデオカメラ、監視カメラなどでは、映像信号、音声信号、データ信号などのメディア情報を複数同時に伝送したり、記録したりすることができるような開発が行われている。
これらの装置では、各種のメディア情報の情報量を削減するために、そのメディア情報の特性に応じた異なる符号化方式によって個別に符号化処理を実施している。
そして、通信路への伝送、あるいは、記録媒体への書き込みの容易化を図るため、それらの符号化メディア情報を伝送パケットや記録パケットに格納し、それらのパケットを多重化ストリームに多重化して出力するようにしている。
その際、構成の容易さから、映像信号、音声信号、データ信号などの符号化メディア情報を個別のバッファに格納して制御する方式が採用されることが多い。
【０００３】
例えば、以下の特許文献１には、映像信号、音声信号、データ信号などの符号化メディア情報をそれぞれ独立のメディアＥＳバッファ（ビデオＥＳバッファ、オーディオＥＳバッファ、データＥＳバッファ）に格納した後、コントローラの指示の下、転送制御部がヘッダ情報メモリや各メディアＥＳバッファから所定の順序で符号化メディア情報を読み出してパケット化し、そのパケットを出力バッファに書き込んで多重化ストリームを生成する技術が開示されている。
【０００４】
このように、各種の符号化メディア情報毎に、独立のメディアＥＳバッファを用意して、各種の符号化メディア情報を個別に格納するようにする場合、各種の符号化メディア情報をパケット化して多重化ストリームを生成する多重化回路については、メディア共通で構成することができる。
しかし、各種の符号化メディア情報毎に、メディアＥＳバッファに対する符号化メディア情報の読み書きを制御する制御回路が必要となる。
また、独立のメディアＥＳバッファについては、各メディア情報の符号化レートの多寡に関わらず、想定される最大符号化レートに応じたバッファサイズ、あるいは、設計効率の観点で二のべき乗のサイズなど、一定の設計基準に則ったサイズが必要となることが多い。
このため、メモリ使用効率の観点で無駄が発生し、メディア情報の種別が増加するにしたがって回路規模への影響も無視できなくなり、高コストな構造の一因となる。
【０００５】
また、以下の特許文献２には、映像信号、音声信号、データ信号などの符号化メディア情報をそれぞれパケット化するパケット化回路を独立に配置して、各パケット化回路から出力された伝送パケットをバッファに格納し、パケット優先順位部の指示の下、そのバッファから伝送パケットを選択的に取り出して多重化ストリームを生成する技術が開示されている。
【０００６】
このように、各種の符号化メディア情報毎に、パケット化回路を独立に配置するようにする場合、多重化ストリームを生成する多重化回路については、バッファから多重対象の伝送パケットを選択して取り出すだけの簡単な仕組みで構成することができる。
しかし、各種の符号化メディア情報毎に、パケット化回路とバッファが必要となり、やはり高コストな構造の一因となる。
【０００７】
【特許文献１】特開２００１−１８６１００号公報
【特許文献２】特開２００３−６９６３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の画像送信装置は以上のように構成されているので、各種の符号化メディア情報毎に、メディアＥＳバッファ及び制御回路を独立に配置、あるいは、各種の符号化メディア情報毎に、パケット化回路及びバッファを独立に配置すれば、各種の符号化メディア情報を含む伝送パケットを多重化ストリームに多重化して送信することができる。しかし、各種の符号化メディア情報毎にメディアＥＳバッファや、パケット化回路を独立に配置する構成では、全体の回路規模が大きくなり、高コストな構造の一因となるなどの課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、各種のメディア情報毎に、バッファやパケット化回路を実装することなく、各種のメディア情報の符号化データを多重化ストリームに多重化して送信することができる画像送信装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る画像送信装置は、メディア符号化手段により符号化されたメディア情報である符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットを出力するパケット生成手段と、そのパケット生成手段から出力された伝送パケットをバッファに格納した後、そのバッファから伝送パケットを選択的に取り出して多重化ストリームを生成するパケット多重化手段とを設け、制御手段がパケット生成手段によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化手段によりバッファから取り出される伝送パケットの順序を制御するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、メディア符号化手段により符号化されたメディア情報である符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットを出力するパケット生成手段と、そのパケット生成手段から出力された伝送パケットをバッファに格納した後、そのバッファから伝送パケットを選択的に取り出して多重化ストリームを生成するパケット多重化手段とを設け、制御手段がパケット生成手段によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化手段によりバッファから取り出される伝送パケットの順序を制御するように構成したので、各種のメディア情報毎に、バッファやパケット化回路を実装することなく、各種のメディア情報の符号化データを多重化ストリームに多重化して送信することができる効果がある。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
図１はこの発明の実施の形態１による画像送信装置を示す構成図である。
図１では、メディア情報である映像信号、音声信号及びデータ信号を符号化してパケット化し、その伝送パケットを多重化ストリームに多重化して送信する画像送信装置の一例を示している。
図１において、映像符号化部１ａ，１ｂは映像信号を所定の符号化方式で符号化し、符号化後の映像信号である符号化映像信号（符号化メディア情報）をパケット生成部５に出力する処理を実施する。
【００１３】
音声符号化部２ａ，２ｂは音声信号を所定の符号化方式で符号化し、符号化後の音声信号である符号化音声信号（符号化メディア情報）をパケット生成部５に出力する処理を実施する。
データ符号化部３ａ，３ｂはデータ信号を所定の符号化方式で符号化し、符号化後のデータ信号である符号化データ信号（符号化メディア情報）をパケット生成部５に出力する処理を実施する。
なお、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂはメディア符号化手段を構成している。
【００１４】
図１では、映像信号、音声信号及びデータ信号の符号化部を２個ずつ搭載している例を示しているが、２個ずつに限定するものではなく、メディア情報毎に異なる個数の符号化部を搭載するようにしてもよい。
また、特定のメディア情報の符号化部のみを搭載するようにしてもよい。
【００１５】
メディア多重処理部４はパケット生成部５、パケット多重化部６及びメディア多重制御部７から構成されており、符号化メディア情報を含む伝送パケットを多重化ストリームに多重化する処理を実施する。
パケット生成部５はメディア多重制御部７の指示の下、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、いずれかの符号化メディア情報を取り込み、その符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットをパケット多重化部６に出力する処理を実施する。なお、パケット生成部５はパケット生成手段を構成している。
【００１６】
パケット多重化部６はメディア多重制御部７の指示の下、パケット生成部５から出力された伝送パケットをバッファに格納した後、そのバッファから伝送パケットを選択的に取り出して多重化ストリームを生成する処理を実施する。なお、パケット多重化部６はパケット多重化手段を構成している。
パケット多重化部６により生成された多重化ストリームは、パケット伝送部８及びディスク書込部９の双方、あるいは、いずれか一方に出力される。
【００１７】
メディア多重制御部７は例えばパケット多重化部６内のバッファにおける伝送パケットの格納量に応じて、パケット生成部５によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化部６によりバッファから取り出される伝送パケットの順序を制御する処理を実施する。なお、メディア多重制御部７は制御手段を構成している。
パケット伝送部８はパケット多重化部６から出力された多重化ストリームを有線又は無線の伝送路に出力する処理を実施する。
ディスク書込部９はパケット多重化部６から出力された多重化ストリームを記録媒体に書き込む処理を実施する。
【００１８】
図２はこの発明の実施の形態１による画像送信装置のパケット多重化部６を示す構成図である。
図２において、パケット取込部１１はパケット多重制御部１５の指示の下、パケット生成部５から出力された伝送パケットを取り込み、その伝送パケットをパケット格納バッファ１２に格納する処理を実施する。
パケット格納バッファ１２は伝送パケットに含まれている符号化メディア情報の種類と関係なく、その伝送パケットを一時的に格納する共通バッファである。
【００１９】
固定パケット生成部１３は予め指定された固定パケット（伝送パケットの代替えパケット）を生成する処理を実施する。
パケット出力部１４はパケット多重制御部１５の指示の下、パケット格納バッファ１２に格納されている伝送パケットを選択的に取り出して多重化ストリームを生成し、その多重化ストリームを出力する処理を実施する。
ただし、画像送信装置から送信される多重化ストリームの伝送レートを一定に保つ必要がある場合、パケット出力部１４は、パケット多重制御部１５から一定の周期で伝送パケットの取出指示を受けることになるが、パケット格納バッファ１２に取り出す伝送パケットが格納されていなければ、その伝送パケットの代わりに、固定パケット生成部１３により生成された固定パケットを用いて多重化ストリームを生成する。
【００２０】
パケット多重制御部１５はパケット取込部１１から“パケット取込通知”を受けることで、パケット取込部１１により取り込まれた伝送パケットの個数と、その伝送パケットに含まれている符号化メディア情報の種別（制御情報の種別）を把握して、パケット格納バッファ１２に格納されている伝送パケットの格納量（符号化映像信号を含む伝送パケットの格納量、符号化音声信号を含む伝送パケットの格納量、符号化データ信号を含む伝送パケットの格納量、制御情報を含む伝送パケットの格納量）を示す“パケット生成状態通知”をメディア多重制御部７に出力する一方、パケット格納バッファ１２内の空き領域を探索して、パケット生成部５から出力される伝送パケットを格納する位置を選定し、その格納位置を示す“パケット取込指示”をパケット取込部１１に出力する。また、メディア多重制御部７から“ストリーム生成指示”を受けると、パケット格納バッファ１２から取り出す伝送パケットを指定する“パケット取出指示”をパケット出力部１４に出力する処理を実施する。
【００２１】
次に動作について説明する。
映像符号化部１ａ，１ｂは、メディア情報である映像信号を入力すると、その映像信号を所定の符号化方式で符号化し、符号化後の映像信号である符号化映像信号（符号化メディア情報）をメディア多重処理部４のパケット生成部５に出力する。
映像信号の符号化方式としては、例えば、ＭＰＥＧ−２  Ｖｉｄｅｏ、ＭＰＥＧ−４  Ｖｉｄｅｏ、ＭＰＥＧ−４  ＡＶＣ、ＶＣ−１などの映像符号化規格に準拠している符号化方式が考えられる。
【００２２】
音声符号化部２ａ，２ｂは、メディア情報である音声信号を入力すると、その音声信号を所定の符号化方式で符号化し、符号化後の音声信号である符号化音声信号（符号化メディア情報）をメディア多重処理部４のパケット生成部５に出力する。
音声信号の符号化方式としては、例えば、ＭＰＥＧ−１  Ａｕｄｉｏ、ＭＰＥＧ−２  Ａｕｄｉｏ、ＭＰＥＧ−２／４  ＡＡＣ、Ｄｏｌｂｙ ＡＣ−３などの音声符号化規格に準拠している符号化方式が考えられる。
データ符号化部３ａ，３ｂは、メディア情報であるデータ信号を入力すると、そのデータ信号を所定の符号化方式で符号化し、符号化後のデータ信号である符号化データ信号（符号化メディア情報）をメディア多重処理部４のパケット生成部５に出力する。
【００２３】
メディア多重処理部４は、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）を受けると、その符号化メディア情報を所定の形式でパケット化して伝送パケットを生成し、各種の伝送パケット（符号化映像信号を含む伝送パケット、符号化音声信号を含む伝送パケット、符号化データ信号を含む伝送パケット、制御情報を含む伝送パケット）を所定の順番でまとめて一つの多重化ストリームを生成する。
【００２４】
パケット化や多重化の一例としては、デジタル放送や次世代ディスクなどで採用されるＭＰＥＧ−２  Ｓｙｓｔｅｍｓ規格に準拠しているＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）形式でのＴＳパケット、ＤＶＤなどで採用されるＰＳ（Ｐｒｏｇｒａｍ  Ｓｔｒｅａｍ）形式でのＰＳパック、あるいは、ＩＰ配信などで採用されるＩＥＴＦで規定されているＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）形式でのＲＴＰパケットにしたがってパケット多重されたデータ列が該当する。
この実施の形態１では、符号化メディア情報のパケットを生成する順序と、伝送パケットを逐次出力して多重化ストリームを生成する順序に着目しており、特定の符号化方式やパケット化方式に依存するものではなく、汎用的に適用することができる。
以下、メディア多重処理部４の処理内容を具体的に説明する。
【００２５】
メディア多重処理部４のメディア多重制御部７は、パケット多重化部６から“パケット生成状態通知”を受けることで、パケット多重化部６内のパケット格納バッファ１２に格納されている伝送パケットの格納量（符号化映像信号を含む伝送パケットの格納量、符号化音声信号を含む伝送パケットの格納量、符号化データ信号を含む伝送パケットの格納量、制御情報を含む伝送パケットの格納量）を把握して、優先的にパケット化する必要がある符号化メディア情報が、符号化映像信号、符号化音声信号、符号化データ信号の中で、どの符号化メディア情報であるのか、あるいは、どの符号化メディア情報に関する制御情報（詳細は後述するが、制御情報は、パケット生成部５が生成する）であるのかを判断する。
【００２６】
例えば、符号化音声信号を含む伝送パケットの格納量と、符号化データ信号を含む伝送パケットの格納量については、所定の規定量を超えているが、符号化映像信号を含む伝送パケットの格納量が所定の規定量に満たない場合、符号化映像信号を優先的にパケット化する必要があると判断する。
一般的に、映像、音声及びデータの伝送割合は異なるので、符号化映像信号を含む伝送パケットの格納量に対する規定量と、符号化音声信号を含む伝送パケットの格納量に対する規定量と、符号化データ信号を含む伝送パケットの格納量に対する規定量とは異なる。
【００２７】
メディア多重制御部７は、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を判断すると、その符号化メディア情報あるいは制御情報から順番にパケット化させるため、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を指定する“パケット生成指示”をパケット生成部５に出力する。
なお、“パケット生成指示”には、優先する度合いを示す係数などの情報が含まれている。
【００２８】
パケット生成部５は、メディア多重制御部７から“パケット生成指示”を受けると、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を把握（各種の符号化メディア情報あるいは制御情報の優先度を把握）し、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、優先度が高い符号化メディア情報から順番に取込を行う。
パケット生成部５は、符号化メディア情報の取込を行うと、その符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットをパケット多重化部６に出力する。
ただし、優先的にパケット化する必要があるのが制御情報であれば、その制御情報をパケット化して、その制御情報を含む伝送パケットをパケット多重化部６に出力する。
【００２９】
また、メディア多重制御部７は、予め規定されている映像、音声、データ及び制御信号の伝送割合などを考慮して、パケット多重化部６内のパケット格納バッファ１２から優先的に取り出して多重化ストリームに多重化する必要がある伝送パケット（符号化映像信号を含む伝送パケット、符号化音声信号を含む伝送パケット、符号化データ信号を含む伝送パケット、制御情報を含む伝送パケット）を判断し、優先的に多重化する必要がある伝送パケットを指定する“ストリーム生成指示”をパケット多重化部６に出力する。
なお、“ストリーム生成指示”には、優先する度合いを示す係数などの情報が含まれている。
【００３０】
メディア多重制御部７では、上記のようにして、パケット生成部５によりパケット化される符号化メディア情報の順序と、パケット多重化部６によりバッファから取り出される伝送パケットの順序を制御するが、パケット多重化部６から出力される“パケット生成状態通知”に基づいて、これらを一元的に制御するものであるため、“パケット生成指示”と“ストリーム生成指示”の指示内容が一致していても、時間差があってもよく、自由度のある伝送パケットの生成と多重化ストリームの生成が可能となる。
【００３１】
パケット多重化部６は、パケット生成部５から伝送パケットを受けると、一旦、その伝送パケットをパケット格納バッファ１２に格納する。
その後、メディア多重制御部７から“ストリーム生成指示”を受けると、優先的に多重化する必要がある伝送パケットを把握（各種の伝送パケットの優先度を把握）し、パケット格納バッファ１２に格納されている符号化映像信号を含む伝送パケット、符号化音声信号を含む伝送パケット、符号化データ信号を含む伝送パケット、制御情報を含む伝送パケットの中から、優先度が高い伝送パケットから順番に取り出して多重化ストリームを生成する。
以下、パケット多重化部６の処理内容を具体的に説明する。
【００３２】
パケット多重制御部１５は、パケット格納バッファ１２内の空き領域を探索して（空き領域の探索処理の詳細は実施の形態２で説明する）、パケット生成部５から出力される伝送パケットを格納する位置を選定し、その格納位置を示す“パケット取込指示”をパケット取込部１１に出力する。
なお、“パケット取込指示”には、伝送パケットを格納するパケット格納バッファ１２上のアドレス、あるいは、面管理上の面番号などの位置情報が含まれている。
【００３３】
パケット取込部１１は、パケット多重制御部１５から“パケット取込指示”を受けると、パケット生成部５から出力された伝送パケットを取り込み、その伝送パケットを“パケット取込指示”が示すパケット格納バッファ１２上の位置に書き込みを行う。
また、パケット取込部１１は、実際に取り込んだ伝送パケットに含まれている符号化メディア情報の種別又は制御情報の種別を示す“パケット取込通知”をパケット多重制御部１５に出力する。
【００３４】
パケット多重制御部１５は、パケット取込部１１から“パケット取込通知”を受けると、パケット取込部１１により実際に取り込まれた伝送パケットの個数と、その伝送パケットに含まれている符号化メディア情報の種別（制御情報の種別）を把握する。
また、パケット多重制御部１５は、パケット出力部１４によってパケット格納バッファ１２から取り出される伝送パケットの個数と、その伝送パケットに含まれている符号化メディア情報の種別（制御情報の種別）については自己が管理しており（パケット多重制御部１５がパケット出力部１４を制御している）、パケット格納バッファ１２に入出力される伝送パケットの個数と、その伝送パケットに含まれている符号化メディア情報の種別（制御情報の種別）を把握することができるため、現在、パケット格納バッファ１２に格納されている伝送パケットの格納量（符号化映像信号を含む伝送パケットの格納量、符号化音声信号を含む伝送パケットの格納量、符号化データ信号を含む伝送パケットの格納量、制御情報を含む伝送パケットの格納量）を示す“パケット生成状態通知”をメディア多重制御部７に出力する。
【００３５】
ここでは、パケット多重制御部１５が、現在、パケット格納バッファ１２に格納されている伝送パケットの格納量を示す“パケット生成状態通知”をメディア多重制御部７に出力するものについて示したが、パケット多重制御部１５がパケット格納バッファ１２に入出力される伝送パケットの個数、頻度、時間的変化（時間当りの格納量の変化量）などの統計情報を算出し、その統計情報を示す“パケット生成状態通知”をメディア多重制御部７に出力するようにしてもよい。
このように、統計情報を示す“パケット生成状態通知”をメディア多重制御部７に出力すれば、ある特定の符号化メディア情報の格納量が規定量を超えていても、減少が著しいような場合には、優先的に当該符号化メディア情報のパケット化をパケット生成部５に指示することができるようになる。
【００３６】
パケット多重制御部１５は、メディア多重制御部７から“ストリーム生成指示”を受けると、パケット格納バッファ１２から取り出す伝送パケットを指定する“パケット取出指示”をパケット出力部１４に出力する。
即ち、パケット多重制御部１５は、“ストリーム生成指示”に含まれている優先する度合いを示す係数を参照して、各種の伝送パケットの優先度を把握し、パケット格納バッファ１２に格納されている符号化映像信号を含む伝送パケット、符号化音声信号を含む伝送パケット、符号化データ信号を含む伝送パケット、制御情報を含む伝送パケットの中から、優先度が高い伝送パケットから順番に取り出す指令として、パケット格納バッファ１２から取り出す伝送パケットを指定する“パケット取出指示”をパケット出力部１４に出力する。
なお、“パケット取出指示”には、取り出す伝送パケットが格納されているパケット格納バッファ１２上のアドレス、あるいは、面管理上の面番号などの位置情報のほか、その伝送パケットの出力先（パケット伝送部８、ディスク書込部９）を示す指定情報などが含まれている。
【００３７】
パケット出力部１４は、パケット多重制御部１５から“パケット取出指示”を受けると、“パケット取出指示”が指定する伝送パケットをパケット格納バッファ１２から選択的に取り出して多重化ストリームを生成する。
ただし、画像送信装置から送信される多重化ストリームの伝送レートを一定に保つ必要がある場合、パケット出力部１４は、パケット多重制御部１５から一定の周期で伝送パケットの取出指示を受けることになるが、パケット格納バッファ１２に取り出す伝送パケットが格納されていなければ、その伝送パケットの代わりに、固定パケット生成部１３により生成された固定パケットを用いて多重化ストリームを生成する。
多くの多重化規格では、空き帯域を埋めるために、無効パケットを代わりに送出することを規定しており、固定パケット生成部１３では、それらの規格で規定された形式の固定パケットを生成している。
【００３８】
パケット出力部１４は、パケット格納バッファ１２から伝送パケットを順次取り出して多重化ストリームを生成すると、“パケット取出指示”に含まれている出力先（パケット伝送部８、ディスク書込部９）を示す指定情報を参照して、その多重化ストリームをパケット伝送部８又はディスク書込部９に出力する。
このとき、多重化ストリームの出力先を１箇所に限定せず、複数の出力先から選択できるようにしてもよいし、生成した多重化ストリームを複製して、同一内容の多重化ストリームをパケット伝送部８とディスク書込部９の双方に同時に出力するようにしてもよい。
このように、同一内容の多重化ストリームをパケット伝送部８とディスク書込部９に同時出力してもよいが、異なる内容の多重化ストリームをパケット伝送部８とディスク書込部９に同時に出力するようにしてもよい。
【００３９】
以上で明らかなように、この実施の形態１によれば、各種の符号化メディア情報をパケット化して、その符号化メディア情報を含む伝送パケットを出力するパケット生成部５と、そのパケット生成部５から出力された伝送パケットをパケット格納バッファ１２に格納した後、そのパケット格納バッファ１２から伝送パケットを選択的に取り出して多重化ストリームを生成するパケット多重化部６とを設け、メディア多重制御部７がパケット生成部５によりパケット化される符号化メディア情報の順序を制御するとともに、パケット多重化部６によりパケット格納バッファ１２から取り出される伝送パケットの順序を制御するように構成したので、各種のメディア情報毎に、バッファやパケット化回路を実装することなく、各種の符号化メディア情報を多重化ストリームに多重化して送信することができるようになり、その結果、低コストな画像送信装置を実現することができる効果を奏する。
【００４０】
また、この実施の形態１によれば、伝送パケットに含まれている符号化メディア情報あるいは制御情報の種類と関係なく、その伝送パケットを共通のパケット格納バッファ１２に格納して集中管理しているので、各種の符号化メディア情報の個数や、多重化ストリームの個数を限定せずに制御できるようになる。そのため、メモリの使用効率を高めるだけでなく、入力するメディア情報の種別数、出力する多重化ストリームの種別数に対する設計上の柔軟性を高めることができる効果を奏する。
【００４１】
実施の形態２．
図３はこの発明の実施の形態２による画像送信装置のパケット格納バッファ１２における伝送パケットの格納例を示す説明図である。
図３（ａ）は、パケット多重化部６内のパケット格納バッファ１２を領域分割して管理する場合において、ある時点での伝送パケットの格納例を示している。
図中、左側の数値は、当該領域（説明の便宜上、その単位を「スロット」と表記する）を特定するスロット番号である。
図３（ｂ）は、映像符号化部１ａから出力された映像信号の符号化映像信号（図３では、説明の便宜上、「映像＃１パケット」と表記している）を一つ多重出力した後、映像＃１パケットを格納するとともに、データ符号化部３ｂから出力されたデータ信号の符号化データ信号（図３では、説明の便宜上、「データ＃１パケット」と表記している）を一つ多重出力した時点での伝送パケットの格納例を示している。
【００４２】
図４はパケット格納バッファ１２を管理するメディア別パケット管理テーブルを示す説明図である。
図４（ａ）は、パケット格納バッファ１２の格納状態が図３（ａ）であるときのメディア情報別の伝送パケットの管理状況を示している。
図４（ｂ）は、パケット格納バッファ１２の格納状態が図３（ｂ）であるときのメディア情報別の伝送パケットの管理状況を示している。
【００４３】
メディア別パケット管理テーブルでは、パケット格納バッファ１２を領域分割して管理する場合において、各種の符号化メディア情報、あるいは、制御情報を含む伝送パケットが、パケット格納バッファ１２内のどの位置に格納されているかを示す情報を保持している。
また、メディア別パケット管理テーブルでは、パケット多重化部６で取り扱う符号化メディア情報や制御情報を区別するために番号（図４では、「メディア番号」と表記している）を適用し、メディア番号に対して、メディア情報や制御情報を意味する番号（図４では、「メディア種別」と表記している。メディア種別は制御種別も含んでいる）を割り当てて登録している。
また、メディア別パケット管理テーブルでは、各種のメディア毎に、パケット格納バッファ１２に対して、最初（最も時間的に古い）に伝送パケットが格納された位置（図４では、「先頭書込位置」と表記している）と、最後（最も時間的に新しい）に伝送パケットが格納された位置（図４では、「最終書込位置」と表記している）を保持している。
【００４４】
図５はパケット格納バッファ１２を管理するスロット別パケット管理テーブルを示す説明図である。
図５（ａ）は、パケット格納バッファ１２の格納状態が図３（ａ）であるときの格納位置別のパケット管理状況を示している。
図５（ｂ）は、パケット格納バッファ１２の格納状態が図３（ｂ）であるときの格納位置別のパケット管理状況を示している。
【００４５】
スロット別管理テーブルでは、パケット格納バッファ１２を領域分割して管理する場合において、当該領域に伝送パケットが格納されていなければ、未使用を示す情報（図５では「空き」と表記している）を格納している。
何らかの伝送パケットが格納されていれば、使用中を示す情報を格納し、既存の伝送パケットと関連付けるため、当該伝送パケットの次に繋がる伝送パケットがあれば、その次の伝送パケットの格納位置を示す情報を保持し、次に繋がる伝送パケットがなければ、最終を示す情報（図５では、「最終」と表記している）を保持している。
なお、メディア別パケット管理テーブルとスロット別パケット管理テーブルは、パケット多重制御部１５が内部に保持しており、各種の制御を行う際に参照される。
【００４６】
次に動作について説明する。
ここでは、パケット格納バッファ１２に格納されている伝送パケットが図３（ａ）の状態にあるときに、パケット多重化部６のパケット取込部１１が、映像符号化部１ａから出力された映像信号の符号化映像信号である映像＃１パケットをパケット格納バッファ１２に格納する際の動作を説明する。
【００４７】
パケット多重制御部１５は、図５（ａ）のスロット別パケット管理テーブルを参照して、パケット格納バッファ１２内の空き領域を検索する。
パケット多重制御部１５は、パケット格納バッファ１２内の空き領域として、スロット番号＃２を検知すると、パケット格納バッファ１２内の空き領域がスロット番号＃２である旨を示す“パケット取込指示”をパケット取込部１１に出力する。
【００４８】
パケット取込部１１は、パケット多重制御部１５から“パケット取込指示”を受けると、図３（ｂ）に示すように、パケット生成部５から出力された伝送パケットである映像＃１パケットをパケット格納バッファ１２における“パケット取込指示”が示すスロット番号＃２の位置に格納する。
パケット取込部１１は、映像＃１パケットをパケット格納バッファ１２に格納すると、その映像＃１パケットのメディア種別を示す“パケット取込通知”をパケット多重制御部１５に出力する。
【００４９】
パケット多重制御部１５は、パケット取込部１１から“パケット取込通知”を受けると、新たにパケット格納バッファ１２に格納された映像＃１パケットのメディア種別が、映像＃１であることを把握し、図４（ａ）のメディア別パケット管理テーブルを参照して、メディア種別「映像＃１」の登録情報を取得する。
図４（ａ）には、メディア種別「映像＃１」の登録情報として、最終書込位置「スロット番号＃４」が登録されている。
【００５０】
パケット多重制御部１５は、最終書込位置「スロット番号＃４」を取得すると、スロット別パケット管理テーブルにおいて、新たな最終書込位置を登録するため、図５（ａ）（ｂ）に示すように、スロット番号＃４に対する登録内容を「最終」から「スロット番号＃２」に変更し、スロット番号＃２に対する登録内容を「空き」から「最終」に更新する。
また、パケット多重制御部１５は、図４（ａ）（ｂ）に示すように、メディア別パケット管理テーブルにおいて、映像＃１パケットに対する最終書込位置を「スロット番号＃４」から「スロット番号＃２」に更新する。
【００５１】
次に、パケット多重化部６のパケット出力部１４が、パケット格納バッファ１２から映像＃１パケットを取り出して多重化する場合の動作を説明する。
パケット多重制御部１５は、図４（ａ）のメディア別パケット管理テーブルを参照して、メディア情報種別「映像＃１」に対する最も古い伝送パケットの格納位置である先頭書込位置「スロット番号＃１」を取得し、パケット格納バッファ１２から取り出す伝送パケットがスロット番号＃１の位置にある映像＃１パケットである旨を指定する“パケット取出指示”をパケット出力部１４に出力する。
【００５２】
パケット出力部１４は、パケット多重制御部１５から“パケット取出指示”を受けると、パケット格納バッファ１２における“パケット取出指示”が示すスロット番号＃１の位置にある映像＃１パケットを取り出し、その映像＃１パケットを多重化ストリームに多重化する。
パケット多重制御部１５は、メディア別パケット管理テーブルにおいて、図４（ａ）（ｂ）に示すように、映像＃１パケットに対する新たな先頭書込位置を「スロット番号＃１」から「スロット番号＃７」に更新する。
また、スロット別パケット管理テーブルにおいて、図５（ａ）（ｂ）に示すように、スロット番号＃１に対する登録内容を「＃７」から「空き」に更新する。
【００５３】
以上で明らかなように、この実施の形態２によれば、パケット多重制御部１５がパケット格納バッファ１２に格納されている伝送パケットの格納順序及び格納位置を示す伝送パケット管理テーブル（図４及び図５のテーブル）を有し、その伝送パケット管理テーブルを参照して、パケット格納バッファ１２に対する伝送パケットの格納と取り出しを制御するように構成したので、メディア情報の種別や個数が変化しても、何ら影響を受けることなく、パケット格納バッファ１２に対する伝送パケットの格納と取り出しを制御することができるようになり、その結果、メディア情報の種別や個数に対する設計上の柔軟性を確保することができる効果を奏する。
【００５４】
実施の形態３．
図６はこの発明の実施の形態３による画像送信装置のパケット生成部５を示す構成図である。
図６において、パケット生成制御部２１はメディア多重制御部７から“パケット生成指示”を受けると、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を把握し、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、取込対象の符号化メディア情報を指定する“メディア選択指示”をメディア選択部２２に出力する処理を実施する。
また、パケット生成制御部２１は制御情報の構成内容を指示する“制御情報指示”を制御情報生成部２３に出力するとともに、ヘッダ情報の構成内容を指示する“ヘッダ情報指示”をヘッダ情報生成部２４に出力し、また、伝送パケットを組み立てる構成内容を指定する“パケット組立指示”をパケット組立部２５に出力する処理を実施する。
なお、“パケット組立指示”には、伝送パケットを構成する情報として、例えば、ヘッダ情報と、符号化メディア情報あるいは制御情報とを、どのように組み合わせるかを示す領域位置、領域サイズ、付属情報有無などを示す情報を含んでいる。
【００５５】
メディア選択部２２はパケット生成制御部２１から“メディア選択指示”を受けると、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、そのメディア選択指示が指定する符号化メディア情報を選択してパケット組立部２５に出力する処理を実施する。
制御情報生成部２３はパケット生成制御部２１から“制御情報指示”を受けると、各種の多重化規格に則して多重化ストリームに多重化される各種のメディア情報の関連付け情報や付属情報を与える制御情報を生成する処理を実施する。
【００５６】
ヘッダ情報生成部２４はパケット生成制御部２１から“ヘッダ情報指示”を受けると、各種の多重化規格に則して伝送パケットの属性を示すヘッダ情報を生成する処理を実施する。
パケット組立部２５はパケット生成制御部２１から“パケット組立指示”を受けると、そのパケット組立指示にしたがって、ヘッダ情報生成部２４により生成されたヘッダ情報と、メディア選択部２２により選択された符号化メディア情報、あるいは、制御情報生成部２３により生成された制御情報とを組み合わせて伝送パケットを生成する処理を実施する。
【００５７】
次に動作について説明する。
パケット生成部５のパケット生成制御部２１は、メディア多重制御部７から“パケット生成指示”を受けると、優先的にパケット化する必要がある符号化メディア情報あるいは制御情報を把握する。
パケット生成制御部２１は、符号化メディア情報に対する伝送パケットを生成する場合、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、優先度が高い符号化メディア情報を取込対象の符号化メディア情報に設定し、その符号化メディア情報を指定する“メディア選択指示”をメディア選択部２２に出力する。
【００５８】
メディア選択部２２は、パケット生成制御部２１から“メディア選択指示”を受けると、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂから出力される符号化メディア情報（符号化映像信号、符号化音声信号、符号化データ信号）の中から、そのメディア選択指示が指定する符号化メディア情報を選択してパケット組立部２５に出力する。
その際、図示していないが、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂとメディア選択部２２間では、符号化メディア情報を伝達するための制御がなされている。
【００５９】
パケット生成制御部２１は、優先的に制御情報をパケット化する場合、“メディア選択指示”をメディア選択部２２に出力せずに、制御情報の構成内容を指示する“制御情報指示”を制御情報生成部２３に出力する。
制御情報生成部２３は、パケット生成制御部２１から“制御情報指示”を受けると、“制御情報指示”が示す構成内容の制御情報を生成する。即ち、各種の多重化規格に則して多重化ストリームに多重化される各種のメディア情報の関連付け情報や付属情報を与える制御情報を生成する。
【００６０】
また、パケット生成制御部２１は、ヘッダ情報の構成内容を指示する“ヘッダ情報指示”をヘッダ情報生成部２４に出力する。
ヘッダ情報生成部２４は、パケット生成制御部２１から“ヘッダ情報指示”を受けると、各種の多重化規格に則して伝送パケットの属性を示すヘッダ情報を生成する。
ここで、ヘッダ情報は、どの符号化メディア情報を含む伝送パケットであるのかを示すものである。
【００６１】
パケット生成制御部２１は、伝送パケットを組み立てる構成内容を指定する“パケット組立指示”をパケット組立部２５に出力する。
パケット組立部２５は、パケット生成制御部２１から“パケット組立指示”を受けると、そのパケット組立指示が、ヘッダ情報生成部２４により生成されたヘッダ情報と、メディア選択部２２により選択された符号化メディア情報とを組み合わせる旨を示していれば、ヘッダ情報生成部２４により生成されたヘッダ情報と、メディア選択部２２により選択された符号化メディア情報とを組み合わせて伝送パケットを生成する。
一方、そのパケット組立指示が、ヘッダ情報生成部２４により生成されたヘッダ情報と、制御情報生成部２３により生成された制御情報とを組み合わせる旨を示していれば、ヘッダ情報生成部２４により生成されたヘッダ情報と、制御情報生成部２３により生成された制御情報とを組み合わせて伝送パケットを生成する。
【００６２】
このとき、パケット組立部２５は、図７に示すように、伝送パケットの種別を識別するパケット情報識別子を伝送パケットに付与し、パケット情報識別子付の伝送パケットをパケット多重化部６に出力する。
このパケット情報識別子は、“パケット生成指示”に基づいて正確に符号化メディア情報が選択されず、各種の符号化メディア情報の発生状況に応じて、適応的に符号化メディア情報が選択されても、メディア多重処理部４でのパケット生成や、多重化ストリーム生成にかかる一連の動作を破綻させずに、動的に追従させるために適用される。
つまり、パケット多重化部６では、このパケット情報識別子を参照することによって、実際に生成された伝送パケットが、どのような種別であるかを把握して、多重化ストリームの生成に反映することができる。
【００６３】
図８はパケット生成部５による伝送パケットの生成タイミングを示す説明図である。
図８は、上記のように、パケット生成制御部２１から出力される“メディア選択指示”によって、メディア選択部２２により取り込まれる符号化メディア情報を時分割に制御することで、パケット組立部２５による伝送パケットの生成処理をシリアル化させている様子を示している。
これにより、各種の符号化メディア情報のパケット生成がスケジューリングされて、当該メディアを多重出力するのに必要なタイミングと頻度が確保されることになる。
なお、“メディア選択指示”は、パケット生成対象を一つだけ指定するようにしてもよいし、また、パケット生成対象の符号化メディア情報が存在しない場合は、次に優先度が高い符号化メディア情報に切り替えて、パケット生成ができるように、優先度に応じて複数のメディア種別を列挙した指定で制御してもよい。
【００６４】
以上で明らかなように、この実施の形態３によれば、映像符号化部１ａ，１ｂ、音声符号化部２ａ，２ｂ及びデータ符号化部３ａ，３ｂからメディア選択部２２により取り込まれる符号化メディア情報を時分割に制御することで、パケット組立部２５による伝送パケットの生成処理をシリアル化させるように構成したので、パケット生成部５内の動作速度を、各種の符号化メディア情報の取り込み速度と比較して高くして、パケット生成処理の発生頻度を高めれば、メディア情報あるいは制御情報を選択的にパケット化することでパケットの生成効率が低下する状況の発生を抑制することができる効果を奏する。
【図面の簡単な説明】
【００６５】
【図１】この発明の実施の形態１による画像送信装置を示す構成図である。
【図２】この発明の実施の形態１による画像送信装置のパケット多重化部６を示す構成図である。
【図３】この発明の実施の形態２による画像送信装置のパケット格納バッファ１２における伝送パケットの格納例を示す説明図である。
【図４】パケット格納バッファ１２を管理するメディア別パケット管理テーブルを示す説明図である。
【図５】パケット格納バッファ１２を管理するスロット別パケット管理テーブルを示す説明図である。
【図６】この発明の実施の形態３による画像送信装置のパケット生成部５を示す構成図である。
【図７】パケット生成部５のパケット組立部２５から出力される伝送パケットを示す説明図である。
【図８】パケット生成部５による伝送パケットの生成タイミングを示す説明図である。
【符号の説明】
【００６６】
１ａ，１ｂ  映像符号化部（メディア符号化手段）、２ａ，２ｂ  音声符号化部（メディア符号化手段）、３ａ，３ｂ  データ符号化部（メディア符号化手段）、４  メディア多重処理部、５  パケット生成部（パケット生成手段）、６  パケット多重化部（パケット多重化手段）、７  メディア多重制御部（制御手段）、８  パケット伝送部、９  ディスク書込部、１１  パケット取込部、１２  パケット格納バッファ、１３  固定パケット生成部、１４  パケット出力部、１５  パケット多重制御部、２１  パケット生成制御部、２２  メディア選択部、２３  制御情報生成部、２４  ヘッダ情報生成部、２５  パケット組立部。
【図１】
2010141585.tif 000003
【図２】
2010141585.tif 000004
【図３】
2010141585.tif 000005
【図４】
2010141585.tif 000006
【図５】
2010141585.tif 000007
【図６】
2010141585.tif 000008
【図７】
2010141585.tif 000009
【図８】
2010141585.tif 000010