(57)【要約】【課題】同期データと非同期データとを定周期Ｔ内に伝送する方式で、等時性が要求される音声データの遅延を短縮。【解決手段】定周期Ｔの先頭で、定周期Ｔ内で伝送すべき音声データを２つに分割した最初の音声データＡ１を、周期毎に生成するパケットヘッダ情報を用いてパケット化して伝送し、音声データＡ１に続けて画像データをパケット化して伝送し、その後、定周期Ｔの残りの期間内で、分割した残りの音声データＡ２を、前記のパケットヘッダ情報を用いてパケット化して伝送する。これにより、音声データＡ１を周期の先頭から、音声データＡ２を周期の途中から、伝送できるようになり、周期を短くすることなく、音声の遅延を短くすることができる。【選択図】　図１
2004135149.tif 000002
【特許請求の範囲】
【請求項１】
音声データ及び画像データを含む同期データと、前記同期データ以外の非同期データとを、一周期内で伝送するデータ伝送方法において、
前記一周期の先頭で、前記一周期内で伝送すべき音声データを複数に分割してなる複数の部分音声データのうち最初のものを、パケットヘッダ情報を用いてパケット化して伝送し、
最初の部分音声データに続けて画像データをパケット化して伝送し、
前記画像データが伝送された後、前記一周期の残りの期間内で、前記複数の部分音声データのうち残りのものを、前記パケットヘッダ情報を用いてパケット化して伝送することを特徴とするデータ伝送方法。
【請求項２】
前記一周期の初めの所定期間は、同期データを伝送する期間として設定され、前記一周期の残りの期間は、非同期データを伝送する期間として設定され、
最初の部分音声データの伝送と、前記画像データの伝送と、前記残りの部分音声データの伝送は、前記同期データを伝送する期間内に行い、
前記非同期データを伝送する期間に、非同期データを伝送することを特徴とする請求項１記載のデータ伝送方法。
【請求項３】
前記一周期の初めの所定期間は、同期データを伝送する期間として設定され、前記一周期の残りの期間は、非同期データを伝送する期間として設定され、
最初の部分音声データの伝送と、前記画像データの伝送は、前記同期データを伝送する期間内に行い、
前記残りの部分音声データの伝送は、前記非同期データを伝送する期間内に行い、
前記非同期データを伝送する期間内の、前記残りの部分音声データを伝送する期間以外の期間で、非同期データを伝送することを特徴とする請求項１記載のデータ伝送方法。
【請求項４】
残りの部分音声データの伝送は、前記非同期データを伝送する期間の先頭で行うことを特徴とする請求項３記載のデータ伝送方法。
【請求項５】
残りの部分音声データの伝送は、前記非同期データを伝送する期間の最後で行うことを特徴とする請求項３記載のデータ伝送方法。
【請求項６】
符号化された音声データ及び画像データを含む同期データと前記同期データ以外の非同期データとを蓄積する送信バッファと、
周期毎にパケットヘッダ情報を生成するパケットヘッダ生成手段と、
前記パケットヘッダ情報を用いてパケット化された前記同期データと前記非同期データとを一周期内で送信する送信手段と、
前記送信手段が、前記一周期の先頭で、前記一周期内で伝送すべき音声データを複数に分割してなる複数の部分音声データのうち最初のものを送信し、前記最初の部分音声データに続けて画像データを送信し、前記画像データが送信された後、前記一周期の残りの期間内で、前記複数の部分音声データのうち残りのものを送信するよう制御する制御手段とを具備したことを特徴とするデータ送信装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデータ伝送方法および装置に関し、特に、音声などの等時性（ｉｓｏｃｈｒｏｎｏｕｓ）を要求されるデータを、各種映像機器やコンピュータとその周辺装置などの機器間で伝送する技術に関する。等時性とは、例えばテレビ画像において、１秒間に３０枚の画像データが伝送され、音声データも画面と同調をとって伝送されるように、ある一定の周期が決められ、各周期内でそれぞれ所定の量のデータが伝送されなければならないという性質を指す。
【０００２】
【従来の技術】
等時性を要求されるデータとその他のデータとを伝送する場合、一定の周期Ｔを、実時間で到達することを要求されるが多少のデータ欠落は許容される同期データを伝送するための期間と、確実な伝送が要求されるが多少の伝送の遅れは許容される非同期データを伝送するための期間とに分けて、伝送を行なうことが考えられる（例えば、特許文献１参照）。このとき、複数の機器が同時にデータを通信路に送出すると衝突が起こるため、データ伝送制御装置（親機とも呼ぶ）が、各時点でデータを通信路に送出している機器が唯一つになるように、データ送出のタイミングを各機器に指示する信号を送る。データの送信元機器は、この親機から自機に対するタイミング指示信号を受け取ると、データを通信路に送出する。
【０００３】
送信元機器は、図１１に示されるように、定周期Ｔの先頭で親機から自機に対する同期タイミング指示信号を受け取ると、これに応答して所定の量の音声データを送出し、つづけて所定の量の画像データを送出することができる。これら所定量の音声及び画像データの送出は、同期データを伝送する期間（同期選択伝送状態と呼ぶ）内に終了するように制御されており、この期間が経過すると、上記の送信元機器は、親機から自機に対する非同期タイミング信号を受け取る。非同期タイミング指示信号を受け取った送信元機器は、非同期データを伝送する期間（非同期選択伝送状態と呼ぶ）内であれば、任意の時点に任意の量の非同期データを送出することができる。なお、同期タイミング信号は、その送信元機器に等時性が要求される送信すべきデータが存在すると親機が判断した場合に送られ、同期タイミング信号を受け取った送信元機器は、送信すべき音声データがあればすぐにその送出を開始して、同期選択伝送状態の期間内に所定量のデータ送出が終了するようにする。
【０００４】
【特許文献１】
特開平１１−２９８４７７号公報
【０００５】
【発明が解決しようとする課題】
音声や映像などの等時性を要求されるデータを伝送する場合、データの符号化および復号化の処理による遅延、データを通信のためにパケット化する処理による遅延、符号化の速度と通信路へデータを送出する速度との間の調整をする送信バッファでの遅延、通信路から断続的に受け取るデータを復号化できる単位にまとめるための受信バッファでの遅延が問題となる。
【０００６】
図１１のような方式でデータ伝送を行なう場合、上記の送信バッファおよび受信バッファでの遅延は、符号化速度のゆらぎや通信路のデータ伝送速度のゆらぎにより異なるが、合計して平均Ｔとなることが知られている。Ｔは、例えば、一周期内に送る所定量のデータを符号化するのにかかる時間に基づいて定められる。
【０００７】
特に音声の場合、遅延がある閾値より高くなると、人間の耳に途切れ途切れに聴こえるようになり、人間が感じる音の品質が急激に劣化する。したがって、音声データの遅延を短くすることが、特に望まれる。
【０００８】
遅延を短くする方法として、一周期内に送る音声データの量を減らして、定周期Ｔを短くする方法が考えられる。しかし、送信元機器は、定周期Ｔ毎に、宛先のアドレス及びポート番号、送信元のアドレス及びポート番号等のヘッダ情報を生成し直すため、Ｔを短くすると、同じデータ量を送るのにヘッダ情報を生成する回数が増え、パケット生成のオーバーヘッドが増すことになる。
【０００９】
本発明は、上記のような事情を考慮してなされたもので、その目的は、所与の条件により定まる周期を短くしなくても、等時性が要求される同期データの中でも特に音声データの遅延を少なくすることのできるデータ伝送を実現することにある。
【００１０】
【課題を解決するための手段】
本発明のデータ伝送方法は、音声データ及び画像データを含む同期データと、前記同期データ以外の非同期データとを、一周期内で伝送するものであって、前記一周期の先頭で、前記一周期内で伝送すべき音声データを複数に分割してなる複数の部分音声データのうち最初のものを、生成したパケットヘッダ情報を用いてパケット化して伝送し、前記最初の部分音声データに続けて画像データをパケット化して伝送し、前記画像データが伝送された後、前記一周期の残りの期間内で、前記複数の部分音声データのうち残りのものを、前記パケットヘッダ情報を用いてパケット化して伝送することを特徴とする。これにより、例えば音声データを２分割し、前半の部分音声データを周期の先頭から、後半の部分音声データを周期の途中（例えば周期の半ば）から、いずれも同じパケットヘッダ情報を用いて、伝送することができるようになり、音声の遅延をこの例の場合およそ半分程度に短くすることができる。
【００１１】
上記本発明のデータ伝送方法を実現する一つの方法は、前記一周期の初めの所定期間を、同期データを伝送する期間として設定し、前記一周期の残りの期間を、非同期データを伝送する期間として設定し、前記最初の部分音声データの伝送と、前記画像データの伝送と、前記残りの部分音声データの伝送は、前記同期データを伝送する期間内に行い、前記非同期データを伝送する期間には、非同期データを伝送することである。同期データを伝送する期間の開始と、非同期データを伝送する期間の開始は、データ伝送制御装置から送られるタイミング指示信号により特定することができる。さらにこの方法では、残りの部分音声データの伝送開始のタイミングも、データ伝送制御装置からの信号により制御すると良い。
【００１２】
上記本発明のデータ伝送方法を実現する他の方法は、前記一周期の初めの所定期間を、同期データを伝送する期間として設定し、前記一周期の残りの期間を、非同期データを伝送する期間として設定し、前記最初の部分音声データの伝送と、前記画像データの伝送は、前記同期データを伝送する期間内に行い、前記残りの部分音声データの伝送は、前記非同期データを伝送する期間内に行い、前記非同期データを伝送する期間内の、前記残りの部分音声データを伝送する期間以外の期間で、非同期データを伝送することである。この方法の場合、非同期データを伝送する期間内であれば、いつ残りの部分音声データを送っても構わないが、例えば、下記の２つのタイミングがある。
【００１３】
一つは、残りの部分音声データの伝送を、非同期データを伝送する期間の先頭で行うものである。この場合、同期データを伝送する期間と非同期データを伝送する期間がほぼ同じであれば、送信側から見ると、部分音声データの送出がほぼ等間隔（定周期のほぼ半分）で行なわれることになり、送信バッファでの遅延をおよそ半分に短くすることができる。
【００１４】
もう一つは、残りの部分音声データの伝送を、非同期データを伝送する期間の最後で行うものである。この場合、受信側から見ると、前半の部分音声データを含む同期データが受信されるのが同期データを伝送する期間の最後となり、後半の部分音声データが受信されるのが非同期データを伝送する期間の最後となるため、部分音声データの受信がほぼ等間隔（定周期のほぼ半分）で行なわれることになり、受信バッファでの遅延をおよそ半分に短くすることができる。
【００１５】
また、本発明のデータ送信装置は、符号化された音声データ及び画像データを含む同期データと、前記同期データ以外の非同期データとを蓄積する送信バッファと、周期毎にパケットヘッダ情報を生成するパケットヘッダ生成手段と、前記パケットヘッダ情報を用いてパケット化された前記同期データと前記非同期データとを一周期内で送信する送信手段と、前記送信手段が、前記一周期の先頭で、前記一周期内で伝送すべき音声データを複数に分割してなる複数の部分音声データのうち最初のものを送信し、前記最初の部分音声データに続けて画像データを送信し、前記画像データが送信された後、前記一周期の残りの期間内で、前記複数の部分音声データのうち残りのものを送信するよう制御する制御手段とを具備したことを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１７】
図１は、本発明の第１の実施形態に係るデータ伝送方式を説明するための図である。図１１では定周期Ｔの先頭から、その周期内で送出すべき所定量の音声データを全て送出していたが、図１ではこの所定量の音声データを半分に分け、定周期Ｔの先頭から初めの半分の音声データＡ１を送り、その後画像データ等の他の同期データを送出し、それから後ろの半分の音声データＡ２を送る。すなわち、同期選択伝送状態が開始されると、音声データの符号化を行う音声コーデックから出力される音声データのうちＡ１の部分と画像データを連接させ連続伝送させ、その後、同じ同期選択伝送状態の期間内に音声データのＡ２の部分を伝送させる。その後、非同期タイミング指示信号がデータ伝送制御装置（親機）から送出され、非同期選択伝送状態となる。音声データＡ１の送出は、親機から送出される第１音声タイミング指示信号に応答して開始され、音声データＡ２の送出は、親機から送出される第２音声タイミング指示信号に応答して開始される。
【００１８】
ここで、第１音声タイミング指示信号から第２音声タイミング指示信号までの期間をＴ１とし、第２音声タイミング指示信号から定周期Ｔの最後までの期間をＴ２とすると、送信バッファおよび受信バッファでの遅延は、合計して、Ｔ１＞＝Ｔ２であれば平均Ｔ１、Ｔ１＜Ｔ２であれば平均Ｔ２とすることができる。これは、各バッファに逐次入力されてくる音声データＡ１が最後まで蓄積されるまでの時間が最大Ｔ１で、音声データＡ２が全て蓄積され終わるまでの時間が最大Ｔ２と見積もれるため、各バッファでＴ１とＴ２のうちの長い方の時間（Ｔ３とする）だけ待てばいずれの場合も音声データの一固まりが最後まで蓄積されることになり、各バッファでの遅延が最大Ｔ３までに抑えられるからである。送信バッファでの遅延が最大Ｔ３、受信バッファでの遅延が最大Ｔ３であれば、合計した遅延は平均Ｔ３となることは知られている。これは、図１１の場合の遅延（平均Ｔ）よりも短い。
【００１９】
図１の例の場合、最も音声の遅延を短くできるのは、Ｔ１＝Ｔ２＝Ｔ３＝Ｔ／２に設定した場合、すなわち、定周期Ｔを２分割する時点に第２音声タイミング信号の送出時点を設定した場合である。但し、同期選択伝送状態の長さと非同期選択伝送状態の長さを、送信元機器から送信したい同期データの量と非同期データの量の関係に基づいて定めることから、Ｔ１とＴ２は同じにならないこともあり、同じにならなくても、音声の遅延が図１１の場合に比べて短くなる効果は存在する。
【００２０】
図２は、図１のようなデータ伝送を行なうシステムの構成例を示す図である。送信側の機器は、送信装置１０として示され、画像符号化部１１、音声符号化部１２、送信バッファ１３、パケットヘッダ生成部１４、送信処理部１５を備える。画像符号化部１１は、入力された画像を符号化して、送信バッファ１３に書き込む。音声符号化部１２は、入力された音声を符号化して、送信バッファ１３に書き込む。送信バッファ１３は、これら符号化部１１及び１２から出力されるデータを、図１に示される音声データＡ１、画像データ、音声データＡ２の順番に記憶する。パケットヘッダ生成部１４は、送信バッファ１３に蓄積される定周期Ｔ分のデータに対して付加されるヘッダ情報を生成する。ヘッダ情報は、宛先のアドレスとポート番号、送信元のアドレスとポート番号等を含む。このヘッダと定周期Ｔ内のデータからネットワーク層のパケットが生成される。このネットワーク層のパケットは、送信処理部１５により、複数の固定長のデータリンク層のパケット（フレームと呼ばれる）に分割され、メディアアクセス制御層の処理を施されて通信路１７へ送出される。
【００２１】
本実施形態では、通信路１７は、無線ＬＡＮなど無線を媒体とするものとし、送信処理部１５および受信処理部２１は、無線信号を送受信できるものとする。
【００２２】
受信装置２０は、受信処理部２１、受信バッファ２２、音声復号化部２３、画像復号化部２４を備える。受信処理部２１は、通信路１７から受信した信号からデータリンク層フレームを取り出し、ここに含まれるデータを受信バッファ２２に書き込む。受信バッファ２２は、復号化できる単位の音声データが蓄積されるまで待って、この単位の音声データを音声復号化部２３に渡し、音声を出力させる。同様に、復号化できる単位の画像データが蓄積されると、これを画像復号化部２４に渡し、画像を出力させる。
【００２３】
制御部１６、２５は、それぞれ、送信装置１０、受信装置２０の各部の動作を制御する。
【００２４】
タイミング指示信号送出装置２６は、データ伝送制御装置（親機）に相当し、受信装置２０の中に設けられていてもよいし、送信装置１０とも受信装置２０とも異なる独立の装置として通信路１７に接続されていてもよい。前者の場合は、受信装置２０が親機として、送信装置（子機）から親機へのデータ伝送のタイミングを指示することになる。後者の場合は、複数の送信装置と受信装置が存在するシステムで、一つの親機である装置が、複数の装置間のデータ伝送、すなわちある送信装置（ある子機）からある受信装置（別の子機）へのデータ伝送のタイミングを指示することになる。なお、システム内の１台の装置を親機とし、システム内の他の装置（子機）に対して順番にポーリング制御信号を伝送して、各装置からのデータ送信が順番に衝突無く行われるようにする場合、このポーリング制御信号をタイミング指示信号として使うこともできる。
【００２５】
タイミング指示信号送出装置２６は、例えば図１のように、第１および第２音声タイミング指示信号と、非同期タイミング指示信号を、周期毎に繰り返して送出する。この３つの信号を定周期Ｔ内のどの時点に設定するかは、伝送したいデータの量（等時性を要求する音声データの量、その他の同期データの量、非同期データの量など）によって、予め定められている。
【００２６】
送信処理部１５は、各タイミング指示信号を受信し、これに応じて例えば図１のようにデータの送出を行なう。このように構成すると、送信バッファ１３で、音声符号化部１２から出力される音声データＡ１、Ａ２がそれぞれ最後まで通信路１７へ送出されるまでに待つ時間は、最大でＴ３（Ｔ１とＴ２のうち長い方）となり、受信バッファ２２で、通信路１７から受信処理部２１を介して断続的に受信される音声データＡ１、Ａ２がそれぞれ最後まで蓄積されるまでに待つ時間も、最大でＴ３となる。
【００２７】
図３は、第１の実施形態に係る送信装置１０が行なうデータ送出の手順を示すフローチャートである。まず、送信装置１０の制御部１６は、現時点が定周期Ｔの周期先頭に相当するかどうかを判定する（Ｓ３０１）。周期先頭であれば、制御部１６は次に、画像符号化部１１および音声符号化部１２に、符号化された画像データと音声データがあるかどうかを問い合わせる（Ｓ３０２）。もし音声データも画像データもなければ、再び問い合わせる。音声データと画像データの少なくとも一方があれば、宛先のアドレス、ポート番号、送信元のアドレス、ポート番号といったパケットヘッダ情報を、パケットヘッダ生成部１４に生成させる（Ｓ３０３）。定周期Ｔ内で送出されるいずれのパケットにも、ここで生成された同じヘッダ情報が繰り返し用いられるので、定周期Ｔを短くする場合のようにヘッダ情報を生成し直すオーバーヘッドが増えてしまうことは無い。
【００２８】
制御部１６は、送信バッファ１３を用い、分割した１つ目の音声データＡ１と画像データを、連続伝送データとして連接し、上記のように生成されたパケットヘッダ情報を有するヘッダを付加して、送信データとして生成する（Ｓ３０４）。そして、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得する（Ｓ３０５）。送信処理部１５は、このバッファ領域に書き込まれた上記の送信データを送出する（Ｓ３０６）。この送信データ（音声データＡ１と画像データ）の送出は、第１音声タイミング指示信号の受信に応答して行なわれる。
【００２９】
次に、制御部１６は、送信バッファ１３を用い、分割した残りの音声データＡ２に、既に生成されているパケットヘッダ情報を有するヘッダを付加して、送信データとして生成する（Ｓ３０７）。そして、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得する（Ｓ３０８）。送信処理部１５は、このバッファ領域に書き込まれた上記の送信データを送出する（Ｓ３０９）。この送信データ（音声データＡ２）の送出は、第２音声タイミング指示信号の受信に応答して行なわれる。
【００３０】
そして、制御部１６は、非同期タイミング指示信号を受信すると、非同期選択伝送状態に遷移する（Ｓ３１０）。すなわち、送出すべき非同期データがあれば、非同期選択伝送状態の期間内の任意の時点で任意の量を選択して送出する。この送出は、非同期データに、既に生成されているパケットヘッダ情報を有するヘッダを付加して、送信データとして生成し（Ｓ３１１）、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得し（Ｓ３１２）、送信処理部１５が、このバッファ領域に書き込まれた送信データを送出する（Ｓ３１３）ことにより、行なわれる。
【００３１】
図４は、発明の第２の実施形態に係るデータ伝送方式を説明するための図である。図１では、分割した後半の音声データＡ２を、音声データＡ１及び画像データと同じ同期選択伝送状態で送出していたが、図４では、音声データＡ２を非同期選択伝送状態の先頭で送出している。すなわち、図４では、音声データＡ１の送出は、親機から送出される同期タイミング指示信号に応答して開始され、音声データＡ２の送出は、親機から送出される非同期タイミング指示信号に応答して開始される。
【００３２】
ここで、同期選択伝送状態の期間をＴ１とし、非同期選択伝送状態の期間をＴ２とすると、図１の例の場合と同様に、音声の遅延を平均Ｔ３（Ｔ１とＴ２の長い方）まで短くすることができる。最も音声の遅延を短くできるのは、Ｔ１＝Ｔ２＝Ｔ３＝Ｔ／２に設定した場合、すなわち、同期選択伝送状態と非同期選択伝送状態を同じ長さにした場合である。なお、送信元機器から送信したい同期データの量と非同期データの量の関係に基づいて、同期選択伝送状態と非同期選択伝送状態のそれぞれの長さを定めた上で、図１の方式と図４の方式とのいずれが音声の遅延をより短くできるかを調べることができる。すなわち、定周期Ｔを２分割した時点に、音声データＡ２の送出開始タイミングをより近く設定できる方式が、音声の遅延をより短くできるため、そちらの方式を採用するとよい。
【００３３】
図４に示すデータ伝送は、図２のシステム構成により実現することができる。さらに、図５には、第２の実施形態に係る送信装置１０が行なうデータ送出の手順を示すフローチャートを示す。まず、送信装置１０の制御部１６は、現時点が定周期Ｔの周期先頭に相当するかどうかを判定する（Ｓ５０１）。周期先頭であれば、制御部１６は次に、画像符号化部１１および音声符号化部１２に、符号化された画像データと音声データがあるかどうかを問い合わせる（Ｓ５０２）。もし音声データも画像データもなければ、再び問い合わせる。音声データと画像データの少なくとも一方があれば、宛先のアドレス、ポート番号、送信元のアドレス、ポート番号といったパケットヘッダ情報を、パケットヘッダ生成部１４に生成させる（Ｓ５０３）。定周期Ｔ内で送出されるいずれのパケットにも、ここで生成された同じヘッダ情報が繰り返し用いられるので、定周期Ｔを短くする場合のようにヘッダ情報を生成し直すオーバーヘッドが増えてしまうことは無い。
【００３４】
制御部１６は、送信バッファ１３を用い、分割した１つ目の音声データＡ１と画像データを、連続伝送データとして連接し、上記のように生成されたパケットヘッダ情報を有するヘッダを付加して、送信データとして生成する（Ｓ５０４）。そして、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得する（Ｓ５０５）。送信処理部１５は、このバッファ領域に書き込まれた上記の送信データを送出する（Ｓ５０６）。この送信データ（音声データＡ１と画像データ）の送出は、同期タイミング指示信号の受信に応答して行なわれる。
【００３５】
次に、制御部１６は、非同期タイミング指示信号を受信することで、非同期選択伝送状態に遷移する（Ｓ５０７）。非同期選択伝送状態では、本来は、非同期選択伝送状態の期間内の任意の時点で任意の量の非同期データを送出できるものであるが、第２の実施形態では、遷移するとすぐに送信すべき音声データがあるかどうかを音声符号化部１２に問い合わせる（Ｓ５０８）。もし、音声データ（分割した残りの音声データＡ２に相当）が存在すれば、送信バッファ１３を用い、音声データに既に生成されているパケットヘッダ情報を有するヘッダを付加して、送信データとして生成する（Ｓ５０９）。そして、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得する（Ｓ５１０）。送信処理部１５は、このバッファ領域に書き込まれた上記の送信データを送出する（Ｓ５１１）。したがって、この送信データ（音声データＡ２）の送出は、非同期タイミング指示信号の受信に応答して行なわれることになる。
【００３６】
制御部１６は、音声符号化部１２に問い合わせた結果、送信すべきデータがなかった場合は、非同期データの送出処理に入る。すなわち、非同期データに、既に生成されているパケットヘッダ情報を有するヘッダを付加して、送信データとして生成し（Ｓ５１２）、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得し（Ｓ５１３）、送信処理部１５が、このバッファ領域に書き込まれた送信データを送出する（Ｓ５１４）。
【００３７】
そして、制御部１６は、定周期Ｔの中で続けて非同期データを伝送できる時間が残っているかどうかを判定する（Ｓ５１５）。残り時間がなければ、終了し、残り時間があれば、非同期データの送出処理を続行する。
【００３８】
図６は、第１及び第２の実施形態の作用効果の詳細を説明するための図である。図６（ａ）は、定周期Ｔ内で、送信装置の符号化部から出力された音声データが受信装置の受信バッファに蓄積されていく様子を説明している。まず、定周期Ｔの始め（時刻０）で、送信装置の音声符号化部から符号化された音声データＡ１が出力され、Ｔｂ時間をかけて、送信バッファに蓄積される。その音声データＡ１を送信処理部に渡し、伝送のための準備を行って送信する。伝送時間をＴｔとすると、受信側に音声パケットが到達するのはＴｔ時間後である。受信装置は受信したパケットから受信処理部により音声データを分離して取り出す。取り出した音声データを受信バッファに蓄積する。なお、図６（ａ）は、音声復号化部が、誤り検出等のために、二つの時点で受信した音声データを合わせて復号化処理の単位とする例を示している。したがって、音声データＡ１は、次の音声データＡ２が受信されるまで、受信バッファに蓄積されるままとなる。
【００３９】
次に、１周期内に２回目の伝送が行われる。時間Ｔ１において、次の音声データＡ２が音声符号化部から出力され、送信バッファに貯められる。その音声データＡ２を送信処理部に渡し、伝送のための準備がされ送信される。伝送時間をＴｔ、送信機側と受信機側のバッファに音声データが蓄積されるまでにかかる時間をＴｂとすると、受信装置に音声パケットが到達し、受信したパケットから送信処理部により音声データを分離して、音声データＡ１及びＡ２が受信バッファに蓄積されるまでの時間は、定周期Ｔの始めからおよそ（Ｔ１＋２Ｔｂ＋Ｔｔ）時間後である。よって、（Ｔ１＋２Ｔｂ＋Ｔｔ）時間後に音声データを復号化部へ出力できることになる。この時間（Ｔ１＋２Ｔｂ＋Ｔｔ）を、時間Ｔｍとする。
【００４０】
図６（ｂ）は、横方向に時間軸を取り、縦方向に送信バッファにその時点で蓄積されている音声データの量を示したものである。時間０で音声符号化部から音声データが出力され始め、Ｔｂ時間後に全ての音声データが送信バッファに蓄積される。それから送信開始が始まり送信バッファから音声データが出力されていく。この図から分かるように、送信バッファのサイズは、Ｔ１＝Ｔ２＝Ｔ／２であれば、最大でＴ／２時間分を用意すればよい。
【００４１】
ここで、もし、第２回目の音声データＡ２の伝送がなかったとすると、１回に伝送する音声データは（Ａ１＋Ａ２）分であり、送信バッファと受信バッファにデータが蓄積されるまでにかかる時間Ｔｂｐは、Ｔｂのほぼ２倍となる。また、必要な送信バッファのサイズは、Ｔ時間分となる。そして、次の時点で受信される音声データを待って復号化を開始する方式の場合は、次の周期で伝送される音声データが到達するまで待たなければならないため、音声データを復号化部へ出力できるのは、（Ｔ＋２Ｔｂｐ＋Ｔｔ）時間後となる。この時間（Ｔ＋２Ｔｂｐ＋Ｔｔ）をＴｏとする。
【００４２】
Ａ１＝Ａ２の音声データ量で、Ｔ１が周期Ｔの半分すなわちＴ／２である時には、ＴｂとＴｂｐの関係はＴｂ＝Ｔｂｐ／２であり、Ｔｔは周期Ｔに比べて小さい値であることを考慮すると、時間Ｔｍは、時間Ｔｏのほぼ半分となる。よって、第１及び第２の実施形態によれば、１周期に１回音声データ（Ａ１＋Ａ２）をまとめて伝送する場合と比較して、ほぼ半分の時間で受信装置において音声データの出力を行うことができるようになり。音声の遅延が改善される。また、上述したように、第１及び第２の実施形態によれば、１周期に１回音声データ（Ａ１＋Ａ２）をまとめて伝送する場合と比較して、ほぼ半分のバッファサイズで足りることになる。
【００４３】
以下には、発明の第３の実施形態について説明する。第１及び第２の実施形態は、送信側におけるタイミングに着目して音声の遅延を短くしているのに対し、第３の実施形態では、受信側におけるタイミングに着目する。したがって、第３の実施形態は特に、送信装置１０と受信装置２０との間の通信路１７上に中継装置が存在する構成を取った場合に効果が大きい。なぜなら、中継装置の存在により、音声データＡ１と画像データを連接させた同期データが送信装置から受信装置へ到達する時間と、音声データＡ２が送信装置から受信装置へ到達する時間との差異が、大きくなる可能性があるからである。この点については後に詳しく述べる。第３の実施形態においても、音声データを２分割して、これを受信側がほぼＴ／２毎に受け取るようにした例の場合、音声の遅延と必要なバッファサイズ画がほぼ半分になる効果は、第１及び第２の実施形態と同様である。
【００４４】
図７は、発明の第３の実施形態に係るデータ伝送方式を説明するための図である。図４では、分割した後半の音声データＡ２を、非同期選択伝送状態の先頭で送出していたが、図７では、音声データＡ２を非同期選択伝送状態の最後の部分を使って送出している。すなわち、図７では、音声データＡ１の送出は、親機から送出される同期タイミング指示信号に応答して開始され、音声データＡ２の送出は、親機から送出される非同期タイミング指示信号により非同期選択伝送状態に遷移した後、定周期Ｔの最後までの残り時間がＴｆになったことを送信装置内で検出して開始される。
【００４５】
図７に示すデータ伝送も、図２のシステム構成により実現することができる。さらに、図８に、第２の実施形態に係る送信装置１０が行なうデータ送出の手順を示すフローチャートを示す。まず、送信装置１０の制御部１６は、現時点が定周期Ｔの周期先頭に相当するかどうかを判定する（Ｓ７０１）。周期先頭であれば、制御部１６は次に、画像符号化部１１および音声符号化部１２に、符号化された画像データと音声データがあるかどうかを問い合わせる（Ｓ７０２）。もし音声データも画像データもなければ、再び問い合わせる。音声データと画像データの少なくとも一方があれば、宛先のアドレス、ポート番号、送信元のアドレス、ポート番号といったパケットヘッダ情報を、パケットヘッダ生成部１４に生成させる（Ｓ７０３）。定周期Ｔ内で送出されるいずれのパケットにも、ここで生成された同じヘッダ情報が繰り返し用いられるので、定周期Ｔを短くする場合のようにヘッダ情報を生成し直すオーバーヘッドが増えてしまうことは無い。
【００４６】
制御部１６は、送信バッファ１３を用い、分割した１つ目の音声データＡ１と画像データを、連続伝送データとして連接し、上記のように生成されたパケットヘッダ情報を有するヘッダを付加して、送信データとして生成する（Ｓ７０４）。そして、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得する（Ｓ７０５）。送信処理部１５は、このバッファ領域に書き込まれた上記の送信データを送出する（Ｓ７０６）。この送信データ（音声データＡ１と画像データ）の送出は、同期タイミング指示信号の受信に応答して行なわれる。
【００４７】
次に、制御部１６は、非同期タイミング指示信号を受信することで、非同期選択伝送状態に遷移し、非同期選択伝送状態の期間内の任意の時点で（後述する残り時間Ｔｆとなった時点以降を除く）、非同期データを送出できるようになる（Ｓ７０７）。すなわち、制御部１６は、非同期データに、既に生成されているパケットヘッダ情報を有するヘッダを付加して、送信データとして生成し（Ｓ７０８）、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得し（Ｓ７０９）、送信処理部１５が、このバッファ領域に書き込まれた送信データを送出する（Ｓ７１０）。
【００４８】
そして、制御部１６は、定周期Ｔの中の最後のＴｆ時間を除いて、まだ非同期データを伝送できる時間が残っているかどうかを判定する（Ｓ７１１）。Ｔｆ時間の他に非同期データの伝送時間が残っていれば、非同期データの送出処理を続行する。残り時間がＴｆになると、音声データがあるかどうかを音声符号化部１２に問い合わせる（Ｓ７１２）。もし音声データがなければ終了する。音声データ（分割した残りの音声データＡ２に相当）が存在すれば、送信バッファ１３を用い、音声データに既に生成されているパケットヘッダ情報を有するヘッダを付加して、送信データとして生成する（Ｓ７１３）。そして、生成された送信データを送信処理部１５により送出するためのバッファ領域を、送信バッファ１３内で獲得する（Ｓ７１４）。送信処理部１５は、このバッファ領域に書き込まれた上記の送信データ（音声データＡ２）を送出する（Ｓ７１５）。
【００４９】
図９は、第３実施形態において、中継装置が存在する場合の作用効果の詳細を説明するための図である。図９では、時間経過でそれぞれデータを含むパケットが伝送されていく様子を示している。定周期Ｔの先頭で、連接された音声パケットＡ１と画像パケットが送信装置から送出され、Ｎ×Ｔｔ時間後に中継装置で受信される。中継装置では、これらのパケットに対し、Ｔｒ時間で中継処理を行い、受信装置に向けて送出する。そのＮ×Ｔｔ時間後に受信装置が音声パケットＡ１と画像パケットを受信する。そして、定周期Ｔの最後からＴｆ時間を残した時点で、２回目の音声データが伝送が開始される。すなわち、送信装置から音声パケットＡ２が送出され、Ｍ×Ｔｔ時間後に中継装置で受信される。中継装置では、このパケットに対し、Ｔｒ時間で中継処理を行い、受信装置へ向けて送出する。そのＭ×Ｔｔ時間後に受信装置が音声パケットＡ２を受信する。なお、Ｎは音声パケットＡ１の数と画像パケットの数を合わせたパケット数、Ｍは音声パケットＡ２の数、Ｔｔは１パケット当たり伝送時間である。
【００５０】
図９において、音声パケットＡ１と画像パケットが、送信装置から受信装置まで到達するのにかかる時間Ｔ５は、Ｎ×Ｔｔ＋Ｔｒ＋Ｎ×Ｔｔ＝２ＮＴｔ＋Ｔｒと計算される。ここで、本実施形態が上述した効果を奏するためには、Ｔ５が定周期Ｔの約半分になるように、Ｔｔ及びＴｒ、Ｎを設計すると良い。例えば、Ｔｔ＝Ｔｒ＝Ｔ／８０となるように設計し、Ｎ＝１８に設定すると、Ｔ５≒Ｔ／２となる。また、音声パケットＡ２が、送信装置から受信装置まで到達するのにかかる時間は、同様に２ＭＴｔ＋Ｔｒと計算されるので、Ｔｆ＝２ＭＴｔ＋Ｔｒとなるように、ＴｆとＭを設計すると良い。
【００５１】
このように設計を行った場合、受信装置が音声データＡ１と画像データを受信し、音声データＡ１の出力を開始できるのは、定周期Ｔの始めからＴ５時間後、すなわちほぼ定周期Ｔの半分の時間経過後となり、受信装置が音声データＡ２を受信し、その出力を開始できるのは、定周期Ｔの最後となる。したがって、受信側から見ると、定周期Ｔの半分の時間であるＴ／２時間毎に、音声パケットが伝送されてくることになり、音声伝送の遅延時間を短縮できる。
【００５２】
以上の説明では、定周期内に送出する所定量の音声データを２分割して、定周期のほぼ１／２の周期で分割した音声データを送出し、音声の遅延を約半分にできる例を取り上げたが、伝送したい同期データと非同期データの割合によっては、分割数を変えることも可能である。例えば図１０（ａ）に示すように、伝送したい同期データが定周期のほぼ２／３、非同期データが定周期のほぼ１／３であるような場合は、図１０（ｂ）のように本発明を実施することもできる。すなわち、音声データをＢ１、Ｂ２、Ｂ３の３つに分割し、周期先頭の第１音声タイミング指示信号に応じて音声データＢ１と画像データを連接させて伝送し、第２音声タイミング指示信号に応じて音声データＢ２と残りの画像データを連接させて伝送し、第３音声タイミング信号に応じて音声データＢ３を伝送した後、非同期データを伝送する。このとき、Ｔ７、Ｔ８、Ｔ９がそれぞれ定周期のほぼ１／３程度となるようにすると、遅延を短くできる効果が高い。具体的には、第１の実施形態（図１０では方式１として示す）のように、音声データＢ３を同期選択伝送状態で送出し、その後非同期選択伝送状態に遷移（親機は第１〜第３音声タイミング指示信号及び非同期タイミング指示信号を送出）するのでもよいし、第２の実施形態（図１０では方式２として示す）のように、非同期選択伝送状態の期間の先頭で音声データＢ３を送出（親機は第１及び第２音声タイミング指示信号と非同期タイミング指示信号を送出）するのでもよい。
【００５３】
なお、本発明が上記の実施の形態に限定されないことはもちろんであり、当業者は、本発明の範囲内で上記の実施の形態を変形および応用可能である。例えば、定周期Ｔ内に送るべき音声データを分割する際に、異なる大きさのデータに分割して伝送しても良い。また、第２の実施形態では非同期選択伝送状態の先頭で、第３の実施形態では非同期選択伝送状態の最後で、音声データＡ２を送るようにしているが、非同期選択伝送状態のその他の期間で、音声データＡ２を送るようにすることも、本発明の範囲に含まれる。
【００５４】
また、上記の実施形態は、例えば監視カメラに応用することができる。その場合、送信装置は監視カメラであり、受信装置は監視員が遠隔で観察するモニターとなる。監視カメラからリアルタイムでモニターへ伝送される音声データと画像データは、その伝送品質がある程度保証されることが望ましい。よって、モニターがタイミング指示信号を発して、対応する監視カメラからの伝送帯域を確保し、監視カメラはこの信号で指示される期間内に所定量のデータを送出する。また、非同期データとしては、監視カメラを動かすための制御情報や、不審人物を検出した際のアラーム情報などが伝送される。上述した実施形態をこのような監視システムに適用して、音声の遅延を短くし、監視目的に十分な音声の品質を提供することができる。
【００５５】
【発明の効果】
以上のように、本発明によれば、等時性が要求される同期データの中でも特に音声データの遅延が短くなるように、同期データと非同期データとを伝送することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るデータ伝送方式を説明するための図
【図２】本実施の形態における送信装置と受信装置の構成例を示す図
【図３】本発明の第１の実施形態に係る送信装置が行なうデータ送出処理を示す図
【図４】本発明の第２の実施形態に係るデータ伝送方式を説明するための図
【図５】本発明の第２の実施形態に係る送信装置が行なうデータ送出処理を示す図
【図６】本発明の第１及び第２の実施形態の作用効果の詳細を説明するための図
【図７】本発明の第３の実施形態に係るデータ伝送方式を説明するための図
【図８】本発明の第３の実施形態に係る送信装置が行なうデータ送出処理を示す図
【図９】本発明の第３の実施形態の作用効果の詳細を説明するための図
【図１０】本発明のさらに別の実施形態に係るデータ伝送方式を説明するための図
【図１１】従来のデータ伝送方式を説明するための図
【符号の説明】
１０　送信装置
１１　画像符号化部
１２　音声符号化部
１３　送信バッファ
１４　パケットヘッダ生成部
１５　送信処理部
１６　制御部
１７　通信路
２０　受信装置
２１　受信処理部
２２　受信バッファ
２３　音声復号化部
２４　画像復号化部
２５　制御部
２６　タイミング信号送出装置
【図１】
2004135149.tif 000003
【図２】
2004135149.tif 000004
【図３】
2004135149.tif 000005
【図４】
2004135149.tif 000006
【図５】
2004135149.tif 000007
【図６】
2004135149.tif 000008
【図７】
2004135149.tif 000009
【図８】
2004135149.tif 000010
【図９】
2004135149.tif 000011
【図１０】
2004135149.tif 000012
【図１１】
2004135149.tif 000013