(57)【特許請求の範囲】
【請求項１】
所定の音声処理時間だけ連続的に音声データを符号化して音声パケットを作成する音声処理を行い、音声処理と次の音声処理との間に画像データを符号化して画像パケットを作成する画像処理を行う処理手段と、
音声パケットと画像パケットとを多重化したパケットを作成する多重化手段と、
送信先の受信装置の受信能力に応じた通信速度で多重化パケットを送信する通信手段とを備えた多重通信装置であって、
前記音声処理時間および多重化パケット中の音声パケットの送信にかかる音声送信時間に基づいて、画像処理時間を決定する決定手段と、
画像処理時間だけ連続的に画像データが符号化されるように、処理手段を制御する制御手段とをさらに備えることを特徴とする多重通信装置。
【請求項２】
前記決定手段は、処理手段によって音声処理および画像処理が開始される前に、画像処理時間を決定しておくことを特徴とする請求項１記載の多重通信装置。
【請求項３】
所定の音声処理時間だけ連続的に音声データを符号化して音声パケットを作成する音声処理を行い、音声処理と次の音声処理との間に画像データを符号化して画像パケットを作成する画像処理を行う処理工程と、
音声パケットと画像パケットとを多重化したパケットを作成する多重化工程と、
送信先の受信装置の受信能力に応じた通信速度で多重化パケットを送信する通信工程とを含んだ多重通信方法であって、
前記音声処理時間および多重化パケット中の音声パケットの送信にかかる音声送信時間に基づいて、画像処理時間を決定する決定工程をさらに含み、
処理工程では、画像処理時間だけ連続的に画像データが符号化されるように、画像処理を行うことを特徴とする多重通信方法。
【請求項４】
前記決定工程は、処理工程が開始される前に、実行されることを特徴とする請求項３記載の多重通信方法。
【請求項５】
コンピュータによって、所定の音声処理時間だけ連続的に音声データを符号化して音声パケットを作成する音声処理を行わせ、音声処理と次の音声処理との間に画像データを符号化して画像パケットを作成する画像処理を行わせ、
音声パケットと画像パケットとを多重化したパケットを作成させ、
送信先の受信装置の受信能力に応じた通信速度で多重化パケットを送信させる多重通信プログラムを記録した媒体であって、
前記音声処理時間および多重化パケット中の音声パケットの送信にかかる音声送信時間に基づいて、画像処理時間を決定させ、
画像処理時間だけ連続的に画像データが符号化されるように画像処理を行わせることを特徴とする多重通信プログラムを記録した媒体。
【請求項６】
前記音声処理および画像処理が開始される前に、画像処理時間を決定させることを特徴とする請求項５記載の多重通信プログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パケット通信のテレビ電話またはテレビ会議などに使用され、画像データと音声データとを多重化させて送信する多重通信装置、多重通信方法、および多重通信プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
図６に示す従来の多重通信装置６では、音声入力部１から音声データが入力され、画像入力部２から画像データが入力される。入力された音声データおよび画像データは、処理部３によって、音声パケットおよび画像パケットにそれぞれ符号化される。音声パケットおよび画像パケットは、多重化部４によって多重化され、通信部５によって外部へ送信される。なお処理部３では、音声処理と画像処理とが時分割で行われる。
【０００３】
多重通信装置６では、処理部３によって音声パケットの作成が完了している場合でも、通信部５が画像パケットの送信中であることによって、音声パケットの送信が待たされることがある。音声パケットの完成から音声パケットの送信開始までにかかる時間を、送信遅延時間Ｔ１とする。また、音声入力部１によって１フレーム分の音声入力が完了している場合でも、処理部３が画像処理中であることによって、音声処理の開始が待たされることがある。音声入力の完了から音声処理の開始までにかかる時間を、処理遅延時間Ｔ２とする。
【０００４】
音声と画像とを比較すると、一般に、音声の遅延が目立つので、音声の遅延時間を小さくする必要がある。上記の送信遅延時間Ｔ１および処理遅延時間Ｔ２は、ともに音声遅延時間であり、これらを短縮する必要がある。
【０００５】
図７は、送信遅延時間Ｔ１が長い場合の従来例を示すタイミングチャートである。画像パケットと音声パケットとを多重化して送信する際に、画像パケットのサイズが大きいと、音声データの符号化が終了しているにも関わらず音声パケットを送信できず、送信遅延時間Ｔ１だけ音声が遅延してしまう。
【０００６】
送信遅延時間Ｔ１を短縮するためには、画像パケットのサイズを小さくする必要があるが、画像パケットのサイズを小さくすると、画像パケットはヘッダ部分が大きいので、実際のデータが伝送されるデータ部分の割合が小さくなる。したがって、送信遅延時間Ｔ１とヘッダの増大の影響を考慮して、画像パケットのサイズが決定される。
【０００７】
図８は、処理遅延時間Ｔ２が長い場合の従来例を示すタイミングチャートである。画像符号化の処理と音声符号化の処理とを行う際に、画像符号化の処理時間が長い場合、音声データの入力が終了しているにも関わらず、音声符号化の処理を開始することができず、処理遅延時間Ｔ２が発生する。
【０００８】
処理遅延時間Ｔ２を短縮するためには、一般に、画像処理を細かく分割する方法がある。
【０００９】
この他、受信機側での画像と音声との再生ズレを防止する画像音声符号化データ伝送装置が、特開平８−３２６２１に開示されている。
【００１０】
【発明が解決しようとする課題】
ビットレートの低い伝送路では、一定の画質を確保するために、画像パケットのサイズを大きくする必要がある一方、音声遅延時間を減少させるために、画像パケットのサイズを小さくして、送信遅延時間Ｔ１を減少させる必要があったが、近年のビットレートの高い伝送路、およびデータ圧縮技術の進歩によって、画像パケットのサイズを小さくすることが可能となっている。
【００１１】
しかしながら、高い圧縮率を実現するための画像符号化方式では、符号化方式が非常に複雑なため、演算量が大きく、符号化処理に長い時間がかかり、処理遅延時間Ｔ２を増大させてしまう。
【００１２】
本発明の目的は、送信遅延時間の増大および処理遅延時間の増大の両方を防止できる多重通信装置、多重通信方法および多重通信プログラムを記録した媒体を提供することである。
【００１３】
【課題を解決するための手段】
本発明は、所定の音声処理時間だけ連続的に音声データを符号化して音声パケットを作成する音声処理を行い、音声処理と次の音声処理との間に画像データを符号化して画像パケットを作成する画像処理を行う処理手段と、
音声パケットと画像パケットとを多重化したパケットを作成する多重化手段と、
送信先の受信装置の受信能力に応じた通信速度で多重化パケットを送信する通信手段とを備えた多重通信装置であって、
前記音声処理時間および多重化パケット中の音声パケットの送信にかかる音声送信時間に基づいて、画像処理時間を決定する決定手段と、
画像処理時間だけ連続的に画像データが符号化されるように、処理手段を制御する制御手段とをさらに備えることを特徴とする多重通信装置である。
【００１４】
本発明に従えば、音声処理時間が通信速度などから適宜選ばれ、音声処理時間および処理手段の能力から音声パケットのサイズが求められる。音声パケットのサイズおよび通信速度から、音声送信時間が求められる。このような音声処理時間および音声送信時間に基づいて、画像処理時間が決定される。たとえば、音声処理時間が音声送信時間以上である場合、画像処理時間を音声処理時間と同じ時間に決定する。音声処理時間が音声送信時間未満である場合、画像送信時間が音声送信時間と同じ時間になるように、画像処理時間を決定する。これによって、送信遅延時間の増大と処理遅延時間の増大との両方を防止することができる。
【００１５】
また本発明は、前記決定手段は、処理手段によって音声処理および画像処理が開始される前に、画像処理時間を決定しておくことを特徴とする。
【００１６】
本発明に従えば、処理手段によって符号化の処理が開始される前に画像処理時間を決定するので、符号化処理中に画像処理時間の決定を待つことなく、処理を続行でき、遅延時間の増大をさらに抑制することができる。
【００１７】
特に、フレーム内符号化処理と、フレーム間符号化処理とを、符号化処理が開始されてから、切り替えるような場合であっても、決定された画像処理時間に合わせて画像処理を行うので、処理の切替時に画像処理時間を設定し直す必要がなく、遅延時間の増大を抑制できる。
【００１８】
また本発明は、所定の音声処理時間だけ連続的に音声データを符号化して音声パケットを作成する音声処理を行い、音声処理と次の音声処理との間に画像データを符号化して画像パケットを作成する画像処理を行う処理工程と、
音声パケットと画像パケットとを多重化したパケットを作成する多重化工程と、
送信先の受信装置の受信能力に応じた通信速度で多重化パケットを送信する通信工程とを含んだ多重通信方法であって、
前記音声処理時間および多重化パケット中の音声パケットの送信にかかる音声送信時間に基づいて、画像処理時間を決定する決定工程をさらに含み、
処理工程では、画像処理時間だけ連続的に画像データが符号化されるように、画像処理を行うことを特徴とする多重通信方法である。
【００１９】
本発明に従えば、上記と同様に、音声処理時間および音声送信時間に基づいて、画像処理時間が決定されるので、送信遅延時間の増大および処理遅延時間の増大の両方を防止することができる。
【００２０】
また本発明は、前記決定工程は、処理工程が開始される前に、実行されることを特徴とする。
【００２１】
本発明に従えば、処理工程が開始される前に画像処理時間を決定するので、上記と同様に、符号化処理中に画像処理時間の決定を待つことなく、処理を続行でき、遅延時間の増大をさらに抑制することができる。
【００２２】
また本発明は、コンピュータによって、所定の音声処理時間だけ連続的に音声データを符号化して音声パケットを作成する音声処理を行わせ、音声処理と次の音声処理との間に画像データを符号化して画像パケットを作成する画像処理を行わせ、
音声パケットと画像パケットとを多重化したパケットを作成させ、
送信先の受信装置の受信能力に応じた通信速度で多重化パケットを送信させる多重通信プログラムを記録した媒体であって、
前記音声処理時間および多重化パケット中の音声パケットの送信にかかる音声送信時間に基づいて、画像処理時間を決定させ、
画像処理時間だけ連続的に画像データが符号化されるように画像処理を行わせることを特徴とする多重通信プログラムを記録した媒体である。
【００２３】
本発明に従えば、上記と同様に、音声処理時間および音声送信時間に基づいて、画像処理時間が決定されるので、送信遅延時間の増大および処理遅延時間の増大の両方を防止することができる。
【００２４】
また本発明は、前記音声処理および画像処理が開始される前に、画像処理時間を決定させることを特徴とする。
【００２５】
本発明に従えば、上記と同様に、音声処理および画像処理が開始される前に画像処理時間を決定するので、符号化処理中に画像処理時間の決定を待つことなく、処理を続行でき、遅延時間の増大をさらに抑制することができる。
【００２６】
【発明の実施の形態】
図１は、本発明の一実施形態である多重通信装置１０の電気的構成を示すブロック図である。多重通信装置１０は、音声入力部１１、画像入力部１２、処理部１３、多重化部１４、多重化制御部１５および通信部１６を備える。音声入力部１１は、音声を電気信号に変換するマイクロフォンなどの入力装置である。画像入力部１２は、画像を電気信号に変換するＣＣＤ（電荷結合素子）カメラなどの入力装置である。
【００２７】
処理部１３は、音声入力部１１からの音声データを符号化して音声パケットを作成する音声処理、および画像入力部１２からの画像データを符号化して画像パケットを作成する画像処理を行う。多重化部１４は、処理部１３によって作成された複数の音声パケットと複数の画像パケットとを多重化させる。多重化制御部１５は、音声入力部１１、画像入力部１２、処理部１３および通信部１６を制御する。通信部１６は、通信相手となる外部の通信装置とデータの送受信能力に関する情報を交換し、多重化部１４からの多重化データを送信する。
【００２８】
処理部１３は、音声処理と画像処理とを時分割して実行する単一または複数のプロセッサで構成される。なお、複数のプロセッサで構成される場合であっても、画像符号化と音声符号化との処理を並列で行わないものとする。
【００２９】
図２は、図１の多重化制御部１５による処理流れを示すフローチャートである。処理が開始されると、ステップａ１において、通信部１６から外部通信装置の受信能力情報が通知される。
【００３０】
次にステップａ２において、通信部１６の送信能力および外部通信装置の受信の能力から通信速度Ｖおよび音声入力時間ＴＳｉを決定する。通信速度Ｖは、通信部１６が外部通信装置に多重化データを送信するときの通信速度である。音声入力時間ＴＳｉは、音声入力部１１に１フレームの音声データが入力されるまでにかかる時間であり、たとえば３０ｍｓ、６０ｍｓまたは９０ｍｓである。なお音声パケットは、１フレームの音声データから作成される。
【００３１】
次にステップａ３において、音声入力時間ＴＳｉ、処理部１３の処理能力および通信速度Ｖから、音声処理時間ＴＳｅおよび音声送信時間ＴＳｔを求める。すなわち、音声入力時間ＴＳｉからは、１フレームの音声データ量が求められ、これに処理部１３の処理能力を合わせると、音声処理時間ＴＳｅが求められる。音声送信時間ＴＳｔは、１フレームの音声データ量および通信速度Ｖから求められる。
【００３２】
次にステップａ４において、音声処理時間ＴＳｅと音声送信時間ＴＳｔとを比較して、比較結果から画像処理時間ＴＧｅを決定する。すなわち、音声処理時間ＴＳｅが音声送信時間ＴＳｔ以上である場合、画像処理時間ＴＧｅを音声処理時間ＴＳｅと同じ時間に決定する。画像処理時間ＴＧｅが決定されると、処理部１３の処理能力から１フレームの画像データ量が求められ、さらに１フレームの画像データ量から画像入力時間ＴＧｉが求められる。また画像処理時間ＴＧｅおよび処理部１３の処理能力から、画像パケットのサイズが求められ、これと通信時間Ｖから画像送信時間ＴＧｔが求められる。
【００３３】
一方、音声処理時間ＴＳｅが音声送信時間ＴＳｔ未満である場合、画像送信時間ＴＧｔを音声送信時間ＴＳｔと同じ時間に決定する。画像送信時間ＴＧｔが決定されると、通信速度Ｖから画像パケットのサイズが求められ、さらに処理部１３の処理能力から画像処理時間ＴＧｅおよび１フレームの画像データ量が求められる。さらに、１フレームの画像データ量から、画像入力時間ＴＧｉが決定される。ただし、画像処理時間ＴＧｅが音声送信時間ＴＳｔ以上となった場合は、画像処理時間ＴＧｅを音声送信時間ＴＳｔと同じ時間に決定する。
【００３４】
次にステップａ５において、音声処理時間ＴＳｅおよび画像処理時間ＴＧｅを処理部１３に通知して、処理を終了する。
【００３５】
図１の処理部１３の音声処理は、図２の処理によって求められた音声処理時間ＴＳｅに従って行われる。すなわち、音声入力部１１において所定の音声入力時間ＴＳｉに入力された１フレームの音声データから、１個の圧縮された音声パケットが作成される。
【００３６】
図３は、図１の処理部１３の画像処理流れを示すフローチャートである。まず、ステップｂ１，ｂ２において、多重化制御部１５から画像処理の開始通知を待つ。画像処理の開始が通知されたならば、ステップｂ３において、最小単位、たとえば１ＭＢ（マクロブロック）分の画像処理を行う。１ＭＢは、入力画面を分割した領域の単位であり、縦１６画素×横１６画素から成る。
【００３７】
次にステップｂ４において、画像処理を画像処理時間ＴＧｅ以上行っているか否かを判定する。画像処理時間ＴＧｅ以上である場合、ステップｂ１に戻って、再び画像処理の開始通知を待つ。画像処理時間ＴＧｅ未満である場合、次のステップｂ５に進む。
【００３８】
次にステップｂ５において、音声データの１フレーム分以上の画像データを符号化したか否かを判定する。１フレーム分以上である場合、ステップｂ６において、画像の符号化方式をフレーム内符号化とフレーム間符号化とのいずれかに切り替える、または画質を決定するパラメータである量子化ステップなどを変更するなどの処理方式の変更を行い、ステップｂ１に戻って画像処理の開始通知を待つ。１フレーム分未満である場合、ステップｂ３に戻る。
【００３９】
図３の画像処理によって、画像入力部１２において所定の画像入力時間ＴＧｉに入力された１フレームの画像データから、１個の圧縮された画像パケットが作成される。
【００４０】
多重化制御部１５は、１フレーム分の音声データが入力されている場合、処理部３に音声処理を行わせ、入力が完了していない場合、処理部１３に次の画像処理の開始を通知して、新たな画像パケットを作成させる。
【００４１】
図４は、音声送信時間ＴＳｔが長い場合の処理流れを示すタイミングチャートである。音声処理時間ＴＳｅが音声送信時間ＴＳｔ未満である場合、画像送信時間ＴＧｔは音声送信時間ＴＳｔと同じ長さになるので、送信遅延時間は、最大でも音声送信時間ＴＳｔを越えることはない。
【００４２】
図５は、音声処理時間ＴＳｅが長い場合の処理流れを示すタイミングチャートである。音声処理時間ＴＳｅが音声送信時間ＴＳｔ以上である場合、画像処理時間ＴＧｅは音声処理時間ＴＳｅと同じ長さになるので、処理遅延時間は、最大でも音声処理時間ＴＳｅを越えることはない。
【００４３】
なお、上記実施形態では、多重通信装置１０および多重通信装置１０による多重通信方法について説明したが、実施形態の多重通信を実行するプログラムを記録した媒体も、本発明に属するものである。このような記録媒体から実行プログラムを読出してコンピュータに実行させることによって、上記実施形態で説明した多重通信を行うことができる。
【００４４】
【発明の効果】
以上のように本発明の多重送信装置、多重送信方法および多重送信プログラムを記録した媒体によれば、音声処理時間および音声送信時間に基づいて、画像処理時間が決定されるので、送信遅延時間の増大と処理遅延時間の増大との両方を防止することができる。
【００４５】
また本発明の多重送信装置、多重送信方法および多重送信プログラムを記録した媒体によれば、音声処理および画像処理が開始される前に画像処理時間を決定するので、符号化処理中に画像処理時間の決定を待つことなく、処理を続行でき、遅延時間の増大をさらに抑制することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である多重通信装置１０の電気的構成を示すブロック図である。
【図２】図１の多重化制御部１５による処理流れを示すフローチャートである。
【図３】図１の処理部１３の画像処理流れを示すフローチャートである。
【図４】音声送信時間ＴＳｔが長い場合の処理流れを示すタイミングチャートである。
【図５】音声処理時間ＴＳｅが長い場合の処理流れを示すタイミングチャートである。
【図６】従来の多重通信装置６の電気的構成を示すブロック図である。
【図７】送信遅延時間Ｔ１が長い場合のタイミングチャートである。
【図８】処理遅延時間Ｔ２が長い場合のタイミングチャートである。
【符号の説明】
１０  多重通信装置
１１  音声入力部
１２  画像入力部
１３  処理部
１４  多重化部
１５  多重化制御部
１６  通信部
ＴＳｉ  音声入力時間
ＴＳｅ  音声処理時間
ＴＳｔ  音声送信時間
ＴＧｅ  画像処理時間
ＴＧｔ  画像送信時間
【図１】
0003860674.tif 000002
【図２】
0003860674.tif 000003
【図３】
0003860674.tif 000004
【図４】
0003860674.tif 000005
【図５】
0003860674.tif 000006
【図６】
0003860674.tif 000007
【図７】
0003860674.tif 000008
【図８】
0003860674.tif 000009