(57)【要約】【課題】フラグ探索に伴う通信断を抑制し、通信品質の劣化を防止することが可能な多重分離装置を提供する。【解決手段】ホストＣＰＵ２２０が、次の書き込みタイミングで、書込量Ｍのデータを第２ＦＩＦＯバッファ２３１に記録した場合に、残データ量Ｒが第１閾値ｔｈ１を超える場合には、第１ＦＩＦＯバッファ２１２から読み出したデータ（書込量Ｍ）のうち、残データ量Ｒが第２閾値ｔｈ２に達するまでのデータを第２ＦＩＦＯバッファ２３１に記録し、読み出したデータのうち残ったデータについては破棄するようにしたものである。【選択図】      図３
2007214900.tif 000002
【特許請求の範囲】
【請求項１】
複数種のデータが多重化されたペイロードとこのペイロードの構成を示す構成データとを有する多重化データストリームを受信し、前記ペイロードをデータの種別毎に分離する多重分離装置において、
伝送路を通じて多重信号を受信し、この多重信号から多重化データストリームを抽出する受信手段と、
この受信手段が抽出した多重化データストリームを記憶する第１記憶手段と、
この第１記憶手段から読み出された多重化データストリームを記憶する第２記憶手段と、
この第２記憶手段が記憶しているデータ量を、第１のデータ量として検出する検出手段と、
この検出手段が検出した第１のデータ量と、前記第１記憶手段から第２記憶手段に転送されるデータの量を示す第２のデータ量との合計値が、予め設定した第１閾値を超えるか否かを判定する判定手段と、
この判定手段が第１閾値を超えると判定した場合は、前記第１記憶手段から読み出した前記第２のデータ量分の多重化データストリームのうち、前記第２記憶手段のデータ残量が前記第１閾値よりも低い第２閾値に達する分のデータを前記第２記憶手段に記録し、残る分のデータについては破棄する記録制御手段と、
前記第２記憶手段に記憶される多重化データストリームを読み出し、この多重化データストリームに含まれる構成データに基づいて、前記ペイロードをデータの種別毎に分離する分離手段とを具備することを特徴とする多重分離装置。
【請求項２】
複数種のデータが多重化されたペイロードとこのペイロードの構成を示す構成データとを有する多重化データストリームを受信し、前記ペイロードをデータの種別毎に分離する多重分離装置において、
伝送路を通じて多重信号を受信し、この多重信号から多重化データストリームを抽出する受信手段と、
この受信手段が抽出した多重化データストリームを記憶する第１記憶手段と、
この第１記憶手段から読み出された多重化データストリームを記憶する第２記憶手段と、
この第２記憶手段が記憶しているデータ量を、第１のデータ量として検出する検出手段と、
この検出手段が検出した第１のデータ量が予め設定した第１閾値を超えるか否かを判定する判定手段と、
前記第１記憶手段から第２のデータ量分の多重化データストリームを読み出して前記第２記憶手段に記録するものであって、前記判定手段が第１閾値を超えると判定した場合には、前記読み出した第２のデータ量分の多重化データストリームを破棄する記録制御手段と、
前記第２記憶手段に記憶される多重化データストリームを読み出し、この多重化データストリームに含まれる構成データに基づいて、前記ペイロードをデータの種別毎に分離する分離手段とを具備することを特徴とする多重分離装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば携帯電話機などの通信端末装置に実装され、音声データと映像データが多重化されたマルチメディア多重信号などを分離するのに用いられる多重分離装置に関する。
【背景技術】
【０００２】
近時、携帯電話システムは、これまでの音声信号による通信に加えて、話者を撮像したビデオデータも送信するテレビ電話機能を実現している。テレビ電話機能による通信では、音声データとビデオデータが多重化されたマルチメディア多重信号が伝送される。マルチメディア多重信号を伝送する場合、受信側の通信装置において、まずモデム受信部が多重信号を受信して多重化データストリームに変換し、これを多重分離部でデータの種別毎に分離する。
【０００３】
しかしながら、多重分離部が伝送路（もしくはモデム受信部）のクロックと同期していないシステムの場合、多重分離部に入力される多重化データストリームのデータに過不足が生じることがある。例えば、モデム受信部にてデータに余りが生じるなどして、多重分離部のバッファメモリなどへの書き込みができない場合、モデム受信部と多重分離部との間を仲介するホストＣＰＵが、溢れたデータを破棄することにより帳尻を合わせるようにしている。
【０００４】
ところで、多重分離部において正常に分離処理を実施するには、多重化データストリームに含まれるフラグを正しく検出できることが必要であるが、フラグのビットパタンと同一のビットパタンがペイロード中にあった場合、フラグを誤検出（エミュレーション）してしまって正しく分離処理が行われないことがある。
【０００５】
そこで、H.223 AnnexBのようにヘッダにペイロード長を示す情報が含まれる場合には、この情報を利用し、受信側においてペイロード中のビットパタンをフラグと見誤らないようにすることが、従来から行われている（例えば、非特許文献１参照）。すなわち、多重分離部が多重化データストリーム中のヘッダ情報からフラグ伝送のタイミングを予測して（無線伝送ではある程度の伝送路誤りは避けられないため、ある程度のビット誤りを許容して）、そのタイミングにおいてのみフラグ検出を行う。
【０００６】
しかしながら、このようにして多重分離部がフラグ伝送のタイミングを予想してフラグ同期を行う場合、上述したようにホストＣＰＵがデータ破棄を行うと、フラグ伝送のタイミング予測が当てにならなくなり、その時点でフラグ同期がはずれてしまうことになる。多重分離部は、予測したタイミングにフラグとみなせるビットパタンのデータを受信できないと、フラグ同期がはずれたと判断し、通常通信状態からフラグ再同期待ち状態に遷移し、多重化ストリーム全体についてフラグの探索を開始する。
【０００７】
このように再同期待ち状態になると、正しくフラグ検出できるまで多重分離部は分離処理を行えない。分離処理が行えない状態では、音声デコーダもビデオデコーダもデータを得ることができない状態（通信断）になるので、これが通信品質劣化の原因になる。ゆえに、この同期はずれによる通信断状態をなるべく起こさないことが通信品質確保にとって重要である。
【非特許文献１】ITU-T H.223 Annex B“Multiplexing protocol for low bit rate multimedia mobile communication over moderate error-prone channel”
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の多重分離装置では、伝送路のクロックと同期していないシステムの場合、入力される多重化データストリームのデータに余りが生じるなどして、溢れたデータを破棄すると、多重化ストリーム中のフラグ探索が必要となって分離処理を行えず、この間に通信断となって通信品質の劣化を招くという問題があった。  
この発明は上記の問題を解決すべくなされたもので、フラグ探索に伴う通信断を抑制し、通信品質の劣化を抑えることが可能な多重分離装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、この発明は、複数種のデータが多重化されたペイロードとこのペイロードの構成を示す構成データとを有する多重化データストリームを受信し、前記ペイロードをデータの種別毎に分離する多重分離装置において、伝送路を通じて多重信号を受信し、この多重信号から多重化データストリームを抽出する受信手段と、この受信手段が抽出した多重化データストリームを記憶する第１記憶手段と、この第１記憶手段から読み出された多重化データストリームを記憶する第２記憶手段と、この第２記憶手段が記憶しているデータ量を、第１のデータ量として検出する検出手段と、この検出手段が検出した第１のデータ量と、第１記憶手段から第２記憶手段に転送されるデータの量を示す第２のデータ量との合計値が、予め設定した第１閾値を超えるか否かを判定する判定手段と、この判定手段が第１閾値を超えると判定した場合は、第１記憶手段から読み出した第２のデータ量分の多重化データストリームのうち、第２記憶手段のデータ残量が第１閾値よりも低い第２閾値に達する分のデータを第２記憶手段に記録し、残る分のデータについては破棄する記録制御手段と、第２記憶手段に記憶される多重化データストリームを読み出し、この多重化データストリームに含まれる構成データに基づいて、ペイロードをデータの種別毎に分離する分離手段とを具備して構成するようにした。
【発明の効果】
【００１０】
この発明によれば、フラグ探索に伴う通信断を低減し、通信品質の劣化を抑えることが可能な多重分離装置を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して、この発明の一実施形態について説明する。  
図１は、この発明の一実施形態に係わるマルティメディア多重通信システムの構成を示すものである。このシステムは、２つの端末装置１００，２００が伝送路３００を介して相互に接続され、マルチメディア多重信号を双方向に通信するものである。
【００１２】
なお、以下の説明では、説明を簡明にするために、端末装置１００を送信側として、送信に関わる構成のみを示し、一方、端末装置２００を受信側として、受信に関わる構成のみを示す。しかしながら、端末装置１００も端末装置２００と同様の受信回路を備え、また端末装置２００も端末装置１００と同様の送信回路を備えるものである。
【００１３】
端末装置１００は、音声エンコーダ１１０と、ビデオエンコーダ１２０と、多重化部１３０と、ホストＣＰＵ１４０と、モデム部１５０とを備える。また端末装置２００は、モデム部２１０と、ホストＣＰＵ２２０と、分離部２３０と、音声デコーダ２４０と、ビデオデコーダ２５０とを備える。
【００１４】
この構成において、音声エンコーダ１１０、ビデオエンコーダ１２０および多重化部１３０からなるグループＧｒ１、またホストＣＰＵ１４０、モデム部１５０、伝送路３００、モデム部２１０およびホストＣＰＵ２２０からなるグループＧｒ２、そして、分離部２３０、音声デコーダ２４０およびビデオデコーダ２５０からなるグループＧｒ３は、各グループ内においてそれぞれ同期して動作するものの、グループ間では完全に同期して動作しなくてもよい。
【００１５】
まず、端末装置１００について説明する。音声エンコーダ１１０は、図示しないマイクロホンなどから入力されるアナログ音声信号をディジタル信号に変換した後エンコード変換し、音声データを得る。またビデオエンコーダ１２０は、図示しないビデオカメラなどから入力されるビデオ信号をディジタル信号に変換した後エンコード変換し、ビデオデータを得る。
【００１６】
多重化部１３０は、上記音声データと上記ビデオデータとに基づくペイロードを生成し、さらに、フラグ情報とヘッダ情報を生成し、これらに基づいて、図２に示すような多重化データストリームを生成する。なお、ヘッダ情報には、ペイロードの多重化の順番やペイロード長などの情報が含まれる。モデム部１５０は、多重化データストリームに基づいて伝送信号を生成し、これを伝送路３００を通じて端末装置２００に宛てて送信する。
【００１７】
次に、端末装置２００について説明する。モデム部２１０、ホストＣＰＵ２２０および分離部２３０は、図３に示すように構成される。すなわち、モデム部２１０は、モデム受信部２１１と第１ＦＩＦＯバッファ２１２を備え、分離部２３０は、第２ＦＩＦＯバッファ２３１、切換部２３２、同期確立処理部２３３および分離処理部２３４を備える。
【００１８】
モデム受信部２１１は、伝送路３００を通じて、モデム部１５０から送信される伝送信号を受信し、多重化データストリームを抽出する。第１ＦＩＦＯバッファ２１２は、ＦＩＦＯ（First-In First-Out）型のバッファメモリであって、モデム受信部２１１から入力される多重化データストリームを記憶し、ホストＣＰＵ２２０からの要求に応じて、記憶しているデータを出力する。
【００１９】
ホストＣＰＵ２２０は、第１ＦＩＦＯバッファ２１２と第２ＦＩＦＯバッファ２３１との間のデータ授受を制御するものであって、第２ＦＩＦＯバッファ２３１が記憶しているデータ量を検出し、これと予め設定した２つの閾値（第１閾値ｔｈ１、第２閾値ｔｈ２）とに応じて、第１ＦＩＦＯバッファ２１２から読み出したデータを、第２ＦＩＦＯバッファ２３１へ記録または破棄する制御を行う。
【００２０】
なお、ホストＣＰＵ２２０は、モデム受信部２１１の動作クロックに同期したタイミングで第１ＦＩＦＯバッファ２１２からデータを読み出し、第２ＦＩＦＯバッファ２３１へデータ記録またはデータ破棄を行う。
【００２１】
第２ＦＩＦＯバッファ２３１は、ＦＩＦＯ（First-In First-Out）型のバッファメモリであって、ホストＣＰＵ２２０から入力されるデータ（多重化データストリーム）を記憶し、記憶しているデータを分離部２３０と同期したタイミングで切換部２３２に出力する。切換部２３２は、同期確立処理部２３３の制御にしたがって、第２ＦＩＦＯバッファ２３１から入力されるデータを、選択的に同期確立処理部２３３または分離処理部２３４に出力する。
【００２２】
同期確立処理部２３３は、多重化データストリームからフラグのデータパタンを探索し、同期タイミングを確立する。同期が確立できたら切換部２３２を切換制御して、多重化データストリームデータを分離処理部２３４に出力する。
【００２３】
分離処理部２３４は、上記フラグ探索の結果から、次のフラグ情報の検出タイミングを予測し、フラグパタンを確立し、その後、ヘッダ情報に基づいてペイロードの多重化の順番やペイロード長などの解析し、切換部２３２から入力されるペイロードを音声データとビデオデータに分離し、それぞれ音声デコーダ２４０及びビデオデコーダ２５０に出力する。また予測したタイミングに次のフラグパタンを検出できない場合は、切換部２３２を切換制御し、多重化データストリーム全体を、同期確立処理部２３３に出力する。
【００２４】
音声デコーダ２４０は、分離処理部２３４にて分離された音声データをデコードするとともに、アナログ音声信号に変換する。このアナログ音声信号は、図示しないスピーカを通じて拡声出力される。
【００２５】
ビデオデコーダ２５０は、分離処理部２３４にて分離されたビデオデータをデコードするとともに、ビデオ信号に変換する。このビデオ信号は、図示しない表示部を通じ映像出力される。
【００２６】
次に、上記構成のマルティメディア多重通信システムの動作について説明する。ここでは、この発明に関わる端末装置２００におけるバッファ制御動作を中心に説明する。図４は、ホストＣＰＵ２２０の動作を説明するフローチャートであって、後述する書込量Ｍのデータ量が第１ＦＩＦＯバッファ２１２に蓄積されたことをホストＣＰＵ２２０が検出した場合に、実行する。以下、この図を参照して上記バッファ制御動作を説明する。
【００２７】
書込量Ｍのデータ量が第１ＦＩＦＯバッファ２１２に蓄積されると、ステップ４ａにおいてホストＣＰＵ２２０は、第２ＦＩＦＯバッファ２３１が記憶しているデータ量（以下、残データ量と称する）Ｒを検出し、ステップ４ｂに移行する。
【００２８】
ステップ４ｂにおいてホストＣＰＵ２２０は、ステップ４ａで検出した残データ量Ｒに基づいて、次の書き込みタイミングで、書込量Ｍのデータを第２ＦＩＦＯバッファ２３１に記録した場合に、その時点での残データ量Ｒが第１閾値ｔｈ１を超えるか否かを判定する。ここで、その時点での残データ量Ｒが第１閾値ｔｈ１を超えると判定した場合には、ステップ４ｅに移行し、一方、その時点での残データ量Ｒが第１閾値ｔｈ１以下であると判定した場合には、ステップ４ｃに移行する。
【００２９】
ステップ４ｃにおいてホストＣＰＵ２２０は、次の書き込みタイミングにおいて、第１ＦＩＦＯバッファ２１２から書込量Ｍに相当するデータ（多重化データストリーム）を読み出し、ステップ４ｄに移行する。  
ステップ４ｄにおいてホストＣＰＵ２２０は、ステップ４ｃにて読み出したデータを全て第２ＦＩＦＯバッファ２３１に記録し、当該処理を終了する。
【００３０】
一方、ステップ４ｅにおいてホストＣＰＵ２２０は、次の書き込みタイミングにおいて、第１ＦＩＦＯバッファ２１２から書込量Ｍに相当するデータ（多重化データストリーム）を読み出し、ステップ４ｆに移行する。
【００３１】
ステップ４ｆにおいてホストＣＰＵ２２０は、ステップ４ｅにて読み出したデータのうち、残データ量Ｒが第２閾値ｔｈ２に達するまでのデータを第２ＦＩＦＯバッファ２３１に記録し、読み出したデータのうち残ったデータについては破棄して、当該処理を終了する。
【００３２】
以上のようなバッファ制御によれば、グループＧｒ３で処理されるデータ量よりも、グループＧｒ２で伝送されるデータ量の方が多いために、第２ＦＩＦＯバッファ２３１の残データ量Ｒが増加方向に推移する場合に、残データ量Ｒは、例えば図５に示すシミュレーション結果（実線）のように推移する。
【００３３】
なお、図５に示す例では、第２ＦＩＦＯバッファ２３１の記憶容量を2000wordとし、第１閾値ｔｈ１を1440word、第２閾値ｔｈ２を1040word、また書込量Ｍを800wordとしたものである。また図５中の破線は、廃棄データ量を示す。
【００３４】
図６には、図５に示したシミュレーション結果と同じ条件で、従来の装置でシミュレーションした結果を示す。図５に示す例では、グループＧｒ３で処理されるデータ量よりも、グループＧｒ２で伝送されるデータ量の方が多いために、やがて第２ＦＩＦＯバッファ２３１の残データ量Ｒが最大値（記憶容量2000word）まで達し、以後、データを破棄する処理が頻発している。
【００３５】
この条件においては、２つのシミュレーション結果を比較すると、上記構成の端末装置２００では、従来の構成に比べて、データを廃棄する処理の発生頻度が６分の１程度となっている。
【００３６】
なお、端末装置２００では、グループＧｒ３で処理されるデータ量よりも、グループＧｒ２で伝送されるデータ量が少ないために、第２ＦＩＦＯバッファ２３１の残データ量Ｒが減少方向に推移する場合に、残データ量Ｒは、例えば図７に示すシミュレーション結果（実線）のように推移する。
【００３７】
以上のように、上記構成の端末装置２００では、ホストＣＰＵ２２０が、次の書き込みタイミングで、書込量Ｍのデータを第２ＦＩＦＯバッファ２３１に記録した場合に、残データ量Ｒが第１閾値ｔｈ１を超える場合には、第１ＦＩＦＯバッファ２１２から読み出したデータ（書込量Ｍ）のうち、残データ量Ｒが第２閾値ｔｈ２に達するまでのデータを第２ＦＩＦＯバッファ２３１に記録し、読み出したデータのうち残ったデータについては破棄するようにしている。
【００３８】
したがって、上記構成の端末装置２００によれば、データを廃棄する処理の発生頻度を低減できるので、上記処理に伴う同期はずれの発生頻度を低減でき、フラグ探索に伴う通信断を低減させ、通信品質の劣化を抑えることができる。
【００３９】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【００４０】
その一例として例えば、上記実施の形態では、ステップ４ｂにおいて、次の書き込みタイミングで、書込量Ｍのデータを第２ＦＩＦＯバッファ２３１に記録した場合に、その時点での残データ量Ｒが第１閾値ｔｈ１を超えるか否かを判定するようにした。
【００４１】
これに代わって例えば、ステップ４ｂにおいて、ステップ４ａで検出した残データ量Ｒが第１閾値ｔｈ１を超えるか否かを判定し、残データ量Ｒが第１閾値ｔｈ１を超えると判定した場合には、ステップ４ｅに移行し、一方、残データ量Ｒが第１閾値ｔｈ１以下であると判定した場合には、ステップ４ｃに移行するようにし、ステップ４ｆでは、ステップ４ｅで読み出したデータを破棄するようにしてもよい。このような処理によっても、データを廃棄する処理の発生頻度を低減できるので、上記処理に伴う同期はずれの発生頻度を低減でき、フラグ探索に伴う通信断を低減させ、通信品質の劣化を抑えることができる。
【００４２】
また上記実施の形態では、ステップ４ｆにおいて破棄するデータを、ステップ４ｅにて読み込んだデータとして説明した。これに代わって例えば、ステップ４ｆにおいてホストＣＰＵ２２０は、すでに第２ＦＩＦＯバッファ２３１が記憶しているデータの一部（または全部）を破棄して、ステップ４ｅにて読み込んだデータを全て第２ＦＩＦＯバッファ２３１に記録し、この記録後の残データ量が第２閾値ｔｈ２となるようにしてもよい。  
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【図面の簡単な説明】
【００４３】
【図１】この発明に係わるマルティメディア多重通信システムの一実施形態の構成を示す回路ブロック図。
【図２】図１に示したマルティメディア多重通信システムで伝送される多重化データストリームのフォーマットを説明するための図。
【図３】図１に示した受信側の端末装置の構成を詳細に説明する回路ブロック図。
【図４】図１に示した受信側の端末装置のホストＣＰＵの制御動作を説明するためのフローチャート。
【図５】図３に示した第２ＦＩＦＯバッファの残データ量が増加する傾向にあるときの残データ量の推移を示す図。
【図６】従来の端末装置における第２ＦＩＦＯバッファの残データ量が増加する傾向にあるときの残データ量の推移を示す図。
【図７】図３に示した第２ＦＩＦＯバッファの残データ量が減少する傾向にあるときの残データ量の推移を示す図。
【符号の説明】
【００４４】
１００，２００…端末装置、１１０…音声エンコーダ、１２０…ビデオエンコーダ、１３０…多重化部、１４０…ホストＣＰＵ、１５０…モデム部、２１０…モデム部、２１１…モデム受信部、２１２…第１ＦＩＦＯバッファ、２２０…ホストＣＰＵ、２３０…分離部、２３１…第２ＦＩＦＯバッファ、２３２…切換部、２３３…同期確立処理部、２３４…分離処理部、２４０…音声デコーダ、２５０…ビデオデコーダ、３００…伝送路。
【図１】
2007214900.tif 000003
【図２】
2007214900.tif 000004
【図３】
2007214900.tif 000005
【図４】
2007214900.tif 000006
【図５】
2007214900.tif 000007
【図６】
2007214900.tif 000008
【図７】
2007214900.tif 000009