(57)【特許請求の範囲】
【請求項１】
広帯域伝送路から到着する２以上のパケットを２以上の狭帯域伝送路に分配して出力するパケット分配装置と、
各狭帯域伝送路に対応して設けられ、狭帯域伝送路上のパケットについてデータ変換を行う２以上のデータ変換装置と、
各狭帯域伝送路上のパケットを統合して広帯域伝送路へ送出するパケット統合装置とを備え、
各データ変換装置におけるパケットの送出タイミングが、全てのデータ変換装置におけるパケット受信情報に基づいて制御され、
上記データ変換装置は、各データ変換装置を巡回するトークンを送受信するために制御回線を介して接続され、
トークンを受信した各データ変換装置は、受信パケットの順序情報及び受信時刻をトークンに付加して他のデータ変換装置へ送出することを特徴とするパケット通信システム。
【請求項２】
パケットを受信した各データ変換装置によるパケットの送出タイミングが、全てのデータ変換装置を巡回したトークンに基づいて決定され、
決定された送出タイミングからなるトークンを各データ変換装置に巡回させ、
各データ変換装置が、受信トークンに含まれる送出タイミングに基づいて、パケットを送出することを特徴とする請求項１に記載のパケット通信システム。
【請求項３】
各データ変換装置における受信時刻に基づいて、データ変換装置及びパケット統合装置における各パケットごとの遅延時間を求め、求められた遅延時間に基づいて各パケットの送出タイミングを求めることを特徴とする請求項２に記載のパケット通信システム。
【請求項４】
広帯域伝送路から到着する２以上のパケットを２以上の狭帯域伝送路に分配して出力するパケット分配装置と、
各狭帯域伝送路に対応して設けられ、狭帯域伝送路上のパケットについてデータ変換を行う２以上のデータ変換装置と、
各狭帯域伝送路上のパケットを統合して広帯域伝送路へ送出するパケット統合装置と、
各データ変換装置に接続され、データ変換装置における受信パケットの順序情報及び受信時刻を受け取り、各パケットの送出タイミングを決定する順序制御装置とを備え、
各データ変換装置におけるパケットの送出タイミングが、全てのデータ変換装置におけるパケット受信情報に基づいて制御され、
各データ変換装置が、順序制御装置によって指示される送出タイミングに基づいて、パケットを送出することを特徴とするパケット通信システム。
【請求項５】
上記順序制御装置は、各データ変換装置における受信時刻に基づいて、データ変換装置及びパケット統合装置における各パケットごとの遅延時間を求め、求められた遅延時間に基づいて各パケットの送出タイミングを求めることを特徴とする請求項４に記載のパケット通信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パケット通信システムに係り、更に詳しくは、データ変換処理を並列化したデータ通信システムにおいて分配された各パケットの順序制御に関するものである。
【０００２】
【従来の技術】
近年、通信ネットワークの急速な発展により、伝送路上の大量のパケットの高速処理が求められている。しかしながら、処理負荷の重いデータ変換処理（例えば暗号化処理）を行うデータ変換装置が伝送路に設けられていた場合、当該データ変換装置の処理能力不足によってオーバーフローが発生する。つまり、データ変換装置の処理性能が伝送路の伝送速度に比べて低速である場合には、データ変換装置を伝送路に直接接続することができないという問題があった。
【０００３】
このような問題を解決するための対策として、データ変換処理を並列化することが考えられる。つまり、入力パケットを複数のデータ変換装置に分配し、データ変換処理後のパケットを再び統合するための負荷分散装置を用い、負荷の重いデータ変換処理を並列化し、全体として高速に実現することが考えられる。
【０００４】
ところが、データ変換装置や負荷分散装置での処理遅延はパケット長に依存するため、パケットの伝送順序が入れ替わり、入力パケットの順序と出力パケットの順序が異なる場合が発生する。このため、例えば、パケットを受信する端末の受信性能の低下を引き起こす可能性があった。
【０００５】
図３は、負荷分散装置を導入した従来のパケット通信システムの構成を示したブロック図である。図中の１及び３は負荷分散装置、２１〜２３はデータ変換装置、５０及び５１は広帯域伝送路、５１１〜５１３及び５２１〜５２３は狭帯域伝送路である。
【０００６】
広帯域伝送路５０は、システム入力端の伝送路であり、負荷分散装置１へパケットを入力する。狭帯域伝送路５１１〜５１３は、負荷分散装置１からパケットが出力される並列化された伝送路である。負荷分散装置１は、広帯域伝送路５０から順次に入力される２以上のパケットを狭帯域伝送路５１１〜５１３に分配して出力するパケット分配装置であり、各パケットは到着順に送出される。
【０００７】
単一伝送路から受信したパケットを、受信した順序で複数の伝送路に分配して送出する負荷分散の方式には、パケット全体を受信し終えてから送信を開始するストア＆フォワード（store and forward）方式と、パケットのヘッダ部分を受信した時点でパケット送信を開始するカット＆スルー（cut and through）方式がある。
【０００８】
データ変換装置２１〜２３は、狭帯域伝送路５１１〜５１３から入力されるパケットに対し所定のデータ変換処理を行い、変換後データをパケットとして狭帯域伝送路５２１〜５２３へ出力する。すなわち、データ変換装置２１は、入力側の狭帯域伝送路５１１からの入力データに対してデータ変換を行って出力側の狭帯域伝送路５２１へ出力する。全く同様にして、データ変換装置２２は、狭帯域伝送路５１２からの入力データに対してデータ変換を行って狭帯域伝送路５２２へ出力し、データ変換装置２３は、狭帯域伝送路５１３からの入力データに対してデータ変換を行って狭帯域伝送路５２３へ出力する。
【０００９】
負荷分散装置３は、複数の伝送路上のパケットを集約して１つの伝送路に出力するパケット統合装置であり、全ての狭帯域伝送路５１１〜５１３から入力される２以上のパケットを統合してシステム出力端の広帯域伝送路５１へ出力する。
【００１０】
この様にして、負荷分散装置１においてパケットを各狭帯域伝送路５１１〜５１３へ分配し、各データ変換装置２１〜２３において分配されたパケットに対するデータ変換処理を行い、負荷分散装置３においてデータ変換後のパケットを統合することによって、データ変換処理を並列化し、システム全体として高速処理を実現することができる。このため、処理速度が比較的遅いデータ変換装置であっても、伝送速度の速い広帯域ネットワークに適用することができる。
【００１１】
しかし、システムに入力されるパケットの長さが可変長である場合、負荷分散装置１、３においてパケット順序の逆転が発生する場合がある。また、パケットを全て受信した上で処理を行うストア＆フォワード方式を採用するデータ変換装置２１〜２３においても、パケットの追い越しが発生する場合がある。
【００１２】
図４は、図３のパケット通信システムの動作の一例を示した説明図である。この図には、負荷分散装置１、３のスイッチング方式としてカット＆スルー方式を採用し、パケットの追い越しが発生する最悪ケースとして、データ長の長いパケット（♯１）６０１が到着した後、データ長の短いパケット（♯２）６０２が到着する場合の例が示されている。
【００１３】
広帯域伝送路５０上の長いパケット６０１及び短いパケット６０２は、負荷分散装置１によって分配され、狭帯域伝送路５１１へ長いパケット６１１が出力され、狭帯域伝送路５１２へ短いパケット６１２が出力される。この場合、狭帯域伝送路５１１上の長いパケット６１１と、狭帯域伝送路５１２上の短いパケット６１２との出力タイミングが非常に近くなる。
【００１４】
長いパケット６１１のデータ変換に要する処理時間は、短いパケット６１２のデータ変換に要する時間よりも長いため、長いパケット６２１がデータ変換装置２１から出力されるよりも先に、短いパケット６２２がデータ変換装置２２から出力される。つまり、負荷分散装置１からの出力順序は正常であるが、データ変換装置２１，２２から出力される時点で、短いパケット♯２が長いパケット♯１を追い越してしまっている。その結果、負荷分散装置３において統合されたパケット６３２，６３１は、送信順序が入れ替わることになる。
【００１５】
また、図５は、図３のパケット通信システムの動作の他の例を示した説明図である。この図には、負荷分散装置１、３のスイッチング方式としてストア＆フォワード方式を採用し、パケットの追い越しが発生する最悪ケースとして、図４と同様、データ長の長いパケット６０１が到着した後、データ長の短いパケット６０２が到着する場合の例が示されている。
【００１６】
負荷分散装置１では、広帯域伝送路５０から入力されるパケットについてその全データを受信した後に当該パケットを狭帯域伝送路５１１〜５１３へ出力している。このため、長いパケット（♯１）６０１が、短いパケット（♯２）６０２よりも先に負荷分散装置１に到着しているが、長いパケット６１１が狭帯域伝送路５１１へ出力されるよりも先に、短いパケット６１２が狭帯域伝送路５１２へ出力されている。つまり、負荷分散装置１から出力される時点で、短いパケット♯２が長いパケット♯１を追い越してしまっている。更に、長いパケット６１１のデータ変換に要する処理時間は、短いパケット６１２のデータ変換に要する時間よりも長いため、データ変換装置２１，２２から出力される時点では、長いパケット♯１と短いパケット♯２の時間差が更に拡大してしまう。その結果、負荷分散装置３において統合されたパケット６３２，６３１は、送信順序が入れ替わることになる。
【００１７】
【発明が解決しようとする課題】
上述した通り、データ変換処理を並列化した従来のパケット通信システムでは、パケットの追い越しが発生するという問題があり、パケットの送信順序を制御してパケットの追い越しを防止することが望ましい。ところが、従来のパケット通信システムでは、特開平１０−２７１１６３号公報に開示されたような交換機内部で測定したパケット長に応じて送信順序を制御する方式や、特開平１０−３４１２５８号公報に開示されたような交換機に入力された時間とパケットを対応させ、その順序で送信する方式など、パケット交換機に適用されているものがほとんどである。
【００１８】
このため、これらの従来技術を負荷分散装置に適用すると、パケットの蓄積、送信制御処理によって、スイッチング性能が低下し、ワイヤスピードでのパケット交換という、レイヤ３スイッチングハブの利点を活かすことができないという問題があった。また、上記方式を採用している負荷分散装置は一般的でないため、負荷分散装置として商用されている汎用品を採用することができず、コストアップにつながるという問題があった。
【００１９】
本発明は、上記事情に鑑みてなされたものであり、負荷分散装置を用いてパケットの分配及び統合を行ってデータ変換処理を並列化させるパケット通信システムにおいて、パケットの追い越しによる伝送順序の逆転を防止することを目的とする。
【００２０】
また、パケット交換機のスイッチング特性を低下させることなく、パケットの追い越しによる伝送順序の逆転を回避することを目的とする。更に、パケットの追い越しによる伝送順序の逆転を回避しつつ、データ変換処理を並列化したパケット通信システムを安価に提供することを目的とする。
【００２１】
【課題を解決するための手段】
請求項１に記載の本発明によるパケット通信システムは、広帯域伝送路から到着する２以上のパケットを２以上の狭帯域伝送路に分配して出力するパケット分配装置と、各狭帯域伝送路に対応して設けられ、狭帯域伝送路上のパケットについてデータ変換を行う２以上のデータ変換装置と、各狭帯域伝送路上のパケットを統合して広帯域伝送路へ送出するパケット統合装置とを備え、各データ変換装置におけるパケットの送出タイミングが、全てのデータ変換装置におけるパケット受信情報に基づいて制御され、上記データ変換装置は、各データ変換装置を巡回するトークンを送受信するために制御回線を介して接続され、トークンを受信した各データ変換装置は、受信パケットの順序情報及び受信時刻をトークンに付加して他のデータ変換装置へ送出するように構成される。
【００２３】
請求項２に記載の本発明によるパケット通信システムは、パケットを受信した各データ変換装置によるパケットの送出タイミングが、全てのデータ変換装置を巡回したトークンに基づいて決定され、決定された送出タイミングからなるトークンを各データ変換装置に巡回させ、各データ変換装置が、受信トークンに含まれる送出タイミングに基づいて、パケットを送出するように構成される。
【００２４】
請求項３に記載の本発明によるパケット通信システムは、各データ変換装置における受信時刻に基づいて、データ変換装置及びパケット統合装置における各パケットごとの遅延時間を求め、求められた遅延時間に基づいて各パケットの送出タイミングを求めるように構成される。
【００２５】
請求項４に記載の本発明によるパケット通信システムは、広帯域伝送路から到着する２以上のパケットを２以上の狭帯域伝送路に分配して出力するパケット分配装置と、各狭帯域伝送路に対応して設けられ、狭帯域伝送路上のパケットについてデータ変換を行う２以上のデータ変換装置と、各狭帯域伝送路上のパケットを統合して広帯域伝送路へ送出するパケット統合装置と、各データ変換装置に接続され、データ変換装置における受信パケットの順序情報及び受信時刻を受け取り、各パケットの送出タイミングを決定する順序制御装置とを備え、各データ変換装置におけるパケットの送出タイミングが、全てのデータ変換装置におけるパケット受信情報に基づいて制御され、各データ変換装置が、順序制御装置によって指示される送出タイミングに基づいて、パケットを送出するように構成される。
【００２６】
請求項５に記載の本発明によるパケット通信システムは、上記順序制御装置は、各データ変換装置における受信時刻に基づいて、データ変換装置及びパケット統合装置における各パケットごとの遅延時間を求め、求められた遅延時間に基づいて各パケットの送出タイミングを求めるように構成される。
【００２７】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１によるパケット通信システムの一構成例を示したブロック図である。図中の１及び３は負荷分散装置、５０及び５１は広帯域伝送路、５１１〜５１３及び５２１〜５２３は狭帯域伝送路、７１〜７３はデータ変換装置、７は制御回線である。
【００２８】
負荷分散装置１は、図３の場合と同様、広帯域伝送路５０から順次に入力されるパケットを受信した順序で狭帯域伝送路５１１〜５１３に分配して出力する。このときの交換方式は、ストア＆フォワード方式、カット＆スルー方式のいずれの方式を採用することもできる。
【００２９】
データ変換装置７１〜７３は、負荷分散装置１、３間の各狭帯域伝送路上に設けられ、データ変換処理を並列実行している。データ変換装置７１は、入力側の狭帯域伝送路５１１上のデータ６１１を受信し、受信パケットにデータ変換処理を加えた後、出力側の狭帯域伝送路５２１にデータを出力する。同様にして、データ変換装置７２は、狭帯域伝送路５１２上のデータ６１２を受信し、受信パケットにデータ変換処理を加えた後、狭帯域伝送路５２２にデータを出力する。各狭帯域伝送路５２１〜５２３は負荷分散装置３に集約され、各パケット６２１，６２２は、1本の広帯域伝送路５１上にパケット６３１，６３２として出力される。
【００３０】
制御回線７は、入出力用の狭帯域伝送路５１１〜５１３，５２１〜５２３とは別に、データ変換装置７１〜７３間に設けられたトークン送受信のための信号線である。トークンは、この制御回線７を介して全てのデータ変換装置７１〜７３を巡回している。このトークンは制御回線７上を常に流れている。
【００３１】
データ変換装置７１は、パケット６１１のヘッダ部を受信すると、その内容を解析し、受信パケット６１１の順序情報を取得する。また、当該パケットの受信時刻を計測している。パケットの受信後に、制御回線７を介してデータ変換装置７２からトークンを受信すると、これらの順序情報および受信時刻情報を当該トークンに追加し、再びトークンを制御回線７へ送出する。同様にして、次にパケット６１２を受信したデータ変換装置７２は、自身の受信パケット６１２の順序情報および受信時刻情報をトークンに追加し、当該トークンを制御回線７へ送出する。
【００３２】
トークンが全てのデータ変換装置７１〜７３を一周し終わったら、データ変換装置７１が、パケットの順序情報に基づいて、順番の早いパケットから順にパケットを出力するように各データ変換装置７１〜７３のパケットの送信順序を決定する。
【００３３】
また、パケット順序情報とパケット受信時刻情報の関係から、負荷分散装置１とデータ変換装置７１〜７３との間で生じた各パケットの遅延時間を計算する。更にデータ変換装置７１〜７３内部の遅延時間および負荷分散装置３の遅延時間をこれに加えて各パケットの送信時刻を決定する。つまり、負荷分散装置３から出力される時点で送信順序が逆転しないように、各データ変換装置７１〜７３におけるパケットの送出タイミングを決定する。
【００３４】
この様にして決定された送出タイミングなどの情報は、トークンに乗せて全データ変換装置７１〜７３を巡回し、各データ変換装置７１〜７３に通知される。各データ変換装置７１〜７３は、決定された自身の送信時刻情報に基づき、パケットを送出する。
【００３５】
本実施の形態によれば、パケット交換機においてパケットの送信順序制御を行うことなく、汎用のパケット交換機によるワイヤスピードのスイッチングを維持するとともに、データ変換装置においてパケットの長さの相違によるパケットの追越しを回避している。このため、パケットロスによる回線性能の低下を防止することができる。また、再送制御によるネットワーク負荷の増大を防止することができる。
【００３６】
なお、送信タイミング制御に要する時間を短縮したい場合には、トークンからパケットの送信タイミングを読み出すとともに、同じトークンに次のパケットの受信情報を追加して送出すればよい。つまり、データ変換装置７１〜７３は、送信タイミング情報からなるトークンを受信した際、次のパケットを既に受信している場合には、当該次のデータの順序情報および受信時間情報を同じトークンに付加して制御回線７へ送出する。また、トークン受信時に次のパケットを受信していない場合は、その旨をトークンに追加し、直ちにトークンを送出することで、一定時間内にトークンを一周させることができる。
【００３７】
実施の形態２．
実施の形態１では、データ変換装置７１〜７３の処理性能が狭帯域伝送路の性能を上回る場合は、データ変換装置７１〜７３にデータ変換処理とトークン制御および送信順序決定処理の全てを実行させることができる。しかし、データ変換装置７１〜７３の処理性能が伝送路の性能と同等、或いはそれ以下である場合、データ変換装置７１〜７３に送信順序制御を行わせることによって、本来のデータ変換処理の性能が低下してしまうという問題が発生する。
【００３８】
このような場合には、各データ変換装置７１〜７３から送信順序制御処理を分離して、データ変換装置７１〜７３とは独立した順序制御装置８０を設け、各データ変換装置７１〜７３からの送信順序および時刻制御を一元的に管理することで、データ変換装置の負荷を低減させることができる。
【００３９】
図２は、本発明の実施の形態２によるパケット通信システムの一構成例を示したブロック図である。図中の１及び３は負荷分散装置、５０及び５１は広帯域伝送路、５１１〜５１３及び５２１〜５２３は狭帯域伝送路、７１〜７３はデータ変換装置、８０は順序制御装置、８は制御回線である。
【００４０】
順序制御装置８０とデータ変換装置７１〜７３は、サーバとクライアントの関係にあり、各データ変換装置７１〜７３におけるパケット送出は、順序制御装置８０によって制御される。順序制御装置８０は、各データ変換装置７１〜７３と制御回線８を介して接続されているが、順序制御装置８０とデータ変換装置７１〜７３の接続形態は任意の形態をとることができる。
【００４１】
各データ変換装置７１〜７３が、狭帯域伝送路５１１〜５１３を介して負荷分散装置１からパケットを受信すると、受信パケットのヘッダ情報に基づいて順序情報および受信時刻情報を取得し、これらの取得情報が、制御回線８を介して順序制御装置８０に通知される。
【００４２】
順序制御装置８０は、データ変換装置７１〜７３から受け取った送信順序および受信時刻情報に基づき、各データ変換装置７１〜７３の送信順序を決定する。また、順序制御装置８０は、各データ変換装置７１〜７３へ制御信号を出力し、決定された送信タイミングを通知する。各データ変換装置７１〜７３は、順序制御装置８０の指示に従って、データ変換後のパケットを狭帯域伝送路５２１〜５２３へ送信する。
【００４３】
この様にして、順序制御装置８０が、各データ変換装置７１〜７３の送信タイミングを決定し通知することにより、各データ変換装置７１〜７３がもつデータ変換処理性能を低下させることなく、パケットの追い越しによる送信順序の逆転を回避することができる。
【００４４】
なお、上記の各実施の形態では、１つの広帯域伝送路５０のパケットを３つの狭帯域伝送路５１１〜５１３に分配し、３つのデータ変換装置２１〜２３、７１〜７３において並列処理する場合の例について説明したが、本発明はこのような場合に限定されない。すなわち、２又は４以上の狭帯域伝送路のそれぞれにデータ変換装置を設けて並列処理を行う場合にも本発明を同様に適用することができる。
【００４５】
【発明の効果】
本発明によれば、負荷分散装置を用いてパケットの分配及び統合を行ってデータ変換処理を並列化させるパケット通信システムにおいて、パケットの追い越しによる伝送順序の逆転を防止することができる。また、パケット交換機のスイッチング特性を低下させることなく、パケットの追い越しによる伝送順序の逆転を回避することができる。更に、パケットの追い越しによる伝送順序の逆転を回避しつつ、データ変換処理を並列化したパケット通信システムを安価に提供することができる。
【図面の簡単な説明】
【図１】  本発明の実施の形態１によるパケット通信システムの一構成例を示した図である。
【図２】  本発明の実施の形態２によるパケット通信システムの一構成例を示したブロック図である。
【図３】  負荷分散装置を導入した従来のパケット通信システムの構成を示したブロック図である。
【図４】  図３のパケット通信システムの動作の一例を示した説明図であり、負荷分散装置１、３のスイッチング方式としてカット＆スルー方式を採用した場合のものが示されている。
【図５】  図３のパケット通信システムの動作の一例を示した説明図であり、負荷分散装置１、３のスイッチング方式としてストア＆フォワード方式を採用した場合のものが示されている。
【符号の説明】
１  負荷分散装置（パケット分配装置）、２１〜２３  データ変換装置、
３  負荷分散装置（パケット統合装置）、７  制御回線、
７１〜７３  データ変換装置、８  制御回線、８０  順序制御装置、
５０  システム入力端の広帯域伝送路、５１  システム出力端の広帯域伝送路、
５１１〜５１３  データ変換装置の入力端の狭帯域伝送路、
５２１〜５２３  データ変換装置の出力端の狭帯域伝送路、
６０１  広帯域伝送路５０上の長いパケット、
６０２  広帯域伝送路５０上の短いパケット、
６１１  狭帯域伝送路５１１上の長いパケット、
６１２  狭帯域伝送路５１２上の短いパケット、
６２１  狭帯域伝送路５２１上の長いパケット、
６２２  狭帯域伝送路５２２上の短いパケット、
６３１  広帯域伝送路５１上の長いパケット、
６３２  広帯域伝送路５１上の短いパケット
【図１】
0003814204.tif 000002
【図２】
0003814204.tif 000003
【図３】
0003814204.tif 000004
【図４】
0003814204.tif 000005
【図５】
0003814204.tif 000006