(57)【要約】【課題】予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置において、運用系から予備系へ切り替えるために要する時間を短縮できる制御装置、ネットワークシステム、方法及びプログラムを提供する。【解決手段】予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置を制御する制御装置であって、運用系から収集した情報を基に障害発生確率の高い運用系を予測し、予測した運用系が保持している、障害発生のときに予備系に引き継がれるべき引継情報を、予め予備系に登録させる。【選択図】図１
2010199675.tif 000002
【特許請求の範囲】
【請求項１】
予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置を制御する制御装置であって、
前記運用系から収集した情報を基に障害発生確率の高い運用系を予測し、
前記予測した運用系が保持している、障害発生のときに前記予備系に引き継がれるべき引継情報を、予め前記予備系に登録させることを特徴とする制御装置。
【請求項２】
前記運用系から収集した情報には、
前記運用系の回線の品質及びエラーレートが含まれることを特徴とする請求項１記載の制御装置。
【請求項３】
前記運用系に対し、
前記運用系が受信したデータの送信先アドレスを前記運用系内のメモリを用いて検索させ、検索された送信先アドレスへ前記データを転送させることを特徴とする請求項１又は２記載の制御装置。
【請求項４】
前記引継情報は、
前記送信先アドレスの検索に用いられる情報であることを特徴とする請求項３記載の制御装置。
【請求項５】
前記予備系に対し、
前記予測の前に、前記運用系の全てから前記引継情報を予め受信させておき、
前記予測の後で、前記予測した運用系の引継情報のみを前記予備系内のメモリに登録させることを特徴とする請求項１から４のいずれか１項に記載の制御装置。
【請求項６】
請求項１から４のいずれか１項に記載の制御装置を備えることを特徴とするネットワークシステム。
【請求項７】
予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置を制御する制御装置によって行われる方法であって、
前記制御装置は、
前記運用系から収集した情報を基に障害発生確率の高い運用系を予測し、
前記予測した運用系が保持している、障害発生のときに前記予備系に引き継がれるべき引継情報を、予め前記予備系に登録させることを特徴とする方法。
【請求項８】
予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置を制御するコンピュータに実行させるプログラムであって、
前記コンピュータに、
前記運用系から収集した情報を基に障害発生確率の高い運用系を予測する処理と、
前記予測した運用系が保持している、障害発生のときに前記予備系に引き継がれるべき引継情報を、予め前記予備系に登録させる処理と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予備系と運用系を備えることで冗長化された複数の通信データ処理装置を制御するための制御装置、ネットワークシステム、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数のユーザプレーンパケット処理装置（通信データ処理装置の一例）を備えるネットワークシステムでは、障害発生時の対策として、複数のユーザプレーンパケット処理装置のうち、予備系と運用系を少なくとも１つずつ備える冗長構成を採っている。このような冗長構成の例としては、Ｎ＋１冗長構成（Ｎ個：Ｎは整数）がある。Ｎ＋１冗長構成の例は、特許文献１に開示されている。このＮ＋１冗長構成では、複数のユーザプレーンパケット処理装置のうち、例えば、１つを予備系とし、残りを運用系とする。ユーザプレーンパケット処理装置は、パケットの送信先アドレスの検索処理に使用されるＴＣＡＭ（Ternary Content Addressable Memory：ターナリーの連想メモリ）を備えている。
【０００３】
このようなＮ＋１冗長構成を備えたネットワークシステムにおいて、運用系ユーザプレーンパケット処理装置に障害が発生した場合、その運用系ユーザプレーンパケット処理装置の情報を予備系ユーザプレーンパケット処理装置に引き継ぐ必要がある。このように運用系から予備系に引き継がれる情報を引継情報といい、例えば、検索キー情報等が挙げられる。
【０００４】
情報の引き継ぎを実施する理由は、ＴＣＡＭの容量には制限があり、複数の運用系ユーザプレーンパケット処理装置の引継情報の全てを予備系ユーザプレーンパケット処理装置に登録することはできないためである。また、ダイナミックに運用系ユーザプレーンパケット装置と予備系ユーザプレーンパケット処理装置の同期をとれないことも理由である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３３４６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述した情報の引き継ぎには時間を要するので、Ｎ＋１系を切り替える時間（運用系から予備系へ切り替えるために要する時間）が長期化する。それにより、パケットロスが増大する等の問題がある。
【０００７】
なお、このような問題を回避し、Ｎ＋１系を切り替える時間を短縮する方法として、予備系ユーザプレーンパケット処理装置のＴＣＡＭに対し、全運用系ユーザプレーンパケット処理装置の引継情報を事前に登録しておくことが考えられる。しかし、その場合は、予備系ユーザプレーンパケット処理装置のＴＣＡＭで多くの容量を使用することになる。その一方で、ＴＣＡＭの容量には制限があるため、運用系ユーザプレーンパケット処理装置で使用できるＴＣＡＭ容量が１／（Ｎ−１）に制限されることになる。これにより、装置の大容量、小型化ができないという別の問題がある。
【０００８】
本発明は、上記事情に鑑みてなされたものであり、予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置において、運用系から予備系へ切り替えるために要する時間を短縮できる制御装置、ネットワークシステム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
かかる目的を達成するために、本発明の制御装置は、予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置を制御する制御装置であって、運用系から収集した情報を基に障害発生確率の高い運用系を予測し、予測した運用系が保持している、障害発生のときに予備系に引き継がれるべき引継情報を、予め予備系に登録させることを特徴とする。
【００１０】
本発明のネットワークシステムは、本発明の制御装置を備えることを特徴とする。
【００１１】
本発明の方法は、予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置を制御する制御装置によって行われる方法であって、制御装置は、運用系から収集した情報を基に障害発生確率の高い運用系を予測し、予測した運用系が保持している、障害発生のときに予備系に引き継がれるべき引継情報を、予め予備系に登録させることを特徴とする。
【００１２】
本発明のプログラムは、予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置を制御するコンピュータに実行させるプログラムであって、コンピュータに、運用系から収集した情報を基に障害発生確率の高い運用系を予測する処理と、予測した運用系が保持している、障害発生のときに予備系に引き継がれるべき引継情報を、予め予備系に登録させる処理と、を実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、予備系と運用系を少なくとも１つずつ備えることで冗長化された複数の通信データ処理装置において、運用系から予備系へ切り替えるために要する時間を短縮できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るネットワークシステムの構成を示す図である。
【図２】本発明の実施形態に係るユーザプレーンパケット処理装置の構成を示すブロック図である。
【図３】本発明の実施形態に係る予備系ユーザプレーンパケット処理装置のメモリ構成の例を示す図である。
【図４】本発明の実施形態に係るネットワークシステムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための最良の形態について添付図面を参照して詳細に説明する。
【００１６】
図１は、本発明の一実施形態としてのネットワークシステムの構成の例を示す図である。図１に示すように、本実施形態のネットワークシステムは、対向装置６、Ｌ２／Ｌ３スイッチ４、複数のユーザプレーンパケット処理装置（パケット処理装置。通信データ処理装置の一例）１，２，Ｎ、Ｌ２／Ｌ３スイッチ５、対向装置７、制御装置８を有する。また、図１に示すように、本実施形態のネットワークシステムは、複数（Ｎ個：Ｎは整数）のユーザプレーンパケット処理装置１〜Ｎを備えている。また、本実施形態のネットワークシステムは、障害発生時の対策として、複数のユーザプレーンパケット処理装置１〜Ｎのうち、予備系と運用系を少なくとも１つずつ備える冗長構成を採っている。このような冗長構成のうち、本実施形態では、Ｎ＋１冗長化構成を例とする。Ｎ＋１冗長化構成では、複数のユーザプレーンパケット処理装置のうち、例えば、１つを予備系とし、残りを運用系とする。このように、ユーザプレーンパケット処理装置を備える本実施形態のネットワークシステムは、ＳＧＳＮ（Serving GPRS Support Node）、ＧＧＳＮ（Gateway GPRS Support Node）、ＳＧＷ（Serving Gateway）、ＰＧＷ（Packet data network Gateway）に該当し、ＩＰパケット処理やＧＴＰパケット処理等が実施される。
【００１７】
図１に示す本実施形態のネットワークシステム（３ＧＰＰモバイルコアネットワーク）において、対向装置７はインターネット網等に該当し、対向装置６はＲＮＣ（Radio Network Controller）等に該当する。
【００１８】
また、図１において、制御装置８は、全ユーザプレーンパケット処理装置に対して各種制御を行う装置であり、例えば、全てのユーザプレーンパケット処理装置の冗長制御やパケット転送先の登録処理等を行う。なお、以下の説明では、ユーザプレーンパケット処理装置が主体となって各種動作を行うように記載するが、実際には、ユーザプレーンパケット処理装置は、制御装置８からの指示（制御信号）を受信し、その指示に基づいて動作を制御されている。
【００１９】
また、図１において、Ｌ２／Ｌ３スイッチ４、Ｌ２／Ｌ３スイッチ５は、各ユーザプレーンパケット処理装置のインタフェースを集約し、対向装置６、対向装置７へパケット転送を行う。また、Ｌ２／Ｌ３スイッチ４、Ｌ２／Ｌ３スイッチ５は、対向装置６、対向装置７からのパケットを受信し、各ユーザプレーンパケット処理装置へスイッチングする。
【００２０】
図１に示す本実施形態のユーザプレーンパケット処理装置は、ＴＣＡＭ（Ternary Content Addressable Memory）を使用して、受信したパケットの宛先（送信先、転送先）を高速検索し、検索した宛先にパケットを転送する。そして、本実施形態のユーザプレーンパケット処理装置は、運用系のユーザプレーンパケット処理装置の障害（故障）が発生したときの対策として、障害が発生する確率の高い装置を事前に予測し、時間を要するＴＣＡＭへの宛先登録処理を完了させることを特徴とする。これにより、予備系のユーザプレーンパケット処理装置への切り替えを高速に実施し、切り替え処理時のパケットロスを抑制することができる。この特徴については詳細を後述する。
【００２１】
図１において、ユーザプレーンパケット処理装置１，２は、運用系として運用される。Ｎ番目のユーザプレーンパケット処理装置Ｎは、予備系として運用され、運用系に障害が発生した際、障害が発生している運用系の情報（引継情報）を引き継ぎ、パケット処理サービスを継続させる。なお、引継情報とは、障害発生前は運用系毎に保持されており、障害が発生したときに運用系から予備系に引き継がれる情報であり、例えば、検索キー情報等が挙げられる。
【００２２】
図１において、ユーザプレーンパケット処理装置１は、運用系として動作し、対向装置６から出力されＬ２／Ｌ３スイッチ４を経由し入力されたユーザプレーンパケットのヘッダ情報を基に送信先アドレス（宛先情報）を検索する。そして、ユーザプレーンパケット処理装置１は、ヘッダ処理（宛先ヘッダの付け替え等）を実施後に、Ｌ２／Ｌ３スイッチ５経由で対向装置７に対して送出する。また、その逆方向のパケット送受信（対向装置７から対向装置６への送受信）もなされる。なお、ユーザプレーンパケット処理装置２も、ユーザプレーンパケット処理装置１と同様に動作する。
【００２３】
図１において、ユーザプレーンパケット処理装置Ｎは、予備系として動作し、運用系ユーザプレーンパケット処理装置が故障した際に、それら運用系の情報（引継情報）を引き継ぎ、パケット処理を継続する。なお、ユーザプレーンパケット処理装置Ｎは、運用系ユーザプレーンパケット処理装置の情報を引き継ぎ、切り替えが完了した後は、運用系ユーザプレーンパケット処理装置として動作する。
【００２４】
予備系ユーザプレーンパケット処理装置Ｎでは、全ての運用系ユーザプレーンパケット装置の検索キー情報（引継情報の一例）を保有するが、障害となる確率が最も高いと判定された運用系ユーザプレーンパケット装置の検索キー情報のみをＴＣＡＭへ登録する。その理由は、運用系ユーザプレーンパケット処理装置１，２と予備系ユーザプレーンパケット処理装置Ｎは、同一ハードウェアであり、ＴＣＡＭ容量は一のユーザプレーンパケット処理装置の能力に制限されるため、予備系として、全ての運用系ユーザパケット処理装置の検索キー情報を登録することはできないからである。従って、まず、各運用系ユーザプレーンパケット処理装置は、回線品質、パケットエラーレート、メモリエラーレート等の品質情報を各装置内部で収集する。次に、制御装置８は、各運用系ユーザプレーンパケット処理装置で収集された品質情報を収集後、収集した各品質情報の比較を行う。比較の結果、制御装置８は、エラーレートの高いユーザプレーンパケット処理装置を決定し、予備系ユーザプレーンパケット処理装置Ｎに対し、決定したユーザプレーンパケット処理装置を、故障発生が予測される装置として通知する。その通知を受けた予備系ユーザプレーンパケット処理装置Ｎは、通知を受けた装置の検索キー情報をＴＣＡＭへ登録する。これにより、系切り替え（Ｎ＋１系の切り替え）の準備が完了する。
【００２５】
このようにして、本実施形態では、上記動作を周期的に続けることにより、障害が発生する運用系ユーザプレーンパケット処理装置を常時予測し、障害の発生前に、最も時間を要するＴＣＡＭへの検索キー情報の登録を完了させる。よって、実際の障害発生時の系切り替え時間を短縮化することができ、その結果、パケットロスを抑制でき、運用への影響を低減することができる。
【００２６】
図２は、図１に示す本実施形態のユーザプレーンパケット処理装置の構成例を詳細に示すブロック図である。図２は、運用系ユーザプレーンパケット処理装置１，２と予備系ユーザプレーンパケット処理装置Ｎの内部構成をそれぞれ示している。
【００２７】
図２において、運用系ユーザプレーンパケット処理装置１，２は、外部装置（例えば、図１の対向装置６）から受信したパケットの送信先（転送先）を検索し、送信先ヘッダを付け替えて、次の送信先装置（例えば、図１の対向装置７）へ送出する。
【００２８】
パケット転送部１５は、パケットの受信及び送信（転送）を行う。
【００２９】
パケット検索部１２は、受信したパケットのヘッダ情報を抽出し、ＴＣＡＭ１１へ宛先検索（送信先検索）を要求する。また、パケット検索部１２は、ＴＣＡＭ１１から、宛先検索の結果である送信先アドレスが入力されると、その送信先アドレスを含む新たなヘッダ情報を生成し、パケット転送部１５へ処理を引き渡す。パケット転送部１５では、生成された新たなヘッダ情報に付け替えて、次の送信先へパケットを送信する。
【００３０】
ＴＣＡＭ１１には、受信したパケットの送信先アドレスを検索するための検索キー情報が登録される。パケット転送部１５にてパケットが受信された場合、ＴＣＡＭ１１には、パケット検索部１２から、宛先検索の要求と、受信されたパケットのヘッダ情報が入力される。ＴＣＡＭ１１は、入力されたヘッダ情報及び検索キー情報を元に宛先検索を行い、パケットの次の送信先となる送信先アドレスを検索する。そして、ＴＣＡＭ１１は、宛先検索の結果として、検索された送信先アドレスをパケット検索部１２へ送出する。
【００３１】
監視部１３は、パケットを受信する回線の品質、受信したパケットにおける各プロトコルレイヤのＣＲＣエラー等のパケットエラーレート、メモリエラーレート等の監視を行い、監視結果を品質情報として収集する。
【００３２】
制御部１４は、監視部１３で収集した品質情報を、制御装置８へ周期的に報告（送信）する。また、制御部１４は、メモリ１７に書き込まれた検索キー情報のうち、制御装置８から指示された検索キー情報を、ＴＣＡＭ１１へ登録する。
【００３３】
メモリ１７は、ＴＣＡＭ１１へ登録される検索キー情報が格納される。制御部１４は、制御装置８から指定された検索キー情報を、メモリ１７へ書き込む。
【００３４】
予備系ユーザプレーンパケット処理装置Ｎは、運用系に対して待機し、運用系ユーザプレーンパケット処理装置１，２に故障が発生した場合、運用系の情報を引き継ぎ、パケット処理を継続する。予備系ユーザプレーンパケット処理装置Ｎ内の各部は、上述した運用系ユーザプレーンパケット処理１，２の各部と同じであるので、ここでの説明は省略する。なお、メモリ２３は、図３に示すように、各エリアに分割されており、各エリアには、予め、全ての運用系ユーザプレーンパケット装置の検索キー情報がそれぞれ格納される。各エリアには、各運用系ユーザプレーンパケット装置を識別可能な識別情報が割り付けられている。
【００３５】
次に、図２におけるＮ＋１系切り替えの動作（本発明の方法の一実施形態）について、図４を参照して説明する。
【００３６】
運用系ユーザプレーンパケット処理装置１，２の監視部１３は、自装置内の品質情報を常時収集している（ステップＳ１）。品質情報に含まれる値としては、例えば、回線品質、パケットの各プロトコルレイヤにおけるＣＲＣ等のエラーレート、メモリエラーレート等が挙げられる。
【００３７】
制御部１４は、制御装置８からの周期的な回線品質要求（品質情報の取得要求）に従い、監視部１３で収集した品質情報を制御装置８へ報告（送信）する（ステップＳ２）。このとき、例えば、品質情報には、当該品質情報の発信元の装置を識別可能な識別情報が付加されて送信される。
【００３８】
制御装置８は、各運用系ユーザプレーン制御装置１，２の品質情報を定期的に収集しており、収集した各品質情報をそれぞれ比較し、障害発生確率の高い運用系ユーザプレーンパケット処理装置を決定する（ステップＳ３）。なお、障害発生確率の高い運用系ユーザプレーンパケット処理装置の決定は、周期的に実施される品質情報の取得要求の度に、ダイナミックに決定される。また、障害発生確率の高い装置としては、例えば、品質情報に含まれる複数のエラーレート値のうちの少なくとも１つが最も高いものが選択される。どの値を比較対象（決定要素）とするかは、予め設定されるものとする。
【００３９】
図３に示すように、制御装置８は、障害発生が予測される運用系ユーザプレーンパケット処理装置を決定すると、その決定を予備系ユーザプレーンパケット処理装置Ｎへ通知する（ステップＳ４）。このとき、制御装置８は、例えば、障害発生が予測される運用系ユーザプレーンパケット処理装置の品質情報に付加されている識別情報を、予備系ユーザプレーンパケット処理装置Ｎへ送信することで、上記通知を行う。
【００４０】
通知を受けた予備系ユーザプレーンパケット処理装置Ｎの制御部２１は、上記通知に基づいてメモリ２３のアドレスを参照し、参照先に格納されている検索キー情報をＴＣＡＭ１８へ登録する（ステップＳ５）。このとき、制御部２１は、例えば、制御装置８から受信した識別情報（障害発生が予測される運用系を示す識別情報）と、メモリ２３の各エリアに予め割り付けられている識別情報とが一致するエリアを参照し、そのエリアに格納されている検索キー情報をＴＣＡＭ１８へ登録する。メモリ２３には、各運用系ユーザプレーンパケット処理装置の引継情報Ｎ−１の同期がダイナミックに実施されている。
【００４１】
以上説明したように、本実施形態において、制御装置は、各ユーザプレーンパケット処理装置内の品質情報（回線品質、パケットプロトコルの各レイヤにおけるＣＲＣエラー等を含むエラー率、メモリのエラー率等）を収集し、将来的に障害発生が予想される運用系ユーザプレーンパケット処理装置をダイナミックに決定する。そして、決定した運用系ユーザプレーンパケット処理装置の引継情報（例えば、検索キー情報等）を、予備系ユーザプレーンパケット処理装置のＴＣＡＭへ登録する。これにより、運用系ユーザプレーンパケット処理装置に障害が発生した場合に、系切り替え時間を短縮でき、その結果、系切り替え時のパケットロスを抑制でき、運用システムへのインパクトを最小化できる。
【００４２】
以上説明したように、本実施形態においては、以下に記載するような効果を奏する。
【００４３】
第１の効果は、Ｎ＋１系切り替えにかかる時間を短縮できる。その理由は、本実施形態では、障害発生の前に、各運用系パケット処理装置の品質情報を収集し比較することにより、障害発生が予想される運用系パケット処理装置を決定し、時間を要するＴＣＡＭへの検索キー情報の登録処理を予め実施するからである。また、Ｎ＋１系切り替えにかかる時間を短縮できるので、運用系パケット処理装置の障害発生時にパケットロスを抑制でき、運用へのインパクトを最小化できる。
【００４４】
第２の効果は、予備系パケット処理装置のＴＣＡＭに対して、全ての運用系パケット処理装置の引継情報を事前登録することなく、Ｎ＋１系の切り替えを実現しているので、一ユーザプレーンパケット処理装置におけるパケット処理能力を向上できることである。また同時に、ＴＣＡＭの容量を予備系パケット処理装置に合わせる必要がないため、ＴＣＡＭ容量を小さくできるとともに、パケット処理装置の小型化、低価格化を実現できることである。
【００４５】
以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変形が可能である。
【００４６】
例えば、上述した実施形態における動作（フローチャートに示す動作）は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【００４７】
ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させてもよい。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させてもよい。
【００４８】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。
【００４９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送してもよい。または、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送してもよい。コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【００５０】
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【００５１】
また、上記実施形態で説明したシステムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。
【符号の説明】
【００５２】
１、２    運用系ユーザプレーンパケット処理装置
４、５    Ｌ２／Ｌ３スイッチ
６、７    対向装置
８    制御装置
１１、１８    ＴＣＡＭ
１２、１９    パケット検索部
１３、２０    監視部
１４、２１    制御部
１５、２２    パケット転送部
１７、２３    メモリ
Ｎ    予備系ユーザプレーンパケット処理装置
【図１】
2010199675.tif 000003
【図２】
2010199675.tif 000004
【図３】
2010199675.tif 000005
【図４】
2010199675.tif 000006