(57)【要約】【課題】本発明は、試験工数を増加させずにシステム品質の維持を図ることができる通信システムの試験装置、通信システムの試験用プログラム及び通信システムの試験方法を提供することを目的とする。【解決手段】通信システムの試験装置１は、運用システム３と対向システム１３との間を流通する運用電文データをキャプチャするデータ収集部５と、検証システム９と擬似対向システム１５との間で流通させる試験データを生成するデータ生成部７と、試験データに基づき、運用システム３と同様の環境が再現されるように検証システム９を初期状態に設定する初期状態設定部２と、当該初期状態に設定された検証システム９に対して試験データを入力したときに取得された検証データと運用電文データ等とを比較して検証システム９の正常／異常を判定するデータ比較・判定部１１とを有している。【選択図】図１
2014035595.tif 000002
【特許請求の範囲】
【請求項１】
現にセッションが確立された状態にある運用システムと対向システムとの間を流通する運用電文データを所定期間キャプチャするとともに、前記運用電文データのキャプチャを開始した時刻を示す開始時刻データと、前記運用システムに設けられた運用データ格納部に収録された運用収録データとを収集するデータ収集部と、
前記運用システムの少なくとも一部と同一の機能を備えた検証システムと、前記対向システムと同等の動作を実現する擬似対向システムとの間で流通させる試験データを、前記データ収集部がキャプチャした前記運用電文データに基づいて生成するデータ生成部と、
前記試験データ、前記開始時刻データ及び前記運用収録データに基づき、前記データ収集部が前記運用電文データをキャプチャするよりも前の前記運用システムと同様の環境が前記検証システムに再現されるように前記検証システムを初期状態に設定する初期状態設定部と、
前記初期状態設定部により前記初期状態に設定された前記検証システムに対して、前記データ生成部が生成した前記試験データを入力したときに取得された検証データと、前記運用電文データ及び前記運用収録データとを比較して前記検証システムの前記機能の正常／異常を判定するデータ比較・判定部と
を有することを特徴とする通信システムの試験装置。
【請求項２】
前記試験データは、前記セッションの開始を擬似的に生成するためのダミー電文を含むこと
を特徴とする請求項１記載の通信システムの試験装置。
【請求項３】
前記運用収録データは、
キャプチャの開始前に前記運用データ格納部に収録された第１運用収録データと、キャプチャの終了後に前記運用データ格納部に格納された第２運用収録データと
を含み、
前記検証データは、
前記検証システムに設けられた検証データ格納部に、前記初期状態の設定後であって前記検証システムの前記機能の動作試験の開始前に収録されて前記第１運用収録データと比較される第１検証収録データと、
前記動作試験の終了後に前記検証データ格納部に収録されて前記第２運用収録データと比較される第２検証収録データと
を含むこと
を特徴とする請求項１又は２に記載の通信システムの試験装置。
【請求項４】
前記検証データは、前記検証システムと前記擬似対向システムとの間を前記試験データが流通することにより出力され、前記運用電文データと比較される出力電文データを含むこと
を特徴とする請求項１から３までのいずれか一項に記載の通信システムの試験装置。
【請求項５】
前記データ比較・判定部は、前記データ収集部が収集した、前記運用システムでの動作履歴を示す運用動作ログデータと、前記検証システムの前記機能の動作試験の終了後に出力されて前記検証システムでの動作履歴を示す検証動作ログデータとを比較すること
を特徴とする請求項１から４までのいずれか一項に記載の通信システムの試験装置。
【請求項６】
前記データ収集部は、前記運用電文データをキャプチャするキャプチャ機能部と、キャプチャした前記運用電文データを所定ファイルに出力するデータ出力機能部とを有すること
を特徴とする請求項１から５までのいずれか一項に記載の通信システムの試験装置。
【請求項７】
前記データ生成部は、
前記所定ファイルを取得するファイル取得機能部と、
取得した前記所定ファイルに記憶された前記運用電文データから前記試験データを作成する試験データ作成機能部と
を有することを特徴とする請求項６記載の通信システムの試験装置。
【請求項８】
コンピュータを、
現にセッションが確立された状態にある運用システムと対向システムとの間を流通する運用電文データを所定期間キャプチャするとともに、前記運用電文データのキャプチャを開始した時刻を示す開始時刻データと、前記運用システムに設けられた運用データ格納部に収録された運用収録データとを収集するデータ収集部、
前記運用システムの少なくとも一部と同一の機能を備えた検証システムと、前記対向システムと同等の動作を実現する擬似対向システムとの間で流通させる試験データを、前記データ収集部がキャプチャした前記運用電文データに基づいて生成するデータ生成部、
前記試験データ、前記開始時刻データ及び前記運用収録データに基づき、前記データ収集部が前記運用電文データをキャプチャするよりも前の前記運用システムと同様の環境が前記検証システムに再現されるように前記検証システムを初期状態に設定する初期状態設定部、及び、
前記初期状態設定部により前記初期状態に設定された前記検証システムに対して、前記データ生成部が生成した前記試験データを入力したときに取得された検証データと、前記運用電文データ及び前記運用収録データとを比較して前記検証システムの前記機能の正常／異常を判定するデータ比較・判定部として機能させること
を特徴とする通信システムの試験用プログラム。
【請求項９】
現にセッションが確立された状態にある運用システムと対向システムとの間を流通する運用電文データを所定期間キャプチャするとともに、前記運用電文データのキャプチャを開始した時刻を示す開始時刻データと、前記運用システムに設けられた運用データ格納部に収録された運用収録データとを収集し、
前記運用システムの少なくとも一部と同一の機能を備えた検証システムと、前記対向システムと同等の動作を実現する擬似対向システムとの間で流通させる試験データを、前記データ収集部がキャプチャした前記運用電文データに基づいて生成し、
前記試験データ、前記開始時刻データ及び前記運用収録データに基づき、前記データ収集部が前記運用電文データをキャプチャするよりも前の前記運用システムと同様の環境が前記検証システムに再現されるようにその検証システムを初期状態に設定し、
前記初期状態に設定された前記検証システムに対して、前記データ生成部が生成した前記試験データを入力したときに取得された検証データと、前記運用電文データ及び前記運用収録データとを比較して前記検証システムの前記機能の正常／異常を判定すること
を特徴とする通信システムの試験方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信システムの動作を試験する通信システムの試験装置、通信システムの試験用プログラム及び通信システムの試験方法に関する。
【背景技術】
【０００２】
従来、携帯電話等の所定のネットワークを介してデータを送受信する通信システムのシステム更改に伴うソフトウェア総合試験は、開発者が正常性確認試験におけるシステム影響範囲を判断し、試験項目及び試験電文ＩＮ／ＯＵＴ情報を作成して実施されている。
特許文献１には、試験の効率化等を目的として、ＩＰ電話の交換システムにおける呼接続を試験する呼接続試験プログラムであって、ユーザによる指定に基づく試験項目の集合体としてスケジュールを作成する処理と、指定に基づく試験項目で設定されたシナリオを実行可能な要素ごとに実行し、ＩＰ電話の交換システムに対して複数の電話端末を擬似する処理と、シナリオの実行結果をログとして記録する処理とを試験用端末のコンピュータに実行させることが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１５１４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された呼接続試験では、電話機と交換機との間のセッションの開始及び終了が明確であり、かつセッションの開始から終了までの期間が相対的に短い電話機の呼接続について、実際の呼接続時と同様の試験を行うことができる。しかしながら、当該試験方法は、電話機と交換機との間のセッションの開始や終了が不明確であったり、セッションの開始から終了までの期間が相対的に長かったり（例えば、数時間）する場合に適用するのが困難であるという問題を有している。
【０００５】
また、近年、システムの機能が多様化することにより、正常性・異常性確認試験工数が増加傾向にある。このため、従来の試験方法は、ソフトウェア規模に対する試験工数が膨大になるという問題を有している。また、従来の試験方法は、試験項目の作成から試験結果の確認までを人手の作業で行われている。このため、例えばプログラム作成者は、試験項目を作成する際に、試験時間の短縮化を図るために、独自の判断で試験項目の絞込みをかけてしまうため、試験項目に漏れが生じてしまうことがある。したがって、従来の試験方法は、ソフトウェア品質が低下してしまう可能性があり、当該ソフトウェアを用いるシステムの品質も低下してしまうという問題を有している。
本発明の目的は、試験工数を増加させずにシステム品質の維持を図ることができる通信システムの試験装置、通信システムの試験用プログラム及び通信システムの試験方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様による通信システムの試験装置は、現にセッションが確立された状態にある運用システムと対向システムとの間を流通する運用電文データを所定期間キャプチャするとともに、前記運用電文データのキャプチャを開始した時刻を示す開始時刻データと、前記運用システムに設けられた運用データ格納部に収録された運用収録データとを収集するデータ収集部と、前記運用システムの少なくとも一部と同一の機能を備えた検証システムと、前記対向システムと同等の動作を実現する擬似対向システムとの間で流通させる試験データを、前記データ収集部がキャプチャした前記運用電文データに基づいて生成するデータ生成部と、前記試験データ、前記開始時刻データ及び前記運用収録データに基づき、前記データ収集部が前記運用電文データをキャプチャするよりも前の前記運用システムと同様の環境が前記検証システムに再現されるように前記検証システムを初期状態に設定する初期状態設定部と、前記初期状態設定部により前記初期状態に設定された前記検証システムに対して、前記データ生成部が生成した前記試験データを入力したときに取得された検証データと、前記運用電文データ及び前記運用収録データとを比較して前記検証システムの前記機能の正常／異常を判定するデータ比較・判定部と、を有することを特徴とする。このような構成によれば、試験工数を増加させずにシステム品質の維持を図ることができる。
【０００７】
また、前記試験データは、前記セッションの開始を擬似的に生成するためのダミー電文を含んでいてもよい。このような構成によれば、電文データのキャプチャ開始時の運用システム３の状態と、検証システム９の動作試験開始時の状態との不一致に伴う動作差分及び応答電文の誤送信による結果不一致を防止できる。
また、前記運用収録データは、キャプチャの開始前に前記運用データ格納部に収録された第１運用収録データと、キャプチャの終了後に前記運用データ格納部に格納された第２運用収録データとを含み、前記検証データは、前記検証システムに設けられた検証データ格納部に、前記初期状態の設定後であって前記検証システムの前記機能の動作試験の開始前に収録されて前記第１運用収録データと比較される第１検証収録データと、前記動作試験の終了後に前記検証データ格納部に収録されて前記第２運用収録データと比較される第２検証収録データとを含んでいてもよい。このような構成によれば、検証システムに設けられた検証データ格納部の正常／異常を判定することができる。
【０００８】
また、前記検証データは、前記検証システムと前記擬似対向システムとの間を前記試験データが流通することにより出力され、前記運用電文データと比較される出力電文データを含んでいてもよい。このような構成によれば、検証システムと擬似対向システムとの間のデータの送受信の正常／異常を判定することができる。
また、前記データ比較・判定部は、前記データ収集部が収集した、前記運用システムでの動作履歴を示す運用動作ログデータと、前記検証システムの前記機能の動作試験の終了後に出力されて前記検証システムでの動作履歴を示す検証動作ログデータとを比較してもよい。このような構成によれば、システム全体としての動作確認を実現できる。
【０００９】
また、前記データ収集部は、前記運用電文データをキャプチャするキャプチャ機能部と、キャプチャした前記運用電文データを所定ファイルに出力するデータ出力機能部とを有していてもよい。このような構成によれば、高いデータ量のネットワークシステムにも対応できる。
また、前記データ生成部は、前記所定ファイルを取得するファイル取得機能部と、取得した前記所定ファイルに記憶された前記運用電文データから前記試験データを作成する試験データ作成機能部とを有していてもよい。このような構成によれば、運用システムに流通する運用電文データをそのまま検証システムに流通させることができる。
【００１０】
本発明の一態様による通信システムの試験用プログラムは、コンピュータを、現にセッションが確立された状態にある運用システムと対向システムとの間を流通する運用電文データを所定期間キャプチャするとともに、前記運用電文データのキャプチャを開始した時刻を示す開始時刻データと、前記運用システムに設けられた運用データ格納部に収録された運用収録データとを収集するデータ収集部、前記運用システムの少なくとも一部と同一の機能を備えた検証システムと、前記対向システムと同等の動作を実現する擬似対向システムとの間で流通させる試験データを、前記データ収集部がキャプチャした前記運用電文データに基づいて生成するデータ生成部、前記試験データ、前記開始時刻データ及び前記運用収録データに基づき、前記データ収集部が前記運用電文データをキャプチャするよりも前の前記運用システムと同様の環境が前記検証システムに再現されるように前記検証システムを初期状態に設定する初期状態設定部、及び、前記初期状態設定部により前記初期状態に設定された前記検証システムに対して、前記データ生成部が生成した前記試験データを入力したときに取得された検証データと、前記運用電文データ及び前記運用収録データとを比較して前記検証システムの前記機能の正常／異常を判定するデータ比較・判定部として機能させることを特徴とする。このような構成によれば、試験工数を増加させずにシステム品質の維持を図ることができる。
【００１１】
本発明の一態様による通信システムの試験方法は、現にセッションが確立された状態にある運用システムと対向システムとの間を流通する運用電文データを所定期間キャプチャするとともに、前記運用電文データのキャプチャを開始した時刻を示す開始時刻データと、前記運用システムに設けられた運用データ格納部に収録された運用収録データとを収集し、前記運用システムの少なくとも一部と同一の機能を備えた検証システムと、前記対向システムと同等の動作を実現する擬似対向システムとの間で流通させる試験データを、前記データ収集部がキャプチャした前記運用電文データに基づいて生成し、前記試験データ、前記開始時刻データ及び前記運用収録データに基づき、前記データ収集部が前記運用電文データをキャプチャするよりも前の前記運用システムと同様の環境が前記検証システムに再現されるようにその検証システムを初期状態に設定し、前記初期状態に設定された前記検証システムに対して、前記データ生成部が生成した前記試験データを入力したときに取得された検証データと、前記運用電文データ及び前記運用収録データとを比較して前記検証システムの前記機能の正常／異常を判定することを特徴とする。このような構成によれば、試験工数を増加させずにシステム品質の維持を図ることができる。
【発明の効果】
【００１２】
本発明によれば、試験工数を増加させずにシステム品質の維持を図ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態による通信システムの試験装置１の概略構成を示すブロック図である。
【図２】本発明の一実施の形態による通信システムの試験装置１を説明する図であって、運用システム３の概略構成を対向システム３とともに示すブロック図である。
【図３】本発明の一実施の形態による通信システムの試験装置１を説明する図であって、検証システム９の概略構成を擬似対向システム１５とともに示すブロック図である。
【図４】本発明の一実施の形態による通信システムの試験装置１に備えられたデータ収集部５及びデータ生成部７の概略構成を示すブロック図である。
【図５】本発明の一実施の形態による通信システムの試験方法を模式的に示す図である。
【図６】本発明の一実施の形態による通信システムの試験方法を説明する図であって、キャプチャ直前の運用システム３の状態を模式的に示している。
【図７】本発明の一実施の形態による通信システムの試験方法を説明する図であって、運用電文データの取得から動作定義ファイル作成までのデータの流れを模式的に示している。
【図８】本発明の一実施の形態による通信システムの試験方法におけるダミー電文の作成方法を説明する図である。
【図９】本発明の一実施の形態による通信システムの試験方法を説明する図であって、初期状態に設定された検証システム９の状態を模式的に示している。
【図１０】本発明の一実施の形態による通信システムの試験方法を説明する図であって、検証システム９の動作試験及びデータ比較・判定工程を模式的に示すブロック図である。
【発明を実施するための形態】
【００１４】
（通信システムの試験装置の概略構成）
本発明の一実施の形態による通信システムの試験装置、通信システムの試験用プログラム及び通信システムの試験方法について、図１から図１０を用いて説明する。まず、図１から図４を用いて本実施の形態による通信システムの試験装置の概略構成を説明する。本実施の形態における通信システムは、例えば所定のネットワークを監視する監視装置を含むシステムである。また、本実施の形態は、携帯電話等の所定のネットワークを介してデータを送受信する通信システムにも適用できる。図１は、本実施の形態による通信システムの試験装置１（以下、単に「試験装置１」と称する場合がある）の概略構成を示すブロック図である。図１に示すように、試験装置１は、データ収集部５と、データ生成部７と、初期状態設定部２と、データ比較・判定部１１とを有している。
【００１５】
データ収集部５は、現にセッションが確立された状態にある運用システム３と対向システム１３との間を流通する電文データ（以下、「運用電文データ」と称する場合がある）を所定期間キャプチャするとともに、運用電文データのキャプチャを開始した時刻を示す開始時刻データと、運用システム３に設けられた運用データ格納部（不図示）に収録された運用収録データとを収集するようになっている。運用システム３はルータ網１７を介して対向システム１３と接続されている。運用システム３は、ルータ網１７を介して対向システム１３との間で継続的にデータを送受信して常時稼働状態にあるシステムであり、商用システムとも称される。また、キャプチャとは、運用システム３と対向システム１３との間を流通する電文データをリアルタイムに収集することをいう。データ生成部７は、データ収集部５がキャプチャした運用電文データに基づいて、運用システム３の少なくとも一部と同一の機能を備えた検証システム９と、対向システム１３と同等の動作を実現する擬似対向システム１５との間で流通させる試験データを生成するようになっている。本実施の形態による試験装置１は、現にセッションが確立された状態、すなわちセッションが張られた状態にある運用システム３と対向システム１３との間を流通する運用電文データを所定タイミングで所定期間キャプチャするようになっている。このため、データ生成部７は、取得した運用電文データに基づいて、開始から終了までの一連のシーケンスを形成できない、中途半端な試験データを生成してしまう場合がある。この場合、データ生成部７は、セッションの開始を擬似的に生成するためのダミー電文を作成して試験データに付与するようになっている。このため、試験データはダミー電文を含む場合がある。
【００１６】
初期状態設定部２は、データ生成部７で生成された試験データ、データ収集部５で収集された開始時刻データ及び運用収録データに基づき、データ収集部５が運用電文データをキャプチャするよりも前の運用システム３と同様の環境が検証システム９に再現されるように検証システム９を初期状態に設定するようになっている。データ比較・判定部１１は、初期状態設定部２により初期状態に設定された検証システム９に対して、データ生成部７が生成した試験データを入力したときに取得された検証データと、運用電文データ及び運用収録データとを比較して検証システムの機能の正常／異常（正常であるか異常であるか）を判定するようになっている。検証システム９には、対向システム１３と同等の動作を実現する擬似対向システム１５が接続されている。これにより、運用システム３と対向システム１３との間のデータの送受信が検証システム９と擬似対向システム１５との間で再現されるようになっている。
【００１７】
本実施の形態では、運用システム３と検証システム９とは、共に満たすべきシステム要求条件がほぼ等しくなっている。試験装置１は、運用システム３側にて流通している電文データをキャプチャし、運用システム３内で状態を保持している要素全般であるシステム状態及びアプリケーションログを各々抽出し、キャプチャ及び抽出したこれらのデータをそのまま擬似対向システム１５を用いて検証システム９へと流通させる。運用システム３は実際に稼働して正常に動作しているシステムである。このため、運用システム３と対向システム１３との間を流通する運用電文データを検証システム９と擬似対向システム１５との間に流通させると、検証システム９の運用システム３と同一の機能を発揮する機能群は、正常であれば運用システム３と同等に動作するという原理・原則が試験装置１において利用されている。試験装置１は、実際に稼働している運用システム３の動作を検証システム９の動作の比較対象としている。このため、検証システム９における新規開発項目などの運用システム３に搭載されていない機能は、本実施の形態において試験対象外となる。試験装置１は、運用システム３に搭載されたのと同様の既存機能群の試験を実行することができるようになっている。運用システム３と対向システム１３との間に流通する運用電文データが検証システム９に流通されると、検証システム９の当該機能群は、正常に動作するように構成されていれば、運用システム３の機能群と同等の動作を実行する。これにより、検証システム９は運用システム３から出力されるデータと同一のデータを出力する。このため、試験装置１は、検証システム９から出力される出力電文データと、運用システム３から出力される出力データとを比較して両データが同一であるか否かを判定することにより、検証システム９のシステム動作誤りがあるか否かを検出するようになっている。また、試験装置１は、キャプチャ終了直後の運用システム３のシステム状態と検証システム９の動作試験の終了直後のシステム状態とを比較し、さらに運用システム３の動作履歴を示す動作ログデータと検証システム９の動作を示す動作ログデータとを比較することにより、検証システム９全体としての動作を確認するようになっている。
【００１８】
（運用システムの概略構成）
図２は、運用システム３の概略構成を対向システム３とともに示すブロック図であり、図２（ａ）は、運用システム３全体の概略構成を示し、図２（ｂ）は、アプリケーション機能部３ｂの概略構成を示している。図２（ａ）に示すように、運用システム３は、ルータ網１７（図２（ａ）では図示せず）を介して対向システム１３と接続されるアダプタ機能部３ａと、アプリケーションが動作するアプリケーション機能部３ｂと、アダプタ機能部３ａやアプリケーション機能部３ｂの状態を保持する状態保持機能部３ｃと、アプリケーション機能部３ｂの動作内容が排出されるログファイル格納部３ｄとを有している。状態保持機能部３ｃは、例えばメモリやデータベースであってもよい。また、複数台の対向システム１３が運用システム３に接続されていてもよい。なお、図２及び後述の図３では、データが双方向に送受信されることを直線の双方向太矢印Ｙ１で表し、データが一方向に送信されることを直線の一方向太矢印Ｙ２（矢印の向きがデータの移動する方向を示している）で表し、一の機能部が他の機能部からデータを取得することを曲線の一方向太矢印Ｙ３（矢印の向きがデータの移動する方向を示している）で表している。
【００１９】
図２（ｂ）に示すように、アプリケーション機能部３ｂは、アプリケーション実行部３ｅと、アプリケーションの実行結果等を記憶、保持あるいは格納するデータ格納部３ｆとを有している。データ格納部３ｆはアプリケーションの実行結果やシステム動作定義ファイル等を入力したり出力したりする入出力機能を有している。本実施の形態による試験装置１は、データ格納部３ｆから格納データを抽出でき、対向システム１３との間のインタフェース流通情報を抽出できる機能（詳細は後述する）を有するシステムに適応される。データ保持部３ｆは、メモリやデータベースで構成されていてもよい。
【００２０】
（検証システムの概略構成）
図３は、検証システム９の概略構成を擬似対向システム１５とともに示すブロック図であり、図３（ａ）は、検証システム９全体の概略構成を示し、図３（ｂ）は、アプリケーション機能部９ｂの概略構成を示している。図３（ａ）に示すように、検証システム９は、運用システム３と同様の構成を有し、同様のアプリケーション動作を実現できるようになっている。検証システム９が運用システム３と異なる点は、対向システム１３に代えて、対向システム３と同等の動作を実現可能なシミュレータである擬似対向システム１５が配置されていることである。擬似対向システム１５は、運用システム３側からキャプチャした電文情報が検証システム９側で同様の電文流通となるように配置されている。また、擬似対向システム１５は、検証システム９側での電文流通タイミングと運用システム３側での電文流通タイミングとが同等となるように構成されている。なお、本実施の形態では、擬似対向システム１５に代えて、対向システムが検証システム９と接続されていてもよい。
【００２１】
詳細は後述するが、アダプタ機能部９ａは、複数の機能群を有している。また、擬似対向システム１５は、運用システム３に接続された対向システム１３と同数用意されていてもよいし、運用システム３に接続された複数の対向システム１５と同様の動作を実現可能であれば、対向システム１３と異なる個数であってもよい。複数の擬似対向システム１５が検証システム９に接続されている場合、運用システム３と対向システム１３との間を流通する電文データをキャプチャして自動生成した試験データ（以下、「試験電文」と称する場合がある）は、擬似対向システム１５毎に設定される。これにより、電文データの流通タイミングに対する試験データの流通タイミングは補償される。擬似対向システム１５は、システム間の要求電文に対して応答電文を返す機能又は要求電文を排出する機能を備えている。
【００２２】
検証システム９は、擬似対向システム１５と接続されるアダプタ機能部９ａと、アプリケーションが動作するアプリケーション機能部９ｂと、アダプタ機能部９ａやアプリケーション機能部９ｂの状態を保持する状態保持機能部９ｃと、アプリケーション機能部９ｂの動作内容が排出されるログファイル格納部９ｄとを有している。状態保持機能部９ｃは、例えばメモリやデータベースであってもよい。
【００２３】
図３（ｂ）に示すように、アプリケーション機能部９ｂは、アプリケーション実行部９ｅと、アプリケーションの実行結果等を記憶、保持あるいは格納するデータ格納部９ｆとを有している。データ格納部９ｆはアプリケーションの実行結果やシステム動作定義ファイル等を入力したり出力したりする入出力機能を有している。本実施の形態による試験装置１は、データ格納部９ｆから格納データを抽出でき、擬似対向システム１５との間のインタフェース流通情報を抽出できる機能（詳細は後述する）を有するシステムに適応される。データ保持部９ｆは、メモリやデータベースで構成されていてもよい。
【００２４】
（試験装置に備えられたデータ収集部及びデータ生成部の概略構成）
図４は、データ収集部５及びデータ生成部７の概略構成を示すブロック図である。図４に示すように、データ収集部５は、運用システム３（図４では不図示）と対向システム１３（図４では不図示）との間で送受信されるルータ網１７に接続されたローカルエリアネットワーク（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ：ＬＡＮ）上に流通する運用電文データ（例えば、伝送制御プロトコル（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ：ＴＣＰ）データ）をキャプチャするキャプチャ機能部５ａと、キャプチャした運用電文データ内の例えばユーザデータを所定ファイル（例えば、ダンプファイル１９）に出力するデータ出力機能部５ｂとを有している。また、データ収集部５は、ＳＱＬで記述された要求に基づいて、運用システム３の状態保持機能部３ｃ（図２参照）に保持されてアダプタ機能部３ａやアプリケーション機能部３ｂの状態を示すデータベース収録データ（以下、「運用収録データ」と称する場合がある）等を抽出して記憶する機能を発揮するようになっている。試験装置１は、データ収集部５を有することにより、運用電文データをキャプチャする機能や運用収録データや運用電文データのキャプチャ開始時刻を示す開始時刻データを取得する機能を発揮できるようになっている。
【００２５】
データ収集部５は、運用システム３との間でデータを送受信する対向システム１３の数、１つの対向システム１３に含まれて運用システム３との間でデータを送受信する通信装置の台数、あるいは、ＬＡＮ上のトラフィック増大時の高負荷に対応できるように複数設けられていてもよい。この場合、データ収集部５には、データの収集対象の対向システムや通信装置のＩＰアドレスが登録される。例えば、データ収集部α、βと通信装置ａ〜ｍとがある場合、データ収集部αには、通信装置ａ及び通信装置ｂのデータをダンプファイルに出力するという情報が登録され、データ収集部βには、通信装置ｃから通信装置ｍまでのデータをダンプファイルに出力するという情報が登録される。
【００２６】
図４に示すように、データ生成部７は、データ収集部５のダンプファイル１９を取得するファイル取得機能部７ｂを有している。ファイル取得機能部７ｂは、例えばファイル転送プロトコル（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ：ＦＴＰ）やリモートコピー（ｒｃｐ）によりデータ収集部５からダンプファイル１９を取得するようになっている。また、データ生成部７は、操作端末２９からの要求の受け付けと、ファイル取得機能部７ｂへのファイル取得の依頼と、当該要求に対する処理結果を操作端末２９に返却する画面インタフェース機能部７ａを有している。また、データ生成部７は、ファイル取得機能部７ｂが取得したダンプファイル１９に記憶された運用電文データから試験データを作成する試験データ作成機能部７ｃを有している。試験データ作成機能部７ｃは、ダンプファイル１９からシーケンス作成に必要な情報のみを集約ファイル３１として出力するデータ集約機能部７ｄと、集約ファイル３１の内容からシーケンスファイル３３を作成するシーケンス作成機能部７ｅとを有している。当該シーケンスファイル３３が試験データを含むファイルとなる。シーケンス作成機能部７ｄは、作成したシーケンスファイル３３を画面インタフェース機能部７ａに出力するようになっている。作成されたシーケンスファイル３３は、画面インタフェース機能部７ａを介して初期状態設定部２（図４では不図示）に入力されるようになっている。
【００２７】
操作端末２９は、データ生成部７に設けられた画面インタフェース機能部７ａに対して、シーケンス表示の条件（例えば、「シーケンスの作成対象とする期間」、「シーケンスの作成対象とする対向システムあるいは通信装置」、「シーケンスの作成対象とするキーワード」等）を指定し、実行の要求及び当該要求に対する結果の表示並びにデータ生成部７が生成したシーケンスファイルの表示を行う。図４では、操作端末２９とデータ生成部７との間のインタフェースは、要求／応答で例示されているが、例えばｈｔｔｐ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）によるインタフェースやローカルに規定した電文インタフェースであってもよい。
【００２８】
（通信システムの試験方法の概要）
次に、本実施の形態による通信システムの試験方法について、図１から図４を参照しつつ図５から図１０を用いて説明する。図５は、本実施の形態による通信システムの試験方法を模式的に示す図である。図中左側の一点鎖線の長方形枠内には、データ収集部５が運用システム３から収集した運用データ２１が示され、当該長方形枠の右隣の一点鎖線の長方形枠内には、データ生成部７が生成した試験データ２３と、検証システム９の動作試験の結果として取得された検証データ２５が示され、両長方形枠の下方には、データ比較・判定部１１において比較される運用データ２１と検証データ２５とが示されている。
【００２９】
図５に示すように、本実施の形態による通信システムの試験方法では、試験装置１は、まずデータ収集部５を動作して、現にセッションが確立された状態にある運用システム３と対向システム１３との間を流通する運用電文データ２１ｃを所定期間キャプチャするとともに、運用電文データ２１ｃのキャプチャを開始した時刻を示す開始時刻データ２１ｄと、運用システム３に設けられた運用データ格納部（例えば、状態保持機能部３ｃ）に収録された第１運用収録データ２１ａ及び第２運用収録データ２１ｂと、キャプチャ開始からキャプチャ終了までの所定期間における運用システム３の動作履歴を示す動作ログデータ（以下、「運用動作ログデータ」と称する）２１ｅとを収集する。運用電文データ２１ｃは、運用システム３から対向システム１３に送信されたシステムＩＮ情報と、当該システムＩＮ情報に対する応答として対向システム１３から運用システム３に送信されたシステムＯＵＴ情報とを含んでいる。第１運用収録データ２１ａは、キャプチャ開始前（例えば、直前）に状態保持機能部３ｃに収集されたデータであって、キャプチャ開始前の運用システム３の環境（例えば、アダプタ機能部３ａやアプリケーション機能部３ｂの状態）を示す情報を含んでいる。第２運用収録データ２１ｂは、キャプチャ終了後（例えば、直後）に状態保持機能部３ｃに収集されたデータであって、キャプチャ終了後の運用システム３の環境を示す情報を含んでいる。運用動作ログデータ２１ｅは運用システム３におけるシナリオ実行時に自動的に生成されるログファイルに出力される。以下、第１及び第２運用収録データ２１ａ、２１ｂ、運用電文データ２１ｃ、時間情報データ２１ｄ及び運用動作ログデータ２１ｅを「運用データ２１」と総称する場合がある。このように、本実施の形態では、データ収集部５は、運用システム３と対向システム１３との間で流通している運用電文データ２１ｃと、キャプチャ開始前及び開始後に状態保持機能部３ｃに格納されている第１及び第２運用収録データ２１ａ、２１ｂと、運用動作ログデータ２１ｅと、開始時刻データ２１ｄとの４種類のデータを取得する。
【００３０】
次いで試験装置１は、データ生成部７を動作して、データ収集部５がキャプチャした運用電文データ２１ｃに基づいて、検証システム９の動作試験において検証システム９と擬似対向システム１５との間に流通させる試験データ２３を生成する。試験データ２３は、動作定義ファイル２３ａに出力された動作定義データと、システム間ＩＮデータファイル２３ｂに出力されたシステム間ＩＮデータとを含んでいる。また、データ生成部７は、必要に応じて、動作定義ファイル２３ａに出力された動作定義データにダミー電文を付加する。以下、動作定義ファイル２３ａ及びシステム間ＩＮデータファイル２３ｂのそれぞれに出力されたデータを「試験データ２３」と総称する場合がある。動作定義ファイル２３ａは、擬似対向システム１５が実行する動作を定義したファイルであってシーケンス毎に作成される。
【００３１】
試験データ２３の生成が終了したら、試験データ２３を用いて、検証システム９において自動総合試験を実施する。自動総合試験は、初期状態設定工程と、試験データ流通工程との２つの工程に大別される。試験データ流通工程には、試験データ２３を流通させてから、取得された検証データ２５の比較・判定工程までが含まれる。
試験装置１は、まず、検証システム９を初期状態に設定するために次のように動作する。試験装置１は、初期状態設定部２を動作して、試験データ２３、開始時刻データ２１ｄ及び運用収録データ２１ａに基づき、データ収集部５が運用電文データ２１ｃをキャプチャするよりも前の運用システム３と同様の環境が検証システム９に再現されるように検証システム９を初期状態に設定する。検証システム９に投入された運用収録データ２１ａは、状態保持機能部９ｃに格納される。また、検証システム９に投入された試験データ２３は、アプリケーション機能部９ｂに設けられたデータ格納部９ｆに格納される。さらに、開始時間時刻データが検証システム９に投入されることにより、検証システム９は、ＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）サーバによる時刻同期を中断し、管理サーバ（不図示）の時刻を運用システム３におけるキャプチャ開始直前の時刻に設定する。
【００３２】
次に、試験装置１は、試験電文を流通するために次のように動作する。試験装置１は、初期状態設定部２により初期状態に設定された検証システム９に対して、データ生成部７が生成した試験データ２３を入力して動作試験を実行し、当該動作試験の結果として検証データ２５を取得する。検証データ２５は、第１検証収録データ２５ａと、第２検証収録データ２５ｂと、出力電文データ２５ｃと、動作ログデータ（以下、「検証動作ログデータ」と称する）２５ｄとが含まれる。第１検証収録データ２５ａは、検証システム９に設けられた検証データ格納部（例えば、状態保持機能部９ｃ）に、初期状態の設定後であって検証システム９の運用システム９と同一の機能の動作試験の開始前に収録されたデータである。第２検証収録データ２５ｂは、この動作試験の終了後に状態保持機能部９ｃに収録されたデータである。出力電文データ２５ｃは、検証システム９と擬似対向システム１５との間を試験データ２３が流通することにより出力されたデータである。例えば出力電文データ２５ｃは、例えば動作定義ファイル２３ａに基づいて、擬似対向システム１５が検証システム９に出力したシステム間ＯＵＴデータである。検証動作ログデータ２５ｄは、当該動作試験の終了後に出力されて検証システム９での動作履歴を示すデータである。
【００３３】
次いで試験装置１は、データ比較・判定部１１を動作して、検証データ２５と運用データ２１とを比較し、検証システム９に備えられた、運用システム３と同一機能の正常／異常を判定する。データ比較・判定部１１は、第１運用収録データ２１ａと第１検証収録データ２５ａとを比較し、第２運用収録データ２１ｂと第２検証収録データ２５ｂとを比較し、運用電文データ２１ｄと出力電文データ２５ｃとを比較し、運用動作ログデータ２１ｅと検証動作ログデータ２５ｄとを比較する。データ比較・判定部１１は、比較対象のデータ同士に差分がない場合には正常と判定し、比較対象のデータ同士に差分がある場合には異常と判定する。
【００３４】
（通信システムの試験方法における運用データ取得工程）
次に、本実施の形態による通信システムの試験方法の各工程をより具体的に説明する。まず、データ収集部５において主に実行される運用データ２１の取得工程について図４及び図５を参照しつつ図６を用いて説明する。図６は、キャプチャ直前の運用システム３の状態を模式的に示している。図６に示すように、運用システム３のアプリケーション機能部３ｂは、検証システム９において検証対象となる複数の機能群（図６では、Ｎ個の機能群＃１〜＃Ｎ）（Ｎは、２以上の自然数）と、検証対象外の複数の機能群（不図示）とを有し、複数の機能を発揮するようになっている。運用システム３のアダプタ機能部３ａは、検証システム９において検証対象となる、アプリケーション機能部３ｂに設けられた機能群と同数の複数の対向アダプタ＃１〜＃Ｎ（Ｎは、２以上の自然数）と、検証対象外の複数の対向アダプタ（不図示）とを有している。対向アダプタ＃１は機能群＃１に対応して設けられ、対向アダプタ＃Ｎは機能群＃Ｎに対応して設けられている。機能群＃１から出力されるシステム間ＩＮデータファイルや動作定義ファイルは対向アダプタ＃１を介して対向システム１３に入力される。対向システム１３の応答電文データである運用電文データが出力されたシステム間ＯＵＴデータファイルは対向アダプタ＃１を介して機能群＃１に入力される。同様に、機能群＃Ｎは、対向アダプタ＃Ｎを介して対向システム１３との間でデータの送受信を実行するようになっている。
【００３５】
機能群＃１〜＃Ｎ及び対向アダプタ＃１〜＃Ｎのそれぞれの状態は、状態保持機能部３ｃに保持されている。このため、データ収集部５は、運用電文データのキャプチャ開始直前に状態保持機能部３ｃにアクセスして、機能群＃１〜＃Ｎ及び対向アダプタ＃１〜＃Ｎのそれぞれの状態を示す運用収録データ２１ａを取得する。図６の図中右側にシーケンス図で例示するように、例えばキャプチャ開始直前（キャプチャ開始時点は当該シーケンス図において破線で示されている）の機能群＃Ｎは、対向アダプタ＃Ｎからデータが入力した状態にある。
【００３６】
データ収集部５は、まず、運用電文データ２１ｃのキャプチャ開始直前の運用システム３の状態の情報を取得するために、状態保持機能部３ｃにアクセスして、機能群＃１〜＃Ｎ及び対向アダプタ＃１〜＃Ｎのそれぞれの状態を示す第１運用収録データ２１ａを取得する。
次いで、データ収集部５は、検証システム９の検証対象の期間である所定期間において、ルータ網１７に接続されたＬＡＮ上に流通する運用電文データ２１ｃをキャプチャし、運用電文データ２１ｃを例えばＴＣＰダンプすることによりダンプファイル１９を生成して取得する。より具体的には、データ収集部５は、キャプチャ機能部５ａを起動し、ＬＡＮ上に流通する運用電文データ２１ｃのキャプチャを開始する。
【００３７】
まず、データ収集部５においてキャプチャ機能部５ａが運用電文データ２１ｃをキャプチャすると、データ出力機能部５ｂが起動される。
次いで、データ出力機能部５ｂは、キャプチャした運用電文データ２１ｃに対して、設定情報に登録した対向システム１３のＩＰアドレスに関するデータでフィルタリングを行い、登録されていないデータを破棄する。
【００３８】
データ出力機能部５ｂは、キャプチャしたデータがＳＹＮであると判定すると、ＴＣＰコネクションの確立開始と判断し、ＴＣＰコネクションの状態をデータ内容に応じて管理するための接続情報を内部テーブルとして作成する。
また、データ出力機能部５ｂは、キャプチャしたデータがＦＩＮまたはＲＳＴであると判定すると、ＴＣＰコネクションの解放と判断し、接続情報を削除する。
【００３９】
また、データ出力機能部５ｂは、キャプチャしたデータがＳＹＮ、ＦＩＮ及びＲＳＴ以外であってユーザデータが存在していると判定すると、ユーザデータをダンプファイル１９に保存する。データ生成部７がデータを抽出できるように、ダンプファイル１９には、例えば送信元ＩＰアドレス、送信先ＩＰアドレス、送信元ポート番号、送信先ポート番号及びキャプチャした時間等が保存される。メモリは記憶できるデータ量に上限があり、高いデータ量のネットワークシステムに対応できない場合があるため、本実施の形態では、ユーザデータはダンプファイル１９に保存する方式が採用されている。なお、本実施の形態では、高いデータ量のネットワークシステムに対応できる十分な記憶容量を備えたメモリを用いることにより、ユーザデータを当該メモリに保存する方式を採用してももちろんよい。
【００４０】
データ収集部５は、所定期間における運用電文データ２１ｃのキャプチャが終了したら、キャプチャ終了直後の運用システム３の状態の情報を取得するために、状態保持機能部３ｃにアクセスして、機能群＃１〜＃Ｎ及び対向アダプタ＃１〜＃Ｎのそれぞれの状態を示す第２運用収録データ２１ｂを取得する。
本実施の形態による通信システムの試験方法では、運用電文データのキャプチャの開始前と終了後において運用収録データが抽出される。これにより、検証システム９の試験・検証を実行する際に、検証システム９が状態保持機能部９ｃに第１運用収録データ２１ａを運用システム３と同様に収録しているのかを確認できる。検証システム９が運用システム３と同様に第１運用収録データ２１ａを収録できず、第１検証収録データ２５ａと第１運用収録データ２１ａとに差分が生じていると、データ比較・判定部１１が収録結果に誤りがあると判定して検証システム９内の不具合（バグ）を検出することができる。
【００４１】
（通信システムの試験方法における試験データの作成工程）
次に、データ生成部７において主に実行される試験データ２１の作成工程について図４及び図５を参照しつつ図７及び図８を用いて説明する。図７は、運用電文データの取得から動作定義ファイル作成までのデータの流れを模式的に示す図である。
図７に示すように、データ生成部７は、データ収集部５が運用システム３からキャプチャした運用電文データ２１ｃを保存したダンプファイル１９を取得する。データ生成部７は、操作端末２９から試験データ作成依頼を受け、ダンプファイル１９を参照してデータを解析し、試験データ２３を作成する。
【００４２】
例えばデータ生成部７は、まず各シーケンス単位に電文振り分けを実施（Ｓｅｓｓｉｏｎ  ｉｄ毎で電文分割）する。次いで、データ生成部７は、要求電文及び応答電文振り分けを実施することにより、シーケンス個別の動作定義ファイル２３ａを生成する。次いで、データ生成部７は、全体のシーケンスファイルと、応答定義ファイルであって擬似対向システム１５において利用されるシステム間ＩＮデータファイル２３ｂとを生成する。なお、データ生成部７は、試験データ２３を作成する際に、ダンプファイル１９に保存されており、検証システム９における動作試験では不要な運用電文データを削除するようになっている。
【００４３】
次に、試験データ２３の生成方法について、より具体的に説明する。まず、操作端末２９からシーケンスの作成条件を入力する。次に、シーケンスを表示（作成）する期間であるキャプチャ開始から終了までの所定期間を入力する。次に、対向システム１３に含まれる、例えば通信装置の一覧を表示し、シーケンス対象の通信装置を選択する。本実施の形態では、複数の通信装置が選択可能になっており、例えば通信装置Ａ〜Ｃが選択される。次に、実行ボタンを押下することで、データ生成部７に対して上記の条件でシーケンスファイルの作成を依頼する。データ生成部７から処理結果が返却された場合には、データ生成部７よりシーケンスファイルを取得し、操作端末２９に備えられた表示装置の表示画面に処理結果の内容を表示する。図７では、操作端末２９の図中右隣の長方形枠内に当該表示画面に表示されたシーケンス図が例示されている。
【００４４】
次に、データ生成部７における試験データ２３の生成工程についてより具体的に説明する。データ生成部７に設けられた画面インタフェース機能部７ａ（図４参照）は、操作端末２９から指定されたシーケンス作成条件をパラメータとして、ファイル取得機能部７ｂにファイル取得処理を依頼する。画面インタフェース機能部７ａは、ファイル取得機能部７ｂからファイル取得処理完了の情報を受け取ると、操作端末２９に処理結果とシーケンスファイル３３と集約ファイル３１の格納パスとを返却する。
【００４５】
ファイル取得機能部７ｂは、操作端末２９で入力された通信装置Ａ〜ＣのＩＰアドレスを収集対象リストに保存する。なお、試験装置１が複数のデータ収集部を有している場合には、ファイル取得機能部７ｂは、操作端末２９で入力された通信装置の一覧から、各通信装置のユーザデータをどのデータ収集部が保存しているのかを検索する。ファイル取得機能部７ｂは、検索結果から得られた対象となる通信装置のＩＰアドレスを収集対象リストに保存する。次いで、ファイル取得機能部７ｂは、収集対象リストに保存した内容に基づいて、データ収集部７からシーケンス作成対象期間のダンプファイル１９を取得する。
【００４６】
データ集約機能部７ｄは、ファイル取得機能部７ｂがデータ収集部５より取得したダンプファイル１９から、操作端末２９で入力された通信装置の一覧とシーケンス作成期間内の個別部のデータ番号とキャプチャ時間とを抽出する。次いで、データ集約機能部７ｄは、抽出したデータ番号とキャプチャ時間とを、キャプチャ時間を元にして時系列にソートする。次いで、データ集約機能部７ｄは、ソートした結果に基づいて、ダンプファイル１９からデータ部を含む全ての個別部を取り出し、集約ファイル３１として保存する。個別部のフォーマットは、ダンプファイル１９から変更されない。
【００４７】
シーケンス作成機能部７ｅは、データ集約機能部７ｄで作成された集約ファイル３１を読み込み、シーケンスをシーケンスファイル３３に出力する。より具体的には、まず、シーケンス作成機能部７ｅは、集約ファイル３１を読み込み、各固有部がシーケンス作成対象であるか否かを判定し、作成対象の場合にはシーケンスに必要な情報をテーブルに抽出する。次いで、シーケンス作成機能部７ｅは、シーケンスファイルに、縦線となる通信装置名（本例では、通信装置Ａ〜Ｃ）毎に縦線の書き込みを行う。次いで、シーケンス作成機能部７ｅは、シーケンスファイルに、通信装置Ａ、Ｂ、Ｃの間にシーケンスを書き込む。
【００４８】
ここで、シーケンス作成対象の抽出について説明する。シーケンス作成機能部７ｅは、集約ファイル３１を個別部単位で読み込み、最後の個別部に達するまで次の処理を繰り返し行う。
まず、操作端末２９で「キーワードで絞込む」が指定されていない場合、シーケンス作成機能部７ｅは、シーケンス縦線を引くために使用するシーケンス縦線要素テーブルにＩＰアドレス（Ｓｏｕｒｃｅ）及びＩＰアドレス（Ｄｅｓｔｉｎａｔｉｏｎ）を記録し、シーケンスの横線を引くために使用するシーケンス電文番号テーブルにデータ番号を記録する。操作端末２９で「キーワードで絞込む」が指定されていた場合、シーケンス作成機能部７ｅは、相対位置からキーワードを検索し、キーワードと一致するか否かを照合する。シーケンス作成機能部７ｅは、キーワードが一致していると判定すると、操作端末２９で「キーワードで絞込む」が指定されていない場合と同様の処理を実行し、キーワードが一致していないと判定すると、次の個別部を読み込む。
【００４９】
次に、シーケンス縦線作成方法について説明する。シーケンス作成機能部７ｅは、まず、ファイルの先頭行に、シーケンス縦線要素テーブルに登録されたＩＰアドレス数分の通信装置名（本例では、通信装置Ａ〜Ｃ）を記述する。次いで、シーケンス作成機能部７ｅは、シーケンス電文番号テーブルに登録されたデータ番号の行数分の縦線（本例では、３本）を記述する。
【００５０】
次に、シーケンス横線作成方法について説明する。シーケンス作成機能部７ｅは、まず、シーケンス番号テーブルのデータ番号順に集約ファイル３１内の個別部を読み込む。シーケンス作成機能部７ｅは、ＩＰアドレス（Ｓｏｕｒｃｅ）から、横線の基点となる通信装置の縦線位置を特定する。次いで、シーケンス作成機能部７ｅは、ＩＰアドレス（Ｄｅｓｔｉｎａｔｉｏｎ）から、横線の終点となる通信装置の縦線位置を特定する。次いで、シーケンス作成機能部７ｅは、基点から終点まで矢印を記述する。次いで、シーケンス作成機能部７ｅは、ＩＰアドレス（Ｓｏｕｒｃｅ）を矢印の１行上の基点横に記述し、ＩＰアドレス（Ｄｅｓｔｉｎａｔｉｏｎ）を矢印の１行下の終点横に記述する。
【００５１】
（通信システムの試験方法におけるダミー電文の作成方法）
次に、ダミー電文の作成について図８を用いて説明する。図８は、ダミー電文の作成方法を説明する図である。図８の図中左側には、ダンプファイルの出力からダミー電文作成までの流れが示され、図中右上には、ダンプファイルに記憶された運用電文データの範囲が示され、図中右下には、対向アダプタ＃１と対向システム＃１とのデータの送受信状態と、対向アダプタ＃Ｎと対向システム＃Ｎとのデータの送受信状態とのそれぞれのシーケンス図が示されている。なお、図８では、対向アダプタは「ＡＤＰ」と略記されている。
【００５２】
図７を用いて説明したように、データ生成部７は、データ収集部５が出力したダンプファイル１９に基づいて、試験データ２３の生成を開始し、検証システム９において動作試験対象となる対向システム＃１〜＃Ｎまでのそれぞれのキャプチャ開始時のセッション一覧を作成する。図８に示すように、ダンプファイル１９に記憶された運用電文データは、電文キャプチャの開始から終了までの所定期間の情報のみを含み、運用システム３のセッション開始から電文キャプチャ開始までの期間のデータを含んでいない。このため、上記の方法により作成されるシーケンスは、キャプチャ開始以降の動作を示すものとなる。運用システム３のセッション開始から電文キャプチャ開始までの状態を再現せずに検証システム９の動作試験を実行すると、検証システム９の試験データの投入環境は、運用システム３におけるキャプチャ開始時点の環境と異なってしまう。このため、運用データ２１と検証データ２５との間に差分が生じた場合、当該差分は、検証システム９の不具合に起因しているのか、運用システム３におけるキャプチャ開始時点の環境を再現しなかったことに起因しているのかが不明となり、検証システム９の正確な動作試験が達成されない。そこで、本実施の形態では、図８に示すように、データ生成部７は、キャプチャ開始時のシーケンスを作成する際に、セッション開始からキャプチャ開始までの期間のシーケンスが存在しないと判断すると、ダミー電文作成ツールを用いて、当該期間の状態を再現するためのダミー電文２７を自動生成する。これにより、本実施の形態による試験方法は、運用システム３におけるキャプチャ開始時点の環境を再現しなかったことに起因する当該差分を排除して、検証システム９の正確な動作試験を実行できるようになっている。
【００５３】
ダミー電文は、セッションを開始するために必要な要求（応答）電文になる。データ生成部７は、運用システム３と対向システム１３との間のデータ流通に関する定義仕様書に基づき、ダミー電文作成ツールを用いて当該仕様書通りにダミー電文２７を生成する。図８に示すように、データ生成部７は、生成したダミー電文２７を運用電文データに基づく動作定義ファイル２３ａのシーケンスのヘッダー部に追加する。本実施の形態による通信装置１は、ダミー電文が追加された試験データ２３を用いて検証システム９を初期状態に設定することにより、運用システム３の状態保持機能部３ｃの状態と検証システム９の状態保持機能部９ｃの状態との不一致に伴う動作差分及び応答電文の誤送信による結果不一致を防止できる。
【００５４】
また、ハードウェアのシステム更改では、検証システム９で用いられているハードウェアが運用システム３で用いられているハードウェアよりも性能が向上している場合がある。この場合、ハードウェアスペックの差分等により、例えばクロスシーケンスが生じて、想定通りのタイミングで電文流通ができない場合がある。そこで、本実施の形態におけるデータ生成部７は、シーケンスの順序性を確保するため、シーケンス順序が入れ替わらないように各種シーケンスファイルを作成する。データ生成部７は、例えば単一シーケンス毎に置き換えて、一のシーケンスの処理が終了したら別のシーケンスが動作できるように、シーケンスの順番を調整してシーケンスファイルを作成するようになっている。これにより、データ比較・判定部１１は、運用データ２１と検証データ２５とを対で比較確認できる。
【００５５】
（通信システムの試験方法における初期状態設定工程）
次に、初期状態設定部２において主に実行される検証システム９の初期状態設定工程について図２、図３及び図６を参照しつつ図９を用いて説明する。図９は、初期状態に設定された検証システム９の状態を模式的に示している。図９に示すように、検証システム９のアプリケーション機能部９ｂは、検証対象の複数の機能群（図６では、Ｎ個の機能群＃１〜＃Ｎ）（Ｎは、２以上の自然数）と、検証対象外の複数の機能群（不図示）とを有し、複数の機能を発揮するようになっている。アプリケーション機能部９ｂの機能群＃１〜＃Ｎは、運用システム３のアプリケーション機能部３ｂに備えられた機能群＃１〜＃Ｎのそれぞれと同様の機能を発揮するようになっている。
【００５６】
検証システム９のアダプタ機能部９ａは、アプリケーション機能部９ｂに設けられた検証対象の機能群＃１〜＃Ｎと同数の複数の対向アダプタ＃１〜＃Ｎ（Ｎは、２以上の自然数）と、検証対象外の複数の対向アダプタ（不図示）とを有している。アダプタ機能部９ａの対向アダプタ＃１〜＃Ｎは、運用システム３のアダプタ機能部３ａに備えられた対向アダプタ＃１〜＃Ｎのそれぞれと同様の機能を発揮するようになっている。対向アダプタ＃１は機能群＃１に対応して設けられ、対向アダプタ＃Ｎは機能群＃Ｎに対応して設けられている。機能群＃１から出力されるシステム間ＩＮデータファイルや動作定義ファイルは対向アダプタ＃１を介して擬似対向システム１５に入力され、擬似対向システム１５の応答電文であるシステム間ＯＵＴデータファイルは対向アダプタ＃１を介して機能群＃１に入力される。同様に、機能群＃Ｎは、対向アダプタ＃Ｎを介して擬似対向システム１５との間でデータの送受信を実行するようになっている。
【００５７】
初期状態設定部２は、状態保持機能部９ｃに第１運用収録データ２１ａを記憶する。第１運用収録データ２１ａは、運用電文データ２１ｃのキャプチャ開始直前の運用システム３の機能群＃１〜＃Ｎ及び対向アダプタ＃１〜＃Ｎのそれぞれの状態を示すデータである。このため、第１運用収録データ２１ａが状態保持機能部９ｃに記憶されると、状態保持機能部９ｃは、運用電文データ２１ｃのキャプチャ開始直前の状態保持機能部３ｃと同状態となる。
また、初期状態設定部２は、ダミー電文２７を含む動作定義ファイル２３ａと、システム間ＩＮデータファイル２３ｂとをアプリケーション機能部９ｂのデータ格納部３ｆに格納する。さらに、初期状態設定部２は、ＮＴＰサーバによる時刻同期を中断し、管理サーバの時刻を運用システム３におけるキャプチャ開始直前の時刻に設定する。
【００５８】
このようにして、検証システム９に設けられたアダプタ機能部９ａ、アプリケーション機能部９ｂ及び状態保持機能部９ｃの初期状態は、運用システム３における電文キャプチャ開始時点のアダプタ機能部３ａ、アプリケーション機能部３ｂ及び状態保持機能部３ｃの状態に合わせられる。その際、検証システム９の管理サーバの時刻状態も運用システム３における電文キャプチャ開始時点の時刻と同じに設定される。これにより、検証システム９の全状態は、電文キャプチャ開始直前の運用システム３の状態に合わされ、検証システム９には、運用電文データ２１ｃをキャプチャする直前の運用システム３の環境が再現されて初期設定される。検証システム９を初期設定することにより、取得した運用電文データ２１ｃ及び運用動作ログデータ２１ｅは、そのまま検証データ２５との比較に用いることができる。
【００５９】
（通信システムの試験方法における動作試験及びデータ比較・判定工程）
次に、検証システム９の動作試験及びデータ比較・判定工程について図３、図５及び図９を参照しつつ図１０を用いて説明する。図１０は、検証システム９の動作試験及びデータ比較・判定工程を模式的に示すブロック図である。検証システム９の初期設定が終了したら、検証システム９のアプリケーション機能群９ｂに備えられた検証対象の各機能群＃１〜＃Ｎを動作させて試験データ２３を流入する。図１０に示すように、アプリケーション機能部９ｂは、データ格納部９ｆに格納された動作定義ファイル２３ａに基づいてシナリオを実行し、例えばアダプタ部９ａを介して動作定義ファイル２３ａ及びシステム間ＩＮデータファイル２３ｂを擬似対向システム１５に送出する。これらのファイルを受信した擬似対向システム１５は、動作定義ファイル２３ａに基づいて動作し、応答電文として出力電文データ２５ｃ（システム間ＯＵＴデータ）を検証システム９に送出する。動作定義ファイル２３ａには、シナリオを実行すると検証収録データを状態保持機能部９ｃに保持し、出力電文データ２５ｃや検証動作ログファイル２５ｄをログファイル格納部９ｄに格納するという命令が含まれている。このため、検証システム９の動作試験が実行されるに伴い、初期状態の設定直後に収録された第１検証収録データ２５ａや当該動作試験の終了直後に状態保持機能部９ｃに収録された第２検証収録データ２５ｂが保持される。また、ログファイル格納部９ｄには、運用システム３において運用電文データ２１ｃがキャプチャされたのと同様のタイミングで出力電文データ２５ｃが格納され、動作試験の終了後に検証動作ログデータ２５ｄが格納される。
【００６０】
検証システム９の動作試験が終了すると、データ比較・判定部１１は、検証システム９の状態保持機能部９ｃから第１及び第２検証収録データ２５ａ、２５ｂを取得し、ログファイル格納部９ｄから出力電文データ２５ｃ及び検証動作ログデータ２５ｄを取得する。さらに、データ比較・判定部１１は、データ収集部５から第１及び第２運用収録データ２１ａ、２１ｂと、運用電文データ２１ｃと、運用動作ログデータ２１ｄとを取得する。次に、データ比較・判定部１１は、第１運用収録データ２１ａと第１検証収録データ２５ａとを比較し、第２運用収録データ２１ｂと第２検証収録データ２５ｂとを比較し、運用電文データ２１ｄと出力電文データ２５ｃとを比較し、運用動作ログデータ２１ｅと検証動作ログデータ２５ｄとを比較する。本実施の形態による通信システムの試験方法では、電文キャプチャ開始直前の運用システム３の環境と同環境となるように、検証システム９を初期状態に設定した後に、運用システム３において流通しているデータと同じデータを検証システム９に流入するようになっている。このため、検証システム９の試験対象となる機能が運用システム３と同等の機能を発揮するのであれば、データ比較・判定部１１が比較する各データ同士は同じになる。したがって、データ比較・判定部１１は、比較するデータ同士に差分がない場合には正常と判定し、比較するデータ同士に差分がある場合には異常と判定する。
【００６１】
このように、本実施の形態による通信システムの試験方法では、検証システム９において流出する出力電文データと運用システム３からキャプチャした運用電文データとを自動的に比較するツールを使用することにより、総合試験を自動的に実施することができる。また、状態保持機能部９ｃに保持された第１及び第２検証収録データ２５ａ、２５ｂに関しても、検証システム９の動作試験の終了後に運用システム３の状態保持機能部３ｃに保持された第１及び第２運用収録データ２１ａ、２１ｂと自動的に比較するツールを用いて比較することにより、検証システム９の状態保持機能部９ｃのデータベース収録機能が正しく実現されているか否かを確認することができる。また、本実施の形態による通信システムの試験方法では、電文データや検証前後での検証収録データの他に、動作ログデータが比較の対象に用いられている。このため、本実施の形態による通信システムの試験方法によれば、システム更改後のシステム動作の正常性を確実に確認することができる。さらに、運用システム３におけるデータをそのまま利用して検証システム９の動作試験を実行している。このため、本実施の形態による通信システムの試験方法において異常なしと判断されれば、検証システム９をシステム更改後のシステムに置き換えても、既存機能は正常に動作することができる。
【００６２】
以上説明したように、本実施の形態による通信システムの試験装置１及び通信システムの試験方法によれば、システム更改やデグレード確認において、試験の効率化を図ることができる。特に、本実施の形態によれば、総合試験の試験範囲、試験データ作成、試験項目実施及び試験結果正常性判断という、総合試験項目作成から正常性確認までを運用データを用いて実施することが可能となり、試験の効率化を図ることが可能となる。
【００６３】
総合試験の試験範囲については、運用システムで運用されているメインルートに関して網羅的に試験が可能となる。試験データ作成については、運用システムでのデータキャプチャによる総合試験電文の作成が可能となる。試験項目実施については、運用システムで流通している電文データをそのまま検証システムに流通させるため、人手を要さないで動作試験の実施が可能になる。これにより、本実施の形態によれば、人手による電文データ作成時に生じる電文作成の誤りが防止され、かつ人手による電文作成に要する時間が不要になる。
【００６４】
また、試験結果正常性判断については、動作試験によって取得された検証データを運用システムで運用されている電文データと比較することにより検証システムの正常性を判断している。このため、検証システム９の正常／異常を正確に判断することが可能となる。さらに、人手による試験確認結果の誤りも未然に防ぐことができる。したがって、本実施の形態による通信システムの試験装置及び試験方法によれば、総合試験での試験項目作成、試験データ作成、検証試験実施及び試験実施結果の評価までを項目に依存せず一定の稼動にて実施可能となる。
【００６５】
また、本実施の形態による通信システムの試験装置及び試験方法では、運用システム３側から電文データ（入出力情報）を取得できれば、システム間シーケンスが分からないブラックボックス的な状況でも検証システム９の試験を実施することが可能になる。
また、本実施の形態では、当該電文データを通信レイア（ＴＣＰ）ではなく、アプリケーション（ＡＰ）レイアで検証システム９がどのように動作しているのかを検証するようになっている。本実施の形態では、システム結合というよりもアプリケーションとして接続先が決定されているので、複数システム間でもインタフェースの調整なしで検証システム９を試験することが可能である。このように、本実施の形態による通信システムの試験装置及び試験方法は、インタフェースの設定が不要であり、かつブラックボックス的な試験実施が可能となるため、人手による調整が不要となる。
【００６６】
本実施の形態による通信システムの試験装置及び試験方法では、コネクション(ＴＣＰレイヤ)とセッション(ＡＰレイヤ)とが分離されているので、セッションレイヤでシーケンスを管理することができる。これにより、本実施の形態によれば、マルチセッションやクロスシーケンスでもセッション単位に再現及び検証が可能となるため、インタフェースを意識する必要がなく検証システム９の動作試験を実施することが可能となる。
【００６７】
また、本実施の形態による試験装置１は、運用システム３の状態の取得(旧システムのＥｘｐｏｒｔ）及び当該状態の検証システム９への反映（新システムへのＩｍｐｏｒｔ）する機能を備えている。これにより、本実施の形態によれば、セッション途中に運用システム３から取得した電文データであっても運用システム３と検証システム９との状態を合わせる機能を発揮することができ、セッション途中の当該運用データから作成された試験データであっても問題なく検証システム９の動作試験を実施することが可能になる。
【００６８】
従来、運用システムは一般的にシステムの稼働を開始すると停止することは不可能であるため、運用システムのセッション中に運用システムと同等の動作状態で検証システムの動作試験を実施することは困難である。これに対し、本実施の形態による試験装置及び試験方法は、運用システムのセッション途中であっても運用システムと同等の動作状態による検証システムの動作試験を実施できるという優位性を有している。
【００６９】
また、特許文献１に記載の試験方法では、電話機と交換機との間のセッションの開始や終了が不明確であったり、セッションの開始から終了までの期間が相対的に長かったりする場合に適用するのが困難である。また、当該試験方法では、システムが複数になると、あるシーケンスを受けたときに、どのシステムへどのシーケンスを返すのかが不明であるため、手動でのインタフェース設定が困難である。すなわち、当該試験方法は、運用システムのセッション全体のシーケンスが不明な場合には、運用システムで得られたデータを検証システムの動作試験に用いることが極めて困難である。これに対し、本実施の形態による試験装置及び試験方法は、運用システムのセッション全体のシーケンスが不明な場合であっても運用システムで得られたデータを検証システムの動作試験に用いることが可能であるという優位性を有している。
【００７０】
次に、本実施の形態による通信システムの試験装置及び通信システムの試験方法をウォーターフォールモデルで実施した場合の効率化効果について説明する。ウォーターフォールモデルでは、一般的に試験実行に関する作業内容は以下（１）〜（７）に分類される。
（１）該当する設計工程のドキュメントから試験項目を作成する。
（２）作成した試験項目の試験実施手順書を作成する。
（３）試験実施のために、装置内のデータや、周辺装置のシミュレータデータを作成する。
（４）試験環境を準備する。
（５）実際に試験を実施する。
（６）試験結果を確認する。
（７）試験結果を集計する。
【００７１】
本実施の形態による通信システムの試験装置及び試験方法を用いた場合、次の工程の作業が一般的な作業内容とは異なる。まず、上記（２）及び（３）に示す作業は、データキャプチャの手順書を作成し、試験実施用のデータを都度取得することにより実施可能となる。また、データキャプチャの手順書は一度作成すると、その後の修正は日付や取得先などの軽微な変更ですむという利点があり、試験項目数に依存しない。これに対し、従来の試験方法の場合は、試験項目数に比例して当該手順書が多くなる。
【００７２】
また、本実施の形態では、上記（５）に示す作業は、データをシステムに投入するだけであるため、１項目ずつ実施する従来の試験方法と比較して、データを流す時間（及び前後の準備や事後作業時間）のみとなる。また、従来の試験方法の場合は、試験項目数に比例して実施する試験数が多くなる。
上記（６）に示す作業について、本実施の形態を適用した場合、正解データとなる運用電文データと検証データとの比較を行うだけであるため、データ比較ツール等を用いて一律の時間で確認可能となるのに対し、従来の試験方法では、試験項目数に比例して試験結果の確認時間が多くなる。
【００７３】
本実施の形態による試験装置及び試験方法を用いた場合の、従来の試験方法に対する各作業時間の効率化効果は、上記（２）に示す作業では７７％（作業時間は従来の試験方法の作業時間の２３％に短縮）となり、上記（５）に示す作業では７５％（従来の試験方法の作業時間の２５％に短縮）となり、上記（６）に示す作業では６７％（作業時間は従来の試験方法の作業時間の３３％に短縮）となり、上記（１）、（４）及び（７）に示す作業では０％（作業時間は従来の試験方法と同じ）となり、上記（３）に示す作業では−２３３％（作業時間は従来の試験方法の作業時間の３３３％に延長）となる。当該効率化効果は全体でみると約３３％（作業時間は従来の試験方法の作業時間の約６７％に短縮）となる。また、当該効率化効果は、試験項目の内容及び個数を本実施の形態と従来手法とで共通化して算出されている。このため、本実施の形態による試験装置及び試験方法によれば、試験工数を増加させずに総合試験時間の効率化を達成し、かつシステム品質の維持を図ることができる。
【００７４】
本発明は、コンピュータプログラムとして具体化することができる。例えば、試験装置１の各部の機能を試験用プログラムとして実現することもできる。したがって、本発明の一部または全ては、ハードウェアまたはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード、ステートマシン、ゲートアレイ等を含む）に組み入れることができる。さらに、本発明は、コンピュータによって使用可能な、またはコンピュータ可読の記憶媒体上のコンピュータプログラム製品の形態をとることができ、この媒体には、コンピュータによって使用可能な、またはコンピュータ可読のプログラムコードが組み入れられる。本明細書のコンテキストでは、コンピュータによって使用可能な、またはコンピュータ可読の媒体は、命令実行システム、装置若しくはデバイスによって、またはそれらとともに使用されるプログラムを、収録する、記憶する、通信する、伝搬する、または搬送することのできる、任意の媒体とすることができる。
【００７５】
本発明は、上記実施の形態に限らず、種々の変形が可能である。
上記実施の形態では、データ生成部７は、運用システム３と対向システム１３との間のデータ流通に関する定義仕様書に基づき、ダミー電文作成ツールを用いて当該仕様書通りにダミー電文２７を生成するように構成されているが、本発明はこれに限られない。例えば、当該定義仕様書が明確に定義されていない運用システムに関しては、セッションが開始する電文を直接手で追加したり、ダミー電文を作成するツールを新たに作成したりして、運用電文データに基づいて作成したシーケンスのヘッダーにダミー電文を追加するようにしてもよい。あるいは、例えば試験装置１は、キャプチャした運用電文データに関し、定義仕様書が存在するシーケンスと存在しないシーケンスとを判別し、定義仕様書が存在するシーケンスについてはダミー電文を作成し、定義仕様書が存在しないシーケンスについては評価対象外として削除するように構成されていてもよい。
【００７６】
本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【符号の説明】
【００７７】
１  試験装置
２  初期状態設定部
３  運用システム
３ａ、９ａ  アダプタ機能部
３ｂ、９ｂ  アプリケーション機能部
３ｃ、９ｃ  状態保持機能部
３ｄ、９ｄ  ログファイル格納部
３ｅ、９ｅ  アプリケーション実行部
３ｆ、９ｆ  データ格納部
５  データ収集部
５ａ  キャプチャ機能部
５ｂ  データ出力機能部
７  データ生成部
７ａ  画面インタフェース機能部
７ｂ  ファイル取得機能部
７ｃ  試験データ作成機能部
７ｄ  データ集約機能部
７ｅ  シーケンス作成機能部
９  検証システム
１１  データ比較・判定部
１３  対向システム
１５  擬似対向システム
１７  ルータ網
２１  運用データ
２１ａ  第１運用収録データ
２１ｂ  第２運用収録データ
２１ｃ  運用電文データ
２１ｄ  時間情報データ
２１ｅ  動作ログデータ
２３  試験データ
２３ａ  動作定義ファイル
２３ｂ  システム間ＩＮデータファイル
２５  検証データ
２５ａ  第１検証収録データ
２５ｂ  第２検証収録データ
２５ｃ  出力電文データ
２５ｄ  検証動作ログデータ
２７  ダミー電文
２９  操作端末
３１  集約ファイル
３３  シーケンスファイル
【図１】
2014035595.tif 000003
【図２】
2014035595.tif 000004
【図３】
2014035595.tif 000005
【図４】
2014035595.tif 000006
【図５】
2014035595.tif 000007
【図６】
2014035595.tif 000008
【図８】
2014035595.tif 000009
【図９】
2014035595.tif 000010
【図１０】
2014035595.tif 000011
【図７】
2014035595.tif 000012