(57)【要約】【課題】複数の工程からなるテストを複数の評価システムを用いて実行する場合に、各評価システムへの各工程の振り分けを容易に行うこと。【解決手段】複数の工程からなるテストの各工程について実行可能なテストシステムを記憶する工程管理記憶部を備え、各工程を実行可能なテストシステムに対して各工程の実行を配分し、テストシステムから各工程の実行結果を収集する。【選択図】図１
2011014020.tif 000002
【特許請求の範囲】
【請求項１】
複数の工程からなるテストの各工程について実行可能なテストシステムを記憶する工程管理記憶部と、
前記各工程を実行可能な前記テストシステムに対して前記各工程の実行を配分し、前記テストシステムから前記各工程の実行結果を収集する管理部と、
を備える、テスト監視制御サーバー装置。
【請求項２】
前記各テストシステムの使用可能時間を記憶すするテスト管理記憶部をさらに備え、
前記管理部は、前記テストシステム毎に各工程の総実行時間が前記使用可能時間を超えないように前記各工程の配分を行うことを特徴とする請求項１に記載のテスト監視制御サーバー装置。
【請求項３】
前記管理部は、前記テストシステムが前記各工程を前回実行した際に要した実行時間を累積することによって前記テストシステム毎の各工程の総実行時間を推定し、総実行時間の推定値が前記使用可能時間を超えないように前記各工程の配分を行うことを特徴とする請求項２に記載のテスト監視制御サーバー装置。
【請求項４】
複数の工程からなるテストの各工程について実行可能なテストシステムを記憶する工程管理記憶部を備えるテスト監視制御サーバー装置が、前記各工程を実行可能な前記テストシステムに対して前記各工程の実行を配分するステップと、
前記テスト監視制御サーバー装置が、前記テストシステムから前記各工程の実行結果を収集するステップと
を備える、テスト監視制御方法。
【請求項５】
複数の工程からなるテストの各工程について実行可能なテストシステムを記憶する工程管理記憶部を備えるテスト監視制御サーバー装置に対し、
前記各工程を実行可能な前記テストシステムに対して前記各工程の実行を配分するステップと、
前記テストシステムから前記各工程の実行結果を収集するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置やソフトウェアの動作のテストを行う技術に関する。
【背景技術】
【０００２】
従来、装置やソフトウェアの動作について、複数の工程からなるテストを行う装置が提案されている（例えば特許文献１参照）。このようなテストは、各工程において実行されるテスト手順が記録されたスクリプトを用いて行われる。具体的には、テスト仕様書に定義されたスクリプト及び評価システムに基づいて、テスト担当者が評価システム毎にスクリプトを振り分け、各評価システムがスクリプトを実行することによって実現されていた。各評価システムにおけるスクリプトの実行は自動テストツールによって自動で行われるため、夜間や休日等に無人で実施されることが一般的である。
【０００３】
一般的に、テスト担当者が評価システムによりテストを実施するためには、各評価システムのリリースを受ける必要がある。そのため、テスト担当者は、各評価システムにおける総テスト時間を見積もり、見積もりに基づいたリリース期限の設定を受けることによってテストが行われていた。各評価システムでのテスト実行に要する時間の見積もりに関しては、例えば各評価システムで以前同じスクリプトが実行された際に要した時間が参考にされていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１８４４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来は評価システムへのスクリプトの振り分けが手作業で行われていたため、テスト環境を構築する作業に多大な時間を要してしまうという問題があった。
上記事情に鑑み、本発明は、複数の工程からなるテストを複数の評価システムを用いて実行する場合に、各評価システムへの各工程の振り分けを容易に行うことを可能とする装置や方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、テスト監視制御サーバー装置であって、複数の工程からなるテストの各工程について実行可能なテストシステムを記憶する工程管理記憶部と、前記各工程を実行可能な前記テストシステムに対して前記各工程の実行を配分し、前記テストシステムから前記各工程の実行結果を収集する管理部と、を備える。
【０００７】
本発明の一態様は、テスト監視制御方法であって、複数の工程からなるテストの各工程について実行可能なテストシステムを記憶する工程管理記憶部を備えるテスト監視制御サーバー装置が、前記各工程を実行可能な前記テストシステムに対して前記各工程の実行を配分するステップと、前記テスト監視制御サーバー装置が、前記テストシステムから前記各工程の実行結果を収集するステップとを備える。
【０００８】
本発明の一態様は、プログラムであって、複数の工程からなるテストの各工程について実行可能なテストシステムを記憶する工程管理記憶部を備えるテスト監視制御サーバー装置に対し、前記各工程を実行可能な前記テストシステムに対して前記各工程の実行を配分するステップと、前記テストシステムから前記各工程の実行結果を収集するステップとを実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明により、複数の工程からなるテストを複数の評価システムを用いて実行する場合に、各評価システムへの各工程の振り分けを容易に行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】テストシステムのシステム構成を表すシステム構成図である。
【図２】テスト監視制御サーバーの動作を表すフローチャートである。
【図３】テスト管理情報制御処理の処理内容を表すフローチャートである。
【図４】テスト管理情報制御処理の処理内容を表すフローチャートである。
【図５】テスト仕様書の具体例を表す図である。
【図６】操作スクリプト実行管理ＤＢが記憶する操作スクリプト実行管理テーブルの具体例を表す図である。
【図７】テスト実行管理ＤＢが記憶するテスト実行管理テーブルの具体例を表す図である。
【図８】テスト状況収集処理の処理内容を表すフローチャートである。
【図９】テスト配分処理の処理内容を表すフローチャートである。
【図１０】テスト配分処理の処理内容を表すフローチャートである。
【図１１】操作スクリプト実行管理ＤＢが記憶する操作スクリプト実行管理テーブルの具体例を表す図である。
【図１２】テスト実行管理ＤＢが記憶するテスト実行管理テーブルの具体例を表す図である。
【図１３】追加対象のテスト仕様書の具体例を示す図である。
【図１４】評価システムの動作を表すフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、テストシステム１のシステム構成を表すシステム構成図である。テストシステム１は、複数の工程からなるテストを行う。テストシステム１は、テスト監視制御サーバー１０、複数の評価システム２０−１〜２０−Ｎを備える。テスト監視制御サーバー１０は、各評価システム２０−１〜２０−Ｎに対して操作スクリプトを配分し、各評価システム２０−１〜２０−Ｎは自身に配分された操作スクリプトを実行する。なお、各評価システム２０−１〜２０−Ｎ及び各操作スクリプトには、それぞれ重複しない識別子（評価システムＩＤ、操作スクリプトＩＤ）が付与されている。また、操作スクリプトとは、テストの各工程において実行されるテスト手順が記録されたスクリプトのことであり、工程毎に一つの操作スクリプトが定義される。１つのテストをどのような工程に分けて定義するかは各試験者によって適宜設定される。なお、以下の説明において、評価システムＩＤが“ＨＮ”（Ｎは１以上の整数）である評価システムを、「評価システム“ＨＮ”」又は単に「“ＨＮ”」と記載し、操作スクリプトＩＤが“ＣＮ”（Ｎは１以上の整数）である操作スクリプトを、「操作スクリプト“ＣＮ”」又は単に「“ＣＮ”」と記載する。
【００１２】
テスト監視制御サーバー１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリーや補助記憶装置などを備え、テスト監視制御プログラムを実行することによって、テスト実行管理ＤＢ１１、操作スクリプト実行管理ＤＢ１２、テスト管理情報制御部１３、テスト配分部１４、テスト状況収集部１５を備える装置として機能する。なお、テスト監視制御サーバー１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）等のハードウェアを用いて実現されても良い。
【００１３】
テスト実行管理ＤＢ１１は、磁気ハードディスクや半導体記憶装置などの記憶装置を用いて構成され、テスト毎にテスト実行管理テーブルを記憶する。テスト実行管理テーブルは、評価システムＩＤの項目毎に、テスト予定完了時間（使用可能時間）及びテスト推定完了時間の項目を対応付けて持つ。テスト予定完了時間は、各評価システムについてテストの試験者が受けているリリース時間を表す。テスト推定完了時間は、各評価システムに設定されている全ての操作スクリプトを実行するのに要する時間の総和の推定値である。
【００１４】
操作スクリプト実行管理ＤＢ１２は、磁気ハードディスクや半導体記憶装置などの記憶装置を用いて構成され、テスト毎に操作スクリプト実行管理テーブルを記憶する。操作スクリプト実行管理テーブルは、操作スクリプトＩＤの項目毎に、評価システムＩＤ、前テスト実行時間、テスト実行時間、ステータス、テスト実行結果、テスト登録の各項目のセットを１セット又は複数セット対応付けて持つ。操作スクリプトＩＤは、試験者が行うテストにおいて実行される操作スクリプトの識別子を表す。評価システムＩＤは、対応する操作スクリプトを実行可能な評価システムを表す。一つの操作スクリプトＩＤに対して複数の評価システムＩＤが対応付けられている場合は、この操作スクリプトはいずれか一つの評価システムで実行できることを表す。前テスト実行時間は、各操作スクリプトが各評価システムで前回実行された際に要した処理時間を表す。テスト実行時間は、今回のテストの実行において、各操作スクリプトを各評価システムで実行した際に要した処理時間を表す。ステータスは、各操作スクリプトの実行ステータスを表し、まだ実施されていないことを表す“未実施”、実施中であることを表す“実施中”、実施が完了したことを表す“実施済”のいずれかの値を有する。テスト実行結果は、各操作スクリプトのテスト結果を表し、良好な結果が得られたことを表す“ＯＫ”、不良な結果が得られたことを表す“ＮＧ”、まだ実施されていないことを表す“未実施（−）”のいずれかの値を有する。テスト登録は、各操作スクリプトと各評価システムとの組み合わせでテストが実行される予定の有無を表し、その組み合わせで実行予定又は実行済みであることを表す“○”、その組み合わせで実行予定がないことを表す“×”のいずれかの値を有する。
【００１５】
次に、テスト監視制御サーバー１０の動作、則ちテスト管理情報制御部１３、テスト配分部１４、テスト状況収集部１５が行う処理の動作について説明する。図２は、テスト監視制御サーバー１０の動作を表すフローチャートである。
【００１６】
テスト監視・制御サーバー１が起動されると、テスト管理情報制御部１３はテスト実行管理ＤＢ１１及び操作スクリプト実行管理ＤＢ１２を初期化する（ステップＳ１）。次に、テスト管理情報制御部１３がテスト管理情報制御処理を実行する（ステップＳ２）。次に、テスト状況収集部１５がテスト状況収集処理を実行する（ステップＳ３）。次に、テスト配分部１４がテスト配分処理を実行する（ステップＳ４）。次に、テスト管理情報制御部１３が、テスト終了か否か判定する（ステップＳ５）。テストが終了していない場合、則ち操作スクリプト実行管理ＤＢ１２に登録されている操作スクリプトのうち、テスト登録が“○”であってステータスが“未実施”又は“実施中”のものがある場合には（ステップＳ５−ＮＯ）、ステップＳ２の処理に戻る。一方、テストが終了している場合、則ち操作スクリプト実行管理ＤＢ１２に登録されている操作スクリプトのうち、テスト登録が“○”となっているもの全てのステータスが“実施済”になっている場合（ステップＳ５−ＹＥＳ）、テスト管理情報制御部１３は、テスト仕様書ファイルにテスト実行結果を出力し（ステップＳ６）、処理を終了する。
【００１７】
図３及び図４は、テスト管理情報制御処理の処理内容を表すフローチャートである。図５は、テスト仕様書の具体例を表す図である。図６は、操作スクリプト実行管理ＤＢ１２が記憶する操作スクリプト実行管理テーブルの具体例を表す図である。図７は、テスト実行管理ＤＢ１１が記憶するテスト実行管理テーブルの具体例を表す図である。以下、図５〜図７に示される具体例に基づいて、テスト管理情報制御処理について説明する。
【００１８】
まず、評価システム２０−１〜２０−ｎによるテストの実行が開始される前の処理（第１サイクルの処理）について説明する。テスト管理情報制御処理において、テスト管理情報制御部１３は、まず新たなテスト予定完了時間の登録が入力されたか否か判定する（ステップＳ２０１）。テスト予定完了時間の入力は、評価システムＩＤと対応付けて試験者によって行われる。試験者によって新たなテスト予定完了時間の入力がなされた場合（ステップＳ２０１−ＹＥＳ）、テスト管理情報制御部１３は、テスト実行管理テーブルに、評価システムＩＤとテスト予定完了時間とを対応付けて登録する（ステップＳ２０２）。なお、ステップＳ２０２におけるテスト予定完了時間の登録は、ステップＳ２０３以降の処理が行われる前に行われることが前提となる。
【００１９】
次に、テスト管理情報制御部１３は、テスト削除の指示が入力されたか否か判定する（ステップＳ２０３）。ただし、テスト削除の指示は、テストの実行が開始される前には入力されることがないため、ステップＳ２０３〜ステップＳ２０８の処理については後述する。
【００２０】
次に、テスト管理情報制御部１３は、テスト登録の指示が入力されたか否か判定する（ステップＳ２０９）。テスト登録の指示は、少なくともテストの実行が開始される前に入力されることが前提となる。また、テスト登録の指示は、テスト仕様書の入力とともに行われる。
【００２１】
テスト登録の指示が入力された場合（ステップＳ２０９−ＹＥＳ）、テスト管理情報制御部１３は、入力されたテスト仕様書に定義されているテストの内容をテスト仕様書データから読み出し、テストの内容を操作スクリプト実行管理テーブルに登録する。具体的には、テスト管理情報制御部１３は、まずテスト仕様書に定義された操作スクリプトＩＤと評価システムＩＤとの全ての組み合わせをスクリプト実行管理テーブルに登録する（ステップＳ２１０）。このとき、テスト管理情報制御部１３は、操作スクリプト実行管理テーブルのテスト実行時間の値を全て“０ｈ”とし、ステータスの全ての値を“未実施”とし、テスト実行結果の全ての値を“−”とし、テスト登録の全ての値を“×”とする。なお、テスト推定完了時間及びテスト予定完了時間の値“Ｎｈ”（Ｎは自然数）は、Ｎ時間を表す。
【００２２】
次に、テスト管理情報制御部１３は、各評価システム２０−１〜２０−ｎから、各操作スクリプトを前回実行した際に要した処理時間（前テスト実行時間）を収集する（ステップＳ２１１〜Ｓ２１４）。この処理において、テスト管理情報制御部１３は、テスト状況収集指示を各評価システム２０−１〜２０−ｎに送信し、その応答として前テスト実行時間が含まれたテスト状況収集応答を受信する（ステップＳ２１２）。そして、テスト管理情報制御部１３は、受信された前テスト実行時間を操作スクリプト実行管理テーブルに設定する（ステップＳ２１３）。テスト管理情報制御部１３は、ステップＳ２１２及びステップＳ２１３の処理を繰り返し実行することによって、テスト仕様書に定義された操作スクリプトＩＤと評価システムＩＤとの全ての組み合わせについて前テスト実行時間を設定する。
【００２３】
次に、テスト管理情報制御部１３は、各操作スクリプトをどの評価システム２０−１〜２０−ｎにおいて実行するかを選択し配分する（ステップＳ２１５〜Ｓ２２３）。この処理において、テスト管理情報制御部１３は、テスト仕様書に定義された複数の操作スクリプトのうち、上から順に（操作スクリプトＩＤの数字の値が小さいものから順に）処理対象とし、処理対象となった操作スクリプトに対する評価システムの配分を行う。テスト管理情報制御部１３は操作スクリプト実行管理テーブルを参照し、処理対象となった操作スクリプトに対応付けられた評価システムの中から、前テスト実行時間が最も短い評価システムを判定する（ステップＳ２１６）。例えば、図５の操作スクリプト“Ｃ４”が処理対象であるとすると、対応付けられた評価システムは“Ｈ１”と“Ｈ２”であり、前テスト実行時間が最も短い評価システムは評価システム“Ｈ１”である。
【００２４】
次に、テスト管理情報制御部１３は、テスト実行管理テーブルにおいて、判定された評価システムのテスト推定完了時間に前テスト実行時間を加えて、テスト予定完了時間を超過しないか判定する（ステップＳ２１７）。テスト推定完了時間に加えられる前テスト実行時間は、操作スクリプト実行管理テーブルにおいて、処理対象となった操作スクリプトのＩＤ及び判定された評価システムのＩＤの組み合わせに対応する前テスト実行時間である。
【００２５】
加算後のテスト推定完了時間がテスト予定完了時間を超過しない場合は（ステップＳ２１７−ＹＥＳ）、テスト管理情報制御部１３は、判定された評価システムに対してテスト対象操作スクリプト実行指示を送信することによって、処理対象となった操作スクリプトの実行を指示する（ステップＳ２２０）。次に、操作スクリプト実行管理テーブルにおいて、判定された評価システムのＩＤ及び処理対象となった操作スクリプトのＩＤの組み合わせに対応するテスト登録の値を“○”に書き換える（ステップＳ２２１）。そして、テスト管理情報制御部１３は、テスト実行管理テーブルにおいて、判定された評価システムのＩＤに対応するテスト推定完了時間に対し、前テスト実行時間を加算することによって更新する（ステップＳ２２２）。
【００２６】
一方、加算後のテスト推定完了時間がテスト予定完了時間を超過する場合は（ステップＳ２１７−ＮＯ）、テスト管理情報制御部１３は、操作スクリプト実行管理テーブルを参照し、処理対象となった操作スクリプトに対応付けられた他の評価システムがあるか否か判定する（ステップＳ２１８）。他の評価システムがある場合には（ステップＳ２１８−ＹＥＳ）、他の評価システムの中から前テスト実行時間が次に短い評価システムを判定し（ステップＳ２１６）、ステップＳ２１７以降の処理を繰り返す。一方、ステップＳ２１８において他の評価システムが無い場合には（ステップＳ２１８−ＮＯ）、テスト管理情報制御部１３は試験者に対してエラー表示を行い、設定されたテスト予定完了時間ではテストを実行することができないことを報知する。
【００２７】
ここで、ステップＳ２１５〜Ｓ２２３の処理について具体例を用いて説明する。処理対象となった操作スクリプトが“Ｃ１”である場合には、テスト推定完了時間は“０ｈ”であり前テスト実行時間は“１ｈ”であるため、加算後のテスト推定完了時間は“１ｈ”となる。評価システム“Ｈ１”のテスト予定完了時間が“５ｈ”と登録されている場合を想定すると、加算後のテスト推定完了時間“１ｈ”は、テスト予定完了時間“５ｈ”を超過していない。そのため、ステップＳ２１７の処理においてＹＥＳの方へ処理が進む。一方、処理対象となった操作スクリプトが“Ｃ１０”である場合には、テスト推定完了時間は“４ｈ”であり前テスト実行時間は“３ｈ”であるため、加算後のテスト推定完了時間は“７ｈ”となる。上記のように評価システム“Ｈ１”のテスト予定完了時間が“５ｈ”と登録されている場合を想定すると、加算後のテスト推定完了時間“７ｈ”は、テスト予定完了時間“５ｈ”を超過している。そのため、ステップＳ２１７の処理においてＮＯの方へ処理がすすみ、最終的には操作スクリプト“Ｃ１０”に対して評価システム“Ｈ２”が配分される。
【００２８】
全ての操作スクリプトについて、ステップＳ２１５〜Ｓ２２３の処理が実行されることにより、各操作スクリプトが実行される評価システムが決定される。そして、各評価システムのテスト推定完了時間がテスト実行管理テーブルに登録される。
【００２９】
評価システム“Ｈ１”のテスト推定完了時間は、操作スクリプト“Ｃ１”の前テスト時間“１ｈ”＋操作スクリプト“Ｃ４”の前テスト時間“１ｈ”＋操作スクリプト“Ｃ５”の前テスト時間“１ｈ”＋操作スクリプト“Ｃ７”の前テスト時間“１ｈ”＝“４ｈ”となる。
【００３０】
評価システム“Ｈ２”のテスト推定完了時間は、操作スクリプト“Ｃ２”の前テスト時間“２ｈ”＋操作スクリプト“Ｃ９”の前テスト時間“１ｈ”＋操作スクリプト“Ｃ１０”の前テスト時間“４ｈ”＝“７ｈ”となる。
評価システム“Ｈ３”のテスト推定完了時間は、操作スクリプト“Ｃ３”の前テスト時間“２ｈ”＋操作スクリプト“Ｃ６”の前テスト時間“２ｈ”＋操作スクリプト“Ｃ８”の前テスト時間“１ｈ”＝“５ｈ”となる。
【００３１】
その後、試験者によってテスト実行状況閲覧の指示が入力された場合（ステップＳ２２４−ＹＥＳ）、テスト管理情報制御部１３は、テスト実行管理テーブル及び操作スクリプト実行管理テーブルの内容を表示する（ステップＳ２２５）。このとき、テスト管理情報制御部１３は、予めなされた設定や試験者による指示などに応じて、操作スクリプトＩＤ毎の表示や、評価システムＩＤ毎の表示や、テスト登録されたデータのみの表示など、どのような態様による表示を行っても良い。
【００３２】
図８は、テスト状況収集処理の処理内容を表すフローチャートである。以下、図６及び図７に示される具体例に基づいて、テスト状況収集処理について説明する。
テスト状況収集部１５は、テスト状況収集処理を開始すると、全ての評価システム２０−１〜２０−ｎを対象としてステップＳ３０２〜Ｓ３０９の処理を実行する。
【００３３】
各評価システム２０−１〜２０−ｎは、操作スクリプトの実行を開始すると、実行対象となっている操作スクリプトのＩＤ及び自装置の評価システムＩＤを含むテスト実施通知をテスト監視制御サーバー１０へ送信する。テスト状況収集部１５は、テスト実施通知を受信した場合（ステップＳ３０２−ＹＥＳ）、操作スクリプト実行管理テーブルにおいて、受信されたテスト実施通知に含まれる操作スクリプトＩＤ及び評価システムＩＤの組み合わせに対応するステータスの値を“実施中”に書き換える（ステップＳ３０３）。
【００３４】
その後、各評価システム２０−１〜２０−ｎは、操作スクリプトの実行を終了すると、終了した操作スクリプトのＩＤ、自装置の評価システムＩＤ、実行に要した時間、テスト結果などを含むテスト完了通知をテスト監視制御サーバー１０へ送信する。テスト状況収集部１５は、テスト完了通知を受信すると（ステップＳ３０４−ＹＥＳ）、受信されたテスト完了通知に含まれる操作スクリプトＩＤ毎にステップＳ３０５〜Ｓ３０９の処理を実行する。
【００３５】
まず、テスト状況収集部１５は、受信されたテスト完了通知に含まれる実行に要した時間及びテスト結果に基づいて、操作スクリプト実行管理テーブルのテスト実行時間及びテスト実行結果を更新する（ステップＳ３０６）。また、テスト状況収集部１５は、受信されたテスト完了通知に含まれる操作スクリプトＩＤ及び評価システムＩＤの組み合わせに対応するステータスの値を“実施済”に書き換える（ステップＳ３０７）。また、テスト状況収集部１５は、テスト実行管理テーブルにおいて、受信されたテスト完了通知に含まれる評価システムＩＤに対応するテスト推定完了時間を更新する（ステップＳ３０８）。具体的には、テスト状況収集部１５は、受信されたテスト完了通知に含まれる実行に要した時間（テスト実行時間）から、このテスト完了通知における操作スクリプトＩＤ及び評価システムＩＤの組み合わせに対応する前テスト実行時間を減算し、その減算結果を更新前のテスト推定完了時間に加算することによって、テスト推定完了時間を更新する。
【００３６】
例えば、評価システム“Ｈ１”が、操作スクリプト“Ｃ１”を実施し１時間で完了した場合、更新後のテスト推定完了時間は、更新前のテスト推定完了時間“４ｈ”＋（テスト実行時間“１ｈ”−前テスト実行時間“１ｈ”）＝“４ｈ”となる。また、評価システム“Ｈ１”が、操作スクリプト“Ｃ４”を実施し３時間で完了した場合、更新後のテスト推定完了時間は、更新前のテスト推定完了時間“４ｈ”＋（テスト実行時間“３ｈ”−前テスト実行時間“１ｈ”）＝“６ｈ”となる。
【００３７】
図９及び図１０は、テスト配分処理の処理内容を表すフローチャートである。以下、図６及び図７に示される具体例に基づいて、テスト配分処理について説明する。
テスト配分部１４は、テスト配分処理を開始すると、全ての評価システム２０−１〜２０−ｎを対象としてステップＳ４０２〜Ｓ４１８の処理を実行する。
【００３８】
まず、テスト配分部１４は、テスト実行管理テーブルを参照し、処理対象となっている評価システムのテスト推定完了時間がテスト予定完了時間を超えているか否か判定する（ステップＳ４０２）。テスト推定完了時間がテスト予定完了時間を超えている評価システム（以下、「配分元評価システム」という。）が存在した場合、配分元評価システムに配分されている操作スクリプトの中で最も実施されるタイミングが遅い操作スクリプトから順に、再配分可能な操作スクリプトを探し配分先となる他の評価システム（以下、「配分先評価システム」という。）を決定する（ステップＳ４０３〜Ｓ４１４）。本説明では、操作スクリプトＩＤに含まれる数字の値が小さいほど早いタイミングで実施され、大きいほど遅いタイミングで実施される場合について説明する。ただし、各操作スクリプトの実施タイミングについては、上記のように操作スクリプトＩＤに含まれる数字の値の大小にかかわらず、他の方法によって適宜設定されても良い。
【００３９】
以下、ステップＳ４０３〜Ｓ４１４の処理について具体的に説明する。テスト配分部１４は、まず操作スクリプト実行管理テーブルを参照し、処理対象となっている評価システムについて、実施されるタイミングが遅い操作スクリプトから順にテスト登録が“○”となっている操作スクリプト（以下、「配分対象スクリプト」という。）を検索する（ステップＳ４０４）。
【００４０】
配分対象スクリプトが検索されると、テスト配分部１４は、操作スクリプト実行管理テーブルを参照し、配分対象スクリプトのＩＤと対応付けられている評価システムのうち、最も前テスト時間が短い評価システムを、配分先評価システムと判定する（ステップＳ４０６）。次に、テスト配分部１４は、配分対象スクリプト及び配分先評価システムに対応付けられたステータスが“未実施”であるか否か判定する（ステップＳ４０７）。“未実施”でない場合には、テスト配分部１４はステップＳ４０６の処理に戻り、ステータスが“未実施”の配分先評価システムが見つかるまで繰り返し実行する。なお、ステップＳ４０６の処理を繰り返す際には、一度でも配分先評価システムと判定された評価システムは次回以降の処理において配分先評価システムの対象外となり、テスト配分部１４は残りの評価システムの中で最も前テスト時間が短い評価システムを配分先評価システムと判定する。
【００４１】
ステップＳ４０７の処理において、配分先評価システムのステータスが“未実施”である場合（ステップＳ４０７−ＹＥＳ）、テスト配分部１４は、配分対象スクリプトの前テスト実行時間を加算しても配分先評価システムのテスト推定完了時間がテスト予定完了時間を超過しないことをチェックする（ステップＳ４０８）。具体的には、テスト配分部１４は、テスト実行管理テーブル及び操作スクリプト実行管理テーブルを参照し、配分先評価システムのテスト推定完了時間と配分対象スクリプトの前テスト実行時間を加算する。そして、テスト配分部１４は、加算結果が配分先評価システムのテスト予定完了時間を超えているか否か判定する。
【００４２】
ステップＳ４０８の処理において、前テスト実行時間とテスト推定完了時間との加算結果がテスト予定完了時間を超えない場合（ステップＳ４０８−ＹＥＳ）、テスト配分部１４は、配分先評価システムを確定させ、配分元評価システムに対してテスト対象操作スクリプト停止指示を送信することによって操作スクリプトを実行しないように指示する（ステップＳ４０９）。次に、テスト配分部１４は、配分元評価システムのテスト推定完了時間を、配分対象スクリプトを実行しない場合の時間に更新する（ステップＳ４１０）。具体的には、テスト配分部１４は、テスト実行管理テーブル及び操作スクリプト実行管理テーブルを参照し、配分元評価システムの現時点でのテスト推定完了時間から配分対象スクリプトの前テスト実行時間を減算した値を、新たなテスト推定完了時間として更新する。
【００４３】
次に、テスト配分部１４は、確定した配分先評価システムに対してテスト対象操作スクリプト実行指示を送信することによって、テスト対象操作スクリプトを実行するように指示する（ステップＳ４１１）。次に、テスト配分部１４は、配分先評価システムのテスト推定完了時間を、配分対象スクリプトを実行する場合の時間に更新する（ステップＳ４１２）。具体的には、テスト配分部１４は、テスト実行管理テーブル及び操作スクリプト実行管理テーブルを参照し、配分先評価システムの現時点でのテスト推定完了時間に配分対象スクリプトの前テスト実行時間を加算した値を、新たなテスト推定完了時間とする。
【００４４】
テスト配分部１４は、テスト推定完了時間がテスト予定完了時間を超過した評価システム毎にステップＳ４０３〜ステップＳ４１４を実行することによって、全ての評価システムにおいてテスト推定完了時間がテスト予定完了時間以下となるようにする。しかし、テスト推定完了時間がテスト予定完了時間を超過したにもかかわらず、配分元評価システムにおいて実行する予定のいずれの操作スクリプトについても配分先評価システムが見つからない場合（ステップ４１５−ＹＥＳ）、テスト配分部１４は、配分元評価システムの評価システムＩＤをエラー表示し（ステップＳ４１６）、テスト予定完了時間を超過せざるを得ないことを試験者に報知する。
【００４５】
ここで、ステップＳ４０１〜ステップＳ４１７の処理について具体例を用いて説明する。評価システム“Ｈ１”から、操作スクリプト“Ｃ４”の処理が完了したことについて、テスト実行時間が“３ｈ”、テスト実行結果が“ＮＧ”であるテスト完了通知を受信した場合（図６及び図７の（７）に相当）、評価システム“Ｈ１”のテスト推定完了時間は“６ｈ”となり、テスト完了時間“５ｈ”を超過している。この場合、評価システム“Ｈ１”に実行の登録がなされている操作スクリプトの中で最もテスト実施の遅い操作スクリプトは“Ｃ７”である。操作スクリプト“Ｃ７”において、未実施でかつ最も前テスト時間の短い他の評価システムは、評価システム“Ｈ２”である。したがって、テスト配分部１４は、配分元評価システム“Ｈ１”に対しテスト対象操作スクリプト停止指示を送信し（図６及び図７の（８）に相当）、配分元評価システム“Ｈ１”のテスト推定完了時間を“５ｈ”に更新し（テスト推定完了時間“６ｈ”−テスト前実行時間“１ｈ”）、テスト登録を“×”に更新する。そして、テスト配分部１４は、配分先評価システム“Ｈ２”にテスト対象操作スクリプト実行指示を送信し（図６及び図７の（９）に相当）、配分先評価システム“Ｈ２”のテスト推定完了時間を“８ｈ”に更新し（テスト推定完了時間“７ｈ”＋テスト前実行時間“１ｈ”）、テスト登録を“○”に更新する。
【００４６】
なお、ここで、図６及び図７において想定されている処理の流れについて説明する。テストが開始されてから１時間経過後、評価システム“Ｈ１”は“Ｃ１”の実行を完了しテスト完了通知を送信する（１）。次に、評価システム“Ｈ１”が操作スクリプト“Ｃ４”の実行を開始してテスト実施通知を送信する（２）。次に、テストが開始されてから２時間経過後、評価システム“Ｈ２”は“Ｃ２”の実行を完了しテスト完了通知を送信する（３）。次に、評価システム“Ｈ２”が操作スクリプト“Ｃ９”の実行を開始してテスト実施通知を送信する（４）。次に、テストが開始されてから３時間経過後、評価システム“Ｈ３”は“Ｃ３”の実行を完了しテスト完了通知を送信する（５）、次に、評価システム“Ｈ３”が操作スクリプト“Ｃ６”の実行を開始してテスト実施通知を送信する（６）。
【００４７】
テストが開始されてから４時間経過後、評価システム“Ｈ１”及び評価システム“Ｈ３”は、それぞれ操作スクリプト“Ｃ４”、“Ｃ６”の実行を完了しテスト完了通知を送信する（７）。テスト監視制御サーバー１０は、評価システム“Ｈ１”に対し操作スクリプト“Ｃ７”の実行を停止するようにテスト対象操作スクリプト停止指示を送信し（８）、評価システム“Ｈ２”に対し操作スクリプト“Ｃ７”の実行を行うようにテスト対象操作スクリプト実行指示を送信する（９）。また、評価システム“Ｈ１”が操作スクリプト“Ｃ５”の実行を開始してテスト実施通知を送信し（１０）、評価システム“Ｈ３”が操作スクリプト“Ｃ８”の実行を開始してテスト実施通知を送信する（１１）。
【００４８】
テストが開始されてから５時間経過後、評価システム“Ｈ１”及び評価システム“Ｈ２”は、それぞれ操作スクリプト“Ｃ５”、“Ｃ９”の実行を完了しテスト完了通知を送信する（１２）。テスト監視制御サーバー１０は、評価システム“Ｈ２”に対し操作スクリプト“Ｃ１０”の実行を停止するようにテスト対象操作スクリプト停止指示を送信する（１３）。
【００４９】
テストが開始されてから６時間経過後、評価システム“Ｈ２”及び評価システム“Ｈ３”は、それぞれ操作スクリプト“Ｃ７”、“Ｃ８”の実行を完了しテスト完了通知を送信する（１４）。
【００５０】
次にテスト実施中（すなわち操作スクリプトの実行が始まった後）のテスト削除処理について、図３を用いて説明する。
試験者からテスト削除の指示が入力されると（ステップＳ２０３−ＹＥＳ）、テスト管理情報制御部１３は、操作スクリプト実行管理テーブルを参照し、テスト削除の指示とともに入力された操作スクリプトＩＤに対応するステータスが全て“未実施”であることを確認する（ステップＳ２０４）。“未実施”でないものが一つでもある場合（ステップＳ２０４−ＮＯ）、テスト管理情報制御部１３は、削除することができないと判定し、削除することができない旨のエラー表示を行う（ステップＳ２０８）。
【００５１】
一方、全てのステータスが“未実施”である場合（ステップＳ２０４−ＹＥＳ）、テスト管理情報制御部１３は、削除が可能であると判定し、この操作スクリプトが配分されている評価システムに対してテスト対象操作スクリプト停止指示を送信する（ステップＳ２０５）。そして、テスト管理情報制御部１３は、削除対象となっている操作スクリプト及び評価システムの組み合わせに対応するテスト登録を“×”に更新し（ステップＳ２０６）、この評価システムのテスト推定完了時間から前テスト実行時間を減算する（ステップＳ２０７）。
【００５２】
ここで、ステップＳ２０３〜Ｓ２０７の処理について具体例を用いて説明する。図１１は、操作スクリプト実行管理ＤＢ１２が記憶する操作スクリプト実行管理テーブルの具体例を表す図である。図１２は、テスト実行管理ＤＢ１１が記憶するテスト実行管理テーブルの具体例を表す図である。テスト実施中に操作スクリプト“Ｃ５”についてテスト削除の指示が入力されると（図１１及び図１２の（６）に相当）、評価システム“Ｈ１”、“Ｈ２”、“Ｈ３”のステータスは全て“未実施”であるので、テスト管理情報制御部１３はテスト削除可能と判断する。そこで、テスト管理情報制御部１３は、削除対象の操作スクリプトが配分されている評価システム“Ｈ１”に対し、テスト対象操作スクリプト停止指示を送信し、評価システム“Ｈ１”のテスト推定完了時間を“３ｈ”に更新する（テスト推定完了時間“４ｈ”−前テスト時間“１ｈ”）。
【００５３】
次にテスト実施中（すなわち操作スクリプトの実行が始まった後）のテスト登録処理について、図３及び図４を用いて説明する。
【００５４】
テスト実施中に試験者からテスト登録の指示が入力されると（ステップＳ２０９−ＹＥＳ）、前述したステップＳ２１０〜Ｓ２２３の処理を実行する。図１３は、追加対象のテスト仕様書の具体例を示す図である。例えば、追加対象のテスト登録の内容が図１３に示されるテスト仕様書に定義されたものである場合、テスト管理情報制御部１３は、テスト仕様書に定義された各操作スクリプトＩＤのうち、操作スクリプト実行管理テーブルに登録されていない操作スクリプト“Ｓ１１”が追加対象の操作スクリプトであると判定する。
【００５５】
次に、テスト管理情報制御部１３は、ステップＳ２１０〜Ｓ２２３の処理を行うことによって、評価システム“Ｈ３”のテスト登録を“○”に更新し、評価システム“Ｈ３”にテスト対象操作スクリプト実行指示を送信し、テスト推定完了時間を“９ｈ”に更新する（テスト推定時間“５ｈ”＋前テスト時間“４ｈ”）。この処理は、図１１及び図１２の（７）に相当する。
【００５６】
上記の具体例にそったテスト削除処理及びテスト登録処理が実行されると、（６）で評価システム“Ｈ１”のテスト推定完了推定時間は“３ｈ”（テスト予定完了時間“４ｈ”−前テスト実行時間“１ｈ”）となる。また、操作スクリプト“Ｃ４”のテスト完了通知（１０）では、テスト推定完了時間は“５ｈ”となり、テスト予定完了時間“５ｈ”を超過しない為、配分処理は実施されず最初にテスト登録された操作スクリプト“Ｃ７”が予定通り実施される（１１）。上記により、評価システム“Ｈ２”も影響を受け、テスト実行前にテスト登録された操作スクリプト“Ｃ２”、“Ｃ９”、“Ｃ１０”が配分されることとなり、各完了通知受信時のテスト推定完了時間は“７ｈ”（３）、“９ｈ”（１３）となる。そのため、操作スクリプト“Ｃ１０”がテスト不可と判定される（１４）。一方、評価システム“Ｈ３”のテスト予定完了時間は、操作スクリプト“Ｃ１１”が追加された時点では“９ｈ”（７）となり、操作スクリプト“Ｃ３”完了時には“１０ｈ”となり（８）、操作スクリプト“Ｃ６”完了時には“９ｈ”となり（１０）、操作スクリプト“Ｃ８”完了時には“１０ｈ”となり（１５）、操作スクリプト“Ｃ１１”完了時には“１０ｈ”となる（１６）。
【００５７】
なお、ここで、図１１及び図１２において想定されている処理の流れについて説明する。テストが開始されてから１時間経過後、評価システム“Ｈ１”は“Ｃ１”の実行を完了しテスト完了通知を送信する（１）。次に、評価システム“Ｈ１”が操作スクリプト“Ｃ４”の実行を開始してテスト実施通知を送信する（２）。
テストが開始されてから２時間経過後、評価システム“Ｈ２”は“Ｃ２”の実行を完了しテスト完了通知を送信する（３）。
【００５８】
評価システム“Ｈ２”が操作スクリプト“Ｃ９”の実行を開始してテスト実施通知を送信する（４）。次に、テストが開始されてから２．５時間経過後、試験者によって操作スクリプト“Ｃ５”のテスト削除の指示が入力されるとともに操作スクリプト“Ｃ１１”のテスト登録の指示が入力され（５）、テスト監視制御サーバー１０は評価システム“Ｈ１”に対しテスト対象操作スクリプト停止指示を送信するとともに（６）、評価システム“Ｈ３”に対しテスト対象操作スクリプト実行指示を送信する（７）。
【００５９】
テストが開始されてから３時間経過後、評価システム“Ｈ３”は“Ｃ３”の実行を完了しテスト完了通知を送信する（８）、次に、評価システム“Ｈ３”が操作スクリプト“Ｃ６”の実行を開始してテスト実施通知を送信する（９）。
【００６０】
テストが開始されてから４時間経過後、評価システム“Ｈ１”及び評価システム“Ｈ３”は、それぞれ操作スクリプト“Ｃ４”、“Ｃ６”の実行を完了しテスト完了通知を送信する（１０）。次に、評価システム“Ｈ１”が操作スクリプト“Ｃ７”の実行を開始してテスト実施通知を送信し（１１）、評価システム“Ｈ３”が操作スクリプト“Ｃ８”の実行を開始してテスト実施通知を送信する（１２）。
【００６１】
テストが開始されてから５時間経過後、評価システム“Ｈ１”及び評価システム“Ｈ２”は、それぞれ操作スクリプト“Ｃ７”、“Ｃ９”の実行を完了しテスト完了通知を送信する（１３）。テスト監視制御サーバー１０は、評価システム“Ｈ２”に対し操作スクリプト“Ｃ１０”の実行を停止するようにテスト対象操作スクリプト停止指示を送信する（１４）。
【００６２】
テストが開始されてから６時間経過後、評価システム“Ｈ３”は操作スクリプト“Ｃ８”の実行を完了しテスト完了通知を送信する（１５）。次に、評価システム“Ｈ３”が操作スクリプト“Ｃ１０”の実行を開始してテスト実施通知を送信する。
テストが開始されてから１０時間経過後、評価システム“Ｈ３”は操作スクリプト“Ｃ１０”の実行を完了しテスト完了通知を送信する（１６）。
【００６３】
次に、評価システム２０−１〜２０−Ｎの構成について説明する。以下の説明において、評価システム２０−１〜２０−Ｎの構成は共通するため、単に「評価システム２０」と記載する。
【００６４】
評価システム２０は、テスト監視・制御クライアント２１、自動テストツール管理ＤＢ２２、自動テストツール２３、評価装置２４を備える。
テスト監視・制御クライアント２１は、テスト監視・制御サーバー１０との通信機能を有し、テスト監視・制御サーバー１０から受信する指示に応じて動作する。テスト監視・制御クライアント２１の動作の詳細については後述する。
【００６５】
自動テストツール管理ＤＢ２２は、磁気ハードディスクや半導体記憶装置などの記憶装置を用いて構成され、自動テストツール２３がテストに用いる操作スクリプトのデータと、操作スクリプトの実行予定データと、操作スクリプトの実行毎に自動テストツール２３から出力されるテスト実行結果及びテスト実行時間とを記憶する。操作スクリプトの実行予定データとは、自装置（評価システム２０）に配分されている操作スクリプトのＩＤを示すデータである。
【００６６】
自動テストツール２３は、テスト実行結果を確認する為のテスト効率化ツールである。自動テストツール２３は、自動テストツール管理ＤＢ２２に記憶ＤＢに記憶されている実行予定データを参照し、未実行の操作スクリプトがある場合には、予め設定されている順に操作スクリプトを評価装置２４に実行させ、テストを行う。自動テストツール２３は、操作スクリプトを評価装置２４に実行させる場合、自動テストツール管理ＤＢ２２に記憶されている操作スクリプトのデータを読み出して実行させ、その実行結果（テスト実行結果）及び実行に要した時間（テスト実行時間）を自動テストツール管理ＤＢ２２に書き込む。自動テストツール２３のプログラムは、市販のソフトウェアとして知られているが、本発明とは直接関係しないので、その詳細な構成は省略する。
【００６７】
評価装置２４は、自動テストツール２３が制御するテスト対象の装置である。評価装置２４は、自動テストツール２３、自動テストツール管理ＤＢ２２、及びテスト監視・制御クライアント２１と同じコンピューターに搭載されるソフトウェアによって実現されても良い。評価装置２４は、特にユーザ毎に多種類の装置構成を組む事が可能な組み込みシステムを対象とする。
【００６８】
図１４は、評価システム２０−１〜２０−Ｎの動作を表すフローチャートである。次に評価システム２０−１〜２０−Ｎの処理について説明する。
【００６９】
評価システム２０は、テスト監視制御サーバー１０からテスト対象操作スクリプト実行指示を受信すると（ステップＳ５０１−ＹＥＳ）、テスト対象操作スクリプト実行指示において指定された操作スクリプトＩＤの実行指示処理を実行する（ステップＳ５０２）。具体的には、テスト監視制御クライアント２１は、テスト対象操作スクリプト実行指示において指定された操作スクリプトを実行することを表す実行予定データを生成し、自動テストツール管理ＤＢ２２に登録する。
【００７０】
評価システム２０は、テスト監視制御サーバー１０からテスト対象操作スクリプト停止指示を受信すると（ステップＳ５０３−ＹＥＳ）、テスト対象操作スクリプト停止指示において指定された操作スクリプトＩＤの停止指示処理を実行する（ステップＳ５０４）。具体的には、テスト監視制御クライアント２１は、テスト対象操作スクリプト停止指示において指定された操作スクリプトを実行することを表す実行予定データを自動テストツール管理ＤＢ２２から削除する。
【００７１】
評価システム２０がテスト監視制御サーバー１０からテスト状況収集指示を受信すると（ステップＳ５０５−ＹＥＳ）、テスト監視制御クライアント２１は、テスト状況収集指示において指定された操作スクリプトに関するテスト実行時間及びテスト実行結果を自動テストツール管理ＤＢ２２から読み出す（ステップＳ５０６）。そして、テスト監視制御クライアント２１は、読み出した情報を含むテスト状況収集応答を生成し、テスト監視制御サーバー１０に送信する（ステップＳ５０７）。
【００７２】
テスト監視制御クライアント２１は、自動テストツール２３において新規に完了した操作スクリプトがある場合には（ステップＳ５０８−ＹＥＳ）、完了した操作スクリプトのＩＤを含むテスト完了通知を生成し、テスト監視制御サーバー１０へ送信する（ステップＳ５０９）。その後、自動テストツール２３は、自動テストツール管理ＤＢ２２に記憶されている実行予定データを参照することによって次の操作スクリプトを検索し、次の操作スクリプトがある場合にはその操作スクリプトを評価装置２４において実行させる。
【００７３】
テスト監視制御クライアント２１は、自動テストツール２３において新規に実行開始され操作スクリプトがある場合には（ステップＳ５１０−ＹＥＳ）、開始された操作スクリプトのＩＤを含むテスト実施通知を生成し、テスト監視制御サーバー１０へ送信する（ステップＳ５１１）。
【００７４】
次に、テストシステム１による効果について説明する。テストシステム１によれば、テスト監視・制御サーバー１０に対してテスト仕様書の操作スクリプトＩＤ及び評価システムＩＤを登録することにより、テスト管理情報制御部１３によって自動的に各操作スクリプトが各評価システムに配分される。そのため、試験者は操作スクリプトの配分を手動で行う必要が無くなり、テスト準備に要する工数を短縮することが可能となる。
【００７５】
また、上記のテストシステム１では、操作スクリプトの配分を行う際に、テスト管理情報制御部１３が、操作スクリプト及び評価システム２０毎に前テスト実行時間を収集し、前テスト実行時間が最も短い評価システムを操作スクリプト毎に判定して配分を行う。そのため、テスト実施工数を短縮することが可能となる。
【００７６】
また、従来は、評価装置２４や評価システム２０の予測できない負荷状態や障害発生時に、予定していたテスト時間（例えば前回にテスト実施した時間）を多大に超過する場合があった。また、自動テストツールがインストールされたＰＣ（Personal Computer）内のＯＳ（Operating System）や自動テストツール等のアプリケーションプログラムが途中でハングアップする場合に、テスト中断や再実施で評価システムのテスト進捗が遅れてしまう場合があった。評価システムが有する機能の拡張による操作スクリプトの増大に伴って、総テスト実行時間がユーザへのリリース期限を超えてしまうことがあった。その為、リリース期限を元に評価システムの利用時間を設定し、利用時間の期限を設けたテスト項目抽出と上記を実施する為の方法が求められていた。このような要求に対し、上記のテストシステム１では、テスト監視制御サーバーが操作スクリプトのテスト実行時間の総和によるテスト推定完了時間を自動的に計算し、テスト推定完了時間がテスト予定完了時間を超過しないように、操作スクリプトの配分を行う。そのため、各評価システムにおいて総テスト実行時間がリリース期限（テスト予定完了時間）を超過してしまうことを抑止することが可能となる。
【００７７】
また、上記のテストシステム１では、テスト監視制御サーバー１０が、自動テストツール管理ＤＢ２２が記憶するテスト実行時間を収集し、テストの進捗状況を管理することにより、夜間や休日等で組み込みシステムの予測できない負荷状態や障害発生した評価システムから、テスト予定完了時間に余裕のある他の評価システムに自動的に操作スクリプトの配分を移行し、テスト異常時の負荷分散を即座に実施できることが可能となる。
【００７８】
また、上記のテストシステム１では、テストを中断することなく継続したままで新たな操作スクリプトを登録することや操作スクリプトを削除することが可能となる。そのため、動的なテスト拡張・変更が可能になる。
【００７９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８０】
１…テストシステム，  １０…テスト監視制御サーバー（テスト監視制御サーバー装置），  ２０…評価システム，  １１…テスト実行管理ＤＢ（テスト管理記憶部），  １２…操作スクリプト実行管理ＤＢ（工程管理記憶部），  １３…テスト管理情報制御部（管理部），  １４…テスト配分部，  １５…テスト状況収集部，  ２１…テスト監視制御クライアント，  ２２…自動テストツール管理ＤＢ，  ２３…自動テストツール，  ２４…評価装置
【図１】
2011014020.tif 000003
【図２】
2011014020.tif 000004
【図３】
2011014020.tif 000005
【図４】
2011014020.tif 000006
【図５】
2011014020.tif 000007
【図６】
2011014020.tif 000008
【図７】
2011014020.tif 000009
【図８】
2011014020.tif 000010
【図９】
2011014020.tif 000011
【図１０】
2011014020.tif 000012
【図１１】
2011014020.tif 000013
【図１２】
2011014020.tif 000014
【図１３】
2011014020.tif 000015
【図１４】
2011014020.tif 000016