(57)【要約】【課題】  ケースベースの自動化されたＥメールのテスト方法及びシステムを提供する。【解決手段】  Ｅメールメッセージ情報及び実行構成を含むテストケース構成を生成するテストケース管理サーバを含む、ケースベースの自動化されたＥメールテストのためのシステムであって、テストケース管理サーバが、ユーザ対話を受信してテストケース管理サーバのオペレーションを指揮するように管理インターフェースを機能させるように構成されており、テストケース構成に少なくとも部分的に基づいて、ネットワークを介してアクセス可能な複数のＥメールサーバのオペレーションを指揮するように構成されており、少なくとも複数のＥメールメッセージをテストケース構成のＥメールメッセージ情報の少なくとも１部分と比較するように構成されている、システム。【選択図】図１
2018097845.tif 000002
【特許請求の範囲】
【請求項１】
ケースに基づき自動化されたＥメールのテストのためのシステムにおいて、
テスト情報を記憶及び提供するためのテストデータベースであって、前記テスト情報が、少なくともテスト構成を含み、それぞれのテストケース構成が、少なくとも複数のＥメールメッセージ情報、及び実行構成を含む、テストデータベースと、
前記テストデータベースからテスト情報を取り出し、前記テスト情報に少なくとも部分的に基づいてＥメールメッセージを作成し、ネットワークを介してＥメールサーバへ少なくとも前記Ｅメールメッセージを伝送し、ＥメールサーバからＥメール応答を受信するように構成されており、少なくとも複数のＥメールメッセージをテストケース構成の前記Ｅメールメッセージ情報の少なくとも１部分と比較するように構成されているテストケース管理サーバとからなるシステム。
【請求項２】
前記テストケース管理サーバが、情報を提示してユーザ対話を受信するように構成されているユーザインターフェースをさらに備え、前記テストケース管理サーバが、前記受信されたユーザ対話に少なくとも部分的に基づいて少なくともＥメールサーバのオペレーションを指揮する、請求項１に記載のシステム。
【請求項３】
前記提示された情報が、前記テスト情報の少なくとも１部分を含む、請求項２に記載のシステム。
【請求項４】
前記提示された情報が、前記Ｅメール応答の少なくとも１部分を含む、請求項２に記載のシステム。
【請求項５】
ケースに基づき自動化されたＥメールのテスト方法において、
メモリ内に記憶されている少なくとも複数のプログラミング命令を含み、ネットワークに接続されているコンピューティングデバイスのプロセッサ上で機能し、複数のテストケース構成を生成するように構成されているテストケース管理サーバを使用して、テストケース構成を生成する工程であって、それぞれのテストケース構成が、少なくとも複数のＥメールメッセージ情報、及び実行構成を含み、前記テストケース管理サーバが、前記ネットワークを介してユーザ対話を受信するように構成されている管理インターフェースを機能させるように構成されており、前記管理インターフェースが、前記受信された対話に少なくとも部分的に基づいて前記テストケース管理サーバのオペレーションを指揮するように構成されており、前記テストケース管理サーバが、テストケース構成に少なくとも部分的に基づいて、前記ネットワークを介してアクセス可能な複数のＥメールサーバのオペレーションを指揮するように構成されており、少なくとも複数のＥメールメッセージをテストケース構成、テストケース構成の前記Ｅメールメッセージ情報の少なくとも１部分と比較するように構成されている、工程と、
前記テストケース構成に少なくとも部分的に基づいて複数のＥメールサーバの前記オペレーションを指揮する工程と、
複数のＥメールメッセージをテストケース構成の前記Ｅメールメッセージ情報の少なくとも１部分と比較する工程と、
比較の結果を今後の参照のために記憶する工程とからなる方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンタクト・センタ・オペレーションの分野に関し、より詳細には、Ｅメール通信システムのための方法のためのテストの分野に関する。
【背景技術】
【０００２】
コンタクト・センタ・オペレーションの分野においては、従来、エージェントと顧客との間における通信は、従来の電話システム又はＶｏＩＰ（ｖｏｉｃｅ  ｏｖｅｒ  Ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）システムなどの音声ベースのシステムを介して実行されている。しかしながら、より多くのセンタが、音声接続を利用するためのアクセスを有していない可能性がある顧客、又は音声接続を利用することを望まない可能性がある顧客にさらによくサービス提供するために、当技術分野において一般的に見受けられるＥメールなどのさらなるテキストベースの通信に対応し始めている。これの一般的な例は、顧客が企業のウェブサイト上でオンライン・カタログをブラウズすることであろう。そのようなシナリオにおいては、顧客は、製品に関する質問を有する場合があり、Ｅメールを顧客サービス・アカウントへ送信して、顧客が、オンライン・カタログを依然としてブラウズしながら、及び自分のコンピュータの便利さからエージェントと直接に通信することを可能にすることができる。これは、エージェントに連絡するために電話ベースのインタラクティブ音声ＩＶＲ（ｉｎｔｅｒａｃｔｉｖｅ  ｖｏｉｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ）システムをナビゲートすること、又はエージェントが利用可能になるのを長いキューの中で待つことを必要とせずに、より便利でスピーディーな通信を可能にする。それはまた、顧客が、インターネット・カフェ又は同様の公共のロケーションからオンライン・カタログを見ている場合があって、そこでは顧客は、電話へのアクセスを有することができないか、又は自分の会話が他人によって聞かれることを望まない場合があるなど、よりフレキシブルな通信を可能にする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８２２４９０３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
当技術分野においては音声通信のためのテスト方法が存在するが、そのような方法は、Ｅメールベースのシステムにはうまく通用しない場合がある。さらに、現在、当技術分野において実施されているいくつかのＥメールテストシステムがあるが、そのようなシステムは、機能するのにテストエージェントの対話を必要とし、これは、テストに伴う時間及び労力に関するさらなる費用、テストのプロトコルの信頼性に影響を及ぼす可能性がある人的エラー要因、及び人的オペレーションに関連付けられているさまざまな矛盾などの新たな問題をもたらす。
【０００５】
必要とされているのは、テストケースを利用して、Ｅメールの送信及び受信のＥメールテストを構成及び実行し、レビューのために意味のあるテストレポートを作成する、Ｅメールベースの通信のためのフレキシブルでスケーラブルな自動化されたテスト・ソリューションである。
【課題を解決するための手段】
【０００６】
したがって本発明者は、本発明の好適な実施形態において、ケースベースの自動化されたＥメールテストのためのシステム及び方法を考案し、実行に移した。
本発明は、複数の構成パラメータ及び設定を「テストケース」へとまとめて、情報を入力し直す必要を伴わずに、及びいかなる詳細を失うリスクも伴わずに、テスト構成の便利な記憶及び取り出しを可能にするＥメールテストのケースベースの構成を可能にするシステムを含む。本発明はまた、記憶されているテストケースを使用して時間ベースの及びインターバルベースのテストを可能にし、受信されたＥメールメッセージ情報をテストケース構成と比較して、オペレーションの結果を検査し、受信されたメッセージが予想の結果にマッチしているかどうかを特定するケースベースのＥメールテストのための方法を提供する。
【０００７】
本発明の好適な一実施形態によれば、メモリ内に記憶されている少なくとも複数のプログラミング命令を含み、ネットワークに接続されているコンピューティングデバイスのプロセッサ上で機能し、複数のテストケース構成を生成するように構成されているテストケース管理サーバを含む、ケースベースの自動化されたＥメールテストのためのシステムであって、それぞれのテストケース構成が、少なくとも複数のＥメールメッセージ情報、及び実行構成を含み、テストケース管理サーバが、ネットワークを介してユーザ対話を受信するように構成されている管理インターフェースを機能させるように構成されており、管理インターフェースが、受信された対話に少なくとも部分的に基づいてテストケース管理サーバのオペレーションを指揮するように構成されており、テストケース管理サーバが、テストケース構成に少なくとも部分的に基づいて、ネットワークを介してアクセス可能な複数のＥメールサーバのオペレーションを指揮するように構成されており、少なくとも複数のＥメールメッセージをテストケース構成のＥメールメッセージ情報の少なくとも１部分と比較するように構成されている、システムが開示される。
【０００８】
本発明の別の好適な実施形態によれば、ケースベースの自動化されたＥメールテストのための方法であって、メモリ内に記憶されている少なくとも複数のプログラミング命令を含み、ネットワークに接続されているコンピューティングデバイスのプロセッサ上で機能し、複数のテストケース構成を生成するように構成されているテストケース管理サーバを使用して、テストケース構成を生成する工程であって、それぞれのテストケース構成が、少なくとも複数のＥメールメッセージ情報、及び実行構成を含み、テストケース管理サーバが、ネットワークを介してユーザ対話を受信するように構成されている管理インターフェースを機能させるように構成されており、管理インターフェースが、受信された対話に少なくとも部分的に基づいてテストケース管理サーバのオペレーションを指揮するように構成されており、テストケース管理サーバが、テストケース構成に少なくとも部分的に基づいて、ネットワークを介してアクセス可能な複数のＥメールサーバのオペレーションを指揮するように構成されており、少なくとも複数のＥメールメッセージをテストケース構成、テストケース構成のＥメールメッセージ情報の少なくとも一部分と比較するように構成されている、工程と、テストケース構成に少なくとも部分的に基づいて複数のＥメールサーバのオペレーションを指揮する工程と、複数のＥメールメッセージをテストケース構成のＥメールメッセージ情報の少なくとも一部分と比較する工程と、比較の結果を今後の参照のために記憶する工程とからなる方法が開示される。
【０００９】
本発明の第１の実施形態は、ケースに基づき自動化されたＥメールのテストのためのシステムにおいて、
テスト情報を記憶及び提供するためのテストデータベースであって、前記テスト情報が、少なくともテスト構成を含み、それぞれのテストケース構成が、少なくとも複数のＥメールメッセージ情報、及び実行構成を含む、テストデータベースと、
前記テストデータベースからテスト情報を取り出し、前記テスト情報に少なくとも部分的に基づいてＥメールメッセージを作成し、ネットワークを介してＥメールサーバへ少なくとも前記Ｅメールメッセージを伝送し、ＥメールサーバからＥメール応答を受信するように構成されており、少なくとも複数のＥメールメッセージをテストケース構成の前記Ｅ
メールメッセージ情報の少なくとも１部分と比較するように構成されているテストケース管理サーバとからなるシステムを要旨とする。
【００１０】
本発明の第２の実施形態は、第１の実施形態において、前記テストケース管理サーバが、情報を提示してユーザ対話を受信するように構成されているユーザインターフェースをさらに備え、前記テストケース管理サーバが、前記受信されたユーザ対話に少なくとも部分的に基づいて少なくともＥメールサーバのオペレーションを指揮することを要旨とする。
【００１１】
本発明の第３の実施形態は、第２の実施形態において、前記提示された情報が、前記テスト情報の少なくとも一部分を含むことを要旨とする。
本発明の第４の実施形態は、第２の実施形態において、前記提示された情報が、前記Ｅメール応答の少なくとも一部分を含むことを要旨とする。
【００１２】
本発明の第５の実施形態は、ケースに基づき自動化されたＥメールのテスト方法において、
メモリ内に記憶されている少なくとも複数のプログラミング命令を含み、ネットワークに接続されているコンピューティングデバイスのプロセッサ上で機能し、複数のテストケース構成を生成するように構成されているテストケース管理サーバを使用して、テストケース構成を生成する工程であって、それぞれのテストケース構成が、少なくとも複数のＥメールメッセージ情報、及び実行構成を含み、前記テストケース管理サーバが、前記ネットワークを介してユーザ対話を受信するように構成されている管理インターフェースを機能させるように構成されており、前記管理インターフェースが、前記受信された対話に少なくとも部分的に基づいて前記テストケース管理サーバのオペレーションを指揮するように構成されており、前記テストケース管理サーバが、テストケース構成に少なくとも部分的に基づいて、前記ネットワークを介してアクセス可能な複数のＥメールサーバのオペレーションを指揮するように構成されており、少なくとも複数のＥメールメッセージをテストケース構成、テストケース構成の前記Ｅメールメッセージ情報の少なくとも１部分と比較するように構成されている、工程と、
前記テストケース構成に少なくとも部分的に基づいて複数のＥメールサーバの前記オペレーションを指揮する工程と、
複数のＥメールメッセージをテストケース構成の前記Ｅメールメッセージ情報の少なくとも１部分と比較する工程と、
比較の結果を今後の参照のために記憶する工程とからなる方法を要旨とする。
【００１３】
添付の図面は、本発明のいくつかの実施形態を示しており、記述とともに、それらの実施形態に従って本発明の原理を説明する役割を果たす。図面において示されている特定の実施形態は、例示的なものにすぎず、本発明の範囲又は本明細書における特許請求の範囲をいかなる形においても限定するものとみなされるべきではないということを当業者なら理解するであろう。
【図面の簡単な説明】
【００１４】
【図１】本発明の好適な一実施形態による、ケースベースの自動化されたＥメールテストのための例示的なシステム・アーキテクチャを示すブロック図。
【図２】本発明の好適な一実施形態による、Ｅメール・テストケースを作成及び保存するための例示的な方法を示す流れ図。
【図３】本発明の好適な一実施形態による、ケースベースのＥメールテストのための例示的な方法を示す流れ図。
【図４】本発明の一実施形態において使用されるコンピューティングデバイスの例示的なハードウェア・アーキテクチャを示すブロック図。
【図５】本発明の一実施形態による、クライアントデバイスのための例示的な論理的アーキテクチャを示すブロック図。
【図６】本発明の一実施形態による、クライアント、サーバ、及び外部サービスの例示的なアーキテクチャ上のアレンジを示すブロック図。
【図７】本発明のさまざまな実施形態において使用されるコンピューティングデバイスの例示的なハードウェア・アーキテクチャを示す別のブロック図。
【発明を実施するための形態】
【００１５】
本発明者は、本発明の好適な実施形態において、ケースベースの自動化されたＥメールテストのためのシステム及び方法を考案し、実行に移した。
本出願においては、１つ又は複数の異なる発明が記述されることが可能である。さらに、本明細書において記述されている本発明のうちの１つ又は複数に関しては、多くの代替実施形態が記述されることが可能であり、これらは、もっぱら例示的な目的で提示されており、本明細書に含まれている本発明、又は本明細書において提示されている特許請求の範囲をいかなる形においても限定するものではないということを理解されたい。本発明のうちの１つ又は複数は、多くの実施形態に広く適用できることが可能であり、それは、本開示から容易に明らかであるかもしれない。一般には、実施形態は、当業者が本発明のうちの１つ又は複数を実行することを可能にするために十分に詳細に記述されており、その他の実施形態が利用されることも可能であるということ、ならびに、特定の発明の範囲から逸脱することなく、構造的な、論理的な、ソフトウェア的な、電気的な、及びその他の変更が行われることが可能であるということを理解されたい。したがって、本発明のうちの１つ又は複数は、さまざまな修正及び変更を伴って実行されることが可能であるということを当業者なら認識するであろう。本明細書において記述されている本発明のうちの１つ又は複数の特定の特徴は、１つ又は複数の特定の実施形態又は図を参照しながら記述されることが可能であり、それらの図は、本開示の一部を形成し、それらの図においては、本発明のうちの１つ又は複数の特定の実施形態が、例示として示されている。しかしながら、そのような特徴は、それらの特徴が記述される際に参照されている１つ又は複数の特定の実施形態又は図における使用に限定されないということを理解されたい。本開示は、本発明のうちの１つ又は複数のすべての実施形態の逐語的な記述ではなく、すべての実施形態において存在しなければならない本発明のうちの１つ又は複数の特徴のリストでもない。
【００１６】
本特許出願において提供されているセクションの見出し、及び本特許出願のタイトルは、便宜上のものにすぎず、いかなる形においても本開示を限定するものと取られるべきではない。
【００１７】
互いに通信状態にあるデバイスどうしは、互いに継続的な通信状態にある必要はない（ただし、そうではない旨が明示されている場合は除く）。加えて、互いに通信状態にあるデバイスどうしは、直接に、又は論理的なもしくは物理的な１つもしくは複数の通信手段もしくは媒介物を通じて間接的に通信することができる。
【００１８】
互いに通信状態にあるいくつかのコンポーネントを伴う実施形態の記述は、すべてのそのようなコンポーネントが必要とされるということを意味しない。それどころか、本発明のうちの１つ又は複数のさまざまな可能な実施形態を例示するために、及び本発明の１つ又は複数の態様をより十分に例示するために、さまざまな任意選択のコンポーネントが記述される場合がある。同様に、処理工程、方法工程、アルゴリズムなどが順次記述される場合があるが、そのような処理、方法、及びアルゴリズムは一般に、別の順序で機能するように構成されることが可能である（ただし、そうではない旨が具体的に記載されている場合は除く）。言い換えれば、本特許出願において記述されることが可能である工程どうしのいかなるシーケンス又は順序も、それ自体は、それらの工程がその順序で実行される
必要性を示すものではない。記述されている処理の工程どうしは、現実的な任意の順序で実行されることが可能である。さらに、いくつかの工程は、（たとえば、一方の工程が他方の工程の後に記述されているために）同時にではなく発生するものとして記述又は意味されているにもかかわらず、同時に実行されることが可能である。その上、図面において処理を示すことによるその処理の例示は、その例示されている処理が、その処理に対するその他の変形及び修正を除外するということを意味するものではなく、その例示されている処理又はその処理の工程のうちのいずれかが本発明のうちの１つ又は複数にとって必須であるということを意味するものではなく、その例示されている処理が好適であるということを意味するものではない。また、工程は一般に、実施形態ごとに１回記述されているが、これは、それらの工程が１回発生しなければならないということ、又はそれらの工程が、処理、方法、もしくはアルゴリズムが実施もしくは実行されるたびに１回しか発生することができないということを意味するものではない。いくつかの工程は、いくつかの実施形態もしくはいくつかの発生においては省略されることが可能であり、又はいくつかの工程は、所与の実施形態もしくは発生においては複数回実行されることが可能である。
【００１９】
単一のデバイス又は製品が本明細書において記述されている場合には、単一のデバイス又は製品の代わりに複数のデバイス又は製品が使用されることが可能であるということは容易に明らかであろう。同様に、複数のデバイス又は製品が本明細書において記述されている場合には、複数のデバイス又は製品の代わりに単一のデバイス又は製品が使用されることが可能であるということは容易に明らかであろう。
【００２０】
デバイスの機能又は特徴は、代替として、そのような機能又は特徴を有するものとして明示的に記述されていない１つ又は複数のその他のデバイスによって具体化されることが可能である。したがって、本発明のうちの１つ又は複数のその他の実施形態は、デバイス自体を含む必要がない。
【００２１】
本明細書において記述又は言及される技術及びメカニズムは、明確さのために単数形で記述される場合があるだろう。しかしながら、特定の実施形態は、技術の複数の反復又はメカニズムの複数のインスタンス化を含むことができる（ただし、そうではないと記載されている場合は除く）ということを理解されたい。図における処理の記述又はブロックは、その処理における特定の論理的な機能又は工程を実施するための１つ又は複数の実行可能な命令を含むコードのモジュール、セグメント、又は部分を表していると理解されたい。代替実施態様が、本発明の実施形態の範囲内に含まれており、たとえば機能どうしは、当業者なら理解するであろうが、含まれている機能に応じて、示されている又は論じられている順序から外れた順序（実質的に同時、又は逆の順序を含む）で実行されることが可能である。
概念的なアーキテクチャ
図１は、本発明の好適な一実施形態による、ケースベースの自動化されたＥメールテストのための例示的なシステム・アーキテクチャ１００を示すブロック図である。この実施形態によれば、ケースベースのＥメールテストシステム１１０が、テストケース構成及び実行結果などのケース関連の及びテスト関連の情報を記憶及び提供するテストデータベース１１１と、テストケースを作成し、記憶し、取り出し、実行し、管理インターフェース１１３を機能させるケース管理サーバ１１２とを含むことができ、管理インターフェース１１３は、Ｅメール・テストケースを構成して、たとえばパーソナルコンピュータ又はモバイルデバイスなどの管理者のコンピューティングデバイス１０３からネットワーク１０１を介して指揮するためのインタラクティブなインターフェースを含む。このようにして、管理者は、リモートからテストケースを構成及び実行することができ、テストケース実行のオペレーション又は結果をモニタすることができる。テストケース構成は、（たとえば）メッセージ・フィールド（Ｅメールメッセージにおいて一般的に使用されている「件名」及び「本文」フィールドなど）のためのテキスト情報、特定のＥメールアドレスのオ
ペレーション、もしくはそれらのアドレスとの間でのメッセージの回送を検証するために使用されることが可能である「宛先」及び「差出人」Ｅメールアドレス、メッセージを送信するために使用されることになるサーバ、もしくはメッセージの受信のためのターゲットとなるサーバなどの特定のＥメールサーバ情報、テストケースの実行中に使用されることになる特定の接続、アドレス、もしくは帯域幅などのネットワーク情報、要求に応答するための、もしくはテストケースの全体的な実行のための特定の最小時間もしくは最大時間、もしくはテスト実行頻度及びタイミングを特定するための「パルス」インターバルなどのタイミング情報、又はその他のメッセージ、システム、もしくはケース固有の情報を含むなど、さまざまなＥメール情報を含むことができる。このようにして、テストケースの構成及び実行は、所望の特徴又はコンポーネントを適切にテストするのに必要とされるだけ正確に管理されることが可能であり、構成を繰り返す必要を伴わずに、及びいかなる詳細が失われるリスクも伴わずに、今後の使用のために完全なテストケースとして記憶され取り出されることが可能である。
【００２２】
報告サーバ１１４を使用して、テストケースの実行をモニタし、実行結果から、たとえば、Ｅメールメッセージフィールド（送信者アドレス、受信者アドレス、ヘッダ、本文、及びその他のＥメールデータフィールドなど）、テストケースの実行時間（たとえば、テスト実行中のトラッキング最小／最大時間しきい値）、どのＥメールシステムがテストされたか、又は今後のレビューにとって有用である可能性があるその他のデータを含むレポートを生成することができる。テストケースレポートは、テストデータベース１１１において記憶されて、管理インターフェース１１３を介してレビューのために提示されることが可能である。Ｅメールサーバ１１５は、ケース管理サーバ１１２によって指示されるのに応じてＥメールメッセージを送信及び受信するために使用されることが可能であり、任意選択で、コンタクトセンタの操作において使用されるのと同じＥメールサーバ（すなわち、エージェントと顧客との間においてメッセージを送信及び受信することを担当するＥメールサーバ）であることが可能であり、又は特定のサーバもしくはメッセージの構成をプロダクション・システム上で実施する前にその構成の影響をテストするためなどのテスト目的で使用される別個のＥメールサーバであることが可能である。ウェブ・サーバ１１６は、たとえばテストケースレポートを提示するために、ネットワーク１０１を介してウェブ・ブラウザ・アプリケーションを使用してアクセス可能なインタラクティブなインターフェース、又は管理インターフェース１１３を機能させることができる。
【００２３】
いくつかのアレンジによれば、（たとえば）Ｅメールサーバ１１５から、Ｅメールサービスプロバイダなどのリモートホストによって運営されている外部Ｅメールサーバ１０２、又は（たとえば、管理者もしくはその他のユーザによって運営されている）プライベートＥメールサーバへＥメールメッセージを送信するために、ならびに、もしもいずれかの単一のＥメールサーバが困難を経験した場合にダウンタイムを防止する目的で企業環境においてしばしば利用される冗長性に関する複数のＥメールサーバのテストを可能にするためになど、複数のＥメールサーバが利用されることが可能である。
例示的な実施形態の詳細な説明
図２は、本発明の好適な一実施形態による、Ｅメールテストケースを作成及び保存するための例示的な方法２００を示す流れ図である。最初の工程２０１においては、ユーザが、自分のデバイスを介して（たとえば、パーソナルコンピュータ又はモバイルデバイス上でウェブブラウザを使用して）管理インターフェース１１３にアクセスすることができ、次の工程２０２において認証を行うことができ、したがって管理者として対話を行うことができる。次の工程２０３においては、認証されたユーザは、プレーン・テキストを使用して新たなテストケースを構成して、専門化したトレーニング又は高度なプログラミング知識に対する必要性を伴わずにＥメールテストケースを設計するための使いやすい手段を容易にすることができる。たとえば、管理インターフェース１１３は、実行中に送信されるメッセージに関する「宛先」フィールド及び「差出人」フィールドを記入することなど
、Ｅメール・テストケースの特定の機能を構成するために、又はテストケースの実行を追跡把握するように報告サーバ１１４に関するモニタリング設定又は報告設定を構成するために、複数のプロンプト又はフィールドを提示することができる。次のケース２０４においては、ユーザは、新たなテストケースを保存することができ、その新たなテストケースは、今後の参照のためにテストデータベース１１１において記憶され、次の工程２０５においては、その保存されたテストケースは、取り出されて、（たとえば、そのテストケースが、特定の時刻に、又はＥメールサーバ１１５の構成における変化などのトリガー、ならびにテスト工程の成功もしくは失敗を特定するための応答時間しきい値を使用することなどの時間ベースの実行パラメータに応答して実行するように構成されている場合には、）構成に従って実行されることが可能である。いくつかのアレンジにおいては、ユーザは、特定の機能又は構成の１回限りのテストのためになど、テストケースを手動で実行できることが可能である。
【００２４】
図３は、本発明の好適な一実施形態による、ケースベースのＥメールテストのための例示的な方法３００を示す流れ図である。最初の工程３０１においては、テストケース管理サーバ１１２が、テストデータベース１１１から実行のための記憶されているテストケース構成、たとえば、テスト中にＥメールを生成するための構成された合成Ｅメール情報、又は記憶されているテストパラメータを取り出すことができる。次の工程３０２においては、テストケース管理サーバ１１２は、ロードされたケース構成に基づいて、たとえば、送信に関して特定のＥメールアドレスもしくはサーバを使用することなど、特定の情報もしくは構成を伴うＥメールメッセージを送信するよう、又は受信に関して特定のＥメールサーバもしくはアドレスをチェックするよう複数のＥメールサーバ１１５に指示することができる。次の工程３０３においては、Ｅメールサーバ１１５が、ロードされたケース構成に従って複数のＥメールメッセージを送信することができ、報告工程３０４において報告サーバ１１４によって操作を監視し、ログを取ることが可能である。このようにして、テスト中に複数の合成Ｅメールが生成され、標準的な通信チャネルを介して送信され得るので、合成Ｅメールは、通常の取り扱い用として送信され、それらの合成Ｅメールは、宛先において受信されることが可能であり、それらの合成Ｅメールは次いで、宛先の取り扱い構成に従って分類及び回送されることが可能である。合成Ｅメールは、実際の顧客対話のＥメールとは別個に回送されて、たとえば合成エージェント・ワークステーションへ送信されることが可能であり、合成エージェント・ワークステーションは次いで、構成されているテスト実行情報に従って、自動化された取り扱い及び応答を実行することができる。次の工程３０５においては、Ｅメールサーバ１１５は、複数のＥメールメッセージ（任意選択で、テストケースの一部として送信されたメッセージ、又は、たとえば着信Ｅメールメッセージを使用して受信専用機能をテストするための、テストケースによって生成されなかった受信メッセージ）を受信することができ、受信されたメッセージは、３０６でテストケース管理サーバ１１２へ提供されて、ロードされているテストケース構成に従って予想の結果と比較され得る。たとえば、テストケース構成に従って送信されたＥメールメッセージが受信される場合には、「宛先」フィールド及び「差出人」フィールド、又はメッセージのさまざまな情報フィールド内のテキストのコンテンツなどの特定のメッセージ情報が予想されることが可能であり、メッセージが受信された場合には、そのメッセージは、この予測された結果と比較されて、テストケースの実行、及び実行中に使用されたシステムのオペレーションを検査することができる。加えて、この比較は、特定のＥメールメッセージがテストケースの一部であるかどうか、及びそうである場合にはどの特定のテストケースかを決定するために使用されることが可能である。なぜなら、所与の期間中に複数のテストケースが実行されること又は保留中であることが可能であるからである。報告サーバ１１４は、３０４でオペレーションをモニタしてログを取ることを継続し、テストケース又はテストされたシステムに関するレポートを生成することができ、そのレポートは次いで、今後の参照のために記憶されることが可能である。たとえば、特定のＥメールサーバ又はネットワーク接続を徹底的にテストするために、さまざまな構成を伴う複
数のテストケースが実行されることが可能であり、これらのテストケースの実行は、実行された特定のテストケースに関する複数のテストレポートに加えて任意選択で、当該システムのオペレーションに関するテストレポートとしてログを取られることが可能である。このようにして、Ｅメールテストは、最初のＥメールの作成から、Ｅメールの回送及び取り扱いのそれぞれの工程を通じて、宛先からの応答までのＥメール対話のそれぞれの工程を含むエンドツーエンドのテストオペレーションを含む。
ハードウェア・アーキテクチャ
一般に、本明細書において開示されている技術は、ハードウェア、又はソフトウェア及びハードウェアの組合せの上で実施されることが可能である。たとえば、それらの技術は、オペレーティング・システム・カーネルにおいて、別個のユーザ処理において、ネットワーク・アプリケーションへと結び付けられているライブラリ・パッケージにおいて、特別に構築されたマシン上で、ＡＳＩＣ上で、又はネットワーク・インターフェース・カード上で実施されることが可能である。
【００２５】
本明細書において開示されている実施形態のうちの少なくともいくつかのソフトウェア／ハードウェアのハイブリッド実施態様が、メモリ内に記憶されているコンピュータ・プログラムによって選択的にアクティブ化又は再構成されるプログラム可能なネットワーク常駐型のマシン（断続的に接続されるネットワーク認識型のマシンを含むと理解されたい）の上で実施されることが可能である。そのようなネットワーク・デバイスは、さまざまなタイプのネットワーク通信プロトコルを利用するように構成又は設計されることが可能である複数のネットワーク・インターフェースを有することができる。これらのマシンのいくつかに関する一般的なアーキテクチャは、本明細書においては、所与の機能のユニットを実施することができる１つ又は複数の例示的な手段を例示するために記述されている場合がある。特定の実施形態によれば、本明細書において開示されているさまざまな実施形態の特徴又は機能のうちの少なくともいくつかは、１つ又は複数のネットワークに関連付けられている１つ又は複数の汎用コンピュータ、たとえば、エンドユーザコンピュータシステム、クライアントコンピュータ、ネットワークサーバもしくはその他のサーバシステム、モバイルコンピューティングデバイス（たとえば、タブレット・コンピューティングデバイス、モバイル電話、スマートフォン、ラップトップ、もしくはその他の適切なコンピューティングデバイス）、消費者電子デバイス、ミュージック・プレーヤ、もしくはその他の任意の適切な電子デバイス、ルータ、スイッチ、もしくはその他の適切なデバイス、又はそれらの任意の組合せなどの上で実施されることが可能である。少なくともいくつかの実施形態においては、本明細書において開示されているさまざまな実施形態の特徴又は機能のうちの少なくともいくつかは、１つ又は複数の仮想化されたコンピューティング環境（たとえば、ネットワーク・コンピューティング・クラウド、１つもしくは複数の物理的なコンピューティングマシン上にホストされている仮想マシン、又はその他の適切な仮想環境）において実施されることが可能である。
【００２６】
次いで図４を参照すると、本明細書において開示されている特徴又は機能の少なくとも１部分を実施するのに適している例示的なコンピューティングデバイス１０を示すブロック図が示されている。コンピューティングデバイス１０は、たとえば、前のパラグラフにおいて列挙されているコンピューティングマシンのうちのいずれか１つ、又は実際には、メモリ内に記憶されている１つもしくは複数のプログラムに従ってソフトウェアベースの命令もしくはハードウェアベースの命令を実行することができるその他の任意の電子デバイスであることが可能である。コンピューティングデバイス１０は、ワイド・エリア・ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、ワイヤレス・ネットワーク、インターネット、又はその他の任意のネットワークなどの通信ネットワークを介して、クライアント又はサーバなどの複数のその他のコンピューティングデバイスと通信することを、ワイヤレスか、又は有線かを問わず、そのような通信のための知られているプロトコルを使用して行うように構成されることが可能である。
【００２７】
一実施形態においては、コンピューティングデバイス１０は、１つ又は複数のＣＰＵ（中央処理装置）１２、１つ又は複数のインターフェース１５、及び１つ又は複数のバス１４（ＰＣＩ（ｐｅｒｉｐｈｅｒａｌ  ｃｏｍｐｏｎｅｎｔ  ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなど）を含む。適切なソフトウェア又はファームウェアの制御下で作動している場合には、ＣＰＵ１２は、特別に構成されたコンピューティングデバイス又はマシンの機能に関連付けられている特定の機能を実施することを担当することができる。たとえば、少なくとも１つの実施形態においては、コンピューティングデバイス１０は、ＣＰＵ１２、ローカルメモリ１１及び／又はリモートメモリ１６、ならびにインターフェース１５を利用するサーバシステムとして機能するように構成又は設計されることが可能である。少なくとも１つの実施形態においては、たとえば、オペレーティングシステム及び任意の適切なアプリケーション・ソフトウェア、ドライバなどを含むことができるソフトウェア・モジュール又はコンポーネントの制御下でさまざまなタイプの機能及び／又はオペレーションのうちの１つ又は複数を、ＣＰＵ１２に実行させることが可能である。
【００２８】
ＣＰＵ１２は、たとえば、マイクロプロセッサのＩｎｔｅｌ、ＡＲＭ、Ｑｕａｌｃｏｍｍ、及びＡＭＤファミリーのうちの１つからのプロセッサなどの１つ又は複数のプロセッサ１３を含むことができる。いくつかの実施形態においては、プロセッサ１３は、コンピューティングデバイス１０のオペレーションを制御するために、特別に設計されているハードウェア、たとえば、特定用途向け集積回路（ＡＳＩＣ）、電気的消去可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）などを含むことができる。特定の一実施形態においては、ローカルメモリ１１（不揮発性のランダム・アクセス・メモリ（ＲＡＭ）及び／又は読出し専用メモリ（ＲＯＭ）など、たとえば、１つ又は複数のレベルのキャッシュ型メモリを含む）が、ＣＰＵ１２の一部を形成することもできる。しかしながら、メモリをシステム１０に結合することができる多くの異なる方法がある。メモリ１１は、たとえば、データ、プログラミング命令などをキャッシュ及び／又は記憶することなど、さまざまな目的で使用されることが可能である。ＣＰＵ１２は、モバイルデバイス又は統合されたデバイスにおいて使用するためなどの、当技術分野においてますます一般的になっているＱＵＡＬＣＯＭＭ  ＳＮＡＰＤＲＡＧＯＮ（商標）又はＳＡＭＳＵＮＧ  ＥＸＹＮＯＳ（商標）ＣＰＵなど、メモリ又はグラフィックス処理チップなどのさらなるハードウェアを含むことができるさまざまなＳＯＣ（ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）タイプのハードウェアのうちの１つであることが可能であるということをさらに理解されたい。
【００２９】
本明細書において使用される際には、「プロセッサ」という用語は、当技術分野においてプロセッサ、モバイル・プロセッサ、又はマイクロプロセッサと呼ばれている集積回路だけに限定されず、マイクロコントローラ、マイクロコンピュータ、プログラマブル・ロジック・コントローラ、特定用途向け集積回路、及びその他の任意のプログラム可能な回路を広く指す。
【００３０】
一実施形態においては、インターフェース１５は、ネットワーク・インターフェース・カード（ＮＩＣ）として提供される。一般にＮＩＣは、コンピュータ・ネットワークを介したデータ・パケットの送信及び受信を制御し、その他のタイプのインターフェース１５は、たとえば、コンピューティングデバイス１０とともに使用されるその他の周辺機器をサポートすることができる。提供されることが可能であるインターフェースの中には、イーサネット・インターフェース、フレーム・リレー・インターフェース、ケーブル・インターフェース、ＤＳＬインターフェース、トークン・リング・インターフェース、グラフィックス・インターフェースなどがある。加えて、たとえば、ユニバーサル・シリアル・バス（ＵＳＢ）、Ｓｅｒｉａｌ、Ｅｔｈｅｒｎｅｔ、ＦＩＲＥＷＩＲＥ（商標）、ＴＨＵＮＤＥＲＢＯＬＴ（商標）、ＰＣＩ、パラレル、無線周波数（ＲＦ）、ＢＬＵＥＴＯＯＴ
Ｈ（商標）、近距離無線通信（たとえば、近距離磁気を使用した）、８０２．１１（ＷｉＦｉ）、フレーム・リレー、ＴＣＰ／ＩＰ、ＩＳＤＮ、高速Ｅｔｈｅｒｎｅｔインターフェース、Ｇｉｇａｂｉｔ  Ｅｔｈｅｒｎｅｔインターフェース、ＳＡＴＡ（Ｓｅｒｉａｌ
ＡＴＡ）インターフェース又はＥＳＡＴＡ（ｅｘｔｅｒｎａｌ  ＳＡＴＡ）インターフェース、ＨＤＭＩ（ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  ｍｕｌｔｉｍｅｄｉａ  ｉｎｔｅｒｆａｃｅ）、ＤＶＩ（ｄｉｇｉｔａｌ  ｖｉｓｕａｌ  ｉｎｔｅｒｆａｃｅ）、アナログ・オーディオ・インターフェース又はデジタル・オーディオ・インターフェース、非同期転送モード（ＡＴＭ）インターフェース、高速シリアル・インターフェース（ＨＳＳＩ）インターフェース、ＰＯＳ（Ｐｏｉｎｔ  ｏｆ  Ｓａｌｅ）インターフェース、ＦＤＤＩ（ｆｉｂｅｒ  ｄａｔａ  ｄｉｓｔｒｉｂｕｔｅｄ  ｉｎｔｅｒｆａｃｅ）等などのさまざまなタイプのインターフェースが提供されることが可能である。一般に、そのようなインターフェース１５は、適切なメディアとの通信に適している物理的なポートを含むことができる。いくつかのケースにおいては、それらは、独立したプロセッサ（ハイファイＡ／Ｖハードウェア・インターフェースに関する技術分野においては一般的である専用のオーディオ・プロセッサ又はビデオ・プロセッサなど）、ならびにいくつかの場合においては、揮発性及び／又は不揮発性のメモリ（たとえば、ＲＡＭ）を含むこともできる。
【００３１】
図４において示されているシステムは、本明細書において記述されている本発明のうちの１つ又は複数を実施するためのコンピューティングデバイス１０のための１つの特定のアーキテクチャを示しているが、それは決して、本明細書において記述されている特徴及び技術の少なくとも１部分が実施されることが可能である唯一のデバイス・アーキテクチャではない。たとえば、１つ又は任意の数のプロセッサ１３を有するアーキテクチャが使用されることが可能であり、そのようなプロセッサ１３は、単一のデバイスにおいて存在すること、又は任意の数のデバイスの間で分散されることが可能である。一実施形態においては、単一のプロセッサ１３が、通信ならびに回送の計算を取り扱い、その一方でその他の実施形態においては、別個の専用の通信プロセッサが提供されることが可能である。さまざまな実施形態においては、クライアントデバイス（クライアント・ソフトウェアを稼働させるタブレット・デバイス又はスマートフォンなど）及びサーバシステム（以降でさらに詳細に記述されているサーバシステムなど）を含む本発明によるシステムにおいて、さまざまなタイプの特徴又は機能が実施されることが可能である。
【００３２】
ネットワーク・デバイス構成にかかわらずに、本発明のシステムは、データ、汎用ネットワーク・オペレーションのためのプログラム命令、又は本明細書において記述されている実施形態の機能に関連しているその他の情報（又は上記の任意の組合せ）を記憶するように構成されている１つ又は複数のメモリ又はメモリ・モジュール（たとえば、リモートメモリブロック１６及びローカルメモリ１１など）を採用することができる。プログラム命令は、たとえば、オペレーティングシステム及び／もしくは１つもしくは複数のアプリケーションの実行を制御すること、又はオペレーティングシステム及び／もしくは１つもしくは複数のアプリケーションを含むことが可能である。メモリ１６又はメモリ１１、１６は、データ構造、構成データ、暗号化データ、システム・オペレーション履歴情報、又は、本明細書において記述されているその他のいずれかの特定のもしくは一般的な非プログラム情報を記憶するように構成されることも可能である。
【００３３】
そのような情報及びプログラム命令は、本明細書において記述されている１つ又は複数のシステム又は方法を実施するために採用されることが可能であるので、少なくともいくつかのネットワーク・デバイス実施形態は、非一時的なマシン可読ストレージ・メディアを含むことができ、その非一時的なマシン可読ストレージ・メディアは、たとえば、本明細書において記述されているさまざまなオペレーションを実行するためのプログラム命令、状態情報などを記憶するように構成又は設計されることが可能である。そのような非一時的なマシン可読ストレージ・メディアの例は、磁気メディア、たとえばハード・ディス
ク、フロッピー・ディスク、及び磁気テープ、光メディア、たとえばＣＤ−ＲＯＭディスク、光磁気メディア、たとえば光ディスク、及び、プログラム命令を記憶及び実行するように特別に構成されているハードウェア・デバイス、たとえば読出し専用メモリ（ＲＯＭ）、フラッシュメモリ（モバイルデバイス及び統合されたシステムにおいて一般的である）、ソリッド・ステート・ドライブ（ＳＳＤ）、及び、ソリッド・ステートの物理的なコンポーネントとハード・ディスク・ドライブとを単一のハードウェア・デバイスにおいて組み合わせることができる「ハイブリッドＳＳＤ」ストレージ・ドライブ（パーソナルコンピュータに関する技術分野においてますます一般的になっている）、メモリスタ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）などを含むが、それらには限定されない。そのようなストレージ手段は、一体型で取り外し不能であること（マザーボード上にはんだ付けされること、もしくはその他の形で電子デバイス内に統合されることが可能であるＲＡＭハードウェア・モジュールなどであること）が可能であり、又はそれらのストレージ手段は、取り外し可能であること、たとえば、スワップ可能なフラッシュメモリ・モジュール（「サム・ドライブ」、もしくは物理的なストレージ・デバイスどうしを迅速に交換するように設計されているその他の取り外し可能なメディアなど）、「ホットスワップ可能な」ハード・ディスク・ドライブもしくはソリッド・ステート・ドライブ、取り外し可能な光ストレージ・ディスク、もしくはその他のそのような取り外し可能なメディアであることが可能であるということ、ならびに、そのような一体型で取り外し可能なストレージ・メディアどうしは、交換可能に利用されることが可能であるということを理解されたい。プログラム命令の例は、コンパイラによって生成されることが可能であるなどのオブジェクト・コード、アセンブラもしくはリンカーによって生成されることが可能であるなどのマシン・コード、たとえばＪＡＶＡ（商標）コンパイラによって生成されることが可能であり、Ｊａｖａ仮想マシンもしくは同等物を使用して実行されることが可能であるなどのバイト・コード、又は、インタープリタを使用してコンピュータによって実行されることが可能であるさらに高いレベルのコード（たとえば、Ｐｙｔｈｏｎ、Ｐｅｒｌ、Ｒｕｂｙ、Ｇｒｏｏｖｙ、もしくはその他の任意のスクリプト言語で書かれたスクリプト）を含むファイルの両方を含む。
【００３４】
いくつかの実施形態においては、本発明によるシステムは、スタンドアロンのコンピューティング・システム上で実施されることが可能である。次いで図５を参照すると、スタンドアロンのコンピューティング・システム上での１つ又は複数の実施形態又はそのコンポーネントの典型的な例示的なアーキテクチャを示すブロック図が示されている。コンピューティングデバイス２０は、たとえばクライアントアプリケーション２４など、本発明の実施形態の１つ又は複数の機能又はアプリケーションを実行するソフトウェアを稼働させることができるプロセッサ２１を含む。プロセッサ２１は、たとえば、あるバージョンのＭＩＣＲＯＳＯＦＴ  ＷＩＮＤＯＷＳ（商標）オペレーティングシステム、ＡＰＰＬＥ
ＯＳＸ（商標）又はｉＯＳ（商標）オペレーティングシステム、何らかの種類のＬｉｎｕｘオペレーティングシステム、ＡＮＤＲＯＩＤ（商標）オペレーティングシステム等などのオペレーティングシステム２２の制御下で計算命令を実行することができる。多くのケースにおいては、１つ又は複数の共有サービス２３が、システム２０において機能できることが可能であり、共通サービスをクライアントアプリケーション２４に提供する上で役立つことが可能である。サービス２３は、たとえば、ＷＩＮＤＯＷＳ（商標）サービス、Ｌｉｎｕｘ環境におけるユーザスペース共通サービス、又は、オペレーティングシステム２１とともに使用されるその他の任意のタイプの共通サービス・アーキテクチャであることが可能である。入力デバイス２８は、ユーザ入力を受け取るのに適している任意のタイプのものであることが可能であり、たとえば、キーボード、タッチスクリーン、マイクロフォン（たとえば、音声入力用）、マウス、タッチパッド、トラックボール、又はそれらの任意の組合せを含む。出力デバイス２７は、システム２０にとってリモートであるか、又はローカルであるかを問わず、１人又は複数のユーザに出力を提供するのに適している任意のタイプのものであることが可能であり、たとえば、視覚出力用の１つもしくは複
数のスクリーン、スピーカ、プリンタ、又はそれらの任意の組合せを含むことができる。メモリ２５は、たとえばソフトウェアを稼働させるために、プロセッサ２１によって使用するための、当技術分野において知られている任意の構造及びアーキテクチャを有するランダム・アクセス・メモリであることが可能である。ストレージ・デバイス２６は、デジタル形式でデータを記憶するための任意の磁気的、光学的、機械的、メモリスタ、又は電気的ストレージ・デバイス（図４を参照して上述されているものなど）であることが可能である。ストレージ・デバイス２６の例は、フラッシュメモリ、磁気ハード・ドライブ、ＣＤ−ＲＯＭなどを含む。
【００３５】
いくつかの実施形態においては、本発明のシステムは、分散コンピューティング・ネットワーク、たとえば、任意の数のクライアント及び／又はサーバを有するものなどの上で実施されることが可能である。次いで図６を参照すると、本発明の一実施形態によるシステムの少なくとも１部分を分散コンピューティング・ネットワーク上で実施するための例示的なアーキテクチャ３０を示すブロック図が示されている。この実施形態によれば、任意の数のクライアント３３が提供されることが可能である。それぞれのクライアント３３は、本発明のクライアント側部分を実施するためのソフトウェアを稼働させることができ、クライアントは、システム２０、たとえば、図５において示されているものを含むことができる。加えて、１つ又は複数のクライアント３３から受信された要求を取り扱うために、任意の数のサーバ３２が提供されることが可能である。クライアント３３及びサーバ３２は、１つ又は複数の電子ネットワーク３１を介して互いに通信することができ、電子ネットワーク３１は、さまざまな実施形態においては、インターネット、ワイド・エリア・ネットワーク、モバイル・テレフォニー・ネットワーク（ＣＤＭＡもしくはＧＳＭセルラー・ネットワークなど）、ワイヤレス・ネットワーク（ＷｉＦｉ、ＷｉＭＡＸ、ＬＴＥ等など）、又はローカル・エリア・ネットワーク（又は実際には、当技術分野において知られている任意のネットワーク・トポロジ。本発明が、いずれか１つのネットワーク・トポロジをその他のいずれかのネットワーク・トポロジよりも好むということはない）のうちの任意のものであることが可能である。ネットワーク３１は、たとえば有線プロトコル及び／又はワイヤレス・プロトコルを含む任意の知られているネットワーク・プロトコルを使用して実施されることが可能である。
【００３６】
加えて、いくつかの実施形態においては、サーバ３２は、必要とされる場合には外部サービス３７を呼び出して、さらなる情報を入手すること、又は特定の呼び出しに関するさらなるデータを参照することが可能である。外部サービス３７との通信は、たとえば１つ又は複数のネットワーク３１を介して、生じることが可能である。さまざまな実施形態においては、外部サービス３７は、ハードウェア・デバイス自体に関連した、又はハードウェア・デバイス自体の上にインストールされているウェブ対応サービス又は機能を含むことができる。たとえば、クライアントアプリケーション２４がスマートフォン又はその他の電子デバイス上に実装されている一実施形態においては、クライアントアプリケーション２４は、クラウド内のサーバシステム３２において、又は特定の企業のもしくはユーザの敷地のうちの１つもしくは複数の上に展開されている外部サービス３７上に記憶されている情報を入手することができる。
【００３７】
本発明のいくつかの実施形態においては、クライアント３３又はサーバ３２（又はその両方）は、ローカルに、又は１つもしくは複数のネットワーク３１を介してリモートに展開されることが可能である１つ又は複数の専門化したサービス又はアプライアンスを利用することができる。たとえば、本発明の１つ又は複数の実施形態によって、１つ又は複数のデータベース３４が使用又は参照されることが可能である。データベース３４は、さまざまなアーキテクチャで、及びさまざまなデータ・アクセス／操作手段を使用してアレンジされることが可能であるということを当業者なら理解するはずである。たとえば、さまざまな実施形態においては、１つ又は複数のデータベース３４は、ＳＱＬ（ｓｔｒｕｃｔ
ｕｒｅｄ  ｑｕｅｒｙ  ｌａｎｇｕａｇｅ）を使用するリレーショナル・データベース・システムを含むことができ、その一方でその他のデータベース３４は、代替のデータ・ストレージ技術、たとえば、当技術分野において「ＮｏＳＱＬ」と呼ばれているもの（たとえば、ＨＡＤＯＯＰ  ＣＡＳＳＡＮＤＲＡ（商標）、ＧＯＯＧＬＥ  ＢＩＧＴＡＢＬＥ（商標）など）を含むことができる。いくつかの実施形態においては、異形のデータベース・アーキテクチャ、たとえば、カラム指向データベース、インメモリ・データベース、クラスタ化されたデータベース、分散データベース、又はフラット・ファイル・データ・リポジトリでさえ、本発明に従って使用されることが可能である。本明細書における特定の実施形態に関して特定のデータベース技術又はコンポーネントの特定のアレンジが指定されていない限り、必要に応じて、既知の又は将来のデータベース技術の任意の組合せが使用されることが可能であるということを当業者なら理解するであろう。その上、本明細書において使用される「データベース」という用語は、物理的なデータベース・マシン、単一のデータベース・システムとして作動するマシンのクラスタ、又は全体的なデータベース管理システム内の論理データベースを指すことが可能であるということを理解されたい。「データベース」という用語の所与の使用に関して特定の意味が指定されていない限り、それは、その言葉のこれらの意味のうちのいずれかを意味すると解釈されるべきであり、それらの意味はすべて、当業者によって「データベース」という用語の平易な意味として理解される。
【００３８】
同様に、本発明のほとんどの実施形態は、１つ又は複数のセキュリティー・システム３６及び構成システム３５を利用することができる。セキュリティー及び構成の管理は、一般的なＩＴ（情報技術）及びウェブの機能であり、それぞれのいくらかの量が一般に、いずれかのＩＴシステム又はウェブ・システムに関連付けられている。いずれかの特定の実施形態の記述によって特定のセキュリティー３６又は構成システム３５又はアプローチが具体的に必要とされていない限り、現在、又は将来に当技術分野において知られている任意の構成サブシステム又はセキュリティー・サブシステムが、限定を伴わずに、本発明の実施形態とともに使用されることが可能であるということを当業者なら理解するはずである。
【００３９】
図７は、コンピュータ・システム４０の例示的な概観を、このシステムの全体にわたってさまざまなロケーションのうちのいずれかにおいて使用されることが可能であるものとして示している。これは、コードを実行してデータを処理することができる任意のコンピュータの例示である。本明細書において開示されているシステム及び方法のさらに広い範囲から逸脱することなく、コンピュータ・システム４０に対してさまざまな修正及び変更が行われることが可能である。中央処理装置（ＣＰＵ）４１が、バス４２に接続されており、そのバスにはまた、メモリ４３、不揮発性メモリ４４、ディスプレイ４７、Ｉ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ）ユニット４８、及びネットワーク・インターフェース・カード（ＮＩＣ）５３が接続されている。Ｉ／Ｏユニット４８は、典型的には、キーボード４９、ポインティング・デバイス５０、ハード・ディスク５２、及びリアルタイム・クロック５１に接続されることが可能である。ＮＩＣ５３は、ネットワーク５４に接続しており、ネットワーク５４は、インターネット又はローカル・ネットワークであることが可能であり、そのローカル・ネットワークは、インターネットへの接続を有することが可能であり、又は有さないことも可能である。電源ユニット４５も、システム４０の一部として示されており、この例においては、メイン交流（ＡＣ）電源４６に接続されている。存在していることが可能であるバッテリー、ならびに、よく知られているが、本明細書において開示されている目下のシステム及び方法の特定の新規な機能に適用可能ではないその他の多くのデバイス及び修正は、示されていない。示されているいくつかの又はすべてのコンポーネントは、さまざまな統合されたアプリケーション、たとえばＱｕａｌｃｏｍｍもしくはＳａｍｓｕｎｇのＳＯＣ（ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）デバイスにおいて、又は複数の性能もしくは機能を単一のハードウェア・デバイスへと（たとえば、スマート
フォンなどのモバイルデバイス、ビデオ・ゲーム・コンソール、自動車におけるナビゲーション・システムもしくはマルチメディア・システムなどの車載コンピュータ・システム、もしくはその他の統合されたハードウェア・デバイスにおいて）組み合わせることが適切である可能性がある場合は常に、といった具合に組み合わされることが可能であるということを理解されたい。
【００４０】
さまざまな実施形態においては、本発明のシステム又は方法を実施するための機能は、任意の数のクライアント・コンポーネント及び／又はサーバ・コンポーネントの間で分散されることが可能である。たとえば、本発明に関連してさまざまな機能を実行するために、さまざまなソフトウェア・モジュールが実施されることが可能であり、そのようなモジュールは、さまざまに実施されて、サーバ・コンポーネント及び／又はクライアント・コンポーネント上で稼働することが可能である。
【００４１】
当業者なら、上述のさまざまな実施形態の可能な修正の範囲を認識するであろう。したがって本発明は、特許請求の範囲及びそれらの均等物によって定義される。
【符号の説明】
【００４２】
１１１…テストデータベース、１１２…テストケース管理サーバ。
【図１】
2018097845.tif 000003
【図２】
2018097845.tif 000004
【図３】
2018097845.tif 000005
【図４】
2018097845.tif 000006
【図５】
2018097845.tif 000007
【図６】
2018097845.tif 000008
【図７】
2018097845.tif 000009