(57)【要約】過去の試験において生じた誤りと同様の誤りを予測してテストシナリオを生成する試験装置を提供する。試験装置は、処理部を備える。処理部は、試験対象のプロジェクトに関する情報から、当該プロジェクトにおいて試験を行うためのテストシナリオを生成する。また、試験装置は、テストシナリオにおける個々の処理を規定する、複数のテストケース情報が格納されるテストケースデータベースと通信する。
2020137096.tif 000002
【特許請求の範囲】
【請求項１】
試験対象のプロジェクトに関する情報から、前記プロジェクトにおいて試験を行うためのテストシナリオを生成する処理部を備え、
前記処理部は、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに対し、機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに格納された、少なくとも既存のプロジェクトに関する情報および前記テストシナリオにおける個々の処理を規定する複数のテストケースに関する情報に基づいて、各プロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させる学習部と、
前記試験対象のプロジェクトに関する情報を、前記誤り予測モデルに入力して、各前記テストケースと対応する各誤り予測情報を取得する誤り予測情報取得部と、
取得された前記誤り予測情報と対応する前記テストケースによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、前記誤り予測情報に付加するリスク評価部と、
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するテスト項目生成部と、
前記機械学習データベースに含まれるテストケースデータベースから、前記テスト項目情報が含む前記試験の項目に対応するテストケース情報を取得するテストケース情報取得／生成部と、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するテストシナリオ生成部と、を含む、
試験装置。
【請求項２】
前記テスト項目生成部は、前記リスク評価値が、所定の閾値よりも高いテストケース全てについて、前記テスト項目情報を生成する、請求項１に記載の試験装置。
【請求項３】
前記テスト項目生成部は、前記リスク評価値が、所定の閾値よりも高いテストケースのうちの、重要なテストケースについて、前記テスト項目情報を生成する、請求項１に記載の試験装置。
【請求項４】
前記テストケース情報取得／生成部は、前記テストケースデータベースに、各前記テスト項目情報が示す試験の内容を示すテストケース情報がないと判断した場合、テストケース情報を生成する、請求項１〜３のうちのいずれか一項に記載の試験装置。
【請求項５】
前記処理部はさらに、前記テストシナリオに従って、対象装置の試験を実行するテストシナリオ実行部を含む、請求項１〜４のうちのいずれか一項に記載の試験装置。
【請求項６】
前記処理部はさらに、前記テストシナリオに従って対象装置の試験を実行した結果に基づいて、前記誤り予測モデルを学習させる、テスト結果比較情報投入部を含む、請求項５に記載の試験装置。
【請求項７】
請求項１に記載の試験装置を含む開発支援装置であって、
試験完了時に残存している残存誤り予測情報から、関連するリスク及びその対策を提示するプロジェクト診断モデルを備え、
更に、試験完了時に残存している残存誤り予測情報に基づいて、プロジェクト診断モデルを学習させるプロジェクト診断モデル学習部を含む、
開発支援装置。
【請求項８】
前記プロジェクト診断モデル学習部は、更に、
非構造化データのテキスト解析結果に基づく、非構造化データと、残存誤りに対するリスク及びその対策が明確である教師ありデータとの類似性の分析や、トレーサビリティ情報を活用することにより、実際に対策が必要となった対応の特徴要素を抽出し、
更に、前記プロジェクト診断モデル学習部は、非構造化データのテキスト解析結果と、抽出された特徴要素とを、規則性のある構造化データに変換する非構造化データ変換部を含む、請求項７に記載の開発支援装置。
【請求項９】
更に、残存していると予測される誤りからプロジェクト診断モデルで出力されるリスクが既知もしくは未知なのかを判別した上で、優先度を判断して対策項目を提示する優先度調整部を含む、
請求項８に記載の開発支援装置。
【請求項１０】
前記プロジェクト診断モデルに対して、既存のプロジェクトに関する情報に基づいて、各プロジェクトにおける試験完了時点での残存している残存誤り予測情報から、関連するリスクに基づく対策案がどの程度効果があったか否かを入力して、学習させるリスク対策効果判定入力部を含む、
請求項９に記載の開発支援装置。
【請求項１１】
機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに含まれ、テストシナリオにおける個々の処理を規定する複数のテストケース情報が格納される、テストケースデータベースと、通信可能であり、
試験対象のプロジェクトに関する情報から、前記プロジェクトにおいて試験を行うためのテストシナリオを生成する処理部を備える、
試験システムであって、
前記処理部は、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに対し、既存のプロジェクトに関する情報に基づいて、各プロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させる学習部と、
前記試験対象のプロジェクトに関する情報を、前記誤り予測モデルに入力して、各前記テストケースと対応する各誤り予測情報を取得する誤り予測情報取得部と、
取得された前記誤り予測情報と対応する前記テストケースによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、前記誤り予測情報に付加するリスク評価部と、
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するテスト項目生成部と、
前記テストケースデータベースから、前記テスト項目情報が含む前記試験の項目に対応するテストケース情報を取得するテストケース情報取得／生成部と、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するテストシナリオ生成部と、を含む、
試験システム。
【請求項１２】
請求項１１に記載の試験システムを含む開発支援システムであって、
試験完了時に残存している残存誤り予測情報から、関連するリスク及びその対策を提示するプロジェクト診断モデルを備え、
更に、試験完了時に残存している残存誤り予測情報に基づいて、プロジェクト診断モデルを学習させるプロジェクト診断モデル学習部を含む、
開発支援システム。
【請求項１３】
試験対象のプロジェクトに関する情報から、前記プロジェクトにおいて試験を行うためのテストシナリオを生成する、試験のためのコンピュータプログラムにおいて、
機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに含まれ、テストシナリオにおける個々の処理を規定する複数のテストケース情報が格納される、テストケースデータベースを、設定するステップと、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに対し、既存のプロジェクトに関する情報に基づいて、各プロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させるステップと、
前記試験対象のプロジェクトに関する情報を、前記誤り予測モデルに入力して、各前記テストケースと対応する各誤り予測情報を取得するステップと、
取得された前記誤り予測情報と対応する前記テストケースによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、前記誤り予測情報に付加するステップと、
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するステップと、
前記テストケースデータベースから、前記テスト項目情報が含む前記試験の項目に対応するテストケース情報を取得するステップと、及び、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するステップと、
を含む、試験のためのコンピュータプログラム。
【請求項１４】
請求項１３に記載の試験のためのコンピュータプログラムを含む、開発支援のためのコンピュータプログラムであって、
試験完了時に残存している残存誤り予測情報から、関連するリスク及びその対策を提示するプロジェクト診断モデルに対して、試験完了時に残存している残存誤り予測情報に基づいて、学習させるステップを、更に含む、
開発支援のためのコンピュータプログラム。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象装置を試験する試験装置、及び、開発支援装置に関する。
【背景技術】
【０００２】
従来の試験装置は、プログラムのソースコードの複雑性及び必要となるリソースを評価し、ソフトウェア全体の品質が向上する最適な試験の組み合わせを探索することにより、対象装置の試験を効率化する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の試験装置は、ソースコード等に基づく試験、即ちホワイトボックステストを実行することはできるが、要求仕様書等の上流工程での仕様に関わる情報に基づいて試験を行うものではないので、ブラックボックステストを効率化することができない。
更に、従来の試験装置は、試験実施後に、残存すると予測される誤り情報から自動で優先度に応じたリスク分析に基づく最適な対策を提示することができない。【０００５】
本発明は、上記のような問題点を解決するためになされたものであり、ホワイトボックステストに加えてブラックボックステストも効率化する試験装置を提供する。
更に、本発明は、残存すると予測される誤り情報から、優先度に応じたリスク分析に基づく最適な対策案を自動的にレポートとして生成し、自動試験実施から試験完了後のプロジェクト診断まで中断なく実施する開発支援装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様による試験装置は、処理部を備える。処理部は、試験対象のプロジェクトに関する情報から、前記プロジェクトにおいて試験を行うためのテストシナリオを生成する。処理部は、学習部と、誤り予測情報取得部と、リスク評価部と、テスト項目生成部と、テストケース情報取得／生成部と、テストシナリオ生成部と、を含む。学習部は、入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに対し、機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに格納された、少なくとも既存のプロジェクトに関する情報およびテストシナリオにおける個々の処理を規定する複数のテストケースに関する情報に基づいて、各プロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させる。誤り予測情報取得部は、試験対象のプロジェクトに関する情報を、誤り予測モデルに入力して、各テストケースと対応する各誤り予測情報を取得する。リスク評価部は、取得された誤り予測情報と対応するテストケースによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、誤り予測情報に付加する。テスト項目生成部は、リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する。テストケース情報取得／生成部は、機械学習データベースに含まれるテストケースデータベースから、前記テスト項目情報が含む前記試験の項目に対応するテストケース情報を取得する。テストシナリオ生成部は、取得された前記テストケース情報に基づいて、前記テストシナリオを生成する。
【発明の効果】
【０００７】
本発明の試験装置は、ホワイトボックステストに加えてブラックボックステストも効率化することができる。
更に、本発明の開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクの優先度に応じて最適な対策案を効率的に提示することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る試験装置の構成を示すブロック図
【図２】試験装置の記憶部の機械学習データベースに記憶される情報を示す図
【図３】試験装置の構成要素と各構成要素に対する入出力データとを示す図
【図４】試験装置の構成要素と各構成要素に対する入出力データとを示す図
【図５】試験装置の構成要素と各構成要素に対する入出力データとを示す図
【図６】試験装置の誤り予測モデル生成動作を示すフローチャート
【図７】試験装置のシナリオ生成及び実行動作を示すフローチャート
【図８】実施の形態２の試験装置の構成要素と各構成要素に対する入出力データとを示す図
【図９】試験装置の構成要素と各構成要素に対する入出力データとを示す図
【図１０】試験装置のシナリオ生成及び実行動作を示すフローチャート
【図１１】開発支援装置の構成要素と各構成要素に対する入出力データとを示す図
【図１２】開発支援装置の記憶部の機械学習データベースに記憶される情報を示す図
【図１３】実施の形態３に係る開発支援装置の構成を示すブロック図
【図１４】開発支援装置のプロジェクト診断モデル生成動作を示すフローチャート
【図１５】実施の形態４に係る開発支援装置の構成を示すブロック図
【図１６ａ】開発支援装置のプロジェクト診断モデルを活用したリスク分析の動作を示すフローチャート
【図１６ｂ】開発支援装置のプロジェクト診断モデルを活用したリスク分析の動作を示すフローチャート
【発明を実施するための形態】
【０００９】
以下で説明する複数の実施の形態及びその変形例は、それぞれ、特徴的構成を有する。
ある形態における特徴的構成または動作は、他の形態においても適用可能であり、また、本発明は、以下の例示する形態に限定されるものではない。
【００１０】
実施の形態１．
１．構成
図１は、実施の形態１に係る試験装置１の構成を示すブロック図である。試験装置１は、試験対象装置２Ａと関連装置２Ｂとの間の、通信プロトコルに基づく動作に関する試験を実行する。試験装置１は、試験対象のプロジェクトについての情報に基づいて、テストシナリオを生成し、テストシナリオに従って試験を実行する。ここでのプロジェクトは、ソフトウェア設計を伴った製品（装置）開発やシステム開発等を行うプロジェクトのことをいう。
【００１１】
試験装置１は、プロセッサ１０と、主記憶部２０と、補助記憶部３０と、表示部４０と、操作部５０と、通信部６０と、を備える。試験装置１は、例えば、パーソナルコンピュータである。
【００１２】
プロセッサ１０は、信号線を介して他のハードウェアと接続される。プロセッサ１０は、中央演算処理装置（ＣＰＵ）、ＭＰＵ、ＤＳＰ、ＧＰＵ、マイコン、ＦＰＧＡ、ＡＳＩＣ等で実現できる。プロセッサ１０は、後述する補助記憶部３０に記憶されたＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、アプリケーションプログラム、種々のデータを読み込んで演算処理を実行することにより、種々の機能を実現する。プロセッサ１０は、後述する機能的構成を含む。当該機能的構成は、ファームウェアにより実現されてもよい。プロセッサ１０は、処理部１０の一例である。プロセッサ１０と、後述する主記憶部２０及び補助記憶部３０と、をまとめたハードウェアを、「プロセッシングサーキットリ」ともいう。
【００１３】
主記憶部２０は、揮発性の記憶部である。主記憶部２０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で実現できる。主記憶部２０は、試験装置１において使用され、生成され、入出力され、或いは送受信されるデータを一時的に記憶する。
【００１４】
補助記憶部３０は、不揮発性の記憶部である。補助記憶部３０は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、フラッシュメモリ等で実現できる。補助記憶部３０は、ＯＳ、アプリケーションプログラム、種々のデータを記憶している。ＯＳの少なくとも一部は、主記憶部２０にロードされて、プロセッサ１０によって実行される。
【００１５】
補助記憶部３０はさらに、機械学習データベース３１と、機械学習データベース３１に基づいて生成される誤り予測モデル３２も記憶する。以下、データベースを「ＤＢ」という。誤り予測モデル３２は、機械学習モデルのうちの一つを具体化したものである。
なお、機械学習ＤＢ３１は、例えば、外部サーバに格納されて、外部ネットワーク、及び、試験装置１のインタフェース部を介して、試験装置１からアクセスされるように、試験装置１及び機械学習ＤＢ３１が試験システムとして構成されてもよい。
【００１６】
誤り予測モデル３２は、試験対象のプロジェクトについての情報を含む入力データ３１６が入力されると、試験対象のプロジェクトにて発生し得る誤りに関する情報である誤り予測情報３１２を出力する。誤り予測モデル３２は、機械学習ＤＢ３１に格納される情報によって生成されて、更新される。機械学習ＤＢ３１の詳細は後述する。
【００１７】
表示部４０は、ユーザ操作に従って文字列や画像を表示する。表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイなどで構成される。
【００１８】
操作部５０は、キーボード、マウス、テンキーなどで構成される。ユーザは、操作部５０を介して試験装置１を操作する。また、操作部５０は、表示部４０に重畳して配置されて、ユーザのタッチ操作を受け付け可能なタッチパネルを含んでもよい。
【００１９】
通信部６０は、試験対象装置２Ａと各種データを送受信する。通信部６０は、レシーバと、トランスミッタと、を備える。レシーバは、試験対象装置２Ａからの各種データを受信する。
トランスミッタは、プロセッサ１０からの各種データを、試験対象装置２Ａに送信する。通信部６０は、通信チップ、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）等で実現できる。
【００２０】
図２は、補助記憶部３０の機械学習ＤＢ３１に格納される情報を示す図である。機械学習ＤＢ３１は、機械学習で用いられる種々の情報を記憶するデータベースである。即ち、機械学習ＤＢ３１は、テスト実績ＤＢ３０１と、出荷後不具合ＤＢ３０２と、テスト技術ＤＢ３０３と、ドメイン知識ＤＢ３０４と、プロジェクトＤＢ３０５と、を含む。機械学習ＤＢ３１はさらに、テストケースＤＢ３０６と、テストシナリオＤＢ３０７と、ドキュメントＤＢ３０８と、構造化ＤＢ３０９と、教師ありＤＢ３１０と、教師なしＤＢ３１１と、を含む。機械学習ＤＢ３１に格納される情報は、試験データが既に存在する、既存のプロジェクトに関する情報の一例である。
前述のように機械学習ＤＢ３１は、例えば、外部サーバに格納されて、外部ネットワーク、及び、試験装置１のインタフェース部を介して、試験装置１からアクセスされるように、試験装置１及び機械学習ＤＢ３１が試験システムとして構成されてもよい。
【００２１】
テスト実績ＤＢ３０１は、既存のプロジェクトのテスト実績に関するテスト実績情報３０１Ａを格納する。テスト実績情報３０１Ａは、テストケース番号、試験の工程名、機種名、誤りが検出されたか否か、誤りの内容、誤りが検出された箇所、誤りの原因、シーケンス図、試験ログ等の情報で構成される。誤りは、出荷後不具合の原因となり得る欠陥や設計誤り等のことをいう。テスト実績情報３０１Ａは、後述するテスト結果比較部１１２により自動生成される。本実施の形態において、機種名は、開発中の製品コードであるがこれに限定されない。例えば、機種名は、製品名であってもよい。
【００２２】
出荷後不具合ＤＢ３０２は、既存のプロジェクトの出荷後の不具合に関する出荷後不具合情報３０２Ａを格納する。出荷後不具合情報３０２Ａは、システム名、機種名、ソフトウェアのバージョン名、不具合の発生日時、不具合の内容、不具合の原因、不具合の検出密度等の情報で構成される。出荷後不具合情報３０２Ａは、品質保証部門の担当者により手動で入力される。
【００２３】
テスト技術ＤＢ３０３は、テスト技術に関するテスト技術情報３０３Ａを格納する。テスト技術情報３０３Ａは、テスト技法名、テスト観点、テストの条件等の情報で構成される。テスト技法名は、例えば、「ホワイトボックステスト」，「ブラックボックステスト」，「境界値分析」，「同値分割」，「ＣＦＤ」，「データフロー」，「デシジョンテーブル」等である。テスト技術情報３０３Ａは、テスト技術者により手動で入力される。
【００２４】
ドメイン知識ＤＢ３０４は、既存のプロジェクトの製品分野に関するドメイン知識情報３０４Ａを格納する。ドメイン知識情報３０４Ａは、製品の構成、製品が有する機能、ハードウェア依存等についての情報で構成される。例えば、空調器のプロジェクトにおいて、製品の構成は、「室内機」，「室外機」である。ドメイン知識情報３０４Ａは、既存のプロジェクトの参画技術者により手動で入力される。
【００２５】
プロジェクトＤＢ３０５は、既存のプロジェクトに関するプロジェクト情報３０５Ａを格納する。プロジェクト情報３０５Ａは、開発規模、開発期間、開発の進捗状況、開発要員人数、開発手法、流用率、生産性、機種名、機能名、機器のバージョン、担当者名、工程、誤りの検出密度、リスク等の情報で構成される。プロジェクト情報３０５Ａは、プロジェクトの参画技術者により手動で入力される。
【００２６】
テストケースＤＢ３０６は、既存のプロジェクトについて実行した試験についてのテストケース情報３０６Ａを格納する。テストケース情報３０６Ａは、テストケース番号、入力値、実行事前条件、期待値、実行事後条件等の情報で構成される。テストケース情報３０６Ａは、後述するテストケース情報取得／生成部１０９により生成される。実行事前条件の情報は、例えば、そのテストケースを実行する前に実行する必要があるテストケースのテストケース番号を含む。期待値は、試験対象装置２Ａが正しく動作した場合の応答信号が示す情報として期待される値である。実行事後条件の情報は、例えば、そのテストケースを実行した後に実行する必要があるテストケースのテストケース番号を含む。
【００２７】
テストシナリオＤＢ３０７は、既存のプロジェクトに対して行った試験の内容を時系列で記述したテストシナリオ３０７Ａを格納する。テストシナリオ３０７Ａは、ＤＳＬ（ｄｏｍａｉｎ−ｓｐｅｃｉｆｉｃ  ｌａｎｇｕａｇｅ）により記述される。テストシナリオ３０７Ａは、例えば、ＸＭＬ形式のデータである。
【００２８】
ドキュメントＤＢ３０８は、設計書、要求仕様書、試験仕様書、ソースコード、状態遷移図、仕様変更情報、シーケンス図等のドキュメント情報３０８Ａを格納する。ここで、ドキュメント情報３０８Ａは、既存のプロジェクトの参画技術者により作成される。また、シーケンス図は、後述するシーケンス図生成部１１３により生成され得る。
【００２９】
構造化ＤＢ３０９は、関係モデル（Ｒｅｌａｔｉｏｎａｌ  Ｄａｔａ  Ｍｏｄｅｌ）に基づいて設計されるデータベースである。構造化ＤＢ３０９には、後述するデータ構造化部１０１により、テスト実績情報３０１Ａ、出荷後不具合情報３０２Ａ、テスト技術情報３０３Ａ、ドメイン知識情報３０４Ａ、プロジェクト情報３０５Ａの内容が構造化されて格納される。構造化ＤＢ３０９は、機種名、システム名、機能名、テストケース番号、当該テストケースにて誤りが検出されたか否か、当該誤りが後の工程や出荷後の不具合として流出したか否かについての情報等を含む。
【００３０】
教師ありＤＢ３１０は、誤り予測モデル３２の機械学習に用いられる教師ありデータ３１０Ａを格納する。教師ありデータ３１０Ａは、後述する教師ありデータ生成部１０２により、構造化ＤＢ３０９の情報に基づいて生成される。教師ありデータ３１０Ａは、例えば、テストケース番号、及びテストケースに対応する機能名に対して、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルが付されたデータである。
【００３１】
教師なしＤＢ３１１は、誤り予測モデル３２の機械学習に用いられる教師なしデータ３１１Ａを格納する。教師なしデータ３１１Ａは、後述する非構造化データ解析部１０３により、ドキュメント情報３０８Ａ（例えば、要求仕様書）に基づいて生成される。教師なしデータ３１１Ａは、例えば、テストケース番号、及びテストケースに対応する機能名を含む。教師なしデータ３１１Ａは、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルを含まない。
【００３２】
図３〜５は、プロセッサ１０の機能的構成と各機能的構成に対する入出力データとを示す図である。
【００３３】
図３は、機械学習ＤＢ３１に格納された情報に基づいて誤り予測モデル３２を生成するまでの、プロセッサ１０の機能的構成と各機能的構成に対する入出力データとを示している。プロセッサ１０は、機能的構成として、データ構造化部１０１と、教師ありデータ生成部１０２と、非構造化データ解析部１０３と、学習部１０４と、を含む。
【００３４】
データ構造化部１０１は、既存のプロジェクトに関する、テスト実績情報３０１Ａ、出荷後不具合情報３０２Ａ、テスト技術情報３０３Ａ、ドメイン知識情報３０４Ａ、プロジェクト情報３０５Ａが入力されると、これらの情報を構造化ＤＢ３０９に格納する。
【００３５】
教師ありデータ生成部１０２は、構造化ＤＢ３０９の情報が入力されると、教師ありデータ３１０Ａを生成する。動作の詳細は後述する。
【００３６】
非構造化データ解析部１０３は、ドキュメントＤＢ３０８及び教師ありデータ３１０Ａをテキスト解析して、教師ありデータ３１０Ａを更新し、教師なしデータ３１１Ａを生成する。動作の詳細は後述する。
【００３７】
学習部１０４は、教師ありデータ３１０Ａ及び教師なしデータ３１１Ａが入力されると、当該教師なしデータ３１１Ａを用いて、誤り予測モデル３２を学習させる。動作の詳細は後述する。学習部１０４は、例えば、ブートストラップ法（Ｂｏｏｔ  Ｓｔｒａｐ  Ｍｅｔｈｏｄ）によって、誤り予測モデル３２を学習させる。
【００３８】
図４及び図５は、構造化ＤＢ３０９に格納された試験対象のプロジェクトについての情報に基づいて、試験対象装置２Ａの試験を実行し、試験の結果に関する情報を生成するまでの、プロセッサ１０の機能的構成と各機能的構成に対する入出力データとを示している。プロセッサ１０は、機能的構成として、入力データ生成部１０５と、誤り予測情報取得部１０６と、リスク評価部１０７と、テスト項目生成部１０８と、テストケース情報取得／生成部１０９と、を含む。プロセッサ１０はさらに、機能的構成として、テストシナリオ生成部１１０と、テストシナリオ実行部１１１と、テスト結果比較部１１２と、シーケンス図生成部１１３と、を含む。
【００３９】
入力データ生成部１０５は、構造化ＤＢに格納された試験対象のプロジェクトに関するプロジェクト情報が入力されると、入力データ３１６を生成する。
【００４０】
誤り予測情報取得部１０６は、入力データ３１６が入力されると、当該入力データ３１６を誤り予測モデル３２に入力して、誤り予測情報３１２を取得する。誤り予測情報３１２は、試験対象のプロジェクトにて生じ得る誤りを示す情報である。誤り予測情報３１２は、テストケース番号と、当該テストケースの内容、当該テストケースにおいて誤りが生じ得るか、及び当該誤りが後の工程や出荷後の不具合として流出し得るかについての情報と、を対応付けた情報である。誤り予測情報３１２は、例えば、補助記憶部３０が有する、大容量のデータを一時的に記憶するための記憶領域（図示せず）に記憶される。
【００４１】
リスク評価部１０７は、誤り予測情報３１２が入力されると、当該誤り予測情報３１２のテストケース毎にリスク評価値を算出して付加する。以下、リスク評価値が付加された誤り予測情報を誤り予測情報３１２Ａという。リスク評価値については後述する。
【００４２】
テスト項目生成部１０８は、誤り予測情報３１２Ａが入力されると、テスト項目情報３１３を生成する。テスト項目情報３１３は、実行する試験の項目が記載された情報である。テスト項目情報３１３は、テストケース番号と、当該テストケースの内容を示す情報と、を対応付けた情報である。テスト項目情報３１３には、テストケース毎に、テスト項目番号が付されている。
【００４３】
テストケース情報取得／生成部１０９は、テスト項目情報３１３が入力されると、テストケースＤＢ３０６から、テスト項目情報３１３の各テスト項目に対応するテストケース情報３０６Ａを取得する。テストケースＤＢ３０６に、テスト項目に対応するテストケース情報がないと判断した場合、テストケース情報取得／生成部１０９は、ユーザ操作に従って、当該テスト項目に対応するテストケース情報３０６Ａを生成する。テストケース情報取得／生成部１０９は、生成したテストケース情報３０６Ａを、テストケースＤＢ３０６に格納する。
【００４４】
テストシナリオ生成部１１０は、テストケース情報３０６Ａが入力されると、テストシナリオ３０７Ａを生成する。
【００４５】
テストシナリオ実行部１１１は、テストシナリオ３０７Ａが入力されると、試験対象装置２Ａをテストシナリオ３０７Ａに従って動作させて、試験を実行する。テストシナリオ実行部１１１は、テストシナリオ３０７Ａに従って、動作の要求信号を試験対象装置２Ａに送信することによって、試験対象装置２Ａを動作させる。試験対象装置２Ａは、要求信号に対応する動作の結果を示す応答信号を、テストシナリオ実行部１１１に送信する。テストシナリオ実行部１１１は、要求信号が示す情報と応答信号が示す情報とを対応付けてテスト結果情報３１４を生成して、当該テスト結果情報３１４をテスト結果比較部１１２に出力する。
【００４６】
テスト結果比較部１１２は、テスト結果情報３１４が入力されると、テスト結果比較情報３１５を生成する。テスト結果比較情報３１５は、要求信号が示す情報と、応答信号が示す情報と、期待値とを対応付けたものである。
【００４７】
シーケンス図生成部１１３は、テスト結果情報３１４が入力されると、シーケンス図３０８Ａを生成して、ドキュメントＤＢ３０８に格納する。
【００４８】
２．動作
以上のように構成される試験装置１の動作について、図１〜７を参照して説明する。試験装置１は、機械学習ＤＢ３１に格納された情報に基づいて誤り予測モデル３２を生成する。試験装置１は、構造化ＤＢ３０９に格納された試験対象のプロジェクトについての情報から入力データ３１６を生成し、当該入力データ３１６を誤り予測モデル３２に入力して、試験対象装置２Ａを試験するためのテストシナリオ３０７Ａを生成する。試験装置１は、テストシナリオ３０７Ａに従って、試験対象装置２Ａの試験を実行する。
【００４９】
２−１．誤り予測モデルの生成動作
図６は、試験装置１の、誤り予測モデル３２を生成する動作を示すフローチャートである。以下、図６のフローチャートに即して、試験装置１の動作を説明する。
【００５０】
最初に、データ構造化部１０１は、テスト実績情報３０１Ａ、出荷後不具合情報３０２Ａ、テスト技術情報３０３Ａ、ドメイン知識情報３０４Ａ、プロジェクト情報３０５Ａを、構造化ＤＢ３０９に格納する（Ｓ１０１）。データ構造化部１０１は、機種名、機能名、システム名、テストケース番号、テストケースの内容、誤りや不具合の内容、誤りが検出された記録があるか否か、当該誤りが後の工程や出荷後の不具合として流出した記録があるか否か等についての情報を対応付けて、構造化ＤＢ３０９に格納する。
【００５１】
次に、教師ありデータ生成部１０２は、構造化ＤＢ３０９の情報が入力されると、教師ありデータ３１０Ａを生成する（Ｓ１０２）。教師ありデータ生成部１０２は、構造化ＤＢ３０９が含むテストケース番号に対して、誤りが検出された記録があるか否か、当該誤りが後の工程や出荷後の不具合として流出した記録があるか否か、及び、誤りや不具合の内容についての正解ラベルを付して、教師ありデータ３１０Ａを生成する。
【００５２】
次に、非構造化データ解析部１０３は、ドキュメントＤＢ３０８をテキスト解析する（Ｓ１０３）。例えば、非構造化データ解析部１０３は、ドキュメントＤＢ３０８を、機能名を検索キーワードとしてテキスト解析する。
【００５３】
次に、非構造化データ解析部１０３は、テキスト解析の結果に基づいてドキュメントＤＢ３０８の情報と教師ありデータ３１０Ａの情報との間の類似性を解析して、教師ありデータ３１０Ａを更新し、教師なしデータ３１１Ａを生成する（Ｓ１０４）。
【００５４】
次に、学習部１０４は、教師ありデータ３１０Ａ及び教師なしデータ３１１Ａが入力されると、半教師あり学習アルゴリズムにより誤り予測モデル３２を学習させる（Ｓ１０５）。
【００５５】
上述したように、試験装置１は、ソースコードに加えて、要求仕様書等の情報に基づいて誤り予測モデル３２を学習させる。したがって、本実施の形態の試験装置１は、ホワイトボックステストのテスト項目に加えて、例えば、要求仕様書に記載の要求に基づく試験等のブラックボックステストのテスト項目も出力する誤り予測モデル３２を構築することができる。
【００５６】
２−２．テストシナリオの生成及び実行動作
図７は、試験装置１の、テストシナリオ３０７Ａを生成して、当該テストシナリオ３０７Ａに従って、試験対象装置２Ａの試験を実行する動作を示すフローチャートである。以下、図７のフローチャートに即して、試験装置１の動作を説明する。
【００５７】
最初に、プロセッサ１０は、ユーザ操作に従って、テスト戦略を設定する（Ｓ２００）。例えば、プロセッサ１０は、後述するリスク評価値が所定の閾値以上であるテストケースのうち、全てのテストケースに対応するテスト項目情報３１３を生成すること、或いは、重要なテストケースのみに対応するテスト項目情報３１３を生成することである。所定の閾値は、ユーザにより、事前に設定される。例えば、所定の閾値は、ユーザが、テスト項目情報３１３Ａの全項目数のうちの実行する項目数の割合を示す網羅度を入力することにより、事前に設定される。重要なテストケースは、事前にユーザにより設定される。
【００５８】
次に、入力データ生成部１０５は、構造化ＤＢ３０９に格納された、試験対象のプロジェクトについての情報が入力されると、入力データ３１６を生成する（Ｓ２０１）。試験対象のプロジェクトについての情報は、例えば、操作部５０を介して、ユーザ操作に従って入力される。
【００５９】
次に、誤り予測情報取得部１０６は、入力データ３１６が入力されると、当該プロジェクト情報３０５Ａを誤り予測モデル３２に入力して、誤り予測情報３１２を取得する（Ｓ２０２）。当該プロジェクト情報３０５Ａは、例えば、プロジェクトＤＢ３０５に格納されている。
【００６０】
次に、リスク評価部１０７は、誤り予測情報３１２が入力されると、当該誤り予測情報３１２のテストケース毎にリスク評価値を算出して、当該リスク評価値を付加した誤り予測情報３１２Ａを生成する（Ｓ２０３）。リスク評価値は、例えば、誤りが検出される見込み度合いと、当該誤りの影響度合いとを積算した値である。影響度合いは、各テストケースの間の依存関係及び関連性を分析することによって算出される。
【００６１】
次に、テスト項目生成部１０８は、誤り予測情報３１２Ａが入力されると、テスト戦略及びリスク評価値に基づいて、テスト項目情報３１３を生成する（Ｓ２０４）。
【００６２】
次に、テストケース情報取得／生成部１０９は、テストケースＤＢ３０６から、テスト項目情報３１３の各テスト項目に対応するテストケース情報３０６Ａを取得する（Ｓ２０５）。このとき、テストケース情報取得／生成部１０９は、テスト項目情報３１３に、テストケースＤＢ３０６に存在しないテスト項目があると判断した場合、当該テスト項目に対応するテストケース情報３０６Ａを生成する。また、テストケース情報取得／生成部１０９は、各テストケース情報３０６Ａの実行事前条件および実行事後条件に基づいて、各テストケースの実行する順番を設定する。また、テストケース情報取得／生成部１０９は、ユーザ操作に従って、各テストケースの実行する順番を変更してもよい。
【００６３】
次に、テストシナリオ生成部１１０は、テストケース情報取得／生成部１０９が取得／生成したテストケース情報３０６Ａに基づいて、テストシナリオ３０７Ａを生成する（Ｓ２０６）。
【００６４】
次に、テストシナリオ実行部１１１は、試験対象装置２Ａをテストシナリオ３０７Ａに従って動作させて、試験を実行する（Ｓ２０７）。テストシナリオ実行部１１１は、動作の要求信号を、試験対象装置２Ａに送信することによって、試験対象装置２Ａを動作させる。試験対象装置２Ａは、要求信号に対応する動作の結果を示す応答情報を、テストシナリオ実行部１１１に送信する。テストシナリオ実行部１１１は、要求信号が示す情報と応答信号が示す情報とを対応付けてテスト結果情報３１４を生成し、当該テスト結果情報３１４をテスト結果比較部１１２に出力する。
【００６５】
次に、テスト結果比較部１１２は、テスト結果情報３１４に基づいて、テスト結果比較情報３１５を生成し、当該テスト結果比較情報３１５を表示部４０に表示する（Ｓ２０８）。テスト結果比較部１１２は、テスト結果比較情報３１５の、各要求信号が示す情報と、各応答信号が示す情報と、各期待値と、を対応付けて表示部４０に表示する。
【００６６】
次に、シーケンス図生成部１１３は、テスト結果情報３１４に基づいて、シーケンス図３０８Ａを生成する（Ｓ２０９）。シーケンス図生成部１１３は、シーケンス図３０８Ａを、ドキュメントＤＢ３０８に格納する。
【００６７】
上述したように、誤り予測モデル３２が出力する誤り予測情報３１２は、ホワイトボックステストに加えて、ブラックボックステストに関する情報も含む。したがって、試験装置１は、ホワイトボックステストに加えて、ブラックボックステストも実行することができる。
【００６８】
３．まとめ
以上説明したように、本実施の形態に係る試験装置１は、処理部１０を備える。処理部１０は、試験対象のプロジェクトに関する情報から、当該プロジェクトにおいて試験を行うためのテストシナリオ３０７Ａを生成する。処理部１０は、学習部１０４と、誤り予測情報取得部１０６と、リスク評価部１０７と、テスト項目生成部１０８と、テストケース情報取得／生成部１０９と、テストシナリオ生成部１１０と、を含む。学習部１０４は、入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデル３２に対し、機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベース３１に格納された、少なくとも既存のプロジェクトに関する情報およびテストシナリオ３０７Ａにおける個々の処理を規定する複数のテストケースに関する情報に基づいて、各プロジェクトにおける試験での各テストケースが誤りを検出したか否かを学習させる。誤り予測情報取得部１０６は、試験対象のプロジェクトに関する情報を、誤り予測モデル３２に入力して、各テストケースと対応する各誤り予測情報３１２を取得する。リスク評価部１０７は、取得された誤り予測情報３１２と対応するテストケース情報３０６Ａによって誤りが検出される見込み度合い及び当該誤りの影響度合いを示すリスク評価値を算出して、当該誤り予測情報に付加する。テスト項目生成部１０８は、リスク評価値が付加された誤り予測情報３１２Ａに基づいて、実施する試験項目を示すテスト項目情報３１３を生成する。テストケース情報取得／生成部１０９は、機械学習データベース３１に含まれるテストケースデータベース３０６から、テスト項目情報３１３が含む試験の項目に対応するテストケース情報３０６Ａを取得する。テストシナリオ生成部１１０は、取得されたテストケース情報３０６Ａに基づいて、テストシナリオ３０７Ａを生成する。
【００６９】
このことにより、試験装置１は、ホワイトボックステストに加えてブラックボックステストも効率化することができる。さらに、本発明の試験装置は、過去の試験情報を利用することにより、過去の試験において生じた誤りと同様の誤りを予測してテストシナリオを生成することができる。
【００７０】
テスト項目生成部１０８は、リスク評価値が、所定の閾値よりも高いテストケース全てについて、テスト項目情報３１３を生成する。
【００７１】
テスト項目生成部１０８は、リスク評価値が、所定の閾値よりも高いテストケースのうちの、重要なテストケースについて、テスト項目情報３１３を生成する。
【００７２】
このことにより、試験装置１は、予め設定されたテスト戦略に従って、テスト項目情報３１３を生成することができる。
【００７３】
テストケース情報取得／生成部１０９は、テストケースＤＢ３０６に、テスト項目情報３１３の各テスト項目が示す試験の内容を示すテストケース情報がないと判断した場合、テストケース情報を生成する。
【００７４】
このことにより、試験装置１は、テストケースＤＢ３０６に存在しないテストケース情報を、新たに生成することができる。
【００７５】
プロセッサ１０はさらに、テストシナリオ３０７Ａに従って、対象装置の試験を実行する、テストシナリオ実行部１１１を含む。
【００７６】
このことにより、試験装置１は、テストシナリオ３０７Ａに従って、試験対象装置の試験を実行することができる。また、試験装置１は、ソースコードとドキュメントとの両面から対象工程で実施すべきテストケースについてテストケース間の依存関係及びリスクを明確にしつつ、過去の類似しているプロジェクトのプログラムのテスト結果を考慮して、総合的に誤りの予測を行うことができる。
【００７７】
実施の形態２．
実施の形態１の試験装置１は、テスト結果比較情報３１５等を生成して動作を終了した。実施の形態２の試験装置１は、テスト結果比較情報３１５に基づいて、誤り予測モデル３２を学習させて、再度試験を実行する。
【００７８】
図８及び図９は、本実施の形態の試験装置１の構成要素と各構成要素に対する入出力データとを示す図である。図１０は、本実施の形態の試験装置１のシナリオ生成及び実行動作を示すフローチャートである。
【００７９】
図８に示すように、本実施の形態のプロセッサ１０は、実施の形態１の機能的構成に加えて、テスト結果比較情報投入部１１４を備える。テスト結果比較情報投入部１１４は、テスト結果比較部１１２からのテスト結果比較情報３１５に基づいて、誤り予測モデル３２を学習させる。
【００８０】
図１０に示すように、本実施の形態のプロセッサ１０は、実施の形態１の図７のステップＳ２００に変えて、ステップＳ２００Ａを実行する。また、本実施の形態のプロセッサ１０は、ステップＳ２１０，Ｓ２１１の処理も実行する。
【００８１】
最初に、プロセッサ１０は、ユーザ操作に従って、テスト戦略及び試験の終了条件を設定する（Ｓ２００Ａ）。試験の終了条件は、例えば、試験の実行回数である。以下、ステップＳ２０１〜Ｓ２０９は、図７のものと同様である。
【００８２】
プロセッサ１０は、試験の終了条件を満たすまで、ステップＳ２０２〜Ｓ２０８及びＳ２１０の動作を実行する（Ｓ２１０においてＮＯ）。
【００８３】
上述したように、本実施の形態の試験装置１は、ユーザが事前に設定した終了条件を満たすまで自動で試験を実行する。したがって、本実施の形態の試験装置１は、試験を効率化することができる。
【００８４】
上述したように、本実施の形態の処理部１０は、実施の形態１の機能的構成に加えて、テスト結果比較情報投入部１１４を備える。テスト結果比較情報投入部１１４は、テストシナリオ３０７Ａに従って対象装置の試験を実行した結果に基づいて、誤り予測モデル３２を学習させる。
【００８５】
このことにより、本実施の形態の試験装置１は、誤り予測に基づいてテストケースを自動生成して試験を実行し、そのテスト結果を次ぎの誤り予測に逐次フィードバックすることにより、自動探索的に試験を実行し、誤り予測の精度を向上させることができる。
【００８６】
実施の形態３．
実施の形態１又は２に係る試験装置は、誤り分析モデルを用いて試験を自動的に実施することができる。但し、当該試験装置は、試験を実施した後、残存すると予測される誤り情報から、リスク分析に基づく最適な対策を自動的に提示することまではできない。
【００８７】
実施の形態３に係る開発支援装置は、残存すると予測される誤り情報から、リスク分析に基づく最適な対策案を自動的にレポートとして生成するために、自動試験実施から試験完了後のプロジェクト診断まで中断なく実施するものである。
【００８８】
１．構成
図１１は、実施の形態３に係るプロジェクト診断機能装置７００の構成を示すブロック図である。プロジェクト診断機能装置７００は、実施の形態１及び２に係る試験装置１から取得される、試験対象装置２Ａと関連装置２Ｂとの間の、通信プロトコルに基づく動作に関する試験結果のデータを元に、解析を実行する。ここでのプロジェクトは、ソフトウェア設計を伴った製品（装置）開発やシステム開発等を行うプロジェクトのことをいう。
【００８９】
プロジェクト診断機能装置７００は、プロセッサ１０と、主記憶部２０と、補助記憶部３０と、表示部４０と、操作部５０と、通信部６０と、を備える試験装置１に付属可能な装置である。試験装置１は、例えば、パーソナルコンピュータである。
【００９０】
プロセッサ１０は、信号線を介して他のハードウェアと接続される。プロセッサ１０は、中央演算処理装置（ＣＰＵ）、ＭＰＵ、ＤＳＰ、ＧＰＵ、マイコン、ＦＰＧＡ、ＡＳＩＣ等で実現できる。プロセッサ１０は、後述する補助記憶部３０に記憶されたＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、アプリケーションプログラム、種々のデータを読み込んで演算処理を実行することにより、種々の機能を実現する。プロセッサ１０は、後述する機能的構成を含む。当該機能的構成は、ファームウェアにより実現されてもよい。プロセッサ１０は、処理部１０の一例である。プロセッサ１０と、後述する主記憶部２０及び補助記憶部３０と、をまとめたハードウェアを、「プロセッシングサーキットリ」ともいう。
【００９１】
主記憶部２０は、揮発性の記憶部である。主記憶部２０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で実現できる。主記憶部２０は、試験装置１において使用され、生成され、入出力され、或いは送受信されるデータを一時的に記憶する。
【００９２】
補助記憶部３０は、不揮発性の記憶部である。補助記憶部３０は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、フラッシュメモリ等で実現できる。補助記憶部３０は、ＯＳ、アプリケーションプログラム、種々のデータを記憶している。ＯＳの少なくとも一部は、主記憶部２０にロードされて、プロセッサ１０によって実行される。
【００９３】
補助記憶部３０はさらに、機械学習ＤＢ６２０と、機械学習ＤＢ６２０に基づいて生成される、誤り予測モデル３２及びプロジェクト診断モデル８００を記憶する。誤り予測モデル３２及びプロジェクト診断モデル８００は、機械学習モデルのうちの一つを具体化したものである。誤り予測モデル３２については、実施の形態１及び２において詳しく説明した。プロジェクト診断モデル８００は、例えば、ディープニューラルネットワーク（深層学習器）により実現される。
なお、機械学習ＤＢ６２０は、例えば、外部サーバに格納されて、外部ネットワーク、及び、プロジェクト診断機能装置７００のインタフェース部を介して、プロジェクト診断機能装置７００からアクセスされるように、プロジェクト診断機能装置７００及び機械学習ＤＢ３１がプロジェクト診断機能システムとして構成されてもよい。
【００９４】
プロジェクト診断モデル８００は、試験対象のプロジェクトについての残存誤り情報を含む入力データが入力されると、試験対象のプロジェクトにて発生し得るリスクとその対策に関する情報であるリスク及び対策案情報５５０を出力する。プロジェクト診断モデル８００は、機械学習ＤＢ６２０に格納される情報によって生成されて、更新される。機械学習ＤＢ６２０の詳細は後述する。
【００９５】
表示部４０は、ユーザ操作に従って文字列や画像を表示する。表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイなどで構成される。
【００９６】
操作部５０は、キーボード、マウス、テンキーなどで構成される。ユーザは、操作部５０を介してプロジェクト診断機能装置７００を操作する。また、操作部５０は、表示部４０に重畳して配置されて、ユーザのタッチ操作を受け付け可能なタッチパネルを含んでもよい。
【００９７】
通信部６０は、試験対象装置２Ａと各種データを送受信する。通信部６０は、レシーバと、トランスミッタと、を備える。レシーバは、試験対象装置２Ａからの各種データを受信する。トランスミッタは、プロセッサ１０からの各種データを、試験対象装置２Ａに送信する。通信部６０は、通信チップ、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）等で実現できる。
【００９８】
図１２は、補助記憶部３０の機械学習ＤＢ６２０に格納される情報を示す図である。機械学習ＤＢ６２０は、テスト実績ＤＢ３０１と、出荷後不具合ＤＢ３０２と、テスト技術ＤＢ３０３と、ドメイン知識ＤＢ３０４と、プロジェクトＤＢ３０５と、を含む。機械学習ＤＢ３１は更に、テストケースＤＢ３０６と、テストシナリオＤＢ３０７と、ドキュメントＤＢ３０８と、構造化ＤＢ３０９と、教師ありＤＢ３１０と、第２の教師ありＤＢ４４０と、教師なしＤＢ３１１と、第２の教師なし４５０と、残存誤り・リスク・効果情報ＤＢ４００と、リスク登録簿ＤＢ４１０と、設計技術ＤＢ４２０と、トレーサビリティ情報ＤＢ４３０とを含む。機械学習ＤＢ６２０に格納される情報は、試験データ及び残存誤り予測情報が既に存在する、既存のプロジェクトに関する情報の一例である。
前述のように、機械学習ＤＢ６２０は、例えば、外部サーバに格納されて、外部ネットワーク、及び、プロジェクト診断機能装置７００のインタフェース部を介して、プロジェクト診断機能装置７００からアクセスされるように、プロジェクト診断機能装置７００及び機械学習ＤＢ３１がプロジェクト診断機能システムとして構成されてもよい。
【００９９】
教師ありＤＢ３１０は、誤り予測モデル３２の機械学習に用いられる教師ありデータ３１０Ａを格納する。教師ありデータ３１０Ａは、実施の形態１で説明した教師ありデータ生成部１０２により、構造化ＤＢ３０９の情報に基づいて生成される。教師ありデータ３１０Ａは、例えば、テストケース番号、及びテストケースに対応する機能名に対して、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルが付されたデータである。
【０１００】
教師なしＤＢ３１１は、誤り予測モデル３２の機械学習に用いられる教師なしデータ３１１Ａを格納する。教師なしデータ３１１Ａは、実施の形態１で説明した非構造化データ解析部１０３により、ドキュメント情報３０８Ａ（例えば、要求仕様書）に基づいて生成される。教師なしデータ３１１Ａは、例えば、テストケース番号、及びテストケースに対応する機能名を含む。教師なしデータ３１１Ａは、各テストケースにて誤りが検出されたか否か、及び当該誤りが後の工程や出荷後の不具合として流出したか否かを示す正解ラベルを含まない。
【０１０１】
第２の教師ありＤＢ４４０は、プロジェクト診断モデル８００の機械学習に用いられる第２の教師ありデータ４４０Ａを格納する。第２の教師ありデータ４４０Ａは、後述する第２の教師ありデータ作成部５２により、構造化ＤＢ３０９の情報に基づいて生成される。第２の教師ありデータ４４０Ａは、例えば、システム試験結果に基づく残存誤り予測情報（件数、分類、発生個所など）に対して、どのようなリスクが検出されたか、それらのリスクの対策として実施した対策案の効果があったか否かを示す正解ラベルが付されたデータである。
【０１０２】
第２の教師なしＤＢ４５０は、プロジェクト診断モデル８００の機械学習に用いられる第２の教師なしデータ４５０Ａを格納する。第２の教師なしデータ４５０Ａは、後述する第２の非構造化データ解析部５５により、ドキュメント情報３０８Ａ（例えば、要求仕様書やソースコード）に基づいて生成される。第２の教師なしデータ４５０Ａは、例えば、残存誤り予測情報（件数、分類、発生個所など）に対応するリスク及びそれらのリスク対策を含む。第２の教師なしデータ４５０Ａは、残存誤り予測情報（件数、分類、発生個所など）に対応するリスク及びそれらのリスク対策の効果があったか否かを示す正解ラベルを含まない。
【０１０３】
誤り予測モデル構築及び運用を実行する試験装置１のプロセッサ１０の機能的構成により、システム試験以降の工程で実施すべきと予測される誤り情報（テストケース、誤り検出有無、誤りの後工程流出有無）を予測可能なモデル「誤り予測モデル」が構築され、試験が実施される。
【０１０４】
試験実施後のシステム試験結果に基づく残存誤り予測情報（件数、分類、発生個所など）より、プロジェクト診断モデル学習部７９０によって、プロジェクト診断モデル８００が作成される。
【０１０５】
図１３は、プロセッサ１０の機能的構成と各機能的構成に対する入出力データとを示すと共に、プロジェクト診断モデル８００を構築するためのプロジェクト診断モデル学習部７９０の構成例を示すブロック図である。
【０１０６】
構造化データ統合部５１は、複数の既存プロジェクトのテスト実績ＤＢ３０１、出荷後不具合ＤＢ３０２、テスト技術ＤＢ３０３、ドメイン知識ＤＢ３０４、プロジェクトＤＢ３０５、残存誤り・リスク・効果情報ＤＢ４００、リスク登録簿ＤＢ４１０、設計技術ＤＢ４２０、トレーサビリティ情報ＤＢ４３０からのデータを、一つの構造化データに統合する。
【０１０７】
初期教師データを作成する第２の教師ありデータ作成部５２は、残存誤り予測情報（件数、分類、発生個所など）に対して、どのようなリスクが検出されたか、それらのリスクの対策として実施した対策案の効果があったか否かを示す正解ラベルが付されたデータを用いて、初期教師データである第２の教師ありデータ４４０Ａを作成する。
【０１０８】
非構造化データ統合部５４は、（要求仕様書、ソースコード、試験書、シーケンス図、状態遷移図、仕様変更情報、静的・動的解析結果などの）ソフトウエアプロダクトに関する非構造化データであるドキュメント情報３０８Ａを統合する。
【０１０９】
第２の非構造化データ解析部５５は、統合された非構造化データであるドキュメント情報３０８Ａを解析し、初期教師データである第２の教師ありデータ４４０Ａとの関連性を解析し、第２の教師なしデータ４５０Ａを生成する。
【０１１０】
特徴要素抽出部５６は、構造化データと非構造化データとにおける残存誤り予測情報（件数、分類、発生個所など）から、関連性のあるリスク及び効果のある対策案を出力するための特徴要素（例えば、コーディング担当者、流用率、要件の変更率など）を抽出する。
【０１１１】
非構造化データ変換部５７は、非構造化データの解析結果と抽出された特徴要素とを、規則性のある構造化されたデータ（例えば、ＸＭＬファイル）へ変換する。
【０１１２】
教師ありデータ投入部５３ａは、第２の教師ありデータ４４０Ａをプロジェクト診断モデル８００のための学習アルゴリズムへ投入する。
【０１１３】
検証評価基準抽出部５８は、残存誤り予測情報（件数、分類、発生個所など）に対して、どの程度の関連性のあるリスク及び効果のある対策案が出されればどう評価（フィードバック）されるか、の検証基準を抽出する。
【０１１４】
モデル作成部５９は、学習アルゴリズムへ投入された第２の教師ありデータ４４０Ａを基に、プロジェクト診断モデル８００を構築する。
【０１１５】
教師なしデータ投入部５３ｂは、残存誤り予測情報（件数、分類、発生個所など）に対して、どの程度の関連性のあるリスク及び効果のある対策案が出されたか評価され得ていない、第２の教師なしデータ４５０Ａをプロジェクト診断モデル８００へ投入する。
【０１１６】
モデル再作成部６１は、投入された第２の教師なしデータ４５０Ａを基に、誤り予測モデル３２を再構築する。
【０１１７】
検証評価出力部６２は、残存誤り予測情報（件数、分類、発生個所など）に対して、どの程度の関連性のあるリスク及び効果のある対策案であったかを実際に評価（フィードバック）する出力を行う。
【０１１８】
プロジェクト診断モデル８００の構築及び学習に必要となる情報データは、様々なものが想定される。プロジェクト診断モデル８００の構築及び学習に必要とされ得る情報データの例を以下に示す。
【表１】
2020137096.tif 000003
【０１１９】
２．動作
次に、本実施の形態に係る試験装置１及びプロジェクト診断機能装置７００の動作について、図１４に示すフローチャートを参照して説明する。プロジェクト診断モデル８００の構築は、半教師あり学習アルゴリズムを用いて行う。
【０１２０】
開始（Ｓ５００）後、既存の複数のプロジェクトの実施結果が格納されているテスト実績ＤＢ３０１、出荷後不具合ＤＢ３０２、テスト技術ＤＢ３０３、ドメイン知識ＤＢ３０４、残存誤り・リスク・効果情報ＤＢ４００、リスク登録簿ＤＢ４１０、設計技術ＤＢ４２０、トレーサビリティ情報ＤＢ４３０の各データベースからデータを統合し、残存誤り予測情報（件数、分類、発生個所など）に対する関連性のあるリスク及び効果のある対策案のデータの対応関係を整理する（Ｓ５０１）。
【０１２１】
統合されたデータの残存誤り予測情報（件数、分類、発生個所など）の入力に対する関連性のあるリスク及び効果のある対策案の出力の対応関係から、初期学習用の教師ありデータである第２の教師ありデータ４４０Ａの作成を実施する（Ｓ５０２）。
【０１２２】
一方、同一の機種毎に、仕様書・ソース、静的・動的解析結果などの非構造化データをＮｏＳＱＬのデータベースへ格納する（Ｓ５０３）。
【０１２３】
初期学習用の教師ありデータである第２の教師ありデータ４４０Ａに記載されている内容を検索キーワードとして、設計書、テスト仕様書、ソース、仕様変更情報、静的・動的解析結果などの非構造化データも含めてテキスト解析を行う（Ｓ５０４）。
【０１２４】
テキスト解析結果から、初期学習用の教師ありデータである第２の教師ありデータ４４０Ａに対する類似性を分析し、残存誤りの内容が仕様書のどこに記載がある内容か、仕様変更による影響の可能性があるかどうか、機種間の相関など、実際に対策が必要となった対応の特徴を抽出する（Ｓ５０５）。
【０１２５】
構造化データと非構造化データとを、抽出された特徴量において整合性がとれるように、トレーサビリティ情報よりマッピングする（Ｓ５０６）。
【０１２６】
作成された残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対策の効果結果が判明している、第２の教師ありデータ４４０Ａを投入する（Ｓ５０７）。
【０１２７】
フィードバックする効果に対する検証評価の基準を抽出する（Ｓ５０８）。
【０１２８】
第２の教師ありデータ４４０Ａの学習アルゴリズムを使用して、残存誤り情報を基に、関連するリスクの発生とその対策案を予測するプロジェクト診断モデル８００を生成する（Ｓ５０９）。
【０１２９】
残存誤り情報（予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策の実施した効果が不明な教師なしデータ（第２の教師なしデータ４５０Ａ）を投入する（Ｓ５１０）。
【０１３０】
投入された教師なしデータ（第２の教師なしデータ４５０Ａ）の特徴量を抽出し、非構造化データの解析結果の情報も含めて、教師なしデータの学習アルゴリズムを用いて、残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策を予測するプロジェクト診断モデル８００を生成する（Ｓ５１１）。
【０１３１】
残存誤り情報(予測件数、残存誤り予測発生器機能及びソース箇所、残存誤り種類)、残存誤り情報に対するリスク及びリスク対応策の効果が記録されていない試験仕様書、テスト結果、不具合情報等の不明なデータからもリスク及びリスク対応策の効果の規則性を予測して、その評価を行うことにより、誤り予測モデル３２を再構築する（Ｓ５１２）。
【０１３２】
３．まとめ
本実施の形態に係る開発支援装置は、実施の形態１又は２に係る試験装置１を含む開発支援装置である。開発支援装置は、試験完了時に残存している残存誤り予測情報から、関連するリスク及びその対策を提示するプロジェクト診断モデル８００を備える。更に、開発支援装置は、試験完了時に残存している残存誤り予測情報に基づいて、プロジェクト診断モデル８００を学習させるプロジェクト診断モデル学習部７９０を含む。
【０１３３】
プロジェクト診断モデル学習部７９０は、更に、
非構造化データのテキスト解析結果に基づく、非構造化データと、残存誤りに対するリスク及びその対策が明確である教師ありデータとの類似性の分析や、トレーサビリティ情報を活用することにより、実際に対策が必要となった対応の特徴要素を抽出し、
更に、プロジェクト診断モデル学習部７９０は、非構造化データのテキスト解析結果と、抽出された特徴要素とを、規則性のある構造化データに変換する非構造化データ変換部５７を含む。
【０１３４】
このようにすることにより、開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクに応じて最適な対策案を効率的に提示することができる。
【０１３５】
実施の形態４．
本実施の形態４に係る開発支援装置は、被試験装置と試験装置とを接続した実施の形態１又は２による試験の実施完了後に、実施の形態３で構築したプロジェクト診断モデル８００を運用しつつ、被テスト対象物に潜在する残存誤り予測情報（件数、分類、発生個所）を基に、関連するリスク及びその効果的なリスク対応策を自動的に抽出し、レポートを提示する。
【０１３６】
１．構成
図１５は、本実施の形態に係る試験装置１及びプロジェクト診断機能装置７００、即ち、開発支援装置の構成例を示すブロック図である。本実施の形態に係る開発支援装置は、装置間の通信に基づいて動作する被試験装置に対して、試験実施完了後に残存誤り予測情報（件数、分類、発生個所）に基づくリスク分析を自動的に行い、対策案を提示する。即ち、当該開発支援装置は、試験完了後にリスク重点入力部５１０により、診断対象とするプロジェクト及び機能、モジュールを入力し、リスク（QCDRS）の重点度合いを設定する。
【０１３７】
試験結果データ記憶部５２０により、試験が完了した当該プロジェクトのテスト実績情報をロードする。ロードされたテスト実績情報から、残存誤り予測情報取得部５３０により、試験が完了した時点の残存誤り予測情報（件数、分類、発生個所）５４０を抽出する。
【０１３８】
プロジェクト診断モデル８００は、試験が完了した時点の残存誤り予測情報（件数、分類、発生個所）を入力とし、残存誤り予測情報に関連するリスク及びその対策案情報５５０を出力する。
【０１３９】
リスク評価部５６０は、影響度・発生確率により、抽出されたリスクを評価する。
【０１４０】
優先度調整部５７０は、リスク重点入力部５１０に基づいて設定したＱＣＤＲＳの重点度合いを反映して、抽出したリスクの優先度を調整する。
【０１４１】
対策項目選出部５８０は、調整済みのリスクに基づいて対策案を選出する。
【０１４２】
レポート作成部５９０は、残存誤り予測情報（件数、分類、発生個所）に基づくリスク分析を行い、対策案をそれぞれ帳票形式で作成する。
【０１４３】
残存誤り・リスク情報表示部６００は、レポート作成部５９０により作成されたレポートを表示部４０の画面に表示する。残存誤り予測情報（件数、分類、発生個所）については、開発プロセス別に誤りの発生実績に基づく予測情報をグラフ化して表示される。対策案レポート６１０については、残存誤り・リスク・効果情報ＤＢ４００へ残存誤り及びリスクと共に登録される。
【０１４４】
リスク対策効果判定入力部６１５は、リスク対策案を適用した結果の効果の度合いを残存誤り・リスク・効果情報ＤＢ４００へフィードバック入力する。フィードバック入力されたリスク対策案を適用した結果の効果の度合いは、プロジェクト診断モデル学習部７９０を介して、プロジェクト診断モデル８００を更新する。
【０１４５】
２．動作
次に、本実施の形態に係るプロジェクト診断機能装置７００の動作について、図１６ａ及び図１６ｂに示すフローチャートを参照して説明する。プロジェクト診断機能装置７００は、プロジェクト診断モデル８００を運用するに当たり、自動探索的に試験を実施した後の残存誤り情報より、リスク及びその対策案を抽出し、リスクに対する利用者による優先度に応じて結果を自動的に提示する。従って、効率的に残存誤りに対する対策を実施することが可能となる。
【０１４６】
開始（Ｓ７００）後、当該プロジェクトの実施の形態１又は２に基づく探索的な自動試験のテスト結果を試験結果データ記憶部５２０へロードすると共に、テスト実績ＤＢ３０１へ保存する（Ｓ７０１）。
【０１４７】
実施の形態１又は２に係る試験装置１に基づく誤り予測モデル３２適用結果より、残存誤り予測情報５４０を取得する（Ｓ７０２）。
【０１４８】
残存誤り予測情報５４０の件数、種類、発生個所をグラフ化して表示する（Ｓ７０３）。
【０１４９】
以下の当該プロジェクトのデータを、プロジェクト診断モデル学習部７９０にて統合する（Ｓ７０４）。
・残存誤り・リスク・効果情報ＤＢ４００
・テスト実績ＤＢ３０１
・プロジェクトＤＢ３０５
・出荷後不具合ＤＢ３０２
・リスク登録簿ＤＢ４１０
・設計技術ＤＢ４２０
・トレーサビリティ情報ＤＢ４３０
【０１５０】
プロジェクト診断モデル学習部７９０にて、ステップＳ７０４にて生成された統合データより、プロジェクト診断モデル８００への投入データを作成する（Ｓ７０５）。
【０１５１】
プロジェクト診断モデル学習部７９０にて、当該プロジェクトの設計書、テスト仕様書、ソース、仕様変更情報などの非構造化データも含めてテキスト解析を行う（Ｓ７０６）。
【０１５２】
プロジェクト診断モデル学習部７９０によるテキスト解析結果から、当該プロジェクトの残存誤りに対する特徴を分析し、誤りが仕様書に記載がある内容か、仕様変更による影響の可能性があるかどうか、機種間の相関などの情報を、ＸＭＬファイル等の構造化データとして出力する（Ｓ７０７）。
【０１５３】
当該プロジェクトの試験結果に基づく残存誤り予測情報５４０のデータをプロジェクト診断モデル８００へ投入する（Ｓ７０８）。
【０１５４】
プロジェクト診断モデル８００より当該プロジェクトで残存していると予測される誤り情報から関連するリスク及びその対策案情報５５０を抽出する（Ｓ７０９）。
【０１５５】
プロジェクトのどのリスクに対してどの程度重点を置くか優先度を調整する必要がある場合は、リスク重点入力部５１０にて、ＱＣＤＲＳ等の、パラメータが入力される（Ｓ７１０）。
【０１５６】
リスク評価部５６０にて、予測されるリスクの発生確率と影響度を分析し、リスク評価する（Ｓ７１１）。
【０１５７】
優先度調整部５７０にて、優先度を調整する必要がある場合かどうか判定する（Ｓ７１２）。
【０１５８】
優先度調整部５７０にて、対象を限定する必要がある場合かどうか判定する（Ｓ７１３）。
【０１５９】
対象を限定する必要がある場合は、優先度調整部５７０にて、誤り種類や箇所を限定抽出する（Ｓ７１４）。
【０１６０】
優先度調整部５７０にて、対象のリスクが既知の未知であるか判定する（Ｓ７１５）。
【０１６１】
対象のリスクが既知の未知である場合は、優先度調整部５７０にて、リスク登録簿ＤＢ４１０からコンティンジェンシープランをロードして対策案とする（Ｓ７１６）。
【０１６２】
優先度調整部５７０にて、対象のリスクが未知の未知であるか判定する（Ｓ７１７）。
【０１６３】
対象のリスクが未知の未知である場合は、優先度調整部５７０にて、プロジェクト診断モデル８００より予測される残存誤り情報に対するリスクから想定される対策案をロードする（Ｓ７１８）。
【０１６４】
優先度調整部５７０にて残存する予測誤りに対するリスクとその対策を優先度で整理し、対策項目選出部５８０にて対策項目を選出する（Ｓ７１９）。
【０１６５】
レポート作成部５９０にて、ＱＣＤＲＳの観点でリスクとその対策に関するレポートを作成する（Ｓ７２０）。
【０１６６】
対策案を実施後、リスク対策効果判定入力部６１５にて、リスク対策効果の判定入力を実施する（Ｓ７２１）。
【０１６７】
テスト実績ＤＢ３０１の更新情報（実施したテスト項目とその残存誤り予測情報及びリスクとその対策及び効果の度合い）をプロジェクト診断モデル８００へフィードバックする（Ｓ７２２）。
【０１６８】
３．まとめ
本実施の形態に係る開発支援装置は、実施の形態３に係る開発支援装置であることに加えて、残存していると予測される誤りからプロジェクト診断モデル８００で出力されるリスクが既知もしくは未知なのかを判別した上で、優先度を判断して対策項目を提示する優先度調整部５７０を含む。
【０１６９】
また、プロジェクト診断モデル８００に対して、既存のプロジェクトに関する情報に基づいて、各プロジェクトにおける試験完了時点での残存している残存誤り予測情報から、関連するリスクに基づく対策案がどの程度効果があったか否かを入力して、学習させるリスク対策効果判定入力部６１５を含む。
【０１７０】
このようにすることにより、開発支援装置は、自動試験実施完了後に各プロジェクト診断のリスクの優先度に応じて最適な対策案を効率的に提示することができる。
【０１７１】
他の実施の形態．
以上のように、本発明における技術の例示として、実施の形態を説明した。しかしながら、本発明における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１７２】
本発明のプロジェクトは、ソフトウェア開発を伴う製品（装置）やシステムの開発プロジェクトのことをいうが、これに限定されない。例えば、プロジェクトは、ソフトウェア開発を伴う製品（装置）の所定の機能、或いは、モジュールの開発プロジェクトであってもよい。
【０１７３】
実施の形態１及び２に係るリスク評価部１０７は、誤り予測情報３１２の各テストケース番号に対して、誤りが検出される見込み度合いと、当該誤りの影響度合いとを積算した値を、リスク評価値として付加するが、これに限定されない（図７のＳ２０３）。例えば、試験装置１は、誤りに対する改修履歴情報を記憶しており、リスク評価部１０７は、改修履歴情報を有するテストケースに、改修履歴情報を有しないテストケースよりも高いリスク評価値を付加してもよい。
【０１７４】
実施の形態１及び２に係るテスト項目生成部１０８は、ユーザ操作に従って、実行するテストケースを選択するが、これに限定されない（図７のＳ２０４）。例えば、テスト項目生成部１０８は、所定のリスク評価値以上のテストケースを、自動で実行するテストケースとして選択してもよい。あるいは、テスト項目生成部１０８は、所定のテスト観点や重要テスト項目に対応するテストケースを、自動で実行するテストケースとして選択してもよい。例えば、所定のリスク評価値、テスト観点、及び重要テスト項目は、ユーザ操作により事前に設定される。
【０１７５】
実施の形態１及び２に係るテスト項目生成部１０８は、ユーザ操作に従って、テストケースの実行する順番を変更するが、これに限定されない（図７のＳ２０４）。例えば、テスト項目生成部１０８は、リスク評価値が高い順番に、テストケースの実行する順番を変更してもよい。
【０１７６】
実施の形態１及び２に係る学習部１０４は、ブートストラップ法（Ｂｏｏｔ  Ｓｔｒａｐ  Ｍｅｔｈｏｄ）によって、誤り予測モデル３２を学習させるが、これに限定されない。学習部１０４は、他の公知の方法、例えば、深層学習（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）によって、誤り予測モデル３２を学習させてもよい。また、実施の形態３及び４に係るプロジェクト診断モデル８００は、ディープニューラルネットワーク（深層学習器）により実現され得るが、他の人工知能に係る技術により実現されてもよい。
【０１７７】
実施の形態１及び２に係るプロセッサ１０はテスト項目調整部をさらに備え、テスト項目調整部は、ユーザ操作に従って、テスト項目生成部１０８が生成したテスト項目を変更したり、テスト項目の順番を変更したりしてもよい。このとき、ユーザは、操作部５０を介して、例えば、重要度の高いモジュールや機能についてのテスト項目を網羅するようにテスト項目情報３１３を変更したり、既存のプロジェクトと共通するモジュールや機能についての試験を優先するようにテスト項目の順番を変更したりすることができる。
【符号の説明】
【０１７８】
１  試験装置
１０  プロセッサ
２０  主記憶部
３０  補助記憶部
３１  機械学習ＤＢ
３２  誤り予測モデル
４０  表示部
５０  操作部
６０  通信部
１０１  データ構造化部
１０２  教師ありデータ生成部
１０３  非構造化データ解析部
１０４  学習部
１０５  入力データ生成部
１０６  誤り予測情報取得部
１０７  リスク評価部
１０８  テスト項目生成部
１０９  テストケース情報取得／生成部
１１０  テストシナリオ生成部
１１１  テストシナリオ実行部
１１２  テスト結果比較部
１１３  シーケンス図生成部
１１４  テスト結果比較情報投入部
３０１  テスト実績情報ＤＢ
３０２  出荷後不具合情報ＤＢ
３０３  テスト技術ＤＢ
３０４  ドメイン知識情報ＤＢ
３０５  プロジェクト情報ＤＢ
３０６  テストケースＤＢ
３０７  テストシナリオＤＢ
３０８  ドキュメントＤＢ
３０９  構造化ＤＢ
３１０  教師ありＤＢ
３１１  教師なしＤＢ
４００  残存誤り・リスク・効果情報ＤＢ
４１０  リスク登録簿ＤＢ
４２０  設計技術ＤＢ
４３０  トレーサビリティ情報ＤＢ
６２０  機械学習ＤＢ
７００  プロジェクト診断機能装置
７９０  プロジェクト診断モデル学習部
８００  プロジェクト診断モデル
５１  構造化データ統合部
５２  第２の教師ありデータ作成部
５３ａ  教師ありデータ投入部
５３ｂ  教師なしデータ投入部
５４  非構造化データ統合部
５５  第２の非構造化データ解析部
５６  特徴要素抽出部
５７  非構造化データ変換部
５８  検証評価基準抽出部
５９  モデル作成部
６１  モデル再作成部
６２  検証評価出力部
５１０  リスク重点入力部
５２０  試験結果データ記憶部
５３０  残存誤り予測情報取得部
５４０  残存誤り予測情報
５５０  リスク及びその対策案情報
５６０  リスク評価部
５７０  優先度調整部
５８０  対策項目選出部
５９０  レポート作成部
６００  残存誤り・リスク情報表示部
６１０  対策案レポート
６１５  リスク対策効果判定入力部
【図１】
2020137096.tif 000004
【図２】
2020137096.tif 000005
【図３】
2020137096.tif 000006
【図４】
2020137096.tif 000007
【図５】
2020137096.tif 000008
【図６】
2020137096.tif 000009
【図７】
2020137096.tif 000010
【図８】
2020137096.tif 000011
【図９】
2020137096.tif 000012
【図１０】
2020137096.tif 000013
【図１１】
2020137096.tif 000014
【図１２】
2020137096.tif 000015
【図１３】
2020137096.tif 000016
【図１４】
2020137096.tif 000017
【図１５】
2020137096.tif 000018
【図１６ａ】
2020137096.tif 000019
【図１６ｂ】
2020137096.tif 000020
【手続補正書】
【提出日】令和3年1月25日(2021.1.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
開発の対象又はプロジェクトに関する情報から、前記開発の対象又はプロジェクトにおいて試験を行うためのテストシナリオを生成する開発支援装置であって、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得する誤り予測情報取得部と、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するテスト項目生成部と、
前記テストシナリオにおける個々の処理を規定する複数のテストケースに関する情報が格納されたテストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得する処理部と、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するテストシナリオ生成部と、
を備える開発支援装置。
【請求項２】
前記誤り予測情報取得部で取得された前記誤り予測情報と対応する前記テストケースによって、前記開発の対象又はプロジェクトにおける対策評価に用いられるリスク評価値を算出し、前記誤り予測情報に付加するリスク評価部を、更に備え、
前記テスト項目生成部は、
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、
請求項１に記載の開発支援装置。
【請求項３】
前記テスト項目生成部は、
前記リスク評価値が、所定の閾値よりも高いテストケース全てについて、前記テスト項目情報を生成する、
請求項２に記載の開発支援装置。
【請求項４】
前記テスト項目生成部は、
前記リスク評価値が、所定の閾値よりも高いテストケースのうち、予め定められた重要なテストケースについて、前記テスト項目情報を生成する、
請求項２に記載の開発支援装置。
【請求項５】
前記処理部は、
前記テストケースデータベースに、各前記テスト項目情報が示す試験の内容を示すテストケース情報がないと判断した場合、テストケース情報を生成する、
請求項１から４のいずれか１項に記載の開発支援装置。
【請求項６】
前記テストシナリオに従って、対象装置の試験を実行するテストシナリオ実行部を、更に備える、
請求項１から５のいずれか１項に記載の開発支援装置。
【請求項７】
前記誤り予測情報を出力する誤り予測モデルに対し、機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに格納された、少なくとも既存の開発の対象又はプロジェクトに関する情報および前記テストシナリオにおける個々の処理を規定する複数のテストケースに関する情報に基づいて、各開発の対象又はプロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させる学習部を、更に備える、
請求項１から６のいずれか１項に記載の開発支援装置。
【請求項８】
前記テストシナリオに従って対象装置の試験を実行した結果に基づいて、前記誤り予測モデルを学習させる、テスト結果比較情報投入部を、更に備える、
請求項７に記載の開発支援装置。
【請求項９】
前記リスク評価部は、更に、
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデルを用いてリスク評価する、
請求項２に記載の開発支援装置。
【請求項１０】
前記プロジェクト診断モデルで出力されるリスクが既知もしくは未知なのかを判別することにより、対策項目の優先度を判断して出力する優先度調整部を、更に備える、
請求項９に記載の開発支援装置。
【請求項１１】
前記プロジェクト診断モデルに対し、試験完了時に残存している残存誤り予測情報を入力として関連するリスク及び対策を出力させる学習を実行するプロジェクト診断モデル学習部を、更に備える、
請求項９または１０に記載の開発支援装置。
【請求項１２】
前記プロジェクト診断モデル学習部は、
少なくとも仕様又は設計の内容を含む非構造化データのテキスト解析結果に基づき、対策が必要となる対応の特徴要素を抽出して、前記非構造化データのテキスト解析結果と、抽出された特徴要素とを、規則性のある構造化データに変換する非構造化データ変換部を、更に備える、
請求項１１に記載の開発支援装置。
【請求項１３】
既存のプロジェクトに関する情報に基づいて、各プロジェクトにおける試験完了時点での残存している残存誤り予測情報から、関連するリスクに基づく対策案がどの程度効果があったか否かの情報を入力し、前記プロジェクト診断モデルを学習させるリスク対策効果判定入力部を、更に備える、
請求項９から１２のいずれか１項に記載の開発支援装置。
【請求項１４】
機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに含まれ、テストシナリオにおける個々の処理を規定する複数のテストケース情報が格納される、テストケースデータベースと、通信可能であり、
開発の対象又はプロジェクトに関する情報から、前記開発の対象又はプロジェクトにおいて試験を行うためのテストシナリオを生成する開発支援システムであって、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得する誤り予測情報取得部と、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するテスト項目生成部と、
前記テストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得する処理部と、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するテストシナリオ生成部と、
を備える、開発支援システム。
【請求項１５】
前記誤り予測情報取得部で取得された前記誤り予測情報と対応する前記テストケースによって、前記開発の対象又はプロジェクトにおける対策評価に用いられるリスク評価値を算出し、前記誤り予測情報に付加するリスク評価部を、更に備え、
前記テスト項目生成部は、
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、
請求項１４に記載の開発支援システム。
【請求項１６】
前記誤り予測情報を出力する誤り予測モデルに対し、既存の開発の対象又はプロジェクトに関する情報に基づいて、各開発の対象又はプロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させる学習部を、更に備える、請求項１４または請求項１５に記載の開発支援システム。
【請求項１７】
前記リスク評価部は、更に、
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデルを用いてリスク評価する、
請求項１５に記載の開発支援システム。
【請求項１８】
開発の対象又はプロジェクトに関する情報から、前記開発の対象又はプロジェクトにおいて試験を行うためのテストシナリオを生成する、開発支援のためのコンピュータプログラムにおいて、
機械学習で用いられる種々の情報を記憶するデータベースである機械学習データベースに含まれ、テストシナリオにおける個々の処理を規定する複数のテストケース情報が格納される、テストケースデータベースを、設定するステップと、
入力されたテストケースが誤りを検出する見込み度合いを示す情報を含む誤り予測情報を出力する誤り予測モデルに、前記開発の対象又はプロジェクトに関する情報を入力して、各前記テストケースと対応する各誤り予測情報を取得するステップと、
取得された前記誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成するステップと、
前記テストケースデータベースから、前記テスト項目情報が含む前記試験項目に対応するテストケース情報を取得するステップと、及び、
取得された前記テストケース情報に基づいて、前記テストシナリオを生成するステップと、
を備える、開発支援のためのコンピュータプログラム。
【請求項１９】
前記誤り予測情報を取得するステップにて取得された前記誤り予測情報と対応する前記テストケースによって、前記開発の対象又はプロジェクトにおける対策評価に用いられるリスク評価値を算出し、前記誤り予測情報に付加するステップを、更に備え、
前記テスト項目情報を生成するステップでは、
前記リスク評価値が付加された誤り予測情報に基づいて、実施する試験項目を示すテスト項目情報を生成する、
請求項１８に記載の開発支援のためのコンピュータプログラム。
【請求項２０】
前記誤り予測情報を出力する誤り予測モデルに対し、既存の開発の対象又はプロジェクトに関する情報に基づいて、各開発の対象又はプロジェクトにおける試験での各前記テストケースが誤りを検出したか否かを学習させるステップを、更に備える、
請求項１８または１９に記載の開発支援のためのコンピュータプログラム。
【請求項２１】
前記リスク評価値を算出し誤り予測情報に付加するステップは、更に、
試験完了時に残存している残存誤り予測情報を入力して、関連するリスク及びその対策を出力するプロジェクト診断モデル用いてリスク評価するステップを含む、
請求項１９に記載の開発支援のためのコンピュータプログラム。
【国際調査報告】
2020137096.tif 000021
2020137096.tif 000022