(57)【要約】【課題】評価処理の効率を向上させた評価システム、評価方法及び評価プログラムを提供すること。【解決手段】評価システム１は、評価対象プログラムに対する評価項目を記憶するデータベースと、評価対象プログラムのカバレッジ情報を取得するデバッカ手段と、所定データに対する評価対象プログラムの処理結果と期待値とを、データベースの評価項目毎に比較する比較手段と、デバッカ手段からのカバレッジ情報と、比較手段からの比較結果と、に基づいて評価対象プログラムの不具合を解析する不具合解析手段と、を備えている。【選択図】図１
2012043133.tif 000002
【特許請求の範囲】
【請求項１】
評価対象プログラムに対する評価項目を記憶するデータベースと、
前記評価対象プログラムのカバレッジ情報を取得するデバッカ手段と、
所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記データベースの評価項目毎に比較する比較手段と、
前記デバッカ手段からの前記カバレッジ情報と、前記比較手段からの比較結果と、に基づいて前記評価対象プログラムの不具合を解析する不具合解析手段と、
を備える、ことを特徴とする評価システム。
【請求項２】
請求項１記載の評価システムであって、
前記比較手段は、前記評価対象プログラムの処理結果と期待値とを比較して、該評価対象プログラムの処理結果と期待値との一致及び不一致を判断し、
前記不具合解析手段は、前記比較手段による前記評価対象プログラムの処理結果と期待値との不一致の判断に基づいて、前記データベースの評価項目の更新を指示する、ことを特徴とする評価システム。
【請求項３】
請求項２記載の評価システムであって、
前記不具合解析手段からの前記データベースの評価項目の更新指示に応じて、前記データベースの評価項目に類似する評価項目を追加する更新手段を、更に備える、ことを特徴とする評価システム。
【請求項４】
請求項１乃至３のうちいずれか１項記載の評価システムであって、
前記不具合解析手段は、前記評価対象プログラムの処理結果と期待値とが一致するときの前記カバレッジ情報と、前記評価対象プログラムの処理結果と期待値とが不一致のときの前記カバレッジ情報との差分を検出することで、前記評価プログラムの不具合原因を特定する、ことを特徴とする評価システム。
【請求項５】
請求項１乃至４のうちいずれか１項記載の評価システムであって、
前記所定データを生成する入力データ手段と、
前記入力データ手段により生成された前記所定データを保存する入力データ保存手段と、
前記入力データ手段からの前記所定データに基づいて、前記データベースの評価項目毎に前記期待値を生成するリファレンス手段と、
を更に備える、ことを特徴とする評価システム。
【請求項６】
評価対象プログラムのカバレッジ情報を取得し、
所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較し、
前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する、
ことを特徴とする評価方法。
【請求項７】
評価対象プログラムのカバレッジ情報を取得する処理と、
所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較する処理と、
前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する処理と、
をコンピュータに実行させる、ことを特徴とする評価プログラム。
【請求項８】
請求項７記載の評価プログラムを記憶することを特徴とするコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価対象プログラムを自動的に評価するための評価システム、評価方法及び評価プログラムに関するものである。
【背景技術】
【０００２】
最近の電子機器はシステムの複雑化により評価処理が増大しており、その評価処理の効率化が求められている。例えば、入力データの作成から結果解析まで手作業で行われることが多く、その評価処理に多大な時間を要している。
【０００３】
このような問題点を解決すべく、例えば、操作手順と入力データとを関連付けて記憶することで、評価者と不具合解析者とが異なる場合における不具合解析処理の改善を図った評価システムが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１８７６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の評価システムにおいては、上述の如く、入力データの作成、結果確認、評価対象プログラムなどのリセット作業が手作業となるため、処理効率の低下を招いている。一方で、特許文献１に示す評価システムにおいて、操作手順と入力データとを関連付けることで不具合解析処理を改善している。しかしながら、評価処理の完全な自動化が行われているわけではないため、その処理効率は良好とは言えず、不具合解析も不具合解析者の負担となっている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、評価対象プログラムに対する評価項目を記憶するデータベースと、前記評価対象プログラムのカバレッジ情報を取得するデバッカ手段と、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記データベースの評価項目毎に比較する比較手段と、前記デバッカ手段からの前記カバレッジ情報と、前記比較手段からの比較結果と、に基づいて前記評価対象プログラムの不具合を解析する不具合解析手段と、を備える、ことを特徴とする評価システムである。
【０００７】
本態様によれば、データベースの評価項目に従って評価対象プログラムの評価を自動的に実行し、さらに、評価対象プログラムのカバレッジ情報及び比較結果を蓄積し、その蓄積に基づいて、不具合解析を自動的に行うことができる。すなわち、評価対象プログラムに対する評価の効率を向上させることができる。
【０００８】
また、本発明の一態様は、評価対象プログラムのカバレッジ情報を取得し、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較し、前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する、ことを特徴とする評価方法であってもよい。
【０００９】
さらに、本発明の一態様は、評価対象プログラムのカバレッジ情報を取得する処理と、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較する処理と、前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する処理と、をコンピュータに実行させる、ことを特徴とする評価プログラムであってもよい。
【発明の効果】
【００１０】
本発明によれば、評価処理の効率を向上させた評価システム、評価方法及び評価プログラムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る評価システムの概略的な構成を示すブロック図である。
【図２】本発明の実施の形態１に係る評価システムによる処理フローの一例を示すフローチャートである。
【図３】サウンド処理プログラムを実行した結果得られたカバレッジ情報およびＯＫ／ＮＧ判断情報の蓄積結果の一例を示す図である。
【図４】図３に示すカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて不具合解析を行い、得られた不具合解析結果の一例を示す図である。
【図５】追加した評価項目に基づいて評価を実行したときに蓄積されたカバレッジ情報およびＯＫ／ＮＧ判断情報の一例を示す図である。
【図６】ＨＥ−ＡＡＣデコーダプログラムを実行した結果得られたカバレッジ情報及びＯＫ／ＮＧ判断情報の蓄積結果の一例を示す図である。
【図７】図６に示すカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて不具合解析を行い得られた不具合解析結果の一例を示す図である。
【図８】追加した評価項目に基づいて評価を実行したときに蓄積されたカバレッジ情報およびＯＫ／ＮＧ判断情報の一例を示す図である。
【発明を実施するための形態】
【００１２】
実施の形態１．
以下、図面を参照して本発明の実施の形態１について説明する。図１は、本発明の実施の形態１に係る評価システムの概略的な構成を示すブロック図である。本実施の形態１に係る評価システム１は、評価の対象となる評価対象プログラム６に対し、複数ある評価項目を自動的に実行することで評価効率を向上させると共に、評価結果及びカバレッジ情報に基づいて自動的に評価／解析を行い、ユーザに対する不具合解析の負担を軽減するためのシステムである。
【００１３】
評価システム１は、全体制御部２と、入力データ送信部３と、入力データ保存部４と、デバッガ５と、評価対象プログラム６と、リファレンスプログラム７と、結果比較部８と、不具合解析部９と、評価項目データベース１０と、解析結果データベース１１と、を備えている。なお、評価システム１は、例えば、制御処理、演算処理等を行うＣＰＵ（Central Processing Unit）と、ＣＰＵによって実行される制御プログラム、演算プログラム等が記憶されたＲＯＭ（Read Only Memory）と、処理データ等を記憶するＲＡＭ（Random Access Memory）と、を有する、マイクロコンピュータを中心にハードウェア構成されている。
【００１４】
全体制御部２は、評価項目データベース１０の評価項目に従って評価処理を実行する。また、全体制御部２は、入力データ送信部３やデバッガ５に対して評価の開始及び停止の実行指示を行う。さらに、全体制御部２は、評価項目データベース１０の評価項目や不具合解析部９からの評価項目の更新指示に基づいて、入力データ送信部３に対して入力データの加工指示、およびデバッガ５を介して評価対象プログラム６やリファレンスプログラム７に対して動作条件の指示を行う。また、全体制御部２は、更新手段の一具体例であり、不具合解析部９から評価項目の更新指示に応じて、評価項目データベース１０の評価項目を更新する。
【００１５】
入力データ送信部３は、入力データ手段の一具体例であり、入力データの生成や加工、入力データの送信の開始及び停止、などを行う。入力データ送信部３は、入力データの加工を全体制御部２からの指示に従って行う。入力データ送信部３は、例えば評価対象プログラム６に対して不正な入力データを生成し、生成された入力データは、評価対象プログラム６のエラー隠蔽が正常動作するか否かを評価する場合に使用される。
【００１６】
入力データ保存部４は、入力データ保存手段の一具体例であり、評価手順と入力データ送信部３から送信される入力データとを保存している。なお、入力データ保存部４は、入力データ送信部３において加工が施された入力データを、加工が施された状態で保存する。
【００１７】
デバッカ５は、デバッカ手段の一具体例であり、評価対象プログラム６を起動し、その評価対象プログラム６のカバレッジ情報を取得する。デバッカ５は、評価対象プログラム６に対して動作条件を指示する。デバッガ５は、取得したカバレッジ情報を不具合解析部９に対して送信し、不具合解析部９はデバッカ５から送信されるカバレッジ情報を蓄積する。
【００１８】
評価対象プログラム６は、上記ＲＯＭやＲＡＭに記憶されており、その評価処理が開始されると、デバッガ５からの指示に応じて起動する。そして、評価対象プログラム６は、入力データ送信部３から受信した入力データを、評価項目データベース１０の評価項目毎に処理し、その処理結果を結果比較部８に対して送信する。そのデータ処理中において、デバッカ５は評価対象プログラム６のカバレッジ情報を取得する。
【００１９】
リファレンスプログラム７は、リファレンス手段の一具体例であり、評価対象プログラム６に対するリファレンスプログラムであり、上記ＲＯＭやＲＡＭに記憶されている。リファレンスプログラム７は、入力データ送信部３から受信した入力データに基づいて、評価項目データベース１０の評価項目毎に期待値を生成し、生成した期待値を結果比較部８に対して送信する。また、リファレンスプログラム７は、全体制御部２から動作条件の指示に応じて動作する。
【００２０】
結果比較部８は、比較手段の一具体例であり、評価項目データベース１０の評価項目毎に、評価対象プログラム６の処理結果とリファレンスプログラム７の期待値とを比較し、それらの一致及び不一致を判断する。結果比較部８は、評価対象プログラム６の処理結果とリファレンスプログラム７の期待値とが一致する場合にＯＫと判断（ＯＫ判断又は正常判断）し、一致しない場合にＮＧと判断（ＮＧ判断又は不具合判断）し、その比較結果をＯＫ／ＮＧ判断情報として不具合解析部９に対して送信する。
【００２１】
不具合解析部９は、不具合解析手段の一具体例であり、デバッガ５から送信されるカバレッジ情報と結果比較部８から送信されるＯＫ／ＮＧ判断情報とを蓄積し、蓄積されたカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて、不具合解析を行う。
【００２２】
評価対象プログラム６は、不具合発生時のＮＧ判断のときと、正常時のＯＫ判断のときとは違う動作を行うため、不具合解析部９は、ＯＫ判断のときのカバレッジ情報とＮＧ判断のときのカバレッジ情報との差分を検出することで評価対象プログラム６の不具合原因を特定し、その特定した結果を、不具合解析結果として解析結果データベース１１に対して出力する。不具合解析部９は、結果比較部８からＮＧ判断情報を受信したとき、そのＮＧ判断の原因を詳細に特定するために全体制御部２に対し評価項目の更新を指示する。
【００２３】
評価項目データベース１０は、データベースの一具体例であり、評価対象プログラム６を評価するための評価項目を保存するためのデータベースである。解析結果データベース１１は、不具合解析部９から出力される不具合解析結果を保存するためのデータベースである。評価項目データベース１０及び解析結果データベース１１は、例えば、磁気ディスク装置、光ディスク装置、ＲＡＭなどにより構成されている。なお、評価項目データベース１０及び解析結果データベース１１は、一体的に構成されていてもよい。
【００２４】
次に、本実施の形態１に係る評価システム１による評価方法について、詳細に説明する。図２は、本実施の形態１に係る評価システムによる処理フローの一例を示すフローチャートである。
【００２５】
評価システム１が評価処理を開始すると、全体制御部２は評価項目データベース１０から評価項目を取得し（ステップＳ２０１）、取得した評価項目に基づいて評価を実行開始し、評価開始を入力データ送信部３、デバッカ５等に指示する（ステップＳ２０２）。
【００２６】
入力データ送信部３は、全体制御部２からの指示に従って、入力データ保存部４、リファレンスプログラム７等に対して入力データを送信する（ステップＳ２０３）。
【００２７】
入力データ保存部４は、入力データ送信部３から受信した入力データと、操作手順とを保存する（ステップＳ２０４）。
【００２８】
デバッカ５は、全体制御部２からの指示に従って評価対象プログラム６を起動する（ステップＳ２０５）。
【００２９】
リファレンスプログラム７は、入力データ送信部３から受信した入力データに基づいて、評価項目データベース１０の評価項目毎に期待値を生成し（ステップＳ２０６）、生成した期待値を結果比較部８に対して送信する。
【００３０】
デバッカ５は、処理中の評価対象プログラム６のカバレッジ情報を取得し（ステップＳ２０７）、取得したカバレッジ情報を不具合解析部９に対して送信する。
【００３１】
評価対象プログラム６は、入力データ送信部３から受信した入力データを評価項目データベース１０の評価項目毎に処理し（ステップＳ２０８）、その処理結果を結果比較部８に対して送信する。
【００３２】
結果比較部８は、評価対象プログラム６の処理結果とリファレンスプログラム７の期待値とを、評価項目データベース１０の評価項目毎に比較し（ステップＳ２０９）、その比較結果をＯＫ／ＮＧ判断情報として不具合解析部９に対して送信する。
【００３３】
不具合解析部９は、デバッガ５から送信されるカバレッジ情報と結果比較部８から送信されるＯＫ／ＮＧ判断情報とを蓄積し（ステップＳ２１０）、蓄積されたカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて、不具合解析を行う。ここで、多数の評価項目を実行すると、ＮＧ判断の場合に実行される命令と、その時の評価項目が抽出されるため、この傾向を分析することで不具合解析を行うことができる。
【００３４】
不具合解析部９は、結果比較部８からＮＧ判断情報を受信したとき（ステップＳ２１１のＹＥＳ）、全体制御部２に評価項目の更新を指示し（ステップＳ２１２）、全体制御部２は不具合解析部９からの更新指示に応じて、評価項目データベース１０の評価項目を更新する（ステップＳ２１３）。この更新において、全体制御部２は、例えば、現在の入力データに少しだけ加工を加えたり、評価対象プログラム６の動作条件に微修正を加えたりして、評価項目を追加する。これにより、ＮＧ判断となる評価項目が増加するので、カバレッジ情報が増加し、不具合解析の精度を向上させることができる。
【００３５】
一方、不具合解析部９は、結果比較部８からＯＫ判断情報を受信したとき（ステップＳ２１１のＮＯ）、全体制御部２に評価項目更新指示をしない。全体制御部２は、不具合解析部９からの評価項目更新指示がないと、評価項目データベース１０の評価項目に従って評価を実行する。
【００３６】
不具合解析部９は、全評価が終了すると（ステップＳ２１４のＹＥＳ）、不具合解析の結果を解析結果データベース１１に対して出力し（ステップＳ２１５）、本処理を終了する。ユーザは、必要に応じて、解析結果データベース１１から評価対象プログラムの不具合解析結果を取り出し、ディスプレイなどの表示装置やプリンタ装置などに出力することができる。
【００３７】
次に、本実施の形態１に係る評価システムによる具体的な評価処理について、詳細に説明する。ここで、評価対象プログラム６として、サラウンド処理プログラム６が用いられ、入力データとして、ＰＣＭ（Pulse Code Modulation）データが用いられている。
【００３８】
サラウンド処理プログラム６は、入力データ送信部３から受信したＰＣＭデータを処理し、その処理したＰＣＭデータを結果比較部８に対して送信する。
【００３９】
ここで、サウンド処理プログラム６は、図３に示すように、１０のステップ（ステップＮｏ．１〜１０）の処理を実行し、評価項目データベース１０には、５つの評価項目Ａ〜Ｅが登録されているものとする。本実施の形態１に係る評価システム１において、このサウンド処理プログラム６を実行した結果、不具合解析部９が図３に示すようなカバレッジ情報とＯＫ／ＮＧ判断情報の蓄積結果を得たとする。なお、図３において、"○"はサウンド処理プログラム６により実行された処理を表している。
【００４０】
さらに、不具合解析部９は、図３に示すカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて不具合解析を行い、図４に示す不具合解析結果を解析結果データベース１１に対して出力する。図４に示すように、不具合解析部９は、ステップＮｏ．５及びステップＮｏ．６において正常動作か否かを判断できない。
【００４１】
この場合、不具合解析部９は、全体制御部２に対して、ＤとＥに類似した評価項目の追加するように更新指示を行う。全体制御部２は、不具合解析部９からのその更新指示に従い、評価項目データベース１０の評価項目においてＤとＥに類似した評価項目を追加する。
【００４２】
例えば、評価項目Ｄがサラウンドのモード評価であり、モード"normal"、"narrow"、及び"wide"の選択肢があり、評価項目Ｄにおいてモード"normal"で上記モード評価を行った場合、全体制御部２は、モード"narrow"とした評価項目Ｄ１と、モード"wide"とした評価項目Ｄ２とを評価項目データベース１０の評価項目に追加する。
【００４３】
また、評価項目Ｅがサラウンド効果の強弱評価であり、その範囲が０〜１００であり、評価項目Ｅにおいて"５０"の範囲で上記強弱評価を行った場合、全体制御部２は、"０"の範囲とした評価項目Ｅ１と、"１００"の範囲とした評価項目Ｅ２と、を評価項目データベース１０の評価項目に追加する。このように、全体制御部２は、評価項目データベース１０の評価項目において、必要な評価項目を追加することで、評価項目データベース１０を更新する。
【００４４】
図５は、上述のように追加した評価項目に基づいて評価を実行したときに、不具合解析部９により蓄積されたカバレッジ情報およびＯＫ／ＮＧ判断情報を示す図である。不具合解析部９は、図４においてステップＮｏ．５及びステップＮｏ．６において正常動作か否かを判断できていないが、上述の評価項目を追加することで、図５に示すように、ステップＮｏ．５は正常動作で、ステップＮｏ．６は不具合であることが分かる。このようにして、本実施の形態１に係る評価システム１は、自動的に評価対象プログラム６の不具合解析を実行する。
【００４５】
以上、本実施の形態１に係る評価システム１によれば、全体制御部２が、評価項目データベース１０の評価項目に基づいて評価を自動的に実行することで、評価効率を向上させることができる。また、不具合解析部９が、カバレッジ情報及びＯＫ／ＮＧ判断情報を蓄積することで、その不具合解析も自動的に実行することができる。さらに、不具合解析部９が全体制御部２に対して評価項目の追加指示を自動的に行うことで、カバレッジ情報及びＯＫ／ＮＧ判断情報の蓄積量を増加させ、その不具合解析の精度を向上させることができる。すなわち、評価対象プログラム６に対する評価の効率を向上させることができる。
【００４６】
実施の形態２．
本発明の実施の形態２に係る評価システム１において、評価対象プログラム６として、ＨＥ−ＡＡＣデコーダプログラム６が用いられ、入力データとして、ＨＥ−ＡＡＣストリームが用いられている。
【００４７】
ＨＥ−ＡＡＣデコーダプログラム６は、入力データ送信部３から受信したＨＥ−ＡＡＣストリームを処理し、処理結果としてＰＣＭデータを結果比較部８に対して出力する。
【００４８】
ここで、ＨＥ−ＡＡＣデコーダプログラム６は、図６に示すように、１２のステップ（ステップＮｏ．１〜１２）の処理を実行し、評価項目データベース１０には、１０つの評価項目が登録されていたとする。本実施の形態２に係る評価システム１において、このＨＥ−ＡＡＣデコーダプログラム６を実行した結果、不具合解析部９が評価項目Ｆ及びＧについて図６に示すカバレッジ情報とＯＫ／ＮＧ判断情報の蓄積結果を得たとする。
【００４９】
評価項目Ｆは、４８ｋＨｚの正常ストリームの評価であり、評価項目Ｇは、入力データ送信部３で評価項目Ｆと同じストリームに対してサンプリングレートを４４ｋＨｚに書き換えたエラーストリームの評価である。
【００５０】
さらに、不具合解析部９は、図６に示すカバレッジ情報及びＯＫ／ＮＧ判断情報に基づいて不具合解析を行い、図７に示す不具合解析結果を解析結果データベース１１に対して出力する。図７に示すように、不具合解析部９は、ステップＮｏ．６及びステップＮｏ．９において正常動作か否かを判断できない。
【００５１】
この場合、不具合解析部９は、全体制御部２に対して、Ｇに類似した評価項目の追加するように更新指示を行う。全体制御部２は、不具合解析部９からのその更新指示に従い、評価項目データベース１０の評価項目においてＧに類似した評価項目を追加する。
【００５２】
例えば、全体制御部２は、入力データ送信部３で評価項目Ｆと同一のストリームに対し、サンプリングレートを３２ｋＨｚに書き換えたエラーストリームの評価項目Ｇ１と、入力データ送信部３で評価項目Ｆと同一のストリームに対し、サンプリングレートを２４ｋＨｚに書き換えたエラーストリームの評価項目Ｇ２と、を追加する。このように、全体制御部２は、評価項目データベース１０の評価項目において、所望の評価項目を追加することで、評価項目データベース１０を更新する。
【００５３】
図８は、上述のようにして、追加した評価項目に基づいて評価を実行したときに、不具合解析部により蓄積されたカバレッジ情報およびＯＫ／ＮＧ判断情報を示す図である。不具合解析部９は、図７においてステップＮｏ．６及びステップＮｏ．９において正常動作か否かを判断できていないが、上述の評価項目を追加することで、図８に示すように、ステップＮｏ．６は不具合で、ステップＮｏ．９は正常動作であることが分かる。このようにして、本実施の形態２に係る評価システム１は、入力データが不正な場合でも、自動的に評価対象プログラム６の不具合解析を実行することができる。
【００５４】
以上、本実施の形態２に係る評価システム１によれば、上述の実施の形態１の効果に加えて、入力データが不正となる場合でも、評価対象プログラム６の評価や不具合解析を自動的に行うことができる。
【００５５】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００５６】
上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、上述した処理を、上記ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
【００５７】
また、上述の実施の形態では、評価対象プログラム６と全体制御部２等が単一のＣＰＵで実行される構成で説明したが、本発明は、これに限定されるものではない。本発明は、上述した処理を、評価対象プログラム６と全体制御部２等が複数のＣＰＵで実行される場合であっても実現することが可能である。
【００５８】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００５９】
プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００６０】
さらに、上記実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００６１】
（付記１）
評価対象プログラムに対する評価項目を記憶するデータベースと、前記評価対象プログラムのカバレッジ情報を取得するデバッカ手段と、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記データベースの評価項目毎に比較する比較手段と、前記デバッカ手段からの前記カバレッジ情報と、前記比較手段からの比較結果と、に基づいて前記評価対象プログラムの不具合を解析する不具合解析手段と、を備える、ことを特徴とする評価システム。
（付記２）
（付記１）の評価システムであって、前記比較手段は、前記評価対象プログラムの処理結果と期待値とを比較して、該評価対象プログラムの処理結果と期待値との一致及び不一致を判断し、前記不具合解析手段は、前記比較手段による前記評価対象プログラムの処理結果と期待値との不一致の判断に基づいて、前記データベースの評価項目の更新を指示する、ことを特徴とする評価システム。
（付記３）
（付記２）の評価システムであって、前記不具合解析手段からの前記データベースの評価項目の更新指示に応じて、前記データベースの評価項目に類似する評価項目を追加する更新手段を、更に備える、ことを特徴とする評価システム。
（付記４）
（付記１）乃至（付記３）のうちいずれかの評価システムであって、前記不具合解析手段は、前記評価対象プログラムの処理結果と期待値とが一致するときの前記カバレッジ情報と、前記評価対象プログラムの処理結果と期待値とが不一致のときの前記カバレッジ情報との差分を検出することで、前記評価プログラムの不具合原因を特定する、ことを特徴とする評価システム。
（付記５）
（付記１）乃至（付記４）のうちいずれかの評価システムであって、前記所定データを生成する入力データ手段と、前記入力データ手段により生成された前記所定データを保存する入力データ保存手段と、前記入力データ手段からの前記所定データに基づいて、前記データベースの評価項目毎に前記期待値を生成するリファレンス手段と、を更に備える、ことを特徴とする評価システム。
（付記６）
評価対象プログラムのカバレッジ情報を取得し、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較し、前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する、ことを特徴とする評価方法。
（付記７）
評価対象プログラムのカバレッジ情報を取得する処理と、所定データに対する前記評価対象プログラムの処理結果と期待値とを、前記評価対象プログラムの評価項目毎に比較する処理と、前記取得したカバレッジ情報と、前記比較した比較結果と、に基づいて前記評価対象プログラムの不具合を解析する処理と、をコンピュータに実行させる、ことを特徴とする評価プログラム。
（付記８）
（付記７）の評価プログラムを記憶することを特徴とするコンピュータ可読媒体。
【符号の説明】
【００６２】
１    評価システム
２    全体制御部
３    入力データ送信部
４    入力データ保存部
５    デバッガ
６    評価対象プログラム
７    リファレンスプログラム
８    結果比較部
９    不具合解析部
１０    評価項目データベース
１１    解析結果データベース
【図１】
2012043133.tif 000003
【図２】
2012043133.tif 000004
【図３】
2012043133.tif 000005
【図４】
2012043133.tif 000006
【図５】
2012043133.tif 000007
【図６】
2012043133.tif 000008
【図７】
2012043133.tif 000009
【図８】
2012043133.tif 000010