(57)【要約】【課題】事前の各種登録を不要とし、応答検証を効率よく、かつ高精度に行うことができる構成を得る。【解決手段】応答記憶部５が、変更処理が行われる前の変更前データシステム３からの信号値群を変更前信号値群として入力し、変更処理が行われた後の変更後データシステム４からの信号値群を変更後信号値群として入力する。差分検出部６は、変更前信号値群と変更後信号値群との差分を検出する。差分解析部７は、差分検出部６により検出された差分を解析して、差分の発生原因が変更処理であるか他の要因であるかを判定する。【選択図】図１
2015060328.tif 000002
【特許請求の範囲】
【請求項１】
変更処理が行われる前のデータシステムからの信号値群を変更前信号値群として入力し、前記変更処理が行われた後の前記データシステムからの信号値群を変更後信号値群として入力する信号値入力部と、
前記変更前信号値群と前記変更後信号値群との差分を検出する差分検出部と、
前記差分検出部により検出された差分を解析して、前記差分の発生原因が前記変更処理であるか他の要因であるかを判定する差分解析部とを有することを特徴とするデータ処理装置。
【請求項２】
前記差分解析部は、
前記差分検出部により前記変更前信号値群と前記変更後信号値群とから検出された複数の差分値の中から、０以外の差分値を抽出し、
抽出した０以外の差分値の個数が第１の閾値以下であるか否かを判定し、
０以外の差分値の個数が前記第１の閾値以下である場合に、前記複数の差分値における平均値を算出し、算出した平均値に基づき、前記変更前信号値群と前記変更後信号値群との差分の発生原因が前記変更処理であるか他の要因であるかを判定し、
０以外の差分値の個数が前記第１の閾値を超える場合に、前記複数の差分値における分散値を算出し、算出した分散値に基づき、前記変更前信号値群と前記変更後信号値群との差分の発生原因が前記変更処理であるか他の要因であるかを判定することを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記差分解析部は、
前記複数の差分値における平均値を算出した場合に、算出した平均値が第２の閾値以下であるか否かを判定し、
前記平均値が前記第２の閾値以下である場合に前記差分の発生原因が前記変更処理であると判定し、前記平均値が前記第２の閾値を超える場合に前記差分の発生原因が他の要因であると判定し、
前記複数の差分値における分散値を算出した場合に、算出した分散値が第３の閾値以下であるか否かを判定し、
前記分散値が前記第３の閾値以下である場合に前記差分の発生原因が他の要因であると判定し、前記分散値が前記第３の閾値を超える場合に前記差分の発生原因が前記変更処理であると判定することを特徴とする請求項２に記載のデータ処理装置。
【請求項４】
前記差分解析部は、
前記平均値が前記第２の閾値を超える場合に、前記差分の発生原因が、前記データ処理装置と前記データシステムとの間の通信にあると判定し、
前記分散値が前記第３の閾値以下である場合に、前記差分の発生原因が、前記データシステムを操作するタイミングにあると判定することを特徴とする請求項３に記載のデータ処理装置。
【請求項５】
前記信号値入力部は、
複数の変更前信号値群と、前記複数の変更前信号値群に対応する複数の変更後信号値群とを入力し、
前記差分検出部は、
対になる変更前信号値群と変更後信号値群との間で差分を検出し、
前記差分解析部は、
変更前信号値群と変更後信号値群の対ごとに、前記差分検出部により検出された差分を解析して、前記差分の発生原因が前記変更処理であるか他の要因であるかを判定することを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
前記データ処理装置は、更に、
前記差分解析部により差分の発生原因が前記変更処理であると判定された件数と、前記差分解析部により差分の発生原因が他の要因であると判定された件数とを表示する表示部を有することを特徴とする請求項５に記載のデータ処理装置。
【請求項７】
前記データ処理装置は、更に、
前記差分解析部により差分の発生原因が前記変更処理であると判定された変更前信号値群と変更後信号値群の詳細を、前記差分解析部により差分の発生原因が他の要因であると判定された変更前信号値群と変更後信号値群の詳細よりも優先して表示する表示部を有することを特徴とする請求項５に記載のデータ処理装置。
【請求項８】
前記信号値入力部は、
前記変更処理が行われる前の前記データシステムへの入力値に対する前記データシステムの時系列出力値群を、前記変更前信号値群として入力し、
前記変更処理が行われた後の前記データシステムへの入力値に対する前記データシステムの時系列出力値群を、前記変更後信号値群として入力し、
前記データ処理装置は、更に、
前記変更処理が行われる前の前記データシステムへの入力値の入力タイミング及び前記変更処理が行われた後の前記データシステムへの入力値の入力タイミングの少なくともいずれかが示される入力タイミング情報を入力する情報入力部と、
前記差分検出部により前記変更前信号値群と前記変更後信号値群とから検出された複数の差分値を前記入力タイミング情報に示される入力タイミングに対応させてグループ化するグループ化部とを有し、
前記差分解析部は、
前記グループ化部によりグループ化された差分値のグループの単位で、前記変更前信号値群と前記変更後信号値群との差分の発生原因が前記変更処理であるか他の要因であるかを判定することを特徴とする請求項１に記載のデータ処理装置。
【請求項９】
コンピュータが、変更処理が行われる前のデータシステムからの信号値群を変更前信号値群として入力し、前記変更処理が行われた後の前記データシステムからの信号値群を変更後信号値群として入力する信号値入力ステップと、
前記コンピュータが、前記変更前信号値群と前記変更後信号値群との差分を検出する差分検出ステップと、
前記コンピュータが、前記差分検出ステップにより検出された差分を解析して、前記差分の発生原因が前記変更処理であるか他の要因であるかを判定する差分解析ステップとを有することを特徴とするデータ処理方法。
【請求項１０】
コンピュータを、請求項１に記載されたデータ処理装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理に関わる機器（ハードウェア）やソフトウェアに対して行われた変更処理の影響を検証する技術に関する。
なお、以下では、データ処理に関わる機器やソフトウェアを総称してデータシステムともいう。
【背景技術】
【０００２】
機器やソフトウェアに対する変更処理が行われた後は、変更処理が既存機能に影響を及ぼしていないことを検証するための試験を行う必要がある。
試験者による任意の操作に対する応答の合否判定は、期待する応答である期待値データとの比較により行うことが一般的である。
【０００３】
期待値データは、全ての試験項目について作成する必要があり、この手間を削減するため、変更処理後のデータシステムに対する試験者の操作での期待値データを、変更処理前のデータシステムに対して同様の操作を実行して得られた応答で代替する合否判定もよく行われる。
【０００４】
しかし、試験者による操作のタイミングや、応答を保存するタイミングに時間的なずれが生じた場合、変更処理後のデータシステムに期待する動作が得られていたとしても、比較する変更前後の応答が異なるため、不一致と判定されてしまうという問題がある。
【０００５】
図１６及び図１７は、この問題を説明する図である。
図１６において、実線は変更処理前のデータシステムからの出力値の時間的推移を表しており、破線は変更処理後のデータシステムからの出力値の時間的推移を表している。
図１７は、変更処理前のデータシステムからの出力値と変更処理後のデータシステムからの出力値との差分値の時間的推移を表している。
図１６の例では、変更処理前のデータシステムと変更処理後のデータシステムでは、挙動は一致しているが、なんらかの理由で時間的なずれが生じてしまっている。
このため、図１７に示すように、一時的に非常に大きな差分値が検出される。
図１６の例では、このように、操作に対する出力の挙動は一致していても、時間的なずれにより、出力値において差分が検出されるため、不一致と判断される。
【０００６】
特許文献１では、不一致と判定されたデータのうち、微妙なタイミングのずれによって正解データと異なるものとなってしまったが、本来合格となるべきデータを正解データとして追加保存することで、不一致となる試験項目数を減らすことができるリグレッションテスト装置が開示されている。
特許文献１のリグレッションテスト装置によれば、試験者による目視確認を行う試験項目数を減らすことができ、効率的に合否判定を行うことができる。
【０００７】
また、特許文献２では、新規装置の応答性を含めた検証において、新規装置出力情報と既存装置出力情報とを比較して合否判定を行う際に、新規装置出力情報の出力タイミングが、既存装置出力情報の出力タイミングの許容範囲内であるか否かを判定することで、通信内容及び通信時刻の許容範囲内であるか否かを判定するテスト支援装置が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−２４８５９７号公報
【特許文献２】特開２００５−３２２１５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
時間ずれが原因で生じる応答の不一致を回避する手段として、時間ずれを考慮した正解パターン追加登録は有効であるが、任意の操作に対する応答毎に上記の処理を行う必要がある。
そのため、試験項目数や任意の試験項目について確認すべき応答数が多い場合には、登録の数が膨大となり、大容量のメモリを消費するとともに、時間ずれで生じる全ての不一致ケースへの対応は困難であるという課題がある。
【００１０】
さらに、正解パターン追加登録や事前設定による時間ずれの自動除去は、一度誤ったデータを登録・設定してしまうと、以後の合否判定全てに影響を及ぼし試験精度が低下する恐れがある。
【００１１】
また、回帰試験のように複数の操作に対する出力によって構成された応答の長期的な変化を確認したい場合には、時間ずれは試験対象のデータシステムに対して入力を行った各タイミングで発生するため、連続して記録された応答に対して一意に正解パターンや時間ずれの許容誤差を設定することは困難である。
【００１２】
本発明は、このような事情に鑑みたものであり、事前の各種登録を不要とし、応答検証を効率よく、かつ高精度に行うことができる構成を得ることを主な目的とする。
【課題を解決するための手段】
【００１３】
本発明に係るデータ処理装置は、
変更処理が行われる前のデータシステムからの信号値群を変更前信号値群として入力し、前記変更処理が行われた後の前記データシステムからの信号値群を変更後信号値群として入力する信号値入力部と、
前記変更前信号値群と前記変更後信号値群との差分を検出する差分検出部と、
前記差分検出部により検出された差分を解析して、前記差分の発生原因が前記変更処理であるか他の要因であるかを判定する差分解析部とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、変更前信号値群と前記変更後信号値群との差分を解析して、差分の発生原因が変更処理であるか他の要因であるかを判定するため、事前の各種登録なく、応答検証を効率よく、かつ高精度に行うことができる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態１に係る試験装置の構成例を示す図。
【図２】実施の形態１に係る試験装置の動作手順を示すフローチャート図。
【図３】実施の形態１に係る信号データテーブルの例を示す図。
【図４】実施の形態１に係る差分データテーブルの例を示す図。
【図５】実施の形態１に係る差分解析の結果の例を示す図。
【図６】実施の形態１に係る差分解析の動作手順を示すフローチャート図。
【図７】実施の形態１に係る表示部の動作手順を示すフローチャート図。
【図８】実施の形態２に係る試験装置の構成例を示す図。
【図９】実施の形態２に係る差分解析の結果の例を示す図。
【図１０】実施の形態２に係る試験装置の動作手順を示すフローチャート図。
【図１１】実施の形態２に係る入力フェーズデータテーブルの例を示す図。
【図１２】実施の形態２に係る分割差分データテーブルの例を示す図。
【図１３】実施の形態２に係る表示部の動作手順を示すフローチャート図。
【図１４】実施の形態２に係る表示部の動作手順を示すフローチャート図。
【図１５】実施の形態１及び２に係る試験装置のハードウェア構成例を示す図。
【図１６】従来技術における問題点を説明する図。
【図１７】従来技術における問題点を説明する図。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
なお、以下の実施の形態によりこの発明が限定されるものではない。
各図中、同一又は相当する部分には同一符号を付し、説明の重複を省いた。
【００１７】
実施の形態１．
本実施の形態では、変更処理が行われる前のデータシステム、変更処理が行われる後のデータシステムのそれぞれから出力された信号データ間で検出された差分が何に起因するものかを試験者に提示することで、事前の各種登録を不要とし、応答検証を効率よく、かつ高精度に行うことを可能にする試験装置を説明する。
【００１８】
図１は、本実施の形態に係る試験装置１の構成例を示すブロック図である。
試験装置１は、データ処理装置の例に相当する。
【００１９】
図１において、応答記憶部５は、試験者の操作に基づいて、変更処理が行われる前のデータシステムである変更前データシステム３から信号値群を入力し、変更処理が行われた後のデータシステムである変更後データシステム４から信号値群を入力する。
以下、変更前データシステム３からの信号値群を変更前信号値群ともいい、変更後データシステム４からの信号値群を変更後信号値群ともいう。
変更前信号値群は、例えば、図１６の実線のグラフに含まれる信号値群であり、変更後信号値群は、例えば、図１６の破線のグラフに含まれる信号値群である。
応答記憶部５は、入力した変更前信号値群を変更前信号データテーブル１０ａに記憶する。
また、応答記憶部５は、入力した変更後信号値群を変更後信号データテーブル１０ｂに記憶する。
応答記憶部５は、信号値入力部の例である。
なお、図１では、変更前データシステム３と変更後データシステム４を併記している。
これは、理解を容易にするためであり、前述したように、変更前データシステム３は変更処理が行われる前のデータシステムであり、変更後データシステム４は同じデータシステムに対して変更処理が行われた後の状態であるため、図１のように変更前データシステム３と変更後データシステム４とが並存しているとは限らない。
また、データシステムとは、前述したように、データ処理に関わる機器やソフトウェアを総称したものである。
また、変更前データシステム３と変更後データシステム４とをまとめて表現する場合は、単にデータシステムという。
【００２０】
変更前信号データテーブル１０ａ及び変更後信号データテーブル１０ｂは、例えば、図３に例示するテーブル形式である。
図３に示すように、変更前信号データテーブル１０ａ及び変更後信号データテーブル１０ｂは、出力フェーズと信号値を含む。
図３の例では、変更前信号データテーブル１０ａ及び変更後信号データテーブル１０ｂは、応答数Ｍ個に対して、それぞれ出力フェーズＴ個分の信号値を含む。
各信号値は、試験者からの入力値に対する変更前データシステム３又は変更後データシステム４の出力値である。
応答１〜応答Ｍは、変更前データシステム３及び変更後データシステム４からの応答の種類を表している。
図３の例では、変更前データシステム３及び変更後データシステム４は、それぞれＭ種類の応答を行うことが示されている。
そして、出力フェーズ１〜出力フェーズＴは、信号値を記録した時刻やステップ（カウント）であり、時系列順になっており、出力フェーズ１〜出力フェーズＴにより時間の経過が表されている。
図３の例では、Ｍ種類の応答の各々に対して、時系列にＴ個の時刻又はステップでの信号値が変更前データシステム３及び変更後データシステム４から出力されることを示している。
【００２１】
差分検出部６は、変更前信号データテーブル１０ａの変更前信号値群と変更後信号データテーブル１０ｂの変更後信号値群との差分を検出して、差分値群を差分データテーブル１１で記憶する。
【００２２】
差分データテーブル１１は、例えば、図４に例示するテーブル形式である。
図４に示すように、差分データテーブル１１は、出力フェーズ、差分値を含む。
例えば、差分値１（１）は、図３に示す信号値１（１）に対応する差分値である。
つまり、変更前信号値群の信号値１（１）と変更後信号値群の信号値１（１）との差分が、差分値１（１）となる。
【００２３】
差分解析部７は、差分検出部６により生成された差分データを解析し、差分の特徴から差分の発生した原因を解析する。
具体的には、差分解析部７は、差分を解析して、差分の発生原因が変更後データシステム４に行われた変更処理であるか他の要因であるかを判定する。
【００２４】
表示部８は、差分データおよび解析データを表示する。
【００２５】
ユーザー入力部９は、試験者の操作指示を入力する。
【００２６】
次に、本実施の形態に係る試験装置１の動作を、図２のフローチャートを参照して説明する。
【００２７】
手順Ｓ１０１において、応答記憶部５が、試験者の試験手順入力に対して変更前データシステム３から出力された応答である変更前信号値群を入力し、変更前信号データテーブル１０ａに記憶する。
【００２８】
手順Ｓ１０２において、応答記憶部５が、試験者の試験手順入力に対して変更後データシステム４から出力された応答である変更後信号値群を入力し、変更後信号データテーブル１０ｂに記憶する。
【００２９】
手順Ｓ１０３において、差分検出部６が、変更前信号データテーブル１０ａ及び変更後信号データテーブル１０ｂより、変更前信号値群と変更後信号値群を取り出し、対応する出力フェーズ間の信号値差分を検出し、差分データテーブル１１に格納する。
【００３０】
手順Ｓ１０４において、差分解析部７が、差分データテーブル１１から差分値群を取り出し、差分値の特徴を解析し、解析データを生成し、解析データを解析データテーブル１２に格納する。
解析データは、応答の差分値の特徴、各特徴に分類された応答の個数を含む。
【００３１】
手順Ｓ１０５において、表示部８が、各差分特徴に分類された応答の個数表示、差分値のグラフ表示等を行う。
【００３２】
手順Ｓ１０６において、ユーザー入力部９において試験者からの表示切り替え指示を入力した場合は、手順Ｓ１０５に戻り、表示部８が表示内容の切り替えを行う。
【００３３】
図５は、差分解析部７で解析される差分発生の原因と、各原因に分類される応答の信号データの一例である。
【００３４】
図５において、「時間ずれ」による差分は、データシステムを操作するタイミングのずれに起因する差分である。
つまり、「時間ずれ」は、図１６及び図１７を用いて説明したように、変更処理の前後の信号データを比較したときに、全体としては同じ挙動であるが、時間軸に沿った値単位の比較では差分が検出されてしまう状況である。
図５では、変更前の信号データと変更後の信号データでは、出力値が上昇するタイミングが異なる状況を例としている。
これは、変更処理後に、（１）試験者がデータシステムに対して操作をするタイミングが変更処理前よりも遅れ、それに伴い出力値の上昇が遅れた、もしくは、（２）変更処理前よりも早いタイミングで出力値の記憶を開始し、試験者が操作するまでの記憶を余分に取ってしまった、ことが考えられる。
【００３５】
また、図５において、「ノイズ・通信誤差」による差分は、試験装置１と試験対象のデータシステムとの通信で発生した不具合に起因する差分である。
つまり、「ノイズ・通信誤差」は、（１）試験対象のデータシステムの出力を応答記憶部５に伝送する段階で発生する値の揺れやノイズ等の誤差、または（２）過渡状態により生じる誤差である。
そのため、「ノイズ・通信誤差」は、変更前データシステム３との通信、変更後データシステム４との通信のいずれにも発生する可能性がある。
【００３６】
また、「変更処理による影響」による差分とは、変更後データシステム４に対して行われた変更処理に起因する差分である。
【００３７】
次に、差分検出部６により検出された差分値（差分データテーブル１１に格納されている差分値）の解析手法について説明する。
図６は、差分が発生した原因を特定する過程を示すフローチャートである。
なお、図６のフローは、全ての応答（図３の応答１〜応答Ｍの全て）に対して行われる。
【００３８】
手順Ｓ７０１において、差分解析部７が、差分データテーブル１１より、任意の応答ｒの差分値群（ｒ1、ｒ2、・・・ｒT）を取り出す。
差分値群（ｒ1、ｒ2、・・・ｒT）は、変更前信号データテーブル１０ａ中の信号値群（ｎ1、ｎ2、・・・ｎT）と、変   更後信号データテーブル１０ｂ中の信号値群（ｍ1、ｍ2、・・・ｍT）の、対応する出力フェーズ（１、２、・・・Ｔ）における信号値間の差分値である。
出力フェーズｔにおける差分値ｒTは、以下の式で算出される。
ｒt＝｜ｎt−ｍt｜      （１）
【００３９】
手順Ｓ７０２において、差分解析部７は、全ての差分値が０であるかを判定する。
【００４０】
全ての差分値が０である場合（手順Ｓ７０２でＹＥＳ）は、差分解析部７は、手順Ｓ７０４において、「差分なし」と判定し、手順Ｓ７０５において、「差分なし」に分類される応答の個数カウントを１増やし、終了する。
【００４１】
一方、０以外の差分値が存在する場合（手順Ｓ７０２でＮＯ）は、差分解析部７は、手順Ｓ７０３において、以下の（２）、（３）の式に示すように、０以外の差分値の個数を表すＬ0ノルムが閾値Ｔｈ1以下となるかを判定する。
閾値Ｔｈ1には、判定のため適切な値が設定されている。
【００４２】
【数１】
2015060328.tif 000003
【００４３】
０以外の差分値の個数が閾値Ｔｈ1以下である場合（手順Ｓ７０３でＹＥＳ）は、差分解析部７は、手順Ｓ７０５において、差分値群（ｒ1、ｒ2、・・・ｒT）の平均値が閾値Ｔｈ2以内であるか判定する。
【００４４】
差分値群（ｒ1、ｒ2、・・・ｒT）の平均値ｒavgが閾値Ｔｈ2以内でない場合（手順Ｓ７０５でＮＯ）は、差分解析部７は、手順Ｓ７０８において、「変更処理による影響」と判定し、「変更処理による影響」に分類される応答の個数カウントを１増やし、終了する。
【００４５】
一方、差分値群（ｒ1、ｒ2、・・・ｒT）の平均値ｒavgが閾値Ｔｈ2以内である場合（手順Ｓ７０５でＹＥＳ）は、差分解析部７は、手順Ｓ７０９において、「ノイズ・通信誤差」と判定し、「ノイズ・通信誤差」に分類される応答の個数カウントを１増やし、終了する。
【００４６】
また、０以外の差分値の個数が閾値Ｔｈ1以下でない場合（手順Ｓ７０３でＮＯ）は、差分解析部７は、手順Ｓ７０６において、以下の（４）式に示す差分値群（ｒ1、ｒ2、・・・ｒT）の分散値Ｓ2が閾値Ｔｈ3以下となるかを判定する。
閾値Ｔｈ3には、判定のため適切な値が設定されている。
【００４７】
【数２】
2015060328.tif 000004
【００４８】
差分値群（ｒ1、ｒ2、・・・ｒT）の分散値Ｓ2が閾値Ｔｈ3以下でない場合（手順Ｓ７０６でＮＯ）は、差分解析部７は、手順Ｓ７１０において、「時間ずれ」と判定し、「時間ずれ」に分類される応答の個数カウントを１増やし、終了する。
【００４９】
差分値群（ｒ1、ｒ2、・・・ｒT）の分散値Ｓ2が閾値Ｔｈ3以下である場合（手順Ｓ７０６でＹＥＳ）は、差分解析部７は、手順Ｓ７１１において、「変更処理による影響」と判定し、「変更処理による影響」に分類される応答の個数カウントを１増やし、終了する。
【００５０】
図６のフローにおいて、Ｓ７０３でＹｅｓの場合は、差分が発生している信号値が少ないことを意味する。
また、Ｓ７０５でＮｏの場合は、それぞれの差分値が一定以上の大きさを持つことを意味する。
このため、Ｓ７０３でＹＥＳ、Ｓ７０５でＮＯの場合は、一部の信号値で大きな差分値が検出されており、このため、「変更処理による影響」と判定する（Ｓ７０８）。
Ｓ７０３でＹＥＳ、Ｓ７０５でＹｅｓの場合は、差分が発生している信号値が少なく、それぞれの差分値は小さいため微少誤差と判断することができ、「ノイズ・通信誤差」と判定する（Ｓ７０９）。
Ｓ７０３でＮｏの場合は、差分が発生している信号値が多いことを意味する。
Ｓ７０６でＮＯの場合は、差分の分散値が閾値以上、すなわち、差分の出方に偏りがあることを意味する。
このような差分は、「時間ずれ」が起こっている場合に発生し、図１６に示すように、信号データのずれ始めで乱れた値の差分が現れ、以後は一定の差分が出ることが分かる。
このため、「時間ずれ」と判定する（Ｓ７１０）。
Ｓ７０６でＮｏの場合は、差分の分散値が閾値以内、すなわち、信号データ中の差分値は一様に似通った値をとることを意味する。
これは、変更処理によって出力のボリュームが変化した可能性があり、「変更処理による影響」と判定する（Ｓ７１１）。
【００５１】
図７は、表示部８において、解析データ（解析データテーブル１２のデータ）を試験者に表示するまでの過程を示すフローチャート図である。
【００５２】
先ず、手順Ｓ８０１において、表示部８は、解析データテーブル１２の解析データを取り出す。
【００５３】
手順Ｓ８０２において、表示部８は、差分解析部７で差分発生の原因別に分類された応答の個数データを取得する。
【００５４】
手順Ｓ８０３において、表示部８は、応答の個数データを、グラフとして表示する。
グラフの表示は、例えばｘ、ｙの二次元棒グラフを利用し、ｘ軸のデータ項目を、「変更処理による影響」、「時間ずれ」、「ノイズや通信誤差」とし、ｙ軸に指定する変数を、差分発生の原因別に分類された応答の個数とする。
ただし、前述の表示形態は一例であり、同様の内容を試験者に提示することができれば、どのようなものであってもよい。
【００５５】
次に、表示部８は、手順Ｓ８０４において、差分データテーブル１１の差分データを取り出す。
【００５６】
手順Ｓ８０５において、表示部８は、差分データから、解析データのうち、試験者が確認すべき優先度の最も高い「変更処理による影響」に分類された応答の差分値を取得する。
【００５７】
手順Ｓ８０６において、表示部８は、取得した応答の差分値を、グラフとして表示する。
応答が複数ある場合には、同一グラフに重ねて表示する。
グラフの表示は、例えば、ｘ、ｙの二次元線グラフを利用し、ｘ軸を出力フェーズとし、ｙ軸に指定する変数を差分値とする。
ただし、前述の表示形態は一例であり、同様の内容を試験者に提示することができれば、どのようなものであってもよい。
【００５８】
手順Ｓ８０７において、ユーザー入力部９において、試験者から表示切り替えの指示があるかを判定する。
【００５９】
試験者から「時間ずれ」に分類された応答の表示要求がある場合は、手順Ｓ８０８において、表示部８は、差分データから、「時間ずれ」に分類された応答の差分値を全て取得し、手順Ｓ８０６に戻る。
【００６０】
試験者から「ノイズや通信誤差」に分類された応答の表示要求がある場合は、手順Ｓ８０９において、表示部８は、差分データから、「ノイズ・通信誤差」に分類された応答の差分値を全て取得し、手順Ｓ８０６に戻る。
【００６１】
「時間ずれ」、「ノイズ・通信誤差」は、試験結果に影響を与えず、合判定となる可能性が高く、「変更処理による影響」は否判定となる可能性が高いので、表示部８は、このように、「変更処理による影響」、「時間ずれ」、「ノイズや通信誤差」の順に確認優先度を設定し、優先度の高い差分発生原因を持つ応答から順番に試験者に提示する。
【００６２】
また、任意の試験項目に対して検証する応答が複数ある場合には、差分解析部７が差分発生の原因別に応答を分類し、表示部８が同一原因で差分が発生した応答をまとめて試験者に提示する。
【００６３】
以上より、本実施の形態では、変更前データシステムから出力される応答の信号データと、変更後データシステムから出力される応答の信号データ間の変化分である差分を解析し、差分発生の原因を差分値と共に試験者に提示することで、試験者が合否判定を容易に行うことができ、事前の正解パターン登録や設定が招く自動判定ミスを防ぐ効果がある。
【００６４】
また、本実施の形態では、差分発生の原因を、「時間ずれ」、「ノイズや通信誤差」、「変更処理による影響」のいずれかであるものとし、否判定となる可能性が高い「変更処理による影響」が差分発生の原因である応答から順番に試験者に提示することで、変更影響を受けた応答の見落としを防ぐ効果がある。
【００６５】
また、本実施の形態では、任意の試験項目に対して検証する応答が複数ある場合には、差分発生の原因別に応答を分類し、同一原因で差分が発生した応答をまとめて試験者に提示することで、装置の変更前後で、任意の入力に対する応答の変化パターンに共通性がある応答を確認することができる。
【００６６】
実施の形態２．
本実施の形態では、データシステムに対する試験手順の入力が連続的に行われており、データシステムから出力される応答の信号データが、長時間に渡って連続的に記憶されているとき、後述の入力フェーズ記憶部１３において記憶された、試験者による試験手順の入力タイミングで差分データを分割し、分割された差分データを解析することで、各入力のタイミングずれに起因する「時間ずれ」差分を特定することが可能となる。
なお、実施の形態２のその他の動作は、それぞれ実施の形態１の動作と同じである。
【００６７】
図８は、実施の形態２に係る試験装置１の構成例を示すブロック図である。
応答記憶部５、差分検出部６、差分解析部７、表示部８、ユーザー入力部９、変更前信号データテーブル１０ａ、変更後信号データテーブル１０ｂ、差分データテーブル１１、解析データテーブル１２は実施の形態１で示したものと同様である。
【００６８】
入力フェーズ記憶部１３は、試験者の変更前データシステム３又は変更後データシステム４に対する試験手順の入力値の入力タイミングが示される入力フェーズデータ（入力タイミング情報）を入力し、入力フェーズデータテーブル１５に格納する。
入力フェーズ記憶部１３は、情報入力部の例に相当する。
【００６９】
データ分割部１４は、入力フェーズデータに示される入力タイミングで差分データを分割し、分割された差分データである分割差分データを分割差分データテーブル１６に格納する。
つまり、データ分割部１４は、差分検出部６により検出された複数の差分値を入力フェーズデータに示される入力タイミングに対応させてグループ化する。
データ分割部１４は、グループ化部の例に相当する。
【００７０】
そして、本実施の形態では、差分解析部７は、分割差分データを解析して、分割差分データの単位で差分の発生原因を判定する。
【００７１】
図９は、実施の形態２における差分解析部７で解析される差分発生原因と、各原因に分類される応答の信号データの一例である。
【００７２】
次に、本実施の形態に係る試験装置１の動作を、図１０に示すフローチャートを参照して説明する。
【００７３】
手順Ｓ２０１において、先ず、入力フェーズ記憶部１３は、試験者の変更前データシステム３に対する試験手順の入力タイミングが示される入力フェーズデータを入力し、入力フェーズデータテーブル１５に記憶する。
入力フェーズデータテーブル１５には、図１１に示すように、複数の入力フェーズデータが記憶される。
入力フェーズデータｘ、ｙ、ｚのそれぞれに示される入力タイミングを入力タイミングｔx、ｔｙ、ｔzという。
【００７４】
手順Ｓ１０１〜手順Ｓ１０３は、実施の形態１に示したものと同じなので、説明を省略する。
手順Ｓ１０１〜手順Ｓ１０３の後、手順Ｓ２０２において、データ分割部１４が、任意の応答ｒの差分値（ｒ1、ｒ2、・・・ｒT）を、入力タイミング（ｔx、ｔy、ｔz）で複数領域に分割し、図１２に示すように（ｒ1、・・・、ｒx）、（ｒx、・・・、ｒy）、（ｒy、・・・、ｒz）（ｒz、・・・、ｒT）という分割差分データを生成し、生成した分割差分データを分割差分データテーブル１６に格納する。
【００７５】
次に、差分解析部７が、分割差分データを取得し、手順Ｓ２０３において、図６のフローチャートに従って分割差分データを解析し、解析データを作成する。
その後、手順Ｓ１０５、手順Ｓ１０６の処理が実行される。
【００７６】
図１３及び図１４は、表示部８において、解析データ（解析データテーブル１２のデータ）を試験者に表示するまでの過程を示すフローチャート図である。
【００７７】
先ず、手順Ｓ８０１において、表示部８は、解析データテーブル１２の解析データを取り出す。
【００７８】
手順Ｓ８１０において、表示部８は、解析データより、手順Ｓ２０２で分割した領域ごとに、特徴別の応答の個数データを取得する。
【００７９】
次に、表示部８は、手順Ｓ８０３において、応答の個数データを、グラフとして表示する。
グラフの表示は、例えばｘ、ｙの二次元積み上げ棒グラフを利用し、ｘ軸のデータ項目を、分割した各領域とし、ｙ軸に指定する変数を、各領域における特徴別の応答の個数とする。
ただし、前述の表示形態は一例であり、同様の内容を試験者に提示することができれば、どのようなものであってもよい。
【００８０】
次に、表示部８は、手順Ｓ８１１において、手順Ｓ２０２で分割した分割差分データを分割差分データテーブル１６から取り出す。
【００８１】
表示部８は、手順Ｓ８１２において、全ての領域の全ての応答の分割差分データを取得する。
【００８２】
表示部８は、手順Ｓ８０６において、取得した分割差分データを、グラフとして表示する。
【００８３】
手順Ｓ８１３において、表示部８は、分割された差分データの全領域のうち、試験者が確認すべき優先度の最も高い「変更処理による影響」に分類された応答の個数が多い順番に、領域をソートする。
【００８４】
手順Ｓ８１４において、ユーザー入力部９により試験者から表示する領域の指定があるかを判定する。
【００８５】
試験者から表示する領域が指定されている場合、表示部８は、手順Ｓ８１５において、該当領域を取得する。
【００８６】
試験者から表示する領域の指定がない場合には、表示部８は、手順Ｓ８１６において、手順Ｓ８１３でソートした領域を、昇順に取得する。
【００８７】
手順Ｓ８１７において、表示部８は、取得した領域内で、試験者が確認すべき優先度の最も高い「変更処理による影響」に分類された全ての応答の差分値を、差分データから取得する。
【００８８】
手順Ｓ８１８において、表示部８は、表示されているグラフ中の、手順Ｓ８１５もしくは手順Ｓ８１６によって取得された領域をクローズアップし、手順Ｓ８１７において取得した応答の差分値のみを再表示する。
【００８９】
手順Ｓ８０７において、表示部８は、試験者から表示切り替えの指示があるかを判定する。
【００９０】
試験者から「時間ずれ」に分類された応答の表示要求がある場合は、手順Ｓ８０８において、表示部８は、差分データから、解析データのうち「時間ずれ」に分類された応答の差分値を全て取得し、手順Ｓ８１７に戻る。
【００９１】
試験者から「ノイズ・通信誤差」に分類された応答の表示要求がある場合は、手順Ｓ８０９において、表示部８は、差分データから、解析データのうち「ノイズ・通信誤差」に分類された応答の差分値を全て取得し、手順Ｓ８１７に戻る。
【００９２】
試験者による表示切り替え指示がない場合は、手順Ｓ８１９において、試験者による解析終了の指示があるかを判定し、解析終了であれば処理を終了する。
解析を続ける場合は、手順Ｓ８１４に戻る。
【００９３】
このように、本実施の形態の試験装置では、複数の入力に対する応答の長期的な変化を確認するため、データシステムに対する試験手順の入力タイミングをあらかじめ記憶しておき、差分検出部によって検出された差分データを入力タイミングによって複数に分割した後、分割した各領域内における信号データを分析し、差分発生確率の高い領域から順番に試験者に提示する。
【００９４】
本実施の形態では、分割した各領域内における差分データを解析することで、データシステムに対して入力を行う各タイミングで発生する時間ずれや通信誤差による差分を検出することが可能となる。
【００９５】
最後に、実施の形態１、２に示した試験装置１のハードウェア構成例を図１５を参照して説明する。
試験装置１はコンピュータであり、試験装置１の各要素をプログラムで実現することができる。
試験装置１のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。
【００９６】
演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
通信装置９０４は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。
入出力装置９０５は、例えばマウス、キーボード、ディスプレイ装置等である。
【００９７】
プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、図１及び図８に示す「〜部」として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、図１及び図８に示す「〜部」の機能を実現するプログラムを実行する。
また、実施の形態１、２の説明において、「〜の判断」、「〜の判定」、「〜の検出」、「〜の解析」、「〜の抽出」、「〜の生成」、「〜の入力」、「〜の出力」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。
また、暗号鍵・復号鍵や乱数値やパラメータが、主記憶装置９０３にファイルとして記憶されてもよい。
【００９８】
なお、図１５の構成は、あくまでも試験装置１のハードウェア構成の一例を示すものであり、試験装置１のハードウェア構成は図１５に記載の構成に限らず、他の構成であってもよい。
【００９９】
また、実施の形態１、２に示す手順により、本発明に係るデータ処理方法を実現可能である。
【０１００】
以上の実施の形態１、２は、異なる２つのデータシステム間において、同一の試験手順入力に対して出力される応答の信号データ間の差異を効率よく確認するための例示であり、対象とするデータシステムは、例えば、既存機器と搭載ソフトウェア改変後の機器、既存機器と既存機器の動作を模擬するシミュレータ装置、また、既存機器と既存機器の動作をモデルに基づいて新規に実現した新規機器、等で適用可能である。
【０１０１】
また、実施の形態１、２のうち、１つを部分的に実施しても構わない。
あるいは、実施の形態１、２を部分的に組み合わせて実施しても構わない。
【０１０２】
なお、以上の実施の形態は、本質的に好ましい例示であって、本発明、その適用物や用途の範囲を制限することを意図するものではない。
【符号の説明】
【０１０３】
１  試験装置、３  変更前データシステム、４  変更後データシステム、５  応答記憶部、６  差分検出部、７  差分解析部、８  表示部、９  ユーザー入力部、１０ａ  変更前信号データテーブル、１０ｂ  変更後信号データテーブル、１１  差分データテーブル、１２  解析データテーブル、１３  入力フェーズ記憶部、１４  データ分割部、１５  入力フェーズデータテーブル、１６  分割差分データテーブル。
【図１】
2015060328.tif 000005
【図２】
2015060328.tif 000006
【図３】
2015060328.tif 000007
【図４】
2015060328.tif 000008
【図５】
2015060328.tif 000009
【図６】
2015060328.tif 000010
【図７】
2015060328.tif 000011
【図８】
2015060328.tif 000012
【図９】
2015060328.tif 000013
【図１０】
2015060328.tif 000014
【図１１】
2015060328.tif 000015
【図１２】
2015060328.tif 000016
【図１３】
2015060328.tif 000017
【図１４】
2015060328.tif 000018
【図１５】
2015060328.tif 000019
【図１６】
2015060328.tif 000020
【図１７】
2015060328.tif 000021