(57)【要約】【課題】本発明は、正解画像を用いることなく試験結果の判定を支援し、さらには操作画面が正常に動作しているか否かの判定を支援する試験結果判定支援装置を提供することを目的とする。【解決手段】本発明は、試験項目類似度を算出する試験項目類似度演算部３ｂと、試験項目類似度に基づいて区分された試験項目群における、１の試験項目の試験結果と、当該試験項目群に含まれる他の試験項目の試験結果からなる試験結果群とを比較し、１の試験項目の試験結果の、試験結果群に対する試験結果類似度を算出する試験結果類似度演算部３ｃと、試験結果類似度に基づいて、各試験結果の疑わしさを推定する試験結果推定部３ｄとを備える。【選択図】図１
2014132397.tif 000002
【特許請求の範囲】
【請求項１】
操作画面の動作が正常であるか否かを判定するための複数の試験項目について、試験結果を判定する際の支援を行う試験結果判定支援装置であって、
複数の前記試験項目の類似度である試験項目類似度を算出する試験項目類似度演算部と、
前記試験項目類似度に基づいて区分された試験項目群における、１の前記試験項目の前記試験結果と、当該試験項目群に含まれる他の前記試験項目の前記試験結果からなる試験結果群とを比較し、１の前記試験項目の前記試験結果の、前記試験結果群に対する類似度である試験結果類似度を算出する試験結果類似度演算部と、
前記試験結果類似度に基づいて、各前記試験結果の疑わしさを推定する試験結果推定部とを備えることを特徴とする、
試験結果判定支援装置。
【請求項２】
各前記試験において前記操作画面の動作が正常であるか否かを判定した情報である判定情報に基づいて、未だ当該判定が行われていない他の前記試験の前記試験結果の疑わしさを更新する更新部をさらに備えることを特徴とする、
請求項１に記載の試験結果判定支援装置。
【請求項３】
前記試験結果類似度演算部が、各前記試験項目が実施される前後の前記操作画面における画像変化の類似度に基づいて、前記試験結果類似度を算出することを特徴とする、
請求項１または２に記載の試験結果判定支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は試験結果判定支援装置に関し、特に、画面試験の試験結果判定を支援する装置に関するものである。
【背景技術】
【０００２】
監視制御システムのような、遠方または広範囲に配置された機器および設備等の状態を画面を通して監視あるいは制御するシステムでは、操作画面が正常に動作することが重要である。
【０００３】
これらの操作画面が正常に動作しているか否かを判定する試験（画面試験）では、各画面上に配置されているＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品（ボタンまたはテキストボックス等）に対して、あらかじめ割り当てられた機能が正常に発揮されるか否かが判定される。
【０００４】
より具体的には、例えば、あらかじめ割り当てられた機能とは別の機能が生じないか、入力値または表示されている値の変化に応じて、ＧＵＩ部品の画面上への表示出力（ボタンの色やテキストボックスの値等）が仕様通りに変更されるか等が確認される。
【０００５】
画面の数および画面内のＧＵＩ部品の数、さらには各ＧＵＩ部品に割り当てられた機能の数が多い場合には、それに伴って画面試験を行う実施者の負担も増大する。
【０００６】
画面試験の実施者の負担を軽減する手法として、例えば、画面試験の各試験項目ごとに、操作画面に対して試験を実施した場合に、操作画面（ＧＵＩ部品）が正常に動作した結果表示される画像（正解画像）をあらかじめ用意しておく手法がある。この手法では、画面試験を行った後の操作画面と正解画像とを比較することで、各試験項目に対して操作画面（ＧＵＩ部品）が正常に動作しているか否かを判定することができる（特許文献１）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４５８２０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に示された手法では、各試験項目に対して正解画像をあらかじめ用意する必要があり、初回試験のように正解画像を用意すること自体が困難な場合については適用できないという問題があった。
【０００９】
本発明は、上記のような問題を解決するためになされたものであり、正解画像を用いることなく試験結果の判定を支援し、さらには操作画面が正常に動作しているか否かの判定を支援する試験結果判定支援装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、操作画面の動作が正常であるか否かを判定するための複数の試験項目について、試験結果を判定する際の支援を行う試験結果判定支援装置であって、複数の前記試験項目の類似度である試験項目類似度を算出する試験項目類似度演算部と、前記試験項目類似度に基づいて区分された試験項目群における、１の前記試験項目の前記試験結果と、当該試験項目群に含まれる他の前記試験項目の前記試験結果からなる試験結果群とを比較し、１の前記試験項目の前記試験結果の、前記試験結果群に対する類似度である試験結果類似度を算出する試験結果類似度演算部と、前記試験結果類似度に基づいて、各前記試験結果の疑わしさを推定する試験結果推定部とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明の上記態様によれば、正解画像を用意することが困難な場合であっても、各試験項目における試験結果の疑わしさを推定することで各試験結果の判定を支援し、さらには、各試験項目における試験結果判定に基づく、操作画面が正常に動作しているか否かの判定を支援することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に関する、試験結果判定支援装置の構成を概念的に示した図である。
【図２】推定試験結果情報の表示例を示す図である。
【図３】本発明の実施形態に関する、試験結果判定支援装置を実現するハードウェア構成図である。
【図４】試験結果判定支援装置における演算処理を示すフローチャートである。
【図５】本発明の実施形態に関する、試験結果判定支援装置の構成を概念的に示した図である。
【図６】試験結果判定支援装置における演算処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照しながら、本発明の実施形態について説明する。
【００１４】
＜第１実施形態＞
＜構成＞
図１は、本発明の第１実施形態に関する、監視制御システムの試験結果判定支援装置の構成を概念的に示した図である。なお、本実施形態では監視制御システムにおける監視画面の試験結果判定を支援することを想定しているが、本発明は、他の用途に用いられる操作画面の試験結果判定を支援することに用いることができる。図１に示されるように試験結果判定支援装置１００は、試験項目情報格納装置１と、試験結果情報格納装置２と、試験結果判定支援部３と、推定試験結果情報格納装置４と、推定試験結果表示部５と、入力装置６と、表示装置７とを備えている。
【００１５】
さらに試験結果判定支援部３は、パラメータ設定部３ａと、試験項目類似度演算部３ｂと、試験結果類似度演算部３ｃと、試験結果推定部３ｄとを備えている。
【００１６】
試験項目情報格納装置１は、監視画面を試験する際の試験項目情報を複数格納する。複数の試験項目情報は、それぞれ一意の試験項目ＩＤによって識別される。各試験項目情報は、大分類情報、中分類情報、小分類情報および試験手順情報を含む。
【００１７】
試験手順情報とは、具体的な試験内容を示す情報である。試験手順情報には、例えば、描画部品に割り付いている監視対象に対して「試験データ３．０送信」する手順や、監視画面上のボタンやテキストボックス等の描画部品に対して「ボタンＡ押下」または「テキストボックスＢに「ｈｏｇｅ」を入力」する手順、あるいはこれらを組み合わせたものが該当する。
【００１８】
小分類情報とは、試験手順情報を試験内容の意味合いから抽象化したものである。小分類情報には、例えば、「正常値試験」、「上限値試験」、「上限値異常試験」、「下限値試験」、「下限値異常試験」、「（ステータス異常）発生試験データ送信試験」、「（ステータス異常）復旧試験データ送信試験」、「管理者ユーザ試験」または「一般ユーザ試験」が該当する。
【００１９】
中分類情報とは、小分類情報を意味のある単位でまとめたものである。中分類情報には、例えば、小分類情報である「正常値試験」、「上限値試験」、「上限値異常試験」、「下限値試験」および「下限値異常試験」をまとめた「上下限試験」、あるいは、小分類情報である「（ステータス異常）発生試験データ送信試験」および「（ステータス異常）復旧試験データ送信試験」をまとめた「圧力異常上昇試験」、あるいは、小分類情報である「管理者ユーザ試験」および「一般ユーザ試験」をまとめた「ユーザ認証試験」が該当する。
【００２０】
大分類情報とは、中分類情報を試験対象に関してまとめたものである。大分類情報には、例えば、「監視対象一号ポンプＡの試験」あるいは「画面部品ユーザ認証用部品群の試験」が該当する。
【００２１】
試験結果情報格納装置２は、試験項目情報格納装置１に格納されている各試験項目情報の内容を実施した結果を、試験項目ＩＤと紐付けられた試験結果情報として格納する。試験結果情報には、試験項目実施前の画面画像と試験項目実施後の画面画像とが含まれる。
【００２２】
試験結果判定支援部３におけるパラメータ設定部３ａは、入力装置６から入力されたデータに基づいて、試験結果判定支援部３における各種パラメータを設定する。
【００２３】
試験結果判定支援部３における試験項目類似度演算部３ｂは、試験項目情報格納装置１に格納された全試験項目情報間の類似度（試験項目類似度）を算出する。試験項目類似度は、その値が大きいほど試験項目同士が類似していることを示す指標である。
【００２４】
試験結果判定支援部３における試験結果類似度演算部３ｃは、試験項目類似度演算部３ｂにおいて算出された試験項目類似度に基づいて、類似する試験項目間における試験結果情報の類似度（試験結果類似度）を算出する。より具体的には、試験項目類似度があらかじめパラメータ設定部３ａにより設定された閾値以上である各試験項目に対して、それぞれの試験項目ＩＤに紐付けられた試験結果情報間の類似度（試験結果類似度）を算出する。試験結果類似度は、その値が大きいほど試験結果同士が類似していることを示す指標である。試験結果情報は、試験結果情報格納装置２に格納されているものを参照する。
【００２５】
試験結果判定支援部３における試験結果推定部３ｄは、試験結果類似度が低い場合、すなわち、類似する試験項目間において、他の試験結果情報と類似していない試験結果情報について、疑わしい試験結果（正常でない可能性の高い試験結果）とするように、試験結果の疑わしさ（推定試験結果情報）を算出する。すなわち試験結果の疑わしさ（推定試験結果情報）は、その値が大きいほど試験結果が疑わしい（正常でない）ことを示す指標である。
【００２６】
推定試験結果情報格納装置４は、試験項目ＩＤと紐付けられた推定試験結果情報を格納する。
【００２７】
推定試験結果表示部５は、推定試験結果情報を、例えば図２のような表の形式で表示装置７に出力する。そして、推定試験結果情報を表示することによって、各試験結果の判定（各試験項目において、正常であるか否かの判定）、さらには、各試験項目における試験結果判定に基づく、操作画面が正常に動作しているか否かの判定を支援する。
【００２８】
図２は、表示装置７に出力される推定試験結果情報の表示例を示す図である。図２に示された例では、一行が一つの試験項目情報に対応している。
【００２９】
各列には、試験項目ＩＤ、大分類情報、中分類情報、小分類情報、試験項目実施前の画面画像、試験項目実施後の画面画像、推定試験結果情報および試験判定結果情報が割り当てられている。
【００３０】
試験項目実施前の画面画像および試験項目実施後の画面画像は、試験結果情報に含まれる画像情報である。また、試験判定結果情報とは、試験結果の判定結果（正常（ＯＫ）または正常でない（ＮＧ））を示す情報であり、推定試験結果情報から自動的に決定されるものであってもよいし、ユーザが推定試験結果情報に基づいて決定し入力するものであってもよい。
【００３１】
図３は、本発明の第１実施形態に関する、監視制御システムの試験結果判定支援装置を実現するハードウェア構成図である。図３に示されるように試験結果判定支援装置１００は、パーソナルコンピュータ９と、キーボード１３と、マウス１４と、ディスプレイ１５とを備えている。キーボード１３およびマウス１４は入力装置６に相当する。また、ディスプレイ１５は表示装置７に相当する。
【００３２】
パーソナルコンピュータ９は、演算処理装置としてのＣＰＵ１０と、記憶装置としてのメモリ１１およびハードディスクドライブ１２とを備えている。試験結果判定支援部３および推定試験結果表示部５は、プログラムとしてメモリ１１またはハードディスクドライブ１２上に格納され、ＣＰＵ１０上で実行される。また、試験項目情報格納装置１、試験結果情報格納装置２および推定試験結果情報格納装置４は、メモリ１１またはハードディスクドライブ１２に相当する。
【００３３】
キーボード１３、マウス１４およびディスプレイ１５は、パーソナルコンピュータ９に接続されている。
【００３４】
＜動作＞
次に動作について説明する。
【００３５】
図４は、本発明の第１実施形態に関する試験結果判定支援装置１００における演算処理を示すフローチャートである。
【００３６】
まず、パラメータ設定部３ａが、試験項目類似度演算部３ｂにおいて試験項目が類似していると判定される際の基準となる閾値α、試験結果の疑わしさ（推定試験結果情報）を更新する際の係数γ、または試験結果推定部３ｄにおいて試験結果の疑わしさのレベルを判定する際の基準となる閾値β等のパラメータを設定する（ステップＳ１０００）。
【００３７】
次に、試験項目類似度演算部３ｂが、試験項目情報格納装置１に格納されている全試験項目情報間の類似度（試験項目類似度）を算出する（ステップＳ２０００）。
【００３８】
試験項目類似度は、例えば次のように算出することができる。試験項目情報に含まれる大分類情報、中分類情報および小分類情報を、それぞれ形態素解析によって単語単位に分割する。それらの単語のうち名詞である単語に関して、比較する試験項目情報間における共通の単語数をもとに類似度を算出する。
【００３９】
試験項目情報Ａの大分類情報、中分類情報および小分類情報に関して形態素解析を用いて分割した単語のうち、重複を除く名詞の単語数を｜Ａ｜とする。同様に、試験項目情報Ｂの大分類情報、中分類情報および小分類情報に関して形態素解析を用いて分割した単語のうち、重複を除く名詞の単語数を｜Ｂ｜とする。
【００４０】
試験項目情報Ａと試験項目情報Ｂとの間で、共通する単語の数（共通単語数）を｜Ａ∩Ｂ｜と表す。このとき、試験項目情報Ａと試験項目情報Ｂとの間の類似度ｓｉｍ＿ｔｅｓｔ（Ａ，Ｂ）を、次の式（１）で算出する。
【００４１】
【数１】
2014132397.tif 000003
【００４２】
なお、大分類情報、中分類情報および小分類情報における各共通単語数を個別に算出し、特定の係数を掛けたものを式（１）に用いても良い。
【００４３】
また、「試験」といった単語のように、試験の内容には関係しない単語を除外対象とするように、あらかじめパラメータ設定部３ａにおいて設定しておいてもよい。除外対象の単語は、式（１）における単語数および共通する単語数には含めないものとできる。
【００４４】
また、式（１）以外の方法で試験項目類似度を算出するようにしてもよい。式（１）以外の方法としては、例えば共起頻度、Ｄｉｃｅ係数、Ｓｉｍｐｓｏｎ係数、Ｃｏｓｉｎｅ係数等を用いることが可能である。
【００４５】
また、名詞だけでなく全ての単語に対して共通単語数を算出しても良い。
【００４６】
表１は、試験項目情報を形態素解析によって単語単位に分割した場合の例を示した図である。表１においては、試験項目ＩＤ１および試験項目ＩＤ３の試験項目情報について、形態素解析によって分割された単語が、名詞のみ、重複するものと除いて示されている。
【００４７】
【表１】
2014132397.tif 000004
【００４８】
このとき、試験項目ＩＤ１の試験項目情報を式（１）における試験項目情報Ａ、試験項目ＩＤ３の試験項目情報を式（１）における試験項目情報Ｂとすると、試験項目ＩＤ１および試験項目ＩＤ３の試験項目情報間の類似度（試験項目類似度）は、式（１）を用いて以下のように算出される。
【００４９】
【数２】
2014132397.tif 000005
【００５０】
次に、試験結果類似度演算部３ｃは、試験項目類似度演算部３ｂにおいて算出された試験項目類似度が、あらかじめパラメータ設定部３ａにおいて設定された閾値α以上である場合に、対応する各試験項目に対して、それぞれの試験項目ＩＤに紐付けられた試験結果情報間の類似度（試験結果類似度）を算出する（ステップＳ３０００）。すなわち、ある試験項目（１の試験項目）に対する試験項目類似度が閾値α以上である試験項目群において、１の試験項目の試験結果と、当該試験項目群における他の試験項目の試験結果からなる試験結果群とを比較し、１の試験項目の試験結果の、試験結果群に対する類似度を算出する。試験結果情報は、試験結果情報格納装置２に格納されているものを参照する。
【００５１】
試験結果類似度は、例えば、次のように算出することができる。試験項目情報Ａの試験項目実施前の画面画像を画像Ｇ１、試験項目実施後の画面画像を画像Ｇ２、試験項目情報Ｂの試験項目実施前の画面画像を画像Ｇ３、試験項目実施後の画面画像を画像Ｇ４とする。ここで、試験項目情報Ｂは、試験項目情報Ａに対する試験項目類似度が閾値α以上であり、試験項目情報Ａに対する試験項目群に属する試験項目情報である。
【００５２】
まず画像Ｇ１と画像Ｇ２との間で変化した座標一つ一つに対して変化内容（色の変化パターン）を調べ、変化内容ごとに個数を調べる（例：白色から灰色に変わった座標が１１２４個、白色から黒色に変わった座標が３５個、等）。
【００５３】
変化した個数の多い順に、あらかじめパラメータ設定部３ａにおいて設定されたパターン数ｍに従ってｍパターンの変化内容を取り出す。そして、変化した個数の多い上位ｍパターンの変化内容について、全変化個数に対する各変化個数の割合をそれぞれ算出する。同様に、画像Ｇ３と画像Ｇ４との間で変化内容と個数とを調べる。
【００５４】
そして、画像Ｇ１と画像Ｇ２との間の上位ｍパターンの変化内容の、全変化個数に対する各変化個数の割合と、画像Ｇ３と画像Ｇ４との間の上位ｍパターンの変化内容の、全変化個数に対する各変化個数の割合との差を、試験結果類似度とする。
【００５５】
画像Ｇ１と画像Ｇ２との間の全変化個数をＮＡ、上位ｍパターンの変化内容をａ［１］〜ａ［ｍ］、変化内容ａ［ｉ］における変化個数をｎａ［ｉ］とする。
【００５６】
画像Ｇ３と画像Ｇ４との間の全変化個数をＮＢ、上位ｍパターンの変化内容をｂ［１］〜ｂ［ｍ］、変化内容ｂ［ｉ］における変化個数をｎｂ［ｉ］とする。ここで、試験項目群に属する試験項目情報Ｂの試験結果は、試験項目群の試験結果からなる試験結果群に属する試験結果情報である。
【００５７】
画像Ｇ３と画像Ｇ４との間の上位ｍパターンの変化内容のうち、変化内容ａ［ｉ］と同じ変化内容の変化個数をｎＢ（ａ［ｉ］）とする。上位ｍパターンにａ［ｉ］と同変化内容が存在しない場合はｎＢ（ａ［ｉ］）＝０となる。
【００５８】
画像Ｇ１と画像Ｇ２との間の上位ｍパターンの変化内容のうち、変化内容ｂ［ｉ］と同じ変化内容の変化個数をｎＡ（ｂ［ｉ］）とする。上位ｍパターンにｂ［ｉ］と同変化内容が存在しない場合はｎＡ（ｂ［ｉ］）＝０となる。
【００５９】
このとき試験項目情報Ａと試験項目情報Ｂとの間の試験結果類似度ｓｉｍ＿ｒｅｓｕｌｔ（Ａ，Ｂ）は、以下のように算出される。
【００６０】
【数３】
2014132397.tif 000006
【００６１】
なお、上位ｍパターンだけでなく、全変化内容に対して算出してもよい。また、それぞれの全変化個数の差を考慮してもよい。
【００６２】
また、試験結果群に属する他の試験結果情報との間の類似度も算出し、算出された複数の試験結果類似度を考慮することで、１の試験結果情報の、より精度の高い試験結果類似度を算出することができる。
【００６３】
ここで、式（３）の右辺をｓｉｍ＿ｒｅｓｕｌｔ１（Ａ，Ｂ）とする。また、ＮＡとＮＢのうち、大きい方をＭＡＸ（ＮＡ，ＮＢ）とする。さらに、δ１、δ２はあらかじめパラメータ設定部３ａにおいて設定される。
【００６４】
このとき、試験項目情報Ａと試験項目情報Ｂとの間の試験結果類似度ｓｉｍ＿ｒｅｓｕｌｔ（Ａ，Ｂ）は、以下のように算出される。
【００６５】
【数４】
2014132397.tif 000007
【００６６】
また、全変化個所を内包する外接矩形を求め、その大きさを考慮してもよい。
【００６７】
ここで、式（３）の右辺をｓｉｍ＿ｒｅｓｕｌｔ１（Ａ，Ｂ）とする。
【００６８】
画像Ｇ１と画像Ｇ２との間の、全変化個所を内包する外接矩形の幅をＷＡ、高さをＨＡとする。同様に画像Ｇ３と画像Ｇ４との間の、全変化個所を内包する外接矩形の幅をＷＢ、高さをＨＢとする。
【００６９】
ＷＡとＷＢとのうち、大きい方をＭＡＸ（ＷＡ，ＷＢ）とする。ＨＡとＨＢとのうち、大きい方をＭＡＸ（ＨＡ，ＨＢ）とする。また、δ１、δ２は、あらかじめパラメータ設定部３ａにおいて設定される。
【００７０】
このとき、試験項目情報Ａと試験項目情報Ｂとの間の試験結果類似度ｓｉｍ＿ｒｅｓｕｌｔ（Ａ，Ｂ）は、以下のように算出される。
【００７１】
【数５】
2014132397.tif 000008
【００７２】
また、全変化個所を内包する外接矩形を求め、画像全体における外接矩形の座標を考慮してもよい。
【００７３】
ここで、式（３）の右辺をｓｉｍ＿ｒｅｓｕｌｔ１（Ａ，Ｂ）とする。
【００７４】
画像Ｇ１と画像Ｇ２との間の、全変化個所を内包する外接矩形の画像全体におけるＸ座標をＸＡ、Ｙ座標をＹＡとする。同様に画像Ｇ３と画像Ｇ４との間の、全変化個所を内包する外接矩形の画像全体におけるＸ座標をＸＢ、Ｙ座標をＹＢとする。
【００７５】
ＸＡとＸＢとのうち、大きい方をＭＡＸ（ＸＡ，ＸＢ）とする。ＹＡとＹＢとのうち、大きい方をＭＡＸ（ＹＡ，ＹＢ）とする。また、δ１、δ２は、あらかじめパラメータ設定部３ａにおいて設定される。
【００７６】
このとき、試験項目情報Ａと試験項目情報Ｂとの間の試験結果類似度ｓｉｍ＿ｒｅｓｕｌｔ（Ａ，Ｂ）は、以下のように算出される。
【００７７】
【数６】
2014132397.tif 000009
【００７８】
パターン数ｍを３とし、画像Ｇ１と画像Ｇ２との間の全変化個数を１０００個、変化個数上位３パターンの変化内容とその変化個数が、多い順に「白から赤に変化：５００個」、「白から黒に変化：３００個」、「黒から赤に変化：２００個」とする。
【００７９】
画像Ｇ３と画像Ｇ４との間の全変化個数を２５０個、変化個数上位３パターンの変化内容とその変化個数が、多い順に「白から赤に変化：２００個」、「白から灰色に変化：３０個」、「白から黒に変化：２０個」とする。
【００８０】
このとき、試験項目情報Ａと試験項目情報Ｂとの間の試験結果類似度ｓｉｍ＿ｒｅｓｕｌｔ（Ａ，Ｂ）は、式（３）を用いて以下のように算出される。
【００８１】
【数７】
2014132397.tif 000010
【００８２】
次に、試験結果推定部３ｄが、試験結果類似度演算部３ｃにおいて算出された試験結果類似度に基づき、各試験結果の疑わしさ（推定試験結果情報）を算出する（ステップＳ４０００）。
【００８３】
各試験結果の疑わしさ（推定試験結果情報）は、例えば次のように算出することができる。
【００８４】
試験項目情報Ａに対して、試験項目類似度が閾値α以上の試験項目情報Ｂがｎ個あり、それぞれ試験項目Ｂ１〜試験項目Ｂｎと表す。このとき、試験項目Ａの試験結果の疑わしさＤＡを、式（１）と式（３）とを用いて次の式で算出する。
【００８５】
【数８】
2014132397.tif 000011
【００８６】
次に、推定試験結果表示部５が、試験結果推定部３ｄにおいて算出された試験結果の疑わしさ（推定試験結果情報）について、例えば図２に示されるような表の形式で表示装置７に出力させる（ステップＳ５０００）。
【００８７】
図２における「推定試験結果」の列に、各試験結果の疑わしさが表示されている。試験結果の疑わしさのレベルとして、例えば「やや疑わしい」、「疑わしい」および「非常に疑わしい」といった３つのレベルを用意しておき、それぞれ対応する閾値をβ１、β２、β３とすることができる。これらの閾値は、あらかじめパラメータ設定部３ａにおいて設定される（ただし、β１＜β２＜β３）。そして、各試験項目の試験結果の疑わしさＤが、対応する各閾値を超えた場合に、文字列「やや疑わしい」、「疑わしい」または「非常に疑わしい」のいずれかが「推定試験結果」の列に表示される。
【００８８】
推定試験結果に基づけば、各試験項目に対する操作画面の動作が正常であるか否かを判定することができ、さらには、各試験項目における試験結果判定に基づく、操作画面が正常に動作しているか否かの判定を行うことができる。
【００８９】
なお、文字列ではなく試験項目の試験結果の疑わしさＤの値がそのまま表示されてもよい。また、各閾値を超えた試験項目に対応する試験結果の疑わしさのみを抽出して表示してもよい。
【００９０】
以上によれば、正解画像がなく自動判定が行えない場合に、類似する他の試験項目の試験結果から疑わしい試験結果を抽出し、操作画面が正常に動作しているか否かを判定することができる。よって、目視によって試験結果を確認し、操作画面の動作が正常であるか否かを判断する場合の、作業実施者による見落としまたは見間違い等による判定ミスを抑制することができる。さらに、例えば正常でないと判定された試験結果を重点的に確認すればよく、試験結果の確認が容易となる。
【００９１】
＜効果＞
本発明に関する実施形態によれば、試験結果判定支援装置が、試験項目類似度演算部３ｂと、試験結果類似度演算部３ｃと、試験結果推定部３ｄと備える。
【００９２】
試験項目類似度演算部３ｂは、複数の試験項目の類似度である試験項目類似度を算出する。
【００９３】
試験結果類似度演算部３ｃは、試験項目類似度に基づいて区分された試験項目群における、１の試験項目の試験結果と、当該試験項目群に含まれる他の試験項目の試験結果からなる試験結果群とを比較し、１の試験項目の試験結果の、試験結果群に対する類似度である試験結果類似度を算出する。
【００９４】
試験結果推定部３ｄは、試験結果類似度に基づいて、各試験結果の疑わしさ（推定試験結果情報）を推定する。
【００９５】
このような構成によれば、正解画像を用意することが困難な場合であっても、各試験項目における試験結果の疑わしさを推定することで各試験結果の判定を支援し、さらには、各試験項目における試験結果判定に基づく、操作画面が正常に動作しているか否かの判定を支援することができる。
【００９６】
また、複数の試験結果から疑わしい試験結果を抽出することができるため、目視によって試験結果を確認する場合の、作業実施者による見落としまたは見間違い等による判定ミスを抑制することができる。さらに、例えば正常でないと判定された試験結果を重点的に確認すればよく、試験結果の確認が容易となる。
【００９７】
また、本発明に関する実施形態によれば、試験結果類似度演算部３ｃが、各試験項目が実施される前後の操作画面における画像変化の類似度に基づいて、試験結果類似度を算出する。
【００９８】
＜第２実施形態＞
＜構成＞
第１実施形態では、試験結果類似度に基づいて試験結果の疑わしさ（推定試験結果情報）が算出されているが、外部からユーザによって入力された各試験項目に対する判定結果を示す情報である試験判定結果情報に基づいて、未だ判定されていない他の試験結果の疑わしさ（推定試験結果情報）を更新することができる。このようにすれば、推定試験結果の推定精度を高めることができる。
【００９９】
第２実施形態では特に、ユーザによって入力された試験判定結果情報に基づいて、試験結果の疑わしさ（推定試験結果情報）を更新する推定試験結果更新部について説明する。
【０１００】
図５は、本発明の第２実施形態に関する、監視制御システムの試験結果判定支援装置の構成を概念的に示した図である。なお、本実施形態では監視制御システムにおける監視画面の試験結果判定を支援することを想定しているが、本発明は、他の用途に用いられる操作画面の試験結果判定を支援することに用いることができる。図５に示されるように試験結果判定支援装置１００ａは、試験項目情報格納装置１と、試験結果情報格納装置２と、試験結果判定支援部３０と、推定試験結果情報格納装置４と、推定試験結果表示部５と、入力装置６と、表示装置７と、試験判定結果情報格納装置８とを備えている。図５中、図１と同一符号は同一または相当の構成を示し、以下において詳細な説明は省略する。
【０１０１】
試験判定結果情報格納装置８は、ユーザによって入力された試験判定結果情報を格納する。また試験判定結果情報格納装置８は、図３に示されたメモリ１１またはハードディスクドライブ１２に相当する。
【０１０２】
試験結果判定支援部３０は、パラメータ設定部３ａと、試験項目類似度演算部３ｂと、試験結果類似度演算部３ｃと、試験結果推定部３ｄと、推定試験結果更新部３ｅとを備えている。
【０１０３】
推定試験結果更新部３ｅは、入力装置６から入力された試験判定結果情報が試験判定結果情報格納装置８に格納された場合、その試験判定結果情報と推定試験結果情報格納装置４に格納されている推定試験結果情報とに基づき、各試験結果の疑わしさを再演算し、推定試験結果情報を更新する。
【０１０４】
＜動作＞
次に動作について説明する。
【０１０５】
図６は、本発明の第２実施形態に関する試験結果判定支援装置１００ａにおける演算処理を示すフローチャートである。なお、ステップＳ１０００〜ステップＳ５０００までの動作は、第１実施形態に示された内容と同様であるので、詳細な説明は省略する。
【０１０６】
ステップＳ５０００の次に、ユーザは、表示装置７に出力された試験結果の疑わしさ（推定試験結果情報）に基づいて、さらには必要に応じて試験項目情報および試験結果情報を参照して、１または複数の試験項目における操作画面の動作が正常であるか否かを判定する。そしてユーザは、その判定結果を示す情報である試験判定結果情報を入力装置６を介して入力する（ステップＳ６０００）。入力された試験判定結果情報は、試験判定結果情報格納装置８に格納される。なお、ユーザが試験判定結果情報を入力しない場合には、処理を終了する。
【０１０７】
次に、推定試験結果更新部３ｅが、試験結果の疑わしさ（推定試験結果情報）が算出され、かつ、未だ試験結果を判定していない試験項目が存在するかどうか判別する（ステップＳ７０００）。未だ試験結果を判定していない試験項目が存在する場合（Ｙｅｓ）にはステップＳ８０００へ進み、試験結果を判定していない試験項目が存在しない場合（Ｎｏ）には処理を終了する。
【０１０８】
推定試験結果更新部３ｅは、未だ試験結果を判定していない試験項目が存在する場合、ユーザによって入力された試験判定結果情報に基づいて、未だ試験結果を判定していない試験結果の疑わしさ（推定試験結果情報）を更新する（ステップＳ８０００）。
【０１０９】
試験結果の疑わしさ（推定試験結果情報）は、第１実施形態の式（２）および式（３）を用いて、例えば次のように更新することができる。
【０１１０】
ここで、試験項目Ａについての、更新される前の試験結果の疑わしさをｏｌｄＤＡ、更新された新しい試験結果の疑わしさをｎｅｗＤＡとする。試験項目Ａに対して試験項目類似度が閾値α以上の他の試験項目がｎ個あり、そのうちの任意の試験項目Ｂの試験判定結果が入力された場合、あらかじめパラメータ設定部３ａにおいて設定された係数γを用いて、ｎｅｗＤＡは次のように算出することができる。
【０１１１】
【数９】
2014132397.tif 000012
【０１１２】
または、次のように算出することもできる。
【０１１３】
【数１０】
2014132397.tif 000013
【０１１４】
ステップＳ８０００において、試験結果の疑わしさを更新した後は、ステップＳ５０００へ戻り処理を繰り返す。
【０１１５】
以上によれば、ユーザによって入力された試験判定結果情報に基づいて、未だ判定されていない他の試験結果の疑わしさを更新することができ、推定試験結果の推定精度を高めることができる。
【０１１６】
＜効果＞
本発明に関する実施形態によれば、各試験において操作画面の動作が正常であるか否かを判定した情報である判定情報に基づいて、未だ当該判定が行われていない他の試験の試験結果の疑わしさを更新する更新部としての推定試験結果更新部３ｅを備える。
【０１１７】
このような構成によれば、ユーザによって入力された試験判定結果情報に基づいて、未だ判定されていない他の試験結果の疑わしさを更新することができ、推定試験結果の推定精度を高めることができる。
【０１１８】
なお本発明は、その発明の範囲内において、各実施形態の自由な組み合わせ、あるいは各実施形態の任意の構成要素の変形、もしくは各実施形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１１９】
１  試験項目情報格納装置、２  試験結果情報格納装置、３，３０  試験結果判定支援部、３ａ  パラメータ設定部、３ｂ  試験項目類似度演算部、３ｃ  試験結果類似度演算部、３ｄ  試験結果推定部、３ｅ  推定試験結果更新部、４  推定試験結果情報格納装置、５  推定試験結果表示部、６  入力装置、７  表示装置、８  試験判定結果情報格納装置、９  パーソナルコンピュータ、１０  ＣＰＵ、１１  メモリ、１２  ハードディスクドライブ、１３  キーボード、１４  マウス、１５  ディスプレイ、１００，１００ａ  試験結果判定支援装置。
【図１】
2014132397.tif 000014
【図２】
2014132397.tif 000015
【図３】
2014132397.tif 000016
【図４】
2014132397.tif 000017
【図５】
2014132397.tif 000018
【図６】
2014132397.tif 000019