(57)【要約】      （修正有）【課題】本発明は、情報端末などのユーザーインターフェースの操作とその結果の妥当性を判断する自動試験方法において、試験後の目視での試験結果確認で、確認に手間がかかってしまったり、実画像および正解画像の差異が微小な画素に限られる場合、目視ではどこが異なるか判断し難い問題を容易に確認できるように表示する。【解決手段】確認対象要素に対して、予め重み付けを指定することで、比較結果をレベル分けして表示し、判断基準パラメータ指定による試験結果の再表示および正解画像の更新が行えるようにした上、正解画像と実画像の各画素の排他的論理和、論理積を画像データとして表示、または、その相異画素の拡大した画素を表示することにより、試験結果確認を容易にするように表示を行う。【選択図】図１
2007086899.tif 000002
【特許請求の範囲】
【請求項１】
情報端末に実行させる動作試験の指示データを、コンピュータから情報端末に送信させ、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータに受信させ、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させることを特徴とする試験結果判定表示方法。
【請求項２】
情報端末に動作試験を実行させる指示データを送信するステップと、
前記指示データに従って実行された情報端末の実画像の画面情報を受信するステップと、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させるステップと、
をコンピュータに実行させるためのプログラム。
【請求項３】
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更するステップを更に実行させる請求項２に記載のプログラム。
【請求項４】
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示するステップを更に実行させる請求項２に記載のプログラム。
【請求項５】
情報端末とコンピュータを接続し、コンピュータからの指示によって情報端末の操作を行わせ、情報端末の試験を行わせる試験装置であって、
コンピュータから情報端末に動作試験を実行させる指示データを送信する手段と、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータが受信する手段と、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させる手段と、
を有することを特徴とする試験装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザインターフェースの操作部と表示部を有する情報端末などをその試験対象とし、その操作と操作結果の妥当性を判断する自動試験方法に係わり、特に、試験後の画面結果の確認および正解値の更新を容易にする方法、プログラム及び装置に関する。
【背景技術】
【０００２】
図１５は、パーソナルコンピュータ等（以下、ＰＣと呼ぶ）により、携帯情報端末（以下、端末と呼ぶ）を試験対象として、自動試験を行う従来の試験結果判定表示方法を説明する図である。ＰＣと端末の間には試験機が介在し、端末のキー入力に相当する擬似入力信号やその操作結果の妥当性を確認する信号が本試験機を介して端末とＰＣ間で送受される。また、ＰＣ内には所定の試験プログラムが用意されており、また予め準備した試験シナリオに基づいて、端末のキー入力に相当する擬似入力信号がＰＣから端末に送信され、その入力信号に基づいた結果の画面サンプルが端末に表示される。この画面サンプルデータの信号は、端末から試験機を介してＰＣが受け取ることにより、操作結果の妥当性が判断される。また、所定の試験が実行された後は、その試験結果のログがＰＣ内にデータ入力される。さらに、試験結果の正誤判定を行うために、各確認箇所において、画像一致／不一致という基準にて判定結果を記号で順に表示し、それに対応する実画像および正解画像を並べて表示するものであるが、以下のような問題があった。
（１）試験ログ中の各確認箇所において、確認対象は複数存在する場合がある一方、試験内容によって確認の重点が異なる。そのため、単に「一致」「不一致」という結果を確認対象ごとに順に表示しただけであると確認に手間がかかってしまう。
（２）結果判定における画像の不一致となるケースは試験対象のソフトウェアの不具合によるものとソフトウェアの画面デザイン等の仕様変更によるものがあり、結果表示上の「不一致」にはこれらが混在している。特に、本来同一ケースと判定されるべき場合での不一致が多数含まれる場合が多い。従って、結果確認や仕様変更等による正解画像の更新作業は確認箇所毎に行う必要あり、手間がかかってしまう。
（３）実画像および正解画像の差異が微小な画素に限られる場合、目視ではどこが異なるか判断し難い。
【０００３】
更に詳細に、このような自動試験方式における従来の試験結果判定表示方法における問題点を以下に述べる。
（１）試験シナリオを実行した後で結果を目視で確認する際に、１つの操作に対して、複数の確認対象がある場合（物理的に複数の画面または他のデバイスを対象としている場合、もしくは１つの画面に対して、画像比較／表示文字列などの、複数の確認要素がある場合）、それぞれの確認対象に対し判定結果を表示する必要があるが、従来のように単に結果を並べて表示しただけでは、全ての結果を順番に確認していくほかなく、その作業を効率的に行うことができず、試験結果を確認する上で支障を生じていた。
【０００４】
また、試験判定結果が比較不一致となったものでも、真の誤りによるもの以外の同一要因による不確定要素、画面仕様変更による不一致が多数含まれている場合があるが、それら多数の同一要因による不一致の中に他の要因による不一致が埋もれてしまい、確認するには多くの時間を要し、試験結果の確認を行う上で支障を生じていた。
（２）試験判定結果が比較不一致となったもので、真の誤りによるもの以外の同一要因による不確定要素、画面仕様変更による不一致が多数含まれている場合、それら多数の同一要因による不一致の中に他の要因による不一致が埋もれてしまい、正解画面を更新するには多くの時間を要し、試験の準備を行う上で支障を生じていた。
（３）単に正解画像および実画像を並べて表示しただけでは、試験ログ中の各正解画像および実画像の一部分の画素のみが不一致となっているような類似性の高い画像が試験結果中に多量に含まれる場合、その相異箇所を目視によって判別することは困難であり、結果として試験結果中のすべてのケースを確認するのには多くの時間を要し、試験結果の確認を行う上で支障を生じていた。
（４）正解画像と実画像の並列表示において、試験ログ中の各正解画像および実画像の一部の画素のみが不一致となっているような類似性の高い画像、特にその相異部分が微小領域に限定されるような場合、その相異箇所を目視によって判別することは不可能であり、試験結果の確認を行う上で支障を生じていた。
（５）正解画像と実画像の並列表示において、試験結果中の各正解画像および実画像の一部の画素のみが不一致となっているような類似性の高い画像、特にその相異部分が色成分の微妙な差異もしくは表示位置の微妙な差異のような場合、その相異の様子を目視によって判別することは困難であり、試験結果の確認を行う上で支障を生じていた。
【０００５】
特許文献１には、携帯電話のソフトウェアに対する機能試験作業を自動化するための、携帯電話機の操作を行うキー操作部と操作に対する動作試験を行う動作試験部、試験シナリオ、試験結果や判定結果を保持するデータ集計部などを備えた携帯電話のソフトウェアに対する機能試験装置が記載されているが、試験結果の画像を容易に確認／判定できるような処理を行うことの記載はなく、上記の（１）〜（５）の問題点を解決するようなものはなかった。
【特許文献１】特開２０００−９９２８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記のような問題点を解決するためになされたものであり、以下の如く、確認対象要素に対して、予め重み付けを指定することで、比較結果をレベル分けして表示し、判断基準パラメータ指定による試験結果の再表示および正解画像の更新が行えるようにした上、正解画像と実画像の各画素の排他的論理和、論理積を画像データとして表示、または、その相異画素の拡大した画素を表示することにより、試験結果確認を容易にするように表示を行うものであり、
（１）第１に本発明は、目視による結果確認の際にオペレータが判断する基準を優先順位として設定できるようにし、それを結果に反映、表示することによって確認作業を効率的に行えるようにすると共に、試験ログ中の正解画像および実画像をもとに試験後にオペレータが与えた条件での再比較を行うことによって、結果確認作業を効率的に行えるようにすることを目的とする。
（２）第２に本発明は、試験ログ中の正解画像および実画像をもとに試験後にオペレータが与えた条件での再比較を行うことによって、正解画面更新作業を効率的に行えるようにすることを目的とする。
（３）第３に本発明は、試験結果中の各正解画像および実画像の相異を画像として表示することにより容易に判別できるようにすることを目的とする。
（４）第４に本発明は、試験結果中の各正解画像および実画像の微小な不一致画素の位置を検索、拡大表示により目視によって容易に判別できるようにすることを目的とする。
（５）第５に本発明は、試験結果中の各正解画像および実画像の相異を重ね合わせた画像として表示することにより目視によってそれを容易に判別できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理を説明する構成図であり、試験対象の端末と制御用のＰＣとを接続し、端末のキー入力に相当する擬似入力信号をＰＣから端末に送信するための試験機を介在させて、所定の試験が実行された後、その試験結果のログをＰＣの画面上に表示し、試験結果の妥当性を確認する試験方法として、確認対象要素毎に、予め重み付けを指定することで、比較結果をレベル分けして表示し、判断基準パラメータ指定による試験結果の再表示および正解画像の更新が行えるようにした上、正解画像と実画像の各画素の排他的論理和、論理積を画像データとして表示、または、その相異画素の拡大した画素を表示することにより、試験結果確認を容易にできるようにしたことを特徴とする。
【発明の効果】
【０００８】
本発明による画面表示方法によれば、試験実行後の単一又は複数の確認対象画面に対して、予め重み付け表示をし、オペレータに確認優先順位を表示することで、多量の結果確認を効率的に行うことが可能となった。また、試験実行後の試験ログの中の対象実画像に対し、画面領域および一致率というパラメータを与えることで、試験を再実行せずに結果に反映させることや、同一画面検索をすることにより置換すべき正解画像の特定ができ、多量の正解画像の更新を効率的に行うことが可能となった。
【０００９】
また、実画像および正解画像の各画素の色成分（ＲＧＢ）の差を画像表示することで、同一画素と相異画素が異なる色で表示したり、正解画像と実画像の不一致画素を検出し、自動的に拡大表示したり、正解画像と実画像の各画素の論理積を計算し表示することで、正解画像の上に不一致画素のみ異なる色で表示したりすることにより、容易に不一致箇所の特定ができ、多量の不一致画面を効率的に確認することが可能となった。
【発明を実施するための最良の形態】
【００１０】
図２は、本発明の一実施例の構成図であり、自動試験システムにおける試験結果判定表示方法を示している。本図は以下に説明する実施例１〜５に共通の構成図であり、１は端末、２はＰＣ、３は試験機であり、端末１〜試験機３、試験機３〜ＰＣ２間はそれぞれ所定のケーブルで接続される。通常、端末１はユーザインターフェース部として、キー入力等を行う操作部があり、その操作の結果の妥当性を判断することが必要であることから、ＰＣ２と端末１の間には試験機３が介在し、端末１のキー入力に相当する擬似入力信号が本試験機３を介して、ＰＣ２から端末１に送信され、その操作結果の妥当性を確認する信号を同様に試験機３を介して端末１からＰＣ２が受け取る。即ち、端末１に表示された画面サンプルデータの信号が試験機３経由でＰＣ２に送信される。
【００１１】
また、自動試験方法に関しては、ＰＣ２内には所定の試験プログラムが用意されており、また予め準備した試験シナリオに基づいて、端末１のキー入力に相当する擬似入力信号をＰＣ２から端末１に送信され、その結果の信号を端末１からＰＣ２が受け取ることにより、操作結果の妥当性が判断される。つまり、所定の試験が実行された後に端末に表示された画面サンプルデータが、その試験結果のログとしてデータ入力されると共に、当該画面サンプルがＰＣ２に表示され、試験結果の正誤判定を行うために、ＰＣ２の結果表示画面に、実画像および正解画像が並べて表示される。また、試験手順および判定結果として、重み付け指定した比較結果を表示したり、判断基準パラメータ指定による試験結果の再表示および正解画像の更新を行う上で、各確認箇所において、画像一致／不一致という基準にて判定結果を見易くするために記号で順に表示され、さらに、各実画像および正解画像における相異画素の強調表示として、ＸＯＲ表示、ＡＮＤ表示、拡大表示をさせることができる。
【実施例１】
【００１２】
図３は、第１の発明の実施例を説明するものであり、１つの操作に対して単一又は複数の確認対象がある場合、確認する方法やデバイス動作などの確認対象要素毎に対して、予め重み付けを指定した上で実動作と正解動作を比較することによって、比較結果をレベル分けして結果を表示するものである。
【００１３】
図３（ａ）において、まず、重み付け指定を行う。確認位置としては、操作１、操作２、操作３があり、それぞれの確認対象として、メイン画面、サブ画面、ＬＥＤ、メイン画面（領域Ａ）、メイン画面（領域Ｂ）、メイン画面（ピクト）がある。そして、それぞれの操作、確認対象に対し、点数を設定し、同図（ｂ）に記載されるように、該点数に応じて、確認レベルをＡ，Ｂ，Ｃとし、その意味付けとを定義する。
【００１４】
その上で、同図（ｃ）に記載されるように、各確認対象にて、実動作と正解動作を比較し（ステップＳ１１）、比較結果が不一致の場合、重み付け（点数）を計算し（ステップＳ１２）、確認位置の各確認対象の点数を総計し（ステップＳ１３）点数の総計値から確認レベル閾値定義に従い確認レベルを確定（ステップＳ１４）し、確認レベルを付加して結果を表示する（ステップＳ１５）。これにより、同図（ｅ）に示す結果画面表示が表示され、操作Ａ〜Ｃに対して確認箇所Ａが○、確認箇所Ｂが×、確認箇所Ｃが△として、確認レベルをアイコン化して記号で表示される。
【００１５】
ここで、確認結果表示画面の例としては、図４（ａ）に記載するように、まず、確認レベル閾値定義を行い、確認レベルＡ，Ｂ，Ｃに対し、意味付け、点数、記号とを定義する。次に、同図（ｂ）に示すように、試験シナリオとして、操作１〜４の各操作に対して確認内容を表示する。この結果、確認１〜４のそれぞれに対する確認対象および点数が得られる。例えば、操作１／確認１ではメイン画面８点サブ画面１点であり、操作４／確認４ではメイン画面８点、メイン画面（領域Ａ）１点：サブ画面３点である。
【００１６】
これに対して、同図（ｃ）に示すように、試験結果表示として、メイン画面やサブ画面などに対して、○（一致）、×（不一致）で表示される。また、確認レベルＡ，Ｂ，Ｃの意味付けに対応して、同図（ａ）に記したように「確認が必須である」＝記号「×」、「確認をする必要がある」＝記号「！」、「参考程度」＝記号「？」として、同図（ｃ）の確認１〜４の頭に記号で簡単に表示される。
【００１７】
即ち、操作１に対する確認１は、メイン画面／サブ画面共に○（一致）で確認１は○、操作２に対する確認２は、メイン画面が×（不一致）／サブ画面○（一致）で確認２は×であるので、メイン画面の確認が必須であることを表示している。さらに、操作３に対する確認３は、メイン画面が×（不一致）／サブ画面○（一致）で確認３は「！」であるので、メイン画面に関し「確認をする必要がある」ことを表示している。同様に、確認箇所操作４に対する確認４は、メイン画面／サブ画面共に○（一致）であるが、メイン画面（領域Ａ）に関しては×（不一致）であるので、確認４には「？」が表示され、「参考程度」に確認することが表示される。以上の内容が、ＰＣ上の結果表示画面として同図（ｄ）に、実画像と正解画像の画面表示と共に、操作１／確認１〜操作４／確認４について表示される。
【００１８】
このように、本実施例では、単一又は複数の確認対象に対して、それを結果画面に予め重み付けをして表示することで、オペレータに確認優先順位を容易に判断できるようにしているので、多量の結果確認を効率的に行うことが可能となる。
【００１９】
更に、本実施例では図５に示すように、試験ログ中の、ある選択された実画像および正解画像に対し、その画像が妥当であると判断する基準を画像の矩形領域およびその領域内に含まれる画素の一致率の閾値をパラメータとして設定できるようにしておき、オペレータが該一致率閾値を与えた上で試験ログ中の他の実画像と正解画像をその条件の下で比較することにより、試験判定結果を再表示することも可能である。
【００２０】
例えば、図５（ａ）に示すように、操作Ａ，Ｂ，Ｃに対し、確認箇所Ａ，Ｂ，Ｃが設定され、操作Ｂ，Ｃに関しては×（不一致）が示されている場合、実画像および正解画像の中の破線で示した矩形領域に対し、同図（ｂ）に示すように矩形領域（ｘ，ｙ；ｗ，ｈ）に関して、同図（ｃ）に示すように、一致率を、一致画素数／矩形領域内の全画素数×１００（％）として計算する。また、一致率の閾値も同様に計算される。
【００２１】
さてここで、同図（ｄ）にフロー的に示すように、特定の結果不一致画面に対し比較条件を設定（ステップＳ２１）する、即ち、一致率の閾値をパラメータとして設定する。次に、各確認箇所の実画像および正解画像において、指定領域の一致率を計算する（ステップＳ２２）。上記の一致率＞設定された閾値の一致率（一致率閾値）となる場合、元の判定結果が不一致である場合には、判定結果を「一致」に結果表示を変更する（ステップＳ２３）。即ち、図５（ｅ）で、操作Ａ，Ｂに関しては変わらないが、操作Ｃに関し確認箇所Ｃが○（一致）に変更される。以上の操作を試験ログ中の全ての実画像および正解画像に対して行う（ステップＳ２４）。
【００２２】
上記に関して更に具体的に例示すると、図６に示すように、操作１〜３に対する試験結果の判定１〜３は全て×（不一致）であるが、判定１に関しては、実画像Ａ’と正解画像Ａが判定１で不一致と判定されたが、オペレータの目視による判断では明らかに同一と判断する場合には、基準ケースとして条件設定せずに以降の判定を「一致」に変更し、判定結果は「○判定１」となることを示している。
【００２３】
判定２に関しては、実画像Ｃに対し正解画像がＢであり、オペレータの目視による判断でも、明らかに異なるケースの不一致である場合には、領域の設定や一致率の設定等の条件設定はせずに、以降も判定２は×（不一致）のままとすることを示している。判定３に関しては、実画像Ａ’と正解画像Ａが不一致と判定されたが、オペレータの目視による判断では以降は、同一ケースとして「一致」に変更したいので、相異を許容する一致率などの条件を設定することにより、以降は判定３は○（一致）となるように変更されることを示している。
【００２４】
このように、本実施例では、試験実行後に試験ログ中の実画像に対し、画面領域および一致率というパラメータを与えることで、試験を再実行せずに、結果に反映できるようにしている。従って、同一要因による不一致箇所の結果確認を効率的に行うことが可能となる。
【実施例２】
【００２５】
図７は、第２の発明の実施例を説明するものであり、試験ログ中のある選択された実画像に対し、その画像が妥当であると判断する基準を画像の矩形領域およびその領域内に含まれる画素の一致率（閾値）をパラメータとして設定できるようにしておき、オペレータがそれを与えた上で試験ログ中の他の実画像の中からその条件下で一致する実画像を検索し、それが正解か画像同士が同一の場合には、それを正解画像として一括して置換するものである。
【００２６】
図７（ａ）に示すように、操作Ａ，Ｂ，Ｃに対し、確認箇所Ａ，Ｂ，Ｃが設定され、操作Ｂ，Ｃに関しては×（不一致）が示されている場合であることは、実施例２の説明と同様であり、実画像および正解画像の中の破線で示した矩形領域に対し、一致率や一致率の閾値も同様に計算される。その上で、同図（ｄ）にフロー的に示すように、特定の確認箇所の結果不一致画面に対し、検索条件を設定（ステップＳ３１）し、上記確認箇所の実画像と他の確認箇所における実画像を、上記条件の元で比較（ステップＳ３２）し、上記比較結果が一致する場合、上記２つの確認箇所に対応する正解画像同士を上記条件の元で比較する（ステップＳ３３）。そして、上記正解値同士が一致する場合、比較対象の確認箇所の正解画像を実画像にて置き換える（ステップＳ３４）。即ち、同図（ｅ）に示すように、検索条件の元で、実画像Ｂ＝実画像Ｃであり、且つ、正解画像Ｂ＝正解画像Ｃの場合には、正解画像Ｂが正解画像をＣに置換されるものである。以上を試験ログ中の全ての確認箇所の実画像に対して行う（ステップＳ３５）。
【００２７】
上記に関して更に具体的に例示すると、図８に示すように、操作１〜３に対する試験結果の判定１〜３は全て×（不一致）であるが、判定１に関しては、実画像Ａ’と正解画像Ａが判定１で不一致と判定されたが、オペレータの目視による判断で正解画像Ａを実画像Ａ’に置き換える場合には、基準ケースとして条件設定せずに以降の新しい正解画像をＡ’に変更することを示している。
【００２８】
判定２に関しては、実画像Ｃに対し正解画像がＢであり、オペレータの目視による判断でも、明らかに異なるケースの不一致である場合には、領域の設定や一致率の設定等の条件設定はせずに、以降も判定２での正解画像はＢのままとすることを示している。判定３に関しては、実画像Ａ’と正解画像Ａが判定３で不一致と判定されたが、オペレータの目視による判断では以降は、同一ケースとして一致に変更したいので、判定３では新しい正解画像がＡ’に変更されることを示している。
【００２９】
このように、本実施例では、試験実行後に試験ログ中の実画像に対し、画面領域および一致率というパラメータを与えることで、試験を再実行せずに、同一画面検索ができるようにしている。従って瞬時に置換すべき正解画像の特定ができ、多量の正解画像の更新を効率的に行うことが可能となる。
【実施例３】
【００３０】
図９は、第３の発明の実施例を説明するものであり、試験結果中の各正解画像および実画像（特に、画像の一部だけが不一致となるような類似性がある画像）に対し、正解画像および実画像を並列表示した上で、それら２つの画像の同一座標における各画素の色成分（ＲＧＢ値）同士の排他的論理和を計算し、それを画像データとして構成して、画像の差異を表示するものである。
【００３１】
即ち、同図（ａ）に示すように、実画像（ｘ，ｙ）のＲＧＢとして、ＲＧＢａｃｔ（ｘ，ｙ）、期待値としての正解画像（ｘ，ｙ）にて、ＲＧＢｅｘｐ（ｘ，ｙ）とにより、同図（ｂ）に示すように、実画像および正解画像より各画素の色成分（ＲＧＢ）を取得し（ステップＳ４１）、同一座標毎にＲＧＢ成分の排他的論理和（ＸＯＲ）を計算し（ステップＳ４２）、上記差分をＲＧＢ成分として画像を構成して結果画面に表示（操作／確認箇所との関連づけがされた状態で表示する）（ステップＳ４３）。この結果で、同図（ｃ）に示すように、実画像と正解画像のＸＯＲ画像が得られるが、同一画素では、ＲＧＢｘｏｒ（ｘ，ｙ）＝（０，０，０）となり、黒色表示となり、それ以外の不一致画素は違いに応じて、色で表示される（ステップＳ４４）。
【００３２】
上記に関して更に具体的に例示したものが、図１０であり、実画像と正解画像のＸＯＲ画像が作成され、相異画素は黒色以外で表示されるので、目視で相異画素が容易に判別できると共に、一致画素は黒色表示されることになる。
【００３３】
このように、本実施例では、実画像および正解画像の各画素の色成分（ＲＧＢ）の差を画像として表示することで、同一画素と相異画素が異なる色で表示され、相異画素が目視で判別できるようにしている。従って容易に不一致箇所の特定ができ、多量の不一致画面を効率的に確認することが可能となる。
【実施例４】
【００３４】
図１１は、第４の発明の実施例を説明するものであり、試験結果中の各正解画像および実画像（特に、その相異部分が微小な領域に限定されるもの）に対し、正解画像および実画像を並列表示した上で、それら２つの画像の不一致画素を検索し、各々正解画像および実画像のその不一致画素の近傍の画像を抽出し、それを不一致画素の座標と関連付けて拡大表示するものである。
【００３５】
図１１（ａ）に示すように、実画像（ｘ，ｙ）のＲＧＢとしてＲＧＢａｃｔ（ｘ，ｙ）、期待値としての正解画像（ｘ，ｙ）としてＲＧＢｅｘｐ（ｘ，ｙ）とにより、同図（ｂ）に示すように、実画像および正解画像より各画素の色成分（ＲＧＢ）を取得し（ステップ５１）、同一座標毎にＲＧＢ成分を比較し（ステップ５２）、ステップ５３でＲＧＢ成分不一致の場合には、不一致画素の座標近傍の領域に対して画像を抽出し（ステップ５４）、上記の領域のみの拡大イメージを生成し、結果画面上に表示する（ステップ５５）。その際、同図（ｃ）に示すように、不一致座標を中心にその上に拡大画像を表示するか、もしくは、上記画像と不一致の座標を線分を表示して表示する。即ち、同図（ｄ）に示すように、操作Ａ、確認箇所Ａ、操作Ｂ、確認箇所Ｂの中で、ハッチングの掛かっている確認箇所Ａについて、実画像と正解画像のそれぞれに拡大画像が表示される。
【００３６】
上記に関して更に具体的に例示したものが図１２であり、実画像と正解画像の相異画素近傍の拡大画像を表示し、実画像では４：３６であり、正解画像では４：３７であるように、微小な相異画素が容易に判別できる。
【００３７】
このように正解画像と実画像の不一致画素を検出し、自動的に拡大表示することで、不一致の領域が微小である場合でも、目視で判別できるようにしており、容易に不一致箇所の特定ができ、多量の不一致画面を効率的に確認することが可能となる。
【実施例５】
【００３８】
図１３は、第５の発明の実施例を説明するものであり、試験結果中の各正解画像および実画像（特に、その相異部分が色成分の微妙な差異もしくは表示位置の微妙な差異があるもの）に対し、正解画像および実画像を並列表示した上で、それら２つの画像の同一座標における各画素の色成分（ＲＧＢ値）同士の論理積を計算し、それを画像データとして構成して、画像の差異を表示するものである。
【００３９】
即ち、図１３（ａ）、（ｂ）に示すように、実画像および正解画像より各画素の色成分（ＲＧＢ）を取得し（ステップＳ６１）、同一座標毎にＲＧＢ成分の排他的論理積（ＡＮＤ）を計算（ステップＳ６２）し、上記差分をＲＧＢ成分として画像を構成して結果画面に表示。（操作／確認箇所との関連づけがされた状態で表示する）（ステップＳ６３）。これにより、正解画像の上に不一致画素が重ね合わされたような画像が表示される（ステップＳ６４）。例として、図１４に示すように、実画像および正解画像のＡＮＤの画像が表示されるので、色成分の微妙な差異と表示位置の微妙な差異との区別が目視で容易に判別できる。
【００４０】
このように、本実施例では、正解画像と実画像の各画素の論理積を計算、それを画像として表示することで、正解画像の上に不一致画素のみ異なる色で表示され、不一致画素が色成分の微妙な差異と表示位置の微妙な差異との区別が目視で容易に判別できるようにしているので、容易に不一致箇所の特定ができ、多量の不一致画面を効率的に確認することが可能となる。
（付記１）
情報端末に実行させる動作試験の指示データを、コンピュータから情報端末に送信させ、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータに受信させ、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させることを特徴とする試験結果判定表示方法。（請求項１）
（付記２）
情報端末に動作試験を実行させる指示データを送信するステップと、
前記指示データに従って実行された情報端末の実画像の画面情報を受信するステップと、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させるステップと、
をコンピュータに実行させるためのプログラム。（請求項２）
（付記３）
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更するステップを更に実行させる付記２に記載のプログラム。（請求項３）
（付記４）
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示するステップを更に実行させる付記２に記載のプログラム。（請求項４）
（付記５）
情報端末とコンピュータを接続し、コンピュータからの指示によって情報端末の操作を行わせ、情報端末の試験を行わせる試験装置であって、
コンピュータから情報端末に動作試験を実行させる指示データを送信する手段と、
前記指示データに従って実行された情報端末の実画像の画面情報をコンピュータが受信する手段と、
前記受信した実画像と、予め用意された比較確認用の正解画像と、前記実画像と正解画像との一致度を判定すべき位置と必要度の情報とをあわせて、試験結果を判定する判定表示画面として、コンピュータに接続された表示画面に表示させる手段と、
を有することを特徴とする試験装置。（請求項５）
（付記６）
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更する手順を更に有することを特徴とする付記１に記載の試験結果判定表示方法。
（付記７）
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示する手順を更に有することを特徴とする付記１に記載の試験結果判定表示方法。
（付記８）
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示する手順を更に有することを特徴とする付記１に記載の試験結果判定表示方法。
（付記９）
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示する手順を更に有することを特徴とする付記１に記載の試験結果判定表示方法。
（付記１０）
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示するステップを更に実行させる付記２に記載のプログラム。
（付記１１）
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示するステップを更に実行させる付記２に記載のプログラム。
（付記１２）
前記実画像と正解画像との一致度を判定すべき所定領域の画素の一致率を指定する基準値を変更することによって、一致度の判定を変更する手段を更に有することを特徴とする付記５に記載の試験装置。
（付記１３）
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理和として表示する手段を更に有することを特徴とする付記５に記載の試験装置。
（付記１４）
前記実画像と正解画像との相異部分を、実画像と正解画像の拡大画像として表示する  手段を更に有することを特徴とする付記５に記載の試験装置。
（付記１５）
前記実画像と正解画像との相異部分を、実画像と正解画像の各画素の排他的論理積として表示する手段を更に有することを特徴とする付記５に記載の試験装置。
【図面の簡単な説明】
【００４１】
【図１】本発明の原理を説明する構成図
【図２】本発明の一実施例の構成図
【図３】第１の発明の実施例の説明図
【図４】第１の発明の実施具体例の説明図
【図５】第１の発明の基準値変更による再表示例の説明図
【図６】第１の発明の基準値変更による再表示の実施具体例の説明図
【図７】第２の発明の実施例の説明図
【図８】第２の発明の実施具体例の説明図
【図９】第３の発明の実施例の説明図
【図１０】第３の発明の実施具体例の説明図
【図１１】第４の発明の実施例の説明図
【図１２】第４の発明の実施具体例の説明図
【図１３】第５の発明の実施例の説明図
【図１４】第５の発明の実施具体例の説明図
【図１５】従来の試験結果判定表示方法の説明図
【符号の説明】
【００４２】
１    端末
２    ＰＣ
３    試験機
【図１】
2007086899.tif 000003
【図２】
2007086899.tif 000004
【図３】
2007086899.tif 000005
【図４】
2007086899.tif 000006
【図５】
2007086899.tif 000007
【図６】
2007086899.tif 000008
【図７】
2007086899.tif 000009
【図８】
2007086899.tif 000010
【図９】
2007086899.tif 000011
【図１０】
2007086899.tif 000012
【図１１】
2007086899.tif 000013
【図１２】
2007086899.tif 000014
【図１３】
2007086899.tif 000015
【図１４】
2007086899.tif 000016
【図１５】
2007086899.tif 000017