(57)【要約】【課題】  通信速度の遅い通信手段しか備えていない表示器であっても、短い時間で表示データの検証を可能とし、さらに所望の画像表示データを保持するメモリ容量を低減する。【解決手段】  タッチパネルを備えた表示器１０は、そのタッチパネルへの入力操作に応じて表示器の画面に表示する画像データを生成する表示画像生成手段１００と、その画像データを保持するメモリ１０１と、画像データを画面に表示する画面表示手段１０２と、前記メモリに保持された画像データのハッシュ値を生成するハッシュ値生成手段１０３とを備えており、前記入力操作によって前記表示器に表示する前記画像データが変化した時点で、その画像データに対応したハッシュ値を生成し、外部機器２０にそのハッシュ値を出力し、外部機器にて期待値に応じたハッシュ値と比較する。【選択図】  図１
2019067239.tif 000002
【特許請求の範囲】
【請求項１】
入力機器を備えた表示器において、前記入力機器への入力操作に応じて前記表示器の画面に表示する画像データを生成する表示画像生成手段と、前記画像データを保持するメモリと、前記画像データを画面に表示する画面表示手段と、前記メモリに保持された前記画像データのハッシュ値を生成するハッシュ値生成手段とを備え、
前記入力操作によって前記表示器に表示する前記画像データが変化した時点で、前記ハッシュ値生成手段において前記画像データに対応した前記ハッシュ値を生成し、
外部機器に前記ハッシュ値を出力することを特徴とする表示器。
【請求項２】
前記画面に表示する前記画像データのうちの一部分についてハッシュ値を生成することを特徴とする請求項１に記載の表示器。
【請求項３】
前記外部機器からハッシュ値生成指示を受けた時点で前記画像データに応じた前記ハッシュ値を生成し、前記外部機器に出力することを特徴とする請求項１または２に記載の表示器。
【請求項４】
前記外部機器からのハッシュ値生成指示に基づいて前記ハッシュ値を生成し、前記外部機器に出力するまでの時間を一定にすることを特徴とする請求項３に記載の表示器。
【請求項５】
前記入力機器はタッチパネルであることを特徴とする請求項１から４のいずれか一項に記載の表示器。
【請求項６】
入力機器を備えた表示器の表示面に所望の画像が表示されているかを検査する画像検査方法であって、
前記入力機器への入力操作によって前記検査を開始し、
前記表示器に内蔵されたメモリに記憶された画像データに対応した第１のハッシュ値を生成し、
予め計算されていた所望の画像に対応した第２のハッシュ値と、前記第１のハッシュ値とを比較し、一致した場合は前記表示面に前記所望の画像が表示されていると判定し、不一致の場合は前記所望の画像が表示されていないと判定する画像検査方法。
【請求項７】
前記第１のハッシュ値は、前記画像データのうちの一部分に対応したハッシュ値である請求項６に記載の画像検査方法。
【請求項８】
前記検査の開始から予め定められた時間経過後に前記ハッシュ値を生成し、前記一致有無の判定を行うことを特徴とする請求項６または７に記載の画像検査方法。
【請求項９】
前記入力機器はタッチパネルであることを特徴とする請求項６から８のいずれか一項に記載の画像検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力機器を備えた表示器、およびその画像検査方法に関するものであり、入力機器への入力操作に応じた画像表示が所望のものであるかの検査に好適に使用することができる。
【背景技術】
【０００２】
グラフィカルユーザインタフェースを実現する表示器では、マウスやタッチパネルなどの入力操作に対して画面表示を変化させるが、開発段階において、期待通りの画像が表示されているか検証する必要がある。
【０００３】
特許文献１には、携帯電話のボタンを押した後にカメラで携帯電話のＬＣＤパネルを撮像して得られる画像と所定の期待画像とを比較することによって、携帯電話の機能判定を行う装置が記載されている。
【０００４】
また、特許文献２には、デジタルスチルカメラの操作に応じて、表示部に表示される画像のデータと本来表示部に表示されるべき画像をＰＣで比較し、正しく表示されているか否かを判断する装置が記載されている。
【０００５】
また、特許文献３には、改竄されたデジタルコンテンツの再生を抑止するために、そのコンテンツの再生制限値群のハッシュ値の一致を利用した装置について記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１‐２６８２０２号公報
【特許文献２】特開２００６‐１９７４９４号公報
【特許文献３】特開２００１‐７５８６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、画面を撮影して所望の画像表示（以降、所望の画像表示を“期待値”と称す）と比較する方法では、明るさなどの変動のため完全に期待値データと一致させることは難しく、画像が正しいことの判定に誤差を想定する必要がある。このため判定処理が単純なデジタルデータの一致ではなく煩雑になる問題点がある。
【０００８】
また、表示する画像データを機器の外部に出力する方法であればデジタルデータでの比較が可能となるが、一般に表示画像データのサイズは大きく、通信速度の遅い通信手段しか備えていない表示器の場合、検証にかかる時間が長くなる、また期待値の保持のために大きな容量の記録媒体が必要となる、という問題点がある。
【０００９】
音楽やビデオなどのデジタルコンテンツの再生制限値群に対するハッシュ値はファイル毎に定まるが、グラフィカルユーザインタフェースは、ユーザの操作によって表示結果が変わるため、ハッシュ値生成のタイミング制御が必要である。
【００１０】
この発明は上記のような問題を解消するためになされたもので、通信速度の遅い通信手段しか備えていない表示器でも、短い時間で表示データの検証を行い、また期待値を保持する記憶媒体の容量を低減することを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る表示器は、入力機器を備えており、この入力機器への入力操作に応じて前記表示器の画面に表示する画像データを生成する表示画像生成手段と、前記画像データを保持するメモリと、前記画像データを画面に表示する画面表示手段と、前記メモリに保持された前記画像データのハッシュ値を生成するハッシュ値生成手段とを備え、前記入力操作によって前記表示器に表示する前記画像データが変化した時点で、前記ハッシュ値生成手段において前記画像データに対応した前記ハッシュ値を生成し、外部機器に前記ハッシュ値を出力することを特徴とする。
【００１２】
また、この発明に係る表示器の画像検査方法は、入力機器を備えた表示器の表示面に所望の画像が表示されているかを検査する画像検査方法であって、前記入力機器への入力操作によって前記検査を開始し、前記表示器に内蔵されたメモリに記憶された画像データに対応した第１のハッシュ値を生成し、予め計算されていた所望の画像に対応した第２のハッシュ値と、前記第１のハッシュ値とを比較し、一致した場合は前記表示面に前記所望の画像が表示されていると判定し、不一致の場合は前記所望の画像が表示されていないと判定することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、通信速度が遅い表示器においても、操作後の表示器の画面が正しく表示されているかどうかの検査を短い期間で行うことが可能である。また、期待値として保持しておくデータのサイズを小さくすることが可能である。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１および２に係る表示器の構成を示す図である。
【図２】実施の形態１に係るハッシュ値生成手段の例を示す図である。
【図３】実施の形態２に係るハッシュ値生成手段の例を示す図である。
【図４】実施の形態３に係る表示器の構成を示す図である。
【図５】実施の形態３に係るハッシュ値生成手段の例を示す図である。
【図６】実施の形態４に係る表示器の構成を示す図である。
【図７】実施の形態４に係るハッシュ値生成手段の例を示す図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
本発明の実施の形態ついて以下に図面を参照して説明する。以下の説明は、本発明の好適な実施の形態を示すものであって、本発明の範囲が以下の実施の形態に限定されるものではない。以下の説明において、同一の符号が付されたものは実質的に同様の内容を示している。
【００１６】
以下、この発明の実施の形態１について説明する。図１は、本実施の形態における表示器１０の構成図である。図１において符号１００は、マウスやタッチパネル、通信など（図示しない）の入力操作に対応して、画面上に表示すべきデータを決定する表示画像生成手段である。符号１０１は、表示画面生成手段１００によって生成されたデータを格納するフレームメモリであり、表示画面生成手段１００に内蔵されている。符号１０２は、フレームメモリ１０１のデータを表示する画面表示手段である。この画面表示手段１０２には、表示部１０９として液晶表示装置（ＬＣＤ）を備えている。符号１０３は、フレームメモリ１０１のデータからハッシュ値を計算する、ハッシュ値生成手段である。符号１０４は、生成されたハッシュ値を表示器１０の外部に送信するための送信バッファである。
【００１７】
次に、表示器１０内の動作を説明する。単純な例として、画面表示手段１０２の表示部１０９に青色のボタン１１０が表示されており、その表示されたボタン１１０の位置でタッチパネルに指（指示体）が触れたら、ボタン１１０の色を黄色に変化させる事例を例示する。このとき、表示画面生成手段１００は、青色のボタン１１０の画像を表示するため、その青色ボタン１１０の画像データをフレームメモリ１０１に格納し、その画像データが画面表示手段１０２に入力して、画面表示手段１０２の表示面内に青色ボタン１１０が表示される。
【００１８】
次に、その表示されたボタン１１０の位置でタッチパネルに指（指示体）が触れたら、ボタン１１０の色が黄色のボタンの画像データをフレームメモリ１０１に格納し、画面表示手段１０２の表示面内に黄色ボタン１１０が表示される。
【００１９】
仮にタッチパネルから指が離れたら、元の青色画像データをフレームメモリ１０１に格納する、その結果画面表示手段１０２の表示面内に青色ボタン１１０が表示される、と言うように、入力動作に応じて表示する画像データを決定する。
【００２０】
さらに、画面表示手段１０２での表示画像は、ボタン、アイコン、スライドバーなど複数の部品で構成されていてもよい。決定した表示画像データはフレームメモリ１０１に格納される。また、画面表示手段１０２は、フレームメモリ１０１の画像データをＬＶＤＳ（Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌｉｎｇ）に代表される電気信号に変換して、表示部１０９に画像信号を出力し、所望の画像表示を実現する。
【００２１】
次に、上記フレームメモリ１０１に格納された画像データを基にハッシュ値を計算するハッシュ値生成手段１０３の動作を図２で示す。図２において、ハッシュ値生成が開始されると（ＳＴＡＲＴ）、ステップＳ２１で、表示器１０に対してタッチパネルなどの入力操作があればステップＳ２２に進み、入力操作がなければ処理を終了する（ＥＮＤ）。この場合、ハッシュ値は計算しない。ステップＳ２２で、ループ変数ｉを０で初期化し、ステップＳ２３に進む。
【００２２】
ここで、フレームメモリに格納される１画面分のデータの数をＮ個とする。ステップＳ２３からステップＳ２５では、フレームメモリ１０１のデータにハッシュ関数を適用して１画面分のハッシュ値を計算する。ステップＳ２３では、ループ変数が値Ｎより小さいかどうか判断し、小さければステップＳ２４に進み、小さくなければステップＳ２６に進む。ステップＳ２４では、フレームメモリのｉ番目のデータに対してハッシュ関数を適用する。一方、ステップＳ２６では計算された１画面分のハッシュ値を送信バッファ１０４に格納して処理を終了する（ＥＮＤ）。
【００２３】
これによって、タッチなどの入力操作により表示器１０の表示する内容が変化するタイミングで、その表示する画面のハッシュ値を送信バッファ１０４に格納することができる。適用するハッシュ関数は、周知のＭＤ５（Ｍｅｓｓａｇｅ  Ｄｉｇｅｓｔ  Ａｌｇｏｒｉｔｈｍ  ５）やＳＨＡ−２５６（Ｓｅｃｕｒｅ  Ｈａｓｈ  Ａｌｇｏｒｉｔｈｍ  ２５６−ｂｉｔ）などいずれでもよい。なお、上述のループ変数値Ｎは、１画面分の画像データ量に応じて予め定められた所定値である。
【００２４】
送信バッファ１０４からは、ＵＡＲＴ（Ｕｎｉｖｅｒｓａｌ  Ａｓｙｎｃｈｒｏｎｏｕｓ  Ｒｅｃｅｉｖｅｒ−Ｔｒａｎｓｍｉｔｔｅｒ）に代表される通信インタフェースによって表示器１０を制御する外部機器、例えば図１に示したパーソナルコンピュータ（以降、ＰＣと称す）２０等にハッシュ値（第１のハッシュ値）が送信される。
【００２５】
次に、ＰＣ２０は、送信バッファ１０４から受信した一画面分のハッシュ値と、表示器１０を操作した後の想定される画面すなわち所望の画像データに対応して、予め計算されたハッシュ値（第２のハッシュ値）と比較することによって、表示された画面が期待されたものであるかどうかを容易に確認することができる。
【００２６】
すなわち、ＰＣ２０おいて、送信バッファ１０４から受信したハッシュ値と、上記予め計算されたハッシュ値と比較し、両者が一致した場合は表示器の表示面に所望の画像が表示されていると判定し、不一致の場合は所望の画像が表示されていないと判定する。
【００２７】
このようにして、入力操作に対応したグラフィカルユーザインタフェースの表示を検証することができる。
【００２８】
ハッシュ値のサイズは、フレームメモリのサイズによらずハッシュ関数の種類に依存する。例えばハッシュ関数がＳＨＡ−２５６を使用する場合は、２５６ビットのハッシュ値が生成される。フレームメモリのサイズが数百万バイト程度であるのに対して、ハッシュ値のサイズは数１０バイトと非常に小さい。
【００２９】
また、ハッシュ値を出力するのは人間が操作する、数１００ミリ秒から数秒程度以上の時間間隔である。したがって、通信速度が遅い通信手段しか持たない表示器においても、ハッシュ値の出力を行うことができ、表示画面の正しさを確認することができる。また、期待値として保持するデータも画面全体ではなくハッシュ値でよいので、その容量を削減することができる。
【００３０】
また、一致比較に要する時間はデータサイズに依存することから、これも短縮することができる。
【００３１】
なお、通信速度に余裕がある場合には、ハッシュ値の出力タイミングを増やして、すべての画面に対して出力する、あるいは数画面おきに出力するなどしてもよい。
【００３２】
実施の形態２．
上述した実施の形態１では、ハッシュ値を計算する範囲は画面全体であったが、検証する範囲が予め画面の一部であるとしてよい場合には、ハッシュ値生成手段１０３がフレームメモリ１０１に読込むデータを制限し、期待値についても同じ範囲について計算しておくことによって、画面の一部だけの一致検証を行うことができる。
【００３３】
図３に、この実施の形態２におけるハッシュ値生成手段１０３の動作を示す。ステップＳ２１〜Ｓ２６は図２と同じである。ステップＳ３１で、フレームメモリ１０１からデータを読み出す際に、そのデータが検証対象のデータであればステップＳ２４に進み、検証対象でなければステップＳ２４を実行せずにステップＳ２５に進み、ループ処理を継続する。
【００３４】
制限する画面の範囲は、矩形であってもよいし、そうでなくてもよい。例えば、フレームメモリ１０１のデータが配列として定義してあるとし、検証する範囲のデータの配列の添え字をテーブルとして用意しておいて、そのテーブルに含まれる添え字に対応するデータに対してのみハッシュ値を計算すれば、任意の形状について一致比較を行うことができる。
【００３５】
画面全体のハッシュ値を計算する場合に比べて計算回数を削減できるので、検証に必要な時間を短縮することができる。
【００３６】
実施の形態３．
図４は実施の形態３に係る表示器の構成を示す図である。上述の実施の形態１では、表示器１０で決定したタイミングで順次ハッシュ値を計算していたが、外部から通信によってハッシュ値を生成するタイミングを指定できるようにすると、例えば、いくつか操作を行った後の最終的な画面表示のみを確認する場合に、途中のハッシュ値の演算、および通信を行う必要がなくなり、外部機器であるＰＣ２０でも不要なデータを受信しなくてすむので処理が簡便になる。
【００３７】
そこで、図４に示したように、表示器１０内に初期値が０であるフラグＸ１０６を用意する。ＰＣ２０からの通信によって受信バッファ１０５を介してフラグＸ１０６の値を１に変化させる。ハッシュ値生成手段１０３は、ハッシュ値を生成するとフラグＸ１０６の値を０にする。
【００３８】
図５に、本実施の形態におけるハッシュ値生成手段１０３の動作を示す。先ず（ＳＴＡＲＴ）ステップＳ５１で、フラグＸ１０６の値が１であればステップＳ２２に進み、そうでなければ処理を終了する（ＥＮＤ）。この場合、ハッシュ値は計算しない。図５におけるステップＳ２２〜Ｓ２６の動作は、上述した実施の形態１で説明した図２中のステップと同じであり、詳細な説明は省略する。ステップＳ５２では、フラグＸ１０６の値に０を設定し、ハッシュ値計算を終了する（ＥＮＤ）。
【００３９】
このようにすれば、フラグＸ１０６の値が１になったときのみハッシュ値が生成されるので、ＰＣ２０からの通信によってハッシュ値の生成タイミングを制御できるようになる。
【００４０】
実施の形態４．
図６は実施の形態４に係る表示器の構成を示す図である。上述の実施の形態３では、ＰＣ２０よりハッシュ値生成の指示があると、直ちにハッシュ値を生成していた。入力操作後に表示がアニメーションし、その途中の画面表示を検証する場合、ＰＣ２０からの通信と表示器１０の表示は一般に同期していないので、検証毎にハッシュ値を計算する画面が異なることに起因して、表示器１０から出力されるハッシュ値が異なり、期待通りの検証ができないことが考えられる。
【００４１】
そこで、図６に示したように、表示器１０内に初期値が０であるカウンタ１０７と初期値が０であるフラグＹ１０８を用意する。カウンタ１０７は、一定のフレームレートで画面表示手段１０２が画面を表示するごとにカウントアップし、あらかじめ決められた値Ｍとなるか、あるいは表示器１０に対する入力操作があると０にリセットするものとする。フラグＹ１０８は、カウンタ１０７がＭから１の期間だけ値が１に設定され、それ以外のときには値を０に設定されるものとする。
【００４２】
図７に、この実施の形態４におけるハッシュ値生成手段１０３の動作を示す。図７におけるステップＳ２２〜Ｓ２６の動作は、上述した実施の形態１で説明した図２中とステップ同じであり、またステップＳ５２は、上述した実施の形態３における図５中のステップと同じであり、詳細な説明は省略する。先ず（ＳＴＡＲＴ）ステップＳ７１で、フラグＸ１０６の値が１であり、かつフラグＹ１０８の値が１であれば、ステップＳ２２に進み、そうでなければ処理を終了する（ＥＮＤ）。
【００４３】
このようにすれば、ＰＣ２０から指示があり、かつ表示器への入力があってから一定の周期の画面表示のとき、すなわちカウンタ１０７がＭから１の期間のみハッシュ値を生成することになる。通信のタイミング精度にあわせてＭの値を適切に設定すれば、通信のタイミングのずれによらず、同じ画面に対してハッシュ値を計算できるようになる。すなわちこのハッシュ値を計算する画面は、外部機器であるＰＣ２０からの指示から予め定められた一定時間経過後の画面となる。
【００４４】
これにより例えば、表示器の表示のフレームレートが３０ｆｐｓの場合、Ｍを３０とするとハッシュ値が計算され得るタイミングは１秒間隔となるので、外部機器からの通信タイミングの精度が±０．５秒以下であれば、期待される画面に対するハッシュ値を得ることが可能となる。
【００４５】
なお、上述の実施の形態１から４においては、表示器への入力機能の1つとして、タッチパネルを例示して説明したが、タッチパネルに限定されるわけではない。入力機能としてマウスやキーボードなど表示器の表示画像を制御する機器との通信機能を備えた入力機器であっても同様の効果が期待できる。
【００４６】
上述の実施の形態１から４においては、表示部の一例として液晶表示装置（ＬＣＤ）を採用してその実施の形態を示したが、表示デバイスとして、有機ＥＬディスプレイ、ＭＥＭＳディスプレイ、マイクロＬＥＤディスプレイなどを採用しても同様の効果を得ることができる。
【００４７】
さらに、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
【符号の説明】
【００４８】
１０  表示器
２０  パーソナルコンピュータ（外部機器）
１００  表示画像生成手段
１０１  フレームメモリ
１０２  画面表示手段
１０３  ハッシュ値生成手段
１０４  送信バッファ
１０５  受信バッファ
１０６  フラグＸ
１０７  カウンタ
１０８  フラグＹ
１０９  表示部
【図１】
2019067239.tif 000003
【図２】
2019067239.tif 000004
【図３】
2019067239.tif 000005
【図４】
2019067239.tif 000006
【図５】
2019067239.tif 000007
【図６】
2019067239.tif 000008
【図７】
2019067239.tif 000009