(57)【要約】【解決手段】ユーザー入力を受信し応答の出力を提供するユーザインタフェースを含むデバイスにおいてレイテンシを測定するためのシステムおよび方法が開示される。実施形態において、被測定デバイスから分離した本体が提供される。本体に作動的に取り付けられた第１のセンサーは、第１の時点で、デバイスに対するタッチ事象の入力を検知し、第２のセンサーが、第２の時点で、ことデバイスからの応答の出力を検知する。計算エンジンは、第１の時点と第２の時点と間の時間差を計算し、出力部は、デバイス中のレイテンシ測定の指示を出力し、この測定が、第１の時点と第２の時点との間の時間差を反映する。実施形態において、デバイス保持具は、被測定デバイスを受信するように構成される。機械的モータが、被測定デバイスに対して代理デバイスを移動させるように構成される。グランドトルース測定機器は、被測定デバイスに対する入力代理デバイスの移動を記録し、被測定デバイス上で動作する試験アプリケーションによって生成される動作の表示を記録するように構成される。【選択図】  図１
2017502535.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ入力を受信し、それに対し応答して画像的出力を提供するタッチ表面を含むデバイス上の任意の複数点におけるレイテンシを測定するためのシステムであって、
デバイスと分離した本体であって、近位端及び遠位端を有する本体；
第１の時点でのデバイスに対するタッチ事象の入力を検知するための、本体の遠位端に作動的に取り付けられた少なくとも１つの接触センサ；
第２の時点でのデバイスからの画像的応答の出力を検知するための少なくとも１つの画像的変化センサであって、応答がタッチ事象に対する反応であるセンサ；
少なくとも１つの接触センサおよび少なくとも１つの画像的変化センサに作動的に接続された計算エンジンであって、第１の時点と第２の時点との間の時間差を計算するための計算エンジン；および
デバイスにおけるタッチ事象と画像的応答との間のレイテンシの測定値を同定するように構成された出力部であって、測定値が第１の時点と第２の時点のと間の時間差を反映する出力部、
を含むことを特徴とするシステム。
【請求項２】
ユーザ入力を受信し、それに対し応答して出力を提供するユーザインタフェースを含むデバイスにおけるレイテンシを測定するためのシステムであって、：
デバイスと分離した本体であって、近位端及び遠位端を有する本体；
第１の時点でのデバイスに対するタッチ事象の入力を検知するための、本体の遠位端に作動的に取り付けられた第１のセンサ；
第２の時点でのデバイスからの応答の出力を検知するための第２のセンサであって、応答がタッチ事象に対する反応であるセンサ；
第１のセンサおよび第２のセンサに作動的に接続され、第１のセンサによるタッチ事象の検知と、第２のセンサによる応答の検知との間のレイテンシの測定値を反映する時間データを出力するように構成された回路；および
時間データを処理しレイテンシを表示するためのデバイスに時間データを送信するように構成された通信用インターフェース、
を含むことを特徴とするシステム。
【請求項３】
ユーザ入力を受信し、それに対する応答の出力を提供するユーザインタフェースを有するデバイス上の複数の時点でレイテンシを測定する方法であって：
デバイス上の通信用インターフェースを通じて、タッチ事象が生成された第１の時点とデバイスがタッチ事象に対する応答を出力する第２の時点とを表す第１のデータを生成する外部時間データ生成装置からの時間データを受信する工程であって、時間データが、第１の時点と第２の時点のと間のレイテンシの測定値を反映する時間データである工程；
デバイスに関するレイテンシを決定するために通信用インターフェースを通じて受信された時間データを使用する工程；および
デバイスのディスプレイ上にレイテンシを表示する工程、
を含むことを特徴とする方法。
【請求項４】
タッチ入力を受信し、これに対する応答の出力を提供するユーザインタフェースを含むデバイス上のレイテンシを測定するためのシステムであって：
デバイスと離分離した本体；
第１の時点でデバイスに対するタッチ事象入力を検知するための本体に作動的に取り付けられた第１のセンサ；
第２の時点でデバイスからの応答の出力を検知するための第２のセンサであって、応答がタッチ事象に対する反応であるセンサ；
第１の時点と第２の時点との間の時間差を計算するための計算エンジン；および
デバイスのレイテンシの測定値の表示を出力するように構成された出力デバイスであって、測定値が第１の時点と第２の時点との間の時間差の反映であるデバイス、
を含むことを特徴とするシステム。
【請求項５】
本体が、近位端と遠位端とを含み、
本体の遠位端がハンドルとして操作可能に形成され、
本体の遠位端がそこに取り付けられた第１センサを有し、
本体が、ユーザが近位端を保持して遠位端をデバイス上でタップさせることを可能にするように構成されていることを特徴とする請求項４に記載のレイテンシを測定するためのシステム。
【請求項６】
第２のセンサは、第１のセンサの近位に接近して本体に操作可能に取り付けられている、請求項４に記載のレイテンシを測定するためのシステム。
【請求項７】
応答が画像的な応答を含み、第２のセンサが画像的変化センサを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項８】
応答が音響的応答を含み、第２のセンサが音響センサを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項９】
応答が振動触覚応答であり、第２のセンサが振動センサを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項１０】
レイテンシが末端間レイテンシを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項１１】
ユーザインタフェースが直接操作式ユーザインタフェースである、請求項４に記載のレイテンシを測定するためのシステム。
【請求項１２】
第１センサが接触センサを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項１３】
接触センサが、機械的衝撃を電気信号に変換するトランスデューサを含む、請求項１２に記載のレイテンシを測定するためのシステム。
【請求項１４】
トランスデューサが強誘電体トランスデューサを含む、請求項１３に記載のレイテンシを測定するためのシステム。
【請求項１５】
トランスデューサが加速度計を含む、請求項１３に記載のレイテンシを測定するためのシステム。
【請求項１６】
第２のセンサが画像的変化センサを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項１７】
画像的変化センサが光を電気信号に変換する光検出器を含む、請求項１６に記載のレイテンシを測定するためのシステム。
【請求項１８】
光検出器がフォトダイオードとして動作する逆バイアスＬＥＤを含む、請求項１７に記載のレイテンシを測定するためのシステム。
【請求項１９】
光検出器は下記のものから成る群から選ばれる少なくとも１つを含む、請求項１７に記載のレイテンシを測定するためのシステム：
アクティブピクセルセンサ、電荷結合素子、フォトレジスター、光起電力素子、フォトダイオード、光電子増倍管、光電管、および量子ドット光伝導体。
【請求項２０】
デバイスがスマートフォン、タブレットまたはコンピュータである、請求項４に記載のレイテンシを測定するためのシステム。
【請求項２１】
システムは、感知／処理／表示においてレイテンシを表示するように構成される、請求項４に記載のレイテンシを測定するためのシステム。
【請求項２２】
デバイスはタッチ感応性デバイスである、請求項４に記載のレイテンシを測定するためのシステム。
【請求項２３】
デバイスは多重タッチ感応性デバイスである、請求項４に記載のレイテンシを測定するためのシステム。
【請求項２４】
デバイスはスタイラス感応性デバイスである、請求項４に記載のレイテンシを測定するためのシステム。
【請求項２５】
デバイスはスタイラス感応性デバイスである、請求項２２に記載のレイテンシを測定するためのシステム。
【請求項２６】
デバイスはスタイラス感応性デバイスである、請求項２３に記載のレイテンシを測定するためのシステム。
【請求項２７】
第１センサおよび第２のセンサは、第１センサに関するレイテンシと第２のセンサに関するレイテンシとがともにデバイスのレイテンシ未満であるように選択され、または構成される、請求項４に記載のレイテンシを測定するためのシステム。
【請求項２８】
レイテンシの測定値は、システムの内部コンポーネントに起因する時間遅延を、時間差から差し引くことにより、少なくとも一部が生成される、請求項４に記載のレイテンシを測定するためのシステム。
【請求項２９】
システムの内部コンポーネントによる時間遅延が固定される、請求項２５に記載のレイテンシを測定するためのシステム。
【請求項３０】
システムの内部コンポーネントによる時間遅れが検知される、請求項２５に記載のレイテンシを測定するためのシステム。
【請求項３１】
システムの内部コンポーネントによる時間遅れが推算される、請求項２５に記載のレイテンシを測定するためのシステム。
【請求項３２】
計算エンジンは下記のものから成る群から選ばれる少なくとも１つを含む、請求項４に記載のレイテンシを測定するためのシステム：
システムオンチップ、中央処理装置、マイクロコントローラーユニット、フィールドプログラマブルゲートアレイ、ＮＡＮＤメモリ、垂直ＮＡＮＤメモリ、ランダムアクセスメモリ、抵抗性ランダムアクセスメモリ、および磁気抵抗性ランダムアクセスメモリ。
【請求項３３】
デバイスの表示領域を照射するように構成された光源をさらに含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項３４】
出力部は読出しディスプレイを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項３５】
読出しディスプレイがデバイスのディスプレイを含み、システムはデバイスと通信するために通信用インターフェースを含む、請求項３１に記載のレイテンシを測定するためのシステム。
【請求項３６】
通信用インターフェースは無線ネットワークを含む、請求項３２に記載のレイテンシを測定するためのシステム。
【請求項３７】
計算エンジンはデバイスのプロセッサを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項３８】
計算エンジンは、外部装置上のプロセッサを含み、外部装置は、第１と第２のセンサおよび出力デバイスに作動的に接続される、請求項４に記載のレイテンシを測定するためのシステム。
【請求項３９】
計算エンジンは、無線通信インターフェースを通じて第１センサに効果的に接続される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項４０】
計算エンジンは、有線通信用インターフェースを通じて第１のセンサに作動的に接続される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項４１】
計算エンジンは、無線通信インターフェースを通じて第２のセンサに作動的に接続される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項４２】
計算エンジンは、有線通信用インターフェースを通じて第２のセンサに作動的に接続される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項４３】
計算エンジンは、無線通信インターフェースを通じて出力デバイスに作動的に接続される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項４４】
計算エンジンは、有線通信用インターフェースを通じて出力デバイスに作動的に接続される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項４５】
計算エンジンは、有線通信用インターフェースを通じて第１のセンサに、無線通信インターフェースを通じて第２のセンサに作動的に接続される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項４６】
計算エンジンは、有線通信用インターフェースを通じて第２のセンサに、無線通信インターフェースを通じて第１のセンサに作動的に接続される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項４７】
本体は、接触領域を有する遠位端を含み、
接触領域は、接触領域とデバイスのタッチスクリーンとの間の物理的接触が、デバイスに対するタッチ入力を生成するような特性を有する材料を含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項４８】
第２のセンサは、音響センサを含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項４９】
少なくとも一部が、誘電性または導電性の材料の個別の部品から形成される接触領域であって、
１つ以上のリニアアクチュエータによってユーザインタフェースとの物理的接触がもたらされ、計算エンジンからの信号伝達により、リニアアクチュエータおよび誘電性または導電性の材料の部品が制御される接触領域をさらに含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項５０】
ユーザインタフェースを横切ってシステムが移動されるときに、システムの位置および速度を測定するための回路をさらに含む、請求項４に記載のレイテンシを測定するためのシステム。
【請求項５１】
システムは、デバイスの末端間タッチドラッグレイテンシを決定するための、測定された位置および速度を表すデータを使用するように構成される、請求項３８に記載のレイテンシを測定するためのシステム。
【請求項５２】
本体は共通ハウジングおよび安定ハウジングとを含み、
安定ハウジングは、デバイスのユーザインタフェースによって感知されない材料を含み、
共通ハウジングは、安定ハウジングがデバイスのユーザインタフェース上に停止しているときに、共通ハウジングが反復可能な方式でユーザインタフェースと接触するように移動させることが可能なように、安定ハウジングに対し移動可能である、請求項４に記載のレイテンシを測定するためのシステム。
【請求項５３】
共通ハウジングを移動させてユーザインタフェースに接触させるためのアクチュエータをさらに含む、請求項４０に記載のレイテンシを測定するためのシステム。
【請求項５４】
測定値の表示は質的表示である、請求項４に記載のレイテンシを測定するためのシステム。
【請求項５５】
測定値の表示は量的表示である、請求項４に記載のレイテンシを測定するためのシステム。
【請求項５６】
出力デバイスは下記の群から選ばれる少なくとも１である、、請求項４に記載のレイテンシを測定するためのシステム：
画像ディスプレイ、スピーカ、光源、光反射インジケータ、および触覚型出力部。
【請求項５７】
ユーザ入力を受信し、これに対する応答の出力を提供するユーザインタフェースを含むデバイスにおけるレイテンシを測定するためのシステムであって：
デバイスと分離した本体；
デバイスのコントローラが物理的タッチ事象として解釈する第１の時点で信号を出力する信号出力器であって、それによって模擬された物理的タッチ事象がデバイス内で引き起こされる信号出力器；
第２の時点でのデバイスからの応答出力を検知するためのセンサであって、
応答がタッチ事象に対する反応であるセンサ；
第１の時点と第２の時点の間の時間差を計算するための計算エンジン；および
デバイス中のレイテンシの測定値を出力するように構成された出力部であって、測定値が、第１の時点と第２の時点との間の時間差の反映である出力部、
を含むことを特徴とするシステム。
【請求項５８】
デバイスは、そのディスプレイ上における物理的タッチ事象が生じたことをこのデバイスが決定した位置で、画像的マーカを表示するように構成される、請求項５７に記載のレイテンシを測定するためのシステム。
【請求項５９】
デバイスは信号出力器によって出力された信号の位置決めを支援するための出力を生成するように構成される、請求項５７に記載のレイテンシを測定するためのシステム。
【請求項６０】
デバイスは、模擬された物理的タッチ事象の位置決めを支援するための出力を生成するように構成される、請求項５７に記載のレイテンシを測定するためのシステム。
【請求項６１】
位置決めを支援するための出力は、画像的マーカである、請求項５７に記載のレイテンシを測定するためのシステム。
【請求項６２】
少なくとも一部が誘電材料から形成されている接触領域であって、
その誘電特性が計算エンジンによって制御される信号によって変化され、
それによって、模擬されたタッチ事象がデバイス内で生起する接触領域をさらに含む、請求項５７に記載のレイテンシを測定するためのシステム。
【請求項６３】
タッチ入力を受信し、これに対する応答の出力を提供するユーザインタフェースを含むデバイスのためのレイテンシデータを生成する方法であって：
ｉ）デバイス上でタッチ事象を開始する工程；
ｉｉ）第１のセンサから第１の信号を受信する工程であって、第１の信号は、デバイス上のタッチ事象の時点に対応する工程；
ｉｉｉ）第２のセンサから第２の信号を受信する工程であって、第２の信号は、デバイスがタッチ事象に応答して出力を提供する時点に対応する工程；
ｉｖ）時間データを含む出力信号を提供する工程であって、時間データは、タッチ事象の時点と、デバイスがタッチ事象に出力を提供する時点との間のレイテンシの測定値を反映する工程、
を含むことを特徴とする方法。
【請求項６４】
タッチ入力を受信し、これに応答して出力を提供するユーザインタフェースを含むデバイスのためのレイテンシデータを生成する方法であって：
ｉ）デバイス上でタッチ事象を開始する工程；
ｉｉ）第１のセンサから第１の信号を受信する工程であって、第１の信号は、デバイス上のタッチ事象の時点に対応する工程；
ｉｉｉ）第２のセンサから第２の信号を受信する工程であって、第２の信号が同様に、デバイス上のタッチ事象の時間に対応する工程；
ｉｖ）時間データを含む出力信号を提供するために第１の信号および第２の信号を使用する工程であって、時間データは、第１センサによって検知された時のタッチ事象の時点と第２のセンサによって検知されたときのタッチ事象の時点との間のレイテンシの測定値を反映する工程
を含むことを特徴とする方法。
【請求項６５】
第１のセンサはタッチセンサーであり、第２のセンサは下記から成る群から選ばれるセンサである、請求項６４に記載のレイテンシデータを生成するための方法：
加速度計、磁力計、マイクロホン、または近接センサ。
【請求項６６】
タッチ入力を受信し、これに対する応答の出力を提供するユーザインタフェースを含む被測定デバイス上のレイテンシを測定するためのシステムであって、
被測定デバイスを受信するように構成されたデバイス保持具；
入力代理デバイス；
被測定デバイスに対して代理デバイスを移動させるように構成された少なくとも１つの機械的モーター；および
被測定デバイスに対する入力代理デバイスの移動を記録するとともに、被測定デバイス上で動作する試験アプリケーションによって生成される移動の表示を記録するように構成され、それによってグランドトルースが提供されるグランドトルース測定機器、
を含むことを特徴とするシステム。
【請求項６７】
移動の表示は、被測定デバイスに表示される筆記を含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項６８】
少なくとも１つの機械的モーターは、被測定デバイスを移動させ、それによって入力代理デバイスが被測定デバイスに対して移動されるように構成されたモーターを含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項６９】
少なくとも１つの機械的モーターは、被測定デバイスに対し入力代理デバイスが移動されるように、入力代理デバイスを移動させるように構成されたモータを含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７０】
入力代理デバイスは、指代理デバイスを含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７１】
入力代理デバイスは、スタイラス代理デバイスを含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７２】
少なくとも１つの機械的なモーターは、被測定デバイスに対する入力代理デバイスのＸ−Ｙ移動を提供するための複数の機械的モーターを含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７３】
複数のモーターは、被測定デバイスに対する様々な角度において入力代理デバイスの配向を提供する、請求項７２に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７４】
グランドトルース測定機器が高速度カメラを含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７５】
グランドトルース測定機器は加速度計を含む、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７６】
加速度計は２軸加速度計を含む、請求項７５に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７７】
加速度計は３軸加速度計を含む、請求項７５に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７８】
少なくとも１つの機械的なモーターは、ランダムな入力代理デバイスの動作シーケンスにしたがって制御される、請求項６６に記載のデバイスのレイテンシを測定するためのシステム。
【請求項７９】
タッチ入力を受信し、これに対する応答の出力を提供するユーザインタフェースを含む被測定デバイスのレイテンシデータを生成する方法であって：
被測定デバイスに対し代理デバイスを移動させる工程；
被測定デバイスに対する入力代理デバイスの移動を記録する工程；
被測定デバイス上で動作する試験アプリケーションによって生成される移動の表示を記録する工程；および、
入力代理デバイスの移動の記録からのデータと、移動の表示の記録からのデータとを使用して、被測定デバイスのレイテンシデータを生成する工程、
を含むことを特徴とする方法。
【請求項８０】
入力代理デバイスの移動を記録するとともに、試験アプリケーションによって生成される移動の表示を記録する工程は、グランドトゥルース測定機器によって実施される、請求項７９に記載のレイテンシデータを生成するための方法。
【請求項８１】
試験アプリケーションは、複数の負荷模擬状態において動作するように構成される、請求項７９に記載のレイテンシデータを生成するための方法。
【請求項８２】
試験アプリケーションは、被測定デバイスのＣＰＵまたはＧＰＵに対する圧力がどのようにタッチ性能に影響を与えるかを評価するように構成される、請求項８１に記載のレイテンシデータを生成するための方法。
【請求項８３】
試験アプリケーションは、レイテンシが追加負荷で延長する比率を評価するように構成される、請求項８１に記載のレイテンシデータを生成するための方法。
【請求項８４】
試験アプリケーションは、ＧＰＵ高速化モードとＣＰＵ単独モードとの間で切り替わるように構成される、請求項７９に記載のレイテンシデータを生成するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２０１３年１０月７日に出願した、仮出願ではない米国出願第６１／８８７，６１５に基づく。
本出願は、２０１４年６月２６日に出願された米国出願第１４／３１６，１７７の一部継続出願に基づく。
それらの出願の全開示は、それら全体の参照によって、本明細書に組入れられる。
【０００２】
本出願は、著作権保護の対象となる題材を含む。
本著作権者は、本特許公開が、特許商標局の書類または記録に現出したときには、任意の人による複写に対し異議を持たないが、そうでない場合は、すべての著作権を留保する。
【０００３】
開示されたシステムおよび方法は、概略的には、ユーザインターフェースの分野に関連し、詳しくは、ユーザ入力試験システムに関連する。
【図面の簡単な説明】
【０００４】
本開示の前述の目的および他の目的、特徴および利点は、後述する添付図面に示される実施形態のより詳細な記述から明白になるであろう。図中の参照符号は、様々な図面の全体にわたり、同一の部分を指す。
図面は必ずしも縮尺どおりである必要はなく、代わりに、開示される実施形態の原理を示すのに重点が置かれる。
【０００５】
【図１】実施形態に係る開示されたレイテンシの測定および試験システムの機能的ブロックを図示する概略ブロック図を示す。
【０００６】
【図２Ａ】別の実施形態に係る開示されたレイテンシの測定および試験システムの機能的ブロックを図示する概略ブロック図を示す。
【図２Ｂ】別の実施形態に係る開示されたレイテンシの測定および試験システムの機能的ブロックを図示する概略ブロック図を示す。
【０００７】
【図３】特定の物理的タッチ事象に対する電気的信号の時間的変化を図示する折れ線グラフを示す。
【０００８】
【図４】タッチ感受性デバイス上の特定の画像的変化に対する測定された信号の時間的変化を図示する折れ線グラフを示す。
【０００９】
【図５】接触センサおよび画像的変化センサそれぞれからの特定の測定された信号の変化を重ね合わせたグラフを示す。
【００１０】
【図６】画像を表示するためのプロジェクタを使用するタッチスクリーンとともに動作するように構成された実施形態に係る、開示されたレイテンシの測定および試験システムの機能的ブロックを図示する概略的ブロック図を示す。
【００１１】
【図７】開示されたシステムのユーザが、デバイスのレイテンシを測定するために、このシステムを備えるタッチ感受性デバイスを人が叩くことが要求されない実施形態の概略的な側面図を示す。
【００１２】
【図８】試験装置のタッチ感受性領域１０４をタップしたりスライドさせたりすることが可能な開示されたシステムの実施形態を図示する斜視図を示す。
【００１３】
【図９】タッチ入力に対する試験装置の音響的応答のタイミングを検知するための計算エンジン２０１に接続された、１つ以上の音響センサ９０１を有する開示されたシステムの実施形態を図示する斜視図を示す。
【００１４】
【図１０】レイテンシ測定装置の実施形態を図示する側面図を示す。
【００１５】
【図１１】実施形態に係るレイテンシを生成する工程を図示する流れ図を示す。
【発明を実施するための形態】
【００１６】
本出願は、限定されるものではないが、以下に開示されるタイプの高速マルチタッチセンサを含むユーザインターフェースにおけるレイテンシの測定および試験に関連する。
２０１３年３月１５日に出願した「Ｌｏｗ−Ｌａｔｅｎｃｙ  Ｔｏｕｃｈ  Ｓｅｎｓｉｔｉｖｅ  Ｄｅｖｉｃｅ」と題する米国特許出願第１３／８４１，４３６号、
２０１４年１月１６日に出願した「Ｆａｓｔ  Ｍｕｌｔｉ−Ｔｏｕｃｈ  Ｕｐｄａｔｅ  Ｒａｔｅ  Ｔｈｒｏｔｔｌｉｎｇ」と題する米国特許出願第６１／９２８，０６９号、
２０１３年１０月４日に出願した「Ｈｙｂｒｉｄ  Ｓｙｓｔｅｍｓ  Ａｎｄ  Ｍｅｔｈｏｄｓ  Ｆｏｒ  Ｌｏｗ−Ｌａｔｅｎｃｙ  Ｕｓｅｒ  Ｉｎｐｕｔ  Ｐｒｏｃｅｓｓｉｎｇ  Ａｎｄ  Ｆｅｅｄｂａｃｋ」と題する米国特許出願第１４／０４６，８１９号、
２０１３年３月１５日に出願した「Ｆａｓｔ  Ｍｕｌｔｉ−Ｔｏｕｃｈ  Ｓｔｙｌｕｓ」と題する米国特許出願第６１／７９８，９４８号、
２０１３年３月１５日に出願した「Ｆａｓｔ  Ｍｕｌｔｉ−Ｔｏｕｃｈ  Ｓｅｎｓｏｒ  Ｗｉｔｈ  Ｕｓｅｒ−Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅｓ」と題する米国特許出願第６１／７９９，０３５号、
２０１３年３月１５日に出願した「Ｆａｓｔ  Ｍｕｌｔｉ−Ｔｏｕｃｈ  Ｎｏｉｓｅ  Ｒｅｄｕｃｔｉｏｎ」と題する米国特許出願第６１／７９８，８２８号、
２０１３年３月１５日に出願した「Ａｃｔｉｖｅ  Ｏｐｔｉｃａｌ  Ｓｔｙｌｕｓ」と題する米国特許出願第６１／７９８，７０８号、
２０１２年１０月５日に出願した「Ｈｙｂｒｉｄ  Ｓｙｓｔｅｍｓ  Ａｎｄ  Ｍｅｔｈｏｄｓ  Ｆｏｒ  Ｌｏｗ−Ｌａｔｅｎｃｙ  Ｕｓｅｒ  Ｉｎｐｕｔ  Ｐｒｏｃｅｓｓｉｎｇ  Ａｎｄ  Ｆｅｅｄｂａｃｋ」と題する米国特許出願第６１／７１０，２５６号、
２０１３年７月１２日に出願した「Ｆａｓｔ  Ｍｕｌｔｉ−Ｔｏｕｃｈ  Ｐｏｓｔ  Ｐｒｏｃｅｓｓｉｎｇ」と題する米国特許出願第６１／８４５，８９２号、
２０１３年７月１２日に出願した「Ｒｅｄｕｃｉｎｇ  Ｃｏｎｔｒｏｌ  Ｒｅｓｐｏｎｓｅ  Ｌａｔｅｎｃｙ  Ｗｉｔｈ  Ｄｅｆｉｎｅｄ  Ｃｒｏｓｓ−Ｃｏｎｔｒｏｌ  Ｂｅｈａｖｉｏｒ」と題する米国特許出願第６１／８４５，８７９号、
２０１３年９月１８日に出願した「Ｓｙｓｔｅｍｓ  Ａｎｄ  Ｍｅｔｈｏｄｓ  Ｆｏｒ  Ｐｒｏｖｉｄｉｎｇ  Ｒｅｓｐｏｎｓｅ  Ｔｏ  Ｕｓｅｒ  Ｉｎｐｕｔ  Ｕｓｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ  Ａｂｏｕｔ  Ｓｔａｔｅ  Ｃｈａｎｇｅｓ  Ａｎｄ  Ｐｒｅｄｉｃｔｉｎｇ  Ｆｕｔｕｒｅ  Ｕｓｅｒ  Ｉｎｐｕｔ」と題する米国特許出願第６１／８７９，２４５号、
２０１３年９月２１日に出願した「Ｓｙｓｔｅｍｓ  Ａｎｄ  Ｍｅｔｈｏｄｓ  Ｆｏｒ  Ｐｒｏｖｉｄｉｎｇ  Ｒｅｓｐｏｎｓｅ  Ｔｏ  Ｕｓｅｒ  Ｉｎｐｕｔ  Ｕｓｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ  Ａｂｏｕｔ  Ｓｔａｔｅ  Ｃｈａｎｇｅｓ  Ａｎｄ  Ｐｒｅｄｉｃｔｉｎｇ  Ｆｕｔｕｒｅ  Ｕｓｅｒ  Ｉｎｐｕｔ」と題する米国特許出願第６１／８８０，８８７号、
２０１３年１０月４日に出願した「Ｈｙｂｒｉｄ  Ｓｙｓｔｅｍｓ  Ａｎｄ  Ｍｅｔｈｏｄｓ  Ｆｏｒ  Ｌｏｗ−Ｌａｔｅｎｃｙ  Ｕｓｅｒ  Ｉｎｐｕｔ  Ｐｒｏｃｅｓｓｉｎｇ  Ａｎｄ  Ｆｅｅｄｂａｃｋ」と題する米国特許出願第１４／０４６，８２３号、
２０１３年１１月１日に出願した「Ｆａｓｔ  Ｍｕｌｔｉ−Ｔｏｕｃｈ  Ｐｏｓｔ  Ｐｒｏｃｅｓｓｉｎｇ」と題する米国特許出願第１４／０６９，６０９号、
２０１３年１０月７日に出願した「Ｔｏｕｃｈ  Ａｎｄ  Ｓｔｙｌｕｓ  Ｌａｔｅｎｃｙ  Ｔｅｓｔｉｎｇ  Ａｐｐａｒａｔｕｓ」と題する米国特許出願第６１／８８７，６１５号、
および、２０１４年１月２２日に出願した「Ｄｙｎａｍｉｃ  Ａｓｓｉｇｎｍｅｎｔ  Ｏｆ  Ｐｏｓｓｉｂｌｅ  Ｃｈａｎｎｅｌｓ  Ｉｎ  Ａ  Ｔｏｕｃｈ  Ｓｅｎｓｏｒ」と題する米国特許出願第６１／９３０，１５９号、
および、２０１４年１月２７日に出願した「Ｄｅｃｉｍａｔｉｏｎ  Ｓｔｒａｔｅｇｉｅｓ  Ｆｏｒ  Ｉｎｐｕｔ  Ｅｖｅｎｔ  Ｐｒｏｃｅｓｓｉｎｇ」と題する米国特許出願第６１／９３２，０４７号。
それら出願の全開示は、この参照によって本明細書に組込まれる。
【００１７】
様々な実施形態において、本件開示は、タッチスクリーンのようなタッチ感受性およびスタイラス感知性のデバイス上の直接操作ユーザインターフェースの入力レイテンシを測定するためのシステムおよび方法を対象とする。
熟知している現実世界との相互作用を模倣するように作成されたデジタルの対象物／制御の直接的な物理的操作とは、たとえば直接のタッチ入力、スタイラス入力、空中ジェスチャ入力を可能にする装置や、マウス、トラックパッド、ペンタブレットなどを含む間接入力装置のような、多くのタイプの入力装置に使用される一般的なユーザインターフェースの喩えである。
【００１８】
本件開示において、ユーザインターフェースにおけるタッチ入力レイテンシとは、物理的タッチまたはスタイラス入力動作に対する画像的、音響的、及び／又は振動的応答がユーザに示されるのに要する時間を指す。
試験は、ユーザが、低タッチ入力レイテンシを好むこと、および、末端間の画像的入力応答レイテンシが５−１０ミリ秒の低さでも確実に知覚できることを示した。
【００１９】
各種の実施形態において、単一タッチ、マルチタッチ、及び／又はスタイラスユーザー入力デバイスにおける、および、この入力処理をするシステムにおける、タッチ入力レイテンシは、多くの発生源を有し得る。
そのような発生源は、例えば以下を含む。
（１）タッチ事象を捕捉する物理センサ、
（２）タッチ事象を処理し、ユーザに対し伝達する出力を生成するソフトウェア、
（３）出力部自体（例えばディスプレイ）、
（４）バスを含む、構成要素間のデータ伝送、
（５）メモリ保存または短時間バッファのいずれかにおけるデータの内部記憶、
（６）システムリソースに対する割込みおよび競合、
（７）回路の他の発生源が、レイテンシを導入し得ること、
（８）光速などのような物理的制約、および回路構造におけるその影響、および
（９）たとえば抵抗性タッチセンサがその「中立」状態に復帰するのに要する時間などの、機械的制約。
【００２０】
タッチ入力レイテンシの低減が、スマートフォン、タブレット、ＰＣ、ゲーム、仮想現実、拡張現実および周辺装置のメーカーを含む、これらに限定されない多くの情報処理デバイスメーカーに対し、ますます重要な目標となっている一方で、現在のところ、それらの製造中および製造後に情報処理デバイスのタッチ入力レイテンシを測定し比較するための、標準化され、安価で、信頼性があり、信頼できる、再現可能なシステム及び／又はシステムは存在しない。
【００２１】
実施形態において、本明細書で開示されるシステムは、スマートフォン、タブレットまたはコンピューターのような情報処理デバイス上の直接操作ユーザインターフェースの末端間レイテンシを含む（ただし、これに限定されない）、感知／処理／表示の連鎖における様々な点における、システムのタッチ入力レイテンシを測定するための手段を、標準化され、安価で、信頼性があり、再現可能なレイテンシの試験装置および方法の到来を通じ、提供することによって、そのような満足されていない産業的必要性を充足する。
【００２２】
実施形態において、本明細書で開示されるシステムは、タッチスクリーンデバイスの入力レイテンシを測定する。
ここでの用語「入力レイテンシ」は、コンピュータシステムのタッチスクリーン上のタッチ事象と、タッチスクリーンがそのタッチ事象に対する画像的、音響的、または振動触覚的応答の結果を出すまでの間の時間差を意味する。
本明細書で使用されるように、用語「タッチ事象」および単語「タッチ」は、名詞として使用されるとき、疑似的タッチおよび疑似的タッチ事象、または、センサを使用して同定され得る他の任意のジェスチャを含む。
例えば、デジタルボタンユーザインタフェース制御を含む典型的なタッチスクリーンへの適用において、ユーザが自分の指でデジタルボタンを押すと、例えばそのデジタルボタンユーザインタフェース制御の色彩または外観を変化させることによって、ディスプレイがデジタルボタンが押されたことを示すために変化するであろう。
このデジタルボタンへのユーザのタッチと得られる画像変化との間の時間が、コンピュータシステムの入力レイテンシであり、本明細書で開示されるシステムは、そのようなタッチ入力レイテンシを測定することができる。
【００２３】
図１は、一実施形態における本明細書に開示されるこのシステムを示す。
ユーザは、自分の手の中に、レイテンシ測定システム１０２とここで呼ばれるシステムを保持し、その末端間レイテンシが測定される試験装置１０３の一部であるタッチスクリーン１０４の表面を、穏やかにタップする。
実施形態において、この試験装置１０３は、限定されるものではないが、スマートフォン、タブレット、またはタッチパネル式ＰＣとすることができる。
【００２４】
実施形態において、レイテンシ測定システム１０２は、その末端間レイテンシが測定される試験装置１０３のタッチスクリーン１０４上に、ユーザによって意図的に落下されるように構成される。
【００２５】
種々の実施形態において、レイテンシ測定システム１０２は、このレイテンシ測定システム１０２が物理的にタッチスクリーン１０４と接触する時点、および、ハンマー１０２の模擬的なタッチ入力に対し応答してタッチスクリーンのディスプレイに画像変化を生じさせる時点を測定するための２つのセンサを使用する。
第１のセンサ２０４は接触センサとすることができ、レイテンシ測定システム１０２とタッチスクリーン１０４との間の物理的接触または疑似的な物理的接触を測定する。
第２のセンサ２０５は画像変化センサとすることができ、レイテンシ測定システムの模擬的なタッチ入力に対し応答してタッチスクリーン１０４に表示される画像変化を測定する。
【００２６】
実施形態において、これらセンサ両方のレイテンシはともに、測定される試験装置１０３のタッチ入力レイテンシに比べて低い。
【００２７】
他の実施形態において、ハンマー１０２の内部要素（センサ、回路類など）のレイテンシに起因する測定された所要時間／レイテンシの要素が固定され、これを、試験装置のタッチ入力レイテンシを報告する時には、その試験装置１０３の測定された末端間レイテンシから減算する。
【００２８】
他の実施形態において、このハンマーに基くレイテンシは変動するが、報告されるレイテンシの測定値を生成するときには、そのようなレイテンシまたはその推定値を、試験装置１０３の報告された末端間タッチ入力レイテンシから減算することができるように、検出可能であり、また検出される。
【００２９】
実施形態において、第１のセンサ２０４（例えば接触センサ）は、機械的衝撃を電気的信号に変換するトランスデューサとすることができる。
【００３０】
実施形態において、このトランスデューサは圧電型トランスデューサである。
【００３１】
別の実施形態において、このトランスデューサは強誘電体トランスデューサである。
別の実施形態において、このトランスデューサは加速度計である。
【００３２】
第１のセンサ２０４（例えば接触センサ）は、レイテンシ測定システム１０２がタッチスクリーン１０４と接触するときに生じる機械的衝撃を電気信号に変換するように配置される。
第１のセンサ２０４は、電気的信号の変化を測定することが可能な計算エンジン２０１に接続２０８されている。
実施形態において、計算エンジンは、第１のセンサが起動した第１の時点と、第２のセンサが起動した第２の時点とを記録し、レイテンシの計算に関係する２つの時点の差を算定する。
実施形態において、計算エンジンは、第１のセンサからの信号で起動し、第２のセンサからの信号で停止する自走クロックを含み、それらによって、測定されるレイテンシを反映するデータが提供される。
【００３３】
実施形態において、第１のセンサ２０４から出力される信号のこの変化は、それが計算エンジン２０１によって測定される前に、アナログ信号からデジタル信号へ変換される。
【００３４】
レイテンシ測定システムの計算エンジン２０１は、限定的ではないが、以下に含まれるような、相互連結されたプロセッサとメモリとのコンピュータシステムコンポーネントを含む。
システム・オン・チップ（ＳｏＣ）、中央処理装置（ＣＰＵ）、マイクロ・コントローラー・ユニット（ＭＣＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＮＡＮＤメモリ、垂直ＮＡＮＤ（ｖＮＡＮＤ）メモリ、ランダムアクセスメモリ（ＲＡＭ）、抵抗ランダムアクセスメモリ（ＲｅＲＡＭ）および磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）。
【００３５】
実施形態において、第２のセンサ２０５（例えば画像変化センサ）は、光を電気的信号に変換する光検出器である。
【００３６】
実施形態において、光検出器は、フォトダイオードとして動作する逆バイアスＬＥＤである。
種々の実施形態において、この光検出器は、アクティブピクセルセンサ（ＡＰＳ）、電荷結合素子（ＣＣＤ）、フォトレジスター、光起電力素子、フォトダイオード、光電子増倍管、光電管または量子ドット光伝導体であってもよい。
【００３７】
反射型ディスプレイの技術に対し有用であるような実施形態において、第２のセンサ２０５は、感知される表示領域を照射する光源と組合せられる。
光源は、周囲光とすることができ、あるいは、レイテンシ測定デバイスの一部である光源とすることもできる。
【００３８】
第２のセンサ２０５（例えば画像変化センサ）は、ディスプレイに対する変化が、電気的信号の変化をもたらすように配置される。
第２のセンサ２０５は、電気的信号の変化を測定することが可能な計算エンジン２０１に対し、操作可能に接続される。
【００３９】
実施形態において、第２のセンサ２０５から出力される信号のこの変化は、それが計算エンジン２０１によって測定される前に、アナログ信号からデジタル信号に変換される。
【００４０】
実施形態において、第１センサ２０４（例えば接触センサ）および第２のセンサ２０５（例えば画像変化センサー）は隣接しており、そのために、第１センサ２０４の位置でのレイテンシ測定システム１０２とタッチスクリーン１０４との間の接触が、タッチスクリーン１０４に表示される画像の変化を生成し、それが第２のセンサ２０５によって感知される。
【００４１】
実施形態において、第１のセンサ２０４および第２のセンサ２０５は両方とも共通ハウジング２０６に収容される。
この共通ハウジング２０６は、計算エンジン２０１を保持する第２のハウジング２０３に接続される。
第２のハウジング２０３は、ハンドルとして操作可能であるように成形することができ、システム１０２は、ユーザが第２のハウジングを保持することを可能にし、および、第１のハウジングが被測定デバイス１０３の領域上をタップするのを引き起こすように構成される。
【００４２】
別の実施形態において、レイテンシ測定システムの計算エンジン２０１、およびセンサ２０４、２０５は、同じハウジングに配置される。
【００４３】
実施形態において、レイテンシ測定システム１０２は、計算エンジン２０１に接続される出力部２０２を含む。
出力部２０２は、例えば読出しディスプレイ（例えばＬＣＤ、ＬＥＤ、ＯＬＥＤまたは電気泳動ディスプレイ）や、スピーカ、照明、光反射インジケータ、または触覚式出力源を含んでもよい。
試験装置１０３のレイテンシの計算後に、計算エンジン２０１は、この測定値をレイテンシ測定システムの出力部２０２に伝送し、それが次に、測定値かまたはその反映的情報をユーザに対し表示するか、または（例えば音響的に）確認する。
出力部２０２は、質的または量的のいずれかであるレイテンシの測定値の表示を提供してもよい。
出力部２０２は、有線または無線のインターフェースによって、計算エンジン２０１に接続されてもよい。
【００４４】
実施形態において、出力部２０２は、レイテンシ測定システムのシャーシに内部は埋込まれるか、または、表面上に設置される。
【００４５】
実施形態において、出力部２０２は、レイテンシ測定システム１０２から分離し／独立している。
【００４６】
実施形態において、出力部２０２は、分離したスマートフォン、タブレットまたはＰＣのディスプレイであり、限定されないが、試験される試験装置１０３を含む。
【００４７】
図２Ａを参照すると、別の実施形態において、レイテンシ測定システム１０２は、測定されたレイテンシを反映するデータを、スマートフォン、タブレットまたはＰＣのような他の装置または試験装置１０３へ通信するための、通信用インターフェース２１０を含む。
実施形態において、通信用インターフェース２１０は、例えばブルートゥース（登録商標）、ｂｌｕｅｔｏｏｔｈ  ｌｏｗ−ｅｎｅｒｇｙ（ＢＬＥ）、ＷｉＦｉまたはＷＡＮインターフェースのような、ワイヤレスネットワークインターフェースを含んでもよい。
通信用インターフェース２１０はさらに、ＵＳＢインターフェースのような有線インターフェースでもよい。
通信用インターフェース２１０は有線または無線のインターフェースによって計算エンジン２０１に接続されてもよい。
実施形態において、計算エンジンは、デバイス１０３内または別のデバイス内のプロセッサである。
【００４８】
図２Ｂを参照すると、別の実施形態において、計算エンジン２０１は、被測定デバイス１０３の一部とすることができ、および回路２１１は第１のセンサに動作的に接続され、第２のセンサは、レイテンシを計算することができようなデータまたは測定されたレイテンシのような、レイテンシの測定を反映する時間データを出力するように構成される。
この出力部は、レイテンシ測定システム１０２の通信用インターフェース２１０を通じて、被測定デバイス１０３と連絡する。
代わりに、計算エンジン２０１は、スマートフォン、タブレットまたはＰＣのような第３のデバイスの一部であってもよく、
回路２１０は、そのような時間データを、レイテンシ測定システム１０２の通信用インターフェース２１０を通じて、第３のデバイスに出力するように構成することができる。
この点で、本発明は、デバイス上の複数点において、レイテンシを測定する方法を提供することができる。
この方法は、デバイス上の通信用インターフェースを通じて、タッチ事象が発生した時の第１の時間およびデバイスがタッチ事象に対する応答を出力する時の第２の時間を表す第１のデータを生成する外部の時間データ生成器（例えばシステム１０２）から時間データを受け取ることにより、実現することができ、この時間データは、第１の時間と第２の時間との間のレイテンシの測定を反映する。
この時間データは次に、デバイスに関するレイテンシを決定するために使用され、
このレイテンシは、ディスプレイまたはデバイスの他の出力部によって表示されるか、あるいはそうではない場合、伝達される。
実施形態において、レイテンシ測定システム１０２は、第１の時間に、デバイスのコントローラが物理的なタッチ事象として解釈するであろう信号を出力する信号出力器を含み、それによって、模擬的な物理的なタッチ事象が、デバイス内で起動する。
【００４９】
図１を続けて参照すると、
実施形態において、レイテンシ測定システムの計算エンジン２０１、出力部２０２、およびセンサ２０４、２０５の間の１つ以上の接続２０８は、物理的な電線である。
別の実施形態において、これらの接続２０８の１つ以上は、無線接続である。
そのような無線接続は、例えばｂｌｕｅｔｏｏｔｈ（登録商標）、ｂｌｕｅｔｏｏｔｈ  ｌｏｗ−ｅｎｅｒｇｙ（ＢＬＥ）、ＷｉＦｉまたはＷＡＮインターフェースのような無線ネットワークインターフェースによって、提供されてもよい。
これは、レイテンシ測定システム１０２が、限定されるものではないが、分離したスマートフォン、タブレットまたはＰＣを含む既存のコンピューティングデバイスにおける計算エンジン２０１を利用して、末端間レイテンシを測定するために必要な計算を行うことを可能にする。
【００５０】
実施形態において、動作して、レイテンシ測定システムのセンサの読み取りからのレイテンシ測定の結果を表示するため使用される個別のスマートフォン、タブレットまたはＰＣは、測定される試験装置１０３である。
【００５１】
いくつかの実施形態において、レイテンシ測定システム１０２とタッチスクリーン１０４との間の単なる接触が、ユーザからの単一の物理的な着地事象を模擬する。
【００５２】
実施形態において、レイテンシ測定システム１０２は、センサ２０４、２０５とタッチスクリーン１０４との間に位置する接触領域２０７を含む。
この接触領域２０７は、接触領域２０７とタッチスクリーン１０４の間の物理的接触が、タッチ入力を生成するような特性を有する材質から成っている。
そのような材質は、例えばスタイラスの先端中に組み込まれて、スタイラスにタッチスクリーン上のタッチ入力を生成させる任意の公知の材質を含んでもよい。  
【００５３】
他の実施形態において、レイテンシ測定システムの接触領域２０７の物理的な接地事象が、試験装置１０３のタッチスクリーン１０４によって、信号がそこへ送信されるまで検知されないように、レイテンシ測定システム１０２の接触領域２０７は設計され、かつ試験装置１０３は構成される。
これは、ユーザが、レイテンシ試験工程中に、ディスプレイ上のレイテンシ測定システム１０２を休止させることを可能にする。
【００５４】
実施形態において、計算エンジン２０１または他の機構は、たとえ、レイテンシ測定システム１０２の接触領域２０７が、タッチスクリーン１０４と定常的に物理的接触する状態に置かれる場合でも、一連の模擬された単一及び／又は複数のタッチ事象（出力に対し無作為か、予め定められているか、あるいは反応的である）を生成することができる。
【００５５】
実施形態において、これらの単一及び／又は複数のタッチ事象は、試験装置１０３のタッチスクリーン１０４の制御部が物理的タッチ事象として通常解釈するであろう信号を模倣する信号を、接触領域２０７からタッチスクリーン１０４に注入することにより模擬される。
【００５６】
実施形態において、これらの信号は電気的であり、静電容量式タッチスクリーン１０４の行／列のピッチよりも広い間隔を空けられた１つ以上の電気信号発生器２０９によって、レイテンシ測定システムの接触領域２０７から出力される。
実施形態において、これら電気信号発生器２０９は、薄い非導電性の接触領域２０７の直下に配置される。
実施形態において、これら電気信号発生器２０９は、接触領域２０７を通過して突出し、タッチスクリーン１０４と直接接触する。
実施形態において、これら電気信号発生器２０９は、格子状に配置される。
実施形態において、これら電気信号発生器は、無秩序のパターンに配置される。
【００５７】
このシステムのさらなる実施形態は、レイテンシ測定システム１０２からの定常的なタッチ事象の模擬を可能にする。
そのような実施形態において、接触領域２０７の部分は、計算エンジン２０１により制御される電気的信号伝達によって誘電特性を変化させることが可能である誘電材料から形成することができる。
これらの材料は、限定されるものではないが、チタン酸ストロンチウムおよびバリウムチタン酸ストロンチウムを含むことができる。
タッチ事象は、材質の誘電性を増大させることにより、タッチセンサに対し、指、スタイラスまたは他の誘電物体がタッチセンサと接触したと見せるように、模倣される。
【００５８】
レイテンシ測定システム１０２からの定常的なタッチ事象の模倣を可能にする別の実施形態において、
レイテンシ測定システム１０２上の接触領域２０７は、１つ以上のリニアアクチュエータを使用して、タッチスクリーン１０４との物理的接触がもたらされる、１つ以上の別々の誘電性または導電性の材料片を含む。
リニアアクチュエータおよび誘電性または導電性の材料片は、計算エンジン２０１からの信号伝達によって制御される。
これらの材料は、限定されるものではないが、プラスチック、ゴム、水で満たされたコンテナ、金属、金属積層プラスチックなどであり得る。
これらのリニアアクチュエータは、限定されるものではないが、機械式的アクチュエータ、流体圧アクチュエータ、空気圧アクチュエータ、流体系、圧電アクチュエータ、電気機械式アクチュエータ、リニアモーター、または回転駆動式カムであり得る。
これらの計算的に制御された信号は、限定されるものではないが、電気的、光学的、機械的、気圧的、流体的、および音響的な信号であり得る。
【００５９】
実施形態において、レイテンシ測定システム１０２ではなく、タッチスクリーン１０４が、１つ以上のリニアアクチュエータに接続され、レイテンシ測定システムの接触領域２０７と物理的に接触するように移動して、人的なユーザの介入無しで、模擬されたタッチタップおよびタッチドラッグ事象を生成する、
【００６０】
実施形態において、接触領域２０７は変形可能であり、指がタッチスクリーン１０４と物理的に接触するときに、人間の指の変形を模倣する。
実施形態において、変形の程度が測定され記録される。
別の実施形態において、所定時間における変形度合は、ここに記載したタッチレイテンシ測定値の計算を実行するのに使用される。
特に、この変形度合は、第１のセンサ２０４（例えば接触センサ）の代りに、または一緒に、レイテンシ測定システム１０２の接触領域２０７と試験装置１０３のタッチスクリーン１０４との間の物理的接触の瞬間を示すために、使用され得る。
【００６１】
実施形態において、接触領域２０７は、第２のセンサ２０５が接触領域２０７を通して画像変化を感知することが可能なように、透光性である。
【００６２】
別の実施形態において、接触領域２０７は物理的な開口または孔を含み、第２のセンサ２０５が、これらの開口または孔の１つ以上を通して、タッチ入力に応答して試験装置１０３により出力される画像変化を感知することが可能である。
接触領域２０７のこれらの開口または孔は、透光性の基材によって被覆されるか、または全く被覆されない状態に保持され得る。
【００６３】
実施形態において、接触領域２０７は、第１のセンサ２０４が、タッチスクリーン１０４と接触領域２０７との間で伝達される衝撃を感知することができるような材料から構成される。
【００６４】
実施形態において、試験装置１０３は、タッチスクリーン１０４に、レイテンシ測定システム１０２からの模擬されたタッチ入力に対する画像的応答を、それらの画像的応答を第２のセンサ２０５によって容易に測定および記録することができるような態様で生じさせるソフトウェアを実行するように構成される。
例えば、実施形態において、ソフトウェアプログラムは、試験装置１０３に予めインストールすることができ、それによって、タッチスクリーン１０４は、物理的タッチ入力事象が受信されないとき、全体が黒い状態に保持され、その後、単一のタッチ入力事象を受けたときに全体が白くなるように変化する。
【００６５】
別の実施形態において、試験装置１０３に予めインストールされたソフトウェアプログラムは、物理的タッチ入力事象を受信しないときは、タッチスクリーン１０４を全体が黒の状態に保持され、その後、レイテンシ測定システム１０２から受信した各模擬事象に応答して白の四角形を表示するように設定することができ、白の四角形の画像的応答の各々は、第２のセンサ２０５（例えば画像変化センサ）による容易な検出を確実にするため、適当な寸法に形成される。
【００６６】
別の実施形態において、試験装置１０３に予めインストールされたソフトウェアプログラムは、ユーザに、何時、何処で、どのように、レイテンシ測定システム１０２に、所定の試験装置１０３のタッチスクリーン１０４との物理的接触がもたらされたかに関する視覚的なスクリーン上の案内および指示を、複数のレイテンシ試験及び／又は複数の試験装置１０３に渡る測定方法論の均一性を保証するために、提供し得る。
例えば、実施形態において、試験装置１０３に予めインストールされたソフトウェアプログラムは、タッチスクリーンの１０４の表面上のどの地点で、ユーザが、レイテンシ測定システム１０２とタッチスクリーン１０４との物理的接触をもたらすべきかを示すために、そのタッチスクリーン１０４上の空の白色ボックスを、スクリーン上の文字表示された合図（ＣＵＥ）とともに、描くことができる。
別の実施形態において、試験装置１０４に予めインストールされたソフトウェアプログラムは、何処で及びどの速度で、ユーザが、レイテンシ測定システムの接触領域２０７を、タッチスクリーン１０４を横切って引っ張らねばならないかを正確に示す矢印および文字表示された注記を備える直線の経路を描くことができる。
別の実施形態において、試験装置１０４に予めインストールされたソフトウェアプログラムは、レイテンシ測定システムの接触領域２０７を、試験装置１０４からそれを持ち上げる前に、タッチスクリーン１０４にどの程度の時間だけ停止させるべきかをユーザに正確に知らせるために、ユーザに数字で秒単位のカウントダウンを表示し得る。
【００６７】
図３は、レイテンシ測定システム１０２と試験装置１０３のタッチスクリーン１０４との間の特定の物理的タッチ事象に対する電気信号の経時的変化の折れ線グラフ３０１を示す。
【００６８】
実施形態において、計算エンジン２０１は、折れ線グラフ３０１によって表される信号における、下記の１つ以上を含み得る重要な特徴点を測定し特定するように構成される−信号３０２中の急な上昇（または降下）、信号３０３中のピーク、信号３０４中の谷、または信号閾値の交差。
この測定された特徴が生じる時点は、計算エンジン２０１によって記録される。
【００６９】
前述のように、第２のセンサ２０５は、光を電気信号に変換する光検出器が可能であり、
第２のセンサ２０５は、この信号の経時変化を感知することができる計算エンジン２０１に接続２０８されている。
【００７０】
図４は、タッチスクリーン１０４上の特定の画像変化に対する測定された信号の経時変化を描く折れ線グラフ４０１を点線で示す。
【００７１】
実施形態において、計算エンジン２０１は、この折れ線グラフ４０１における、下記の１つ以上を含み得る重要な特徴点を同定するように構成されるー信号４０２中の急な上昇（または降下）、信号４０３中のピーク、信号中の谷、または信号閾値の交差。
この特徴が生じる時点は、計算エンジン２０１によって記録される。
【００７２】
図５は、第１のセンサ５０２（たとえば接触センサ）および第２のセンサ５０１（たとえば画像変化センサ）それぞれからの信号の特定の測定された変化を重ねたグラフを示す。
計算エンジン２０１は、レイテンシ測定システムの２つのセンサによって生成された２つの折れ線グラフから、２つの同定された特徴５０３（この場合、信号３０３および４０３の第１のピーク）の時点を記録した後、これらの２つの同定された特徴５０３の間の時間差を計算する。
同定された特徴５０３のタイミングにおけるこの測定された差異は、その時間、または、レイテンシ測定システムのタッチスクリーン１０４上の模擬的タッチ事象と、このレイテンシ測定システムの模擬的タッチ事象に応答してもたらされるタッチスクリーン１０４上の画像的変化との間の、端末間試験デバイス１０３レイテンシを表す。
【００７３】
図６は、画像を表示するためのオーバーヘッドプロジェクタを使用するタッチスクリーン１０４と共に動作するように構成されたるシステムの実施形態を示す。
この実施形態において、第２のセンサ２０５（例えば画像変化センサー）は、共通ハウジング２０６の頂部に位置し、レイテンシ測定システム１０２とタッチスクリーン１０４との間の物理的接触が、共通ハウジング２０６の底部に配置された第１センサ２０４によって感知されるときに、ユーザ入力に応答して上から下へ投射される画像が第２のセンサ２０５によって感知される。
この実施形態において、接触領域２０７は、第２のセンサ２０５の正確な動作を妨げないような、任意の光学的特性を有し得る。
【００７４】
図７は、レイテンシ測定システム１０２のユーザがレイテンシ測定システム１０２を備えるタッチスクリーン１０４を、試験装置１０３上の末端間タッチ入力レイテンシを測定するために、手で叩くことが要求されないシステムの変形例を図示する。
この実施形態において、共通ハウジング２０６は、タッチスクリーン１０４上で、タッチスクリーン１０４の上面に直接位置する堅固なハウジング７０１の内部に位置する。
堅固なハウジング７０１は、タッチスクリーン１０４によって感知されない材質からできている。
共通ハウジング２０６は、移動可能な離隔手段７０２によって、堅固なハウジング７０１に接続される。
この実施形態において、レイテンシ測定システム１０２は、タッチスクリーン１０４の上面に置かれ、次に、試験装置１０３のレイテンシを測定するため、ユーザによってコマンドが出力される。
このコマンドを受信すると、レイテンシ測定システム１０２は、共通ハウジング２０６を移動させる離隔手段７０２を駆動して、それが信頼性がありかつ反復可能な方法で、タッチスクリーン１０４と接触させる。
【００７５】
実施形態において、離隔手段７０２はリニアアクチュエータである。
この実施形態の様々な例において、離隔手段７０２は、限定されるものではないが、機械式アクチュエータ、流体圧アクチュエータ、空気式アクチュエータ、流体系、圧電アクチュエータ、電気機械式アクチュエータ、リニアモーターまたはロータリーで駆動されるカムなどであり得る。
【００７６】
図８は、タップ、ドラッグまたは手書き入力の操作をする間の試験装置のタッチまたはスタイラス入力レイテンシを測定するための、試験装置１０３のタッチスクリーン１０４をタップしまたは横切って滑らせることができる触知可能なオブジェクトとしてのレイテンシ測定システム１０２の実施形態を図示する。
【００７７】
実施形態において、レイテンシ測定システム１０２の底部は、１つ以上の第２のセンサ２０５（例えば画像変化センサー）で構成された接触領域２０７であり、タッチ刺激領域８０１は、試験デバイス１０３のタッチスクリーン１０４と物理的に接触したときに、物理的なタッチ入力事象を模倣する材料で構成され、第１のセンサ２０４（例えば接触センサ）は、いつレイテンシ測定システム１０２が試験装置のタッチスクリーン１０４と物理的に接触するかを検出する。
【００７８】
実施形態において、レイテンシ測定システム１０２のタッチ刺激領域８０１は、接触領域２０７とタッチスクリーン１０４のと間の物理的接触が、タッチ入力を生成するそのような特性を備える材料からできている。
【００７９】
他の実施形態において、タッチスクリーン１０４上のタッチ刺激領域８０１の物理的な接地事象が、試験装置１０３のタッチスクリーン１０４へ信号が送信されるまで、タッチスクリーンに検知されないように、レイテンシ測定システム１０２のタッチ刺激領域８０１は設計され、試験装置１０３は構成される。
これは、ユーザが、ディスプレイ上のレイテンシ測定システム１０２を、レイテンシ試験工程中に休止させることを可能にする。
【００８０】
実施形態において、タッチ刺激領域８０１は、誘電性または導電性の材料からなる。
【００８１】
実施形態において、タッチ刺激領域８０１は計算エンジン２０１に接続されて、レイテンシ測定システム１０２が静止または動作している時に、１または複数の指またはスタイラスによって生成されるのと同様の、タッチスクリーン１０４上の物理的な接地事象を模擬する信号を生成することができる。
【００８２】
前記実施形態で述べたように、
レイテンシ測定システム１０２が静止している場合
使用者がレイテンシ測定システム１０２を操作することを必要とせずに、これは、タッチ刺激領域８０１が、試験装置１０３のタッチスクリーン１０４上での、複数の、同時的、反復容易な、物理的タップ事象を誘発することを可能にする。
【００８３】
対照的に、タッチ刺激領域８０１上の複数の物理的タッチ事象を模擬する実施形態は、レイテンシ測定システム１０２がユーザによって物理的にドラッグされている間に、システム１０２が、タッチスクリーン１０４上の複合的な複数本の指／スタイラスのジェスチャおよび手書き事象を診断工程中に模擬することを可能にする。
【００８４】
前記実施形態に関して上に述べたように、
そのような計算上制御されたタッチ刺激領域８０１は、計算エンジン２０１によって制御され、静電容量性タッチスクリーン１０４の行／列のよりも広く間隔を空けられた電気信号発生器２０９、計算エンジン２０１によって制御される電気信号によってその誘電特性が変化可能な誘電材料、または１つ以上の誘電性または導電性の材料の個別的部分と１つ以上のリニアアクチュエータとの組み合わせから構成されてもよい。
【００８５】
実施形態において、第２のセンサ２０５、タッチ刺激領域８０１、第１のセンサ２０４および出力部２０２は、計算エンジン２０１に接続される。
【００８６】
別の実施形態において、第２のセンサ２０５、第１センサ２０４および出力部２０２だけが、計算エンジン２０１に接続される。
【００８７】
別の実施形態において、第２のセンサ２０５および第１センサ２０４だけが計算エンジン２０１に接続される。
【００８８】
実施形態において、第２のセンサ２０５は、光を電気信号に変換する光検出器である。
【００８９】
実施形態において、光検出器は、フォトダイオードとして動作する逆バイアス発行ダイオード（ＬＥＤ）である。
様々な実施形態において、この光検出器は、ＡＰＳ、ＣＣＤ、フォトレジスター、光起電力素子、フォトダイオード、光電子増倍管、光電管または量子ドット光伝導体でもよい。
【００９０】
実施形態において、第２のセンサ２０５は、第２のセンサ２０５によって感知されるタッチスクリーン１０４の領域を照らす１つ以上の光源と組合せられる。
ガラス質、光沢性または反射性の表面を含む様々な表面を横切る第２のセンサ２０５の測定の精度を向上させるこれらの光源は、
限定されるものではないが、１つ以上の発光ダイオード（ＬＥＤ）または赤外線レーザーダイオードとすることが可能である。
【００９１】
第２のセンサ２０５は、たとえば画像変化センサであり、試験装置のディスプレイに対する変化が、結果として電気信号の変化をもたらすように、および、それらが試験装置のタッチスクリーン１０４のカバー基板上で認識可能な特徴およびパターンを検知することができるように、位置する。
第２のセンサ２０５は、電気信号の変化を測定可能な計算エンジン２０１に接続されてもよい。
【００９２】
実施形態において、第２のセンサ２０５から出力される信号のこの変化は、それが計算エンジン２０１によって測定される前に、アナログ信号からデジタル信号に変換される。
【００９３】
実施形態において、第１センサ２０４および第２のセンサ２０５は、第１センサ２０４の位置におけるレイテンシ測定システム１０２とタッチスクリーン１０４との間の接触が、第２のセンサ２０５によって感知される、タッチスクリーン１０４に表示された画像の変化を生成するように、隣接している。
【００９４】
実施形態において、レイテンシ測定システム１０２は、その末端間ドラグレイテンシが測定される予定の試験装置１０３のタッチスクリーン１０４のまわりをドラッグされ、タッチスクリーン１０４のディスプレイは、試験装置１０３が、レイテンシ測定システム１０２によって模倣された物理的タッチ事象を、そのようであると信じ込む画像的マーカー８０２を表示する。
【００９５】
実施形態において、試験装置のタッチスクリーン１０４のディスプレイは、任意のカラー、パターン及び／又は形状でいつでも画像的マーカー８０２を示し、着色され及び／又はパターン化された背景に対しいつでもその画像的マーカー８０２を表示するようにプログラムすることができ、それは、所定の時点での、画像的マーカー８０２の位置と、レイテンシ測定システム１０２の位置および速度との両方についての第２のセンサ２０５の測定値の精度を向上させる。
【００９６】
実施形態において、レイテンシ測定システム１０２のそれがタッチスクリーン１０４を横切ってドラッグされるときの位置および速度は、光学式、レーザ式、グレイザー式（Ｇｌａｓｅｒ）または暗視野マウスの技術と同様の光学的技術を使用して測定される。
【００９７】
実施形態において、レイテンシ測定システム１０２の位置および速度は、回路およびトラックボールマウスの技術と同様の電気機械的測定技術を使用して測定される。
【００９８】
タッチスクリーン１０４を横切ってレイテンシ測定システム１０２の速度、および、画像的マーカー８０２の中心と本システムの物理的タッチ刺激領域８０１の中心との間の物理的距離を測定することによって、レイテンシ測定システム１０２は、試験装置１０３の末端間タッチードラッグレイテンシを測定することができる。
レイテンシ測定システム１０２の速度が一定ならば、
測定されたドラッグレイテンシは、レイテンシ測定システム１０２が移動している速度で割られた、画像的マーカー８０２の中心とシステムのタッチ刺激領域８０１の中心との間の物理的距離と等しくなる。
レイテンシ測定システム１０２の速度が一定でないならば、レイテンシ測定システム１０２と、タッチ刺激領域８０１と画像的マーカー８０２との間の相対的位置との関係は、より複雑な数学関数となるであろう。
【００９９】
実施形態において、レイテンシ測定システム１０２の位置および速度は、第２のセンサ２０５と、この目的のために試験装置のタッチスクリーン１０４のディスプレイ上に押し付けられる画像的変化及び／又はマーカーとを使用して、測定される。
【０１００】
実施形態において、レイテンシ測定システム１０２は、タッチのタイプ及び／又はスタイラスの相互作用の一方又は両方において、試験装置のタッチスクリーン１０４の入力レイテンシを測定することができるように、実施形態へ第１のセンサ２０４（例えば接触センサ）を追加することによって、タップとドラッグのレイテンシ測定の機能を結合させる。
この実施形態において、先に説明したように、
レイテンシ測定システムのタッチスクリーン１０４上の最初の物理的な「タップ」接触模倣の時点と、システムの第２のセンサによるその模倣された物理的接触に対する予めプログラムされた画像的応答の検出との間の差異は、タップ事象に対する試験装置１０３の周回移動、タッチまたはスタイラスの入力レイテンシを計算するために使用することができる。
【０１０１】
実施形態において、システム１０２は、複数のレイテンシ測定システムを同時に使用することができるように設計される。
特定の実施形態においては、本システムは、それらが試験装置１０３のタッチスクリーン１０４上に置かれた時に、複数の手によって使用される。
レイテンシ測定システム１０２の位置および動作は、システムが位置、速度、タップなどを決定するために使用するセンサによって明確にされる。
【０１０２】
前述のように、実施形態において、計算エンジン２０１とレイテンシ測定システムの第１のセンサ２０４との接続、第２のセンサ２０５とタッチ刺激領域８０１との接続は、物理的な有線、または、限定されるものではないが、ブルートゥース（ｂｌｕｅｔｏｏｔｈ  登録商標）、ｂｌｕｅｔｏｏｔｈ  ｌｏｗ−ｅｎｅｒｇｙ  （ＢＬＥ）、ＷｉＦｉまたはＷＡＮなどの無線であり得る。
【０１０３】
計算エンジン２０１に接続されたレイテンシ測定システム１０２に対する新しいセンサ構成部材の追加と同様に、既存のセンサ構成要素の使用も、
レイテンシ測定システム１０２が、タッチ入力に対する、音響的及び振動触覚的応答を含む、画像的応答以外の試験装置の応答の他の形式のタッチ入力レイテンシを試験することを可能にできる。
【０１０４】
実施形態において、レイテンシ測定システム１０２は、レイテンシ測定システム１０２と試験装置のタッチスクリーン１０４との間の第１の物理的接触だけでなく、試験装置の振動触覚応答も検知するための、計算エンジン２０１に接続された１つ以上の第１のセンサ２０４を含み得る。
システムの第１の模擬された物理的タッチ入力事象と試験装置の第１の検知された振動触覚応答との間のレイテンシ測定システムの測定されたタイミングの差異は、タップジェスチャに対する試験装置の振動触覚応答のタッチ入力レイテンシである。
同様に、レイテンシ測定システムの第１のセンサ２０４によって記録されたマルチタッチジェスチャ、手書き動作、またはドラッグの指令に対する試験装置の振動触覚応答の周波数または強度における変化の測定されたタイミングは、試験装置の振動触覚応答のタッチ入力レイテンシを決定するために、それらの指／スタイラスのジェスチャがレイテンシ測定システム１０２によって模擬されたときの測定されたタイミングと比較することができる。
画像的応答のタッチ入力レイテンシを計算する際のように、試験装置の応答を検知するために使用されるシステム内部のセンサ及び／又は回路内の任意の固定された又は可変のレイテンシは、推計され、システムが報告した試験装置の振動触覚タッチ入力レイテンシの測定値から差し引かれるべきである。
レイテンシ測定システムの第１のセンサ２０４は、長い物理的な線または無線によって、システムの計算エンジン２０１に接続することが可能であるので、それらは、試験装置の振動触覚応答レイテンシの最も正確な読み取りを保証するために、試験装置の振動触覚フィードバック要素に隣接して配置することが容易にできる。
【０１０５】
図９に示されるように、実施形態において、レイテンシ測定システム１０２は、計算エンジン２０１に接続され、タッチ入力に対するテスト装置の音響的応答のタイミングの検知するための１つ以上の音響センサ９０１を含むことができる。
実施形態において、音響センサ９０１は、１つ以上の小型マイクロフォン配列とすることができる。
レイテンシ測定システムの第１の模擬された物理的タッチ入力事象と、そのタッチ事象に対する試験装置の第１の音響的応答との間の測定されたタイミングの差異は、タップジェスチャに対する試験装置の音響的応答のタッチ入力レイテンシである。
同様に、レイテンシ測定システムの音響センサ９０１によって記録されたより複雑なマルチタッチジェスチャ、手書き動作、またはドラッグによる指令に対する試験装置の音響的応答の周波数または強度における変化と、それらの物理的な指／スタイラスジェスチャがレイテンシ測定システム１０２に模擬された時の測定されたタイミングとの間のタイミングの差異は、試験装置の音響的応答のタッチ入力レイテンシである。
実施形態において、それらの物理的な指／スタイラスのジェスチャのタイミングは、レイテンシ測定システムの第１のセンサ２０４から得られた測定値によって決定される。
実施形態において、それらの模擬された物理的な指／スタイラスのジェスチャの正確なタイミングは、試験装置のタッチスクリーン１０４の表面上に信号を導入することによってシステムの計算エンジン２０１がそれらを生成したときにわかる。
画像的応答のタッチ入力レイテンシを計算する際のように、システム内部のセンサ及び／又は回路内の固定された又は可変のレイテンシは、推計され、システムが報告した試験装置の音響的タッチ入力レイテンシの測定値から差し引かれるべきである。
レイテンシ測定システムの音響センサ９０１は、長い物理的な線または無線によって、システムの計算エンジン２０１に接続することが可能であるので、システムの音響センサ９０１は、試験装置の音響的応答の最も正確な読み取りを保証するために、試験装置の音響フィードバック要素に隣接して配置することが容易にできる。
試験装置１０３上のそのような音響フィードバック要素は、限定されるものではないが、ステレオスピーカを含むことができる。
【０１０６】
様々な実施形態において、レイテンシを測定するために使用されるデバイスは、そのレイテンシが測定されているのと同じデバイスになりえる。
いくつかのそのような実施形態において、「タッチ」はユーザによって開始され、効果的、同時的に、そのデバイスのタッチセンサ、および加速度計、磁力計、マイクロフォン、近接センサ、または当業者に公知のセンサのような他のセンサによって検知する（または非同期的に記録され、および補正される）ことができる。
引き続きその時間が測定される応答は、視覚的であってもよく、その場合、カメラまたは他の光センサが使用されてもよく、または、それは音響的であってもよく、その場合、マイクロフォンまたは他の音響センサが使用されてもよい。
他の実施形態において、内部システムまたはアプリケーション工程の応答は、出力装置に実際に出力せずに、代わりに記録されてもよい。
いくつかの実施形態において、鏡体または他の反射面が、ディスプレイをカメラに対し可視化するために、必要とされてもよい。
他の実施形態において、センサ（またはスピーカからの音を反射するための表面）は、出力部の直接観察を可能にするために配置されてもよい。
いくつかの実施形態において、最初の「タッチ」は、１つ以上の誤りの「タッチ」の生成によって、模擬されてもよい。
これはソフトウェアに導入されてもよい。
さらにそれは、タッチセンサ自体の電気的な又は他の種類のトリガーによって生成されてもよい。
いくつかの実施形態において、入力と応答の間の時間のある部分が、推計されてもよい
（例えば：特定のハンドセット、デバイスの種別、センサタイプ、センサモデルなどに対するある所定時間として推定される）。
他の実施形態において、１つ以上のセンサの出力は、平均応答時間（または他の統計的集計手段）を提供するように、集計されてもよい。
【０１０７】
レイテンシ試験装置
現行の試験方法
【０１０８】
簡単な技術が、タッチ表示間のレイテンシの測定のために利用された。
デバイスは、画像がタッチ地点に従うこと（例えば、手書き操作、アイコンの翻訳）を意味するモードに置かれる。
定規がデバイス上に配置される。
次いで、指を、定規の縁に沿って出来るだけ一定の速さでたスクリーンを横切ってドラッグさせる。
公知のフレームレートの高速度カメラで、指の動きとともに、その結果の画像的応答を撮像する。
ビデオ中の個々のフレームを検査することによって、指の速度（連続するフレーム間の移動距離×フレームレート）を算出することができる。
指と次の画像との間の分離量は、直接観察することができる。
レイテンシは、分離距離／指の速度として計算することができる。
２つの測定値が典型的に取得される。最悪の場合のレイテンシおよび最良の場合のレイテンシである。
【０１０９】
新規のレイテンシ装置および方法
【０１１０】
本開示の全体にわたって、用語「入力事象」は、入力装置に対するコマンドの入力を記述するために総称的に使用される。
事象駆動型のソフトウェアアーキテクチャを利用するユーザインターフェースに特に限定することを意図するものではない。
【０１１１】
図１０は、レイテンシ測定装置の実施形態を図示する側面図を示す。
実施形態において、試験の継続中に被測定デバイス１０３を固定状態に保持するためのサイズ調整可能なクランプ１００３、１００５を備えるデバイス保持具１００１が提供される。
「Ｘ」クランプ１００３および「Ｙ」クランプ１００５は、二次元的にデバイスを安定して保持するために提供される。
実施形態において、複数のクランプ、摩擦装置、吸着盤、重錘、ベルクロ（登録商標）または他の機械的手段が、診断中に被測定デバイスを不動に保持する。
クランプ１００３、１００５および他の被測定デバイスを不動にするための手段は、被測定デバイスの操作を妨害しない材料で構成されてもよい。
【０１１２】
実施形態において、被測定デバイス１０３は不動には保持されないが、入力手段（たとえば指／スタイラスの代理デバイス）に関するその位置および配向は、測定されるかまたは公知である。
【０１１３】
入力代理デバイス１００７は、提供され、および、指／スタイラスの代理デバイスを提供する、複数の人工的なタッチまたはスタイラスのユーザ入力デバイスを含んでもよい。
実施形態において、入力代理デバイス１００７と被測定デバイス１０３との間の静電容量的結合は、電気的、機械的、化学的、または他の種類の手段によって変化し得る。
そのような指／スタイラス代理デバイスは、被測定デバイスのスクリーンに対する静電容量、接触領域および摩擦の違いを模擬するための複数の材料で形成することができる。
【０１１４】
少なくとも１つの機械式モータが、試験装置１０３に対して入力代理デバイス１００７を移動させるか、または代理デバイスに対して試験装置を移動させるために提供される。
実施形態において、少なくとも２つの機械式モータが、Ｘ‐Ｙテーブル１００９における入力代理デバイス１００７のｘ、ｙおよびｚ方向の移動とともに被測定デバイスに対する様々な角度での動作および方向を可能にするために、および、これらの全ての軸および自由度に沿った速度および圧力／作用力を変更するために提供される。
実施形態において、入力代理デバイスが静止的に保持されるとともに、デバイス保持具１００１は、このデバイス保持具１００１のＸ−Ｙ方向移動を提供するためのモータを備えるＸ‐Ｙテーブル上に設置される。
【０１１５】
被測定デバイス１０３に組み込まれる試験アプリケーションは、入力代理デバイス１００７の動作を記録するため、およびこの動作の表示を画面表示するために提供される。
実施形態において、試験アプリケーションは、空白、白スクリーン、単一の黒の筆記を含む描写を表示する。
実施形態において、試験アプリケーションは、ＣＰＵとＧＰＵに対する圧力がタッチ／スタイラス性能にどのように影響するかを評価するための０および高い「ＳｏＣ負荷」（ＳｏＣ−ｌｏａｄ）模擬状態を有する。
高「ＳｏＣ負荷」状態は、典型的な情報処理デバイスのユーザが毎日の使用にわたりマルチタスクを行う、一般に利用可能な／使用された、公開された、および背景技術的な第３者のアプリケーションのセットとして規定され得る。
実施形態において、試験アプリケーションは、被測定デバイスによって規定されるような、ゼロ荷重から最大ＣＰＵ負荷までの、異なるＣＰＵ負荷に対応する複数の「ＳｏＣ負荷」状態を使用する。
この点で、本発明の他の要素と組み合わされる試験アプリケーションは、被測定デバイスが、どの程度良好に追加負荷を扱うかについて測定することができる。
例えば、本発明の他の要素と組み合わされる試験アプリケーションは、レイテンシが追加負荷によって、より長くなるのが、比較的ゆっくりか比較的急であるのかを測定すること、すなわちレイテンシが追加負荷でより長くなる割合を測定することができる。
この点で、２つより多い負荷状態が、システムによって利用されてもよい。
本発明の他の要素と組み合わされる試験アプリケーションは、例えば短時間および長期記憶のアクセスのような、他の領域のボトルネックからＣＰＵ上の負荷を分離することもできる。
試験アプリケーションは、指／スタイラスの代理デバイス挙動に対する応答として、ＧＰＵ高速化状態（実施形態ではＤｉｒｅｃｔＸまたはオープンＧＬによる高速化）とＣＰＵのみの状態での黒色筆記（ｂｌａｃｋ  ｉｎｋ−ｓｔｒｏｋｅ）との両方の間で切り替えるように構成される。
これらのタイプのモードは一般に、それぞれ、ハードウェア中で示されるとともに、ソフトウェア中に示されるものとして言及される。
【０１１６】
このシステムの試験アプリケーションおよび他の様相は、試験されるすべての被測定デバイスにわたり、標準の第３者アプリケーション構成を利用することが可能である。
この点で、このアプリケーションは、第三者アプリケーションの異なるバージョン、または異なるようにコード化された異なるプラットホーム上の「同じ」アプリケーションでさえも有する異なる被測定デバイスの異なるプラットホームを説明するように構成することができる、
負荷レベルは、「標準アプリケーショ負荷」測定に置換するのではなく、むしろそれを補足するために秒単位の計算または純粋に数学的な手段に基いてもよい。
【０１１７】
実施形態において、少なくとも１つのグランドトルース（ｇｒｏｕｎｄ−ｔｒｕｔｈ）測定機器１０１１が、グランドトルースを提供するために試験アプリケーションによって生成される黒色筆記とともに、被測定デバイス１０３に対する指／スタイラス代理デバイスの移動を記録するために利用される。
実施形態において、グランドトルース測定機器１０１１は、高速度カメラを含む。
別の実施形態において、グランドトルース測定機器１０１１は、指／スタイラス代理デバイスに取り付けられた１軸、２軸または３軸の加速度計を含む。
この加速度計は、経時的な指／スタイラス代理デバイスの加速を感知し、
このデータは試験アプリケーションに送信され、このアプリケーションによって記録することができる。
【０１１８】
関連する実施形態において、被測定デバイスは、追加のアプリケーションによって処理されるＶＧＡ、ＨＤＭＩ、ＤＰ、ＤＶＩ、ＬＶＤＳまたは他の映像信号のような、映像信号を出力する。
映像信号を読み取ることによって、追加アプリケーションは、映像信号中のタイミング及び／又はパケット情報を監視することによって黒色筆記の形状および位置を決定することができる。
関連する実施形態において、被測定デバイスは、別のデバイスまたはディスプレイに映像信号を出力し、グランドトルース測定機器は、この接続を「タップ」して、その上を通過するデータを、その意図した操作を妨害することなく読み取る。
【０１１９】
実施形態において、システムはさらに、ランダムではあるがユーザが編集可能な入力代理デバイスの動作のシーケンスを生成し、モータおよびそれによる指／スタイラス代理デバイスの動作シーケンスを制御し、指／スタイラス代理デバイスの先端の動作を認識／追跡し、および、試験アプリケーションの黒色筆記と、指／スタイラス代理デバイスの実際の事前に規定された動作シーケンスとの間の空間的および時間的な任意の偏差を測定するコンピューティング装置および管理アプリケーションを含む。
【０１２０】
試験手順および装置の多数の変更が可能である。
実施形態において、試験者の指が直接使用される。
実施形態において、ユーザは、タッチまたは他の入力事象が生じたときに感知することができるグローブまたは接触部材上の他の被覆物を着用する（無視可能な、または少なくとも十分に更正されたレイテンシと共に）。
実施形態において、試験者は、指拡張具または指模型を着用する。
実施形態において、指模型は、機械的手段によって駆動される。
実施形態において、信号（電気的または他の適当な種類）は、感知、処理  および表示の連鎖における１以上の時点で導入され、この連鎖中のそれらの時点での実際の入力事象の効果を模擬する。
実施形態において、タッチングデバイス（指、模型など）は静止し、入力装置が移動する。
実施形態において、システムは、タッチングデバイスおよび入力デバイスの両方が予め定められた、または少なくとも十分に測定された態様で移動するように構成される。
【０１２１】
装置アセンブリ
【０１２２】
実施形態において、装置は水平に置かれた被測定デバイスで構成される。
指／スタイラス代理デバイスが、被測定デバイス上に設置された機械的な「アーム」に取り付けられる。
複数の機械式モータが、指／スタイラス代理デバイスの位置、角度、圧力および速度の任意の大きさにおける同時制御を可能にするように配置される。
【０１２３】
実施形態において、グランドトルース測定機器センサ（これは被測定デバイスのディスプレイの状態を決定するための光学的感知手段であってもよい）は、装置全体の上の固定点に設置され、それによって、デバイストレーに置かれた被測定デバイス全体、指／スタイラス代理デバイス、および試験アプリケーションの黒色筆記を、指／スタイラス代理デバイスと黒色筆記との間の遅延の程度にかかわらず、いつでも見ることが可能である。
【０１２４】
実施形態において、ＧＴＭ２センサは、指／スタイラス代理デバイスに対し、直接平行に設置され、それによって、指／スタイラス代理デバイスおよび試験アプリケーションの黒色筆記の動作間の任意の偏差を、近くで、隠されることなく見ることを可能にする。
【０１２５】
実施形態において、２つのＧＴＭ２センサが使用される：
１つは、装置全体の上方の固定点に設置され、もう１つは、指／スタイラス代理デバイスに直接平行に設置される。
【０１２６】
実施形態において、１つの加速度計ベースのＧＴＭ２センサは、その加速度を記録するように、指／スタイラス代理デバイスに直接取り付けられる。
実施形態において、第２の加速度計ベースのＧＴＭ２センサは、被測定デバイスと指／スタイラス代理との間の相対加速度を測定するために、被測定デバイスに取り付けられる、
【０１２７】
実施形態において、被測定デバイスは、その映像出力ポート（ＶＧＡ、ＤＶＩ、ＤＰ、ＨＤＭＩなど）をして、ＧＴＭ２センサに接続される。
【０１２８】
試験手順
【０１２９】
実施形態において、ソフトウェアは、試験されるためのデバイスに導入される。
このソフトウェアは、様々な入力事象タイプに対して予め定められた視覚的応答を含む。
いくつかの実施形態において、このソフトウェアは、試験されるデバイス上で存在するユーザインタフェースツールキットによって形成されるユーザインターフェース構成要素を含んでもよい。
他の実施形態において、このソフトウェアは、「最初から」の入力に対するすべての応答を生成してもよい。
さらに別の実施形態において、両タイプの応答が含まれてもよい。
【０１３０】
実施形態において、ソフトウェアは、標準検査パッケージであり、様々なバージョン、形式および製品を比較するように設計される。
【０１３１】
実施形態において、ソフトウェアは、所望に特徴づけられるレイテンシおよびエラー特性を有する既存ソフトウェアパッケージである。
【０１３２】
実施形態において、一旦ソフトウェアが試験されるデバイスに読み込まれると、それが実行される。
次いで、試験装置は、デバイスに対する様々な入力作成するために使用される。
それらの入力は「グランドトルース」として記録される。
（いくつかの実施形態において、装置の位置を追跡するために、コンピュータビジョンのような技術が使用される；他の例において、スタイラス／指の位置は機械的に追跡される。さらに他の実施形態において、加速度計が、指／スタイラス代理の位置よりもむしろ加速度を追跡する。）
この実施形態において、デバイスは、デバイスにインストールされたソフトウェアに従って入力動作に対する応答を生成する。
次いで、それらの応答は、試験装置によってモニタされ、レイテンシを決定するために、入力動作の「グランドトルース」と比較される。
【０１３３】
実施形態において、指／スタイラス代理デバイスは、その位置の追跡を支援するための能動的または受動的マーカーを含む。
【０１３４】
実施形態において、デバイスの出力は視覚的であり、光感知技術を使用して感知される。
実施形態において、出力は聴覚的であり、マイクロフォンまたは他の音響入力装置を使用して感知される。
実施形態において、出力は物理的であり、振動センサまたは他の位置検知デバイスを使用して感知される。
実施形態において、出力部は味覚的または嗅覚的であり、化学センサまたは味覚／嗅覚感知方法によって測定される。
【０１３５】
いくつかの実施形態において、レイテンシは、入力動作と応答が生成される時点との間隔の持続時間として測定される。
いくつかの実施形態において、応答の間隔が測定される（これは多くの場合、しかし常にではなく、出力デバイスの「フレームレート」である）。
いくつかの実施形態において、予想からの出力の性質の偏差が測定される。
これは、しかし限定的ではなく、グランドトルースからの出力経路の偏差、または予想された所定のグランドトルースからの出力の強度の差異を含む。
【０１３６】
実施形態において、指／スタイラス代理のグランドトルース加速度（ＧＴＭ２によって測定されたものとして）は、試験ソフトウェアによって記録されるような入力の経路に対して比較される。
この実施形態において、レイテンシは、指／スタイラス代理の記録された加速度変化と、試験ソフトウェアによって記録されるような入力の経路における関連する変化との間の時間差として測定される。
この実施形態の変形において、ＧＴＭ２によって提供される加速度データの時間成分は、加速度計自体中の任意の公知の且つ一定のレイテンシを計算するために変更される。
【０１３７】
実施形態において、指／スタイラス代理のグランドトルース位置は上記の手段のうちの１つによって測定され、
試験アプリケーションにおける黒色筆記の形状および位置は、ディスプレイケーブルによってデバイスに取り付けられた第２のＧＴＭ２センサによって測定される。
レイテンシは、２つのＧＴＭ２デバイスによって測定されるようなストロークの時点間の時間差として測定される。
関連する実施形態において、ディスプレイケーブルによって被測定デバイスに取り付けられたＧＴＭ２センサは、ケーブルを介する画面表示情報のパッケージングおよび送信によって導入される任意のレイテンシを計算するために較正される。
【０１３８】
実施形態において、装置の様々な手段は記録され、データファイルとして利用可能になされる。
実施形態において、報告書は自動的に生成される。
実施形態において、報告書は自動的に生成され、後の検索のためにデータストアへ置かれる。
実施形態において、結果は、ウェブインターフェースを通じて利用可能になる。
【０１３９】
各種入力事象の試験
【０１４０】
様々なタイプの入力事象がテストされる。
一般に、装置は、テストされているデバイスによってサポートされる事象のタイプを含むように拡張される。
この事象のセットは、デバイスのソフトウェア中で特に呼称されるであろう入力基本要素（例えば「タップ」「ドラッグ」「回転」など。）を一般に含む。
これは、デバイスソフトウェアによって特に検知されないが、デバイス上で動作するアプリケーションソフトによる入力の解釈である事象も含む
（例えば：ユーザが指をデバイスを横切ってドラッグするときに、システムソフトウェアは単純に一連の「ドラッグ」事象を生成するが、このソフトウェアは、スクリーン上の文字を引っ張るような、特定のドラッグパターンに対し、特定の方法でそれらの事象が応答するのをモニタする）。
いずれの事象においても、これらまたは他のタイプの事象はすべて、試験に含まれるであろう。
【０１４１】
一般に、デバイスに含まれる任意のセンサがテストされてもよい。
これは、タッチセンサ、加速度計、ジャイロスコープ、カメラ、近接センサ、３Ｄカメラ、ホーバ位置センサ、キーボード、直接的タッチセンサおよび他に多くのものを含む。
テストされる入力事象の種類の例は下記を含む：
【０１４２】
タップ
【０１４３】
物理的接触が起きた時から、Ｓ／Ｐ／Ｄ（感知ー処理ー表示）の連鎖中における様々な時点までの時間
【０１４４】
スライド、ドラッグ
【０１４５】
Ｓ／Ｐ／Ｄ連鎖の中の様々な時点の時間的および空間的評価値と、タッチングデバイス（指、スタイラスなど）の真の値との差異
【０１４６】
回転
【０１４７】
グランドトルースに与えられた予想位置からのＳ／Ｐ／Ｄ連鎖中の様々な時点の時間的および空間的評価値の差異。
【０１４８】
ホーバ（Ｈｏｖｅｒ）
【０１４９】
入力イベントの真の位置を、非タッチセンサによって収集した情報から、どれくらい良好に予測又は精度を向上できるか。
【０１５０】
デバイス回転
【０１５１】
Ｓ／Ｐ／Ｄ連鎖中の様々な時点の装置自体の時間的および回転の評価値の差異。
【０１５２】
デバイス位置
【０１５３】
Ｓ／Ｐ／Ｄ連鎖中の様々な時点の装置自体の時間的および空間的の評価値と、タッチング装置（指、スタイラスなど）の真の値との差
【０１５４】
カメラ遅延
【０１５５】
Ｓ／Ｐ／Ｄ連鎖中の様々な時点でのグランドトルースに与えられた予測されたコンテンツからのスクリーン上に示されたイメージの差異。
【０１５６】
近接センサ位置
【０１５７】
Ｓ／Ｐ／Ｄ連鎖中の様々な時点のデバイス代理の時間的および空間的の評価値と、タッチング装置（指、スタイラスなど）の真の値との差異
【０１５８】
測定されたレイテンシの評価
【０１５９】
測定されたレイテンシは、そのまま（時間差）報告することができ、あるいは、それらを対応する空間の誤差と一緒に時間差として報告することができ、あるいは、それらを時差および空間的誤差の統計的関数として報告することができる。
【０１６０】
測定されたレイテンシは、複数の入力デバイス（同じモデルの異なる製品または異なるバージョン、異なるモデルなど）で得られたそれらの測定値と比較し、デバイス間の質的または量的のいずれかの比較として報告することができる。
【０１６１】
測定されたレイテンシは、ユーザのー主観的な方法で、等価的な「ユーザ体験」の計量である報告書と比較することができる。
【０１６２】
本システムおよび方法は、レイテンシの測定または試験のための方法およびデバイスのブロックダイヤグラムおよび操作図を参照して上に記述される。
ブロックダイヤグラムまたは操作図の各ブロック、およびブロックダイヤグラムまたは操作図中のブロックの組合せは、アナログまたはデジタルのハードウェア手段、およびコンピュータプログラム命令によって実施されてもよいことが理解される。
これらのコンピュータプログラム命令は、汎用コンピューター、専用コンピュータ、ＡＳＩＣまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それによって、コンピューターまたは他のプログラマブルデータ処理装置のプロセッサによって実行する命令が、ブロックダイヤグラムまたは操作ブロック中の指定された機能／動作を実施する。
いくつかの代わりの実施例において、ブロックに注記された機能／動作が、操作図に注記した命令から生起してもよい。
例えば、連なって示された２つのブロックが、実際、実質的に同時的に実行されてもよく、
あるいは複数のブロックが、含まれている機能性／動作に依存して、ときには逆手順で実行されてもよい。
【０１６３】
本発明は、その好ましい実施形態を参照して、詳細に示し記述したが、形式上または細部の様々な変更は、本発明の精神および範囲から離れることなく、その範囲内で実施されてもよいことは、当業者が理解するところであろう。
【図１】
2017502535.tif 000003
【図２Ａ】
2017502535.tif 000004
【図２Ｂ】
2017502535.tif 000005
【図３】
2017502535.tif 000006
【図４】
2017502535.tif 000007
【図５】
2017502535.tif 000008
【図６】
2017502535.tif 000009
【図７】
2017502535.tif 000010
【図８】
2017502535.tif 000011
【図９】
2017502535.tif 000012
【図１０】
2017502535.tif 000013
【図１１】
2017502535.tif 000014
【国際調査報告】
2017502535.tif 000015
2017502535.tif 000016