(57)【要約】      （修正有）【課題】複数の打鍵機を制御し、動作内容を検証する際に適正なキャリブレーションを実施することが可能な打鍵機制御システム及び打鍵機制御方法を提供する。【解決手段】打鍵機制御システムは、打鍵を制御する統括制御装置１と、撮像部と打鍵部３２とを備えた打鍵機３とを有する。統括制御装置１は、打鍵機３の撮像部により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の打鍵部３２の座標系での打鍵部３２の座標位置を算出し、打鍵部３２で前記３点を打鍵し、検証対象の端末４の座標系の少なくとも３点の座標位置を取得し、検証対象の端末４の座標系から打鍵部３２の座標系に変換するパラメータを算出するキャリブレーション実行部を有する。【選択図】図１
2018101315.tif 000002
【特許請求の範囲】
【請求項１】
打鍵を制御する統括制御装置と、
撮像部と打鍵部とを備えた打鍵機と、を有し、
前記統括制御装置は、
前記打鍵機の前記撮像部により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の前記打鍵部の座標系での前記打鍵部の座標位置を算出し、前記打鍵部で前記３点を打鍵し、検証対象の端末の座標系の少なくとも３点の座標位置を取得し、検証対象の端末の座標系から前記打鍵部の座標系に変換するパラメータを算出するキャリブレーション実行部を有する
打鍵機制御システム。
【請求項２】
前記パラメータ算出では、アファイン変換を用いる
請求項１に記載の打鍵機制御システム。
【請求項３】
前記キャリブレーション実行部は、画面サイズが同一又は異なる複数の端末に対して、同時に検証対象の端末の座標系から前記打鍵部の座標系に変換するパラメータを算出する
請求項１に記載の打鍵機制御システム。
【請求項４】
撮像部と打鍵部を備えた打鍵機のキャリブレーションを実行する方法において、
統括制御装置が、
前記打鍵機の前記撮像部により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の前記打鍵部の座標系での前記打鍵部の座標位置を算出し、前記打鍵部で前記３点を打鍵し、検証対象の端末の座標系の少なくとも３点の座標位置を取得し、検証対象の端末の座標系から前記打鍵部の座標系に変換するパラメータを算出する
キャリブレーション方法。
【請求項５】
前記パラメータ算出では、アファイン変換を用いる
請求項４に記載のキャリブレーション方法。
【請求項６】
コンピュータを、
打鍵機の撮像部により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の打鍵部の座標系での前記打鍵部の座標位置を算出し、前記打鍵部で前記３点を打鍵して、検証対象の端末の座標系の少なくとも３点の座標位置を取得し、検証対象の端末の座標系から前記打鍵部の座標系に変換するパラメータを算出するキャリブレーション実行部として機能させることを特徴とする
プログラム。
【請求項７】
前記パラメータ算出では、アファイン変換を用いる
請求項６に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の打鍵機を制御し動作内容を検証する際に実施されるキャリブレーションに特徴のある打鍵機制御システム、キャリブレーション方法及びプログラムに関する。
【背景技術】
【０００２】
従来、スマーフォンやダブレット端末等の携帯端末において、その動作内容の検証と検証作業を効率化するために、手動による検証の代わりに打鍵機を用いてテストを実施することがある。一般的な打鍵機は、Ｘ軸方向及びＹ軸方向に移動可能な打鍵部を備え、予め定められた操作を検証対象の端末で操作させるために、タッチパネル上の所定領域を打鍵部でタップし、そのタップ後の画面遷移の状態、およびパネルに表示された画像情報を解析することで、携帯端末を動作させている。
【０００３】
このような打鍵機としては、例えば、特許文献１では、カメラと打鍵装置とを備えたロボットを備え、ICメモリに記録された機種に対応する形状データ、操作プログラム、テストプログラム等のデータを読み出し、ディスプレイの応答を確認しながらロボットの打鍵装置を打鍵して試験操作を進める試験装置が開示されている。
【０００４】
そして、このような打鍵装置では、打鍵部の座標系を検証対象の端末の座標系に変換するための所謂キャリブレーションが必要となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０６−３２４１２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の打鍵装置では、検証対象がタッチパネルを備えた端末である場合に、自動的に打鍵部の座標系を検証対象の端末の座標系に変換するための所謂キャリブレーションが実現されていなかった。
【０００７】
本発明は、このような課題に鑑みてなされたものであり、複数の打鍵機を制御し、動作内容を検証する際に適正なキャリブレーションを実施する鍵機制御システム、キャリブレーション方法及びプログラム提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記した課題を解決するために、本発明の第１態様に係る打鍵機制御システムは、打鍵を制御する統括制御装置と、撮像部と打鍵部とを備えた打鍵機と、を有し、前記統括制御装置は、前記打鍵機の前記撮像部により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の前記打鍵部の座標系での前記打鍵部の座標位置を算出し、前記打鍵部で前記３点を打鍵し、検証対象の端末の座標系の少なくとも３点の座標位置を取得し、検証対象の端末の座標系から前記打鍵部の座標系に変換するパラメータを算出するキャリブレーション実行部を有する。
【０００９】
本発明の第２の態様に係るキャリブレーション方法では、撮像部と打鍵部を備えた打鍵機のキャリブレーションを実行する方法において、統括制御装置が、前記打鍵機の前記撮像部により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の前記打鍵部の座標系での前記打鍵部の座標位置を算出し、前記打鍵部で前記３点を打鍵し、検証対象の端末の座標系の少なくとも３点の座標位置を取得し、検証対象の端末の座標系から前記打鍵部の座標系に変換するパラメータを算出する。
【００１０】
本発明の第３の態様に係るプログラムでは、コンピュータを、打鍵機の撮像部により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の打鍵部の座標系での前記打鍵部の座標位置を算出し、前記打鍵部で前記３点を打鍵して、検証対象の端末の座標系の少なくとも３点の座標位置を取得し、検証対象の端末の座標系から前記打鍵部の座標系に変換するパラメータを算出するキャリブレーション実行部として機能させることを特徴とする。
【００１１】
なお、上記第１乃至第３の態様において、前記パラメータ算出では、アファイン変換を用いることとしてもよい。
【発明の効果】
【００１２】
本発明によれば、複数の打鍵機を制御し動作内容を検証する際に適正なキャリブレーションを実施する打鍵機制御システム、キャリブレーション方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る打鍵機制御システムの構成図である。
【図２】統括制御装置と打鍵機操作装置の詳細な構成図である。
【図３】同打鍵機制御システムの処理手順を示すフローチャートである。
【図４】図３のステップＳ１の詳細な処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照しつつ本発明の一実施形態について説明する。
【００１５】
図１には本発明の第１実施形態に係る打鍵機制御システムの構成を示し説明する。
【００１６】
同図に示されるように、打鍵機制御システムは、操作端末５と、統括制御装置１と、打鍵機操作装置２と、打鍵機３からなる。操作端末５は、スマートフォンやタブレット端末等、タッチパネルが実装されたものを用いる。操作端末５は、統括制御装置１と無線又は有線で接続される。統括制御装置１としては、パーソナルコンピュータ等を用いる。打鍵機操作装置２は、制御用マイコン等からなり、統括制御装置１及び打鍵機と有線で接続される。打健機３には、検証対象のタブレット端末４が位置固定されている。検証対象のタブレット端末４は、統括制御装置１と無線又は有線で接続される。
【００１７】
ここで、打鍵機３の構成を更に詳細に説明すると、Ｙ軸方向に延びた２本のガイドレール３６，３７と、ガイドレール３６，３７上に駆動保持部３４により移動自在に保持されたＸ軸方向に延びたガイドレール３８とを有する。駆動保持部３４は、駆動部４０の駆動力によりガイドレール３７上をＹ軸方向に移動する。この移動に伴って、駆動保持部３５もガイドレール３６上をＹ軸方向に移動する。ガイドレール３８には、打鍵部駆動部３１と打鍵部３２とが配設されており、駆動部３３の駆動力により、打鍵部３２がガイドレール上をＸ軸方向に移動する。打鍵部３２は、打鍵駆動部３１のＺ軸方向の駆動力により駆動し、検証対象のタブレット端末４のタッチパネルをタップする役割を担う。検証対象のタブレット端末４は、ダブレッと端末固定部３９によりその一角が位置固定されている。この打鍵機３には、更にキャリブレーション用のＷＥＢカメラ６が配設されている。
【００１８】
このような構成において、操作端末では、検証に沿った操作を行い、操作時の画像情報を統括制御装置に送信する。
【００１９】
前記統括制御装置は、詳細は後述するようにＷＥＢカメラ６による撮影画像を用いて特徴的なキャリブレーション処理の後、操作作端末の初期画面に係る第１画像情報、操作者により所定の操作が実行されたときに当該操作位置の周辺画像の第２画像情報、及び前記操作後に変更された画面の第３画像情報を取得し保存し、第１乃至第３画像をそれぞれ解析し、打鍵機で実行すべきアクションを特定し、打鍵すべき領域を特定し、特定された領域を打鍵するように指示する。そして、打鍵機の指示に基づく動作後の画像を取得し、第３画像情報と比較し、異常を検出する。
【００２０】
打鍵機操作装置は、統括制御装置からの指示を解析し、解析結果に基づいて打鍵機の駆動信号を出力する。尚、この実施形態に係る打鍵機操作装置では、複数の検証対象としての情報端末の同時制御も可能である。その場合には、情報端末の電源をオンし、画面を発光させた状態にして、ＷＥＢカメラ６により全体を撮影し、画面の発光量に基づいて各情報端末の領域を認識し、それ以降、上記領域毎に、前述したようなキャリブレーション等の処理、異常検出等を実施することになる。打鍵機に設置された複数の情報端末の画面サイズが異なる場合には、各画面サイズから拡大率を算出し、各情報端末の操作時には、当該拡大率を用いて動作位置を特定し、動作を実行することになる。
【００２１】
打鍵機は、打鍵機操作装置からの駆動信号に基づいて駆動する。より詳細には、駆動部４０の駆動力により駆動保持部３４，３５がガイドレール３６，３７上をＹ軸方向に移動し、駆動部３３の駆動力により打鍵部３２がガイドレール３８上をＸ軸方向に移動し、所定位置に達すると、打鍵駆動部３１のＺ軸方向の駆動力により、打鍵部３２が検証対象のタブレット端末４の画面を打鍵する。
【００２２】
ここで、図３には、統括制御装置と打鍵機操作装置の詳細な構成を示し説明する。より詳細には、図２（ａ）は統括制御装置の構成図、図２（ｂ）は打鍵機操作装置の構成図をそれぞれ示している。
【００２３】
図２（ａ）に示されるように、統括制御装置１は、全体の制御を司る制御部１１と、通信部１２と、入力部１３と、記憶部１４とからなる。通信部１２は、無線通信等を行うものである。入力部１３は、有線または無線接続を備えたインタフェースである。記憶部１４は、制御部１１で実行されるプログラムを記憶すると共に、その実行時にはワークエリアを提供する。記憶部１４には、後述するテンプレートマッチングを行うためのテーブルも格納されたＤＢ１４ａを論理的に備えている。
【００２４】
このような構成において、制御部１１は、記憶部１４のプログラムを読み出し、実行することで、主制御部１１ａ、キャリブレーション実行部１１ｂ、画像取得部１１ｃ、アクション領域特定部１１ｄ、指示部１１ｅ、及び検出部１１ｆとして機能する。
【００２５】
キャリブレーション実行部１１ｂは、詳細は後述するようなキャリブレーションを実行することになる。概略説明すると、ダブレット端末５の座標系から打鍵部３２の座標系に変換するためのパラメータを算出する。尚、Ｚ軸方向に対しては、画像認識手法によるのではなく、検証対象の情報端末に対して各画面タッチで反応を生むモードに設定し、その状態で打鍵部３２をＺ軸に上から下に下げていき、情報端末の画面変化が生じたところを各情報端末でタッチに必要なＺ軸深さとする。Ｚ軸方向のキャリブレーションについては、主制御部１１ａの制御元で実行されることになる。
【００２６】
画像情報取得部１１ｃは、操作端末５の初期画面に係る第１画像情報、操作者により所定の操作が実行されたときに当該操作位置の周辺画像の第２画像情報、及び前記操作後に変更された画面の第３画像情報を取得し記憶部１４に保存する。
【００２７】
アクション領域特定部１１ｄは、第１乃至第３画像をそれぞれ解析し、打鍵機で実行すべきアクションを特定し、打鍵すべき領域を特定する。指示部１１ｅは、特定された領域を打鍵するように指示する。検出部１１ｆは、打鍵機３の指示に基づく動作後の画像を取得し、第３画像情報と比較し、異常を検出する。主制御部１１ａは、他機器との通信などをはじめとする統括的な制御を司る。
【００２８】
より詳細には、画像情報取得部１１ｃは、操作者による操作が実行されたときの画像の勾配情報から画像の輪郭を抽出し、当該輪郭が閉じている箇所を抽出し、閉じている箇所の画像を第２画像情報として取得し、記憶部１４に保存する。
【００２９】
アクション領域特定部１１ｄは、第２画像と予め定義されたアクションとのテンプレートマッチングを行い、類似度が閾値以上の場合には、当該アクションに係る領域を打鍵すべき領域として特定する。
【００３０】
一方、図２（ｂ）に示されるように、打鍵機操作装置２は、制御用マイクロコンピュータ等からなり、解析部２ａと出力部２ｂとを有する。このような構成において、解析部２ａは、指示部１１ｄによる指示を解析する。出力部２ｂは、解析部２ａによる解析結果に基づいて打鍵機の駆動信号を出力する。より具体的には、解析部２ａは、統括制御装置１からの打鍵部の移動に関わる指令値を受信し解析する。そして、出力部２ｂは、指令値に係るディジタル信号をアナログ信号にＤ／Ａ変換して打鍵機３に出力する。このアナログ信号に基づいて、打鍵機３の打鍵部駆動部３１や駆動部３３内のモーターが駆動され、所定位置でのタップが実現される。
【００３１】
以下、図３のフローチャートを参照して、本発明の第２実施形態に係る打鍵機制御システムの処理手順を詳細に説明する。
【００３２】
処理を開始すると、先ずキャリブレーションを実施する（Ｓ１）。ここで、「キャリブレーション」とは、打鍵部３２の座標系と、検証対象のタブレット端末４の座標系との対応関係を取ることをいう。この処理の詳細は後述する。
【００３３】
続いて、画像取得部１１ｂが、操作端末５及び検証対象のタブレット端末４の画像を取得し記憶部１４に保存する（Ｓ２）。続いて、操作端末５にて、ボタンやフォーム等の要素の押下を受付け（Ｓ３）、画像取得部１１ｂが、押下した周辺部分の画像を取得し記憶部１４に保存する（Ｓ４）。
【００３４】
より詳細には、ステップＳ４では、画像取得部１１ｂは、画像の勾配情報から画像の輪郭情報のみを抽出し、操作端末５で押下された位置の周辺部分で輪郭線が閉じている箇所を抽出し、この閉じている箇所をテンプレートマッチング用の素材として記憶部１４のＤＢ１４ａに保存する。
【００３５】
そして、画像取得部１１ｂが、操作端末５の動作後の画像を取得し（Ｓ５）、操作端末５の動作位置、周辺画像（＋ＷＥＢの場合はＨＴＭＬ）を基に、検証対象のタブレット端末４における同じボタンやフォームをアクション領域特定部１１ｃが特定する（Ｓ６）。
【００３６】
より詳細には、ステップＳ６では、検証対象のタブレット端末４の画像の中から操作端末５で押下された周辺画像とのテンプレートマッチングを行い、テンプレートマッチングによる類似度が閾値以上であるか否かを判定し、閾値以上である場合、操作端末５のアクションを再現する。
【００３７】
そして、指示部１１ｄにより、打鍵機操作装置２に対して、検証対象のタブレット端末４で動作が再現されるように指示がなされる（Ｓ７）。打鍵機操作装置２は、この指令を受けると、解析部２ａが指令内容を解析し、出力部２ｂがディジタル信号をアナログ信号にＤ／Ａ変換して打鍵機３に出力する。これにより、打鍵機３において、同じ動作が再現されることになる。
【００３８】
こうして、検出部１１ｅが、動作後の画像を取得し、操作端末５の動作後の画像と比較し、機械学習手法を用いることで、異常を検出する（Ｓ９）。続いて、検証を終了するか否かを判断し（Ｓ９）、継続する場合にはステップＳ２に戻り上記処理を繰り返し（Ｓ９をＮｏに分岐）、終了する場合には（Ｓ９をＹｅｓに分岐）、動作を終了する。
【００３９】
ここで、図４には図３のステップＳ１で実行されるキャリブレーションの詳細な処理手順を示し説明する。
【００４０】
検証対象のタブレット端末４を打鍵機３に設置し（Ｓ１１）、ＷＥＢカメラでダブレット端末４に近い矩形を検出して矩形の角３点の打鍵部３２の座標系での打鍵部３２の座標位置を算出し（Ｓ１２）、打鍵部３２でその３点を打鍵し、タブレット端末４の座標系の３点の座標位置を取得し（Ｓ１３）、統括制御装置１がタブレット端末の座標系から打鍵部の座標系に変換するパラメータを算出し（Ｓ１４）、リターンする。
【００４１】
ここで、上記パラメータの算出について更に言及すると、座標変換にはアファイン変換を用いる。打鍵部の座標系Pと検証対象のダブレット端末の座標系Ｐ’の間には、次のような関係がある。ここでは、打鍵部の座標系の検出された座標を（ｘ１、ｙ１）、（ｘ２、ｙ２）、（ｘ３、ｙ３）とし、ダブレット端末の検出された座標系の座標を（ｘ’１、ｙ’１）、（ｘ’２、ｙ’２）、（ｘ’３、ｙ’３）とする。
【数１】
2018101315.tif 000003
【００４２】
これにより、打鍵部の座標系Ｐと検証対象のタブレット端末の座標系Ｐ’との間には、
Ｐ＝ＡＰ’
という関係が成立することが明らかとなるが、以降は、このパラメータＡを用いて打鍵部の座標系をタブレット端末の座標系に変換すればよいこととなる。
【００４３】
以上説明したように、本発明によれば、以下の効果が奏される。
【００４４】
第１に、打鍵を制御する統括制御装置１と、撮像部６と打鍵部３２とを備えた打鍵機３と、を有し、統括制御装置１は、打鍵機３の撮像部６により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の打鍵部３２の座標系での打鍵部３２の座標位置を算出し、打鍵部３２で前記３点を打鍵し、検証対象の端末４の座標系の少なくとも３点の座標位置を取得し、検証対象の端末４の座標系から打鍵部３２の座標系に変換するパラメータを算出するキャリブレーション実行部１１ｂを有する打鍵機制御システムが提供される。
【００４５】
第２に、撮像部６と打鍵部３２を備えた打鍵機３のキャリブレーションを実行する方法において、統括制御装置１が、打鍵機３の撮像部６により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の打鍵部３２の座標系での前記打鍵部の座標位置を算出し、打鍵部３２で前記３点を打鍵し、検証対象の端末４の座標系の少なくとも３点の座標位置を取得し、検証対象の端末４の座標系から打鍵部３２の座標系に変換するパラメータを算出するキャリブレーション方法が提供される。
【００４６】
第３に、コンピュータを、打鍵機３の撮像部６により検証対象の端末に近い矩形を検出して当該矩形の少なくとも角３点の打鍵部の座標系での打鍵部３２の座標位置を算出し、打鍵部３２で前記３点を打鍵して、検証対象の端末の座標系の少なくとも３点の座標位置を取得し、検証対象の端末４の座標系から打鍵部３２の座標系に変換するパラメータを算出するキャリブレーション実行部１１ｂとして機能させることを特徴とするプログラムが提供される。
【００４７】
したがって、処理負荷が小さく、変換精度の高いキャリブレーションを適正に実行することが可能となる。尚、前記パラメータ算出では、アファイン変換を用いてよい。
【００４８】
以上のほか、本発明は、操作端末５と、統括制御装置１と、打鍵機操作装置２と、１台又は複数の打鍵機３からなる打鍵機制御システムに関する。そして、統括制御装置１は、キャリブレーションを実行するキャリブレーション実行部１１ｂ、操作端末５の初期画面に係る第１画像情報、操作者により所定の操作が実行されたときに当該操作位置の周辺画像の第２画像情報、及び前記操作後に変更された画面の第３画像情報を取得し保存する画像情報取得部１１ｃと、第１乃至第３画像をそれぞれ解析し、打鍵機で実行すべきアクションを特定し打鍵すべき領域を特定するアクション領域特定部１１ｄと、特定された領域を打鍵するように指示する指示部１１ｅと、打鍵機３の前記指示に基づく動作後の画像を取得し前記第３画像情報と比較し異常を検出する検出部１１ｆとを有する。打鍵機操作装置２は、指示部１１ｄによる指示を解析する解析部２ａと、解析部２ａによる解析結果に基づいて打鍵機の駆動信号を出力する出力部２ｂとを有する。そして、各打鍵機３は、検証対象を打鍵する打鍵部３２と、駆動信号に基づいて打鍵部３２を所定位置まで駆動する駆動部３３、４０とを有する。
【００４９】
従って、１台のテスターとしての操作端末５の操作に基づいて、同一動作が複数の検証対象のタブレット端末、スマートフォン等で再現して、その動作内容を効率良く検証することが可能となる。
【００５０】
尚、ここで、画像情報取得部１１ｃは、操作者により操作端末５で操作が実行されたときの画像の勾配情報から画像の輪郭を抽出し、当該輪郭が閉じている箇所を抽出し、閉じている箇所の画像を第２画像情報として取得し、保存するようにしてもよい。また、アクション領域特定部１１ｄは、第２画像と予め定義されたアクションとのテンプレートマッチングを行い、類似度が閾値以上の場合には、当該アクションに係る領域を打鍵すべき領域として特定するようにしてもよい。
【符号の説明】
【００５１】
１…統括制御装置、２…打鍵機操作装置、２ａ…解析部、２ｂ…出力部、３…打鍵機、４…タブレット端末、５…操作端末、６…撮像部、１１…制御部、１１ａ…主制御部、１１ｂ…キャリブレーション実行部、１１ｃ…画像取得部、１１ｄ…アクション領域特定部、１１ｅ…指示部、１１ｆ…検出部、１２…通信部、１３…入力部、１４…記憶部、１４ａ…ＤＢ、１５…プログラム、３１…打鍵部駆動部（Ｚ軸方向）、３２…打鍵部、３３…駆動部（Ｘ軸方向）、３４…駆動保持部、３５…駆動保持部、３６…ガイドレール、３７…ガイドレール、３８…ガイドレール、３９…タブレット端末固定部、４０…駆動部（Ｙ軸方向）。
【図１】
2018101315.tif 000004
【図２】
2018101315.tif 000005
【図３】
2018101315.tif 000006
【図４】
2018101315.tif 000007