(57)【要約】  【課題】  実機のキーボードと同じ操作感覚でプログラムが正常に動作しているか否かを確認する。【解決手段】  オペレータが押下キー検出マーカ４ｃが貼付された指でキーボード２の任意のキーを押下するとともに、別の指で押下伝達スイッチ１１を押下すると、押下ごとに基準位置マーカ４ａ、４ｂと押下キー検出マーカがカメラ１２により撮像される。カメラにより撮像された画像データと押下伝達スイッチの操作信号がＰＣ１３内に取り込まれ、ＰＣでは処理部１６により押下伝達スイッチを押下したときのマーカ４ａ、４ｂ、４ｃの位置を画像認識し、画像認識した位置に基づいて指が押下したキーを判別し、判別結果に基づいて指が順次押下したキーの操作パターンを記録する。【選択図】  図１
2005044114.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像して画像認識可能なマーカを携帯端末のキーボードを押下する操作者の指に設けるとともに、前記指が前記キーボードを押下する際に前記操作者が押下するスイッチを前記キーボードの反対側に設け、
前記キーボードを前記撮像手段により撮像して前記スイッチを押下したときの前記キーボードの基準位置と前記マーカの位置を画像認識し、
前記画像認識した前記キーボードの基準位置と前記マーカの位置に基づいて前記指により押下されたキーを判別し、
前記判別結果に基づいて前記指により順次押下されたキーの操作パターンを記録するキー操作パターン記録方法。
【請求項２】
前記キーボードの基準位置は、前記撮像手段により撮像して画像認識可能な基準位置マーカを前記キーボードの任意の２点に設けることにより判別するよう構成された請求項１に記載のキー操作パターン記録方法。
【請求項３】
前記キーボードの基準位置は、前記撮像手段により撮像して画像認識可能な任意の２つのキーにより判別するよう構成された請求項１に記載のキー操作パターン記録方法。
【請求項４】
携帯端末のキーボードと画像認識可能に前記携帯端末のキーボードを押下する操作者の指に設けられたマーカとを撮像する撮像手段と、
前記キーボードの反対側に設けられ、前記指が前記キーボードを押下する際に押下するスイッチと、
前記キーボードを前記撮像手段により撮像して前記スイッチが押下されたときの前記キーボードの基準位置と前記マーカの位置を画像認識する画像認識手段と、
画像認識した前記キーボードの基準位置と前記マーカの位置に基づいて前記指により押下されたキーを判別する押下キー判別手段と、
前記押下キー判別手段により判別された結果に基づいて前記指により順次押下されたキーの操作パターンを記録するキー操作パターン記録手段とを、
備えたキー操作パターン記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末のキーボード上のキーを順次押下した場合のキー操作パターンを記録する方法及び装置に関する。
【背景技術】
【０００２】
一般に、携帯電話などの携帯端末では、キーボード上のキーを順次押下した場合の各種のキー操作パターンに応じて、それぞれ動作する複数のプログラムが組み込まれるので、設計途中や出荷時などにおいて各キー操作パターンに応じたプログラムが設計どおりに動作するか否かを表示画面を見ることにより、バグの有無をテストする作業を行う。しかしながら、実際の携帯端末（実機）のキーボードを人手で操作して、キー操作パターンに応じた画面が設計どおりに表示されるかを見ながら作業を行う場合、キー操作パターンを入力操作しながら、そのキー操作パターンを紙やＰＣ（パーソナルコンピュータ）に記録する作業を行うと、非常に煩雑な作業が必要になるので、キー操作パターンの入力及び記録を自動化する必要がある。なお、かかる従来の技術を示す文献は発見されていない。
【０００３】
キー操作パターンの入力及び記録を自動化する従来の第１の方法としては、ＰＣの画面上に携帯端末の疑似キーボードを表示して、この疑似キーボードに対してマウスなどにより所望のキー操作パターンを登録し、これを実機に入力してプログラムを動作させる方法が考えられる。しかしながら、この方法では、ＰＣを実機に配線接続する必要があり、また、近年の携帯端末は高実装化が進み、外部と配線接続することが困難な場合が多くなっている。
【０００４】
そこで、上記問題点を解決する従来の第２の方法としては、実機のキーボードに対して自動的に押下するピンを備えたピンロボットと、このピンロボットを動作させるために、あらかじめ設定したキー操作パターンのプログラムを用い、ピンロボットをこのプログラムにより動作させる方法が考えられる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の方法では、任意のキー操作パターンに対するプログラムが単に正常に動作していることは確認することができるが、実機のキーボードと同じ操作感覚でプログラムが正常に動作しているか否かを確認することができず、例えばプログラムの動作が所望の速度より遅い場合などを発見することができないという問題点がある。また、各種のキー操作パターンをあらかじめプログラム入力する必要があるので、余分な作業が必要になる。
【０００６】
本発明は上記の問題点に鑑み、キー操作パターンに応じたプログラムが設計どおりに動作するか否かをテストする作業を行う場合に、実機のキーボードと同じ操作感覚でプログラムが正常に動作しているか否かを確認することができる携帯端末のキー操作パターン記録方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のキー操作パターン記録方法は上記目的を達成するために、
撮像手段により撮像して画像認識可能なマーカを携帯端末のキーボードを押下する操作者の指に設けるとともに、前記指が前記キーボードを押下する際に前記操作者が押下するスイッチを前記キーボードの反対側に設け、
前記キーボードを前記撮像手段により撮像して前記スイッチを押下したときの前記キーボードの基準位置と前記マーカの位置を画像認識し、
前記画像認識した前記キーボードの基準位置と前記マーカの位置に基づいて前記指により押下されたキーを判別し、
前記判別結果に基づいて前記指により順次押下されたキーの操作パターンを記録するようにした。
【０００８】
また、本発明のキー操作パターン記録装置は上記目的を達成するために、
携帯端末のキーボードと画像認識可能に前記携帯端末のキーボードを押下する操作者の指に設けられたマーカとを撮像する撮像手段と、
前記キーボードの反対側に設けられ、前記指が前記キーボードを押下する際に押下するスイッチと、
前記キーボードを前記撮像手段により撮像して前記スイッチが押下されたときの前記キーボードの基準位置と前記マーカの位置を画像認識する画像認識手段と、
画像認識した前記キーボードの基準位置と前記マーカの位置に基づいて前記指により押下されたキーを判別する押下キー判別手段と、
前記押下キー判別手段により判別された結果に基づいて前記指により順次押下されたキーの操作パターンを記録するキー操作パターン記録手段とを、
備えた構成とした。
【０００９】
また、前記キーボードの基準位置は、前記撮像手段により撮像して画像認識可能な基準位置マーカを前記キーボードの任意の２点に設けることにより、又は、前記撮像手段により撮像して画像認識可能な任意の２つのキーにより判別する。
【００１０】
上記の方法及び装置によれば、キーボードを押下しながら自動的にキー操作パターンを記録することができるので、実機のキーボードと同じ操作感覚でプログラムが正常に動作しているか否かを確認することができる。
【発明の効果】
【００１１】
本発明によれば、キーボードを押下しながら自動的にキー操作パターンを記録することができるので、実機のキーボードと同じ操作感覚でプログラムが正常に動作しているか否かを確認することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る携帯端末のキー操作パターン記録装置の実施の形態を正面から見た構成図、図２は図１のキー操作パターン記録装置を側面から見た構成図、図３は図１のキー操作パターン記録装置を示すブロック図、図４は図１のキー操作パターン記録装置の動作を説明するためのフローチャートである。
【００１３】
図１では、携帯端末の一例として携帯電話機１のキーボード２を操作してキー操作パターンに応じた携帯電話機１のプログラムを動作させ、動作プログラムに応じた画面をディスプレイ３に表示させ、キー操作パターンに応じた表示画面が表示されているか否かをテストする。このため、キーボード２の対角線上の２点に基準位置を示す基準位置マーカ４ａ、４ｂを貼付するとともに、キーボード２の押下キーを検出するためにキーボード２を押下するオペレータの指の爪の位置（押下位置の反対側）に押下キー検出マーカ４ｃを貼付する。また、キーボード２の反対側、すなわち携帯端末のケーシングの裏側には図２に示すように、オペレータ（操作者）がキーボード２を押下したことを検出するための押下伝達スイッチ（ＳＷ）１１が設けられる。
【００１４】
上記構成において、オペレータが押下キー検出マーカ４ｃが貼付された指でキーボード２の任意のキーを押下するとともに、別の指で押下伝達スイッチ１１を押下すると、押下ごとに基準位置マーカ４ａ、４ｂと押下キー検出マーカ４ｃがカメラ１２により撮像される。マーカ４ａ、４ｂ、４ｃの構成としては、カメラ１２としてカラーカメラを用いれば、携帯電話機１の筐体の色と異なる色のシールなどにより画像認識することができる。
【００１５】
カメラ１２により撮像された画像データは、図３に示すようにＰＣ（パーソナルコンピュータ）１３内に画像ボード１４を介して取り込まれ、また、押下伝達スイッチ１１の操作信号はＰＣ１３内にＤＩＯ（デジタルＩ／Ｏ）１５を介して取り込まれる。ＰＣ１３では、図４に流れを示すように、処理部１６により押下伝達スイッチ１１を押下した時のマーカ４ａ、４ｂ、４ｃの位置を画像認識し、画像認識した位置に基づいて指が押下したキーを判別し、判別結果に基づいてオペレータの指が順次押下したキーの操作パターンを記録する。
【００１６】
図４において、まず、押下伝達スイッチ１１がオンか否かを判別する（ステップＳ１）。そして、押下伝達スイッチ１１がオンになると画像を取り込み（ステップＳ２）、次いで画像を認識する（ステップＳ３）。次いでマーカ４ａ、４ｂの位置によりキーボード２の基準位置を検出し（ステップＳ４）、次いでその基準位置に対する押下キー検出マーカ４ｃのｘｙ座標を認識してキーボード２の押下キーを検出する（ステップＳ５）。次いでその押下キーを記録し（ステップＳ６）、次いでステップＳ１に戻ることにより押下キーの一連の操作パターンを記憶する。
【００１７】
このような構成によれば、オペレータが実際のキーボード２を操作してキー操作パターンに応じたプログラムが設計どおりに動作するか否かをディスプレイ３の表示画面を見ながらテストする作業を行うことができるので、実機のキーボードと同じ操作感覚でプログラムが正常に動作しているか否かを確認することができる。
【００１８】
なお、上記の実施の形態では、キーボード２の基準位置を検出するために基準位置マーカ４ａ、４ｂを貼付したが、キーボード２の任意の２つのキーや画像認識しやすい位置を基準位置として検出してもよい。
【産業上の利用可能性】
【００１９】
本発明によれば、キーボードを押下しながら自動的にキー操作パターンを記録することができるので、実機のキーボードと同じ操作感覚でプログラムが正常に動作しているか否かを確認することができ、よって本発明は携帯端末の設計や生産などに利用可能である。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る携帯端末のキー操作パターン記録装置の実施の形態を正面から見た構成図
【図２】図１のキー操作パターン記録装置を側面から見た構成図
【図３】図１のキー操作パターン記録装置を示すブロック図
【図４】図１のキー操作パターン記録装置の動作を説明するためのフローチャート
【符号の説明】
【００２１】
１  携帯電話機
２  キーボード
３  ディスプレイ
４ａ、４ｂ  基準位置マーカ
４ｃ  押下キー検出マーカ
１１  押下伝達スイッチ（ＳＷ）
１２  カメラ
１３  ＰＣ（パーソナルコンピュータ）
１４  画像ボード
１５  ＤＩＯ（デジタルＩ／Ｏ）
１６  処理部
【図１】
2005044114.tif 000003
【図２】
2005044114.tif 000004
【図３】
2005044114.tif 000005
【図４】
2005044114.tif 000006