(57)【特許請求の範囲】
【請求項１】
１つのスイッチの外周がちょうど納まる領域を基本領域として、撮像手段によりスイッチを撮像し、前記撮像手段からの入力画像により、前記スイッチが指により隠されていると判断した場合に、前記スイッチが押下されたと判定するスイッチ押下判定システムであって、
前記基本領域を所定のピクセル数任意の方向にずらして判定領域とし、前記判定領域を任意の数作成する判定領域作成手段と、
前記基本領域の画像と前記判定領域の画像を二値化処理する二値化処理手段と、
前記二値化処理手段により二値化された画像と比較して前記スイッチが押下されたか否か判断する判定基準値が保存されている判定基準値保存部と、
前記二値化処理手段により二値化された画像と前記判定基準値を比較して、前記基本領域と前記判定領域の二値化画像のうち少なくとも１つが前記判定基準値に当てはまる場合、前記スイッチが押下されたと判断する二値化画像判断手段と、
を備えることを特徴とするスイッチ押下判定システム。
【請求項２】
前記二値化画像判断手段は、複数の連続するフレーム画像を用いて前記スイッチが押下されたか否かの判定を行うことを特徴とする請求項１に記載のスイッチ押下判定システム。
【請求項３】
前記基本領域を所定のピクセル数、上、下、左、右、右上、右下、左上、左下方向にずらし、８つの前記判定領域を作成する請求項１または２に記載のスイッチ押下判定システム。
【請求項４】
前記二値化画像判断手段によりスイッチが押下されたと判断された場合、前記基本領域と前記判定領域の二値化画像の全てが前記判定基準値に当てはまる場合、前記判断を無効にし、前記二値化画像判断手段は、前記スイッチの押下がないと判断することを特徴とする請求項１乃至３の何れか一項に記載のスイッチ押下判定システム。
【請求項５】
前記基本領域を任意の方向にずらすピクセル数は、４ピクセル以下であることを特徴とする請求項１乃至４の何れか一項に記載のスイッチ押下判定システム。
【請求項６】
前記二値化画像判断手段により前記スイッチが押下されたと判断された場合、音や画像でフィードバックを出力するフィードバック出力手段を更に備えることを特徴とする請求項１乃至５の何れか一項に記載のスイッチ押下判定システム。
【請求項７】
１つのスイッチの外周がちょうど納まる領域を基本領域として、撮像手段によりスイッチを撮像し、前記撮像手段からの入力画像により、前記スイッチが指により隠されていると判断した場合に、前記スイッチが押下されたと判定するスイッチ押下判定方法であって、
前記基本領域を所定のピクセル数任意の方向にずらして判定領域とし、前記判定領域を任意の数作成する判定領域作成段階と、
前記基本領域の画像と前記判定領域の画像を二値化処理する二値化処理段階と、
前記二値化処理段階により二値化された画像と前記スイッチが押下されたか否か判断する判定基準値を比較して、前記基本領域と前記判定領域の二値化画像のうち少なくとも１つが前記判定基準値に当てはまる場合、前記スイッチが押下されたと判断する二値化画像判断段階と、
を含むことを特徴とするスイッチ押下判定方法。
【請求項８】
前記二値化画像判断段階は、複数の連続するフレーム画像を用いて前記スイッチが押下されたか否かの判定を行うことを特徴とする請求項７に記載のスイッチ押下判定方法。
【請求項９】
前記基本領域を所定のピクセル数、上、下、左、右、右上、右下、左上、左下方向にずらし、８つの前記判定領域を作成する請求項７または８に記載のスイッチ押下判定方法。
【請求項１０】
前記二値化画像判断段階によりスイッチが押下されたと判断された場合、前記基本領域と前記判定領域の二値化画像の全てが前記判定基準値に当てはまる場合、前記判断を無効にし、前記二値化画像判断段階は、前記スイッチの押下がないと判断することを特徴とする請求項７乃至９の何れか一項に記載のスイッチ押下判定方法。
【請求項１１】
前記基本領域を任意の方向にずらすピクセル数は、４ピクセル以下であることを特徴とする請求項７乃至１０の何れか一項に記載のスイッチ押下判定方法。
【請求項１２】
前記二値化画像判断段階により前記スイッチが押下されたと判断された場合、音や画像でフィードバックを出力するフィードバック出力段階を更に含むことを特徴とする請求項７乃至１１の何れか一項に記載のスイッチ押下判定方法。
【請求項１３】
請求項７乃至１２の何れか一項に記載のスイッチ押下判定方法をコンピュータに実行させるプログラム。
【請求項１４】
請求項１３に記載のプログラムを格納したコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人のスイッチ操作を検出するためのスイッチ押下判定システム、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体に関する。
【背景技術】
【０００２】
様々な機器の操作検出システムにおいて、近年、スイッチ、タッチパネル、光遮断センサー等の配線を必要とするものに加え、画像処理を用いて配線を不要とした技術も普及している。
【０００３】
特許文献１では、カメラで撮影した手指の形状および動きを検出することによってスイッチ操作の認識を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７１４７６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の画像処理による機器操作検出システムでは、スイッチ位置判定が厳密で、手指の形状及び動きの個人差による操作の誤認識が懸念され、操作しにくいという問題があった。従って、本発明の課題は、操作の個人差を考慮したスイッチ押下判定システム、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体を提供することである。
【課題を解決するための手段】
【０００６】
前記課題を解決するために創案された請求項１の発明は、１つのスイッチの外周がちょうど納まる領域を基本領域として、撮像手段によりスイッチを撮像し、前記撮像手段からの入力画像により、前記スイッチが指により隠されていると判断した場合に、前記スイッチが押下されたと判定するスイッチ押下判定システムであって、前記基本領域を所定のピクセル数任意の方向にずらして判定領域とし、前記判定領域を任意の数作成する判定領域作成手段と、前記基本領域の画像と前記判定領域の画像を二値化処理する二値化処理手段と、前記二値化処理手段により二値化された画像と比較して前記スイッチが押下されたか否か判断する判定基準値が保存されている判定基準値保存部と、前記二値化処理手段により二値化された画像と前記判定基準値を比較して、前記基本領域と前記判定領域の二値化画像のうち少なくとも１つが前記判定基準値に当てはまる場合、前記スイッチが押下されたと判断する二値化画像判断手段とを備えることを特徴とするスイッチ押下判定システムである。
【０００７】
前記課題を解決するために創案された請求項２の発明は、前記二値化画像判断手段は、複数の連続するフレーム画像を用いて前記スイッチが押下されたか否かの判定を行うことを特徴とする請求項１に記載のスイッチ押下判定システムである。
【０００８】
前記課題を解決するために創案された請求項３の発明は、前記基本領域を所定のピクセル数、上、下、左、右、右上、右下、左上、左下方向にずらし、８つの前記判定領域を作成する請求項１または２に記載のスイッチ押下判定システムである。
【０００９】
前記課題を解決するために創案された請求項４の発明は、前記二値化画像判断手段によりスイッチが押下されたと判断された場合、前記基本領域と前記判定領域の二値化画像の全てが前記判定基準値に当てはまる場合、前記判断を無効にし、前記二値化画像判断手段は、前記スイッチの押下がないと判断することを特徴とする請求項１乃至３の何れか一項に記載のスイッチ押下判定システムである。
【００１０】
前記課題を解決するために創案された請求項５の発明は、前記基本領域を任意の方向にずらすピクセル数は、４ピクセル以下であることを特徴とする請求項１乃至４の何れか一項に記載のスイッチ押下判定システムである。
【００１１】
前記課題を解決するために創案された請求項６の発明は、前記二値化画像判断手段により前記スイッチが押下されたと判断された場合、音や画像でフィードバックを出力するフィードバック出力手段を更に備えることを特徴とする請求項１乃至５の何れか一項に記載のスイッチ押下判定システムである。
【００１２】
前記課題を解決するために創案された請求項７の発明は、１つのスイッチの外周がちょうど納まる領域を基本領域として、撮像手段によりスイッチを撮像し、前記撮像手段からの入力画像により、前記スイッチが指により隠されていると判断した場合に、前記スイッチが押下されたと判定するスイッチ押下判定方法であって、前記基本領域を所定のピクセル数任意の方向にずらして判定領域とし、前記判定領域を任意の数作成する判定領域作成段階と、前記基本領域の画像と前記判定領域の画像を二値化処理する二値化処理段階と、前記二値化処理段階により二値化された画像と前記スイッチが押下されたか否か判断する判定基準値を比較して、前記基本領域と前記判定領域の二値化画像のうち少なくとも１つが前記判定基準値に当てはまる場合、前記スイッチが押下されたと判断する二値化画像判断段階と、を含むことを特徴とするスイッチ押下判定方法である。
【００１３】
前記課題を解決するために創案された請求項８の発明は、前記二値化画像判断段階は、複数の連続するフレーム画像を用いて前記スイッチが押下されたか否かの判定を行うことを特徴とする請求項７に記載のスイッチ押下判定方法である。
【００１４】
前記課題を解決するために創案された請求項９の発明は、前記基本領域を所定のピクセル数、上、下、左、右、右上、右下、左上、左下方向にずらし、８つの前記判定領域を作成する請求項７または８に記載のスイッチ押下判定方法である。
【００１５】
前記課題を解決するために創案された請求項１０の発明は、前記二値化画像判断段階によりスイッチが押下されたと判断された場合、前記基本領域と前記判定領域の二値化画像の全てが前記判定基準値に当てはまる場合、前記判断を無効にし、前記二値化画像判断段階は、前記スイッチの押下がないと判断することを特徴とする請求項７乃至９の何れか一項に記載のスイッチ押下判定方法である。
【００１６】
前記課題を解決するために創案された請求項１１の発明は、前記基本領域を任意の方向にずらすピクセル数は、４ピクセル以下であることを特徴とする請求項７乃至１０の何れか一項に記載のスイッチ押下判定方法である。
【００１７】
前記課題を解決するために創案された請求項１２の発明は、前記二値化画像判断段階により前記スイッチが押下されたと判断された場合、音や画像でフィードバックを出力するフィードバック出力段階を更に含むことを特徴とする請求項７乃至１１の何れか一項に記載のスイッチ押下判定方法である。
【００１８】
前記課題を解決するために創案された請求項１３の発明は、請求項７乃至１２の何れか一項に記載のスイッチ押下判定方法をコンピュータに実行させるプログラムである。
【００１９】
前記課題を解決するために創案された請求項１４の発明は、請求項１３に記載のプログラムを格納したコンピュータ可読媒体である。
【００２０】
請求項１および７の発明では、入力画像の基本領域から任意のピクセル数、任意の方向にずらして判定領域に含めるため、操作の個人差を考慮でき、意図した操作にも関わらず、スイッチが押下されたと判断されないケースを大幅に軽減することができる。
【００２１】
請求項２および８の発明では、連続した複数枚のフレーム画像を用いることにより、ノイズを防ぐことができ、意図しない操作にも関わらず、スイッチが押下されたと判断されるケースを大幅に軽減することができる。
【００２２】
請求項３および９の発明では、判定領域を、基本領域から８方向に任意のピクセル数ずらすことで、操作の個人差を考慮できるため、意図した操作にも関わらず、スイッチが押下されたと判断されないケースを大幅に軽減することができる。
【００２３】
請求項４および１０の発明では、全ての判定領域においてスイッチが押下されたと判断された場合には、スイッチの操作を無効と判断することで、意図しない操作の誤判定を防ぐことができる。
【００２４】
請求項５および１１の発明では、基本領域から任意の方向にずらす判定領域のピクセル数を４ピクセル以下とすることで、意図しない操作の誤判定を軽減することができる。
【００２５】
請求項６および１２の発明では、スイッチが押下されたと判断された場合に何らかのフィードバックを出力させることで、操作者に操作が正しく判断されたか否かを知らせることができる。
【００２６】
請求項１３の発明は、本発明をプログラムの形態で提供している。
【００２７】
請求項１４の発明は、本発明をコンピュータ可読媒体の形態で提供している。
【発明の効果】
【００２８】
本発明によると、それぞれのスイッチの基本領域から所定のピクセル数ずらした領域を判定領域として含むため、スイッチの押下判定の判断が厳しくなりすぎず、操作の個人差を考慮した判断が可能となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の一実施形態に係るスイッチ押下判定システムの機能ブロック図である。
【図２】本発明の一実施形態に係るマーカーセットを示す図である。マーカーセットは基準位置を規定するマーク（以下、識別マーカーと呼ぶ）と、操作の直接の対象となるスイッチ（以下、スイッチと呼ぶ）とから構成される。
【図３】本発明の一実施形態に係るスイッチ押下判定システムの基本領域及び判定領域を示す図である。
【図４】本発明の一実施形態に係るスイッチ押下判定方法のフロー図である。
【図５】本発明の別の実施形態に係るスイッチ押下判定方法のフロー図である。
【発明を実施するための形態】
【００３０】
本発明の一実施形態に係るスイッチ押下判定システムの構成や機能について添付図面を参照して以下に詳細に説明する。
本発明においてスイッチ押下判定システムとは、撮像手段により撮像したマーカーセットの画像を介してユーザの指先、所定の専用ツールなどが選択したスイッチを認識し、この認識したスイッチに対応する操作コマンドを当該処理装置に送る機能を有する。
すなわち、ユーザはカメラ等に撮像されるスイッチを指先などで隠す（本発明では「押下する」と表現する）ことで、処理装置に所望の操作を行わせることができる。また、本発明の一実施形態に係るマーカーセットは、マーカーセットの機能とマーカーセットにおける基準位置を規定する識別マーカーと、識別マーカーから任意の位置に配置され、人の操作の直接の対象となる一つ以上のスイッチとからなる。
【００３１】
図１は、本発明の一実施形態に係るスイッチ押下判定システム１０００の機能ブロックを示している。図示のように、スイッチ押下判定システム１０００は、機能要素として、フレーム画像受信部１０と、二値画像処理部２０と、識別マーカー検出部３０と、スイッチ検出部４０と、スイッチ押下判定部５０と、フィードバック出力部６０と、コマンド出力部７０と、データ格納部８０とから構成される。また、当該システムの入力部には撮像手段が接続され、出力部には処理手段が接続されている。撮像手段は、任意の場所に位置するマーカーセットを所定のフレームレートで撮像し、その撮像したデータを所定の形式の画像データとしてリアルタイムに出力する機能を有する。この撮像手段として、汎用カメラを用いてよい。一方、処理手段には汎用コンピュータを用いてよく、スイッチ押下判定システム１０００をその処理手段の機能の一部によって実現してもよい。なお、スイッチを操作する被認識物体は特定のものに限定されるものではないが、ユーザの指先、棒状のツールの先等であることが好ましい。本実施形態では被認識物体を「ユーザの指先」とする。
【００３２】
図２は、本発明の一実施形態に係るマーカーセットを示しており、ステアリングホイールに適用したものである。ここでは、左右にそれぞれ識別マーカーと３つのスイッチを備えたマーカーセットを搭載した。
【００３３】
［フレーム画像受信部］
フレーム画像受信部１０は、撮像装置から画像データをリアルタイムに受け取る機能を有する。具体的には、撮像手段が生成した所定の形式の画像データをフレーム画像単位で受け取り、必要に応じてそのフレーム画像のデータを二値画像処理部２０に送信する。二値画像処理部２０に送信するフレーム画像データはノイズを防ぐために複数枚とするのが好ましく、何フレームの画像を用いるかは撮像レートなどにより変動するため、システムによって適宜調整可能である。
【００３４】
［二値画像処理部］
二値画像処理部２０は、フレーム画像受信部１０から受け取った複数のフレーム画像データを二値画像に変換する機能を有する。ここで、画像の二値化処理技術は、特許文献１等で公知であるため、この詳細な説明は省略する。
【００３５】
［識別マーカー検出部］
識別マーカー検出部３０は、二値画像処理部２０から受け取った複数の二値画像データを基に、マーカーセットの機能を定義づけている識別マーカーを検出する機能を有する。識別マーカーは全ての二値画像において隠されずに見えている必要がある。
【００３６】
［スイッチ検出部］
スイッチ検出部４０は、二値画像処理部２０から受け取った複数の二値画像データを基に、ユーザの指先によって押下されたスイッチ、すなわち、指先の操作を特定する機能を有する。詳細には、識別マーカーとの予め決められた相対位置から、それぞれのスイッチが見えているかどうか確認する。
【００３７】
［スイッチ押下判定部］
スイッチ押下判定部５０は、検出されたスイッチの操作を、データ格納部８０に予め保存されたスイッチの判定基準値と比較し、操作を認識する。詳細には、二値画像処理部２０から受け取ったフレーム画像データが、予め保存されたスイッチ判定基準値を満たすかどうかを検索する。満足している場合にはユーザの行った操作であると判断し、フィードバックを出力する。スイッチの操作が判定基準値を満たしていなければ、フレーム画像受信部１０に戻り、工程が繰り返される。
【００３８】
ここで、スイッチの押下判定を行う際、スイッチが押下されているか否かの判定が厳しくなりすぎないようにするため、それぞれのスイッチの基本領域（スイッチの外周をちょうど囲む領域）に対して所定の方向に任意のピクセル数移動させた領域を判定領域としてスイッチ押下判定が出来るようにする。
【００３９】
図３は、本発明の一実施形態に係るスイッチ押下判定システムの基本領域及び判定領域の集合体を示している。中心に示された太枠の正方形を１１ピクセル×１１ピクセルの基本領域とし、この基本領域から上、下、左、右、右上、右下、左上、左下方向に２ピクセルずつ移動させた計８つの領域を判定領域としている。ここでは、撮像手段の入力フレーム画像がＱＶＧＡの解像度に対して、直径７ｍｍのスイッチを判定することを想定している。基本領域および判定領域のピクセル数や移動させるピクセル数は、撮像手段の画像サイズやスイッチの大きさによって異なるため、システムによって適宜調整可能であるが、誤認識を防ぐため、移動させるピクセル数は、４ピクセル以下であることが好ましい。
【００４０】
これら計９つの基本領域と判定領域のうち、１つでも６０％以上が白く映っていれば（指により隠されていれば）、スイッチが押下されたと判定する。この判定基準値もスイッチの大きさ等によって変動するため、システムによって適宜調整されるものとする。
【００４１】
本発明の別の実施形態では、基本領域と判定領域の二値化画像の全てが判定基準値（例えば６０％）を満たす場合、二値化画像判断手段でスイッチが押下されたと判断された場合でも、この結果を無効とし、スイッチの押下はないと判断することが可能である。これにより、意図しない操作の誤認識を防ぐことができるが、スイッチの大きさによっては意図した操作であっても全ての領域で判定基準値を満たしてしまうため、システムによって適用の可否を決定するものとする。
【００４２】
［フィードバック・コマンド出力部］
フィードバック出力部６０は、スイッチの操作が判定基準値と一致していれば、音や画像などのフィードバックを出力する機能を有する。
コマンド出力部７０は、データ格納部８０にアクセスして、スイッチ押下判定部５０が特定した操作に対応するコマンドを選択して、そのコマンドを所定のフォーマットで後段の処理装置に出力する機能を有する。コマンドの例としては、特に限定するものではないが「音量を上げるまたは下げる」、「所定のプログラムを起動する」などが挙げられる。
【００４３】
［データ格納部］
データ格納部８０は、メモリ、ハードディスク、ＣＤ、ＤＶＤなどで実装される格納手段であり、所定のデータをその内部に記録する機能を有する。記録するデータの例として、
スイッチ押下判定部５０が二値化画像と比較してスイッチ押下判定を行うための「判定基準値」、コマンド出力部７０が押下されたスイッチに対応するコマンドを選択するための「スイッチとコマンドの対応データ」などである。
【００４４】
以上、本実施形態に係るスイッチ押下判定システム１０００について説明した。次は、このスイッチ押下判定システム１０００が行うスイッチ押下判定方法について図４〜図５のフロー図を参照して説明する。
【００４５】
［スイッチ押下判定方法］
図４のフロー図を参照して説明する。最初に、フレーム画像受信部１０が撮像手段からユーザの指先を撮像した複数の連続するフレーム画像をリアルタイムで受け取る（ステップＳ１００）。フレーム画像を受け取ると、二値画像処理部２０がこれらのフレーム画像を二値化処理する（ステップＳ２００）。二値画像から識別マーカーを検出する（ステップＳ３００）。識別マーカーが検出されると、その相対位置から、押下されたスイッチを検出する（ステップＳ４００）。
【００４６】
次に、スイッチ押下判定部５０が、検出されたスイッチの基本領域および判定領域のうち１つ以上が任意の判定基準値を満たすかどうかを検索する（ステップＳ５００）。満たしていた場合は、任意のフィードバックを出力し（ステップＳ６００）、さらに押下判定されたスイッチに対応するコマンドを出力する（ステップＳ７００）。ステップＳ５００で、検出されたスイッチの基本領域および判定領域のうち１つも任意の判定基準値を満たしていない場合は、再度ステップＳ１００に戻り、処理を繰り返す。
【００４７】
本発明の別の実施形態におけるステップＳ４００とステップ６００の間の処理手順について、図５のフロー図を参照して説明する。この実施形態では、図４で説明したステップＳ５００で、検出されたスイッチの基本領域および判定領域のうち１つ以上が任意の判定基準値を満たしていた場合、さらにステップＳ５１０に進み、検出されたスイッチの基本領域および判定領域の全てが判定基準値を満たしているかどうか検索する。全てが判定基準値を満たしている場合は（ステップＳ５１０でＹＥＳ）、再度ステップＳ１００に戻り、処理を繰り返す。満たしていない場合は（ステップＳ５１０でＮＯ）、ステップＳ６００の処理に進む。
以上が、本実施形態に係るスイッチ押下判定方法の処理手順である。
【００４８】
本発明の一実施形態に係るスイッチ押下判定システム１０００が適応される処理装置は特に限定するものではない。例えばパーソナルコンピュータ、携帯端末、ＡＴＭ、カーナビゲーション、自動販売機、携帯電話、ＯＡ機器等の様々な機器に適用してよい。
【００４９】
なお、本発明の一実施形態に係るスイッチ押下判定システム１０００が有する機能は、特定のハードウェア資源またはソフトウェア処理に限定されないことに留意されたい。すなわち、この機能を実現できる限り、如何なるハードウェア（電子回路等）、ソフトウェア（プログラム）、あるいはそれらの組み合わせ等を用いてよい。
【００５０】
上述した本発明の一実施形態に係るスイッチ押下判定方法を、プログラムとして実装する場合には、このプログラムを外部のサーバ等から該方法を実行する情報処理装置にダウンロードするか、あるいはコンピュータ可読媒体の形態で分配されることが好ましい。コンピュータ可読媒体の例としては、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、フレキシブルディスク、光磁気ディスク、ハードディスク、メモリ媒体などが挙げられる。
【００５１】
以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能なことは理解できるであろう。したがって、本発明の範囲は、説明された実施形態によって定められず、特許請求の範囲に記載された技術的趣旨により定められねばならない。
【符号の説明】
【００５２】
１０      フレーム画像受信部
２０      二値画像処理部
３０      識別マーカー検出部
４０      スイッチ検出部
５０      スイッチ押下判定部
６０      フィードバック出力部
７０      コマンド出力部
８０      データ格納部
１０００  スイッチ押下判定システム
【図１】
0005785876.tif 000002
【図２】
0005785876.tif 000003
【図３】
0005785876.tif 000004
【図４】
0005785876.tif 000005
【図５】
0005785876.tif 000006