(57)【特許請求の範囲】
【請求項１】
少なくとも１つのマーカーセットと、前記マーカーセットを撮像できる位置に配置された少なくとも１つの撮像装置と、前記撮像装置と同期して点滅する発光装置と、から構成されるマーカー検出システムであって、
前記マーカーセットは、
（Ａ）前記マーカーセットの機能と、前記マーカーセットにおける基準位置を規定する識別マーカーと、
（Ｂ）前記識別マーカーから任意の位置に配置され、人の操作の直接の対象となる複数のスイッチマーカーと、
（Ｃ）前記スイッチマーカーとの任意の組み合わせによって同時に隠されることで、人の意志による操作のみの検出を補助する補助マーカーと、
からなり、
（Ａ），（Ｂ），（Ｃ）の各マーカーには、再帰性反射素材を用い、
前記発光装置で前記マーカーセットを照射した時の画像と、前記発光装置で前記マーカーセットを照射しない時の画像を交互に出現させる時系列画像を、前記撮像装置で撮像する手段と、
前記撮像装置へ入力した前記時系列画像を、フレーム差分法により二値化し、得られた二値画像から変化の大きい部分をマーカーとして検出する、前記識別マーカーを検出する手段と、
前記識別マーカーとの予め決められた相対位置から、前記スイッチマーカーと、前記スイッチマーカーに対応する前記補助マーカーの操作を、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、認識する操作認識手段と、
前記操作認識手段において判定された結果を出力する手段と、
からなることを特徴とするマーカー検出システム。
【請求項２】
前記補助マーカーは、前記スイッチマーカーを囲むように配置され、多方向からの操作を可能としたことを特徴とする請求項１に記載のマーカー検出システム。
【請求項３】
前記スイッチマーカーには、タッチポイントを認識しやすくするために凹凸を付けたことを特徴とする請求項１または請求項２の何れか１項に記載のマーカー検出システム。
【請求項４】
前記マーカーセットの操作において、
一方のマーカーセットのスイッチマーカーおよび前記スイッチマーカーに対応する補助マーカーの操作と、種類の異なる他方のマーカーセットのスイッチマーカーおよび前記スイッチマーカーに対応する補助マーカーの操作を組み合わせることにより、認識される操作選択のパターンが増すことを特徴とする請求項１乃至請求項３の何れか１項に記載のマーカー検出システム。
【請求項５】
前記マーカーセットの操作において、
前記スイッチマーカーおよびそれに対応する前記補助マーカーが隠される比率を追跡することにより、操作を認識することを特徴とする請求項１乃至請求項３の何れか１項に記載のマーカー検出システム。
【請求項６】
少なくとも１つのマーカーセットであり、（Ａ）前記マーカーセットの機能と、前記マーカーセットにおける基準位置を規定する識別マーカーと、（Ｂ）前記識別マーカーから任意の位置に配置され、人の操作の直接の対象となる複数のスイッチマーカーと、（Ｃ）前記スイッチマーカーとの任意の組み合わせによって同時に隠されることで、人の意志による操作のみの検出を補助する補助マーカーと、からなり、（Ａ）、（Ｂ）、（Ｃ）の各マーカーには、再帰性反射素材を用いる前記マーカーセットに対し、発光手段により照射し、前記マーカーセットからの反射光を撮像して、時系列画像を撮像する撮像段階と、
前記撮像段階により撮像された時系列画像をフレーム差分法により二値画像に変換する二値化処理段階と、
前記二値画像から前記識別マーカーを検出する識別マーカー検出段階と、
検出された前記識別マーカーより前記スイッチマーカーの位置を検出し、前記二値画像から前記スイッチマーカーに対する操作が行われたかどうかを、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、判断するスイッチマーカー状態確認段階と、
前記スイッチマーカー状態確認段階で、前記スイッチマーカーの操作が検出された場合には、判定された結果を出力し、前記スイッチマーカーの操作が検出されない場合には、前記撮像段階に戻る段階と、
を備えることを特徴とするマーカー検出方法。
【請求項７】
請求項６に記載のマーカー検出方法をコンピュータに実行させるプログラム。
【請求項８】
請求項７に記載のプログラムを格納したコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人のマーカー操作を検出するためのマーカー検出システム、これを用いたマーカー検出方法、プログラム及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
様々な機器のリモコン操作において、従来の機器操作検出システムでは、スイッチ、タッチパネル、光遮断センサー等を用い、何らかの配線を必要としていたが、近年これらをマーカーと画像処理によって代替する技術も普及している。【０００３】
特許文献１では、カメラで撮影した手指の形状および動きを検出することによってスイッチ操作の認識を行う技術が開示されている。【０００４】
一方、特許文献２は、操作者が指示したポイントを画像処理により検出し、検出した箇所にカーソルを表示するという発明を開示している。【０００５】
さらに、特許文献３では、特定エリアへの移動物体の存否を検出するために、フレーム差分法に基づき得られた画像データを二値化処理するシステムを開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１７１４７６
【特許文献２】特開平１１−３４５０８５
【特許文献３】特開２００７−１６４３７５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の画像処理による検出システムでは、手指の形状及び動きの個人差や、陰などによる操作の誤認識が懸念される。従って、本発明の課題は、安価かつ精度の高いマーカー検出システム、これを用いたマーカー検出方法及びコンピュータ可読媒体を提供することである。
【課題を解決するための手段】
【０００８】
前記課題を解決するために創案された本発明のマーカー検出システムは、少なくとも１つのマーカーセットと、マーカーセットを撮像できる位置に配置された少なくとも１つの撮像装置と、撮像装置と同期して点滅する発光装置とから構成されるマーカー検出システムであって、マーカーセットは、（Ａ）マーカーセットの機能と、マーカーセットにおける基準位置を規定する識別マーカーと、（Ｂ）識別マーカーから任意の位置に配置され、人の操作の直接の対象となる複数のスイッチマーカーと、（Ｃ）スイッチマーカーとの任意の組み合わせによって同時に隠されることで、人の意志による操作のみの検出を補助する補助マーカーとからなり、（Ａ），（Ｂ），（Ｃ）の各マーカーには、再帰性反射素材を用い、発光装置でマーカーセットを照射した時の画像と、しない時の画像を交互に出現させる時系列画像を、撮像装置で撮像する手段と、撮像装置へ入力した時系列画像を、フレーム差分法により二値化し、得られた二値画像から変化の大きい部分をマーカーとして検出する、識別マーカーを検出する手段と、識別マーカーとの予め決められた相対位置から、スイッチマーカーと、スイッチマーカーに対応する補助マーカーの操作を、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、認識する操作認識手段と、操作認識手段において判定された結果を出力する手段とからなる。【０００９】
また、補助マーカーをスイッチマーカーを囲むように配置してもよく、多方向からの操作を可能とすることができる。【００１０】
更に、スイッチマーカーには、タッチポイントを認識しやすくするために凹凸を付けてもよい。【００１１】
また、マーカーセットの操作において、一方のマーカーセットのスイッチマーカーおよびそれに対応する補助マーカーの操作と、種類の異なる他方のマーカーセットのスイッチマーカーおよびそれに対応する補助マーカーの操作を組み合わせることにより、認識される操作選択のパターンを増すことができる。【００１２】
更に、マーカーセットの操作において、スイッチマーカーおよびそれに対応する補助マーカーが隠される比率を追跡することにより、操作を認識することができる。【００１３】
本発明のマーカー検出方法は、マーカーセットを発光手段により照射し、反射光を撮像して、時系列画像を撮像する撮像段階と、撮像段階により撮像された時系列画像をフレーム差分法により二値画像に変換する二値化処理段階と、二値画像から識別マーカーを検出する識別マーカー検出段階と、検出された識別マーカーよりスイッチマーカーの位置を検出し、二値画像からスイッチマーカーに対する操作が行われたかどうかを、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、判断するスイッチマーカー状態確認段階と、スイッチマーカー状態確認段階でスイッチマーカーの操作が検出された場合には、判定された結果を出力し、スイッチマーカーの操作が検出されない場合には、撮像段階に戻る段階とを備える。【００１４】
本発明のプログラムは、上記のマーカー検出方法をコンピュータに実行させるプログラムである。【００１５】
本発明のコンピュータ可読媒体は、上記のプログラムを格納したコンピュータ可読媒体である。
【発明の効果】
【００１６】
本発明によると、再帰性反射素材を用いた識別マーカー、スイッチマーカーおよび補助マーカーからなるマーカーセットの操作を、赤外線ストロボによる照射を利用した画像処理により、配線を必要としないだけでなく、処理量を大幅に削減できる安価かつ精度の高い各種機器のスイッチ操作が可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明のマーカー検出システムの実施形態の構成を示す概略図である。
【図２】スイッチマーカーと補助マーカーの操作例を示す図である。
【図３】スイッチマーカーと補助マーカーの操作例を示す図である。
【図４】凹凸を付けたスイッチマーカーの断面図である。
【図５】２つのマーカーセットを同時に操作する例を示す図である。
【図６】スイッチマーカーと補助マーカーのスライド操作を検出する図である。
【発明を実施するための最良の形態】
【００１８】
添付の図面を参照して、以下に本発明に係るマーカー検出システムの一実施形態について説明する。なお、本発明においてマーカー検出システムとは、撮像装置から、発光装置を用いて撮像したマーカーセットの時系列画像を取り込み、操作の検出を行うシステムである。また、各マーカーセットは、マーカーセットの機能とマーカーセットにおける基準位置を規定する識別マーカーと、識別マーカーから任意の位置に配置され、人の操作の直接の対象となる複数のスイッチマーカーと、スイッチマーカーとの任意の組み合わせによって同時に隠されることで、人の意志による操作のみの検出を補助する補助マーカーからなる。【００１９】
さらに、本発明における撮像装置は、特に赤外線カメラであり、発光装置は、赤外線ストロボである。赤外線を用いることにより、外乱光の影響が軽減され、特に暗い場所において目的のマーカーのみを検出することが可能となる。【００２０】
図１は、本発明のマーカー検出システム１００の構成を示す概略図であり、図２は、スイッチマーカーと補助マーカーの操作例を示す図であり、図３は、スイッチマーカーと補助マーカーのもう一つの操作例を示す図であり、図４は、凹凸を付けたスイッチマーカーの断面図であり、図５は、２つのマーカーセットを同時に操作する例を示す図であり、図６は、スイッチマーカーと補助マーカーのスライド操作を各マーカーが隠される比率により検出する図である。【００２１】
まず、図１を参照して、本発明のマーカー検出システム１００について説明する。マーカーセットは赤外線カメラ１で撮像可能な位置に配置され、赤外線ストロボ２でマーカーセットを照射した時の画像と、マーカーセットを照射しない時の画像を交互に出現させる時系列画像を撮像する。赤外線カメラ１から時系列画像入力部１０へ入力された時系列画像は、二値画像処理部２０においてフレーム差分法により二値化され、得られた二値画像から変化の大きい部分をマーカーとして検出する。この際、まず識別マーカー検出部３０によりマーカーセットの特徴を規定する識別マーカーが検出される。次に、スイッチマーカー及び補助マーカー検出部４０にて識別マーカーとの予め決められた相対位置から、それぞれのスイッチマーカー及び補助マーカーが見えているかどうか確認する。その後、操作認識部５０において、検出されたスイッチマーカーと補助マーカーの操作を、予め設定されたスイッチマーカーおよび補助マーカーの操作パターンサンプルと比較し、操作を認識する。該操作が操作パターンサンプルと一致していれば、コマンド発行・出力部６０にて、判定されたコマンドを出力し、一致しなければ時系列画像入力部１０に戻り、工程が繰り返される。【００２２】
以上の機能要素のうち、時系列画像のフレーム差分法による二値化処理技術は、特許文献３等で公知であるため、これらの詳細な説明は省略する。【００２３】
また、識別マーカー、スイッチマーカー、補助マーカーを含む各マーカーを、公知の再帰性反射素材を用いて作成することにより、比較的弱い赤外線ストロボでも操作検出が可能となる。赤外線ストロボ２により照射された、再帰性反射素材を用いた各マーカーは、入射角と概ね同じ方向に反射し、赤外線カメラ１と同期して点滅した部分として検出されるが、太陽光などの外乱光源は常時画像又は同期しない画像部分となる。【００２４】
以上、本発明のマーカー検出システム１００の機能を説明した。次に、マーカーセットの配置例および操作例を説明する。【００２５】
図２のスイッチマーカーと補助マーカーの操作例を示す図では、スイッチマーカーとそれに対応する補助マーカーがそれぞれＡ〜Ｃまで配置され、操作者がＢのスイッチマーカーを選択した場合を表している。この時、補助マーカーＢも同時に隠されることにより、操作が意図的になされたものと判断できる。例えば、スイッチマーカーＢが隠されていても、補助マーカーＡ又はＣが同時に隠されていたり、あるいは補助マーカーが全く隠されていない場合は、マーカーＢが選択されたと判断されない。【００２６】
図３に示すスイッチマーカーと補助マーカーのもう一つの操作例においては、スイッチマーカーが補助マーカーで囲まれており、例えばテーブルの上などにマーカーセットが配置された際に、多方向からの操作が可能となる。【００２７】
図４に示すスイッチマーカーに凹凸を付けた例では、このように配置することによって、スイッチマーカーの中心部を認識しやすくなり、個人差による操作の誤認識を防ぐことが出来る。例えば、図３のようにスイッチマーカーを補助マーカーで囲んで配置した場合には、スイッチマーカーが平面であると、意識的な操作であっても、指先がスイッチマーカーを超えて補助マーカーに掛かりやすく、操作が認識されない可能性があるが、凹凸があれば、指先を乗せるべき場所が認識しやすく誤認識の確率が軽減される。【００２８】
図５の２つのマーカーセットを同時に操作する例では、複数のマーカーセットを配置することにより、マーカーセットＡで機能を選択した後、さらにマーカーセットＢで別の機能を選択することが可能である。この結果、操作選択のパターンを増やすことができる。例えば、マーカーセットＡでテレビやステレオ等の機器を選択した後、マーカーセットＢでチャンネル変更等のさらに細かい機能を選択できる。【００２９】
図６に示すスイッチマーカーと補助マーカーのスライド操作を検出する図では、各マーカーが隠される比率を追跡することにより操作を検出する。この場合、スイッチマーカー及び補助マーカーが初めに隠された時点からの履歴を基に、予め設定された変化パターンと比較し、操作認識が行われる。図６では、スイッチマーカーとそれに対応する補助マーカーＡ〜Ｄが順に隠されることにより、例えば、オーディオ機器のボリュームなどの機能を変化させることが可能となる。【００３０】
さらに、それぞれのマーカーセットは、常に隠されない識別マーカーの形状によって機能が検出されるため、赤外線カメラ１と赤外線ストロボ２によって規定以上の解像度で撮像可能な範囲にある限り、可動部に設置することが可能である。【００３１】
以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能である。したがって、本発明の範囲は、説明された実施形態によって定められず、特許請求の範囲に記載された技術的趣旨により定められねばならない。
【符号の説明】
【００３２】
１      赤外線カメラ
２      赤外線ストロボ
１０    時系列画像入力部
２０    二値画像処理部
３０    識別マーカー検出部
４０    スイッチマーカーおよび補助マーカー検出部
５０    操作確認識部
６０    コマンド発行・出力部
１００  マーカー検出システム
【図１】
0005629766.tif 000002
【図２】
0005629766.tif 000003
【図３】
0005629766.tif 000004
【図４】
0005629766.tif 000005
【図５】
0005629766.tif 000006
【図６】
0005629766.tif 000007