(57)【要約】【課題】短時間で確実に探索可能なポインタ移動制御システムを提供し、ポインティング・デバイスとして活用できる有効な手段を提供することを課題としている。【解決手段】ディスプレイの画面上に表示するポインタの指示位置を制御して画面による操作を可能にしたポインティング・デバイスにおいて、利用者の身体の一部又は眼鏡等に装着した複数の色から構成される識別力の大きな人工マークと、該人工マークを連続的に撮影して、該撮影画像から前記人工マークの動きを検出して前記ディスプレイの画面上に表示するポインタの指示位置を制御するコントローラを具備することを特徴としている。【選択図】　図１
2004110513.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイの画面上に表示するポインタの指示位置を制御して画面による操作を可能にしたポインティング・デバイスにおいて、利用者の身体の一部又は眼鏡等に装着した複数の色から構成される識別力の大きな人工マークと、該人工マークを連続的に撮影して、該撮影画像から前記人工マークの動きを検出して前記ディスプレイの画面上に表示するポインタの指示位置を制御するコントローラを具備することを特徴とするポインタ移動制御システム。
【請求項２】
前記人工マークは所定の地色からなる外枠模様と、前記地色と色距離の大きい色とからなる色付き模様を前記外枠模様の内部に設けたことを特徴とする請求項１に記載のポインタ移動制御システム。
【請求項３】
前記人工マークは外枠模様の形状を略正多角形とし、内部模様として複数の同一色、同一サイズの円形を配置したことを特徴とする請求項１又は請求項２の何れか１に記載のポインタ移動制御システム。
【請求項４】
前記人工マークの外枠模様の地色及び内部模様の模様色は、一方の色を青色とし、他方の色を黄色としたことを特徴とする請求項１〜請求項３の何れか１に記載のポインタ移動制御システム。
【請求項５】
前記人工マークの外枠模様は６角形又は円形として、内部に７個の円形模様を配置したことを特徴とする請求項１〜請求項４の何れか１に記載のポインタ移動制御システム。
【請求項６】
前記人工マークの外枠模様は３角形として、内部に３個の円形模様を配置したことを特徴とする請求項１〜請求項４の何れか１に記載のポインタ移動制御システム。
【請求項７】
前記人工マークを利用者の額に着脱可能に装着したことを特徴とする請求項１〜請求項６の何れか１に記載のポインタ移動制御システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、計算機等の機械又は装置にデータ等を入力するためのポインティング・デバイスに関する技術分野に属する。更に具体的には、本発明は人工マークを利用してポインタの指示位置を制御する技術分野に属する。
【０００２】
【従来の技術】
従来から、計算機等のデータ入力装置としては、キーボード、マウス、トラックボール等の指先又は手を利用する装置が一般的に使用されている。しかし、利用者の手が不自由な場合、又は手が塞がっていて手を利用できない場合等において、キーボードやマウス等は利用できない。これらの場合に利用できる入力装置として、特殊な装置を施した眼鏡を装着するデータ入力装置も提案されている。しかし、このような装置の装着は煩わしいという問題点がある。
【０００３】
また、近年ポインティング・デバイスとして利用者の視線を利用したものが提案されている。例えば、公開特許公報、特開平１０−１８７３３４号に記載されているように、表示画面上の表示されているデータ等の選択要素に一意的に割り当てられた領域を利用者が注視した場合に、これを検出して選択されたデータを決定し、出力する装置である。この種の装置では利用者の視線方向にあるデータを決定する必要がある。しかし、視線方向は眼の虹彩の位置や顔の向きによって変化するために、視線方向を求める計算が複雑であるという問題点がある。即ち、虹彩の位置と顔の向きとを正確に計測することが困難であるだけでなく、それら両者から視線方向を決定することが困難であるという問題点がある。
【０００４】
これらの問題を解決したポインティング・デバイスとして、利用者の身体の一部又は利用者が身につけた物を利用して、ディスプレイの画面上に表示されているカーソル等のポインタの移動を制御する装置が提案されている。このようなポインティング・デバイスとしては、例えば公開特許公報、特開平７−９３０８９号に開示されている装置がある。図６はこの装置の概略の説明図で、利用者の鼻の移動とポインタの移動の対比を示している。即ち、６図（Ａ）はビデオカメラ１０２に撮影された撮影画像上における利用者の鼻の現在位置４０１から移動先の位置４０２（座標Ｘ１，Ｙ１）への移動を示し、図６（Ｂ）はディスプレイ１０３上のポインタの現在位置４０４から移動先の位置４０５（座標ａｘ１、ａｙ１）への移動を示す。この装置では、利用者の顔の一部（例えば鼻）や利用者が身に付けた物をポインティング・デバイスとして予め登録しておき、ディスプレイ上に表示されたポインタを移動させる場合には、ポインタを移動させたい方向にポインティング・デバイスを移動させると、ビデオカメラで撮影した画像の変化からポインティング・デバイスの移動方向と距離が検出され、これに対応してディスプレイの画面上でポインタが移動するように構成されている。
【０００５】
この装置においては、ポインティング・デバイスとして利用者の身体の一部、例えば、鼻、口、目等を利用しているために撮影画像からその移動した位置を求めるためには利用者の鼻、口、目等を登録しておき、パターンマッチング等の技術を利用して撮影画像中の鼻等と登録した鼻等の画像と一致する点（撮影画像中の一致パターンの存在点）を求める必要がある。しかし、鼻等の形状のマッチングは形状が複雑であること、並びに鼻等はほぼ一色の画像で、しかも顔と同一色であるために、マッチングする位置を求めるのに長時間を要し、しかも正確性に欠けるという欠点がある。
【０００６】
【発明が解決しようとする課題】
この発明は、上述のような背景の下になされたもので、パターンのマッチングする位置の探索が容易でしかも短時間で確実に探索可能なポインタ移動制御システムを提供し、ポインティング・デバイスとして活用できる有効な手段を提供することを課題としている。
【０００７】
【課題を解決するための手段】
上記課題を解決するために本発明は以下の手段を採用している。即ち、
請求項１記載の発明は、ディスプレイの画面上に表示するポインタの指示位置を制御して画面による操作を可能にしたポインティング・デバイスにおいて、利用者の身体の一部又は眼鏡等に装着した複数の色から構成される識別力の大きな人工マークと、該人工マークを連続的に撮影して、該撮影画像から前記人工マークの動きを検出して前記ディスプレイの画面上に表示するポインタの指示位置を制御するコントローラを具備することを特徴としている。
請求項１記載の発明は、識別力の大きな色付きの人工マークを利用したことを主な特徴としている。
【０００８】
請求項２記載の発明は、請求項１に記載の発明において、前記人工マークは所定の地色からなる外枠模様と、前記地色と色距離の大きい色とからなる色付き模様を前記外枠模様の内部に設けたことを特徴としている。
請求項２記載の発明は、人工マークとして、色距離の大きい２色からなる色付き模様を利用したことを主な特徴としている。
【０００９】
請求項３記載の発明は、請求項１又は請求項２の何れか１に記載の発明において、前記人工マークは外枠模様の形状を略正多角形とし、内部模様として複数の同一色、同一サイズの円形を配置したことを特徴としている。
【００１０】
請求項４記載の発明は、請求項１〜請求項３の何れか１に記載の発明において、前記人工マークの外枠模様の地色及び内部模様の模様色は、一方の色を青色とし、他方の色を黄色としたことを特徴としている。
【００１１】
請求項５記載の発明は、請求項１〜請求項４の何れか１に記載の発明において、前記人工マークの外枠模様は６角形又は円形として、内部に７個の円形模様を配置したことを特徴としている。
請求項６記載の発明は、請求項１〜請求項４の何れか１に記載の発明において、前記人工マークの外枠模様は３角形として、内部に３個の円形模様を配置したことを特徴としている。
【００１２】
請求項７記載の発明は、請求項１〜請求項６の何れか１に記載の発明において、前記人工マークを利用者の額に着脱可能に装着したことを特徴としている。
【００１３】
【発明の実施形態】
図１は本発明を実施した実施形態の全体構成の概略を示す図である。図２は処理装置の機能的構成ブロック図を示す。図３〜図５は人工マークの例を示す。以下、図面を参照してこの発明の実施形態について説明する。図１において、利用者（又は、オペレータ）１１は額に人工マーク１２をバンドで固定している。利用者１１の正面にはディスプレイ装置１３が配置されており、画面１３ａには種々の文字記号等、或いはメニューが表示される。また、画面１３ａの上下、左右の縁部にはスクロールバー１４が表示されている。また、画面１３ａ上に文字記号等を指示するポインタ（図中の矢印）１５が点滅して表示されている。なお、本発明における画面表示は上記した具体例に限定されるものではない。
【００１４】
ディスプレイ装置１３の上側面にはビデオカメラ２０が配置されている。ビデオカメラ２０はレンズの向く方向を固定してあってもよいし、パンチルト角を制御可能に設けて人工マーク１２の位置が画像から外れないように制御してもよい。ビデオカメラ２０で撮影された画像データは配線２１によって制御装置２５に入力され、制御装置２５からの制御データが配線２２によってディスプレイ装置１３の入力端に接続されている。
【００１５】
図２は制御装置２５の機能的構成を示す。制御装置２５は画像前処理部２６、パターン中心探索部２７、ポインタ制御部２８、主制御部２９、作業メモリ３０，記憶メモリ３１から構成されている。画像前処理部２６は撮影画像から必要部分の切り出し、画像の明度、コントラストを一定レベルに納めるための補正等の前処理を行う。パターン中心探索部２７は撮影画像から利用者が装着している人工マーク１２の中心座標（又は中心位置）を求める。ポインタ制御部２８は人工マーク１２の中心座標の位置変化に対してポインタ１５の位置を制御する。主制御部２９は記憶メモリ３１に記憶されているプログラムに従って処理を実行する。
【００１６】
図３は本実施形態における人工マーク１２の最初の実施例で、人工マーク３３を示す。人工マーク３３の外側に配置された正６角形で青色の地模様３３ａと内部に配置された７個の黄色の円からなる色模様３３ｂから構成されている。青色と黄色は図６に示す色距離の配置図において反対側に位置し、両者の識別が容易であるだけでなく、人間の肌色との識別が容易である。また、人間が身につける衣服の襟（カラー）や帽子等は単色の場合が多く、２色（青色と黄色）にしたことから識別が容易である。従って、検出の誤りの確率が小さくなり、同時に検出するための計算時間も短縮される。
【００１７】
また、人工マーク３３は左右上下に対称で、人工マーク３３が傾いても、マーク自体や中心位置等が容易に検出可能であるという特徴を有する。なお、図６の３角形の頂点（対角線）の２色を混ぜ合わせると黒色になる。図６で記号Ｙは黄色、Ｒは赤色、Ｇは緑色、Ｂは青色を示す。内部の黄色模様は円形であり、面積に対する周囲長さの比、即ち、（周囲長さ／面積）が最小であり、利用者の頭の揺れにより画像が振動して色の境界で混合が起こり別の色に変化する場合でも、色混合が起きる部分の面積比を最小限に押さえることができ、検出に寄与しない面積を最小に押さえているという特徴もある。
【００１８】
図４に示す人工マーク３４は別の実施例を示している。人工マーク３４は円形の地色部分３４ｂと７個の小円からなる色模様部分３４ａとから構成されている。なお、地色部分３４ｂは黄色で、内部の色模様部分３４ａは青色である。人工マーク３４は人工マーク３３と比べて模様の色が反対になっている点が異なるだけで、同様な機能、効果を有する。
【００１９】
図５に示す人工マーク３５は更に別の実施例を示す。図５において、人工マーク３５は略３角形の地色部分３５ｂと３個の小円からなる色模様部分３５ａとから構成されている。地色部分３５ｂは黄色で、内部の色模様部分３５ａは青色である。人工マーク３５は上記の人工マーク３３，３４に比べて模様が簡単化されている点が異なる。図５に示した人工マーク３５も上記した人工マーク３３の特徴と同じような特徴を有することは上記の説明からも明らかであろう。なお、これら以外に人工マークを構成することは可能であり、上記実施例は代表的な例を示しているに過ぎない。
【００２０】
図７は本実施形態の全体の手順を示すフローチャートであり、図８は本実施形態の主要な手順である人工マーク１２の中心点を探索する手順を示すフローチャートである。図７で、ステップＳ１１では、必要なキャリブレーションを実行する。例えば、撮影画像上の座標軸に関する原点の校正等である。ステップＳ１２では処理対象とする撮影画像データをメモリ３１から読み出してロードする。ステップ１３ではロードした画像の色補正、コントラスト、明度等の補正を行う。ステップＳ１４では画像から人工マーク１２を検出し、中心点の座標を求める。ステップＳ１４は詳細を後述する。
【００２１】
ステップＳ１５では今回求めた中心点の座標位置と前回に求めた中心点の座標位置から中心点の変化を求める。ステップＳ１６ではポインタ１５を移動するか否かを決定する。中心点の変化が小さく、ポインタ１５を移動しない場合はステップＳ１２〜ステップＳ１５を繰り返す。また、ポインタ１５を移動する場合はステップＳ１７を実行し、ポインタの移動量を算出する。ステップＳ１８では、ポインタ制御部２８が新しいポインタ１５の位置信号をディスプレイ１３に出力することによりポインタ１５を新しい位置に移動する。ステップＳ１９では手順を終了するか継続するかを判断し、継続する場合はステップＳ１２以下を繰り返す。
【００２２】
図８は、図４に示した人工マーク３４を使用した場合の中心点の座標を求める手順を示す。なお、図９は図８の手順を説明するための説明図である。ステップＳ２１では人工マーク３４に関するデータを読み込む。例えば、人工マーク３４の地模様３４ｂの形状、色、内部模様３４ａの形状、色、内部模様の数、内部模様３４ａと地模様３４ｂとの面積比等の必要なデータを読み込む。
【００２３】
ステップＳ２２では、図９に示すように、ＮｘＮ個のピクセルからなるセル３７を考える。Ｎ＝４の場合にはセル３７は４ｘ４（＝１６）のピクセルとなる。さらに図の点線で示すように、３ｘ３個のセルからなるのセル領域３８を考える。セル３７（又はセル領域３８）を（左右上下に）走査してセル領域３８の黄色濃度と青色濃度の双方（又は一方）が人工マーク３４のパターンの濃度と一致した場合（又は略一致した場合）そのセル領域３８をキー領域とする。このキー領域を出発点としてステップＳ２３でパターンを検出する。
【００２４】
ステップＳ２３におけるパターン検出では黄色フィルタを利用する。人工マーク３４の小円のパターン３４ａが青色で構成されているため、黄色フィルタを通すと青色の小円３４ａ部分は黒色となり、回りの黄色部分は白色となる。従ってフィルタを利用して白色の中にある黒色の小円３４ａを全て（７個）探索する。探索は人工マーク３４のパターンは既知であるので容易に探索可能である。７個の小円を全て探索したらステップＳ２４により人工マーク３４のパターンの中心を求める。
【００２５】
ステップＳ２４では７個の小円に番号等を付して区別し、任意の小円（例えば、図９の小円３９とする）からそれ以外の小円までの中心距離（ｄ）を求める。最短距離の長さ（ｄ１）と小円の個数をカウントする。この手続きを全ての小円について繰り返す。この場合、最短の中心距離（ｄ１）はどの小円についても同じである。最短の中心距離を持つ小円の個数は、中央の小円４０が最大で６個となる。従って、中央の小円４０の中心が人工マーク３４のパターンの中心である。
【００２６】
以上に述べたように、上記した人工マーク３４のパターンの中心点を求める方法は非常に簡単であり、従って、計算機の時間が少なくて済むだけでなく、誤りの確率が極めて少ない。これは、図４に示した人工マーク３４のパターンだけでなく、図３或いは図５に示した人工マーク３３，３５のパターンについても同様である。なお、図５に示した人工マーク３５のパターンは更に簡単であるので、上記した方法に依らないで直接的に全体のパターンを検出するようにしてもよい。
【００２７】
以上に説明したように、本実施形態に述べた人工マークを利用すれば処理時間が短く、且つ、誤り確率の少ないポインタ指示位置の制御が可能となる。
【００２８】
以上、この発明の実施形態、実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、本実施形態では人工マークの装着方法として、バンドで固定する方法を挙げているが、本発明はこれに限定するものではなく、着脱容易な化学的な接着剤を人工マークの裏側の設けたものでもよく、その他の方法を利用した場合でもよい。また人工マークの装着場所は額に限られるものではない。例えば肩の部分に装着してもよいし、その他の部分に装着してもよい。
【００２９】
【発明の効果】
以上説明したように、この発明の構成によれば、識別力の大きな色付き人工マークを利用していることから、処理時間が短く、且つ、誤り確率の少ないポインタ指示位置の制御が可能となるという効果が得られる。従って、これを利用すれば有効なポインティング・デバイスが得られる。
【図面の簡単な説明】
【図１】本発明を実施した実施形態の全体構成を示す。
【図２】本実施形態の機能的構成をブロック図で示す。
【図３】人工マークの実施例を示す。
【図４】別の人工マークの実施例を示す。
【図５】更に別の人工マークの実施例を示す。
【図６】色距離の説明図である。
【図７】本実施形態の全体の手順を示すフローチャートである。
【図８】人工マークの中心点を探索する手順を示すフローチャートである。
【図９】人工マークの中心点を探索する手順の説明図である。
【図１０】従来装置のポインティング・デバイスの方法を示す。
【符号の説明】
１１　　　　　　　利用者
１２　　　　　　　人工マーク
１３　　　　　　　ディスプレイ
１３ａ　　　　　　画面
１５　　　　　　　ポインタ
２０　　　　　　　ビデオカメラ
２５　　　　　　　制御装置
３３　　　　　　　パターン実施例
３４　　　　　　　パターン実施例
３５　　　　　　　パターン実施例
３７　　　　　　　セル
３８　　　　　　　セル領域
３９　　　　　　　任意の小円
４０　　　　　　　中心の小円
【図１】
2004110513.tif 000003
【図２】
2004110513.tif 000004
【図３】
2004110513.tif 000005
【図４】
2004110513.tif 000006
【図５】
2004110513.tif 000007
【図６】
2004110513.tif 000008
【図７】
2004110513.tif 000009
【図８】
2004110513.tif 000010
【図９】
2004110513.tif 000011
【図１０】
2004110513.tif 000012