(57)【要約】【課題】デジタイザやタッチセンサー（タブレット）付液晶画面がなくても、普通の画面をビデオキャプチャすることで、タッチセンサー付画面の様に扱うことができる。【解決手段】ビデオキャプチャ装置のような画像を動画で撮影することができる撮影手段と、前記手段より得られた画像より特定の色が存在する座標値の領域（集まり）を検出する検出手段と、その座標値の領域があらかじめ定められた領域より大きいかどうかを判定する手段と、前記判定手段により、あらかじめ定められた領域より小さい場合、その座標値領域の代表点位置でマウスなどの入力手段が押された（クリックされた）としてＯＳやアプリケーションに通知する手段と、前記判定手段によりあらかじめ定められた領域より大きい場合、その座標値領域の代表点位置でマウスなどの入力手段が離された（リリースされた）としてＯＳやアプリケーションに通知する手段とを備えることを特徴とする入力装置。【選択図】        図１
2004310334.tif 000002
【特許請求の範囲】
【請求項１】
ビデオキャプチャ装置のような画像を動画で撮影することができる撮影手段と、前記手段より得られた画像より特定の色が存在する座標値の領域（集まり）を検出する検出手段と、その座標値の領域があらかじめ定められた領域より大きいかどうかを判定する手段と、
前記判定手段により、あらかじめ定められた領域より小さい場合、その座標値領域の代表点位置でマウスなどの入力手段が押された（クリックされた）としてＯＳやアプリケーションに通知する手段と、前記判定手段により、あらかじめ定められた領域より大きい場合、その座標値領域の代表点位置でマウスなどの入力手段が離された（リリースされた）としてＯＳやアプリケーションに通知する手段とを備えることを特徴とする入力装置。
【請求項２】
前記ＯＳやアプリケーションに座標位置を通知する前に、あらかじめ基準となる四角形を撮影手段により撮影し、得られた画像内の四角形と比較することによりゆがみ具合を判定する手段と、前記判定手段より得られたＸ方向の倍率とＹ方向の倍率を、前記検出手段により得られた座標値にかけて補正する手段を備えることを特徴とする請求項１に記載の入力装置。
【請求項３】
前記ＯＳやアプリケーションに座標位置を通知する前に、ＯＳやアプリケーションで使用する領域（解像度）と撮影手段により得られる画像の領域（解像度）が違う場合に、前記検出手段により得られた座標値を補正する手段を備えることを特徴とする請求項１に記載の入力装置。
【請求項４】
ビデオキャプチャ装置のような画像を動画で撮影することができる撮影工程と、前記工程より得られた画像より特定の色が存在する座標値の領域（集まり）を検出する検出工程と、その座標値の領域があらかじめ定められた領域より大きいかどうかを判定する工程と、
前記判定工程により、あらかじめ定められた領域より小さい場合、その座標値領域の代表点位置でマウスなどの入力手段が押された（クリックされた）としてＯＳやアプリケーションに通知する工程と、前記判定工程により、あらかじめ定められた領域より大きい場合、その座標値領域の代表点位置でマウスなどの入力手段が離された（リリースされた）としてＯＳやアプリケーションに通知する工程とを有することを特徴とする入力方法。
【請求項５】
前記ＯＳやアプリケーションに座標位置を通知する前に、あらかじめ基準となる四角形を撮影工程により撮影し、得られた画像内の四角形と比較することによりゆがみ具合を判定する工程と、前記判定工程より得られたＸ方向の倍率とＹ方向の倍率を、前記検出工程により得られた座標値にかけて補正する工程とを有することを特徴とする請求項４に記載の入力方法。
【請求項６】
前記ＯＳやアプリケーションに座標位置を通知する前に、ＯＳやアプリケーションで使用する領域（解像度）と撮影工程により得られる画像の領域（解像度）が違う場合に、前記検出工程により得られた座標値を補正する工程とを有することを特徴とする請求項４に記載の入力方法。
【請求項７】
ビデオキャプチャ装置のような画像を動画で撮影することができる撮影手順と、前記手順より得られた画像より特定の色が存在する座標値の領域（集まり）を検出する検出手順と、その座標値の領域があらかじめ定められた領域より大きいかどうかを判定する手順と、
前記判定手順により、あらかじめ定められた領域より小さい場合、その座標値領域の代表点位置でマウスなどの入力手段が押された（クリックされた）としてＯＳやアプリケーションに通知する手順と、前記判定手順により、あらかじめ定められた領域より大きい場合、その座標値領域の代表点位置でマウスなどの入力手段が離された（リリースされた）としてＯＳやアプリケーションに通知する手順とを含むことを特徴とする記憶媒体。
【請求項８】
前記ＯＳやアプリケーションに座標位置を通知する前に、あらかじめ基準となる四角形を撮影手順により撮影し、得られた画像内の四角形と比較することによりゆがみ具合を判定する手順と、前記判定手順より得られたＸ方向の倍率とＹ方向の倍率を、前記検出手順により得られた座標値にかけて補正する手順とを含むことを特徴とする請求項７に記載の記憶媒体。
【請求項９】
前記ＯＳやアプリケーションに座標位置を通知する前に、ＯＳやアプリケーションで使用する領域（解像度）と撮影手順により得られる画像の領域（解像度）が違う場合に、前記検出手順により得られた座標値を補正する手順とを含むことを特徴とする請求項７に記載の記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタイザやタッチセンサー付の画面でなくても、またライトペンなどのデバイスがなくても、ＵＳＢカメラなどのビデオキャプチャデバイスがあれば、画面などにペンを触れて描くだけで入力することが可能になり、画面からペンを離すと入力を解除することができる入力装置、方法及び記憶媒体に関するものである。
【０００２】
【従来の技術】
従来、コンピュータの入力装置には、マウスやトラックボールなどがあるが、デジタイザやタッチセンサー（タブレット）付きの液晶画面やライトペンのように画面に直接触れることで入力になる装置も存在する。また、画面についていないタブレットのみの入力装置（マウスパッドにセンサーがついたようなもの）も存在する。
【０００３】
タッチセンサー付きの液晶画面には、センサーの方法で、圧電式と静電式の２種類が存在する。どちらの方式も画面と同じ大きさのタブレット部があり、圧電式は圧力の変化をタブレット部のセンサーが感知し入力位置がわかるため、タブレット部に触れるペンに相当するものはどんなものでも良いが、静電式は静電容量の変化をタブレット部のセンサーが感知し入力位置がわかるものなので、ペンは導電体でなければならない。
【０００４】
また、ライトペンは、ディスプレイであるＴＶの走査線をライトペンの先についているフォトトランジスタ（フォトセンサー）でキャッチすることで画面のどこをペンで指しているかを調べるというポインティングデバイスの一種である。
ライトペンが画面に触れているか触れてないかとする切り替えは、ペンについているスイッチによって行う。
【０００５】
近年、インターネットが普及し、インターネットを利用したテレビ電話が手軽にできるようになってきた。そのテレビ電話をするためにはビデオキャプチャデバイスが必要であるが、最近ＵＳＢ接続のカメラが安価に市場に出回るようになってきた。また、デジタルカメラもＵＳＢ接続でＰＣカメラとしてテレビ電話に使用することができるようなものも存在する。またコンピュータに増設するビデオキャプチャカードも最近は安価に手に入るようになってきた。
【０００６】
【発明が解決しようとする課題】
タッチセンサー（タブレット）付き液晶画面は、液晶画面にタブレット部を必要とするため、その分高価なものになってしまう問題があった。
【０００７】
ライトペンは、走査線を感知するため、ブラウン管ディスプレイにしか使用することができなく、液晶方式の画面やプロジェクタには使用できない問題があった。また、走査線を走らせるクロックと同じクロックを得ることで、光を感知した秒数から画面上の位置がわかるため、そのクロックを得るための線および装置や、フォトトランジスタ（フォトセンサー）からの信号を受ける線が必要なために、コンピュータに接続するための線がペンからでていて、じゃまである問題があった。
【０００８】
タブレットは、タブレット装置を別途購入しなければならない問題があった。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、テレビ電話をするためなどで、すでに持っているＵＳＢ接続カメラやデジタルカメラなどのビデオキャプチャデバイスを用いて画面をキャプチャし、普通のペン先などにつけた特定の色の座標位置をキャプチャ画像を解析することで得ることによって、入力座標を得て、その座標位置の領域の大きさにより入力のオン・オフも判定することができる処理を持つことを特徴とする撮影装置、方法及び記憶媒体に関するものである。
【００１０】
以上、本発明を整理して要約すれば以下の構成に集約できる。
【００１１】
（１）ビデオキャプチャ装置のような画像を動画で撮影することができる撮影手段と、前記手段より得られた画像より特定の色が存在する座標値の領域（集まり）を検出する検出手段と、その座標値の領域があらかじめ定められた領域より大きいかどうかを判定する手段と、
前記判定手段により、あらかじめ定められた領域より小さい場合、その座標値領域の代表点位置でマウスなどの入力手段が押された（クリックされた）としてＯＳやアプリケーションに通知する手段と、前記判定手段により、あらかじめ定められた領域より大きい場合、その座標値領域の代表点位置でマウスなどの入力手段が離された（リリースされた）としてＯＳやアプリケーションに通知する手段とを備えることを特徴とする入力装置。
【００１２】
（２）前記ＯＳやアプリケーションに座標位置を通知する前に、あらかじめ基準となる四角形を撮影手段により撮影し、得られた画像内の四角形と比較することによりゆがみ具合を判定する手段と、前記判定手段より得られたＸ方向の倍率とＹ方向の倍率を、前記検出手段により得られた座標値にかけて補正する手段を備えることを特徴とする前記（１）に記載の入力装置。
【００１３】
（３）前記ＯＳやアプリケーションに座標位置を通知する前に、ＯＳやアプリケーションで使用する領域（解像度）と撮影手段により得られる画像の領域（解像度）が違う場合に、前記検出手段により得られた座標値を補正する手段を備えることを特徴とする前記（１）に記載の入力装置。
【００１４】
（４）ビデオキャプチャ装置のような画像を動画で撮影することができる撮影工程と、前記工程より得られた画像より特定の色が存在する座標値の領域（集まり）を検出する検出工程と、その座標値の領域があらかじめ定められた領域より大きいかどうかを判定する工程と、
前記判定工程により、あらかじめ定められた領域より小さい場合、その座標値領域の代表点位置でマウスなどの入力手段が押された（クリックされた）としてＯＳやアプリケーションに通知する工程と、前記判定工程により、あらかじめ定められた領域より大きい場合、その座標値領域の代表点位置でマウスなどの入力手段が離された（リリースされた）としてＯＳやアプリケーションに通知する工程とを有することを特徴とする入力方法。
【００１５】
（５）前記ＯＳやアプリケーションに座標位置を通知する前に、あらかじめ基準となる四角形を撮影工程により撮影し、得られた画像内の四角形と比較することによりゆがみ具合を判定する工程と、前記判定工程より得られたＸ方向の倍率とＹ方向の倍率を、前記検出工程により得られた座標値にかけて補正する工程とを有することを特徴とする前記（４）に記載の入力方法。
【００１６】
（６）前記ＯＳやアプリケーションに座標位置を通知する前に、ＯＳやアプリケーションで使用する領域（解像度）と撮影工程により得られる画像の領域（解像度）が違う場合に、前記検出工程により得られた座標値を補正する工程とを有することを特徴とする前記（４）に記載の入力方法。
【００１７】
（７）ビデオキャプチャ装置のような画像を動画で撮影することができる撮影手順と、前記手順より得られた画像より特定の色が存在する座標値の領域（集まり）を検出する検出手順と、その座標値の領域があらかじめ定められた領域より大きいかどうかを判定する手順と、
前記判定手順により、あらかじめ定められた領域より小さい場合、その座標値領域の代表点位置でマウスなどの入力手段が押された（クリックされた）としてＯＳやアプリケーションに通知する手順と、前記判定手順により、あらかじめ定められた領域より大きい場合、その座標値領域の代表点位置でマウスなどの入力手段が離された（リリースされた）としてＯＳやアプリケーションに通知する手順とを含むことを特徴とする記憶媒体。
【００１８】
（８）前記ＯＳやアプリケーションに座標位置を通知する前に、あらかじめ基準となる四角形を撮影手順により撮影し、得られた画像内の四角形と比較することによりゆがみ具合を判定する手順と、前記判定手順より得られたＸ方向の倍率とＹ方向の倍率を、前記検出手順により得られた座標値にかけて補正する手順とを含むことを特徴とする前記（７）に記載の記憶媒体。
【００１９】
（９）前記ＯＳやアプリケーションに座標位置を通知する前に、ＯＳやアプリケーションで使用する領域（解像度）と撮影手順により得られる画像の領域（解像度）が違う場合に、前記検出手順により得られた座標値を補正する手順とを含むことを特徴とする前記（７）に記載の記憶媒体。
【００２０】
【発明の実施の形態】
以下、添付図面に従って、本発明の実施例について説明する。
【００２１】
（実施例１）
先ず、ペンなどの先に特定色Ｃｏｌで色をつけておくか、特定色Ｃｏｌ色の紙を巻いておく。そのペンで画面上を触れる事とする。図２で示すように、ＵＳＢ接続のＰＣカメラ１を画面２と平行に置き、画面２をキャプチャする。ペン３はカメラ１と画面２の間にあって、画面２のキャプチャと同時に画像の中に映しこまれる。
【００２２】
また、画面２の解像度とキャプチャ画像の解像度が同じとする。
【００２３】
この条件下で図１のフローチャートを元に本発明を説明する。
【００２４】
図１の処理Ｓ１０１において、画面２をビデオキャプチャする。得られたキャプチャ画像をＣＩとする。次に処理Ｓ１０２に移り、キャプチャ画像ＣＩより特定色Ｃｏｌの領域Ｒｅｇを検出する。次に処理Ｓ１０３に移り、領域Ｒｅｇの画像ＣＩの右上を原点とする座標位置Ｐ１を得る。具体的には、特定色ＣｏｌをＲＧＢデータで、Ｒ＝２００，Ｇ＝０，Ｂ＝０の赤色とあらわすと、画像中の点から、ＧとＢの値が０で、Ｒの値が、光のあたり具合で色が変化するため適当な補正値αのゆれがあるとして、（２００−α）＜Ｒ＜（２００＋α）になる点の、画像の右上を原点とする座標位置を検出する。そしてその点がひとつの場合はその座標位置をＰ１とし領域Ｒｅｇであるとする。複数ある場合は、最小座標と最大座標を対角線とする四角形を領域Ｒｅｇとし、領域Ｒｅｇの中心座標位置をＰ１とする（ここで代表点として中心座標をＰ１としたが、最小座標でもよいし、これに限定するものではない）。
【００２５】
次に処理Ｓ１０４に移り、領域Ｒｅｇがあらかじめ定められた大きさ内かを判定する。具体的には、あらかじめ定められた大きさ領域をＲｅｇＣとすると、ＲｅｇＣの最小座標がＲｅｇの最小座標より小さく、ＲｅｇＣの最大座標がＲｅｇの最大座標より大きい場合が、ＲｅｇはＲｅｇＣに完全に含まれている状態で、この状態がＲｅｇはＲｅｇＣの大きさ内であるとする。もっと具体的には、Ｒｅｇの最小座標を（ｘ１，ｙ１）とし、最大座標を（ｘ２，ｙ２）とし、ＲｅｇＣの最小座標を（ｘ３，ｙ３）とし、最大座標を（ｘ４，ｙ４）とすると、ＲｅｇがＲｅｇＣに完全に含まれている状態というのは、次の４つの式が全て成り立つ時である。
【００２６】
ｘ３≦ｘ１
ｙ３≦ｙ１
ｘ２≦ｘ４
ｙ２≦ｙ４
【００２７】
また、このあらかじめ定めるＲｅｇＣは、ペン先の特定色部分が画面２に触れている時の大きさであればよい。最初に初期設定として、実際にペン先の特定色部分が画面２に触れている画像をキャプチャしてその大きさをＲｅｇＣとしても良いし、３ｘ３ピクセルの大きさであると適当に決定しておいてもよい。
【００２８】
次に、Ｓ１０４において、Ｒｅｇがあらかじめ定めた大きさＲｅｇＣ内であれば、ペン先の特定色部分が画面２に触れているとみなし、Ｓ１０５に処理を移す。処理Ｓ１０５では、処理Ｓ１０３で得られた座標位置Ｐ１を、マウスなどの入力装置が押された（クリックされた）位置として、ＯＳもしくはアプリケーションに通知する。また、Ｓ１０４において、Ｒｅｇがあらかじめ定めた大きさＲｅｇＣ内でなければ、ペン先の特定色部分が画面２から離れたとみなし、Ｓ１０６に処理を移す。処理Ｓ１０６では、処理Ｓ１０３で得られた座標位置Ｐ１を、マウスなどの入力装置が離れた（リリースされた）位置として、ＯＳもしくはアプリケーションに通知する。要するに、画面を撮影しているカメラにペン先が近づくと特定色Ｃｏｌの領域が、画面に触れているときよりも大きくなることを利用して、ペン先が離れたことを判定するのである。
【００２９】
処理Ｓ１０５，Ｓ１０６の終了後は、どちらもＳｔａｒｔに戻り、またビデオキャプチャをすることから処理を繰り返す。
【００３０】
（実施例２）
実施例１では、画面と平行にキャプチャして、画面２の解像度とキャプチャ画像の解像度が同じ仮定のもとで行っていたが、画面２の解像度とキャプチャ画像の解像度が違う場合や画像がゆがんでいる場合がある。
【００３１】
そこで、あらかじめ四角形を画面２に出力しておき、その画面２をビデオキャプチャした画像を解析しておくことで補正を行うことができる。図３の（ａ）は画面２に出力した四角形をあらわしている。図３の（ｂ）は、その画面２をキャプチャした画像である。今、図３（ｂ）の（Ｘ，Ｙ）の点にペン先が置かれたとする。ＯＳもしくはアプリケーションに通知する入力座標は、図３の（ｃ）に示すように、（ｘ，ｙ）であるが、この（ｘ，ｙ）は以下のように求めることができる。
【００３２】
ｗ１を画面２に出力した四角形の幅とし、ｗ２をキャプチャした画像中の四角形の幅とする。
【００３３】
同様にｈ１を画面２に出力した四角形の高さとし、ｈ２をキャプチャした画像中の四角形の高さとする。
【００３４】
ｗ１＝ｘ２−ｘ１
ｈ１＝ｙ２−ｙ１
ｗ２＝ｘ４−ｘ３
ｈ２＝ｙ４−ｙ３
ｘ＝Ｘ＊（ｗ１／ｗ２）    …  数式（１）
ｙ＝Ｙ＊（ｈ１／ｈ２）    …  数式（２）
【００３５】
上記の事を踏まえ、図４のフローチャートを用いて説明する。
【００３６】
Ｓ１０１〜Ｓ１０３までは、実施例１で述べたことと同様である。違いは、Ｓ１０３からは処理Ｓ１０７に移ることである。処理Ｓ１０７では、座標位置Ｐ１（Ｘ，Ｙ）を平行移動もしくはある倍率をかけた座標位置Ｐ２（ｘ，ｙ）を得る。このある倍率とは、Ｘ座標に関しては、上記数式（１）の（ｗ１／ｗ２）に相当する補正値で、Ｙ座標に関しては、上記数式（２）の（ｈ１／ｈ２）に相当する補正値である。平行移動されたものであれば、その移動分をＰ１に足せばＰ２が得られる。また上記四角形がキャプチャした画像で平行四辺形になっていた場合は、アフィン変換をしてＰ１を写像することでＰ２が得られる。次に処理Ｓ１０８に移るが、ここからのＳ１０８〜Ｓ１１０は実施例１とほとんど同様で、実施例１での説明中のＳ１０５とＳ１０６の「処理Ｓ１０３で得られた座標位置Ｐ１を」という部分を「処理Ｓ１０７で得られた座標位置Ｐ２を」に読み替えればよい。
【００３７】
（実施例３）
実施例１では、画面２全体をキャプチャしていたが、画面２のある一部をキャプチャすることでも本発明は適用できる。例えば、手書き入力エリア（ウィンドウ）が画面２の一部にある場合に使用できる。これは、実施例２で用いた図３の四角形の大きさがキャプチャ後の画像中で大きくなっている場合に相当し（図３では小さくなっている）、この場合は、画面２の一部分である手書き入力エリア（ウィンドウ）のみをキャプチャ画像の解像度いっぱいにキャプチャして、手書き入力エリアの解像度と同等もしくはそれよりも高解像度にキャプチャすることで、実施例２の補正方法をそのまま利用すると、より繊細な入力を行うことになり、手書き認識率が上昇する。
【００３８】
（実施例のまとめ）
以上、画面をキャプチャするいくつかの実施例を載せデジタイザやタッチパネルセンサーがついていない画面でも、ビデオキャプチャデバイスさえあれば本発明を適用することで、あたかもタッチパネルセンサーがついた画面のように扱うことができることを示したが、画面ではなくマウスパッドのようなものをその上部からキャプチャする事にして本発明を適用すれば、タブレットと同様の効果が得られる装置にもなる。
【００３９】
【発明の効果】
以上説明したように、本発明によれば、タッチセンサー（タブレット）付きではない液晶画面をビデオキャプチャデバイスを用いて、タッチセンサー（タブレット）が付いた液晶画面のように扱うことができる効果がある。
【００４０】
また、本発明では、ライトペンのように、ブラウン管ディスプレイにしか使用することができないわけではなく、ブラウン管ディスプレイにも液晶方式の画面にもプロジェクタなどにも入力装置として利用できる効果がある。また、ライトペンのようにペンについているスイッチで入力の有無（クリック・リリース）をあらわさずに、自然な形で画面に触れるとクリックされることになり、離せばリリースされたことになるため、ペンにスイッチがいらず、先のとがったものであればなんでもよいという効果がある。
【００４１】
また、タブレット装置を別途購入しなくてもビデオキャプチャデバイスを用いて同様の装置が得られる効果がある。
【図面の簡単な説明】
【図１】実施例１のフローチャート
【図２】実施例１の構成図
【図３（ａ）】実施例２の補正の説明であり、画面に出力した四角形を示す図
【図３（ｂ）】実施例２の補正の説明であり、キャプチャ画像を示す図
【図３（ｃ）】実施例２の補正の説明であり、画面に入力された点を示す図
【図４】実施例２のフローチャート
【符号の説明】
１  ＰＣカメラ
２  画面
３  ペン
【図１】
2004310334.tif 000003
【図２】
2004310334.tif 000004
【図３（ａ）】
2004310334.tif 000005
【図３（ｂ）】
2004310334.tif 000006
【図３（ｃ）】
2004310334.tif 000007
【図４】
2004310334.tif 000008