(57)【要約】【課題】コンピュータへの情報の入力操作を行うための情報入力指示用画像を、入力操作を行う指示手段に干渉させることなく、指示手段の近傍に表示可能とする。【解決手段】コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有する情報入力システムであって、前記投写面に投写された前記操作用画面画像のある画素に注目したとき、当該注目した画素における前記プロジェクタの投写光線Ｒ１の前記投写面２に対する角度θ１が、前記注目した画素を前記撮像装置が撮像する際の当該撮像装置の撮像光線Ｒ２の前記投写面に対する角度θ２よりも小さくなるように設定する。【選択図】図３
2007206777.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有する情報入力システムであって、
前記投写面に投写された前記操作用画面画像のある画素に注目したとき、当該注目した画素における前記プロジェクタの投写光線の前記投写面に対する角度が、前記注目した画素を前記撮像装置が撮像する際の当該撮像装置の撮像光線の前記投写面に対する角度よりも小さくなるように設定することを特徴とする情報入力システム。
【請求項２】
請求項１に記載の情報入力システムにおいて、
前記プロジェクタの投写光線の前記投写面に対する角度及び前記撮像装置の撮像光線の前記投写面に対する角度は、
前記投写面を構成する辺のうち、操作者が操作を行う際の操作者側の辺を横切る前記投写面上の線に沿った前記投写面に対する垂直面を考え、当該垂直面に前記プロジェクタの投写光線と撮像装置の撮像光線とを射影したときの前記プロジェクタの投写光線の前記投写面に対する角度及び前記撮像装置の撮像光線の前記投写面に対する角度であることを特徴とする情報入力システム。
【請求項３】
請求項１または２に記載の情報入力システムにおいて、
前記コンピュータへの情報の入力操作は、操作者が前記操作用画面画像の所定位置を指示手段で指示する操作であって、前記指示手段で指示する操作が行われると、前記指示した位置を前記撮像画像データに基づいて入力操作位置を検出して、検出した前記入力操作位置に前記プロジェクタにより前記指示手段の近傍に情報の入力指示を行うための情報入力指示画像の表示を行うことを特徴とする情報入力システム。
【請求項４】
請求項１〜３のいずれかに記載の情報入力システムにおいて、
前記指示手段は操作者の指先であって、前記入力操作位置の検出は前記指先を検出することによって行うことを特徴とする情報入力システム。
【請求項５】
請求項１〜４のいずれかに記載の情報入力システムにおいて、
前記情報入力指示画像は、ポインタであることを特徴とする情報入力システム。
【請求項６】
請求項１〜５のいずれかに記載の情報入力システムにおいて、
前記投写面は、机上面に形成されることを特徴とする情報入力システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はプロジェクタの投写する操作用画面画像上からコンピュータへの情報入力が可能な情報入力システムに関する。
【背景技術】
【０００２】
コンピュータなどへの情報入力は、マウスやキーボードによって行うのが一般的である。たとえば、マウスによって位置情報などを入力する場合は、操作者はコンピュータ画面を見ながら机の上でマウスを操作することによって入力を行う。
【０００３】
このような操作は机上でのマウスの操作位置とコンピュータ画面上の情報の入力位置とが離れているため、感覚的な入力を行うような場合、操作者は違和感を覚えることもある。これを解消するために、画面上にタッチセンサ機能を有するものがある。このタッチセンサは、操作者が行う情報の入力位置と実際の情報の入力位置とが一致し、かつ、操作者が実際に情報の入力位置をタッチするので、感触的なフィードバックが得られるといった利点を有する。しかし、単に、位置情報入力手段としてのタッチパネルを設けるのは、装置が大掛かりとなるとともにコスト的にも問題がある。
【０００４】
一方、最近では、コンピュータを意識しないマンマシンインタフェースを有する情報入力システムも種々提案されている（たとえば、特許文献１参照）。
特許文献１に開示された技術は、プロジェクタによってキーボードおよび操作画面を含む操作用画面画像を机上に投写し、操作者は机上に投写された操作用画面画像上で情報入力を可能とするものである。
【０００５】
【特許文献１】特開２０００−２９８５４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された技術のように、プロジェクタを机上面などに操作画面画像を投写するといった使い方とする場合、次のような不具合が発生する場合がある。
【０００７】
たとえば、特許文献１に開示された技術は、机上面において操作者が指先などの指示手段で指示した位置にポインタを表示して、操作者がそのポインタを操作することによってコンピュータに何らかのコマンドを与えるといったことも可能としているが、ポインタを指示手段の近傍に表示する際、指示手段とポインタとが干渉、すなわち、指先などの指示手段そのものにポインタが表示されてしまう場合がある。このように、指示手段とポインタとが干渉した状態となると、本来、机上面などに投写されるべきポインタが、指先などの立体物に投写されてしまうこととなり、ポインタが見づらくなり、操作しづらくなることはいうまでもない。
【０００８】
特許文献１に開示された技術では、特許文献１の図６からもわかるように、プロジェクタの投写光線の投写面に対する角度と撮像装置の撮像光線の投写面に対する角度との関係が、プロジェクタの投写する操作用画面画像のある画素に注目したとき、当該注目した画素（注目画素という）におけるプロジェクタの投写光線の投写面に対する角度が、当該注目画素を撮像装置が撮像する際の撮像装置の撮像光線の投写面に対する角度よりも大きくなるような設定となっている。
【０００９】
プロジェクタの投写光線の投写面に対する角度と撮像装置の撮像光線の投写面に対する角度がこのような関係であると、撮像装置によって撮像された撮像画像データから指示手段の先端位置を検出し、検出された指示手段の先端位置に基づいて、ポインタを指示手段の近傍に表示する場合、ポインタを指示手段の先端に可能な限り近づけて表示させようとすると、ポインタが指示手段と干渉してしまう可能性がある。
【００１０】
図７はプロジェクタの投写光線の投写面に対する角度が撮像装置の撮像光線の投写面に対する角度よりも大きい場合の不具合を説明する図である。図７においては指示手段として指示棒を用いた例が示されている。指示棒３０は先端部に球体部３１を有し、その球体部３１によって情報の入力位置を指示するものとする。
【００１１】
図７に示すように、プロジェクタの投写光線Ｒ１の投写面２に対する角度が撮像装置の撮像光線Ｒ２の投写面２に対する角度よりも大きい関係であると、撮像装置で撮像された撮像画像データから抽出される球体部３１の画像領域Ｄに基づいて、球体部３１の画像領域Ｄに隣接した位置にポインタ４０を表示させようとすると、ポインタ４０と球体部３１とが干渉してしまう可能性がある。図７におけるＷの部分が干渉する可能性のある領域である。
【００１２】
ポインタが指示手段に干渉しないようにするには、指示手段から十分離れた位置にポインタを表示すればよいが、指示手段から十分離れた位置にポインタを表示すると、ポインタが指示手段から必要以上離れてしまう場合もある。ポインタが指先から必要以上離れてしまうと、指示手段とポインタとの一体感が薄れ、特に、線を描くような操作を行う場合、感覚的なずれが大きくなり、操作しづらくなるという問題が発生する。
また、指示手段を投写面から離した状態（指示手段を投写面から所定の間隔を置くように浮かせる状態）とすると、指示手段とポインタとがより一層干渉しやすくなる。
【００１３】
本発明は、コンピュータへの情報の入力操作を行うための操作用画面画像を投写可能なプロジェクタと、プロジェクタの投写する操作用画面画像上からコンピュータへの情報入力が可能な情報入力システムにおいて、コンピュータへの情報の入力操作を行うための情報入力指示用画像を、入力操作を行う指示手段に干渉させることなく、指示手段の先端近傍に表示可能とする情報入力システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
（１）本発明の情報入力システムは、コンピュータへの情報の入力操作を行うための操作用画面画像を投写面に投写可能なプロジェクタと、前記操作用画面画像を撮像して得られた撮像画像データを前記コンピュータに送信可能な撮像装置とを有する情報入力システムであって、前記投写面に投写された前記操作用画面画像のある画素に注目したとき、当該注目した画素における前記プロジェクタの投写光線の前記投写面に対する角度が、前記注目した画素を前記撮像装置が撮像する際の当該撮像装置の撮像光線の前記投写面に対する角度よりも小さくなるように設定することを特徴とする。
【００１５】
プロジェクタの投写光線の投写面に対する角度と撮像装置の投写面に対する角度との関係を前記したような関係とすることによって、撮像装置によって撮像された撮像画像データから指示手段の先端位置を検出し、検出された指示手段の先端位置に基づいて、情報入力指示用画像を指示手段の近傍に表示する場合、情報入力指示用画像を指示手段に干渉させることなく、指示手段の先端近傍に表示させることができる。
【００１６】
（２）前記（１）に記載の情報入力システムにおいては、前記プロジェクタの投写光線の前記投写面に対する角度および前記撮像装置の撮像光線の前記投写面に対する角度は、前記投写面を構成する辺のうち、操作者が操作を行う際の操作者側の辺を横切る前記投写面上の線に沿った前記投写面に対する垂直面を考え、当該垂直面に前記プロジェクタの投写光線と撮像装置の撮像光線とを射影したときの前記プロジェクタの投写光線の前記投写面に対する角度および前記撮像装置の撮像光線の前記投写面に対する角度であるあることが好ましい。
これにより、プロジェクタの投写光線の投写面に対する角度および撮像装置の撮像光線の投写面に対する角度の関係を適切に設定することができる。
【００１７】
（３）前記（１）または（２）に記載の情報入力システムにおいては、前記コンピュータへの情報の入力操作は、操作者が前記操作用画面画像の所定位置を指示手段で指示する操作であって、前記指示手段で指示する操作が行われると、前記指示した位置を前記撮像画像データに基づいて入力操作位置を検出して、検出した前記入力操作位置に前記プロジェクタにより前記指示手段の近傍に情報の入力指示を行うための情報入力指示画像の表示を行うことが好ましい。
【００１８】
これは、コンピュータに対し、たとえば何らかのコマンドの入力を行うような操作であって、このようなコマンドの入力操作を行う際に、プロジェクタの投写光線の投写面に対する角度と撮像装置の投写面に対する角度との関係を前記（１）または（２）に示したような関係とすることにより、撮像装置によって撮像された撮像画像データから指示手段の先端位置を検出し、検出された指示手段の先端位置に基づいて、情報入力指示用画像を指示手段の近傍に表示する場合、情報入力指示用画像を指示手段に干渉させることなく、指示手段の先端近傍に表示させることができる。
【００１９】
（４）前記（１）〜（３）のいずれかに記載の情報入力システムにおいては、前記指示手段は操作者の指先であって、前記入力操作位置の検出は前記指先を検出することによって行うことが好ましい。
これは、コンピュータに対し、たとえば何らかのコマンドの入力を行うような操作を行う際、操作者の指先で入力操作を行うものであり、指示手段として操作者の指先とすることにより、他の特別な指示手段を用いることなく、自然な感覚で操作者の意のままに容易に入力操作を行うことができる。
【００２０】
（５）前記（１）〜（４）のいずれかに記載の情報入力システムにおいては、前記情報入力指示画像は、ポインタであることが好ましい。
これは、操作者が指示手段で入力操作のための指示を行うと、その指示手段の近傍にポインタが表示され、操作者はそのポインタを操作することによってコンピュータへの入力指示を行うものであり、このポインタの表示を行う際、プロジェクタの投写光線の前記投写面に対する角度と撮像装置の前記投写面に対する角度との関係を前記（１）または（２）に示したような関係とすることによって、ポインタを指示手段に干渉させることなく、ポインタを指示手段の先端近傍に表示させることができる。
【００２１】
（６）前記（１）〜（５）のいずれかに記載の情報入力システムにおいては、前記投写面は、机上面に形成されることが好ましい。
これは、操作者が机を前にして椅子に座って机上でコンピュータへの入力操作などを行う場合を想定したものであり、本発明はこのような使い方に好適な情報入力システムとなる。
【発明を実施するための最良の形態】
【００２２】
図１は本発明の実施形態に係る情報入力システムの外観構成を示す図である。本発明の実施形態に係る情報入力システムは、図１に示すように、机１の机上面である投写面２上に操作用画面画像を投写可能に設置されたプロジェクタ３と、該プロジェクタ３によって投写された操作用画面画像を撮像可能に設置された撮像装置４と、図１では図示されないパーソナルコンピュータなどのコンピュータ５（図２参照）とを有している。なお、操作者は椅子６に座って、投写面２上で操作を行うものとする。
【００２３】
図２は本発明の実施形態に係る情報入力システムの構成を示すブロック図である。図２に示すように、プロジェクタ３はコンピュータ５の画像データ出力インタフェース５１に接続され、撮像装置４はコンピュータ５の画像データ入力インタフェース５２に接続されている。なお、コンピュータ５は画像データ出力インタフェース５１、画像データ入力インタフェース５２の他に、コンピュータとしての様々な処理を実行するＣＰＵ５３、主記憶装置５４、補助記憶装置５５などが設けられる。
【００２４】
このように構成された情報入力システムにおいて、コンピュータ５に対する情報の入力操作を行う際、操作者が机１の投写面２上に投写された操作用画面画像に何らかの指示手段（実施形態では手の指先とする）を差し出すと、差し出した指先の近傍に情報入力指示用画像（実施形態ではポインタとする）が表示される。すなわち、撮像装置４は操作用画面画像を所定のフレーム間隔で撮像しており、その撮像画像データをコンピュータ５に送信している。コンピュータ５では撮像装置４からの撮像画像データに基づいて操作者の指先検出を行い、それによって検出された指先の近傍にポインタが表示される。
【００２５】
なお、指先の検出は、たとえば、背景差分による手画像の抽出や肌色検出による手画像の抽出などを行ったのち、その輪郭に対して指先の特徴を考慮した検出方法などを用いて指先を検出するといった方法によって可能であるが、本発明ではその方法については特に限定されるものではなく、何らかの方法によって指先の検出がなされるものとする。
【００２６】
ところで、ポインタを表示する際、ポインタと指先とが干渉しないような位置にポインタの表示を行うことが重要であることは前述した通りである。本発明の実施形態に係る情報入力システムでは、以下のようにしてポインタと指先とが干渉しないようにする。
【００２７】
図３は本発明の実施形態に係る情報入力システムにおけるプロジェクタの投写光線と撮像装置の撮像光線の関係を説明する図である。図３に示すように、プロジェクタ３から投写面２に投写された操作用画面画像のある画素Ｇ１に注目したとき、当該画素Ｇ１に対するプロジェクタ３の投写光線Ｒ１の投写面２に対する角度θ１と当該画素Ｇ１を撮像装置４によって撮像する際の撮像光線Ｒ２の投写面２に対する角度θ２との関係がθ１＜θ２となるように、プロジェクタ３の投写光線Ｒ１の投写面２に対する角度θ１と、撮像装置４の撮像光線Ｒ２の投写面２に対する角度θ２とを設定する。
【００２８】
なお、角度θ１および角度θ２は、投写面２上においてプロジェクタ３の投写光線Ｒ１と撮像装置４の撮像光線Ｒ２に沿うような垂直面を考え、当該垂直面にプロジェクタ３の投写光線Ｒ１と撮像装置４の撮像光線Ｒ２とを射影したときのプロジェクタ３の投写光線Ｒ１の投写面２に対する角度および撮像装置４の撮像光線Ｒ２の投写面２に対する角度として表される。
【００２９】
具体的には、図４に示すように、机１の机上面に形成される矩形状の投写面２（机上面と同じであるとする）の４つの辺のうち、操作者が操作を行う際の操作者側の辺２ａを横切る投写面２上の線Ｌ１に沿った投写面２に垂直な面（垂直面という）１０を考え、当該垂直面１０にプロジェクタ３の投写光線Ｒ１と撮像装置４の撮像光線Ｒ２とを射影したときの前記プロジェクタ３の投写光線Ｒ１の投写面２に対する角度θ１および撮像装置４の撮像光線Ｒ２の投写面２に対する角度θ２として表される。なお、図４の例では、線Ｌ１は操作者側の辺２ａに直交する線としている。
【００３０】
プロジェクタ３からの投写光線Ｒ１と撮像装置４の撮像光線Ｒ２との関係が図３および図４において説明したような関係となるように設定することで、ポインタと指先とが干渉しないような位置にポインタの表示を行うことができる。
【００３１】
図５はプロジェクタ３からの投写光線Ｒ１と撮像装置４の撮像光線Ｒ２とが図３および図４に示すような関係である場合の指先とポインタの表示位置の具体例について説明する図である。
【００３２】
プロジェクタ３からの投写光線Ｒ１と撮像装置４の撮像光線Ｒ２とが図３および図４で説明したような関係であれば、図５（ａ）に示すように、撮像装置４によって撮像された撮像画像データから得られる指２０の画像領域Ａ（指画像領域Ａという）に基づいて指先の位置を検出し、検出された指先の位置を基準として、それよりも操作者から見て前方側（図５（ａ）の左方側）にポインタを表示させることにより、ポインタは領域Ｂ（ポインタ表示可能領域Ｂという）内に表示される。このため、ポインタは指先と干渉することがなくなる。このとき、ポインタ表示可能領域Ｂ内の指画像領域Ａにほぼ隣接するような位置にポインタを表示させたとしても、ポインタと指先とは干渉することがない。
【００３３】
図５（ｂ）は図５（ａ）を操作者側から投写面２に対して平行視した平面図である。図５（ｂ）において、斜線を施した領域Ａは、操作者の指２０（細い実線で示す）を撮像装置４で撮像して得られた指画像を、投写面２上に射影した領域であり、これは図５（ａ）の指画像領域Ａに対応する。また、破線で囲まれる領域Ｃは、プロジェクタ３からのポインタが指先を含めた指２０と干渉する領域（干渉領域Ｃという）を示している。この干渉領域Ｃ内にポインタを表示すると、ポインタは指先と干渉することとなるが、ポインタを干渉領域Ｃ外に表示すればポインタと指先とは干渉することとはない。
【００３４】
したがって、撮像装置４からの撮像画像データにより得られた指画像領域Ａの先端よりも操作者から見て前方側（図５（ａ）においては左方側、図５（ｂ）においては上方側）にポインタを表示させれば、ポインタと指先とは干渉することはない。なお、ポインタは指先の近傍に表示させた方が、指先とポインタがあたかも一体化しているかのような視覚的認識を得られるので、指先の近傍に表示させることが好ましい。指先の近傍にポインタを表示させるには、ポインタ表示可能領域Ｂ内において、指画像領域Ａに、より近い位置にポインタを表示させる必要があるが、このような位置にポインタを表示しても、ポインタと指先とは干渉することがない。
【００３５】
以上説明したように本発明の実施形態によれば、プロジェクタ３からの投写光線Ｒ１と撮像装置４の撮像光線Ｒ２とを図３および図４で説明したような関係とすることにより、撮像装置４によって撮像された撮像画像データから得られる指先の近傍にポインタの表示位置を設定してもポインタとは指先とが干渉することがなく、かつ、指先の近傍にポインタを表示させることができる。
【００３６】
また、プロジェクタ３からの投写光線Ｒ１と撮像装置４の撮像光線Ｒ２とが図３および図４で説明したような関係であれば、指先の近傍にポインタが表示されている状態で指先を投写面２から少し持ち上げても、指先の撮像画像に対して表示されるポインタと指先とが干渉することとはない。
【００３７】
図６は本発明の実施形態の具体例を示す図である。図６においては、すでに説明した図７と同様に、指示手段として指示棒を用いた例が示されている。指示棒３０は先端部に図３などで示した指先に対応する球体部３１を有し、その球体部３１によって情報の入力位置を指示する。この場合も、前述同様、プロジェクタ３からの投写光線Ｒ１と撮像装置４の撮像光線Ｒ２とが図３および図４で説明したような関係であるとする。
なお、撮像装置４から得られた撮像画像データから球体部３１を検出する方法は、前述の指先の検出同様、本発明では特に限定されるものではなく、何らかの検出方法によって検出されるものとする。
【００３８】
プロジェクタ３からの投写光線Ｒ１と撮像装置４の撮像光線Ｒ２とが図３および図４で説明したような関係であることにより、図６に示すように、撮像装置４によって撮像された撮像画像データから得られる球体部３１の画像領域Ｄに基づいて球体部３１の先端３１ａを検出し、検出された球体部３１の先端３１ａよりも操作者から見て前方側（図６においては左方側）に、プロジェクタ３からたとえば矢印形状のポインタ４０などを表示させれば、ポインタ４０は球体部３１に干渉することはない。このとき、たとえ、球体部３１の画像領域Ｄの先端３１ａにほぼ隣接するような位置にポインタ４０を表示したとしても、ポインタ４０と球体部３１とは干渉することがない。
【００３９】
なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施形態では、投写面は水平面としたが傾斜があってもよい。
【００４０】
また、前述の実施形態では、操作者の指示手段は操作者の指先あるいは指示棒を用いた例が示されている、これらに限られるものではなく、たとえば、ペンなど種々の指示手段を用いることも可能である。
【００４１】
また、前述の実施形態では、情報入力指示用画像としてポインタを例にとって説明したが、ポインタに限られるものではなく、たとえば、アイコンなどを表示させる場合にも適用することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態に係る情報入力システムの外観構成を示す図。
【図２】本発明の実施形態に係る情報入力システムの構成を示すブロック図。
【図３】本発明の実施形態に係る情報入力システムにおけるプロジェクタの投写光線と撮像装置の撮像光線の関係を説明する図。
【図４】プロジェクタの投写光線の投写面に対する角度と撮像装置の撮像光線の投写面に対する角度について説明する図。
【図５】プロジェクタからの投写光線と撮像装置の撮像光線とが図３および図４に示すような関係である場合の指先とポインタの表示位置の具体例について説明する図。
【図６】本発明の実施形態の具体例を示す図。
【図７】プロジェクタの投写光線の投写面に対する角度が撮像装置の撮像光線の投写面に対する角度よりも大きい場合の不具合を説明する図。
【符号の説明】
【００４３】
１・・・机、２・・・投写面、３・・・プロジェクタ、４・・・撮像装置、５・・・コンピュータ、６・・・椅子、１０・・・垂直面、２０・・・指、３０・・・指示棒、３１・・・球体部、Ｇ１・・・画素、Ｒ１・・・プロジェクタの投写光線、Ｒ２・・・撮像装置の撮像光線
【図１】
2007206777.tif 000003
【図２】
2007206777.tif 000004
【図３】
2007206777.tif 000005
【図４】
2007206777.tif 000006
【図５】
2007206777.tif 000007
【図６】
2007206777.tif 000008
【図７】
2007206777.tif 000009