(57)【要約】【課題】レーザポインタ、指示棒、指などで指した、画像上の位置を、外部要因に依らず正確に検出することの可能な画像表示装置および位置検出方法を提供する。【解決手段】映像信号５Ａとしてユーザが用意した画像に対応する固有信号が入力されているときに受光部７０で得られた投影画像Ｉ０と、無地の画像に対応する初期信号を空間光変調部３０に出力したときに受光部７０で得られた背景画像Ｉ１と、映像信号５Ａから生成された表示画像Ｉ２とを用いて、光スポットＳの投影画像Ｉ０上の位置がプロジェクタ１内の制御部８０によって検索される。【選択図】図２
2010072977.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像信号に基づいて画像光を生成する画像光生成部と、
前記画像光をスクリーンに投影する投影部と、
前記画像光を透過すると共に前記スクリーン側からの反射光を前記画像光の光軸と交差する方向に分岐する反射光分岐部と、
前記反射光分岐部によって分岐された分岐光を受光する受光部と、
前記映像信号から表示画像を生成し、前記映像信号が入力されているときに前記受光部から投影画像を取得する画像生成取得部と、
前記表示画像および前記投影画像を用いて、指示部分の前記投影画像上の位置を検索する位置検索部と、
前記位置検索部によって前記指示部分の前記投影画像上の位置が検出された場合には、検出された前記指示部分の前記投影画像上の位置についての情報を出力する出力部と
を備えた画像表示装置。
【請求項２】
前記位置検索部は、前記表示画像と前記投影画像との差分をとるにより得られた差分画像から、指示部分の前記投影画像上の位置を検索する請求項１に記載の画像表示装置。
【請求項３】
前記画像生成取得部は、前記入力された映像信号に拘わらず、無地の画像に対応する初期信号を前記画像光生成部に入力すると共に、前記受光部から、観察者が視認する前記スクリーン上の背景画像を取得し、
前記位置検索部は、前記表示画像、前記背景画像および前記投影画像を用いて、指示部分の前記投影画像上の位置を検索する請求項１に記載の画像表示装置。
【請求項４】
前記位置検索部は、前記表示画像に前記背景画像を加算することにより得られた画像と、前記投影画像との差分をとることにより得られた差分画像から、指示部分の前記投影画像上の位置を検索する請求項３に記載の画像表示装置。
【請求項５】
前記位置検索部は、前記表示画像と、前記投影画像から前記背景画像を減算することにより得られた画像との差分をとることにより得られた差分画像から、指示部分の前記投影画像上の位置を検索する請求項３に記載の画像表示装置。
【請求項６】
前記位置検索部は、前記表示画像、前記背景画像および前記投影画像を用いて位置検索用画像を生成し、前記位置検索用画像から、前記指示部分の前記投影画像上の位置を検索し、
前記位置検索部によって前記指示部分の前記投影画像上の位置が検出された場合には、前記位置検索用画像上の、前記指示部分の前記投影画像上の位置に対応する位置における情報に基づいてイベントの種類を判別するイベント種類判別部を備え、
前記出力部は、前記位置検索部によって検出された前記指示部分の前記投影画像上の位置についての情報と、前記イベントの種類についての情報とを出力する請求項３ないし請求項５のいずれか一項に記載の画像表示装置。
【請求項７】
前記イベント種類判別部は、前記位置検索用画像上の、前記指示部分の前記投影画像上の位置に対応する位置における周波数情報に基づいてイベントの種類を判別する請求項６に記載の画像表示装置。
【請求項８】
前記出力部は、情報処理装置のマウスと同一のフォーマットで、前記位置検索部によって検出された前記指示部分の前記投影画像上の位置についての情報と、前記イベントの種類についての情報とを出力する請求項６に記載の画像表示装置。
【請求項９】
１種類または複数種類のイベント信号を選択的に発生するイベント信号発生装置からの前記イベント信号を受信する受信部と、
前記位置検索部によって前記指示部分の前記投影画像上の位置が検出された場合には、前記受信部で前記イベント信号の受信の有無を判別すると共に、前記受信部で前記イベント信号を受信したときには、前記イベント信号の種類を判別するイベント種類判別部と
を備え、
前記出力部は、前記位置検索部によって検出された前記指示部分の前記投影画像上の位置についての情報と、前記イベントの種類についての情報とを出力する請求項３ないし請求項５のいずれか一項に記載の画像表示装置。
【請求項１０】
前記出力部は、情報処理装置のマウスと同一のフォーマットで、前記位置検索部によって検出された前記指示部分の前記投影画像上の位置についての情報と、前記イベントの種類についての情報とを出力する請求項９に記載の画像表示装置。
【請求項１１】
前記画像光生成部は、
発光部と、
前記発光部から出力された光を波長帯の互いに異なる複数の色光に分離する共に前記複数の色光の光路を分岐する光路分岐部と、
前記複数の色光を色光ごとに変調して色光ごとに変調光を生成する空間光変調部と、
前記複数の変調光を合成して画像光を生成する合成部と
を有する請求項１ないし請求項５のいずれか一項に記載の画像表示装置。
【請求項１２】
前記反射光分岐部は、前記合成部と前記投影部との間に配置されている請求項１１に記載の画像表示装置。
【請求項１３】
前記反射光分岐部は、前記合成部と一体に形成されている請求項１１に記載の画像表示装置。
【請求項１４】
前記反射光分岐部は、偏光ビームスプリッタである請求項１ないし請求項５のいずれか一項に記載の画像表示装置。
【請求項１５】
前記指示部分は、レーザポインタから出力されたレーザ光によって形成された光スポット、指示棒の先端、または指の先端である請求項１ないし請求項５のいずれか一項に記載の画像表示装置。
【請求項１６】
入力された映像信号に基づいて画像光を生成する画像光生成部と、前記画像光をスクリーンに投影する投影部と、前記画像光を透過すると共に前記スクリーン側からの反射光を前記画像光の光軸と交差する方向に分岐する反射光分岐部と、前記反射光分岐部によって分岐された分岐光を受光する受光部とを備えた画像表示装置を用意する第１ステップと、
前記画像表示装置において、前記映像信号から表示画像を生成すると共に、前記映像信号が入力されているときに前記受光部から投影画像を取得する第２ステップと、
前記画像表示装置において、前記表示画像および前記投影画像を用いて、指示部分の前記投影画像上の位置を検索し、その結果、前記指示部分の前記投影画像上の位置が検出された場合には、検出された前記指示部分の前記投影画像上の位置についての情報を出力する第３ステップと
を含む位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーザポインタ、指示棒、指などで指した、画像上の位置を検出する画像表示装置および位置検出方法に関する。
【背景技術】
【０００２】
現在、コンピュータの操作を行なう方法は多岐に渡っており、キーボードやマウスの他に、例えば、指や専用のペンなどで画面に触れることによりコンピュータの操作を行なう直接入力式のディスプレイが様々な形で登場している。この直接入力式のディスプレイは、タッチパネルまたはタッチスクリーン（以下、これらを総称してタッチスクリーンという。）と呼ばれており、出力インタフェースでありながら、キーボードおよびマウスなどの主要な入力インタフェースの役割を果たしている。
【０００３】
タッチスクリーンには、ＲＳ−２３２、ＰＳ／２またはＵＳＢなどの接続端子が設けられている場合があり、そのような接続端子が設けられている場合には、ユーザは、キーボードやマウスと同様、タッチスクリーンとコンピュータを簡単に接続することができる。また、タッチスクリーンは、ユーザがタッチスクリーンに指や専用のペンなどを接触させるだけでマウスと同じ操作を行うことができる簡便さを有していることから、最近は、プログラム構造をタッチスクリーン用に開発するケースが多くなってきている。また、タッチスクリーンでは、キーボードやマウスとは異なり、ユーザが固定されたキーを押すように制限することが容易であることから、タッチスクリーンは、無人のインタラクティブシステム、例えば、ゲスト案内システムや自動教育システムなどに適している。
【０００４】
ただし、プロジェクタの場合には、画像を映すスクリーンそのものに入力インタフェースを設けることができない。そのため、ユーザは、例えば、レーザポインタ、指示棒または指などでスクリーン内の所定の位置を指しながら発表している最中に、パーソナルコンピュータの前に移動してパーソナルコンピュータの操作をすることが必要となる。その結果、ユーザは、発表中に何度もスクリーンとパーソナルコンピュータとの間を往復しなければならず、プロジェクタを使った発表を円滑に行うことができないという問題があった。
【０００５】
そこで、パーソナルコンピュータを直接操作しないで済むようにする方策が従来から多数提案されている。例えば、スクリーンからの反射光を、レーザポインタから出力される光の波長帯を選択的に透過する光学フィルタに透過させ、その透過光から、レーザポインタで指した位置を検出し、その位置情報を利用してパーソナルコンピュータを操作することが考えられる（特許文献１〜３参照）。また、例えば、スクリーンからの反射光を、４分割されたセンサで受光し、スクリーン内の光スポットの変移を検出し、その変移情報を利用してパーソナルコンピュータを操作することも考えられる（特許文献４）。
【０００６】
【特許文献１】特開２００１−１０９５７７号公報
【特許文献２】特開平５−２２４３６号公報
【特許文献３】特開２００１−２９０６００号公報
【特許文献４】特開２００３−１７３２３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１〜３に記載の方法では、スクリーンでの反射の際に波長変動があるので、スクリーンからの反射光に含まれるレーザポインタの光を、光学フィルタによってうまく抽出することができない場合がある。また、特許文献２に記載の方法では、可視領域以外の波長の光を射出するレーザポインタが用いられているので、レーザポインタから出力された、可視領域以外の波長の光がスクリーン上のどこを照射しているのかがわからず、操作性が悪い。さらに、可視領域以外の波長の光は目に見えないので、レーザポインタから出力された光が誤って目に入ってしまう危険性もある。また、特許文献４に記載の方法では、スクリーン内の光スポットの変移しかわからないので、正確性や分解能が低い。また、特許文献１〜４に記載の方法では、そもそもレーザポインタ以外のものを用いることができない。
【０００８】
本発明はかかる問題点に鑑みてなされたもので、その目的は、レーザポインタ、指示棒、指などで指した、画像上の位置を、外部要因に依らず正確に検出することの可能な画像表示装置および位置検出方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像表示装置は、入力された映像信号に基づいて画像光を生成する画像光生成部と、画像光をスクリーンに投影する投影部と、画像光を透過すると共にスクリーン側からの反射光を画像光の光軸と交差する方向に分岐する反射光分岐部と、反射光分岐部によって分岐された分岐光を受光する受光部とを備えている。この画像表示装置は、さらに、画像生成取得部、位置検索部および出力部を備えている。ここで、画像生成取得部は、映像信号から表示画像を生成すると共に、映像信号が入力されているときに受光部から投影画像を取得するようになっている。位置検索部は、表示画像および投影画像を用いて、指示部分の投影画像上の位置を検索するようになっている。出力部は、位置検索部によって指示部分の投影画像上の位置が検出された場合には、検出された指示部分の投影画像上の位置についての情報を出力するようになっている。
【００１０】
本発明の位置検出方法は、入力された映像信号に基づいて画像光を生成する画像光生成部と、画像光をスクリーンに投影する投影部と、画像光を透過すると共にスクリーン側からの反射光を画像光の光軸と交差する方向に分岐する反射光分岐部と、反射光分岐部によって分岐された分岐光を受光する受光部とを備えた画像表示装置において用いられる方法であって、以下の（Ａ）および（Ｂ）の各ステップを含むものである。
（Ａ）映像信号から表示画像を生成すると共に、映像信号が入力されているときに受光部から投影画像を取得するステップ
（Ｂ）表示画像および投影画像を用いて、指示部分の投影画像上の位置を検索し、その結果、指示部分の投影画像上の位置が検出された場合には、検出された指示部分の投影画像上の位置についての情報を出力するステップ
【００１１】
本発明の画像表示装置および位置検出方法では、映像信号から生成された表示画像と、映像信号が入力されているときに受光部で得られた投影画像とを用いて、指示部分の投影画像上の位置が検索される。これにより、指示部分の種類（例えば、光スポット、指示棒、指）や、外部要因に依らずに、指示部分の投影画像上の位置を検出することが可能となる。
【発明の効果】
【００１２】
本発明の光画像表示装置および位置検出方法によれば、表示画像と、投影画像とを用いて、指示部分の投影画像上の位置を検索するようにしたので、レーザポインタ、指示棒、指などで指した、画像上の位置を、外部要因に依らず正確に検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
[第１の実施の形態] 
図１は、本発明の第１の実施の形態に係るプロジェクタ１（画像表示装置）を備えた画像表示システムの概略構成の一例を表すものである。図２は、図１のプロジェクタ１の内部構成の一例を表すものである。この画像表示システムは、例えば、情報処理装置２の画面に表示されている画像を、プロジェクタ１を用いてスクリーン３上に投影するものであり、かつ、レーザポインタ４を情報処理装置２のマウス（図示せず）のように操作することにより、スクリーン３を擬似的なタッチスクリーンとして用いることの可能なものである。
【００１５】
プロジェクタ１は、情報処理装置２の画面に表示されている画像をスクリーン３上に投影するものである。このプロジェクタ１には、２つの端子（入力端子１Ａ、出力端子１Ｂ）が設けられている。入力端子１Ａには映像信号線５が接続されており、情報処理装置２から出力された映像信号５Ａが映像信号線５を介して入力端子１Ａに入力されるようになっている。出力端子１Ｂには操作信号線６が接続されており、操作信号６Ａが出力端子１Ｂから出力されるようになっている。入力端子１Ａ、出力端子１Ｂはそれぞれ、例えば、ＲＳ−２３２、ＰＳ／２、またはＵＳＢなどからなる。なお、プロジェクタ１の内部構成については、後に詳述する。
【００１６】
情報処理装置２は、ユーザの操作によって所望の画像を画面に表示させることの可能なものであり、例えば、パーソナルコンピュータである。この情報処理装置２にも、２つの端子（出力端子２Ａ、入力端子２Ｂ）が設けられている。出力端子２Ａには映像信号線５が接続されており、ユーザの操作によって映像信号５Ａが出力端子２Ａから出力されるようになっている。入力端子２Ｂには操作信号線６が接続されており、プロジェクタ１から出力された操作信号６Ａが入力端子２Ｂに入力されるようになっている。入力端子２Ｂ、出力端子２Ａはそれぞれ、例えば、ＲＳ−２３２、ＰＳ／２、またはＵＳＢなどからなる。
【００１７】
スクリーン３は、プロジェクタ１から出力された投影光１Ｃを投影し、投影画像Ｉ０を写し出すものである。スクリーン３は、例えば、一般に市販されている生地状のものであってもよいし、部屋の内壁であってもよい。レーザポインタ４は、可視領域の波長を含むレーザ光４Ｄを出力してスクリーン３上に光スポットＳを生成する半導体レーザ装置（図示せず）と、半導体レーザ装置の出力を、１種類または複数種類のイベント信号に対応して変調するイベント信号発生装置（図示せず）とが内蔵されたものである。半導体レーザ装置は、出力ボタン４Ａを備えており、この出力ボタン４Ａを押すことにより、レーザ光４Ｄが出力されるようになっている。イベント信号発生装置は、例えば、左イベントボタン４Ｂと、右イベントボタン４Ｃとを備えている。このイベント信号発生装置は、左イベントボタン４Ｂを一回押すことにより、所定の変調がかかるように半導体レーザ装置を制御する信号を半導体レーザ装置に出力し、左イベントボタン４Ｂを二回連続して押すことにより、他とは異なる変調がかかるように半導体レーザ装置を制御する信号を半導体レーザ装置に出力し、また、右イベントボタン４Ｃを一回押すことにより、他とは異なる変調がかかるように半導体レーザ装置を制御する信号を半導体レーザ装置に出力するようになっている。ここで、変調とは、例えば、光スポットＳの面内の輝度分布に対する時間的な変調もしくは空間的な変調、またはレーザ光４Ｄの周波数変調などを指している。なお、左イベントボタン４Ｂや右イベントボタン４Ｃの押し方には種々の方法があり、上記の他に、例えば、左イベントボタン４Ｂを押したままの状態にする方法もある。
【００１８】
次に、プロジェクタ１の内部構成について説明する。プロジェクタ１は、例えば、３板式の透過型プロジェクタであり、例えば、図２に示したように、発光部１０、光路分岐部２０、空間光変調部３０、合成部４０、反射光分岐部５０、投影部６０、受光部７０および制御部８０を有している。なお、本実施の形態の発光部１０、光路分岐部２０、空間光変調部３０、合成部４０および制御部８０が本発明の「画像光生成部」の一具体例に相当する。
【００１９】
発光部１０は、空間光変調部３０の被照射面を照射する光束を供給するものであり、例えば、白色光源のランプと、そのランプの背後に形成された反射鏡とを含んで構成されている。この発光部１０は、必要に応じて、ランプの光１１が通過する領域（光軸ＡＸ上）に、何らかの光学素子を有していてもよい。例えば、ランプの光軸ＡＸ上に、ランプからの光１１のうち可視光以外の光を減光するフィルタと、空間光変調部３０の被照射面上の照度分布を均一にするオプティカルインテグレータとをランプ側からこの順に設けることが可能である。
【００２０】
光路分岐部２０は、発光部１０から出力された光１１を波長帯の互いに異なる複数の色光に分離して、各色光を空間光変調部３０の被照射面に導くものであり、例えば、図２に示したように、１つのクロスミラー２１と、４つのミラー２２を含んで構成されている。クロスミラー２１は、発光部１０から出力された光１１を波長帯の互いに異なる複数の色光に分離する共に各色光の光路を分岐するものである。このクロスミラー２１は、例えば、光軸ＡＸ上に配置されており、互いに異なる波長選択性を持つ２枚のミラーを互いに交差させて連結して構成されている。４つのミラー２２は、クロスミラー２１により光路分岐された色光（図２では赤色光１１Ｒ，青色光１１Ｂ）を反射するものであり、光軸ＡＸとは異なる場所に配置されている。４つのミラー２２のうち２つのミラー２２は、クロスミラー２１に含まれる一のミラーによって光軸ＡＸと交差する一の方向に反射された光（図２では赤色光１１Ｒ）を後述の空間光変調部３０Ｒの被照射面に導くように配置されている。また、４つのミラー２２のうち残りの２つのミラー２２は、クロスミラー２１に含まれる他のミラーによって光軸ＡＸと交差する他の方向に反射された光（図２では青色光１１Ｂ）を後述の空間光変調部３０Ｂの被照射面に導くように配置されている。なお、発光部１０から出力された光１１のうちクロスミラー２１を透過して光軸ＡＸ上を通過する光(図２では緑色光１１Ｇ)は、光軸ＡＸ上に配置された空間光変調部３０Ｇ（後述）の被照射面に入射するようになっている。
【００２１】
空間光変調部３０は、制御部８０から入力された変調信号８０Ａに応じて、複数の色光を色光ごとに変調して色光ごとに変調光を生成するものである。この空間光変調部３０は、例えば、赤色光１１Ｒを変調する空間光変調部３０Ｒと、緑色光１１Ｇを変調する空間光変調部３０Ｇと、青色光１１Ｂを変調する空間光変調部３０Ｂとを含んでいる。空間光変調部３０Ｒは、例えば、透過型の液晶パネルであり、合成部４０の一の面との対向領域に配置されている。この空間光変調部３０Ｒは、入射した赤色光１１Ｒを変調信号８０Ａに基づいて変調して赤画像光１２Ｒを生成し、この赤画像光１２Ｒを空間光変調部３０Ｒの背後にある合成部４０の一の面に出力するようになっている。空間光変調部３０Ｇは、例えば、透過型の液晶パネルであり、合成部４０の他の面との対向領域に配置されている。この空間光変調部３０Ｇは、入射した緑色光１１Ｇを変調信号８０Ａに基づいて変調して緑画像光１２Ｇを生成し、この緑画像光１２Ｇを空間光変調部３０Ｒの背後にある合成部４０の他の面に出力するようになっている。空間光変調部３０Ｂは、例えば、透過型の液晶パネルであり、合成部４０のその他の面との対向領域に配置されている。この空間光変調部３０Ｂは、入射した青色光１１Ｂを変調信号８０Ａに基づいて変調して青画像光１２Ｂを生成し、この青画像光１２Ｂを空間光変調部３０Ｒの背後にある合成部４０のその他の面に出力するようになっている。
【００２２】
合成部４０は、複数の変調光を合成して画像光を生成するものである。この合成部４０は、例えば、光軸ＡＸ上に配置されており、例えば、４つのプリズムを接合して構成されたクロスプリズムである。これらのプリズムの接合面には、例えば、多層干渉膜等により、互いに異なる波長選択性を持つ２つの選択反射面が形成されている。一の選択反射面は、例えば、空間光変調部３０Ｒから出力された赤画像光１２Ｒを光軸ＡＸと平行な方向に反射して投射部６０の方向に導くようになっている。また、他の選択反射面は、例えば、空間光変調部３０Ｂから出力された青画像光１２Ｂを光軸ＡＸと平行な方向に反射して投射部６０の方向に導くようになっている。また、空間光変調部３０Ｇから出力された緑画像光１２Ｇは、２つの選択反射面を透過して、投射部６０の方向に進むようになっている。結局、合成部４０は、空間光変調部３０Ｒ，３０Ｇ，３０Ｂによってそれぞれ生成された赤色画像光１２Ｒ、緑色画像光１２Ｇおよび青色画像光１２Ｂを合成して画像光１３を生成し、生成した画像光１３を投射部６０に出力するように機能する。
【００２３】
投影部６０は、合成部４０から出力された画像光１３をスクリーン３（図１参照）上に投影して画像を表示させるものである。この投影部６０は、例えば、光軸ＡＸ上に配置されており、例えば、投影レンズによって構成されている。
【００２４】
反射光分岐部５０は、画像光１３を透過すると共に、スクリーン３側から反射されてきた反射光１４（つまり、観察者が視認するスクリーン３上の画像）の一部を光軸ＡＸと交差する方向に反射して、受光部７０の光入射面に導くものである。なお、上述した反射光１４の一部とは、空間的な一部を指すものではなく、例えば、反射光１４に含まれる２つの偏光成分のうち一方の偏光成分や、反射光１４の全光量に対する一部などを指すものである。この反射光分岐部５０は、例えば、合成部４０と投影部６０との間に配置されており、例えば、２つのプリズムを接合して構成されたビームスプリッタである。このビームスプリッタは、光量の有効利用の観点からは、２つのプリズムの界面に偏光分離面を有する偏光ビームスプリッタであることが好ましい。この偏光分離面は、例えば、入射した反射光１４を互いに直交する２つの偏光成分に分離すると共に、一方の偏光成分（例えばＳ偏光成分）を光軸ＡＸと交差する方向に反射し、他方の偏光成分（例えばＰ偏光成分）を光軸ＡＸと平行な方向に透過するようになっている。なお、上記ビームスプリッタは、２つのプリズムの界面に偏光分離機能のない反射面を有する一般的なビームスプリッタであってもよい。
【００２５】
受光部７０は、反射光分岐部５０で反射されてきた反射光１５を受光して、観察者が視認するスクリーン３上の画像を得る二次元画像検出器であり、制御部８０からの駆動信号８０Ｂに応じて、取得した画像を画像光７０Ａとして制御部８０に出力するようになっている。受光部７０は、例えば、電荷結合素子 (CCD: Charge Coupled Device)や、金属酸化膜半導体素子(Complementary Metal Oxide Semiconductor）を含んで構成されている。この受光部７０の光入射面が、スクリーン３の像面に配置されることが好ましい。そのようにした場合には、受光部７０によって、観察者が知覚するスクリーン３上の画像を最も正確に得ることができ、後述の位置検出プロセスにおいて、光スポットＳの位置を極めて正確に検出することが可能となる。
【００２６】
制御部８０は、例えば、図３に示したように、４つの機能ブロックによって構成されており、画像生成取得部８１、位置検索部８２、イベント種類判別部８３および出力部８４を有している。なお、制御部８０において、これら４つの機能ブロックがハードウェアによって構成されていてもよいし、プログラムによって構成されていてもよい。
【００２７】
画像生成取得部８１は、例えば、入力された映像信号５Ａから表示画像Ｉ２を生成したり、映像信号５Ａとしてユーザが用意した画像に対応する固有信号が入力されているときに、固有信号に応じた変調信号８０Ａを空間光変調部３０に出力すると共に、受光部７０から、観察者が視認するスクリーン３上の投影画像Ｉ０を取得したりするものである。この画像生成取得部８１は、必要に応じて、さらに、例えば、入力された映像信号５Ａに拘わらず、無地の画像に対応する初期信号を空間光変調部３０に出力すると共に、受光部７０から、観察者が視認するスクリーン３上の背景画像Ｉ１を取得するようになっている。この画像生成取得部８１は、生成した表示画像Ｉ２と、取得した背景画像Ｉ１および投影画像Ｉ０とを位置検索部８２に出力するようになっている。
【００２８】
位置検索部８２は、例えば、画像生成取得部８１から入力された投影画像Ｉ０および表示画像Ｉ２を用いて、指示部の投影画像Ｉ０上の位置（ｘ，ｙ）を検索するものである。ここで、指示部とは、レーザポインタ４から出力されたレーザ光４Ｄによって形成された光スポットＳのことを指している。位置（ｘ，ｙ）の検索は、例えば、表示画像Ｉ２と投影画像Ｉ０との差分をとることにより得られた差分画像（位置検索用画像Ｉ３）に対して、所定の閾値を用いて二値化処理を行い、それにより得られた二値化画像に対して所定の処理を行うことにより行われる。この位置検索部８２は、位置検索用画像Ｉ３と、光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）とをイベント種類判別部８３に出力すると共に、光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）を出力部８４に出力するようになっている。
【００２９】
なお、位置検索部８２は、必要に応じて、例えば、画像生成取得部８１から入力された投影画像Ｉ０および表示画像Ｉ２だけではなく、背景画像Ｉ１も用いて、光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）を検索するようになっていてもよい。この場合には、位置（ｘ，ｙ）の検索は、例えば、表示画像Ｉ２に背景画像Ｉ１を加算することにより得られた画像と、投影画像Ｉ０との差分をとることにより得られた差分画像（位置検索用画像Ｉ３）に対して、所定の閾値を用いて二値化処理を行い、それにより得られた二値化画像に対して所定の処理を行うことにより行われる。また、位置（ｘ，ｙ）の検索は、例えば、表示画像Ｉ２と、投影画像Ｉ０から背景画像Ｉ１を減算することにより得られた画像との差分をとることにより得られた差分画像（位置検索用画像Ｉ３）に対して、所定の閾値を用いて二値化処理を行い、それにより得られた二値化画像に対して所定の処理を行うことにより行われる。
【００３０】
イベント種類判別部８３は、例えば、位置検索部８２によって光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）が検出された場合には、上述した位置検索用画像Ｉ３上の、光スポットＳの投影画像Ｉ０上の位置に対応する位置における情報に基づいてイベントの種類を判別するものである。ここで、イベントの種類とは、例えば、左イベントボタン４Ｂの一回押し、左イベントボタン４Ｂの二回押し、右イベントボタン４Ｃの一回押しなどを指している。また、位置検索用画像Ｉ３上の、光スポットＳの投影画像Ｉ０上の位置に対応する位置には、例えば、光スポットＳの面内の輝度分布に対する時間的な変調もしくは空間的な変調、またはレーザ光４Ｄの周波数変調などの情報が含まれている。従って、所定の時間間隔で連続して取得された投影画像Ｉ０および表示画像Ｉ２を用いて複数の位置検索用画像Ｉ３を取得することにより、光スポットＳの面内の輝度分布に対する時間的な変調もしくは空間的な変調、またはレーザ光４Ｄの周波数変調などの情報を取得することができる。このイベント種類判別部８３は、判別により得られたイベントの種類についての情報８３Ａを出力部８４に出力するようになっている。
【００３１】
出力部８４は、位置検索部８２によって光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）が検出された場合には、少なくとも、検出された光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）についての情報を操作信号６Ａとして出力するものである。なお、出力部８４は、イベント種類判別部８３によってイベントの種類が検出された場合には、必要に応じて、検出された光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）についての情報だけでなく、判別により得られたイベントの種類についての情報８３Ａも操作信号６Ａとして出力するようになっていてもよい。
【００３２】
操作信号６Ａのフォーマットは、情報処理装置２のマウス（図示せず）と同一のフォーマットとなっていることが好ましい。出力部８４は、例えば、左イベントボタン４Ｂの一回押しに対応するイベントの種類についての情報として、マウスの左クリックと同じ信号を生成し、左イベントボタン４Ｂの二回連続押しに対応するイベントの種類についての情報として、マウスの左ダブルクリックと同じ信号を生成し、右イベントボタン４Ｃの一回押しに対応するイベントの種類についての情報として、マウスの右クリックと同じ信号を生成するようにしてもよい。そのようにした場合には、情報処理装置２側で、操作信号６Ａを認識するための新たなハードウェアまたはソフトウェアを設けておく必要がなく、簡便性に富む。なお、プロジェクタ１と情報処理装置２とを接続するケーブルの数を減らす観点からは、映像信号線５および操作信号線６を一本のケーブルに統合し、入出力端子をプロジェクタ１側に１つ、情報処理装置２側に１つそれぞれ設けることが好ましい。ただし、その場合には、プロジェクタ１側から出力された信号を認識するための新たなハードウェアまたはソフトウェアを情報処理装置２側に設けておくことが必要となる。また、ビデオ用コネクタとマウス用コネクタを分けることも可能である。このときに新たなハードウェアまたはソフトウェアを情報処理装置２側に設けておく必要はない。
【００３３】
次に、図４を参照して、本実施の形態の画像表示システムの動作の一例について説明する。図４には、画像表示システムにおいて光スポットＳの位置およびイベントの種類を判別するプロセスの一例として、背景画像Ｉ１を用いている場合が示されている。なお、背景画像Ｉ１を用いない場合には、後述のステップＳ１を省略し、かつ後述のステップＳ３において、背景画像Ｉ１を用いないで位置検索用画像Ｉ３を生成すればよい。
【００３４】
まず、制御部８０の画像生成取得部８１は、入力された映像信号５Ａに拘わらず、無地の画像に対応する初期信号を変調信号８０Ａとして空間光変調部３０に出力すると共に、受光部７０に駆動信号８０Ｂを出力して、受光部７０から、観察者が視認するスクリーン３上の背景画像Ｉ１を取得する（ステップＳ１）。このとき、画像生成取得部８１は、変調信号８０Ａと駆動信号８０Ｂを同期して出力してもよいし、変調信号８０Ａを出力したのち、しばらくしてから駆動信号８０Ｂを出力するようにしてもよい。なお、背景画像Ｉ１の取得は、プロジェクタ１の電源を入れてから所定の時間が経過したときや、映像信号５Ａとしてユーザが用意した画像に対応する固有信号が入力されてきたときなどに行うようにしてもよい。
【００３５】
次に、画像生成取得部８１は、映像信号５Ａとしてユーザが用意した画像に対応する固有信号が入力されているときに、その固有信号に対応する信号を変調信号８０Ａとして空間光変調部３０に出力すると共に、受光部７０に駆動信号８０Ｂを出力して、受光部７０から、観察者が視認するスクリーン３上の投影画像Ｉ０を取得する（ステップＳ２）。このとき、画像生成取得部８１は、映像信号５Ａが時間的に変動している場合には、変調信号８０Ａと駆動信号８０Ｂを同期して出力することが好ましいが、映像信号５Ａが時間的に変動していない場合には、変調信号８０Ａを出力したのち、しばらくしてから駆動信号８０Ｂを出力するようにしてもよい。なお、映像信号５Ａが時間的に変動している場合に、変調信号８０Ａと駆動信号８０Ｂを同期して出力したときには、映像信号５Ａから得られる表示画像Ｉ２と、受光部７０で得られた投影画像Ｉ０とを、光スポットＳなどが存在していた領域を除いて、ほぼ一致させることができる。つまり、表示画像Ｉ２と投影画像Ｉ０との差分をとった場合には、光スポットＳなどが存在していた領域をくっきりと浮かび上がらせることができる。
【００３６】
次に、制御部８０の位置検索部８２は、映像信号５Ａとしてユーザが用意した画像に対応する固有信号が入力されているときに、その固有信号から表示画像Ｉ２を取得したのち、その表示画像Ｉ２と、背景画像Ｉ１と、投影画像Ｉ０とを用いて位置検索用画像Ｉ３を生成する（ステップＳ３）。例えば、位置検索部８２は、表示画像Ｉ２に背景画像Ｉ１を加算することにより得られた画像と、投影画像Ｉ０との差分をとったり、表示画像Ｉ２と、投影画像Ｉ０から背景画像Ｉ１を減算することにより得られた画像との差分をとったりすることにより、位置検索用画像Ｉ３を生成する。
【００３７】
次に、制御部８０の位置検索部８２は、位置検索用画像Ｉ３から、光スポットＳの、投影画像Ｉ０上の位置を検索する（ステップＳ４）。例えば、位置検索部８２は、位置検索用画像Ｉ３に対して、所定の閾値を用いて二値化処理を行い、それにより得られた二値化画像に対して所定の処理を行うことにより、光スポットＳの、投影画像Ｉ０上の位置を検索する。
【００３８】
次に、制御部８０のイベント種類判別部８３は、位置検索部８２によって指示部の投影画像Ｉ０上の位置（ｘ，ｙ）が検出された場合には、位置検索用画像Ｉ３上の、指示部の投影画像Ｉ０上の位置に対応する位置における情報に基づいてイベントの種類を判別する（ステップＳ５）。例えば、イベント種類判別部８３は、所定の時間間隔で連続して取得された投影画像Ｉ０および表示画像Ｉ２と、背景画像Ｉ１とを用いて得られた、複数の位置検索用画像Ｉ３から、位置検索用画像Ｉ３上の、光スポットＳの投影画像Ｉ０上の位置に対応する位置の画像を抽出し、その抽出した複数の画像から、輝度分布に対する時間的な変調もしくは空間的な変調、またはレーザ光４Ｄの周波数変調などの情報を取得する。
【００３９】
なお、位置検索部８２によって指示部の投影画像Ｉ０上の位置（ｘ，ｙ）が検出されなかった場合には、制御部８０は、上述したステップＳ２に戻る（ステップＳ５）。
【００４０】
次に、制御部８０の出力部８４は、位置検索部８２によって光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）が検出された場合には、少なくとも、検出された光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）についての情報を操作信号６Ａとして出力する。また、制御部８０の出力部８４は、イベント種類判別部８３によってイベントの種類が検出された場合には、検出された光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）についての情報だけでなく、判別により得られたイベントの種類についての情報８３Ａも操作信号６Ａとして出力する（ステップＳ６）。
【００４１】
その後、制御部８０は、上述したステップＳ２に戻る（ステップＳ７）。
【００４２】
次に、情報処理装置２は、プロジェクタ１から入力された操作信号６Ａに基づく処理を行う。具体的には、情報処理装置２が操作信号６Ａとして、検出された光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）についての情報だけでなく、判別により得られたイベントの種類についての情報８３Ａも取得した場合には、投影画像Ｉ０上の位置（ｘ，ｙ）に対応して定義されている種々の機能の中から、イベントの種類に対応する機能を実行する。その結果、情報処理装置２は、例えば、ページめくりを行ったり、アイコンに付与された機能を実行したり、マウスマークを位置（ｘ，ｙ）に移動したりする。
【００４３】
このように、本実施の形態では、レーザポインタ４を情報処理装置２のマウス（図示せず）のように操作することにより、スクリーン３を擬似的なタッチスクリーンとして用いることができる。これにより、ユーザは、例えば、レーザポインタでスクリーン３内の所定の位置を指しながら発表している最中に、情報処理装置２の前に移動して情報処理装置２の操作をする必要がなくなる。その結果、ユーザは、発表中に何度もスクリーンとパーソナルコンピュータとの間を往復する必要がなくなり、プロジェクタ１を使った発表を円滑に行うことができる。
【００４４】
また、本実施の形態では、情報処理装置２およびスクリーン３に対して何らの変更を加えることなく、スクリーン３を擬似的なタッチスクリーンとして用いることができることから、汎用性や利便性が極めて高い。また、従来のプロジェクタに対して、反射光分岐部５０、受光部７０および制御部８０を設けるだけ、本実施の形態のプロジェクタ１の構成とすることができることから、アップグレードが簡単であり、アップグレードに要するコストも安価である。
【００４５】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。
【００４６】
図５は、本発明の第２の実施の形態に係るプロジェクタ７（画像表示装置）を備えた画像表示システムの概略構成の一例を表すものである。図６は、図５のプロジェクタ７の内部構成の一例を表すものである。この画像表示システムは、例えば、情報処理装置２の画面に表示されている画像を、プロジェクタ７を用いてスクリーン３上に投影するものであり、かつ、レーザポインタ８を情報処理装置２のマウス（図示せず）のように操作することにより、スクリーン３を擬似的なタッチスクリーンとして用いることの可能なものである。
【００４７】
本実施の形態のプロジェクタ７は、受信部９０を備えている点で、上記実施の形態のプロジェクタ１の構成と相違する。また、本実施の形態のレーザポインタ８は、上記実施の形態のレーザポインタ４における左イベントボタン４Ｂおよび右イベントボタン４Ｃの代わりに、左イベントボタン４Ｅ、右イベントボタン４Ｆおよび送信部４Ｇを備えている点で、上記実施の形態のレーザポインタ４の構成と相違する。そこで、以下では、上記実施の形態との相違点について主に説明し、上記実施の形態との共通点についての説明を適宜省略するものとする。
【００４８】
レーザポインタ８は、例えば、可視領域の波長を含むレーザ光４Ｄを出力してスクリーン３上に光スポットＳを生成する半導体レーザ装置（図示せず）と、１種類または複数種類のイベント信号を選択的に発生するイベント信号発生装置（図示せず）とが内蔵されたものである。半導体レーザ装置は、出力ボタン４Ａを備えており、この出力ボタン４Ａを押すことにより、レーザ光４Ｄが出力されるようになっている。イベント信号発生装置は、例えば、左イベントボタン４Ｅと、右イベントボタン４Ｆと、送信部４Ｇとを備えている。このイベント信号発生装置は、左イベントボタン４Ｅを一回押すことにより、所定のイベント信号４Ｈを送信部４Ｇから出力し、左イベントボタン４Ｅ二回連続して押すことにより、他とは異なるイベント信号４Ｈを送信部４Ｇから出力し、また、右イベントボタン４Ｆを一回押すことにより、他とは異なるイベント信号４Ｈを送信部４Ｇから出力するようになっている。なお、左イベントボタン４Ｅや右イベントボタン４Ｆの押し方には種々の方法があり、上記の他に、例えば、左イベントボタン４Ｅを押したままの状態にする方法もある。
【００４９】
なお、操作信号６Ａのフォーマットは、上記実施の形態と同様、情報処理装置２のマウス（図示せず）と同一のフォーマットとなっていることが好ましい。
【００５０】
受信部９０は、レーザポインタ８から出力されたイベント信号４Ｈを受信するものである。この受信部９０は、受信したイベント信号４Ｈをイベント信号９０Ａとして制御部８０に出力するようになっている。
【００５１】
制御部８０は、例えば、図７に示したように、４つの機能ブロックによって構成されており、上記実施の形態と同様、画像生成取得部８１、位置検索部８２、イベント種類判別部８３および出力部８４を有している。本実施の形態では、位置検索部８２は、光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）を出力部８４に出力するようになっているだけであり、イベント種類判別部８３に対しては何も信号を出力していない。また、イベント種類判別部８３は、受信部９０から出力されたイベント信号９０Ａを受信するようになっており、位置検索部８２からは何も信号を受信していない。
【００５２】
本実施の形態のイベント種類判別部８３は、例えば、位置検索部８２によって光スポットＳの投影画像Ｉ０上の位置（ｘ，ｙ）が検出された場合には、受信部９０から出力されたイベント信号９０Ａに基づいてイベントの種類を判別するものである。ここで、イベントの種類とは、例えば、左イベントボタン４Ｅの一回押し、左イベントボタン４Ｅの二回押し、右イベントボタン４Ｆの一回押しなどを指している。このイベント種類判別部８３は、判別により得られたイベントの種類についての情報８３Ａを出力部８４に出力するようになっている。
【００５３】
次に、図８を参照して、本実施の形態の画像表示システムの動作の一例について説明する。図８には、画像表示システムにおいて光スポットＳの位置およびイベントの種類を判別するプロセスの一例として、背景画像Ｉ１を用いている場合が示されている。なお、背景画像Ｉ１を用いない場合には、後述のステップＳ１を省略し、かつ後述のステップＳ３において、背景画像Ｉ１を用いないで位置検索用画像Ｉ３を生成すればよい。
【００５４】
まず、制御部８０は、上記実施の形態で述べたステップＳ１〜ステップＳ４の各ステップを実行する。次に、制御部８０のイベント種類判別部８３は、位置検索部８２によって指示部の投影画像Ｉ０上の位置（ｘ，ｙ）が検出された場合には、受信部９０から出力されたイベント信号９０Ａに基づいてイベントの種類を判別する（ステップＳ８）。なお、位置検索部８２によって指示部の投影画像Ｉ０上の位置（ｘ，ｙ）が検出されなかった場合には、制御部８０は、上述したステップＳ２に戻る（ステップＳ８）。
【００５５】
その後、制御部８０が、上記実施の形態で述べたステップＳ６〜ステップＳ７の各ステップを実行したのち、情報処理装置２は、上記実施の形態と同様に、プロジェクタ７から入力された操作信号６Ａに基づく処理を行う。その結果、情報処理装置２は、例えば、ページめくりを行ったり、アイコンに付与された機能を実行したり、マウスマークを位置（ｘ，ｙ）に移動したりする。
【００５６】
このように、本実施の形態では、レーザポインタ８を情報処理装置２のマウス（図示せず）のように操作することにより、スクリーン３を擬似的なタッチスクリーンとして用いることができる。これにより、ユーザは、例えば、レーザポインタでスクリーン３内の所定の位置を指しながら発表している最中に、情報処理装置２の前に移動して情報処理装置２の操作をする必要がなくなる。その結果、ユーザは、発表中に何度もスクリーンとパーソナルコンピュータとの間を往復する必要がなくなり、プロジェクタ７を使った発表を円滑に行うことができる。
【００５７】
また、本実施の形態では、情報処理装置２およびスクリーン３に対して何らの変更を加えることなく、スクリーン３を擬似的なタッチスクリーンとして用いることができることから、汎用性や利便性が極めて高い。また、従来のプロジェクタに対して、反射光分岐部５０、受光部７０、制御部８０および受信部９０を設けるだけ、本実施の形態のプロジェクタ７の構成とすることができることから、アップグレードが簡単であり、アップグレードに要するコストも安価である。
【００５８】
以上、２つの実施の形態を挙げて本発明を説明したが、本発明は上記各実施の形態に限定されるものではなく、種々の変形が可能である。
【００５９】
例えば、上記各実施の形態では、反射光分岐部５０は、空間光変調部３０とは別体で設けられていたが、空間光変調部３０と一体に、もしくは空間光変調部３０と兼用して設けられていてもよい。このようにした場合には、プロジェクタ１，７の内部スペースを小さくすることができるので、プロジェクタ１，７を小型化することができる。
【００６０】
また、例えば、上記実施の形態では、スクリーン３に投影された投影画像Ｉ０上の所定の位置を指示する指示部として、レーザポインタ４、８が用いられている場合が例示されていたが、それ以外のものが用いられていてもよい。例えば、図９（Ａ）に示したように、指示棒１００の先端１００Ａがスクリーン３に投影された投影画像Ｉ０上の所定の位置を指示する指示部として用いられてもよい。また、例えば、図９（Ｂ）に示したように、指２００の先端２００Ａがスクリーン３に投影された投影画像Ｉ０上の所定の位置を指示する指示部として用いられてもよい。ただし、その場合には、例えば、図１０に示したような、イベント信号発生装置３００を新たに用意するか、または、このイベント信号発生装置３００と同様の機能を有するものを指示棒１００に取り付けることが必要となる。
【００６１】
このイベント信号発生装置３００は、上記第２の実施の形態のレーザポインタ８内のイベント信号発生装置と同様の構成を備えており、例えば、左イベントボタン４Ｅと、右イベントボタン４Ｆと、送信部４Ｇとを備えている。このようなイベント信号発生装置３００を新たに用意した場合には、スクリーン３に投影された投影画像Ｉ０上の所定の位置を指示する指示部の種類が制限されることがなくなるので、汎用性や利便性をより一層高めることができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の第１の実施の形態に係る画像表示システムの全体構成の一例を表す概略図である。
【図２】図１のプロジェクタの内部構成の一例を表す概略図である。
【図３】図２の制御部の内部構成の一例を表す概略図である。
【図４】図１の画像表示システムの動作の一例を表す流れ図である。
【図５】本発明の第２の実施の形態に係る画像表示システムの全体構成の一例を表す概略図である。
【図６】図５のプロジェクタの内部構成の一例を表す概略図である。
【図７】図６の制御部の内部構成の一例を表す概略図である。
【図８】図７の画像表示システムの動作の一例を表す流れ図である。
【図９】図５の画像表示システムにおけるレーザポインタの一変形例を表す概略図である。
【図１０】図５の画像表示システムにおけるレーザポインタの他の変形例を表す概略図である。
【符号の説明】
【００６３】
１，７…プロジェクタ、１Ａ，２Ｂ…入力端子、１Ｂ，２Ａ…出力端子、２…情報処理装置、３…スクリーン、４，８…レーザポインタ、４Ａ…出力ボタン、４Ｂ，４Ｅ…左イベントボタン、４Ｃ，４Ｆ…右イベントボタン、４Ｄ…レーザ光、４Ｇ…送信部、４Ｈ，９０Ａ…イベント信号、５…映像信号線、５Ａ…映像信号、６…操作信号線、６Ａ…操作信号、１０…発光部、１１…光、１１Ｒ…赤色光、１１Ｇ…緑色光、１１Ｂ…青色光、１２Ｒ…赤色画像光、１２Ｇ…緑色画像光、１２Ｂ…青色画像光、１３…画像光、１４，１５…反射光、２０…光路分岐部、２１…クロスミラー、２２…ミラー、３０，３０Ｒ，３０Ｇ，３０Ｂ…空間光変調部、４０…合成部、５０…反射光分岐部、６０…投影部、７０…受光部、７０Ａ…画像光、８０…制御部、８０Ａ…変調信号、８０Ｂ…駆動信号、８１…画像生成取得部、８２…位置検索部、８３…イベント種類判別部、８４…出力部、９０…受信部、１００…指示棒、１００Ａ，２００Ａ…先端、２００…指、３００…イベント信号発生装置。
【図１】
2010072977.tif 000003
【図２】
2010072977.tif 000004
【図３】
2010072977.tif 000005
【図４】
2010072977.tif 000006
【図５】
2010072977.tif 000007
【図６】
2010072977.tif 000008
【図７】
2010072977.tif 000009
【図８】
2010072977.tif 000010
【図９】
2010072977.tif 000011
【図１０】
2010072977.tif 000012