(57)【要約】【課題】プロジェクタの投写映像に対するタッチパネル操作を実現する。【解決手段】投写部４２は、スクリーン１６に映像を投写する。カメラ１２は、少なくともスクリーン１６に投写された映像を含む領域を撮像する。赤外線カメラ１４は、スクリーン１６の上方空間を撮像する。接触判定部３８は、赤外線カメラ１４により撮像された画像に基づき、ユーザの指がスクリーン１６に接触しているか否かを判定する。座標決定部３４は、接触判定部３８により接触していると判定されたとき、カメラ１２により撮像された画像に基づき、ユーザの指の先端の座標を投写映像に対するポインティング位置として出力する。【選択図】図２
2011180712.tif 000002
【特許請求の範囲】
【請求項１】
スクリーンに映像を投写する投写部と、
少なくとも前記スクリーンに投写された映像を含む領域を撮像するための第１撮像部と、
前記スクリーンの上方空間を撮像するための第２撮像部と、
前記第２撮像部により撮像された画像に基づき、所定物体が前記スクリーンに接触しているか否かを判定する接触判定部と、
前記接触判定部により接触していると判定されたとき、前記第１撮像部により撮像された画像に基づき、前記所定物体の座標を前記映像に対するポインティング位置として出力する座標決定部と、
を備えることを特徴とする投写型映像表示装置。
【請求項２】
スクリーンに映像を投写する投写部と、
少なくとも前記スクリーンに投写された映像を含む領域を撮像するための撮像部と、
前記撮像部により撮像された画像から、前記スクリーン上方を移動する所定物体の実像を検出する実像検出部と、
前記撮像部により撮像された画像から、前記投写部からの投写光により生じる前記所定物体の影を検出する影検出部と、
前記所定物体の実像と影の対応点間の距離が所定のしきい値以下である場合、前記所定物体が前記スクリーンに接触していると判定する接触判定部と、
前記接触判定部により接触していると判定されたとき、前記所定物体の座標を前記映像に対するポインティング位置として出力する座標決定部と、
を備えることを特徴とする投写型映像表示装置。
【請求項３】
前記接触判定部は、前記所定物体により短期間に断続する接触がなされたと判定したとき、タップ動作として出力することを特徴とする請求項１または２に記載の投写型映像表示装置。
【請求項４】
メインスクリーンに映像を投写する投写部と、
少なくとも前記メインスクリーンに投写された映像を含む領域を撮像するための撮像部と、
前記投写部による投写領域内に、前記メインスクリーンとは別個のサブスクリーンが存在するとき、前記撮像部により撮像された画像から前記サブスクリーンの位置および範囲を特定するサブスクリーン特定部と、
前記サブスクリーンの範囲に合わせて、該サブスクリーンに表示すべき所定のサブ映像を成形するサブ映像処理部と、
前記メインスクリーンに表示すべき所定のメイン映像に対して、前記サブスクリーン特定部で特定されたサブスクリーン位置に前記サブ映像を重畳して合成する合成部と、
を備えることを特徴とする投写型映像表示装置。
【請求項５】
前記サブスクリーン上に形成された所定のマーカを認識するマーカ認識部と、
認識されたマーカに予め関連づけられたサブ映像を取得するサブ映像取得部と、
をさらに備えることを特徴とする請求項４に記載の投写型映像表示装置。
【請求項６】
前記サブ映像処理部は、前記メインスクリーンに対する前記サブスクリーンの鉛直方向の移動に応じて、前記サブ映像を拡大または縮小処理することを特徴とする請求項４または５に記載の投写型映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スクリーンに映像を投写する投写型映像表示装置に関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータを投写型映像表示装置（以下適宜、プロジェクタとも表記する）に接続し、ディスプレイの画像をスクリーンに投写することが行われている。この投写映像を用いてプレゼンテーション等を実施するとき、拡大縮小やクリックなどの投写映像に対する操作を行う場合には、パーソナルコンピュータ側でのマウス操作が必要である。
【０００３】
スクリーンから離れることなく投写映像に対する操作が行えるようにするため、いくつかの技術が知られている。特許文献１には、プロジェクタスクリーンをタッチパネルで構成することで、スクリーン上での接触検知を可能にすることが記載されている。特許文献２には、スクリーンに投影された画像に対するレーザポインタの照射位置をカメラによって検出し、照射位置に応じた適切な画像をスクリーンに投影する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２１２４８８号公報
【特許文献２】特開２００８−２７０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および２に記載の技術は、投写映像に対するタッチ操作を実現するために、タッチパネルまたはレーザポインタという特別なデバイスが必要になる。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、ユーザが特別なデバイスを用いることなく、投写映像に対するタッチ操作を実現するための技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は、投写型映像表示装置である。この装置は、スクリーンに映像を投写する投写部と、少なくとも前記スクリーンに投写された映像を含む領域を撮像するための第１撮像部と、前記スクリーンの上方空間を撮像するための第２撮像部と、前記第２撮像部により撮像された画像に基づき、所定物体が前記スクリーンに接触しているか否かを判定する接触判定部と、前記接触判定部により接触していると判定されたとき、前記第１撮像部により撮像された画像に基づき、前記所定物体の座標を前記映像に対するポインティング位置として出力する座標決定部と、を備える。
【０００８】
本発明の別の態様も、投写型映像表示装置である。この装置は、スクリーンに映像を投写する投写部と、少なくとも前記スクリーンに投写された映像を含む領域を撮像するための撮像部と、前記撮像部により撮像された画像から、前記スクリーン上方を移動する所定物体の実像を検出する実像検出部と、前記撮像部により撮像された画像から、前記投写部からの投写光により生じる前記所定物体の影を検出する影検出部と、前記所定物体の実像と影の対応点間の距離が所定のしきい値以下である場合、前記所定物体が前記スクリーンに接触していると判定する接触判定部と、前記接触判定部により接触していると判定されたとき、前記所定物体の座標を前記映像に対するポインティング位置として出力する座標決定部と、を備える。
【０００９】
本発明のさらに別の態様も、投写型映像表示装置である。この装置は、メインスクリーンに映像を投写する投写部と、少なくとも前記メインスクリーンに投写された映像を含む領域を撮像するための撮像部と、前記投写部による投写領域内に前記メインスクリーンとは別個のサブスクリーンが存在するとき、前記撮像部により撮像された画像から前記サブスクリーンの位置および範囲を特定するサブスクリーン特定部と、前記サブスクリーンの範囲に合わせて、該サブスクリーンに表示すべき所定のサブ映像を成形するサブ映像処理部と、前記メインスクリーンに表示すべき所定のメイン映像に対して、前記サブスクリーン特定部で特定されたサブスクリーン位置に前記サブ映像を重畳して合成する合成部と、を備える。
【００１０】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、ユーザが特別なデバイスを用いることなく、投写映像に対するタッチ操作を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る投写型映像表示装置とスクリーンとの位置関係を示す図であり、図１（ａ）は側方から、図１（ｂ）は上方から見た様子を示す図である。
【図２】実施の形態１に係る投写型映像表示装置の機能ブロック図である。
【図３】（ａ）はカメラにより撮像される画像の一例を示し、（ｂ）は赤外線カメラ１４により撮像される画像の一例を示す図である。
【図４】実施の形態２に係る投写型映像表示装置とスクリーンとの位置関係を示す図である。
【図５】実施の形態２に係る投写型映像表示装置の機能ブロック図である。
【図６】（ａ）、（ｂ）は、カメラにより撮像されるユーザの指Ｆと影Ｓの一例を示す図である。
【図７】実施の形態３に係る投写型映像表示装置とスクリーンとの位置関係を示す図である。
【図８】投写型映像表示装置によりメインスクリーンおよびサブスクリーンに投写される映像の一例を示す図である。
【図９】実施の形態３に係る投写型映像表示装置の機能ブロック図である。
【図１０】サブスクリーンとサブ映像ファイルの関連づけを説明する図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、実施の形態１に係る投写型映像表示装置１０とスクリーン１６との位置関係を示す図であり、図１（ａ）は側方から、図１（ｂ）は上方から見た様子を示す。
【００１４】
投写型映像表示装置１０の前面には、映像光の投写口１８が形成されている。投写型映像表示装置１０はいわゆる短焦点プロジェクタであるので、投写口１８は斜め下方を向くように設けられている。これによって、装置１０に接近して位置する投影面にも映像を投写可能となっている。
【００１５】
図１では、投写型映像表示装置１０は例えばテーブルトップなどの平面に配置されたスクリーン１６上に映像を投写する。このスクリーン１６は拡散性の高い専用のスクリーンであることが好ましい。代替的に、専用のスクリーンを設置せず、テーブルトップなどに直接映像を投写してもよい。
【００１６】
投写口１８に隣接して（例えば上方に）、カメラ１２が設置される。このカメラ１２は、固体撮像素子および信号処理回路等を備えるデジタルカメラであることが好ましい。固体撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Devices）イメージセンサである。信号処理回路は、固体撮像素子から出力される信号に対して、Ａ／Ｄ変換やＲＧＢフォーマットからＹＵＶフォーマットへの変換などの各種信号処理を施す。
【００１７】
図１（ｂ）に示すように、カメラ１２は少なくとも投写口１８からスクリーン１６に投写された投写領域の全体を撮像できるよう、レンズ位置および画角が設定される。カメラ１２で撮像された画像は、スクリーン１６に近接するかまたは接触する物体、例えばユーザの指Ｆの二次元座標を検出するために利用される。
【００１８】
投写口１８の下方には、近赤外線を透過するフィルタを通して画像を撮像する赤外線カメラ１４が設置される。赤外線カメラ１４は、その光軸がスクリーン１６の面に対して略平行になるように配置され、少なくともスクリーン１６の上方を撮像するようにレンズ位置および画角が設定される。赤外線カメラ１４で撮像された画像は、スクリーン１６に接触する物体、例えばユーザの指Ｆを検出するために利用される。
【００１９】
なお、カメラ１２および赤外線カメラ１４は、投写型映像表示装置１０とは別体であってもよいし、装置１０に内蔵されていてもよい。
【００２０】
投写型映像表示装置１０にはパーソナルコンピュータ２０が接続され、投写対象の映像信号を提供する。代替的に、投写型映像表示装置１０にＳＤカードスロットなどの外部記録媒体ドライブを設けておき、外部機器を用いることなく記録媒体内の映像を投写できるように装置１０を構成してもよい。
【００２１】
投写型映像表示装置１０は、スクリーン１６にタッチするユーザの指Ｆの二次元座標を検出することで、スクリーン上に投写された映像に対してタッチパネルのような操作を実現する。
【００２２】
図２は、投写型映像表示装置１０の機能ブロック図である。この構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩ、光学部品および機構部品で実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２３】
パーソナルコンピュータ（ＰＣ）２０は、投写対象の映像信号を投写型映像表示装置１０に供給する。映像信号は、例えば映画などの動画像、アプリケーション画像、ウェブブラウザ画像などであるが、これらに限定されない。映像保持部４０は、外部から供給される映像信号を一時的に保持する。
【００２４】
投写部４２は、光源と、供給される映像信号に応じて光源から入射される光を変調する光変調部と、光変調部から入射される光の焦点位置を調整するフォーカスレンズ等から構成されている。光変調部により生成された映像光は、フォーカスレンズを介してスクリーン１６に投写される。
【００２５】
光源としては、フィラメント型の電極構造を有するハロゲンランプ、アーク放電を発生させる電極構造を有するメタルハライドランプ、キセノンショートアークランプ、高圧型の水銀ランプ、ＬＥＤランプなどを採用することができる。
【００２６】
光変調部にはＤＭＤ（Digital Micromirror Device）を採用することができる。ＤＭＤは、画素数に対応した複数のマイクロミラーを備え、各マイクロミラーの向きが各画素信号に応じて制御されることにより、所望の映像光が生成される。
【００２７】
フォーカスレンズは、ステッピングモータ、ボイスコイルモータ（ＶＣＭ）、ピエゾ素子などのレンズ駆動部によりそのレンズ位置が光軸上で移動される。
【００２８】
カメラ１２は、スクリーン１６に投写された映像を主な被写体として撮像する。赤外線カメラ１４は、スクリーン１６の上方の赤外線画像を撮像する。
【００２９】
制御部３０は、ユーザの指によるスクリーン１６へのタッチ操作を検出する。制御部３０は、ターゲット検出部３２、座標決定部３４、先端検出部３６および接触判定部３８を含む。
【００３０】
ターゲット検出部３２は、カメラ１２で撮像された画像と、投写部４２によりスクリーンに投写された画像とを取得する。そして、投写画像と撮像画像の差分を取ることで、ターゲットとしてのユーザの指を認識する。または、予め準備されたサンプル画像とのマッチングを実行することで、ユーザの指を認識してもよい。
【００３１】
座標決定部３４は、ターゲット検出部３２により認識されたユーザの指の画像から指の先端を認識し、その指先端の投写画像内における二次元座標を決定する。座標は、指先端の画素位置と、撮像画像内で投写画像が占める画素領域の大きさおよび位置とから決定することができる。
【００３２】
先端検出部３６は、赤外線カメラ１４で撮像された赤外線画像を取得し、スクリーンに向いたユーザの指の先端を検出する。この認識は、例えば予め準備されたサンプル画像とのマッチングにより実現できる。
【００３３】
接触判定部３８は、赤外線画像内において、先端検出部３６で検出されたユーザの指先端が、スクリーン１６と接触しているか否かを判定する。
【００３４】
接触判定部３８により指がスクリーンと接触していると判定された場合にのみ、座標決定部３４で決定された二次元座標は、ポインティング位置情報としてパーソナルコンピュータ２０に送信される。また、接触判定部３８によりユーザの指がタップ、すなわち短期間に断続する接触がなされたと判定されたとき、タップイベントとしてパーソナルコンピュータ２０に送信される。
【００３５】
パーソナルコンピュータ２０は、ポインティング位置情報およびタップイベント情報を、実行中のアプリケーションへの入力として与える。例えば、ある座標でタップイベントを受け取った場合、画面上のその座標でのクリックが行われたものとして処理する。こうすることで、指がスクリーンに接触した状態での移動をカーソル移動として処理したり、タップイベントをクリックとして処理するなど、スクリーンをタッチパネルのように扱うことが可能になる。
【００３６】
図３（ａ）はカメラ１２により撮像される画像の一例を示し、図３（ｂ）は赤外線カメラ１４により撮像される画像の一例を示す。図３（ａ）において、座標決定部３４により、位置Ａ、Ｂのそれぞれにおいて指の先端の二次元座標が決定される。図３（ｂ）において、接触判定部３８により、位置Ａ、Ｂのそれぞれにおいて指の先端がスクリーン１６に接触したか否かが判定される。位置Ａのときは非接触と判定され、位置Ｂのときは接触と判定される。指がスクリーンに接触している位置Ｂのときのみ、指先端の二次元座標がポインティング位置情報としてパーソナルコンピュータに送信される。
【００３７】
以上説明したように、実施の形態１に係る投写型映像表示装置１０によれば、スクリーン上のユーザの指の二次元座標を決定するとともに、ユーザの指がスクリーンに接触したか否かを検出することができる。指がスクリーンに触れているときの動作をもってポインティング位置情報とするので、スクリーン上でのユーザの手の移動のみでポインティング位置を判断する場合と比較して、誤入力を低減することができる。
【００３８】
本実施の形態によると、短焦点のプロジェクタ等を用いてテーブル上に映像を投写するような使用態様において、投写映像の周囲にいるユーザが自分の手で映像に対するタッチ操作を行うことができるので、非常に直感的な操作が実現される。
【００３９】
また、接触検知機能を有する特別なスクリーンを使用しないので、投写型映像表示装置１０の投写対象が制限されない。また、ユーザは特殊な機能を有するタッチペンやレーザポインタなどを使用する必要がない。
【００４０】
また、撮像画像内で複数ターゲットの認識を許可することで、マルチタッチ、すなわち複数ユーザによる複数箇所へのタッチも処理することが可能である。撮像画像内で複数のターゲットが認識された場合、いずれのターゲットを優先して認識すべきかを指のタップ動作などで変更可能に構成してもよい。または、複数のターゲットが認識された場合、それぞれのターゲット情報の総和を入力としてもよい。例えば、タッチされた座標の中間点を二次元座標として決定したり、各タッチの移動方向のベクトルを求め、それらの合成ベクトルの方向にカーソルを動かしたりしてもよい。
【００４１】
なお、以上の説明では、映像信号の供給源としてパーソナルコンピュータを用いることを述べたが、投写型映像表示装置１０がコンピュータとしての機能を内蔵していてもよい。
【００４２】
赤外線カメラ１４の代わりに、カメラ１２と同様のデジタルカメラでスクリーン１６の上方を撮像してもよい。この場合、予め準備された指のサンプル画像とのマッチングを行ってユーザの指の先端を認識する。
【００４３】
スクリーンに対するタップ、すなわち連続してタッチする動作に対して、特別な機能を関連づけてもよい。例えば、タップ動作時に、タップした位置に近い辺が下になるように投写映像の方向を変更するような設定としたり、予め定められた領域を拡大するような設定としたり、あるいは所定のプロジェクタメニューが表示される設定にしてもよい。
【００４４】
指による投写映像に対する操作を行う場合、ユーザの手の影になる部分には投写映像が映らなくなってしまう。これを回避するために、投写映像の四隅などに操作認識用のサブウインドウを投写表示するようにしておき、このサブウインドウ内での指による操作（ドラッグアンドドロップ、タップなど）がメインの投写映像に対する操作として認識されるように構成してもよい。サブウインドウは、メインの投写映像と重畳表示されてもよいし、別のウインドウとして表示されてもよい。
投写映像の一部にバーチャルキーボードを投写表示し、カメラによるタッチ認識でキーボード入力を行えるようにしてもよい。
【００４５】
スクリーンの上方を撮像する赤外線カメラを複数台設け、それぞれ異なる方向から撮像するようにしてもよい。こうすると、例えば一台のカメラに対し同一直線上に複数の認識対象が存在していても、別のカメラによってそれらを区別することが可能になる。
【００４６】
実施の形態２．
図４は、実施の形態２に係る投写型映像表示装置５０とスクリーン１６との位置関係を示す図である。図１と同様の符号を付した要素は、上述したのと同様の構造および機能を有する。実施の形態１と同様に、投写型映像表示装置５０は、テーブルトップなどの平面に配置されたスクリーン１６上に映像を投写する。
【００４７】
カメラ５２は、図１のカメラ１２と同様のデジタルカメラであり、投写口１８とは水平方向および高さ方向の異なる位置に設置される。カメラ５２は、少なくとも投写口１８からスクリーン１６に投写された投写領域の全体を撮像できるよう、レンズ位置および画角が設定される。
【００４８】
実施の形態２では、投写光により生じるユーザの指Ｆの影Ｓを利用することで、単一のカメラ５２を用いて、ユーザの指Ｆによるスクリーン１６対するタッチ操作を検出する。
【００４９】
図５は、実施の形態２に係る投写型映像表示装置５０の機能ブロック図である。この図においても、各機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００５０】
パーソナルコンピュータ２０、映像保持部４０および投写部４２の構成は、図３に関して説明したものと同様である。制御部６０は、ユーザの指によるスクリーン１６へのタッチ操作を認識する。制御部６０は、指検出部６２、影検出部６４、接触判定部６６および座標決定部６８を含む。
【００５１】
指検出部６２は、カメラ５２で撮像された画像と、投写部４２によりスクリーンに投写された画像とを取得する。そして、投写画像と撮像画像の差分を取ることで、ターゲットとしてのユーザの指Ｆの実像を認識する。または、予め準備されたサンプル画像とのマッチングを実行することで、ユーザの指を認識してもよい。
【００５２】
影検出部６４は、カメラ５２で撮像された画像を取得し、ユーザの手の影Ｓを検出する。例えば、画素の輝度が所定のしきい値よりも小さい領域を影Ｓとして検出するようにしてもよい。
【００５３】
接触判定部６６は、指Ｆの実像の先端と、影Ｓの先端を特定し、それらの距離に基づき指がスクリーンに接触しているか否かを判定する。例えば、両者の距離が所定のしきい値以下である場合、スクリーンに接触していると判定してもよい。
【００５４】
座標決定部６８は、接触判定部６６により指がスクリーンに接触していると判定された場合に、指先端の投写画像内における二次元座標を決定する。座標は、指先端の画素位置と、撮像された画像内で投写画像が占める画素領域の位置および大きさとから決定することができる。
【００５５】
座標決定部６８で決定された二次元座標は、ポインティング位置情報としてパーソナルコンピュータ２０に送信される。また、接触判定部６６によりユーザの指がタップ、すなわち短期間に断続する接触がなされたとき、タップイベントとしてパーソナルコンピュータ２０に送信される。パーソナルコンピュータ２０における処理は、実施の形態１と同様である。
【００５６】
図６（ａ）、（ｂ）は、カメラにより撮像されるユーザの指Ｆと影Ｓの一例を示す。図６（ａ）は、ユーザの指がスクリーンから離れているときの撮像画像である。この場合、指Ｆの実像の先端と、影Ｓの先端とが離れているので、スクリーンに触れていないことが判別できる。図６（ｂ）は、ユーザの指がスクリーンに接触しているときの撮像画像である。この場合、指Ｆの実像の先端と、影Ｓの先端とはほぼ一致するので、スクリーンに接触していることを判別できる。
【００５７】
以上説明したように、実施の形態２に係る投写型映像表示装置によれば、単一のカメラによる撮像画像に基づき、ユーザの指のスクリーンへの接触を検出することができる。実施の形態１と同様に、指がスクリーンに触れているときの動作をもってポインティング位置情報とするので、スクリーン上でのユーザの手の移動のみでポインティング位置を判断する場合と比較して、誤入力を低減することができる。また、接触検知機能を有する特別なスクリーン、特殊な機能を有するタッチペンやレーザポインタなどを使用する必要がない。
【００５８】
撮像映像内においてユーザの指Ｆの実像および影Ｓの複数検出を許容することで、マルチタッチ、すなわち複数ユーザによる複数箇所へのタッチも処理することが可能である。
カメラを水平方向に離間させて二台以上設置してもよい。こうすると、ユーザの手で遮られて陰になる部分を少なくすることができるので、マルチタッチに対応しやすくなる。
【００５９】
実施の形態３．
図７は、実施の形態３に係る投写型映像表示装置１００とスクリーン１６との位置関係を示す図である。図中、図１と同様の符号を付した要素は、上述したのと同様の構造および機能を有する。実施の形態１および２と同様に、投写型映像表示装置１００は、テーブルトップなどの平面に配置されたスクリーン１６上に映像を投写する。
【００６０】
カメラ５４は、投写口１８とは水平方向および高さ方向の異なる位置に設置される。カメラ５４は、少なくとも投写口１８からスクリーン１６に投写された投写領域の全体を撮像できるよう、レンズ位置および画角が設定される。カメラ５４は、実施の形態２におけるカメラ５２よりもスクリーンの上方を広く撮像できるようにすることが好ましい。
【００６１】
実施の形態３では、スクリーン１６（以下、「メインスクリーン」と呼ぶ）とは別に、メインスクリーンよりも面積が小さく、かつ持ち運びが可能なサブスクリーン８０を使用する。サブスクリーン８０は、好適には白色の板であり、軽量かつ丈夫であれば任意の素材を使用できる。サブスクリーン８０の少なくとも片面は、メインスクリーン１６と同様の拡散性を有するように表面処理されていることが好ましい。
【００６２】
図８は、投写型映像表示装置１００により投写される映像の一例を示す図である。メインスクリーン１６上には、メイン映像７２が投写表示される。サブスクリーン８０が投写領域外にあるときには、メイン映像７２には変化がない。サブスクリーン８０を投写領域内に持ち込むと、所定のサブ映像８２がサブスクリーン８０上に投写表示される。このとき投写口１８からは、メイン映像７２とサブ映像８２とを合成した映像に対応する映像光が投写されている。
【００６３】
投写領域内にあるサブスクリーン８０を常時認識可能とするため、サブスクリーン８０の表面には所定のマーカが印刷されている。サブスクリーン８０の上下左右および回転を区別できるように、マーカはサブスクリーン８０の四隅または四辺に設けられていることが好ましい。マーカは、画像内で認識可能であれば任意のものを使用できる。
【００６４】
マーカは、近赤外線等の特定の波長のみで撮像でき、肉眼では見えないインクで印刷されてもよい。この場合、カメラ５４のレンズに特定波長を透過するフィルタを取り付けておく。こうすることで、マーカによってサブ映像の視認性が低下するおそれがない。さらに、投写光や外来光の影響を受けずに、マーカを撮像することができる。
【００６５】
サブスクリーンには、種々のサブ映像を表示させることができる。例えば、メイン映像に対する操作メニュー画面をサブ映像として表示させてもよい。こうすると、メニュー画面を手でもって自由に移動させたり、手元にメニュー画面を物理的に引き寄せたりすることができるので、操作性が向上する。または、メイン映像に対する資料的な映像（例えば、説明書、解説書、注釈など）をサブ映像としてサブスクリーン上に表示させてもよい。
【００６６】
図９は、実施の形態３に係る投写型映像表示装置１００の機能ブロック図である。この図においても、各機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００６７】
映像保持部４０および投写部４２は、実施の形態１および２のものと同様である。
【００６８】
制御部１１０は、カメラ５４によって撮像された画像を取得し、メイン映像およびサブ映像のスケーリングやフィッティング等の処理を実行する。制御部１１０は、マーカ認識部１１２、サブスクリーン特定部１１４、関連ファイル取得部１１６、ファイル格納部１１８、サブ映像処理部１２０、メイン映像処理部１２２および合成部１２４を備える。
【００６９】
マーカ認識部１１２は、撮像画像内からマーカを認識する。この認識は、予め準備されたサンプル画像とのマッチング等により実現することができる。後述するように、マーカが二次元コードである場合は、対応プログラムを用いてコードに埋め込まれた内容を読み取ることができる。
【００７０】
サブスクリーン特定部１１４は、認識されたマーカに基づきサブスクリーン８０の四隅または四辺を認識し、サブスクリーンの位置、向き、大きさおよび形状を特定する。
【００７１】
関連ファイル取得部１１６は、マーカ認識部１１２で認識されたマーカに特定のサブ映像ファイルが関連づけられている場合、そのファイルをファイル格納部１１８から取得してサブ映像処理部１２０に渡す。このファイルの関連づけについては詳細に後述する。
【００７２】
サブ映像処理部１２０は、サブスクリーン特定部１１４で特定されたサブスクリーンの大きさおよび形状に合わせて、サブ映像のスケーリングおよびフィッティングを実行する。このような処理は周知であるので、詳細な説明は省略する。
【００７３】
メイン映像処理部１２２は、図示しないメインスクリーン特定部で特定されたメインスクリーンの大きさおよび形状に合わせて、メイン映像のスケーリングおよびフィッティングを実行する。
【００７４】
合成部１２４は、メイン映像とサブ映像とをフレーム単位で取得する。そして、サブスクリーン特定部１１４で特定されたサブスクリーンの位置および向きに合わせてサブ映像のフレームをメイン映像のフレームに重畳合成する。合成されたフレームは、映像信号として映像保持部４０に送られる。
【００７５】
上述したように、メインスクリーンに表示されるメイン映像と、サブスクリーンに表示されるサブ映像とは、別個にスケーリングとフィッティングが行われる。その後、合成部１２４によって合成画像として構成され、その映像信号が映像保持部４０に供給される。これによって、サブスクリーンが投写領域内で移動したり回転したりした場合でも、リアルタイムでサブスクリーン上にサブ映像をフィッティングすることができる。
【００７６】
以上のように構成することで、同一のプロジェクタ光学系を使用して、メインスクリーンとサブスクリーンにそれぞれ別の映像を投写表示することが可能になる。
【００７７】
サブスクリーン８０の上下移動に、サブ映像の拡大縮小の機能を関連づけておいてもよい。例えば、サブスクリーン８０を上方（図７の矢印Ｃの方向）に移動させるとサブ映像が拡大し、下方に移動させるとサブ映像が縮小するように設定してもよい。
【００７８】
サブスクリーン８０にある程度の厚みがある場合、側面にもマーカを印刷しておき、これをカメラの撮像画像内で認識することで、サブスクリーンの鉛直方向の移動距離を求めることができる。代替的に、撮像画像内でのサブスクリーン面積の変化に基づき、サブスクリーンの鉛直方向移動を推測してもよい。すなわち、所定時間内または所定フレーム間隔での面積変化量から、鉛直方向の移動距離を推測することができる。
【００７９】
続いて、サブ映像処理部１２０は、サブスクリーンの鉛直方向の移動距離に応じた拡大率または縮小率を設定し、サブ映像をその比率で拡大または縮小した上で合成部１２４に供給する。こうすることで、メイン映像を変化させずに、サブスクリーン上のサブ映像のみを拡大縮小表示させることができる。
【００８０】
複数枚のサブスクリーン８０を準備しておき、サブスクリーン毎に異なるサブ映像を自動的に投写できるように構成してもよい。図１０は、このようなサブスクリーンとサブ映像ファイルとの関連づけを説明する図である。
【００８１】
図１０に示すように、サブスクリーンＡ、Ｂにはそれぞれ異なるマーカＭが予め印刷されている。そして、これらのマーカと投写すべき映像ファイルとを予め関連づけて、ファイル格納部１１８に記憶させておく。いずれかのサブスクリーンを投写領域内に入れると、マーカ認識部１１２がマーカを読み取り、関連ファイル取得部１１６が読み取られたマーカに関連づけられた映像ファイルを取得し、サブ映像処理部１２０に渡す。こうすることで、サブスクリーンを投写領域内で入れ替えるだけで、サブスクリーンに投写されるサブ映像を簡便に切り替えることができる。
【００８２】
代替的に、サブスクリーン８０上のマーカをＱＲコード等の二次元コードにしてもよい。この場合、サブスクリーン８０とサブ映像ファイルとの関連づけを予め行っていなくてもよい。例えば、二次元コードに記憶装置内のディレクトリとファイル名を記述しておき、マーカ認識部１１２が二次元コードを読み取ると、関連ファイル取得部１１６が読み取られたファイルを検索するように構成してもよい。あるいは、二次元コードにＩＰ（Internet Protocol）アドレスやＵＲＬ（Universal Resourse Locator）を記述しておいてもよい。この場合、マーカ認識部１１２が二次元コードを読み取ると、ブラウザが起動して対応するウェブページがネットワークを介して取得され、サブスクリーン上にそのウェブページが投写表示されるように投写型映像表示装置を構成してもよい。
【００８３】
以上説明したように、実施の形態３によれば、メインスクリーンにメイン映像を投写しつつ、実体のサブスクリーンを投写領域内に移動させたとき、サブスクリーン上にメイン映像とは別のサブ映像を投写表示することが可能になる。これにより、サブスクリーンを物理的に移動させるといった、より直感的な操作を行えるようになる。また、サブスクリーンの鉛直方向移動に拡大縮小の機能を対応させておけば、メニュー画面などを表示させる必要なく、より直感的な操作で拡大縮小処理を行うことができる。
【００８４】
上記の説明では、投写型映像表示装置１００にパーソナルコンピュータの機能が埋め込まれているものとして説明した。しかしながら、投写型映像表示装置とパーソナルコンピュータを接続した上で、上述の制御部１１０に相当する機能を有するソフトウェアをコンピュータにインストールすることで、同等の機能を発揮させることも可能である。
【００８５】
本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００８６】
実施の形態１と３、実施の形態２と３は、それぞれ組み合わせて実施することができる。
【００８７】
投写口からの映像光とは別に、ユーザの指を照らす照明を設けてもよい。この場合、近赤外線等の特定波長の照明を使用し、この波長を選択的に透過するフィルタをレンズに取り付けたカメラでユーザの指を撮像するように構成してもよい。こうすることで、ユーザの指を認識する際の投写光や外来光による影響を低減することができる。
【００８８】
実施の形態では、ユーザの指によるタッチ操作について説明したが、ユーザが物理的なポインティングデバイス、例えば指し棒などを用いてタッチ操作を行う場合にも、上記と同様の構成で各実施の形態を適用することができる。
【００８９】
実施の形態では、投写型映像表示装置を用いてテーブルトップなどの水平面に映像を投写する場合について説明したが、壁面などの垂直面に映像を投写する場合にも本発明を適用することができる。後者の場合、プレゼンテーションなどで説明者が道具を用いることなく投写映像にタッチしながら画面操作することが可能になる。
また、平面でなく曲面に映像を投写する場合でも、設置するカメラの数や向きを適切に設定することで本発明を適用可能である。
【符号の説明】
【００９０】
１０、５０、１００  投写型映像表示装置、  １２、５２  カメラ、  １４  赤外線カメラ、  １６  スクリーン、  １８  投写口、  ２０  パーソナルコンピュータ、  ３０、６０、１１０  制御部、  ３２  ターゲット検出部、  ３４  座標決定部、  ３６  先端検出部、  ３８  接触判定部、  ４０  映像保持部、  ４２  投写部、  ６２  指検出部、  ６４  影検出部、  ６６  接触判定部、  ６８  座標決定部、  ７２  メイン映像、  ８０  サブスクリーン、  ８２  サブ映像、  １１２  マーカ認識部、  １１４  サブスクリーン特定部、  １１６  関連ファイル取得部、  １１８  ファイル格納部、  １２０  サブ映像処理部、  １２２  メイン映像処理部、  １２４  合成部。
【図１】
2011180712.tif 000003
【図２】
2011180712.tif 000004
【図３】
2011180712.tif 000005
【図４】
2011180712.tif 000006
【図５】
2011180712.tif 000007
【図６】
2011180712.tif 000008
【図７】
2011180712.tif 000009
【図８】
2011180712.tif 000010
【図９】
2011180712.tif 000011
【図１０】
2011180712.tif 000012