(57)【要約】      （修正有）【課題】システム表示映像の更新の際に、コマンド映像を照射したユーザの意図をより多く反映することができる。【解決手段】画像表示部１３０を備えた映像表示システムにおいて、画像表示部１３０に投射された投射映像を撮像する撮像部と、撮像部が撮像した画像から投射映像が写っている画像領域を抽出する抽出部と、抽出部が抽出した画像領域に対して幾何補正を含む補正を施して基準画像を生成する補正部と、基準画像に基づいて表示画像を生成する画像生成部と、を備え、画像表示部１３０には画像生成部が生成した表示画像を表示するようにする。【選択図】図１
2011010157.tif 000002
【特許請求の範囲】
【請求項１】
画像表示部を備えた映像表示システムであって、
前記画像表示部に投射された投射映像を撮像する撮像部と、
前記撮像部が撮像した画像から前記投射映像が写っている画像領域を抽出する抽出部と、
前記抽出部が抽出した画像領域に対して幾何補正を含む補正を施して基準画像を生成する補正部と、
前記基準画像に基づいて表示画像を生成する画像生成部とを備え、
前記画像表示部には前記画像生成部が生成した表示画像を表示するように成されていること、を特徴とする映像表示システム。
【請求項２】
請求項１記載の映像表示システムであって、
前記抽出部は、さらに、前記投射映像の前記画像表示部上における位置の情報、または、前記投射映像の前記画像表示部上における大きさの情報、または、その両方を含む情報である付帯情報を算出し、
前記画像生成部は、前記基準画像と前記付帯情報とに基づいて前記表示画像を生成すること、
を特徴とする、映像表示システム。
【請求項３】
前記画像表示部は、第一の画像表示部と第二の画像表示部とで構成されており、
前記第二の画像表示部で画像が表示されている状態を撮影する環境撮影部を備え、
前記第一の画像表示部には、前記環境撮影部が撮影した画像が表示されるように成されており、
前記撮像部は、前記第一の画像表示部に対して投射された投射映像を撮像し、
前記画像生成部は、前記第一の画像表示部上の座標と前記第二の画像表示部上の座標との間の対応関係を表す情報と、前記基準画像と、前記付帯情報とに基づいて前記表示画像を生成し、
前記表示画像を、前記第二の画像表示部で表示するようにしたこと、
を特徴とする請求項２記載の映像表示システム。
【請求項４】
前記画像生成部は、前記表示画像にマーカーを重畳したマーカー付き表示画像を生成し、
前記画像表示部は、前記マーカー付き表示画像を表示し、
さらに、前記抽出部が抽出した画像領域から前記マーカーを検出するマーカー検出部を備え、
前記補正部は、前記マーカー検出部が所定の個数以上のマーカーを検出した場合には、該検出された複数のマーカーの幾何学的な位置関係が所定の関係となるような幾何補正を含む補正を前記抽出部が抽出した画像領域に施して前記基準画像を生成し、前記マーカー検出部が検出したマーカーが所定の個数未満である場合には、補正後の外形が所定の形状に相似な形状となるような幾何補正を含む補正を前記抽出部が抽出した画像領域に施して前記基準画像を生成すること、
を特徴とする請求項１または２に記載の映像表示システム。
【請求項５】
第一の基準画像及び第一の付帯情報を記憶する記憶部と、
前記第一の基準画像と前記第一の付帯情報と前記抽出部が算出した第二の付帯情報と前記補正部が生成した第二の基準画像とに基づいて、前記第一の基準画像及び前記第一の付帯情報を更新する更新部と、
をさらに備え、
前記画像生成部は、前記記憶部に記憶されている第一の基準画像及び第一の付帯情報に基づいて前記表示画像を生成するようにしたこと、
を特徴とする請求項２に記載の映像表示システム。
【請求項６】
第一の基準画像を記憶する記憶部と、
前記記憶部に記憶されている第一の基準画像と前記補正部が生成した第二の基準画像との接合可否を判定する判定部と、
前記判定が「可」である場合には前記第一の基準画像と前記第二の基準画像とを接合した第三の基準画像を以て前記記憶部に記憶されている第一の基準画像を更新し、前記判定が「否」である場合には前記第二の基準画像を以て前記記憶部に記憶されている第一の基準画像を更新する更新部と、
をさらに備え、
前記画像生成部は、前記記憶部に記憶されている第一の基準画像に基づいて前記表示画像を生成するようにしたこと、
を特徴とする請求項１に記載の映像表示システム。
【請求項７】
画像表示部を備えた映像表示システムにおける映像表示方法であって、
前記画像表示部に投射された投射映像を撮像する撮像ステップと、
前記撮像ステップで撮像した画像から前記投射映像が写っている画像領域を抽出する抽出ステップと、
前記抽出ステップで抽出した画像領域に対して幾何補正を含む補正を施して基準画像を生成する補正ステップと、
前記基準画像に基づいて表示画像を生成する画像生成ステップと、
前記表示画像を前記画像表示部で表示する画像表示ステップと、
を備えたことを特徴とする映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示システムおよび映像表示方法に関し、特に、表示部にシステム外の機器から投射された映像に基づいて表示部に表示する内容を更新するものに関する。
【背景技術】
【０００２】
プロジェクターを用いたプレゼンテーションシステムであって、スクリーンに投映された画像に対してレーザーポインタによって指示点を照射した際に、当該ポインタの照射位置に応じた適切な部分の画像に強調画像を合成して投映・表示するプレゼンテーションシステムが、特許文献１に開示されている。
【０００３】
また、カメラ付携帯端末で撮影した広告チラシ上の商品写真を基に商品や流通小売業の情報を提供する商品情報提供システムが特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０２７０８０号公報
【特許文献２】特開２００８−２５０７９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１記載の技術では、レーザーポインタによって表示領域上に照射された映像（以下「コマンド映像」と呼ぶ）の表示領域上の位置に基づき、表示部に表示する映像（以下「システム表示映像」と呼ぶ）の内容を更新しているが、該更新内容は、前記コマンド映像が「前記表示部上の照射位置」以外に本質的に備える情報、即ち、大きさ、形状、コンテンツ等の情報には無関係であった。例えば、レーザーポインタの代わりに超小型プロジェクターを用いたような場合に、システム表示映像の内容の更新を、コマンド映像のコンテンツ毎に、各々対応した内容とすることは困難であった。
【０００６】
一方、特許文献２記載の技術では、ユーザがカメラで撮影して送付した撮影画像を検索キーとして使用して、該撮影画像に関連する的確な情報をユーザに提供しているが、提供する情報の提示方法に関しては、格別な技術は開示されていない。また、特許文献２記載の技術分野においては、通常、関連情報が提供されることを望むユーザ自身が被写体の撮影を実施するため、撮影画像上には情報を検索したい被写体が主として写っており、かつ、撮影画像上における被写体の幾何学的な歪みも軽微である。
【０００７】
これらの従来技術において、仮にレーザーポインタの代わりに超小型プロジェクター等、二次元の画像情報を投映できる機器を使用してコマンド映像を投射した場合、該コマンド映像の撮影画像上における像は、通常、撮影画像の一部分だけしか占めておらず、また、コマンド映像の投射位置と撮影画像の撮影位置の違いによる幾何学的な歪みも発生するため、撮影画像そのものを検索キーとして使用する構成では、システム表示映像の内容の更新にコマンド映像のコンテンツ情報を的確に反映させることは困難である。  そこで、本発明は、コマンド映像が備える、表示部上の照射位置以外の情報を考慮した上で、前記システム表示映像の内容を適切に更新することのできる映像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するための、本発明の望ましい態様の一つは次の通りである。  
画像表示部を備えた映像表示システムにおいて、前記画像表示部に投射された投射映像を撮像する撮像部と、前記撮像部が撮像した画像から前記投射映像が写っている画像領域を抽出する抽出部と、前記抽出部が抽出した画像領域に対して幾何補正を含む補正を施して基準画像を生成する補正部と、前記基準画像に基づいて表示画像を生成する画像生成部と、を備え、前記画像表示部には前記画像生成部が生成した表示画像を表示するようにする。
【発明の効果】
【０００９】
本発明によれば、システム表示映像の更新の際に、コマンド映像を照射したユーザの意図をより多く反映することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の映像表示システムの構成図。
【図２】実施例１の投射映像データの内容を説明するための図。
【図３】実施例１の画像表示処理のフロー図。
【図４】実施例１の領域分割の方法を説明するための図。
【図５】実施例１の投射映像個別登録処理のフロー図。
【図６】実施例２の映像表示システムの構成図。
【図７】実施例２の映像表示システムの動作を説明する図。
【図８】実施例２の画像表示処理のフロー図。
【図９】実施例３の映像表示システムの構成図。
【図１０】実施例３の投映用画像データの生成方法を説明するための図。
【図１１】実施例３の画像送信処理のフロー図。
【図１２】実施例３の画像投映処理のフロー図。
【図１３】実施例４の映像表示システムの動作を説明する図。
【図１４】実施例４の投射映像個別登録処理のフロー図。
【図１５】実施例４の画像内基準位置の決め方を説明するための図。
【発明を実施するための形態】
【実施例１】
【００１１】
以下、図１乃至図５を用いて、第１の実施例について説明する。本実施例は、例えば、駅に設置された大型のディスプレイを、超小型プロジェクタ付きの携帯電話を保持する複数のユーザでシェアしながら、各々のユーザが目的地付近の地図を前記ディスプレイに投射することで、該ディスプレイ上に現在位置から各々のユーザの目的地までの道程が提示されるような、近隣の地図案内板として使用するような場合に好適な例である。
【００１２】
図１は、本実施例の映像表示システムの構成図である。本実施例の映像表示システム１００は、演算処理部１１０と、記憶部１２０と、画像表示部１３０と、映像検出部１４０と、通信部１５０とで構成され、ユーザが持つ携帯型投映装置１６０から画像表示部１３０に投映された映像を映像検出部１４０で検出し、該検出した映像に対応する情報を、通信部１５０を介して接続されたデータベース１７０から検索し、検索した結果を適切に加工して画像表示部１３０で表示するものである。
【００１３】
演算処理部１１０は、記憶部１２０に記憶されたプログラムに従って、その都度適切な映像をユーザに提示する処理を行うものであり、例えばＣＰＵである。
【００１４】
記憶部１２０は、図１の符号１２１乃至１２６に示すプログラム及びデータのほか、演算処理部１１０が為す処理の途中で一時的に生成される中間データを格納するものであり、例えば、ＲＡＭとハードディスクの組である。
【００１５】
画像表示部１３０は、表示用画像データ１２４を逐次表示するものである。表示用画像データ１２４は、画像表示部１３０の表示解像度と同一の解像度の画像データであり、画像表示プログラム１２１によって逐次更新される。表示用画像データ１２４の座標系は、例えば、画像の左上を座標原点とし、上下の辺に平行に右向きにｘ軸を取り、左右の辺に平行に下向きにｙ軸を取り、格子点が各画素の位置に一致するようにスケールを定めることで定義する。
【００１６】
映像検出部１４０は、携帯型投映装置１６０から画像表示部１３０に投射される映像を検出するものである。画像表示部１３０と映像検出部１４０とは一体として成されていてもよく、例えば、ＳＯＧ（Ｓｙｓｔｅｍ  Ｏｎ  Ｇｌａｓｓ）技術によって光センサと信号処理機能をディスプレイのガラス上に作り込んだ低温ポリシリコンＴＦＴ液晶ディスプレイが、その具体的な例である。
【００１７】
通信部１５０は、データベース１７０との間の情報の受け渡しを行うためのものであり、例えば、ネットワークインターフェースやＩＳＤＮインターフェースである。
【００１８】
画像表示プログラム１２１は、画像表示部１３０の画像表示面に向けて投射された映像を映像検出部１４０で検出し、該検出した映像に対応する情報を、通信部１５０を介して接続されたデータベース１７０から検索し、検索した結果を適切に加工して画像表示部１３０で表示する、という機能を実現するためのプログラムである。画像表示プログラム１２１の処理の詳細は後述（図３）する。
【００１９】
投射映像管理データ１２２は、登録されている投射映像の個数と、各投射映像に対して保持する投射映像データとから成るデータである。具体的なデータ構造としては、例えば、投射映像データを、線形リストの形で保持したもの（登録されている投射映像の個数は線形リストの長さとして取得する）である。（但し、これに限るものではない。）投射映像データの詳細は後述（図２）する。
【００２０】
領域分割データ１２３は、表示用画像データ１２４と同一の解像度を持ち、画素値として当該画素位置に対応する投射映像のシリアル番号２０１を持つような画像データ（或いは整数値を格納する２次元配列）である。
【００２１】
作業用画像データ１２５は、表示用画像データ１２４と同一の解像度を持ち、画像表示プログラム１２１の実行時に、表示用画像データ１２４を更新する際の作業領域として使用されるデータである。
【００２２】
座標対応データ１２６は、映像検出部１４０が生成する画像データ上の２次元座標値と、表示用画像データ１２４上の２次元座標値と、の間の対応関係を表すデータであり、設計値に基づいてあらかじめ生成し記憶しておく。例えば、「表示用画像データ１２４上の格子点」に対応する「映像検出部１４０が生成する画像データ上の座標値」を保持する、２次元のテーブルとして記憶しておけばよい。
【００２３】
図２は、本実施例の投射映像データ２００の内容を説明するための図である。投射映像データ２００は、投射映像管理データ１２２を構成する一要素として、各投射映像の各々に対して生成され、記憶されるデータである。
【００２４】
投射映像データ２００は、図２（ａ）に示すように、シリアル番号２０１と、表示開始時刻２０２と、基準位置２０３と、基準サイズ２０４と、抽出画像データ２０５と、基準画像データ２０６と、拡張画像データ２０７と、単独表示用画像データ２０８とで構成される。
【００２５】
シリアル番号２０１は、各々の投射映像が識別できるように各投射映像に対して付与されるユニークな番号であり、表示開始時刻２０２は、投射映像に関する画像表示が為され始めた時刻である。
【００２６】
基準位置２０３は、単独表示用画像データ２０８を生成する際に基準とする位置であり、「抽出画像データ２０５における位置の基準」の、表示用画像データ１２４の座標系における位置（２次元座標値）である。抽出画像データ２０５、基準画像データ２０６、拡張画像データ２０７、単独表示用画像データ２０８、の各画像データの、表示用画像データ１２４の座標系における配置は、当該画像データにおける位置の基準が基準位置２０３に一致するように為される。
【００２７】
基準サイズ２０４は、投射映像個別登録処理（図５）で単独表示用画像データ２０８を生成する際にスケールの目安とするサイズであり、具体的には、抽出画像データ２０５における、投射映像に対応する四辺形の面積である。
【００２８】
抽出画像データ２０５は、座標対応データ１２６に基づき、映像検出部１４０が検出した投射映像を表示用画像データ１２４の座標系で表現したものである。具体的には、投射映像に対応する四辺形に外接するような矩形形状の画像データとして情報を保持するようにし、投射映像に対応する四辺形領域の内部の画素については検出した投射映像の画素値に基づいて算出した画素値を格納し、外部の画素についてはフラグとして（Ｒ，Ｇ，Ｂ）＝（−１，−１，−１）等の画素値を格納しておく。尚、前記矩形形状は、前記四辺形領域のｘ座標とｙ座標の各々に関する最小値及び最大値を求めることで、求めればよい。また、四辺形領域の外部の画素に対する処理は、例示したもののほか、画素値を（Ｒ，Ｇ，Ｂ，α）の４つの値で規定しαの値をフラグとして利用する方法や、四辺形の幾何学的情報、即ち、各頂点の位置情報と繋がり方の情報を付加情報として画像と一緒に保持しておき、内外判定が必要となった場合に、その都度計算を行って判定を行う方法など、公知の方法を適宜使用することができる。尚、抽出画像データ２０５における位置の基準は、四辺形の重心位置である。
【００２９】
基準画像データ２０６は、抽出画像データ２０５に幾何学的な補正を施して「携帯型投映装置１６０が投射したと推測される画像データ」に相似な形状の画像データを生成し、さらに、縦横比を維持したまま、該画像データのサイズ（面積）を前記基準サイズ２０４に等しくなるように変換した画像データである。尚、基準画像データ２０６における位置の基準は、外周となる矩形の重心位置（即ち、画像の中心の位置）である。
【００３０】
拡張画像データ２０７は、データベース１７０から基準画像データ２０６を鍵として検索した結果の画像データである。拡張画像データ２０７の検索においては、基準画像データ２０６の拡大や縮小の処理が適宜実施され、また、基準画像データ２０６のサイズに近い検索結果が優先されて採択される（例えば、同じ地図画像を携帯型投映装置１６０から投射した場合であっても、画像表示部１３０の表示面上に大きく投射された場合には、小さく投射された場合に比べて、採択された画像データにより細い道が記載されていたり地名などの付加情報が記載されていたりする可能性がある）。そのため、基準画像データ２０６が拡張画像データ２０７の一部に完全に合致しない場合もある。尚、拡張画像データにおける位置の基準は、拡張画像データ中の、基準画像データに対応する部分領域（採択された検索結果に基づいて、基準画像データを拡大または縮小して対応させたもの）において基準画像データ２０６における位置の基準に対応する位置である。
【００３１】
単独表示用画像データ２０８は、基準位置２０３及び拡大率２０９に基づいて拡張画像データ２０７のうち実際に表示する部分のみを抽出した画像データである。即ち、直感的には、表示用画像データ１２４に、拡張画像データ２０７を基準位置２０３と拡大率２０９に基づいて描画し、はみ出した部分を削除したものに等しい。
【００３２】
拡大率２０９は、基準画像データ２０６のスケールに対して、拡張画像データ２０７のスケールが何倍であるかを表す、スカラー値のデータである。
【００３３】
例えば、図２（ｂ）のように画像表示部１３０の表示面２１０上に映像２１１が投射されている場合、抽出画像データ２０５は図２（ｃ）の画像２２０のようなもの（但し、意味のある情報が含まれている、四辺形の内部のみを記載した）であり、基準画像データ２０６は図２（ｄ）の画像２３０のようなものであり、拡張画像データ２０７は図２（ｅ）の画像２４０のようなものであり、単独表示用画像データ２０８は図２（ｆ）の画像２５０のようなものである。
【００３４】
図３は、本実施例の画像表示処理のフロー図である。画像表示処理は、映像表示システム１００の電源投入を契機に開始され、映像表示システム１００の電源断まで実行される処理である。
【００３５】
画像表示処理が開始されると、まず、ステップＳ３０１で、初期設定を行う。具体的には、現在時刻Ｔの値を０に設定し、最新シリアル番号Ｑの値を１に設定し、投射映像管理データ１２２を初期化する。投射映像管理データ１２２の初期化は、投射映像データを保持する線形リストを空にすることで実施する（このとき、登録されている投射映像の個数は０となる）。
【００３６】
続いて、ステップＳ３０２で、投射映像検出処理を行う。具体的には、映像検出部１４０を用いて画像表示部１３０の画像表示面に投射された投射光を面状に検出した画像データに対して、環境光に対応するオフセットの除去、閾値処理による背景からの分離、連結成分分解等、公知の技術を用いた処理によって、投射映像に対応する（一つ或いは複数の）四辺形領域の情報を抽出する処理である。さらに、各々の四辺形領域に対して、該四辺形領域の重心位置として基準位置を、該四辺形領域の面積として基準サイズを、各々算出する。
【００３７】
続いて、ステップＳ３０３で、投射映像登録処理を行う。該処理は、検出した各々の投射映像が、以前に検出して現在も関連する映像が表示されている投射映像と異なる映像であるか否か、即ち、新規に投射された映像であるか否かを判定し、新規に投射された映像である場合には該投射映像に関する投射映像データ２００を新たに作成して、投射映像管理データ１２２に加える処理である。具体的には、検出した各々の投射映像に対して、後述（図５）の投射映像個別登録処理を実施する。該投射映像個別登録処理は、処理対象とする投射映像に対応する、抽出画像データと、基準位置と、基準サイズと、に関する処理である。
【００３８】
続いて、ステップＳ３０４で、表示領域分割処理を行う。具体的には、投射映像管理データ１２２が備える各々の投射映像データ２００に対し基準位置２０３を参照し、該基準位置を母点としたボロノイ図を生成し、各母点に対応するボロノイ領域を該母点に対応する投射映像に対応する表示領域として領域分割データ１２３を生成する。即ち、領域分割データ１２３の各画素の画素値を、該画素が属すボロノイ領域に対応する母点に対応する投射映像データのシリアル番号と等しい値に設定する。複数のボロノイ領域に跨る画素については、該画素が最も大きな面積で含むボロノイ領域に属すものとし、複数のボロノイ領域を同じ面積で含む場合には、対応する投射映像データのシリアル番号が最も小さなボロノイ領域に属すものとして処理を行う。
【００３９】
一例として、投射映像管理データ１２２が３つの投射映像データを管理している状態の例を図４（ａ）に示す。図４（ａ）で、投射映像４０１乃至４０３の各々から算出された基準位置４１１乃至４１３の各々を母点として生成したボロノイ図のボロノイ領域が、ボロノイ領域４２１乃至４２３である。このとき、領域分割データ１２３の各画素の画素値は、次のように設定する。即ち、ボロノイ領域４２１に属す画素の画素値は、投射映像４０１に対応する投射映像データ２００のシリアル番号２０１に等しく設定し、ボロノイ領域４２２に属す画素の画素値は、投射映像４０２に対応する投射映像データ２００のシリアル番号２０１に等しく設定し、ボロノイ領域４２３に属す画素の画素値は、投射映像４０３に対応する投射映像データ２００のシリアル番号２０１に等しく設定する。
【００４０】
続いて、ステップＳ３０５で、画像合成処理を行う。具体的には、作業用画像データ１２５の各画素に対して、座標（Ｘ，Ｙ）の画素の画素値を、領域分割画像データ１２３の座標（Ｘ，Ｙ）の画素の画素値が示すシリアル番号を有する投射映像データ２００内の単独表示用画像データ２０８の座標（Ｘ，Ｙ）の画素の画素値と同じ値に設定する。
【００４１】
続いて、ステップＳ３０６で、表示用画像データ更新処理を行う。具体的には、表示用画像データ１２４の各画素の画素値を、作業用画像データ１２５の対応する画素の画素値で書き換える処理である。尚、ダブルバッファ（或いは、ダブルバッファリング）技術の考え方を適用し、表示用画像データ１２４と作業用画像データ１２５とを、描画用と表示用の役割を交互に交代しながら使用するように実装してもよい。
【００４２】
続いて、ステップＳ３０７で、時刻更新処理を行う。具体的には、まず、現在時刻Ｔの値を１だけ増やし、次に、現在時刻Ｔの値と投射映像管理データ１２２内の各投射映像データ２００の表示開始時刻を比較して、それらの差が所定の基準表示時間に達した投射映像データの登録を抹消する。即ち、該当する投射映像データ２００を、投射映像管理データ１２２内の線形リストから削除し、当該投射映像データ２００を記憶していた記憶領域を解放する。
【００４３】
ステップＳ３０７の時刻更新処理の終了後、ステップＳ３０２の投射映像検出処理に戻って処理を続ける。
【００４４】
図５は、本実施例の投射映像個別登録処理のフロー図である。投射映像個別登録処理は、注目している投射映像が、以前に検出して現在も関連する映像が表示されている投射映像とは異なり、新規に投射された映像であるか否かを判定し、新規に投射された映像である場合には該投射映像に関する投射映像データ２００を新たに作成して、投射映像管理データ１２２に加える処理であり、図３で説明した画像表示処理における投射映像登録処理（Ｓ３０３）から、検出した各々の投射映像に対して呼び出される処理である。
【００４５】
投射映像個別登録処理が開始されると、まず、ステップＳ５０１で、形状補正処理を行う。形状補正処理は、基準画像データを生成する処理である。具体的には、抽出画像データに平行化（ｒｅｃｔｉｆｉｃａｔｉｏｎ）と呼ばれる処理を施し、抽出画像データが携帯型投映装置１６０の画像面に平行になるように、即ち、携帯型投映装置１６０で投射している画像データと相似な画像データとなるように幾何補正を行った上で、さらに、生成される基準画像データの面積が基準サイズに等しくなるように、相似比を決定し、サイズの変換を行う。平行化の処理は、抽出画像データ内の投射映像に対応する四辺形領域の形状に基づいて実施すればよく、携帯型投映装置１６０から投射されている映像の外形が矩形である、即ち、前記四辺形領域が平行化の結果、矩形領域に変換される、という前提の下で実施する。変換結果の矩形領域が傾きを持つ場合、即ち、該矩形領域の長辺及び短辺が表示用画像データ１２４の座標系におけるｘ軸或いはｙ軸と平行でない場合には、前記矩形領域の長辺と短辺が前記ｘ軸或いはｙ軸と平行になるように（以下、この条件を「平行条件」と呼ぶ）前記矩形領域を回転させる。このときの回転角度としては、前記平行条件を満たすための、絶対値が最小となる角度を選択する。即ち、前記矩形領域の長辺と前記ｘ軸が平行になる場合のほか、前記矩形領域の長辺と前記ｙ軸が平行になる場合も許すものとする。前記平行条件を満たすように得られた矩形領域を、基準画像データとする。
【００４６】
続いて、ステップＳ５０２で、類似度判定処理を行う。具体的には、ステップＳ５０１で生成した基準画像データと、投射映像管理データ１２２に既に登録されている各々の投射映像データにおける基準画像データ２０６との類似度を算出し、最大の類似度の値を選出する。類似度の値としては、例えば、正規化相関係数や、平均絶対誤差の値など、公知の指標を利用すればよく、２つの画像が似ているほど値が大きくなるように、必要に応じて「正負の符号の反転」や「所定のオフセットを加えた上で逆数を取る」等の処理を施して使用すればよい。類似度の算出対象とする投射映像データは、「注目している投射映像に状態が近いもの」に限定する。即ち、注目している投射映像に関する基準位置と投射映像データ中の基準位置２０３との距離が所定の閾値以下（例えば「３画素以下」）であり、かつ、注目している投射映像に関する基準サイズと投射映像データ中の基準サイズ２０４の比が所定の範囲内（例えば「０．９７倍以上、かつ、１．０３倍以下」）にあるものに限定する。これらの条件を満たす投射映像データが投射映像管理データ１２２の中に存在しない場合には、前記最大の類似度の値は、類似度の値が取り得る値の範囲における最小値であるとする。尚、ステップＳ５０１で生成した基準画像データと投射映像データ中の基準画像データ２０６との類似度の計算は、より詳細には、両者の基準サイズの違いによって及ぼされる影響を低減させるため、Ｓ５０１で生成した基準画像データを相似変換して投射映像データ中の基準画像データ２０６の面積と等しい面積を持つような中間画像データを生成し、この中間画像データと前記投射映像データ中の基準画像データ２０６との間で正規化相関係数等を計算することで行う。
【００４７】
続いて、ステップＳ５０３で、新規投射映像か否かの判定を行う。具体的には、前記類似度の値が所定の閾値以下であれば「新規投射映像である」と判定し、それ以外の場合には「新規投射映像でない」と判定する。ステップＳ５０３で「新規投射映像である」と判定された場合、ステップＳ５０４に進んで処理を続ける。ステップＳ５０３で「新規投射映像でない」と判定された場合、投射映像個別登録処理を終了する。
【００４８】
続いて、ステップＳ５０４で、画像検索処理を行う。具体的には、複数のテンプレート画像によるテンプレートマッチングを行い、データベース１７０に格納された画像データのうち、信頼度が最大となる画像データを検索結果として採用する。前記複数のテンプレート画像は、基準画像データ２０６を、所定の拡大率Ｒに基づいて拡大した画像（縦横各々をＲ倍の長さにする；拡大率Ｒが１より小さい正の数の場合、拡大後の画像は元の画像より小さくなる）を用いる。拡大率が１に近い（即ち、基準画像データ２０６のサイズに近い）テンプレート画像を用いた検索の結果を優先的に採用するため、前記信頼度は、後述の類似度と倍率補正項とに基づいて算出する（例えば、類似度と倍率補正項の積とする）。
【００４９】
類似度の値としては、例えば、正規化相関係数を利用する。具体的には、テンプレート画像との正規化相関係数が最大となる部分領域（テンプレート画像と同じサイズの領域）の正規化相関係数を類似度の値として使用する。倍率補正項は、例えば倍率が（１＋ｒ）倍の場合、「ｒ」の絶対値が大きいほど倍率補正項の値が小さくなるようなもの、例えば、「１／（０．１＋｜ｒ｜）」という値を使用する。尚、画像検索処理の具体的な方法はテンプレートマッチングに限るものではなく、公知の手法を適宜組み合わせて使用すればよい。検索結果として採用された画像データが拡張画像データであり、拡張画像データの探索に用いたテンプレートの拡大率がＲであった場合、投射映像管理データ更新処理（Ｓ５０７）において登録される拡大率はＲとなる。
【００５０】
続いて、ステップＳ５０５で、検索結果に妥当な画像が含まれていたか否かを判定する。具体的には、前記信頼度の値が所定の閾値以上であれば「妥当な画像あり」と判定し、それ以外の場合には「妥当な画像なし」と判定する。ステップＳ５０５で「妥当な画像あり」と判定された場合、ステップＳ５０５に進んで処理を続ける。ステップＳ５０５で「妥当な画像なし」と判定された場合、投射映像個別登録処理を終了する。
【００５１】
続いて、ステップＳ５０６で、表示領域決定処理を行う。具体的には、作業用画像データの各画素（Ｘ，Ｙ）に対して、拡張画像データの画素位置（ｃｘ＋（Ｘ−Ｃｘ）×Ｒ，ｃｙ＋（Ｙ−Ｃｙ）×Ｒ）の画素の画素値を設定する処理である。ただし、（ｃｘ，ｃｙ）は拡張画像データ上における位置の基準の位置であり、（Ｃｘ，Ｃｙ）は表示用画像データ上の座標系における基準位置である。拡張画像データ上の参照する画素位置が格子点上に乗らない場合には、双線形補間等、公知の補間技術を用いて画素値を決定すればよい。また、拡張画像データ上の参照する画素位置が拡張画像データの外部にはみ出してしまう場合には、作業用画像データの対応する画素の画素値を「黒」、即ち（Ｒ，Ｇ，Ｂ）＝（０，０，０）に設定する。
【００５２】
続いて、ステップＳ５０７で、投射映像管理データ１２２を更新する。具体的には、新しい投射映像データ用の記憶領域を確保し、シリアル番号２０１として最新シリアル番号Ｑの値を設定し、表示開始時刻２０２として現在時刻Ｔの値を設定する。また、基準位置２０３、基準サイズ２０４、抽出画像データ２０５の各々には、図３の投射映像検出処理（Ｓ３０２）で検出し、現在の投射映像個別登録処理において処理対象としている投射領域に関する、基準位置、基準サイズ、抽出画像データを各々設定する。さらに、基準画像データ２０６には形状補正処理（Ｓ５０１）で生成した基準画像データを、拡張画像データ２０７には画像検索処理（Ｓ５０４）で生成した拡張画像データを、単独表示用画像データ２０８には表示領域決定処理（Ｓ５０６）で画素値を設定した作業用画像データを、拡大率２０９には画像検索処理（Ｓ５０４）で決定された拡大率Ｒを、各々設定する。各要素の設定が終了した投射映像データを投射映像管理データ１２２内の線形リストに加える。新しい投射映像データを投射映像管理データ１２２に登録後、最新シリアル番号Ｑの値に「１」を加え、ステップＳ５０７を終了する。
【００５３】
以上、本実施例によれば、画像表示部上に投射された映像の該画像表示部上の位置のほか、該投射映像の形状、大きさ、コンテンツ等に基づいて画像表示部に表示する映像の内容を更新するようにしたため、投射映像を介したユーザと映像表示システムとのインタラクションにおいて、ユーザの意図をよりよく反映した表示内容を、ユーザに提示することができる。
【００５４】
尚、本実施例では、投射映像に関する画像の表示を開始してから、所定の時間が経過した場合に表示を消すようにしたが、本発明の実施の形態はこれに限るものではない。例えば、図５のＳ５０３で「新規投射映像である」と判定された場合に、該投射映像に関する基準位置から所定の距離範囲内に基準位置が存在するような投射映像データの各々について、登録を抹消する（即ち、投射映像管理データ１２２内の線形リストから削除し、当該投射映像データを記憶していた記憶領域を解放する）ようにしてもよい。
【００５５】
また、本実施例では、画像合成処理（Ｓ３０５）において、作業用画像データ１２５の各画素に対して独立に、対応する投射映像データに基づいて画素値を決定し、そのようにして生成された作業用画像データ１２５に基づいて表示用画像データ１２４を更新していたが、本発明の実施形態はこれに限るものではない。例えば、作業用画像データ１２５に対して、さらに、各表示領域の境界に相当するボロノイ辺を描画する処理を追加してもよい。このようにすることで、図４（ｂ）に示すような作業用画像データ１２５がユーザに提示されることとなり、各表示領域の境界をユーザが容易に把握することができるようになる。
【００５６】
また、本実施例では、表示領域分割処理（ステップＳ３０４）でボロノイ図を利用して、その都度、表示領域を適切に分割するようにしたが、本発明の実施の形態はこれに限るものではない。例えば、表示領域をあらかじめ図４（ｃ）のように複数の矩形領域４３１乃至４３４に分割しておき、携帯型投映装置１６０から投射された映像４０１乃至４０３に対して、該各々の投射映像に対応する単独表示用画像データのうち、各々の基準位置４１１乃至４１３が含まれる矩形領域４３１乃至４３３に含まれている部分だけを、表示するようにしてもよい。その場合、図４（ｃ）の例における矩形領域４３４のように、矩形領域内に基準位置が含まれる投射映像がない場合には、矩形領域４３４には何も表示しない、即ち、該領域を「黒」、即ち（Ｒ，Ｇ，Ｂ）＝（０，０，０）とした表示用画像データ１２４を表示するようにする。
【００５７】
また、本実施例では、画像検索処理（Ｓ５０４）における画像の検索はネットワークを介してデータベース１７０にアクセスすることで実施したが、本発明の実施形態はこれに限るものではない。例えば、映像表示システム１００内のバスに、通信部１５０の代わりに新たにハードディスクを接続し、該ハードディスク内に、探索対象とする画像群を格納しておくようにしてもよい。
【００５８】
また、本実施例では、基準サイズに基づいて、即ち、投射された映像と縮尺が同程度となるように単独表示用画像データの拡大率を決定したが、本発明の実施形態はこれに限るものではなく、表示部が設置された物理的または地理的な位置に基づいて拡大率を決定するようにしてもよい。例えば、駅前に設置した地図案内板に本実施例の映像表示システムを適用する場合には、投射された目的地付近の地図に基づく検索の後、目的地と当該案内板の設置位置との両方が、単独表示用画像データに含まれるように、或いは、領域分割データ１２３内の対応する領域の内部に含まれるように、拡大率を決定してもよい。
【００５９】
また、本実施例では、映像検出部１４０としてＳＯＧ技術によって画像表示部と一体化された光センサを使用したが、本発明の実施形態はこれに限るものではなく、例えば、映像検出部１４０としてデジタルカメラを使用してもよい。その場合、投射映像の検出を容易にするため、画像表示部１３０で表示した映像が映像検出部１４０で検出されない（或いは検出されにくい）構成としておくことが望ましい。そのような方法としては、例えば、従来、眼鏡式立体ディスプレイの分野で左右映像を分離するために利用してきた方法を応用することができる。具体的には、例えば、画像表示部１３０が１秒間に６０枚の画像を表示する場合、毎秒、該６０枚のうちその最初の１枚だけは、表示用画像データの内容に依らず黒画像（全画素が黒、即ち（Ｒ，Ｇ，Ｂ）＝（０，０，０）を画素値として持つ画像）を表示するようにし、映像検出部１４０は、画像表示部１３０に該黒画像が表示されているタイミングでのみ、撮影するように構成する（この方法を以下では「時間同期による方法」と呼ぶ）。或いは、画像表示部１３０が円偏光のフィルタを通して映像を表示するように構成し、映像検出部１４０では画像表示部１３０とは偏光方向が逆となるような円偏光フィルタを通して撮影を行うようにする（この方法を以下では「偏光フィルタによる方法」と呼ぶ）。或いは、画像表示部１３０が表示に用いる（Ｒ，Ｇ，Ｂ）の各々の波長分布を一般の携帯型投映装置とは異なるものとしておき、映像検出部１４０での（Ｒ，Ｇ，Ｂ）の各々の感度を、画像表示部１３０の映像が強度的に優位となる波長領域について鈍感になるように構成する（この方法を以下では「波長分布による方法」と呼ぶ）。尚、映像検出部１４０としてデジタルカメラを使用する場合に上記の構成は必須ではなく、画像表示部１３０で表示している映像の内容が既知であることを利用して、背景差分等の公知の手法によって投射映像を検出するようにしてもよい。
【００６０】
尚、映像検出部１４０としてデジタルカメラを使用する場合、座標対応データ１２６は、例えば、グレイコードと呼ばれる一連の縦縞パターンと横縞パターンの組を画像表示部１３０で表示したものを撮影した一組の撮影画像データに基づいて、あらかじめ生成しておくが、座標対応データ１２６の生成方法はこれに限るものではなく、位相シフト法など他の方法を用いて生成してもよい。
【００６１】
また、本実施例では投射映像管理データ１２２に登録可能な投射映像の個数を無制限としたが、投射映像管理データ１２２に登録可能な投射映像の個数の最大数をあらかじめ定めて記憶部１２０に記憶しておき、投射映像管理データ１２２に登録される投射映像の個数が、該最大数を超えないように制限してもよい。具体的には、投射映像個別登録処理の投射映像管理データ更新処理（Ｓ５０７）において、現在登録されている投射映像の個数が前記最大数に等しく、投射映像管理データを更新することによって登録される投射映像の個数が増加する場合には、該更新を行わず、そのまま投射映像管理データ更新処理を終了するようにすればよい。このような構成とすることで、ボロノイ領域が過度に細分化される現象を抑制することができる。
【００６２】
或いは、新たに投射された映像と基準位置が近い（即ち、両者の基準位置間の距離が所定の閾値よりも小さい）投射映像データが既に登録されている場合に、新たに投射された映像の基準位置に最も近い基準位置を有する投射映像データを抹消するように構成してもよい。該抹消処理は、例えば、新規投射映像か否かの判定（Ｓ５０３）の直後に実施する。このような構成とすることで、ボロノイ領域が過度に細分化される現象を抑制することができ、また、データベース１７０に登録されていない画像を投射することで、新規投射映像を、登録済の投射映像データを抹消するためのコマンド映像として利用することができる。
【００６３】
また、本実施例では各投射映像の基準位置を該投射映像の重心位置としたが、本発明の実施の形態はこれに限るものではない。例えば、各投射映像の外形を成す四辺形の対角線の交点や、各投射映像の外形を成す四辺形の左上の頂点等、様々なものを用いることができる。また、基準位置の決め方を、投射映像が投射された画像表示部上の位置に応じて変えるようにしてもよい（例えば、画像表示部上の左下隅に近い位置に投射された場合には外形を成す四辺形の左下の頂点を基準位置とし、画像表示部上の右上隅に近い位置に投射された場合には外形を成す四辺形の右上の頂点を基準位置とする、等）。
【００６４】
また、本実施例では平行条件を満たすように基準画像データを生成し、その際に必要となった矩形領域の回転角については以降の計算で考慮しない構成としたが、本発明の実施形態はこれに限るものではない。個々の投射映像データが前記回転角の情報も備えるような構成とし、ステップＳ５０２の類似度判定処理で類似度の算出対象とする投射映像データを選別する際に「基準位置」及び「基準サイズ」が近いことに加えて「回転角」が近いことも条件として選別処理を行い、ステップＳ５０６の表示領域決定処理において、拡大率の情報に加えて回転角の情報も考慮して拡張画像データ上の画素位置を算出し、ステップＳ５０７の投射映像管理データ更新処理において、回転角の情報も合わせて更新するようにすることで、携帯型投映装置１６０から斜めに傾けて投射された映像に対して、該映像に関連する映像を、画像表示部において、同様に斜めに傾いた状態で表示することができる。本実施例のシステムにこれらの変更を加えることは、容易である。尚、前記「斜めに傾ける」とは、直感的には、投射映像の光軸回りの回転を意味している。
【００６５】
また、本実施例では投射映像による映像表示システムとのインタラクションは該投射映像に関連する映像を画像表示部で表示することのみであったが、本発明の実施形態はこれに限るものではない。例えば、表示用画像データ１２４の、各投射映像に対応するボロノイ領域の一部に「画像変更ボタン」として矩形領域を設け、画像表示部１３０の画像表示面上で、該矩形領域に「↑」の映像が投射された場合には現在表示されている画像情報を上方に所定のシフト量だけずらして表示し（このとき下方に新しい画像情報が現れる）、「＋」が投射された場合には現在表示されている画像情報を基準位置を中心として所定の拡大率だけ拡大して表示し、「−」が投射された場合には現在表示されている画像情報を基準位置を中心として所定の縮小率だけ縮小して表示するというように、投射映像を、表示される映像の内容を制御するためのコマンド映像として使うようにしてもよい。具体的には、検出した投射映像から基準位置を算出した際に、該基準位置が前記矩形領域に含まれている場合には、投射映像個別登録処理の代わりに、既に登録されている投射映像データに対して、新規に検出した投射映像の形状や色に応じて、あらかじめ決められた処理を施して単独表示用画像データを更新するような処理を加える。
【００６６】
また、本実施例は、ユーザが携帯型投映装置１６０を用いて映像表示システムとのインタラクションを行うようにしたが、本発明の実施形態はこれに限るものではない。例えば、携帯型投映装置１６０がさらに撮影装置を備えることを想定し、映像表示システムを次のような構成とすることで、ユーザにさらに高度なインタラクションの方法を提供することができる。
【００６７】
即ち、画像合成処理（Ｓ３０５）の終了後の作業用画像データ１２５に、平行化の手掛かりとするためのマーカー（例えば格子模様を成す線画）を重畳して描画し、形状補正処理（Ｓ５０１）の開始前に、当該マーカーが検出されたか否かを判定し、当該マーカーが検出されなかった場合と検出された場合とで形状補正の方法を変えるようにする。具体的には、マーカーが検出されなかった場合には、先に説明した方法によって形状を補正し、マーカーが検出された場合には、マーカーの直線群を検出し、それらの直線群で形成される四辺形が矩形となるように、平行化の処理を行うようにする。また、画像検索処理（Ｓ５０４）では、検出されたマーカーを除いた画像領域においてのみ、信頼度を評価するようにする。
【００６８】
尚、マーカーは場所ごとに太さを変えておいてもよく（１０画素刻みで細線を描画し５０画素刻みで太線を描画する等）、その場合、広域で撮影された場合にも認識が容易となる。また、マーカーとしては大きさや色の異なる丸印等、様々なものを用いることができる。
【００６９】
このような構成とすることで、画像表示部１３０に表示されているコンテンツの表示位置や拡大率の変更を、ユーザが撮影装置を備えた携帯型投映装置で画像表示部１３０に表示された映像の一部を撮影し、該撮影した撮影画像データを画像表示部１３０の別の位置に投射することで実現できるため、ユーザによる直感的な映像操作が可能となる。
【実施例２】
【００７０】
以下、図６乃至図８を用いて、第２の実施例について説明する。本実施例は、例えば、街頭に設置された大型のディスプレイの一部の領域に、携帯型のプロジェクターから写真等を投映して楽しむような場合、或いは、会議室のスクリーンに、ノートＰＣに付属の超小型プロジェクターを使ってノートＰＣから出力したプレゼンテーション映像を投映するような場合等、投射映像が見易くなるように補正して表示することが望ましい場合に好適な例である。
【００７１】
図６は、本実施例の映像表示システム６００の構成図である。図６で図１と同じ符号は、図１と同じものを表す。
【００７２】
画像表示プログラム６２１は、画像表示部１３０の画像表示面に向けて投射された映像を映像検出部１４０で検出し、検出した結果を適切に加工して画像表示部１３０で表示する、という機能を実現するためのプログラムである。画像表示プログラム６２１の処理の詳細は後述（図８）する。
【００７３】
投射映像管理データ６２２は、投射映像管理データ１２２と同様に、登録されている投射映像の個数と、各投射映像に対して保持する投射映像データとから成るデータである。ただし、本実施例の投射映像データは、図２で説明した実施例１の投射映像データ２００と異なり、シリアル番号２０１と、基準位置２０３と、基準サイズ２０４と、抽出画像データ２０５と、基準画像データ２０６と、単独表示用画像データ２０８とで構成される。
【００７４】
図７は、本実施例の映像表示システムの動作を説明する図である。
【００７５】
画像表示部１３０の画像表示面７３０に向けて携帯型投映装置１６０から映像７０１が投射されると（図７（ａ）の状態）、該投射映像が抽出されて、幾何補正を施した画像データ７０２（即ち、基準画像データ）が生成され（図７（ｂ）の状態）、生成された画像データ７０２が、映像７０１と同じ位置に同じサイズになるように、画像表示部１３０で表示される。このとき、画像表示部１３０で表示している映像中の、画像データ７０２に対応する映像領域が、図７（ｃ）の映像領域７０３である。
【００７６】
図８は、本実施例の画像表示処理のフロー図である。画像表示処理は、映像表示システム６００の電源投入を契機に開始され、映像表示システム１６０の電源断まで実行される処理である。
【００７７】
画像表示処理が開始されると、まず、ステップＳ８０１で、初期設定を行う。具体的には、最新シリアル番号Ｑの値を１に設定し、投射映像管理データ６２２を初期化する。投射映像管理データ６２２の初期化は、投射映像データを保持する線形リストを空にすることで実施する（このとき、登録されている投射映像の個数は０となる）。
【００７８】
続いて、ステップＳ８０２で、投射映像検出処理を行う。具体的には、図３で説明した、ステップＳ３０２の投射映像検出処理と同様の処理である。
【００７９】
続いて、ステップＳ８０３で、投射映像登録処理を行う。具体的には、検出した各々の投射映像に対して、図５の投射映像個別登録処理に相当する処理を実施する。但し、ステップＳ５０２乃至ステップＳ５０５の処理は実施せず、形状補正処理（Ｓ５０１）の終了後は、表示領域決定処理（Ｓ５０６）を行う。尚、表示領域決定処理（Ｓ５０６）においては、拡張画像データの代わりに、基準画像データを使用する。投射映像管理データ更新（Ｓ５０７）についても、本実施例の投射映像データに対応する内容のみ実施すればよい。
【００８０】
続いて、ステップＳ８０４で、画像合成処理を行う。具体的には、投射映像管理データ６２２に登録されている各々の投射映像データが備える単独表示用画像データを参照し、作業用画像データの各画素について、各単独表示用画像データの対応する画素位置の画素値のうちで、最大の画素値を設定する（Ｒ，Ｇ，Ｂの各々を独立に処理すればよい）。
【００８１】
続いて、ステップＳ８０５で、表示用画像データ更新処理を行う。具体的には、図３で説明した、ステップＳ３０６の表示用画像データ更新処理と同様の処理である。ステップＳ８０５の終了後、ステップＳ８０１に戻り処理を続ける。
【００８２】
以上、本実施例によれば、画像表示部１３０に対して投射された投射映像を、投射された位置に、見易くなるように補正した上で表示することができる。    
尚、本実施例では、画像表示部１３０の画像表示面に向けて投射された映像を、幾何補正した上で、投射されたのと同一の位置に投射されたのと同一のサイズで表示するようにしたが、本発明の実施形態はこれに限るものではない。例えば、検出された投射映像が１つだけの場合には、図７（ｄ）の映像領域７０４に示すように、画像表示部１３０の画像表示面７３０の全体に基準画像データを拡大して表示するようにしてもよいし、或いは、投射されたサイズに対して縦横各々２倍のサイズで表示する等、所定の割合で拡大して表示するようにしてもよい。また、表示する位置についても、例えば、映像が投射された位置によらずに、画像表示部１３０の画像表示面７３０の中央部分に表示するようにしてもよい。そのような表示領域決定処理（Ｓ５０６）の変更は、容易である。
【００８３】
また、本実施例では、初期設定（Ｓ８０１）により現在時刻以外の情報を毎回すべて破棄していたが、本発明の実施形態はこれに限るものではない。例えば、一つ前の時刻の基準位置と基準サイズを記憶部に記憶しておいて、投射映像検出処理（Ｓ８０２）の終了後、現在時刻における基準位置が一つ前の時刻における基準位置に近い場合には、現在時刻における基準位置と基準サイズとを一つ前の時刻における基準位置と基準サイズとで置きかえるようにしてもよい。このようにすることにより、ユーザが手持ちで映像投射する場合のように、入力映像の位置や形状が揺らぐ場合であっても、画像表示面上の同じ位置に同じサイズで、安定して所望の映像を表示することができる。
【００８４】
また、本実施例では、投射映像に対して幾何補正のみを施して表示するようにしたが、本発明の実施形態はこれに限るものではない。例えば、検出した投射映像に対してコントラストを強調するような補正を施してから表示することにより、より鮮明な映像を提供することができる。そのような補正処理は、例えば、表示領域決定処理（Ｓ５０６）において単独表示用画像データ２０８を生成する際に合わせて実施すればよく、そのような変更は容易である。
【実施例３】
【００８５】
以下、図９乃至図１２を用いて、第３の実施例について説明する。本実施例は、例えば、ユーザに高い臨場感を与える遠隔会議システムに適用するに好適な例である。
【００８６】
図９は、本実施例の映像表示システムの構成図である。図９で図１と同じ符号は、図１と同じものを表すため説明を省略する。
【００８７】
本実施例の映像表示システム９００Ａは、演算処理部１１０と、記憶部１２０と、画像表示部１３０と、通信部９４０と、環境撮像部９５０と、撮像部９６０と、投映部９７０とで構成される。
【００８８】
拠点Ａに配置された映像表示システム９００Ａは、ネットワークを介して、拠点Ｂに配置された映像表示システム９００Ｂ、及び、拠点Ｃに配置された映像表示システム９００Ｃ、と接続される。映像表示システム９００Ｂの構成、及び、映像表示システム９００Ｃの構成は、いずれも映像表示システム９００Ａの構成と同一である。そのため、以下の説明では、必要に応じて、拠点Ａの映像表示システム９００Ａが備える撮像部９６０を９６０Ａ、拠点Ｂの映像表示システム９００Ｂが備える撮像部９６０を９６０Ｂ、のように、構成要素の種別を示す符号（９６０等）の後に拠点を示す符号（Ａ、Ｂ等）を添えて表記する。
【００８９】
プレゼンテーション用機器９８０は、各拠点におけるプレゼンテーションに使われる機器であり、例えば、スクリーンとプロジェクターの組や、ホワイトボードである。
【００９０】
通信部９４０は、ネットワークを介して他拠点と画像やその他の情報の受け渡しを行うためのものであり、例えば、ネットワークインターフェースやＩＳＤＮインターフェースである。
【００９１】
環境撮像部９５０は、当該拠点の様子を他拠点に対して送信するために撮影を行うものであり、例えば、ビデオカメラである。
【００９２】
撮像部９６０は、図示しないレーザーポインタ９９０から画像表示部１３０に投射された投射光の画像表示部１３０上での像を撮影するものであり、例えば、デジタルカメラである。撮像部９６０は、画像表示部１３０の画像表示面全体が写るように設置する。
【００９３】
投映部９７０は、プレゼンテーション用機器９８０に向けて、投映用画像データ９２５を逐次投映するものであり、例えば、ＬＥＤプロジェクターやレーザープロジェクターである。プレゼンテーション用機器９８０上では、元々のプレゼンテーション内容と、投映部９７０によって投映された映像とが、光学的に重畳されて表示されることになる。投映用画像データ９２５は、投映部９７０の表示解像度と同一の解像度の画像データであり、画像投映プログラム９２３によって逐次更新されるデータである。
【００９４】
遠隔会議プログラム９２１は、映像表示システム９００を遠隔会議システムとして機能させるためのプログラムであり、既存の技術によって成るものである。具体的には、環境撮像部９５０で撮像した画像を他拠点の映像表示システム９００に送信し、他拠点の（場合によっては複数の）映像表示システム９００から送られてきた画像を基に表示用画像データ９２４を生成して、画像表示部１３０で表示する。遠隔会議プログラムが生成する表示用画像データ９２４は、画像表示部１３０の表示解像度と同一の解像度の画像データであり、例えば図１０（ａ）に示すように、他の二拠点の環境撮像部９５０が撮像した映像を、所定の位置に、所定の大きさで合成した画像データである。
【００９５】
画像送信プログラム９２２は、画像表示部１３０に対して投射されたレーザーポインタ等の投射映像を撮像部９６０で撮影したデータに対し、座標対応データ９２７に基づいて幾何変換を施した上で、他拠点に対して送信するプログラムである。画像送信プログラム９２２の詳細は、後述（図１１）する。
【００９６】
画像投映プログラム９２３は、他拠点の映像表示システム９００から画像送信プログラム９２２に従って送信された画像データ、及び、座標対応データ９２７に基づき、投映用画像データ９２５と同一の解像度を持つ作業用画像データ９２６を作業領域として使用しながら、投映用画像データ９２５を逐次更新するプログラムである。画像投映プログラム９２３の詳細は、後述（図１２）する。
【００９７】
座標対応データ９２７は、投映部９７０が投映する投映用画像データ９２５上の２次元座標値と環境撮像部９５０が撮像する環境撮影データ上の２次元座標値との間の対応関係、及び、画像表示部１３０が表示する表示用画像データ９２４上の２次元座標値と撮像部９６０が撮像する撮影画像データ上の２次元座標値との間の対応関係、を表すデータであり、公知の技術を用いてあらかじめ生成し記憶しておく。例えば、表示装置で一連の構造化光（例えば、グレイコードと呼ばれる画像データ群）を表示したものを撮像装置で撮影した画像データ群に基づき、表示装置が表示する画像データ上の座標値と撮像装置が撮影する画像データ上の座標値との間の対応関係を求める手法が知られており、該手法を用いて生成すればよい。生成した２次元座標値間の対応関係は、例えば、表示側の画像データ上の格子点に対応する撮影側の画像データ上の座標値を保持する２次元のテーブルとして記憶しておけばよい。
【００９８】
座標対応データ９２７は、さらに、表示用画像データ９２４上の２次元座標値と、他拠点の映像表示システム９００から送られてきた画像上での２次元座標値との間の対応関係も記憶しておく。該対応関係は、他拠点の映像表示システム９００から送られてきた画像の解像度に基づき、遠隔会議プログラム９２１の設計値を用いて算出すればよい。尚、遠隔会議プログラム９２１が表示用画像データ９２４を生成する際に、複数の画面構成のうちの一つを選択できるような構成とする場合には、各々の画面構成に関して前記対応関係を算出し、記憶しておく。
【００９９】
図１０は、本実施例の投映用画像データの生成方法を説明するための図である。
【０１００】
図１０（ａ）は、拠点Ｂにおける画像表示部１３０Ｂの様子である。拠点Ａの環境撮像部９５０Ａが撮影した映像が、映像領域１０１０として画像表示部１３０Ｂの左半分に表示されており、拠点Ｃの環境撮像部９５０Ｃが撮影した映像が、映像領域１０１１として画像表示部１３０Ｂの右半分に表示されている。映像領域１０１０と映像領域１０１１とは、遠隔会議プログラム９２１に従って、拠点Ａの環境撮像部９５０Ａが撮影した映像と拠点Ｃの環境撮像部９５０Ｃが撮影した映像とが所定のパラメタに基づいて、一旦、表示用画像データ９２４Ｂとして合成された上で、画像表示部１３０Ｂに表示されたものである。
【０１０１】
図１０（ａ）は、さらに、画像表示部１３０Ｂで表示されている、拠点Ａのプレゼンテーション用機器９８０Ａの像１０２０に対し、レーザーポインタ９９０からポインタ１０３０を投射している状態である。
【０１０２】
図１０（ｂ）の画像データ１０４０は、拠点Ｂの映像表示システム９００Ｂが画像送信プログラム９２２に従って作成し送信するデータである。図１０（ａ）の状態を撮像部９６０で撮影した撮影画像データを、座標対応データ９２７Ｂに従って表示用画像データ９２４上の座標系に変換し（直感的には、例えば図１０の場合、撮影画像データに含まれる透視投影に起因する形状歪みやレンズ歪みに起因する形状歪みを補正して図１０（ａ）の状態にする処理である）、さらに、座標対応データ９２７Ｂに従って環境撮像部９５０Ａが撮影した撮影画像データ上の座標系に変換する（直感的には、例えば図１０の場合、図１０（ａ）の状態から左半分だけを切り抜く処理である）ことで、画像データ１０４０を得る。このとき、画像表示部１３０で表示している映像が、撮像部９６０で撮影した撮影画像データ上に写らないようにしておくことで、ポインタ１０３０の像であるポインタ１０３１だけを、拠点Ｂで投射された投射映像の情報として拠点Ａの映像表示システム９００Ａに提供する。具体的には、時間同期による方法、或いは、偏光フィルタによる方法、或いは、波長分布による方法、等を用いればよい。
【０１０３】
図１０（ｃ）は作業用画像データ９２６Ａに拠点Ｂの投射映像（ポインタ）の情報１０３２と拠点Ｃの投射映像（ポインタ）の情報１０３３とを重ねて描いた状態である。各拠点から送信されてきた投射映像の情報（画像データ）を、座標対応データ９２７Ａに従って投映用画像データ９２５上の座標系に変換した上で、各画素に対応する画素値のうち最大のものが優先されるように、重ねて描画したものである。
【０１０４】
尚、環境撮像部９５０で撮影した撮影画像データ上の座標系と、遠隔会議プログラム９２１にしたがって送信される画像上の座標系とが異なる場合には、これらの座標系の間の対応付けを行うための情報も座標対応データ９２７として記憶しておく。
【０１０５】
図１１は、本実施例の画像送信処理のフロー図である。画像送信処理は、映像表示システム９００の電源投入を契機に開始され、映像表示システム９００の電源断まで実行される処理である。
【０１０６】
画像送信処理が開始されると、まず、ステップＳ１１０１で、投射情報リクエスト受信処理を行う。具体的には、他拠点の映像表示システム９００から送信されてきた投射情報リクエストを、順次受信する処理である。投射情報リクエストは、コマンド識別子、即ち「投射情報リクエスト」コマンドである旨を示す識別子と、送信元の映像表示システムの識別子とで構成される。映像表示システムの識別子としては、例えば、ＩＰアドレスやＭＡＣアドレスなど、個々の映像表示システムに固有の情報、或いは、会議システムへの接続順序に基づくシリアル番号等、個々の映像表示システムが一意に識別可能な情報を使用すればよく、必要に応じて記憶部１２０に記憶しておけばよい。
【０１０７】
送信されてきた投射情報リクエストは一旦バッファに溜めておき、ステップＳ１１０１の処理の時点でバッファに溜まっていたリクエストをすべて吸い出して、以降の処理を行う。複数の投射情報リクエストは、該リクエストの送信元の映像表示システムの識別子の線形リスト（以下、「リクエストリスト」と呼ぶ）として保持しておく。該リクエストリストは、ステップＳ１１０１の処理の開始時に、空にしてから処理を始める。尚、前記複数の投射情報リクエストは、配列やキューのような他のデータ構造で保持するようにしてもよい。そのような変更は容易である。
【０１０８】
前記バッファとしては記憶部１２０の一部を利用すればよいが、通信部９４０に別途バッファ用の記憶部を備えるような構成としてもよい。また、バッファの内容は、画像送信処理の開始時には空にしておく。さらに、バッファからリクエストが吸い出されて前記リクエストリストに登録された段階で、バッファ内の該当するリクエストを削除する。
【０１０９】
続いて、ステップＳ１１０２で、撮像処理を行う。具体的には、撮像部９６０を用いて画像表示部１３０に投射されている投射映像を撮影する処理である。    
続いて、ステップＳ１１０３で、幾何補正処理を行う。具体的には、座標対応データ９２７を参照して、撮影画像データを表示用画像データ９２４の座標系に変換する処理である。
【０１１０】
続いて、ステップＳ１１０４で、カウンタＭの値を１に初期化する。
【０１１１】
続いて、ステップＳ１１０５で、領域抽出処理を行う。具体的には、座標対応データ９２７を参照して、幾何補正処理（Ｓ１１０３）後の画像データから、リクエストリストのＭ番目の要素に対応する映像表示システムから送られてきた画像の座標系に変換する処理（不要部分のクリッピング処理を含む）である。
【０１１２】
続いて、ステップＳ１１０６で、投射情報送信処理を行う。具体的には、領域抽出処理（Ｓ１１０５）で変換された画像データを、自分自身の映像表示システムとしての識別子と共に、リクエストリストのＭ番目の要素に対応する映像表示システムに送信する処理である。
【０１１３】
続いて、ステップＳ１１０７で、必要な拠点に対する処理が完了したか否かを判定する。具体的には、リクエストを受けた拠点の個数、即ちリクエストリストのサイズと、カウンタＭの値とを比較して、カウンタＭの値の方が小さい場合には「必要な拠点に対する処理が完了していない」と判定し、それ以外の場合には「必要な拠点に対する処理が完了した」と判定する。
【０１１４】
ステップＳ１１０７で「必要な拠点に対する処理が完了した」と判定された場合、ステップＳ１１０１に戻って処理を続ける。ステップＳ１１０７で「必要な拠点に対する処理が完了していない」と判定された場合、ステップＳ１１０８でカウンタＭの値を１増やした上で、ステップＳ１１０５に戻って処理を続ける。
【０１１５】
尚、リクエストリストのＭ番目の要素に対応する映像表示システムから送られてきた画像を現在の画面構成において表示していない場合には、ステップＳ１１０５の領域抽出処理を行わずにステップＳ１１０６の投射情報送信処理へ進み、ステップＳ１１０６の投射情報送信処理において、例えば、全ての画素を「黒」、即ち（Ｒ，Ｇ，Ｂ）＝（０，０，０）という画素値にした画像データを送信するようにする。但し、本発明の実施形態はこれに限るものではなく、例えば、画像データの代わりに「現在表示されていない」旨を表す情報を送信するようにしてもよい。そのような変更は容易である。
【０１１６】
図１２は、本実施例の画像投映処理のフロー図である。画像投映処理は、映像表示システム９００の電源投入を契機に開始され、映像表示システム９００の電源断まで実行される処理である。
【０１１７】
画像投映処理が開始されると、まず、ステップＳ１２０１で、投射情報リクエスト送信処理を行う。具体的には、ネットワークを介して接続されているすべての映像表示システム９００に対して、「現在画像表示部１３０に対して投射されている映像」の情報を送信するよう要求を送る処理である。具体的には、ネットワークを介して接続されているすべての映像表示システム９００の識別子を格納した線形リスト（以下、「接続システムリスト」と呼ぶ）をあらかじめ作成しておき、該接続システムリスト中のすべての映像表示システム９００に対して投射情報リクエストを送信すればよい。
【０１１８】
続いて、ステップＳ１２０２で、作業用画像データ９２６を初期化する。具体的には、すべての画素の画素値を「黒」、即ち（Ｒ，Ｇ，Ｂ）＝（０，０，０）に設定する。
【０１１９】
続いて、ステップＳ１２０３で、カウンタＮの値を１に初期化する。
【０１２０】
続いて、ステップＳ１２０４で、投射情報受信処理を行う。具体的には、接続システムリストのＮ番目の要素に対応する映像情報システム９００から図１１の画像送信処理に従って送信されてきた画像データを受信する処理である。送信されてきた画像データは一旦バッファに溜めておき、ステップＳ１２０４の処理では該バッファ内を探索して該当する画像データを取得し、取得後、バッファ内の該当する画像データを削除する。該当する画像データが見つからない場合には、所定の時間間隔毎に該バッファ内の探索を行いながら、該当する画像データが送信されてくるのを待つようにする。
【０１２１】
前記バッファとしては記憶部１２０の一部を利用すればよいが、通信部９４０に別途バッファ用の記憶部を備えてもよい。バッファの内容は、画像投映処理の開始時に空にしてから処理を始める。
【０１２２】
続いて、ステップＳ１２０５で、幾何補正処理を行う。具体的には、座標対応データ９２７に基づいて、受信した画像データを投映用画像データ９２５の座標系に変換する処理である。
【０１２３】
続いて、ステップＳ１２０６で、作業用画像データ更新処理を行う。具体的には、作業用画像データ９２６の各画素に対して、幾何補正処理（Ｓ１２０５）後の画像データの対応する画素の画素値を参照し、現在の作業用画像データ９２６の画素値よりも幾何補正処理（Ｓ１２０５）後の画像データの画素値の方が大きい場合には、現在の作業用画像データ９２６の画素値として幾何補正処理（Ｓ１２０５）後の画像データの画素値を設定する処理である。
【０１２４】
続いて、ステップＳ１２０７で、必要な拠点に対する処理が完了したか否かを判定する。具体的には、リクエストを送信した拠点の個数と、カウンタＮの値とを比較して、カウンタＮの値の方が小さい場合には「必要な拠点に対する処理が完了していない」と判定し、それ以外の場合には「必要な拠点に対する処理が完了した」と判定する。
【０１２５】
ステップＳ１２０７で「必要な拠点に対する処理が完了していない」と判定された場合には、ステップＳ１２０８でカウンタＮの値を１増やした上で、ステップＳ１２０４に戻って処理を続ける。ステップＳ１２０７で「必要な拠点に対する処理が完了した」と判定された場合には、ステップＳ１２０９で、投映用画像データ更新処理を行う。具体的には、投映用画像データ９２５の各画素の画素値を、作業用画像データ９２６の対応する画素の画素値で書き換える処理である。尚、ダブルバッファ（或いは、ダブルバッファリング）技術の考え方を適用し、投映用画像データ９２５と作業用画像データ９２６とを、描画用と表示用の役割を交互に交代しながら使用するように実装してもよいことは言うまでもない。
【０１２６】
以上、本実施例によれば、映像を投射される画像表示部と、インタラクションの結果を反映する映像表示手段とが、物理的に異なるものとして存在するような場合にも適用することができる。
【０１２７】
尚、本実施例では、拠点数が３つの場合について説明したが、本発明の実施形態はこれに限るものではなく、拠点数が任意の場合に対して適用することは容易である。また、本実施例では、すべての拠点が備える映像表示システムの構成が同一であるとしたが、本発明の実施形態はこれに限るものではない。例えば、撮像部９６０の有無、或いは、投映部９７０の有無を、拠点毎に必要に応じて選択できるようにすることは、容易である。
【０１２８】
また、本実施例では、投射情報送信処理（Ｓ１１０６）で画像全体を送信し、投射情報受信処理（Ｓ１２０４）で画像全体を受信するようにしたが、本発明の実施形態はこれに限るものではない。例えば、領域抽出処理（Ｓ１１０５）において投射映像が検出された領域の、外接矩形領域の内部のみの画像情報と、座標値のオフセット(当該外接矩形の左上の頂点の、環境撮像部９５０が撮影した撮影画像データ上の座標系におけるＸ座標とＹ座標)と、を組にして、送受信するようにしてもよい。
【０１２９】
また、本実施例では、幾何補正処理は座標対応データ９２７に基づく２次元の座標変換のみとしたが、本発明の実施形態はこれに限るものではなく、実世界の３次元情報を利用した幾何補正を実施してもよい。例えば、ポインタを投射した拠点Ｂにおいて、所定の位置（画像表示部１３０からの距離等をパラメタとして設計値として与える）に理想視点を設定し、該理想視点からのポインタの見込み角と、環境撮像部９５０の位置からのポインタの見込み角とが等しくなるように、画像データの大きさを変換した上で作業用画像データ上に合成するようにしてもよい。このようにすることにより、ポインタを投射したユーザの意図により近い効果を得ることができる。
【実施例４】
【０１３０】
以下、図１３乃至図１５を用いて、第４の実施例について説明する。本実施例は、例えば、携帯電話等の小さな画面では表示し切れないような大きな画像を、表示領域を縦方向或いは横方向にスクロールさせながら、街頭に設置された大型ディスプレイの一部の領域に、前記携帯電話が備える投映装置を用いて少しずつ投映することで、前記大型ディスプレイ上において所望の映像（即ち、前記携帯電話が備える投映装置から投映された細切れの映像が繋ぎ合わされた、大きな映像）を観賞できるようにする場合に、好適な例である。
【０１３１】
本実施例の映像表示システムは、実施例１の映像表示システムに対して、画像表示プログラム１２１及び投射映像管理データ１２２が異なる。以下、これらの相違点について説明する。尚、本実施例の映像表示システムでは、通信部１５０を備える必要はない。
【０１３２】
本実施例の投射映像管理データ９９２２は、実施例１の投射映像管理データ１２２或いは実施例２の投射映像管理データ６２２と同様に、登録されている投射映像の個数と、各投射映像に対して保持する投射映像データとから成るデータである。但し、本実施例の投射映像データ９９００は、実施例１或いは実施例２の投射映像データと異なり、シリアル番号２０１と、表示開始時刻２０２と、基準位置２０３と、基準サイズ２０４と、抽出画像データ２０５と、基準画像データ２０６と、単独表示用画像データ２０８と、画像内基準位置９９０３と、基準幅９９０４とで構成される。
【０１３３】
画像内基準位置９９０３は、基準画像データ２０６における位置の基準を表すデータであり、単独表示用画像データ２０８を生成する際に、基準位置２０３と共に参照されるものである。本実施例では、基準画像データ２０６は、抽出画像データ２０５と同様に、管理上は矩形の形状をした画像データとして扱うものの該画像データ中で意味のある情報が含まれる領域が矩形形状を成すとは限らず、また、基準画像データ２０６における位置の基準を、基準画像データ２０６の形状から決定することがユーザにとって望ましい結果には繋がらないケースが発生し得る。これらの不都合を回避するため本実施例では、画像内基準位置９９０３を陽に記憶して、単独表示用画像データ２０８の生成時に参照するようにした。尚、画像内基準位置９９０３の具体的な決定方法は、後述（図１５）する。
【０１３４】
また、基準幅９９０４は、投射映像が新規に登録された場合の基準画像データ２０６の成す矩形形状の横幅である。
【０１３５】
本実施例の画像表示プログラムの処理フローは、図３の画像表示処理の処理フローに対して、ステップＳ３０３の投射映像登録処理から呼び出される投射映像個別登録処理（図５）の内容が異なる。該相違する点の詳細は、後述（図１４）する。尚、ステップＳ３０４の表示領域分割処理においては、基準位置の代わりに、基準画像データ２０６中の意味のある情報が含まれる領域に対応する多角形領域を生成元とした多角形ボロノイ図を用いるようにしてもよい。
【０１３６】
図１３は、本実施例の映像表示システムの動作を説明する図である。
【０１３７】
図１３（ａ）は、画像表示部１３０において、一つ前の時刻に生成された基準画像１３３０に基づいて生成された画像データを表示している状態である。映像領域１３２０が、基準画像１３３０に対応する映像領域である。
【０１３８】
図１３（ｂ）は、図１３（ａ）の状態にある画像表示部１３０の画像表示面７３０に向けて、携帯型投映装置１６０から映像を投射した状態である。投射映像１３１１に、透視投影に伴う幾何学的な歪みが発生することは、他の実施例と同様である。尚、映像１３１１の図柄を分かり易くするため、図１３（ｂ）では映像領域１３２０はその輪郭のみを記した。
【０１３９】
図１３（ｃ）は、他の実施例と同様の方法を用いて投射映像１３１１から生成した基準画像データ１３３１と、一つ前の時刻に生成された基準画像データ１３３０を示したものである。
【０１４０】
本実施例のシステムでは、基準画像データ１３３１の生成後、現在表示されている基準画像データ、即ち、一つ前の時刻に生成された基準画像データ１３３０との接合可否を判定する。
【０１４１】
該判定の結果、接合可能である、即ち、基準画像データ１３３０と基準画像データ１３３１は一枚の大きな画像の連続する一部分を成すものである、と判定された場合には、基準画像データ１３３０と基準画像データ１３３１とを繋ぎ合わせた画像データを、あらためて基準画像データ１３３２とした上で、基準画像データ１３３２中の基準画像データ１３３１に対応する部分が画像表示部１３０上で投射映像１３１１と同じ位置に表示されるように、基準画像データ１３３２を画像表示部１３０で表示する。繋ぎ合わせた結果を表示した例が、図１３（ｄ）であり、映像領域１３２２が、繋ぎ合わせて生成された基準画像データ１３３２に対応する映像領域である。
【０１４２】
尚、基準画像データの繋ぎ合わせにおいては、基準画像データ１３３０に対応する投射映像データ９９００における基準幅９９０４に基づいて、基準画像データ１３３１のサイズを補正した上で実施する。これは、画像表示部１３０で表示する映像の大きさが投射映像の大きさの変化に対して過敏に反応しないようにするための措置である。尚、画像表示部１３０で表示する映像の大きさを投射映像の大きさの変化に追従させたいような場合には、基準画像データ１３３１の横幅を基準として基準画像データ１３３０のサイズを補正すればよい。そのような変更は容易である。
【０１４３】
一方、前記接合可否の判定の結果、接合可能でないと判定された場合は、実施例１の場合と同様、新規の投射映像であるとして新たに投射映像データ９９００を生成し、投射映像管理データ９９２２に登録して、表示を行う。
【０１４４】
図１４は、本実施例の投射映像個別登録処理のフロー図である。本実施例の投射映像個別登録処理は、注目している投射映像に幾何補正を施した上で、現在登録されている基準画像データの何れかと接合可能であるか否かを判定し、接合可能な基準画像データが存在した場合には、該基準画像データとの接合を行うことによって該基準画像データに対応する投射映像データの更新を行い、接合可能な基準画像データが存在しない場合には、前記投射映像に関する投射映像データを新たに作成して投射映像管理データ９９２２に加える処理である。
【０１４５】
投射映像個別登録処理が開始されると、まず、ステップＳ１４０１で形状補正処理を行う。本実施例の形状補正処理は、抽出画像データから基準画像データを生成する処理であり、図５のステップＳ５０１で説明した形状補正処理と同じ処理である。
【０１４６】
続いて、ステップＳ１４０２で、接合可否判定処理を行う。具体的には、投射映像管理データ９９２２に既に登録されている各々の投射映像データにおける基準画像データ２０６に対して、ステップＳ１４０１で生成した基準画像データを相似変換した画像データをテンプレートとしたテンプレートマッチングを行い、最大の評価値の値を選出する。前記相似変換は、ステップＳ１４０１で生成した基準画像データの横幅が、着目する投射映像データ９９００における基準幅９９０４に等しくなるような変換とする。このような相似変換をすることで、テンプレートマッチングにおいては画像の縦横各々の方向に関する平行移動のみを考慮すればよくなるため、例えば１画素単位での網羅探索を行うことによって、評価値が最大となる位置を探索すればよい。評価値としては、例えば正規化相関係数など、２つの画像が似ているほど値が大きくなるような、公知の指標を利用する。評価値の算出にあたっては、「着目する投射映像データ中の基準データからはみ出している領域」、及び、着目する投射映像データ中の基準画像データにおける「意味のある情報が含まれない領域」の双方を除いた領域に対して計算を行う。このとき、評価値の信頼性を確保するため、該テンプレートの総画素数に対して所定の割合以上（例えば５０％以上）の数の画素を対象とした評価になっていない場合には、評価値の値は取り得る値の範囲における最小値であるとする。テンプレートマッチングの探索範囲は、該条件に基づいて決定すればよい。
【０１４７】
以下、最大の評価値を達成する投射映像データ９９００を「接合候補投射映像データ」と呼び、最大の評価値を達成するサイズ情報（ステップＳ１４０１で生成した基準画像データの横幅を何倍すれば接合候補投射映像データ中の基準幅に一致するか、という値）及び位置情報（接合候補投射映像データ中の基準画像データに固有の座標系上で、テンプレートとして使用された画像データをどの位置に配置すると前記最大の評価値が得られるか、という位置のデータ）を「接合候補条件」と呼ぶ。
【０１４８】
続いて、ステップＳ１４０３で、接合可能か否かを判定する。具体的には、ステップＳ１４０２で算出した評価値の値が所定の閾値以上であれば「接合可能である」と判定し、それ以外の場合は「接合可能でない」と判定する。ステップＳ１４０３で「接合可能である」と判定された場合、ステップＳ１４０４の基準画像接合処理に進んで処理を続ける。ステップＳ１４０３で「接合可能でない」と判定された場合、ステップＳ１４０５に進んで投射映像管理データを更新する。
【０１４９】
続いて、ステップＳ１４０４で、基準画像接合処理を行う。基準画像接合処理は、所謂、モザイキングの処理である。具体的には、ステップＳ１４０１で生成した基準画像データの大きさを、接合候補条件中のサイズ情報に基づいて補正し、接合候補条件中の位置情報に基づいて配置することで、幾何学的に繋がった画像を得ることができる。重複部分の画素値については、いずれか一方の画素値を用いるようにしてもよいし、所謂「エッジブレンディング」と呼ばれる技術のように、各々の画像データ内の位置に依存した重みに基づく、画素値の加重平均によって算出してもよい。尚、接合結果となる画像データの縦幅及び横幅は、ステップＳ１４０１で生成した基準画像データの縦幅及び横幅と、接合候補投射映像データ中の基準画像データの縦幅及び横幅と、接合候補条件とから計算する。
【０１５０】
続いて、ステップＳ１４０５で、投射映像管理データ更新処理を行う。具体的には、投射映像データ９９００を更新或いは新規に登録する処理であり、以下のように実施する。
【０１５１】
ステップＳ１４０３において「接合可能である」と判定された場合には、接合候補投射映像データの更新を行う。具体的には、シリアル番号２０１及び基準サイズ２０４及び基準幅９９０４については既存の値をそのまま使用し、表示開始時刻２０２には最新時刻を登録し、基準位置２０３には投射映像に対応する基準位置を登録し、抽出画像データ２０５には投射映像に対応する抽出画像データを登録し、基準画像データ２０６にはステップＳ１４０４で繋ぎ合わせた結果の画像データを登録する。画像内基準位置９９０３に登録する内容については、以下、図１５を用いて説明する。
【０１５２】
図１５は、図１５（ａ）に示す投射映像に対応する基準画像データ１５００と、図１５（ｂ）に示す基準画像データ１５０１とが繋ぎ合わされ、図１５（ｃ）に示す基準画像データ１５０２が生成される場合の例である。図１５（ｃ）において、領域１５１０は、意味のある情報が含まれない領域であり、抽出画像データ２０５と同様に、特別な画素値を格納するなどして管理される。
【０１５３】
投射映像に対応する基準画像データ１５００は矩形形状をしており、該基準画像データ１５００に対応する画像内基準位置１５２０は該矩形の重心位置として定める。このとき、基準画像データ１５０２における画像内基準位置１５２１は、図１５（ｃ）に示すとおり、基準画像データ１５０２を表す矩形の重心位置ではなく、投射映像に対応する基準画像データ１５００における画像内基準位置１５２０に対応する位置として定める。
【０１５４】
一方、ステップＳ１４０３で「接合可能でない」と判定された場合には、新しい投射映像データ用の記憶領域を確保し、シリアル番号２０１として最新シリアル番号Ｑの値を設定し、表示開始時刻２０２として現在時刻Ｔの値を設定する。また、基準位置２０３、基準サイズ２０４、抽出画像データ２０５の各々には、図３の投射映像検出処理（Ｓ３０２）で検出し、現在の投射映像個別登録処理において処理対象としている投射領域に関する、基準位置、基準サイズ、抽出画像データを各々設定する。さらに、基準画像データ２０６には形状補正処理（Ｓ１４０１）で生成した基準画像データを、画像内基準位置９９０３には基準画像データ２０６の重心位置を、基準幅９９０４には基準画像データ２０６の横幅を、各々設定する。各要素の設定が終了した投射映像データを投射映像管理データ９９２２内の線形リストに加える。新しい投射映像データを投射映像管理データ９９２２に登録後、最新シリアル番号Ｑの値に「１」を加えて、ステップＳ１４０５を終了する。
【０１５５】
次に、ステップＳ１４０６で、単独表示用画像データ更新処理を行う。単独表示用画像データ更新処理は、ステップＳ１４０５で更新或いは新規に登録された投射映像データ９９００に含まれる単独表示用画像データ２０８の各画素の画素値を、当該投射映像データに含まれる他の情報に基づいて更新する処理である。具体的には、単独表示用画像データ２０８の各画素（Ｘ，Ｙ）に対して、基準画像データ２０６の画素位置（ｃｘ＋（Ｘ−Ｃｘ），ｃｙ＋（Ｙ−Ｃｙ））の画素の画素値を設定する。ただし、（ｃｘ，ｃｙ）は画像内基準位置９９０３であり、（Ｃｘ，Ｃｙ）は表示用画像データ上の座標系における基準位置２０３である。基準画像データ２０６上の参照する画素位置が格子点上に乗らない場合には、双線形補間等、公知の補間技術を用いて画素値を決定すればよい。また、基準画像データ２０６上の参照する画素位置が基準画像データの外部にはみ出してしまう場合、或いは、当該画素位置の画素の画素値が「意味のある情報が含まれない領域」であることを示す画素値である場合には、単独表示用画像データの対応する画素の画素値を「黒」、即ち（Ｒ，Ｇ，Ｂ）＝（０，０，０）に設定する。単独表示用画像データ２０８のすべての画素の画素値を更新後、ステップＳ１４０６の処理を終了する。
【０１５６】
以上、本実施例によれば、過去の投射映像と新たな投射映像の両方に基づいて画像表示部に表示する映像の内容を更新するようにしたため、一つの投射映像だけで表現可能な情報量を超えた、豊富な情報量を含む映像を、ユーザに提示することができる。
【０１５７】
尚、本実施例では、図１３で説明したように、基準画像データ１３３１に対応する部分が投射映像１３１１と同じ位置に表示されるように基準画像データ１３３２を表示したが、本発明の実施形態はこれに限るものではない。例えば、基準画像データ１３３０に対応する部分が動かないように基準画像データ１３３２を表示するようにしてもよいし、基準画像データ１３３２の全体が表示されるように位置や大きさを調整してもよい。これらの変更は、容易である。
【０１５８】
以上のように、本発明の実施形態によれば、コマンド映像の表示部上における位置のほか、該映像が本質的に備える、大きさ、形状、コンテンツ等の情報に基づいてシステム表示映像の内容が更新されるため、従来技術に比べ、システム表示映像の更新の際に、コマンド映像を照射したユーザの意図をより多く反映することができる。
【符号の説明】
【０１５９】
１６０・・・携帯型投映装置、２１０・・・画像表示部の画像表示面、２１１・・・投射映像、２２０・・・抽出画像データ、２３０・・・基準画像データ、２４０・・・拡張画像データ、２５０・・・単独表示用画像データ、７０１・・・携帯型投映装置の投射映像、７０２・・・基準画像データ、７０３・・・基準画像データに対応する映像領域、７０４・・・基準画像データを拡大表示する場合の映像領域、７３０・・・画像表示部の画像表示面、１３１１・・・投射映像、１３２０、１３２２・・・基準画像データに対応する映像領域、１３３０、１３３１・・・基準画像データ、１５００、１５０１、１５０２・・・基準画像データ、１５１０・・・意味のある情報が含まれない領域、１５２０、１５２１・・・画像内基準位置。
【図１】
2011010157.tif 000003
【図２】
2011010157.tif 000004
【図３】
2011010157.tif 000005
【図４】
2011010157.tif 000006
【図５】
2011010157.tif 000007
【図６】
2011010157.tif 000008
【図７】
2011010157.tif 000009
【図８】
2011010157.tif 000010
【図９】
2011010157.tif 000011
【図１０】
2011010157.tif 000012
【図１１】
2011010157.tif 000013
【図１２】
2011010157.tif 000014
【図１３】
2011010157.tif 000015
【図１４】
2011010157.tif 000016
【図１５】
2011010157.tif 000017