(57)【要約】【課題】複数の撮影画像間の幾何学的な歪みの差や色差による画質劣化を抑え、ホットスポットによる画像劣化を軽減する。【解決手段】投影画像処理手段は、投影面に入射する光が投影面の表面の法線に対して対称となる方向に反射する光の投影面上の位置であって、画像データのデータ領域に設定されるホットスポットを含む除外領域と、画像データの背景領域に設定され、除外領域と等しい面積を有する代替領域とを認識する手段、除外領域に含まれる画像データと、代替領域に含まれる画像データとを入れ替える第１の入替手段、を含み、撮影画像処理手段は、第１の入替手段によって入れ替えられた代替領域に含まれる画像データと、除外領域に含まれる画像データとを再度入れ替える第２の入替手段、第２の入替手段によって再度入れ替えられた除外領域に含まれる画像データを撮影する手段、を含む。【選択図】図６
2014150472.tif 000002
【特許請求の範囲】
【請求項１】
投影面に画像データを投影する投影画像処理手段と、前記投影面から反射される画像データを撮影する撮影画像処理手段とを含む画像投影システムであって、
前記投影画像処理手段は、
前記投影面に入射する光が前記投影面の表面の法線に対して対称となる方向に反射する光の前記投影面上の位置であって、前記画像データのデータ領域に設定されるホットスポットを含む除外領域と、前記画像データの背景領域に設定され、前記除外領域と等しい面積を有する代替領域とを認識する手段と、
前記除外領域に含まれる画像データと、前記代替領域に含まれる画像データとを入れ替える第１の入替手段と、を含み、
前記撮影画像処理手段は、
前記第１の入替手段によって入れ替えられた前記代替領域に含まれる画像データと、前記除外領域に含まれる画像データとを再度入れ替える第２の入替手段と、
前記第２の入替手段によって再度入れ替えられた前記除外領域に含まれる画像データを撮影する手段と、を含むことを特徴とする画像投影システム。
【請求項２】
前記投影画像処理手段は、前記投影面から反射される画像データがユーザによって視聴される間、前記第１の入替手段による入れ替えを行わず、前記撮影画像処理手段による撮影が行われる瞬間のみ、前記第１の入替手段による入れ替えを行うことを特徴とする請求項１に記載の画像投影システム。
【請求項３】
前記撮影画像処理手段は、前記第２の入替手段による再度の入れ替えを行う代わりに、前記第１の入替手段によって入れ替えられた前記代替領域に含まれる画像データを読み出し、前記第１の入替手段によって入れ替えられた前記除外領域に含まれる画像データを、前記読み出された前記代替領域に含まれる画像データによって置き替えることを特徴とする請求項１又は２に記載の画像投影システム。
【請求項４】
前記除外領域及び前記代替領域は、前記投影面上の座標情報に基づいて認識されることを特徴とする請求項１から３の何れか１項に記載の画像投影システム
【請求項５】
前記除外領域の座標情報及び前記代替領域の座標情報をそれぞれ記憶する手段をさらに含むことを特徴とする請求項４に記載の画像投影システム。
【請求項６】
投影面に画像データを投影する手段と、前記投影面から反射される画像データを撮影する手段とを含む画像投影システムの制御方法であって、
前記投影面に入射する光が前記投影面の表面の法線に対して対称となる方向に反射する光の前記投影面上の位置であって、前記画像データのデータ領域に設定されるホットスポットを含む除外領域と、前記画像データの背景領域に設定され、前記除外領域と等しい面積を有する代替領域とを認識する工程と、
前記除外領域に含まれる画像データと、前記代替領域に含まれる画像データとを入れ替える工程と、
前記入れ替える工程によって入れ替えられた前記代替領域に含まれる画像データと、前記除外領域に含まれる画像データとを再度入れ替える工程と、
前記再度入れ替える工程によって再度入れ替えられた前記除外領域に含まれる画像データを撮影する工程と、を含むことを特徴とする制御方法。
【請求項７】
投影面に画像データを投影する手段と、前記投影面から反射される画像データを撮影する手段とを含む画像投影システムのコンピュータに、
前記投影面に入射する光が前記投影面の表面の法線に対して対称となる方向に反射する光の前記投影面上の位置であって、前記画像データのデータ領域に設定されるホットスポットを含む除外領域と、前記画像データの背景領域に設定され、前記除外領域と等しい面積を有する代替領域とを認識する処理と、
前記除外領域に含まれる画像データと、前記代替領域に含まれる画像データとを入れ替える処理と、
前記入れ替える処理によって入れ替えられた前記代替領域に含まれる画像データと、前記除外領域に含まれる画像データとを再度入れ替える処理と、
前記再度入れ替える処理によって再度入れ替えられた前記除外領域に含まれる画像データを撮影する処理と、を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像投影システム、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
プロジェクタの投影面がホワイトボードのような光沢性のものである場合、投影画像の正反射成分により、投影画像が局所的に極端に明るく観察される現象（以下、「ホットスポット」という。）が知られている。このホットスポットの周辺では、投影画像を正しく認識するのが困難になる。特に投影画像をカメラ等で撮影する場合は影響が大きい。
【０００３】
ホットスポットが投影画像の領域外となるよう撮影することにより、ホットスポットの発生を防ぐ技術は存在する。しかしながら、プロジェクタ、投影面、及びカメラの配置の自由度が狭められてしまう。そこで、複数のカメラを用いて投影画像を撮影することにより、ホットスポットによる画像劣化を軽減する技術が考えられ、既に知られている。
【０００４】
特許文献１には、ホットスポットによる画質劣化を防ぐことを目的として、複数のカメラをずらして配置することにより、それぞれのカメラの撮像領域に発生するホットスポットをずらしている。そして、それぞれのカメラの撮影領域を部分的に、又は全体で重複させ、ホットスポット発生部の画像を互いに補って合成している。これにより、ホットスポットによる画像劣化を軽減する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、今までのホットスポットによる画像劣化を軽減するシステムでは、撮影画像を合成する際に、それぞれの撮影画像の幾何学的な歪みの差や色差により画質が劣化するという問題があった。さらに複数のカメラを設置する必要があるため、コストがかかるという問題もあった。
【０００６】
特許文献１に記載された技術は、ホットスポットによる画像劣化を軽減することを目的としている。しかしながら、撮影画像を合成する際に、それぞれの撮影画像の幾何学的な歪みの差や色差により画質が劣化するという問題は解消されていない。
【０００７】
そこで本発明は、上記従来技術の問題点に鑑みてなされたものであって、複数の撮影画像間の幾何学的な歪みの差や色差による画質劣化を抑えつつ、ホットスポットによる画像劣化を軽減することができる画像投影システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１に記載の本発明における画像投影システムは、投影面に画像データを投影する投影画像処理手段と、前記投影面から反射される画像データを撮影する撮影画像処理手段とを含む画像投影システムであって、前記投影画像処理手段は、前記投影面に入射する光が前記投影面の表面の法線に対して対称となる方向に反射する光の前記投影面上の位置であって、前記画像データのデータ領域に設定されるホットスポットを含む除外領域と、前記画像データの背景領域に設定され、前記除外領域と等しい面積を有する代替領域とを認識する手段と、前記除外領域に含まれる画像データと、前記代替領域に含まれる画像データとを入れ替える第１の入替手段と、を含み、前記撮影画像処理手段は、前記第１の入替手段によって入れ替えられた前記代替領域に含まれる画像データと、前記除外領域に含まれる画像データとを再度入れ替える第２の入替手段と、前記第２の入替手段によって再度入れ替えられた前記除外領域に含まれる画像データを撮影する手段と、を含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の撮影画像の幾何学的な歪みの差や色差による画質劣化を抑えつつ、ホットスポットによる画像劣化を軽減することが可能な画像投影システムを得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像投影システムの全体構成について説明する図である。
【図２】本発明の実施形態に係る画像投影システムにおいて、投影画像内にホットスポットが発生する原理について説明する図である。
【図３】本発明の実施形態に係る画像投影システムを構成する情報処理装置の概略構成を示すブロック図である。
【図４】本発明の実施形態に係る画像投影システムを構成する情報処理装置の撮影画像処理部によるホットスポットの認識方法について説明する図である。
【図５】本発明の実施形態に係る画像投影システムを構成する情報処理装置の投影画像処理部によるホットスポットに含まれる画像データの移動について説明する図である。
【図６】本発明の実施形態に係る画像投影システムを構成する情報処理装置の撮影画像処理部による代替領域の画像データの移動について説明する図である。
【図７】本発明の実施形態に係る画像投影システムの一連の動作について説明するフローチャート図である。
【図８】本発明の実施形態に係る画像投影システムにおいて、視聴者から見た投影画像内のホットスポットについて説明する図である。
【図９】本発明の他の実施形態に係る画像投影システムにおける投影画像データについて説明する図である。
【図１０】本発明の他の実施形態に係る画像投影システムの一連の動作について説明するフローチャート図である。
【図１１】本発明のさらに他の実施形態に係る画像投影システムの一連の動作について説明するフローチャート図である。
【図１２】本発明のさらに他の実施形態に係る画像投影システムを構成する情報処理装置の撮影画像処理部による代替画像の画像データの移動について説明する図である。
【発明を実施するための形態】
【００１１】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。本発明は、プロジェクタの投影画像にホットスポットが存在する場合の処理に際して、以下の特徴を有する。
【００１２】
すなわち、１台のカメラを固定して設置し、ホットスポット領域の画像データを別の領域にずらして投影する。そして、カメラで撮影された画像において、別の領域の撮影画像データを、ホットスポット領域に戻す処理を実施する。つまり１台のカメラのみで撮影を行うため、複数位置で撮影することによる撮影画像間の幾何学的な歪みの差や色差が小さいことが特徴となっている。
【００１３】
まず、図１を用いて本発明の実施形態に係る画像投影システムの全体構成について説明する。図１は、本発明の実施形態に係る画像投影システムの全体構成について説明する図である。
【００１４】
図１において、画像投影システム１００は、バス２０を介して情報処理装置であるＰＣ（パーソナルコンピュータ）１１０とプロジェクタ１２０とが互いに接続されている。また、バス３０を介してＰＣ１１０とカメラ１３０とが互いに接続されている。プロジェクタ１２０、及びカメラ１３０は、それぞれバスに接続するための外部Ｉ／Ｆ（Inter/Face）を持つ。
【００１５】
プロジェクタ１２０は、ＰＣ１１０から出力される投影画像データを受け取り、投影面であるホワイトボード１５０に投影画像１６０を投影する。ホワイトボード１５０には、投影画像１６０を補足するために、マジック等を用いてコメント等の手書き情報を記載することが可能である。
カメラ１３０は、ホワイトボード１５０に投影された投影画像１６０及び手書き情報を撮影した撮影画像データを取得し、ＰＣ１１０に出力する。
【００１６】
なお、カメラ１３０は、図１に示すように撮影機能を単独で有するデジタルスチルカメラやデジタルビデオカメラ等の機器でも良いし、他の機器に組み込まれる、又は接続して使用する機器でも良い。ＰＣ１１０と組み合わせて使用する機器としてはウェブカメラ等が、プロジェクタ１２０と組み合わせて使用する機器としては書画カメラ等がある。
【００１７】
さらに、カメラ１３０は、電話、電子メール、インスタントメッセンジャー、ビデオ会議、ウエブ会議等の複数のコミュニケーション機能を有するＵＣＳ（ユニファイドコミュニケーションシステム）に組み込まれる機器でも良い。又はＵＣＳに接続して使用される機器でも良い。
【００１８】
ＰＣ１１０は、先程述べたように、プロジェクタ１２０に対して投影画像データを出力する。また、カメラ１３０で撮影された撮影画像データを保存する。さらに、投影画像データ、及び撮影画像データに対する画像処理を行うが、詳細な動作については後述する。
【００１９】
なおこれまでの説明では、ＰＣ１１０とプロジェクタ１２０とがバス２０により、ＰＣ１１０とカメラ１３０がバス３０とにより、それぞれ１対１で接続されている場合について説明した。しかしながら、これ以外の接続形態であっても良い。例えば、図示しないサーバを介して、ＰＣ１１０、プロジェクタ１２０、及びカメラ１３０が互いに接続する形態でも良い。
【００２０】
プロジェクタ１２０、カメラ１３０、及びホワイトボード１５０の位置関係により、カメラ１３０から見た投影画像１６０内に、極めて明るい領域、すなわちホットスポット１７０が発生する場合がある。これについて、図２を用いて説明する。
【００２１】
図２は、本発明の実施形態に係る画像投影システム１００において、投影画像内にホットスポットが発生する原理について説明する図である。図２は、図１の画像投影システム１００を構成するプロジェクタ１２０、カメラ１３０、及びホワイトボード１５０を上から見ている。ホワイトボード１５０上に点線との交点が２つあるが、その２つの交点の間が投影画像１６０である。
【００２２】
また説明の都合上、カメラ１３０の鏡像である鏡像１３０´を記載している。カメラ１３０と鏡像１３０´とは、ホワイトボード１５０に対して面対称の位置にある。なお、鏡像１３０´は実際に存在するわけではない。
【００２３】
プロジェクタ１２０は、ホワイトボード１５０上に投影画像１６０を投影するが、その反射光をカメラ１３０で撮影することにより、投影画像１６０を撮影画像データとして取得する。ところで、ホワイトボード１５０のように光沢性のあるスクリーンでは、画像取得に必要な拡散反射光成分に加え、正反射光成分も存在する。
【００２４】
図２では、カメラ１３０に入射する正反射光を、正反射光１８０で示している。この正反射光１８０により、カメラ１３０から見た投影画像１６０内にホットスポット１７０が発生する。詳述すると、拡散反射光とは、ホワイトボード１５０に入射した光が、あらゆる方向に分散して反射する光である。
【００２５】
一方、正反射光とは、ホワイトボード１５０に入射した光が、ホワイトボード１５０表面の法線に対して、入射光と対称となる方向である特定の方向にのみ反射する光である。カメラ１３０から見ると、投影画像１６０においてプロジェクタ１２０からの光がカメラ１３０に正反射する位置であるホットスポット１７０では、拡散反射光に加えて正反射光も入射してくる。
【００２６】
しかし、それ以外の位置では拡散反射光のみがカメラ１３０に入射する。つまり、ホットスポット１７０からは、他の位置からよりもカメラ１３０に入射する反射光が多くなる。ホワイトボード１５０では、正反射光が無視できない量である。そのため、カメラ１３０から見ると、投影画像１６０にてその箇所のみが極端に明るくなり、ホットスポットとして観察される。
【００２７】
なお、投影画像１６０内にホットスポットが発生する条件は、プロジェクタ１２０とカメラの鏡像１３０´を結ぶ線と、ホワイトボード１５０の表面との交点が、投影画像１６０内に含まれる場合である。図２は、この条件を満たしている。
【００２８】
次に、本発明の実施形態に係る画像投影システム１００を構成するＰＣ１１０の概略構成について説明する。図３は、本発明の実施形態に係る画像投影システムを構成する情報処理装置の概略構成を示すブロック図である。
【００２９】
ＰＣ１１０は、ＣＰＵ（Central Processing Unit）２０１と、ＨＤＤ（Hard Disk Drive）２０２と、メモリ２０３とを備える。また、ＲＯＭ（Read Only Memory）２０４と、ＵＩ（ユーザインタフェース）２０５と、外部Ｉ／Ｆ（Inter/Face）２０６とを備える。さらに、撮影画像処理部２１１と、投影画像処理部２１２とを備える。それぞれのモジュールは内部バスで接続されている。
【００３０】
ＣＰＵ２０１は、ＲＯＭ２０４やＨＤＤ２０２に記憶されている所定の制御プログラムを読み出し、ＰＣ１１０内の各種動作を実行する。ＨＤＤ２０２には、画像等のデータや制御プログラムが格納される。メモリ２０３には、制御プログラムが使用するデータが一時的に格納される。
【００３１】
ＲＯＭ２０４には、制御プログラムが格納される。ＵＩ２０５は、ディスプレイ、キーボード、マウス等の、ＰＣ１１０を使用するユーザに対する入出力部である。外部Ｉ／Ｆ２０６は、ＵＳＢ（Universal Serial Bus）、イーサネット（登録商標）等、外部機器と接続するためのインタフェースである。
【００３２】
画像投影システム１００に直接関連する内容について詳述する。ＣＰＵ２０１は、制御プログラムにより投影画像データを生成し、ＨＤＤ２０２、又はメモリ２０３に保存する。投影画像処理部２１２は、ＣＰＵ２０１が生成した投影画像データを、ＨＤＤ２０２、又はメモリ２０３から読み出し、所定の処理を行い、ＨＤＤ２０２又はメモリ２０３に保存する。詳細については後述する。
【００３３】
ＣＰＵ２０１は、この処理後の投影画像データを、外部Ｉ／Ｆ２０６、及びバス２０経由でプロジェクタ１２０に転送する。また、カメラ１３０にて撮影された撮影画像データは、バス３０、及び外部Ｉ／Ｆ２０６経由で、ＨＤＤ２０２又はメモリ２０３に保存される。撮影画像処理部２１１は、撮影画像データを、ＨＤＤ２０２、又はメモリ２０３から読み出し、所定の処理を行い、ＨＤＤ２０２に保存する。詳細については後述する。
【００３４】
なお、これまでの説明では、画像投影システム１００に関する画像処理をＰＣ１１０において実施する場合について説明したが、一部の処理をプロジェクタ１２０において実施しても良い。
【００３５】
次に、本発明の実施形態に係る画像投影システム１００を構成するＰＣ１１０の撮影画像処理部２１１におけるホットスポットの認識方法について説明する。図４は、本発明の実施形態に係る画像投影システムを構成する情報処理装置の撮影画像処理部によるホットスポットの認識方法について説明する図である。
【００３６】
本発明の実施形態に係る画像投影システム１００において、プロジェクタ１２０、投影面であるホワイトボード１５０、及びカメラ１３０の位置は固定されているとする。この場合、カメラ１３０から見た投影画像において、ホットスポットは常に同じ位置に存在する。このため、本来投影したい画像を投影する前に、ホットスポット１７０が存在する領域の認識処理を行う。
【００３７】
また、投影画像自体に明暗がある場合、ホットスポットを正しく認識できない可能性がある。具体的には、ホットスポットに投影する画像データが暗く、他の領域との明るさの差が十分確保できない場合である。このため、ホットスポット領域を認識するときは、プロジェクタ１２０から均一な明るさの画像を投影する。
【００３８】
図４（ａ）は、ホワイトボード１５０に均一な明るさで投影された投影画像３１０を、カメラ１３０で撮影した画像を示す。なお、カメラ１３０による撮影画像では、投影面であるホワイトボード１５０に対して、プロジェクタ１２０やカメラ１３０が正対していないことに起因する台形歪み等の幾何学的な歪みが存在する。あるいは、プロジェクタ１２０の照度むらや、カメラ１３０の感度むらに起因する明るさのむらが存在する。
【００３９】
しかし、これらの歪みやむらは本発明の本質的な部分ではないため、撮影画像処理部２１１において補正されるものとする。また、補正後の画像の座標と、ＰＣ１１０が出力する投影画像の座標とは関連付けられているものとして以後の説明を行う。
【００４０】
図２において説明したように、カメラ１３０における撮影画像において、ホットスポット１７０は周囲よりも画像が明るくなってしまう。具体的には、ホットスポットが問題となる場合は、周囲と比較して２倍以上の明るさがある。撮影画像処理部２１１（図３）は、このことを利用してホットスポット１７０領域を認識する。
【００４１】
撮影画像処理部２１１は、撮影画像の明るさ情報、例えば、画像の明度を確認する。次に、撮影画像を、明るさ情報を基に、ある閾値を用いて２値化する。図４（ｂ）は２値化後の画像であり、明るさ情報がある閾値以上の領域を白、閾値より小さい領域を網掛けで示している。
【００４２】
ところで、撮影した画像が明るすぎると、ホットスポット１７０ではない領域もある閾値以上の明るさとなってしまう。ただし、この場合、ホットスポット１７０はさらに明るいので、撮影画像において、ホットスポット領域は、明るさ情報が飽和している白とび状態となっているはずである。このように、ホットスポット１７０が白とび状態となっている場合は、シャッタースピードを短くする、絞りを絞る等といった条件を変更して撮影し直す。これにより、適切に２値化を適用でき、ホットスポット１７０を正しく認識することができる。
【００４３】
次に撮影画像処理部２１１は、ホットスポット１７０と認識された上記２値化後の白の領域を、座標情報として抽出する。図４（ｃ）を用いて抽出方法を説明する。撮影画像処理部２１１は、ホットスポット１７０を含む矩形の領域である除外領域３２０を設定する。そして、除外領域３２０の始点（ｘ１、ｙ１）と終点（ｘ２、ｙ２）の座標情報を抽出する。
【００４４】
抽出された除外領域３２０の座標情報（ｘ１、ｙ１）、及び（ｘ２、ｙ２）は、後述するように、投影画像処理部２１２、及び撮影画像処理部２１１において使用するため、メモリ２０３に保存される。
【００４５】
なお、これまで、撮影画像処理部２１１がホットスポット１７０を自動的に認識する方法について説明したが、この作業を手動で実施しても良い。具体的には、カメラ１３０による撮影画像をユーザが確認し、ホットスポット１７０の位置を特定する。次に、ユーザは、ＰＣ１１０のＵＩ２０５を介して、撮影画像処理部２１１にホットスポット１７０を含む除外領域３２０の座標情報を指定するという方法である。
【００４６】
次に、本発明の実施形態に係る画像投影システム１００を構成するＰＣ１１０の投影画像処理部２１２によるホットスポットに含まれる画像データの移動について説明する。図５は、本発明の実施形態に係る画像投影システムを構成する情報処理装置の投影画像処理部によるホットスポットに含まれる画像データの移動について説明する図である。
【００４７】
図５（ａ）は、カメラ１３０からみた投影画像３１１を示す。この投影画像では、「す」という文字を含むデータ領域がホットスポット１７０に含まれる。よって、カメラ１３０による撮影画像データでは正しく認識することができない。このため、投影画像処理部２１２は、後述する処理にて、ホットスポット１７０に含まれる投影画像データを別の領域に移動させる。
【００４８】
図５（ｂ）は、ＰＣ１１０が生成する投影画像データ３４１を示す。投影画像データ３４１をプロジェクタ１２０を用いてホワイトボード１５０に投影した画像が、図５（ａ）の投影画像３１１である。投影画像処理部２１２は、除外領域３２０の座標情報（ｘ１、ｙ１）、（ｘ２、ｙ２）をメモリ２０３から読み出すことにより、ホットスポット１７０を含む除外領域３２０を認識する。
【００４９】
次に、除外領域３２０に含まれる画像データの移動先である代替領域３３０について説明する。投影画像処理部２１２は、投影画像データ３４１において、文字や図形等の、意味のある構成要素であるオブジェクトが存在しない領域、すなわち背景領域を抽出する。そして、この背景領域に、除外領域３２０と同じ面積の領域である代替領域３３０を設定する。
【００５０】
また、代替領域３３０の座標情報の始点（ｘ３、ｙ３）と終点（ｘ４、ｙ４）の座標情報を抽出する。図５（ｃ）は、投影画像データ３４１に代替領域３３０を確保した状態を示す。抽出された代替領域３３０の座標情報（ｘ３、ｙ３）、及び（ｘ４、ｙ４）は、後述するように撮影画像処理部２１１において使用するため、メモリ２０３に保存される。
【００５１】
次に、除外領域３２０の投影画像データを、代替領域３３０へ移動する。具体的には、除外領域３２０の投影画像データと、代替領域３３０の投影画像データとを入れ替える。図５（ｄ）は、除外領域３２０の投影画像データを代替領域３３０に移動した状態である、投影画像データ３４２を示す。
【００５２】
図５（ｅ）は、カメラ１３０から見た、図５（ｄ）の投影画像データ３４２をプロジェクタ１２０を用いて投影した投影画像３１２を示す。投影画像３１１においてホットスポット１７０に存在していた画像データである「す」という文字は、ホットスポット１７０の外に移動している。これにより、ホットスポット１７０の影響なく投影されている。
【００５３】
次に、本発明の実施形態に係る画像投影システム１００を構成するＰＣ１１０の撮影画像処理部２１１による代替領域の画像データの移動について説明する。図６は、本発明の実施形態に係る画像投影システムを構成する情報処理装置の撮影画像処理部による代替領域の画像データの移動について説明する図である。
【００５４】
図６（ａ）は、図５（ｅ）において説明した投影画像３１２をカメラ１３０で撮影した、撮影画像データ３５２を示す。図４において説明したのと同様に、撮影画像データ３５２における幾何学的な歪みは、撮影画像処理部２１１において別途補正される。そして、図５（ｅ）における投影画像データ３４２と、図６（ａ）における撮影画像データ３５２との座標は関連付けられているものとする。
【００５５】
撮影画像処理部２１１は、除外領域３２０の座標情報（ｘ１、ｙ１）、（ｘ２、ｙ２）と、代替領域３３０の座標情報（ｘ３、ｙ３）、（ｘ４、ｙ４）とを、メモリ２０３から読み出す。これにより、除外領域３２０と代替領域３３０とを認識する。投影画像データ３４２と撮影画像データ３５２との座標は関連付けられている。したがって、撮影画像データ３５２において、ホットスポット１７０は除外領域３２０に、ホットスポット１７０から移動した「す」という文字は代替領域３３０に存在することになる。
【００５６】
次に、撮影画像処理部２１１は、撮影画像データ３５２において、代替領域３３０の撮影画像データを除外領域３２０へ移動する。具体的には、除外領域３２０の撮影画像データと、代替領域３３０の撮影画像データとを再度入れ替える。図６（ｂ）は、代替領域３３０の撮影画像データを、除外領域３２０に移動した状態である、撮影画像データ３５３を示す。
【００５７】
すなわち、「す」という文字は、移動前の投影画像データ３４１の位置（図５（ｃ））に戻り、ホットスポット１７０は、代替領域３３０に移動する。この処理後の画像をＨＤＤ２０２に保存する。代替領域３３０は、投影画像データにおいてオブジェクトが存在しない背景領域である。よって、ホットスポット１７０の撮影画像データが含まれていても、投影画像データの意図を大きく損なうことはない。
【００５８】
以上の処理により、撮影画像にホットスポット１７０が含まれる場合でも、ホットスポットの影響を小さくして撮影画像データを保存することができる。なお、上記では、撮影画像処理部２１１が撮像画像データ３５２に対して、除外領域３２０に代替領域３３０の撮像画像データを移動処理する例について説明した。
【００５９】
これに限定されること無く、代替領域３３０にその周囲の撮像画像データをコピーする処理であっても良い。この場合、撮影画像データ３５３にホットスポット１７０が存在しないので、背景部である代替領域３３０をより自然に再現した撮影画像データを保存することができる。
【００６０】
次に、本発明の実施形態に係る画像投影システム１００の一連の動作について説明する。図７は、本発明の実施形態に係る画像投影システムの一連の動作について説明するフローチャート図である。
【００６１】
図７において、ステップ（以下、「Ｓ」という。）７０１からＳ７０３は、図４において説明した、撮影画像処理部２１１によるホットスポット１７０の認識に対応するステップである。Ｓ７０１において、ＰＣ１１０のＣＰＵ２０１は、均一な明るさの投影画像データを生成する。そしてプロジェクタ１２０は、この投影画像データをホワイトボード１５０に投影する。
【００６２】
Ｓ７０２において、カメラ１３０は、ホワイトボード１５０に投影された投影画像を撮影する。撮影された撮影画像データは、ＰＣ１１０のメモリ２０３に保存される。
【００６３】
Ｓ７０３において、撮影画像処理部２１１は、メモリ２０３から撮影画像データを読み出し、ホットスポット１７０が含まれる除外領域３２０の座標情報を抽出する。また、抽出された座標情報をメモリ２０３に保存する。詳細な動作については、上記した図４の説明において行ったので省略する。
【００６４】
Ｓ７０４は、図５において説明した、投影画像処理部２１２によるホットスポット１７０に含まれる投影画像データの移動に対応するステップである。Ｓ７０４において、ＣＰＵ２０１は、投影画像データ３４１を生成し、メモリ２０３に保存する。次に、投影画像処理部２１２は、メモリ２０３から投影画像データ３４１、及びＳ７０３にて抽出された除外領域３２０の座標情報を読み出す。そして、投影画像データ３４１に、除外領域３２０と同じサイズの領域である代替領域３３０を確保する。
【００６５】
次に、除外領域３２０の投影画像データと、代替領域３３０の投影画像データとを入れ替える。次に、この処理後の投影画像データ３４２、及び代替領域３３０の座標情報を、メモリ２０３に保存する。詳細な動作については、上記した図５の説明において行ったので省略する。
【００６６】
Ｓ７０５からＳ７０７は、図６において説明した、撮影画像処理部２１１による代替領域３３０に含まれる撮影画像データの移動に対応するステップである。Ｓ７０５において、プロジェクタ１２０は、Ｓ７０４において生成されメモリ２０３に保存された処理後の投影画像データ３４２を、ホワイトボード１５０に投影する。
【００６７】
Ｓ７０６において、カメラ１３０は、Ｓ７０５で投影された上記処理後の投影画像データ３４２を撮影する。また、撮影された撮影画像データ３５２はＰＣ１１０のメモリ２０３に保存される。
【００６８】
Ｓ７０７において、撮影画像処理部２１１は、メモリ２０３から撮影画像データ３５２を読み出す。また、除外領域３２０と代替領域３３０の座標情報をメモリ２０３から読み出す。次に、撮影画像データ３５２において、除外領域３２０と代替領域３３０との撮影画像データを入れ替える。そして、処理後の撮影画像データ３５３をＨＤＤ２０２に保存する。詳細な動作については、上記した図６の説明において行ったので省略する。
【００６９】
Ｓ７０８において、次の投影画像が存在する場合（Ｓ７０８：ＹＥＳ）は、Ｓ７０４からＳ７０７の処理を繰り返す。次の投影画像が存在しない場合（Ｓ７０８：ＮＯ）は、処理を終了する。
【００７０】
なお、図７のフローチャートでは、Ｓ７０４の処理を投影画像１枚毎に実施する例について示したが、複数枚、又は全投影枚数について纏めてＳ７０４の処理を実施しても良い。その場合、複数枚の処理後の画像データと、代替領域３３０の座標情報とを、メモリ２０３、又はＨＤＤ２０２に保存する。
【００７１】
次に、本発明の実施形態に係る画像投影システム１００において、視聴者から見た投影画像内のホットスポットについて説明する。図８は、本発明の実施形態に係る画像投影システムにおいて、視聴者から見た投影画像内のホットスポットについて説明する図である。
【００７２】
図８は、図２に対して、プロジェクタ１２０の視聴者１９０を追加したものである。図２と共通する部分については説明を省略する。通常、視聴者１９０はカメラ１３０とは異なる位置から投影画像１６０を観察する。この場合、図８に示すように、視聴者１９０に入射する正反射光１８１と、カメラ１３０に入射する正反射光１８０とは異なる。
【００７３】
その結果、視聴者１９０とカメラ１３０とが同じ投影画像１６０を観察しても、視聴者１９０が認識するホットスポット１７１と、カメラ１３０が認識するホットスポット１７０とは、発生位置が異なる。
【００７４】
次に、本発明の他の実施形態に係る画像投影システム１００における投影画像データについて説明する。図９は、本発明の他の実施形態に係る画像投影システムにおける投影画像データについて説明する図である。
【００７５】
図９（ａ）は、図５（ａ）と同様に、カメラ１３０からみた投影画像３１１を示す。この投影画像では、「す」という文字がホットスポット１７０領域に含まれ、カメラ１３０による撮影画像データでは正しく認識することができない。
【００７６】
図９（ｂ）は、図５（ｅ）と同様に、カメラ１３０から見た投影画像３１２を示す。投影画像３１１においてホットスポット１７０に存在していた画像データである「す」という文字は、ホットスポット１７０の外に移動している。よって、ホットスポット１７０の影響なく投影されている。
【００７７】
図９（ｃ）は、図５（ｃ）と同様に、図９（ａ）に対応する投影画像データ３４１を示す。図９（ｄ）は、図５（ｄ）と同様に、図９（ｂ）に対応する投影画像データ３４２を示す。図９（ｅ）は、視聴者１９０から見た、投影画像データ３４１の投影画像である投影画像３６１を示す。図８において説明したように、視聴者１９０が認識するホットスポット１７１は、カメラ１３０が認識するホットスポット１７０とは位置が異なる。
【００７８】
図９（ｆ）は、視聴者１９０から見た、投影画像データ３４２の投影画像である投影画像３６２を示す。カメラ１３０が認識するホットスポット１７０に存在していた画像データである「す」という文字が移動している。視聴者１９０の立場で考えると、視聴者１９０が認識するホットスポット１７１とは無関係の画像データ「す」が移動しており、投影画像３６２に違和感を覚える。
【００７９】
このため、本発明の他の実施形態においては、視聴者１９０の違和感を抑えるような処理を行う。具体的には、通常は投影画像データ３４１を投影し、カメラ１３０において投影画像を撮影する瞬間のみ、投影画像データ３４２を投影するようにする。
【００８０】
次に、本発明の他の実施形態に係る画像投影システム１００の一連の動作について説明する。図１０は、本発明の他の実施形態に係る画像投影システムの一連の動作について説明するフローチャート図である。
【００８１】
図１０において、Ｓ１００１からＳ１００３は、図７において説明したＳ７０１からＳ７０３と同じ内容であるので、説明を省略する。Ｓ１００４は、図９（ｃ）、及び（ｅ）において説明した、投影画像データ３４１の投影に対応するステップである。
【００８２】
Ｓ１００４において、ＣＰＵ２０１は投影画像データ３４１を生成し、メモリ２０３に保存する。次に、プロジェクタ１２０は、この投影画像データ３４１をホワイトボード１５０に投影する。
【００８３】
Ｓ１００５は、Ｓ７０４と略同じ内容である。Ｓ１００５において、投影画像処理部２１２は、メモリ２０３から、Ｓ１００４で生成された投影画像データ３４１、及びＳ１００３において抽出された除外領域３２０の座標情報を読み出す。そして、投影画像データ３４１に、除外領域３２０と同じサイズの領域である代替領域３３０を確保する。
【００８４】
次に、除外領域３２０の投影画像データと、代替領域３３０の投影画像データとを入れ替える。次に、この処理後の投影画像データ３４２、及び代替領域３３０の座標情報を、メモリ２０３に保存する。詳細な動作については、上記した図５の説明において行ったので省略する。
【００８５】
Ｓ１００６において、Ｓ１００７のカメラ１３０による撮影が行われる直前に、プロジェクタ１２０は、Ｓ１００５において生成されメモリ２０３に保存された処理後の投影画像データ３４２を、ホワイトボード１５０に投影する。Ｓ１００７は、図７で説明したＳ７０６と同じ内容であるので、説明を省略する。
【００８６】
Ｓ１００８において、Ｓ１００７のカメラ１３０による撮影が行われた直後に、プロジェクタ１２０は、Ｓ１００４で生成された投影画像データ３４１をホワイトボード１５０に投影する。Ｓ１００９は、図７において説明したＳ７０７と同じ内容であるので、説明を省略する。
【００８７】
Ｓ１０１０において、次の投影画像が存在する場合（Ｓ１０１０：ＹＥＳ）は、Ｓ１００４からＳ１００９の処理を繰り返す。次の投影画像が存在しない場合（Ｓ１０１０：ＮＯ）は、処理を終了する。
【００８８】
なお、Ｓ１００４とＳ１００５とは、順番が入れ替わる、又は並行して実施されても良い。また、Ｓ１００８とＳ１００９についても、順番が入れ替わる、又は並行して実施されても良い。
【００８９】
さらに、図１０のフローチャートでは、Ｓ１００５を投影画像１枚毎に実施する例を示したが、複数枚、又は全投影枚数について纏めてＳ１００５を実施しても良い。その場合、複数枚の処理後の画像データと代替領域３３０の座標情報とを、メモリ２０３、又はＨＤＤ２０２に保存する。
【００９０】
次に、本発明のさらに他の実施形態に係る画像投影システム１００について説明する。図１１は、本発明のさらに他の実施形態に係る画像投影システムの一連の動作について説明するフローチャート図である。また、図１２は、本発明のさらに他の実施形態に係る画像投影システムを構成する情報処理装置の撮影画像処理部による代替画像の画像データの移動について説明する図である。
【００９１】
本発明のさらに他の実施形態では、投影画像３１１もカメラ１３０で撮影する点が、他の実施形態とは異なる。図１１において、Ｓ１１０１からＳ１１０３、Ｓ１１０４、Ｓ１１０６から〜Ｓ１１０９、及びＳ１１１１は、それぞれ図１０におけるＳ１００１〜Ｓ１００３、Ｓ１００４、Ｓ１００５からＳ１００８、及びＳ１０１０と同じ内容であるので、説明を省略する。
【００９２】
Ｓ１１０５において、カメラ１３０は、Ｓ１１０４で投影された投影画像３１１（図５（ａ））を撮影する。また、撮影された撮影画像データ３５１（図１２）はＰＣ１１０のメモリ２０３に保存される。Ｓ１１１０において、撮影画像処理部２１１は、メモリ２０３から撮影画像データ３５１、及び撮影画像データ３５２（図１２）を読み出す。また、除外領域３２０と代替領域３３０の座標情報をメモリ２０３から読み出す。
【００９３】
次に、撮影画像データ３５２から代替領域３３０の撮影画像データを切り出す。次に、撮影画像データ３５１において、除外領域３２０の撮影画像データを、撮影画像データ３５２の代替領域３３０の撮影画像データに置き換える。そして、処理後の撮影画像データ３５２をＨＤＤ２０２に保存する。詳細な動作について図１２を用いて説明する。
【００９４】
図１２（ａ）は、図５（ｂ）において説明した投影画像３１１をカメラ１３０で撮影した、撮影画像データ３５１を示す。この投影画像では、「す」という文字がホットスポット１７０領域に含まれ、カメラ１３０による撮影画像データ３５１では正しく認識することができない。
【００９５】
図１２（ｂ）は、図５（ｅ）において説明した投影画像３１２をカメラ１３０で撮影した、撮影画像データ３５２を示す。撮影画像処理部２１１は、代替領域３３０の座標情報（ｘ３、ｙ３）、（ｘ４、ｙ４）を、メモリ２０３から読み出すことにより、代替領域３３０を認識する。撮影画像データ３５２において、ホットスポット１７０から移動した「す」という文字列は代替領域３３０に存在する。
【００９６】
次に、撮影画像処理部２１１は、撮影画像データ３５２において、代替領域３３０の撮影画像データを切り出し、メモリ２０３に保存する。次に、撮影画像処理部２１１は、除外領域３２０の座標情報（ｘ１、ｙ１）、（ｘ２、ｙ２）を、メモリ２０３から読み出すことで、除外領域３２０を認識する。
【００９７】
次に、撮影画像処理部２１１は、メモリ２０３から、撮影画像データ３５２において代替領域３３０の撮影画像データを読み出し、撮影画像データ３５１の除外領域の撮影画像データを置き換える。図１２（ｃ）は、この処理を適用した結果を示す。すなわち「す」という文字は、移動前の位置である投影画像データ３４１の位置（図５（ｂ））に戻る。
【００９８】
また、代替領域３３０については、撮影画像データ３５１の撮影画像データがそのまま使用される。このため、オブジェクトが存在しない背景領域である代替領域３３０においても、投影画像データの意図を損なうことはない。以上の処理により、撮影画像にホットスポット１７０が含まれる場合でも、ホットスポットの影響をより小さくして撮影画像データを保存することができる。
【００９９】
なお、上記では、撮影画像データ３５１の除外領域３２０の画像データを、撮影画像データ３５２の代替領域３３０の画像データによって置き換える例について説明した。しかしながら、これに限定されることはない。
【０１００】
すなわち、撮影画像データ３５２の除外領域３２０の画像データを、撮影画像データ３５２の代替領域３３０の画像データにて置き換える。そして、撮影画像データ３５２の代替領域３３０の画像データを撮影画像データ３５１の代替領域３３０の画像データで置き換えても、同様の効果が得られる。
【０１０１】
以上説明したように、本発明は、１台のカメラを固定して設置し、ホットスポット領域の画像データを別の領域にずらして投影する。そして、カメラで撮影された画像において、別の領域にずらされた撮影画像データを、ホットスポット領域に戻す処理を実施する。
【０１０２】
つまり、１台のカメラのみで撮影を行うため、複数位置で撮影することによる撮影画像間の幾何学的な歪みの差や色差が発生しない。これにより、複数の撮影画像の幾何学的な歪みの差や色差による画質劣化を抑えつつ、ホットスポットによる画像劣化を軽減することができる画像投影システム、制御方法、及びプログラムを得ることができる。
【０１０３】
なお、図７、図１０、及び図１１に示した本発明の実施形態における画像処理システムの各動作フローは、コンピュータ上のプログラムに実行させることもできる。すなわち、画像処理システムの情報処理装置１１０に内蔵されているＣＰＵ２０１が、ＲＯＭ２０４、及びＨＤＤ２０２に格納されたプログラムをロードする。そして、当該プログラムの処理ステップが順次実行されることによって実現される。
【０１０４】
以上、本発明の好適な実施形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨及び範囲から逸脱することなく、これら具体例に様々な修正及び変更が可能である。
【符号の説明】
【０１０５】
２０、３０    バス
１００    画像投影システム
１１０    ＰＣ
１２０    プロジェクタ
１３０    カメラ
１３０´    鏡像
１５０    ホワイトボード
１６０、３１０、３１１、３１２、３６１、３６２    投影画像
３４１、３４２    投影画像データ
１７０、１７１    ホットスポット
１８０、１８１    正反射光
１９０    視聴者
２０１    ＣＰＵ
２０２    ＨＤＤ
２０３    メモリ
２０４    ＲＯＭ
２０５    ＵＩ
２０６    外部Ｉ／Ｆ
３２０    除外領域
３３０    代替領域
３５１、３５２、３５３、３５４    撮影画像データ
【先行技術文献】
【特許文献】
【０１０６】
【特許文献１】特開２００９−２２３２３１号公報
【図１】
2014150472.tif 000003
【図２】
2014150472.tif 000004
【図３】
2014150472.tif 000005
【図４】
2014150472.tif 000006
【図５】
2014150472.tif 000007
【図６】
2014150472.tif 000008
【図７】
2014150472.tif 000009
【図８】
2014150472.tif 000010
【図９】
2014150472.tif 000011
【図１０】
2014150472.tif 000012
【図１１】
2014150472.tif 000013
【図１２】
2014150472.tif 000014