(57)【要約】【課題】投影装置を再設置した場合に、簡単に投影画像の投影位置を再現できるようにする。【解決手段】まず、画像が投影されている状態の第一投影面情報と、画像が投影されていない状態の基礎投影面情報とから、投影領域及び壁面の特徴点群を抽出し、そのときの投影地点情報と関連付けて投影領域情報として記憶部に記憶する。そして、装置を再設置したときに再設置時の投影地点から一定範囲内にある地点に対応する投影領域情報を、記憶部に記憶された投影領域情報の中から選択する。そして、再設置して取得した投影領域情報と、前記選択された投影領域情報とから投影画像の補正パラメータを決定し、投影画像を補正する。【選択図】図１
2016015639.tif 000002
【特許請求の範囲】
【請求項１】
投影手段が投影する投影地点を示す投影地点情報に関連付けて、前記投影手段が該投影地点から投影画像を投影する投影面の特徴点を示す投影領域情報を記憶手段に記憶する記憶制御手段と、
前記投影手段の投影地点を示す第１の投影地点情報を取得する第１の取得手段と、
前記投影手段が投影画像を投影する投影面の特徴点を示す第１の投影領域情報を含む情報を取得する第２の取得手段と、
前記第１の取得手段が取得した前記第１の投影地点情報に関連付けられた第２の投影領域情報を前記記憶手段から選択する選択手段と、
前記第２の取得手段が取得した前記第１の投影領域情報と、前記選択手段によって選択された前記第２の投影領域情報とから、前記投影手段が投影する投影画像を補正するためのパラメータを決定する決定手段と、
前記決定手段によって決定されたパラメータを用いて補正した投影画像を前記投影手段に投影させる制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記第２の取得手段は、前記第１の投影領域情報を含む情報として前記投影面の画像を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記投影面の画像を画像解析することによって前記第１の投影領域情報を抽出する抽出手段を有することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記第２の取得手段が取得した情報を解析することによって前記第１の投影領域情報を抽出する抽出手段を有し、
前記抽出手段は、前記第１の投影領域情報として、前記投影面に存在する特徴点の位置情報と、前記投影面に前記投影手段が投影する投影画像の特徴点の位置情報とを少なくとも抽出することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
前記第１の取得手段は、前記第１の投影地点情報として、前記投影手段が存在する地理上の場所の情報、および前記投影手段が投影する方角の情報のうち少なくとも１つを取得することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
【請求項６】
ユーザによる操作を受け付ける入力手段をさらに備え、
前記記憶制御手段は、前記入力手段からユーザの操作を受け付けた場合に、前記投影手段が投影する投影地点を示す投影地点情報に関連付けて、該投影地点において前記第２の取得手段が取得した情報に含まれる投影領域情報を前記記憶手段に記憶することを特徴とする請求項１〜５の何れか１項に記載の情報処理装置。
【請求項７】
前記記憶制御手段は、複数の投影地点情報を前記記憶手段に記憶する制御を行い、
前記選択手段は、前記記憶手段に記憶された複数の投影地点情報のうち、前記第１の投影地点情報に対応する地理上の場所から一定範囲にある場所に対応する投影領域情報を前記第２の投影領域情報として選択することを特徴とする請求項１〜６の何れか１項に記載の情報処理装置。
【請求項８】
前記選択手段は、前記記憶手段に記憶された複数の投影地点情報が示す地理上の場所のいずれも前記第１の投影地点情報に対応する地理上の場所から前記一定範囲にない場合は、前記記憶手段から投影領域情報を選択しないようにし、
前記選択手段が前記投影領域情報を選択しない場合、前記決定手段は、前記パラメータを決定しないようにすることを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記記憶制御手段は、前記第２の投影領域情報に対応する投影面における投影画像の位置を示す位置情報を前記記憶手段に記憶させ、
前記決定手段は、前記投影手段が投影する投影画像の前記投影面における位置と、前記記憶手段に記憶された前記位置情報が示す位置との差分が少なくなるように前記パラメータを決定することを特徴とする請求項１〜８の何れか１項に記載の情報処理装置。
【請求項１０】
前記決定手段は、前記パラメータとして、画像の変形情報、表示位置情報、拡大縮小情報、及びキーストーン補正情報のうち少なくとも１つを決定することを特徴とする請求項１〜９の何れか１項に記載の情報処理装置。
【請求項１１】
前記第２の取得手段は、前記投影手段によって投影画像が投影された第１の投影面と前記投影手段によって投影画像が投影されていない前記第１の投影面との投影面情報を取得することを特徴とする請求項１〜１０の何れか１項に記載の情報処理装置。
【請求項１２】
投影画像を投影する投影手段と、
前記投影手段が投影する投影地点を示す投影地点情報に関連付けて、前記投影手段が該投影地点から投影画像を投影する投影面の特徴点を示す投影領域情報を記憶手段に記憶する記憶制御手段と、
前記投影手段の投影地点を示す第１の投影地点情報を取得する第１の取得手段と、
前記投影手段が投影画像を投影する投影面の特徴点を示す第１の投影領域情報を含む情報を取得する第２の取得手段と、
前記第１の取得手段が取得した前記第１の投影地点情報に関連付けられた第２の投影領域情報を前記記憶手段から選択する選択手段と、
前記第２の取得手段が取得した前記第１の投影領域情報と、前記選択手段によって選択された前記第２の投影領域情報とから、前記投影手段が投影する投影画像を補正するためのパラメータを決定する決定手段と、
前記決定手段によって決定されたパラメータを用いて補正した投影画像を前記投影手段に投影させる制御手段と、
を備えることを特徴とする画像投影システム。
【請求項１３】
投影手段が投影する投影地点を示す投影地点情報に関連付けて、前記投影手段が該投影地点から投影画像を投影する投影面の特徴点を示す投影領域情報を記憶手段に記憶する記憶制御工程と、
前記投影手段の投影地点を示す第１の投影地点情報を取得する第１の取得工程と、
前記投影手段が投影画像を投影する投影面の特徴点を示す第１の投影領域情報を含む情報を取得する第２の取得工程と、
前記第１の取得工程において取得した前記第１の投影地点情報に関連付けられた第２の投影領域情報を前記記憶手段から選択する選択工程と、
前記第２の取得工程において取得した前記第１の投影領域情報と、前記選択工程において選択された前記第２の投影領域情報とから、前記投影手段が投影する投影画像を補正するためのパラメータを決定する決定工程と、
前記決定工程において決定されたパラメータを用いて補正した投影画像を前記投影手段に投影させる制御工程と、
を備えることを特徴とする情報処理方法。
【請求項１４】
投影手段が投影する投影地点を示す投影地点情報に関連付けて、前記投影手段が該投影地点から投影画像を投影する投影面の特徴点を示す投影領域情報を記憶手段に記憶する記憶制御工程と、
前記投影手段の投影地点を示す第１の投影地点情報を取得する第１の取得工程と、
前記投影手段が投影画像を投影する投影面の特徴点を示す第１の投影領域情報を含む情報を取得する第２の取得工程と、
前記第１の取得工程において取得した前記第１の投影地点情報に関連付けられた第２の投影領域情報を前記記憶手段から選択する選択工程と、
前記第２の取得工程において取得した前記第１の投影領域情報と、前記選択工程において選択された前記第２の投影領域情報とから、前記投影手段が投影する投影画像を補正するためのパラメータを決定する決定工程と、
前記決定工程において決定されたパラメータを用いて補正した投影画像を前記投影手段に投影させる制御工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、プロジェクタ等の投影装置を再設置するために用いて好適な情報処理装置、画像投影システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、プロジェクタの高精細化及び高輝度化が進み、その用途が多様になっている。例えば、プロジェクタから建物の壁面や物体などの形状に合わせて映像を投影するプロジェクションマッピングでは、比較的遠い投影面に対して投影位置の精度を高くして映像を投影することが求められる。また、複数台のプロジェクタを連携させ継ぎ目のない画像を投影するマルチプロジェクションシステムにおいても、画像が近接もしくは重なる領域のずれやぼけを防ぐために、投影位置の精度が求められる。
【０００３】
一方、プロジェクタの小型化及び軽量化に伴って可搬性が向上し、利用時のみプロジェクタを設置する形態が増加している。これにより、前述のプロジェクションマッピングのように、従来は、一度設置した後はプロジェクタを移動させなかったユースケースにおいても、例えば週末のみプロジェクタを設置して投影する等の形態が予想される。
【０００４】
一方、プロジェクタの投影領域の位置合わせは煩わしく、特に、投影面が遠い場合は、プロジェクタが設置される位置の微小な変化が投影面上の投影位置や投影形状に大きく影響する。そのため、プロジェクタを設置する度に位置合わせに多大な時間を要してしまう。また、通常の会議室で映像を投影する場合においても位置合わせは煩わしく、プロジェクタの設置時間を少しでも短縮したいという要求がある。そこで、スクリーン上のマーカの位置と、プロジェクタから発するレーザポインタの輝点の位置とを確認しながら設置位置を自動的に調整する方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−３２７０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、任意の投影面に投影する際に、その投影面に対して初めて投影する場合はユーザの希望する投影位置や投影の大きさ（以下、投影状態と称す）を推測することは難しい。しかしながら、過去に投影したことのある投影面であれば、例えば、前回の投影状態と同一の投影を希望しているという推測が可能となる。この推測をもとに過去の投影状態を自動的に再現することができれば、ユーザは同一投影面に対して２回目以降の投影時において設置が容易となる。
【０００７】
そこで、例えば、過去の投影状態を記憶し、２回目以降の投影時には現在の投影状態と既に記憶している投影状態とから投影する画像を補正するための投影補正パラメータを決定する方法が考えられる。
【０００８】
ここで、過去の投影状態を複数記憶していた場合は、現在の投影状態と最も類似度が高い過去の投影状態を１つ選択し、その選択された過去の投影状態と現在の投影状態とから投影補正パラメータを決定することになる。しかしながら、過去の投影状態を多数記憶していた場合は、類似度が最も高い過去の投影状態を選択するのに多くの時間がかかってしまう。また、投影状態が類似している投影地点が異なる過去の投影状態を誤って選択し、その結果、誤った投影補正パラメータを決定する可能性もある。例えば、過去の投影状態をクラウド上に記憶し、多数の投影状態を複数のプロジェクタ間で共有するユースケースでは、蓄積される過去の投影状態の数が膨大になるため、上記の課題は特に深刻である。
【０００９】
本発明は前述の問題点に鑑み、投影装置を再設置した場合に、正確にかつ簡単に投影画像の投影位置を再現できるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明に係る情報処理装置は、投影手段が投影する投影地点を示す投影地点情報に関連付けて、前記投影手段が該投影地点から投影画像を投影する投影面の特徴点を示す投影領域情報を記憶手段に記憶する記憶制御手段と、前記投影手段の投影地点を示す第１の投影地点情報を取得する第１の取得手段と、前記投影手段が投影画像を投影する投影面の特徴点を示す第１の投影領域情報を含む情報を取得する第２の取得手段と、前記第１の取得手段が取得した前記第１の投影地点情報に関連付けられた第２の投影領域情報を前記記憶手段から選択する選択手段と、前記第２の取得手段が取得した前記第１の投影領域情報と、前記選択手段によって選択された前記第２の投影領域情報とから、前記投影手段が投影する投影画像を補正するためのパラメータを決定する決定手段と、前記決定手段によって決定されたパラメータを用いて補正した投影画像を前記投影手段に投影させる制御手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、投影装置を再設置した場合に、正確にかつ簡単に投影画像の投影位置を再現することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態の画像投影装置の構成例を示すブロック図である。
【図２】実施形態において投影領域情報を記憶する処理手順の一例を示すフローチャートである。
【図３】プロジェクタから建物の壁面に画像が投影されている状態を示す図である。
【図４】実施形態において、壁面の特徴点群、及び投影領域の特徴点群を抽出する処理手順の一例を示すフローチャートである。
【図５】第一投影面情報から特徴点を抽出した結果の一例を示す図である。
【図６】基礎投影面情報から特徴点を抽出した結果の一例を示す図である。
【図７】投影領域及び壁面の特徴点群の抽出結果とが投影地点情報と関連付けられたテーブルの一例を示す図である。
【図８】実施形態において画像投影装置を再設置した場合の投影する処理手順の一例を示すフローチャートである。
【図９】第二の投影状態に係る投影領域を補正する詳細な処理手順の一例を示すフローチャートである。
【図１０】再設置したプロジェクタから建物の壁面に画像が投影されている状態を示す図である。
【図１１】正規化済の第二投影面情報を生成する詳細な処理手順の一例を示すフローチャートである。
【図１２】第二投影面情報における特徴点群の抽出結果の一例を示す図である。
【図１３】正規化済の第二投影面情報の一例を示す図である。
【図１４】投影補正パラメータを決定する詳細な処理手順の一例を示すフローチャートである。
【図１５】正規化済の第二投影面情報における特徴点群の抽出結果の一例を示す図である。
【図１６】投影補正パラメータを反映した投影状態を示す模式図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態の画像投影装置１００の構成例を示すブロック図である。
図１において、投影部１０１、画像投影装置１００に入力された任意の画像を前面のスクリーンや壁面に拡大して投影する。投影方式としては、液晶パネルに光を透過させて投影する投影方式や、ＣＲＴなどの表示装置に表示された画像を光学系を用いて拡大投影する投影方式等があるが、本実施形態では、これらの投影方式を限定しない。
【００１４】
第１取得部１０４は、投影部１０１が投影する投影地点情報を取得する。投影地点情報の一例としては、緯度、経度、標高など投影部１０１が存在する地理上の場所の情報や、投影部１０１が投影する方角の情報などの投影地点の情報が想定される。これらの情報をすべて取得して投影地点情報としてもよく、一部を取得し投影地点情報としてもよい。以下、投影地点情報として緯度及び経度の情報を取得する場合を例に挙げて説明する。
【００１５】
第２取得部１０２は、投影部１０１が投影する画像の投影面情報を取得する。投影面情報の一例としては、投影される画像及び画像が投影されている壁面を撮影した画像が想定される。以下、投影面情報として、投影面が撮影された画像を取得する場合を例に挙げて説明する。第２取得部１０２は撮像機能を備えており、投影された画像を撮影することによって投影面情報を取得する。なお、画像投影装置１００とは別にカメラを設け、そのカメラから画像を取得する構成であってもよい。
【００１６】
抽出部１０３は、第２取得部１０２が取得する投影面情報より投影領域情報を抽出する。投影領域情報の一例としては、上記撮影した画像を画像解析することにより得られる特徴点群の位置情報や、投影面情報などが想定される。
【００１７】
記憶部１０５は、抽出部１０３が抽出する投影領域情報、及び第１取得部１０４が取得する投影地点情報を記憶する。投影領域情報及び投影地点情報を記憶するタイミングについては、ユーザにより入力部１１０が操作されること、または画像投影装置１００に付属するリモコンに備わるボタン等が操作されることによって指示してもよい。また、投影開始後に一定時間が経過した後など、状態遷移に連動して記憶するようにしてもよい。以下、本実施形態では投影領域情報及び投影地点情報を記憶するタイミングをユーザが指示するものとして説明する。
【００１８】
また、投影領域情報及び投影地点情報は、前記記憶するタイミングでほぼ同時に取得され、相互に関連付けられて記憶部１０５に記憶される。さらに、記憶部１０５は、他の構成要素と物理的に離れた場所に配置されてもよい。例えば、記憶部１０５をクラウドなどのネットワーク上に配置し、通信手段を介して一連の情報を受け付けて記憶するようにしてもよい。
【００１９】
選択部１０６は、記憶部１０５が記憶する複数の過去の投影地点情報の中から、参照する投影地点情報、すなわち第１取得部１０４が取得する現在の投影地点情報に近い投影地点情報を選択する。さらに、その過去の投影地点情報に関連づけられた過去の投影領域情報を第一の投影領域情報候補として特定する。
【００２０】
決定部１０７は、抽出部１０３により抽出された投影領域情報と選択部１０６により選択された投影領域情報とから、投影部１０１から投影する画像を補正するための投影補正パラメータを決定する。投影補正パラメータとしては、変形情報、表示位置情報、拡大縮小情報、キーストーン補正情報等、画像投影装置１００の機能と連動する様々な形態の少なくとも１つが想定される。
【００２１】
補正部１０８は、決定部１０７が決定する投影補正パラメータを投影部１０１が投影する画像に反映させる。反映させる形態としては、電気的な画像の変形やオフセット、拡大、縮小、光学補正など画像投影装置１００の機能と連動する様々な形態が想定される。制御部１０９は、画像投影装置１００全体を制御し、ユーザにより入力部１１０が操作されると、その情報が制御部１０９に入力される。また、制御部１０９は、記憶部１０５に投影領域情報を記憶する記憶制御も行う。
【００２２】
なお、情報処理装置の１つとして実現される画像投影装置１００は、汎用コンピュータに搭載される標準的な構成要素を有している。標準的な構成要素としては、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ディスプレイ等である。そして、これらの構成要素によって、図１に示される各種機能構成を実現する。これらの機能構成は、例えば、ＣＰＵが、ＲＯＭ等のメモリに記憶されているプログラムを読み出し実行することで実現することもできる。
【００２３】
図２は、本実施形態において投影領域情報を記憶する処理手順の一例を示すフローチャートである。ここで、投影領域情報とは、任意の壁面に初めて投影する際に生成される情報である。以下、図２に示すフローチャートに沿って、図３の具体例を交えながら説明する。また、図３に示す例では、画像投影装置１００としてプロジェクタ３０１から画像を投影する例とし、図２に示す処理を開始する前に、ユーザによりプロジェクタ３０１が設置されるものとする。
【００２４】
まず、ステップＳ２０１において、投影部１０１は、画像を投影する。このとき投影する画像は、後に誤って特徴点を抽出してしまう恐れがあるため、模様などが存在しない単色の画像とする。以下、この状態を第一の投影状態（設置状態）とする。
【００２５】
図３は、第一の投影状態の一例を示す図であり、図３に示す状態は、プロジェクタ３０１から建物の壁面３０２に画像が投影されている状態を表している。ユーザは、プロジェクタ３０１の設置位置を調整しながら、もしくはプロジェクタ３０１に備わる投影位置調整機能を用いながら投影領域３０３の位置合わせを行う。その際、壁面３０２の形状や模様に対して投影領域３０３の位置を調整し、ユーザの希望する投影状態にする。
【００２６】
続いてステップＳ２０２において、ユーザが入力部１１０を操作することにより、ユーザの希望する投影状態で投影されている旨の通知が制御部１０９に入力されるまで待機する。このユーザによる操作は、例えば、リモコンに備わるボタン等の入力操作であってもよい。また、例えば、ユーザの操作と等価の通知を画像投影装置１００が生成してもよい。画像投影装置１００内でその通知を生成する方法としては、例えば、投影を開始してから一定時間が経過した後に、状態遷移に連動する方法がある。この場合、ステップＳ２０２は、投影を開始してから一定時間が経過するまで待機する処理となる。
【００２７】
次に、ステップＳ２０３において、第１取得部１０４は、投影地点情報を取得する。前述したように本実施形態では、投影地点情報として緯度及び経度の情報を取得する。そして、ステップＳ２０４において、第２取得部１０２は、投影部１０１により画像が投影されている壁面を撮影し、その撮影した投影面の画像を第一投影面情報として取得する。図３に示す例では、第２取得部１０２は、投影領域３０３とその周辺の壁面３０２とを含む領域３０４を撮影し、この撮影した投影面を第一投影面情報として取得する。ここで、領域３０４に含まれる壁面３０２は、投影部１０１により画像が投影された壁面の全部であってもよく、一部であってもよい。いずれにしても、壁面３０２と領域３０４との関係は限定しない。
【００２８】
次に、ステップＳ２０５において、投影部１０１は投影を一旦停止し、第２取得部１０２は、壁面を再度撮影し、この撮影した投影面の画像を基礎投影面情報として取得する。壁面を再度撮影するときは、プロジェクタ３０１からの投影を停止することにより、投影先の壁面のみが撮影される。この際に撮影される領域は、ステップＳ２０４で撮影した領域３０４と同一の領域を撮影することが好ましい。但し、領域３０４とずれた場合にも、例えば、基礎投影面情報を第一投影面情報と正規化する補正処理を実施することにより、以下の処理を継続することが可能である。
【００２９】
次に、ステップＳ２０６において、抽出部１０３は、壁面の特徴点群、及び投影領域の特徴点群を抽出する。この処理の詳細については図４を用いて後述する。そして、ステップＳ２０７において、制御部１０９は、壁面の特徴点群、投影領域の特徴点群、第一投影面情報、及び基礎投影面情報を含む投影領域情報を、ステップＳ２０３で取得した投影地点情報と関連付けて記憶部１０５に記憶する。なお、ステップＳ２０３の処理は、ステップＳ２０２で入力部１１０からの入力を受け付けた後であれば、ステップＳ２０７で一連の情報と関連付けて記憶するまでの間のいずれのタイミングで実行してもよい。
【００３０】
図４は、本実施形態において、抽出部１０３により壁面の特徴点群、及び投影領域の特徴点群を抽出する処理手順の一例を示すフローチャートであり、この処理、は図２のステップＳ２０６の処理に対応する。以下、図４に示すフローチャートに沿って、図５〜図８の具体例を交えながら説明する。
【００３１】
まず、ステップＳ４０１において、第一投影面情報、及び基礎投影面情報からノイズを除去する。この処理は、以降のステップＳ４０２及びステップＳ４０３の処理精度を向上させるための前処理であり、第一投影面情報及び基礎投影面情報の撮影状態に合わせて省略することも可能である。
【００３２】
ノイズの除去アルゴリズムとしては、例えば、画像全域の各画素に対してメディアンフィルタを適用する方法が広く知られているが、本実施形態ではノイズの除去アルゴリズムを限定しない。但し、続くステップＳ４０２以降の処理の精度を向上させるために、画像中の濃淡の急激な変化点（以降、これをエッジと称す）が損なわれないノイズの除去アルゴリズムを選択することが好ましい。また、第一投影面情報、及び基礎投影面情報に対して同一のアルゴリズムを適用することができる。なお、メディアンフィルタは、ある領域内の画素値の中央値を出力とするフィルタであり、エッジを損なわずにノイズを除去する効果がある。
【００３３】
続いてステップＳ４０２において、第一投影面情報から複数の特徴点（Ａ群）を抽出する。特徴点の抽出アルゴリズムとしては、画像全域の各画素に対してラプラシアンフィルタを適用してエッジを強調する方法、ＫＬＴ法等が広く知られているが、本実施形態では抽出アルゴリズムを限定しない。ラプラシアンフィルタを適用する場合には、以下の（式１）を用いてエッジを強調する。
【００３４】
【数１】
2016015639.tif 000003
【００３５】
図５は、第一投影面情報から特徴点を抽出した結果の一例を示す図である。この第一投影面情報は、ステップＳ２０４で取得されたものであり、図３に示す領域３０４に相当する。図５に示すように、ステップＳ４０２では、投影領域５０１及び壁面５０２を取り囲むように特徴点（Ａ群）５０３〜５１４が抽出される。
【００３６】
次に、ステップＳ４０３において、基礎投影面情報から複数の特徴点（Ｂ群）を抽出する。ここで利用する抽出アルゴリズム及びパラメータは、ステップＳ４０２で第一投影面情報に適用したものと同一とする。図６は、基礎投影面情報から特徴点を抽出した結果の一例を示す図である。この基礎投影面情報は、ステップＳ２０５で取得された領域に相当する。図６に示すように、ステップＳ４０３では、壁面６０１の特徴点（Ｂ群）６０２〜６１２が抽出される。
【００３７】
次に、ステップＳ４０４において、特徴点（Ａ群）と特徴点（Ｂ群）とを比較し、投影領域の特徴点群を抽出する。より具体的には、特徴点（Ｂ群）には存在しない特徴点を特徴点（Ａ群）から抜き出し、投影領域に対して推定される輪郭を当てはめることにより、投影領域の特徴点群を抽出する。図５及び図６に示す例では、投影領域５０１に対する特徴点５０３〜５０６が抽出される。
【００３８】
次に、ステップＳ４０５において、特徴点（Ｂ群）から、投影領域の特徴点群の外側近傍に位置する壁面の特徴点群を抽出する。より詳しくは、ステップＳ４０４より抽出された投影領域の特徴点群より投影領域を推定し、その外側に位置する特徴点、即ち、投影領域外の壁面の特徴点を抽出する。図５及び図６に示す例では、壁面６０１に対する特徴点６０２〜６０９が抽出される。ここで、特徴点６１０〜６１２については、投影領域内に含まれると判断し、壁面の特徴点から除外される。
【００３９】
図７は、ステップＳ４０４において抽出された投影領域の特徴点群の抽出結果と、ステップＳ４０５において抽出された壁面の特徴点群の抽出結果とが、ステップＳ２０３で取得された投影地点情報と関連付けたテーブル７００の一例を示す図である。これら一連の情報は記憶部１０５に保持される。
【００４０】
テーブル７００中の領域７０１には、第１取得部１０４によって取得された第一の投影状態における投影地点情報として緯度及び経度の情報が保持されている。領域７０２には、抽出部１０３によって抽出された第一の投影状態における投影領域の特徴点の情報が保持されている。領域７０２は、抽出された投影領域の特徴点の数だけ行を持ち、第一投影面情報の左上を基点とする各特徴点の位置情報である座標（ｘ：ｙ）を保持する。例えば、行７０４は、図５に示す投影領域５０１の特徴点５０３に対応する。
【００４１】
また、領域７０３には、抽出部１０３によって抽出された第一の投影状態における壁面の特徴点の情報が保持されている。領域７０３は、抽出された壁面の特徴点の数だけ行を持ち、基礎投影面情報の左上を基点とする各特徴点の座標（ｘ：ｙ）を保持する。例えば、行７０５は、図６の壁面６０１の特徴点６０２に対応する。また、テーブルは、投影領域情報を記憶する処理の数だけ蓄積される。例えば、２つの異なる投影地点でそれぞれステップＳ２０１からステップＳ２０７を繰り返し実行した場合は、テーブルが２組蓄積される。
【００４２】
次に、以上のような手順で投影地点情報が関連付けされて投影領域情報が記憶部１０５に記憶された状態で、画像投影装置１００を再度設置して壁面に投影する際の処理について説明する。
【００４３】
図８は、本実施形態において画像投影装置１００を再設置した場合の投影する処理手順の一例を示すフローチャートである。本処理は、ユーザが過去に投影したことがある壁面に、再度、投影する際の処理に関するものである。つまり、例えば、図２のステップＳ２０７で前述の情報を記憶した後にプロジェクタを一旦撤収し、その後、再度、設置する際の処理に相当する。以下、図８に示すフローチャートに沿って、図１０の具体例を交えながら説明する。
【００４４】
まず、ステップＳ８０１において、投影部１０１は、画像を再投影する。以下、この状態を第二の投影状態（設置状態）とする。図１０は、第二の投影状態の一例を示す図である。プロジェクタ３０１を再度設置する際に、以前に設置した位置に一致させるために人手でプロジェクタ３０１を設置する場合には、設置位置や設置角度の調整に限界がある。その結果、壁面３０２に投影される投影領域１００３が、ステップＳ２０１で投影した投影領域３０３に比べて異なる位置及び形状となっている。
【００４５】
次に、ステップＳ８０２において、ユーザが入力部１１０を操作することにより、ユーザの希望する投影状態で投影されている旨の通知が制御部１０９に入力されるまで待機する。この処理は、基本的には図２のステップＳ２０２と同様である。そして、ステップＳ８０３において、第１取得部１０４は、投影地点情報を取得する。この処理も基本的には図２のステップＳ２０３と同様である。以下、第一の投影状態で投影した投影地点と近い投影地点情報を取得したものとして説明する。
【００４６】
次に、ステップＳ８０４において、以降のステップＳ８０５〜Ｓ８０７までの処理を、記憶部１０５に記憶されている投影領域情報の数だけ繰り返す。このステップＳ８０５〜Ｓ８０７までの一連の処理は、複数の投影領域情報のうち、ステップＳ８０３で取得した投影地点情報と近い場所で投影された投影領域情報を抽出する処理となる。
【００４７】
まず、ステップＳ８０５において、選択部１０６は、記憶部１０５に記憶されている投影領域情報の中から１つを選択し、その投影領域情報に関連する投影地点情報を抽出する。この処理では、例えば図７に示すテーブル７００の中の領域７０１の情報が抽出されたものとして、以降の説明を続ける。
【００４８】
次に、ステップＳ８０６において、選択部１０６は、抽出した投影地点情報がステップＳ９０３で取得された現在の投影地点情報と近いか否かを判定する。この判定の結果、現在の投影地点情報と近い場合はステップＳ８０７に進み、そうでない場合はステップＳ８０４の繰り返し処理に戻り、次の投影領域情報について同様の処理を行う。ここで、近いか否かの判定は、例えば投影地点情報として緯度及び経度の情報を比較する場合には、現在の緯度及び経度を中心とした一定範囲に、記憶済みの緯度・経度情報が収まるか否かによって行う。この一定範囲としては、例えば投影部１０１がその範囲で移動したとしても、同じ壁面に投影可能な範囲を想定する。すなわち、本判定では、緯度及び経度の情報が完全に一致していなくとも、現在の緯度及び経度に対して記憶済みの緯度及び経度が近傍であれば近いと判定する。
【００４９】
ステップＳ８０７においては、選択部１０６は、ステップＳ８０５で選択された投影領域情報を第一の投影領域情報の候補とする。以上のように記憶部１０５に記憶されているすべての投影領域情報についてステップＳ９０５〜Ｓ９０７の処理を繰り返す。
【００５０】
次に、ステップＳ８０８において、選択部１０６は、第一の投影領域情報候補が少なくとも１つ存在するか否かを判定する。この判定の結果、第一の投影領域情報候補が１つも存在しない場合は処理を終了し、１つ以上存在する場合は、ステップＳ８０９において、第二の投影状態において投影されている投影領域を補正する。この処理の詳細については、図９を用いて後述する。このステップＳ８０８〜Ｓ８０９までの一連の処理は、投影地点情報が近い投影領域情報が記憶されている場合は、その投影領域情報を基に第二の投影状態に係る投影領域を補正し、そうでなければ、補正せずにそのまま投影を継続することになる。
【００５１】
図９は、本実施形態における第二の投影状態に係る投影領域を補正する詳細な処理手順の一例を示すフローチャートであり、図８のステップＳ８０９に対応する。以下、図９に示すフローチャートに沿って、図１０の具体例を交えながら説明する。
【００５２】
まず、ステップＳ９０１において、第２取得部１０２は、投影部１０１により画像が投影された壁面を撮影し、その撮影した投影面を第二投影面情報として取得する。図１０に示す例では、領域１００４を撮影し、この撮影した投影面を第二投影面情報として取得する。
【００５３】
次に、ステップＳ９０２において、抽出部１０３は、選択部１０６によって選択された第一の投影領域情報候補のそれぞれの基礎投影面情報の中から、第二投影面情報に類似する基礎投影面情報を選択する。類似する基礎投影面情報を選択する方法としては、不図示の表示部に複数の基礎投影面情報を表示することによってユーザに選択させるようにしてもよい。また、遺伝的アルゴリズムなど広く知られているアルゴリズムを用いて第二投影面情報と最も近似する基礎投影面情報を選択してもよい。
【００５４】
次に、ステップＳ９０３において、抽出部１０３は、ステップＳ９０２で選択した基礎投影面情報を用いて第二投影面情報を正規化し、正規化済の第二投影面情報を生成する。この処理の詳細については図１１を用いて後述する。そして、ステップＳ９０４において、投影補正パラメータを決定する。この処理の詳細については図１５を用いて後述する。
【００５５】
次に、ステップＳ９０５において、補正部１０８は、投影補正パラメータを投影対象の画像に反映させて補正する。これにより、投影部１０１は、補正された画像を投影することになる。投影補正パラメータを反映させる方法としては、電気的な画像の変形、オフセット、拡大・縮小や光学補正等、プロジェクタ３０１の機能と連動する様々な形態が想定される。
【００５６】
図１１は、本実施形態において、抽出部１０３により基礎投影面情報を用いて第二投影面情報を正規化し、正規化済の第二投影面情報を生成する詳細な処理手順の一例を示すフローチャートであり、図９のステップＳ９０３に対応する。以下、図１１に示すフローチャートに沿って、図１２及び図１３の具体例を交えながら説明する。
【００５７】
まず、ステップＳ１１０１において、第二投影面情報からノイズを除去する。この処理の詳細は図４のステップＳ４０１と同等であり、適用するアルゴリズムは第一投影面情報、及び基礎投影面情報に適用したアルゴリズムと同一とする。
【００５８】
続いてステップＳ１１０２において、第二投影面情報から複数の特徴点（Ｃ群）を抽出する。この処理の詳細は図４のステップＳ４０２と同等であり、適用するアルゴリズムは同一とする。図１２は、第二投影面情報における特徴点群の抽出結果の一例を示す図である。この第二投影面情報は図１０で示す領域１００４に相当する。図１２に示すように、投影領域１２０１及び壁面１２０２を取り囲むように特徴点（Ｃ群）が抽出される。
【００５９】
次に、ステップＳ１１０３において、ステップＳ９０２で選択された基礎投影面情報から抽出済の特徴点（Ｂ群）に対応する特徴点（Ｃ群）を３点以上抽出する。特徴点（Ｂ群）及び特徴点（Ｃ群）から対応する特徴点を抽出する方法としては、例えば、ＫＬＴ法を用いるが、特に抽出アルゴリズムは限定しない。図１２に示す例では、第二投影面情報から抽出済の特徴点１２０３〜１２０５が、それぞれ基礎投影面情報から抽出済の特徴点６０２、６０５、６０９に対応して抽出されたものとして説明する。
【００６０】
次に、ステップＳ１１０４において、第二投影面情報を基礎投影面情報と同一の位置から撮影された画像に変換するための正規化パラメータを決定する。正規化パラメータは、例えば以下の（式２）のアフィン行列にステップＳ１１０３で抽出した３組の特徴点の座標を代入することにより求めることができるが、本実施形態では正規化パラメータの決定方法については特に限定しない。
【００６１】
【数２】
2016015639.tif 000004
【００６２】
式２中、座標（ｘ，ｙ）は基礎投影面情報から抽出済の特徴点の座標を表し、座標（ｘ'，ｙ'）は第二投影面情報から抽出済の特徴点の座標を表している。また、連立方程式を解くことによって算出されるａ、ｂ、ｃ、ｄは拡大縮小回転パラメータであり、ｔx、ｔyは並行移動パラメータであり、これらを総じて正規化パラメータと称す。
【００６３】
次に、ステップＳ１１０５において、第二投影面情報が示す投影面全域の画素に対してステップＳ１１０４で決定した正規化パラメータを適用し、正規化済の第二投影面情報を生成する。図１３は、正規化済の第二投影面情報の一例を示す図である。図１３に示すように、正規化された投影領域１３０１及び壁面１３０２が得られる。また、プロット１３０３〜１３０５は、それぞれステップＳ１１０３において抽出された特徴点１２０３〜１２０５を正規化した点である。その結果、基礎投影面情報から抽出済の特徴点６０２、６０５、６０９と座標が一致するようになる。
【００６４】
図１４は、本実施形態において投影補正パラメータを決定する詳細な処理手順の一例を示すフローチャートであり、図９のステップＳ９０４に対応する。以下、図１４に示すフローチャートに沿って、図１５及び図１６の具体例を交えながら説明する。
【００６５】
まず、ステップＳ１４０１において、抽出部１０３は、正規化済の第二投影面情報から複数の特徴点（Ｄ群）を抽出する。この処理の詳細は図４のステップＳ４０２と同一であり、適用するアルゴリズムは同一とする。図１５は、正規化済の第二投影面情報における特徴点群の抽出結果の一例を示す図である。図１５に示すように、投影領域１３０１及び壁面１３０２を取り囲むように特徴点が抽出される。
【００６６】
次に、ステップＳ１４０２において、抽出部１０３は、ステップＳ４０４で第一投影面情報から抽出された投影領域の特徴点に対応する特徴点（Ｄ群）を抽出する。ここで、第一投影面情報から抽出された投影領域の特徴点の情報は例えば図７のテーブル７００のような形態で記憶部１０５に保持されている。この投影領域の特徴点に対応する特徴点（Ｄ群）を抽出した結果として、図１５に示す例の場合は、特徴点１５０３〜１５０６が抽出される。
【００６７】
次に、ステップＳ１４０３において、決定部１０７は、正規化済の第二投影面情報上の投影領域を、第一投影面情報上の投影領域に変形するための変形パラメータを決定する。この変形パラメータは、前述の式２のアフィン行列にステップＳ１４０２で抽出した特徴点のうちの３組の特徴点の座標を代入することにより算出する。この場合、式２中、座標（ｘ，ｙ）には、正規化済の第二投影面情報から抽出済の投影領域の特徴点の座標を代入し、座標（ｘ'，ｙ'）には、第一投影面情報から抽出済の投影領域の特徴点の座標を代入する。そして、連立方程式を解くことによって拡大縮小回転パラメータａ、ｂ、ｃ、ｄ及び並行移動パラメータｔx、ｔyは並行移動パラメータからなる変形パラメータを算出する。
【００６８】
図１６は、ステップＳ９０５の処理結果として得られる投影補正パラメータを反映した投影状態を示す模式図である。図１６に示すように、プロジェクタ３０１の位置は第一の投影状態での位置（中心軸）からずれているが、壁面３０２に対する投影領域１６０３の位置は、第一の投影状態と差分が無い。このように、決定部１０７は、抽出部１０３が抽出する特徴点の位置と、記憶部１０５に記憶されている投影領域情報が示す特徴点の位置との差分が少なくなるような投影補正パラメータを決定する。
【００６９】
以上のように、２回目以降の投影において投影領域を精度よくかつ素早く補正して画像を投影することが可能となる。また、本実施形態では、ステップＳ２０５で投影を一旦停止した状態で壁面を撮影して基礎投影面情報を取得し、ステップＳ２０６で第一投影面情報及び基礎投影面情報から投影領域及び壁面の特徴点を抽出しているが、これに限定されない。例えば、ステップＳ２０５で第一投影面情報の取得時と異なる画像を投影した状態で壁面を撮影して基礎投影面情報を取得し、ステップＳ２０６で第一投影面情報及び基礎投影面情報から投影領域及び壁面の特徴点を抽出してもよい。
【００７０】
さらに、本実施形態では、画像投影装置１００を再設置して投影する処理において、ステップＳ８０１で投影を開始しているが、投影するタイミングはこれに限定されない。すなわち、ステップＳ８０１で画像投影装置１００を再設置した以降、ステップＳ８０９で第二の投影領域を補正して投影するまでの間のいずれのタイミングで投影を開始してもよい。
【００７１】
以上説明したように本実施形態によれば、初回の投影時に投影領域と投影先の壁面との位置関係を示す情報を記憶しておき、その情報を利用して、次回以降の投影時における投影領域を補正するようにした。また、投影先の壁面の位置関係を示す情報を投影地点を表す情報と関連付けて記憶することにより、次回以降の投影領域の補正を精度よくかつ素早く実施することができる。これにより、任意の投影面において、プロジェクタからの投影画像を過去の投影状態と同じ状態で精度良くかつ素早く投影することが可能となり、設置が容易となる。
【００７２】
（その他の実施形態）
上記実施形態では、具体例としてプロジェクションマッピングを扱って説明しているが、例えば、会議室やホームシアター等のその他の利用形態においても前述した実施形態は有効に作用する。
【００７３】
前述した実施形態では、画像投影装置１００にすべての機能を有する例について説明した。一方、図１に示す構成の一部のみを備え、パーソナルコンピュータ（ＰＣ）などで一部の処理を行って画像投影システムを構成するようにしてもよい。例えば、投影部１０１や第２取得部１０２を別の装置で構成し、通信手段を介してデータを送受信できる構成としてもよい。
【００７４】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７５】
１０１  投影部
１０２  第２取得部
１０３  抽出部
１０４  第１取得部
１０５  記憶部
１０６  選択部
１０７  決定部
１０８  補正部
【図１】
2016015639.tif 000005
【図２】
2016015639.tif 000006
【図４】
2016015639.tif 000007
【図７】
2016015639.tif 000008
【図８】
2016015639.tif 000009
【図９】
2016015639.tif 000010
【図１１】
2016015639.tif 000011
【図１４】
2016015639.tif 000012
【図３】
2016015639.tif 000013
【図５】
2016015639.tif 000014
【図６】
2016015639.tif 000015
【図１０】
2016015639.tif 000016
【図１２】
2016015639.tif 000017
【図１３】
2016015639.tif 000018
【図１５】
2016015639.tif 000019
【図１６】
2016015639.tif 000020