(57)【要約】【課題】プロジェクタなどの投影装置を一度設置した場所へ精度良く簡単に再設置できるようなガイダンスを行うことができるようにする。【解決手段】まず、画像が投影されている状態の第一投影面情報と、画像が投影されていない状態の基礎投影面情報とから、投影領域及び壁面の特徴点群を抽出し、投影領域情報として記憶する。そして、装置を再設置したときに第二投影面情報を取得し、基礎投影面情報を用いて投影可能な領域を正規化する。その後、第一投影面情報に係る投影領域が正規化された投影可能な領域に収まるような位置調整情報を表示する。【選択図】図１
2016015646.tif 000002
【特許請求の範囲】
【請求項１】
投影手段により投影画像が投影される投影面の投影面情報を取得する取得手段と、
前記取得手段によって取得された投影面情報から前記投影面の特徴点を含む投影領域情報を抽出する抽出手段と、
前記投影手段が第一の投影状態で投影画像を投影した前記投影面の投影面情報から前記抽出手段が抽出した第一の投影領域情報を記憶する記憶手段と、
前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影した前記投影面の前記投影面情報から前記抽出手段が抽出した第二の投影領域情報と前記記憶手段に記憶された第一の投影領域情報とに基づいて、前記投影手段の投影状態の調整を行うための情報を表示させるための制御を行う表示制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記第一の投影状態で前記投影面に前記投影手段が投影した投影画像の前記投影面における投影領域を示す情報と、前記第二の投影状態で前記投影手段が投影可能な投影領域を示す情報との差分情報を特定する特定手段を有し、
前記表示制御手段は、前記投影状態の調整を行うための情報を前記差分情報に基づいて表示させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段は、前記第一の投影状態で前記投影画像を投影した投影面を撮影した第一の撮像画像を第一の投影面情報として取得し、かつ、前記第二の投影状態で前記投影面を撮影した第二の撮像画像を第二の投影面情報として取得し、
前記抽出手段は、前記投影手段が前記第二の投影状態で投影可能な領域の前記第二の撮像画像における位置を示す投影可能領域の情報を正規化して、前記第一の投影領域情報と整合する前記投影可能領域の情報を特定し、
前記第一の投影状態で前記投影面に前記投影手段が投影した投影画像の前記投影面における投影領域を示す情報と、前記第二の投影状態で前記投影手段が投影可能な投影領域を示す情報との差分情報を特定し、
前記表示制御手段は、前記投影状態の調整を行うための情報を前記差分情報に基づいて表示させることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記取得手段は、投影画像が投影されている投影面と投影画像が投影されていない投影面との投影面情報を取得し、
前記抽出手段は、前記投影画像が投影されている投影面と投影画像が投影されていない投影面とから前記投影画像の投影領域の特徴点を抽出することを特徴とする請求項１〜３の何れか１項に記載の情報処理装置。
【請求項５】
前記取得手段は、前記投影面情報として前記投影面の画像を取得することを特徴とする請求項１〜４の何れか１項に記載の情報処理装置。
【請求項６】
第一の投影状態で投影手段が投影画像を投影した投影面の第一の投影面情報を取得する取得手段と、
前記第一の投影状態で前記投影手段が投影した前記投影画像の前記投影面における投影領域を示す領域情報を前記第一の投影面情報から抽出する抽出手段と、
前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影可能な投影可能領域と前記投影面との相対位置を特定する特定手段と、
前記抽出手段が抽出した前記領域情報と前記特定手段が特定した前記相対位置を示す情報とに基づいて、前記領域情報に応じた前記投影面上の領域が前記投影手段の投影可能領域に含まれるように前記投影手段の投影状態を前記第二の投影状態から調整するための情報を表示させる制御を行う表示制御手段と、
を備えることを特徴とする情報処理装置。
【請求項７】
前記取得手段は、前記第一の投影状態で前記投影画像を投影した投影面を撮影した第一の撮像画像を前記第一の投影面情報として取得し、かつ、前記第二の投影状態で前記投影面を撮影した第二の撮像画像を前記第二の投影面情報として取得し、
前記抽出手段は、前記第一の投影面情報から前記投影面の特徴点を含む第一の投影領域情報を抽出し、かつ、前記第二の投影面情報から前記投影面の特徴点を含む第二の投影領域情報を抽出し、
前記特定手段は、前記第一の投影領域情報及び前記第二の投影領域情報に基づいて、前記第二の投影状態で前記投影手段が前記投影画像を投影可能な前記投影可能領域と前記前記投影面との相対位置を特定する
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記抽出手段は、前記第二の撮像画像における前記投影面の前記特徴点の位置を正規化して前記第一の撮像画像における投影面の前記特徴点の位置と整合させるための正規化パラメータを前記第一の投影領域情報及び前記第二の投影領域情報に基づいて特定し、かつ、前記第二の投影状態で前記投影手段が前記投影画像を投影可能な前記投影可能領域の前記第二の撮像画像における領域を前記正規化パラメータを用いて正規化して前記投影可能領域の前記第一の撮像画像における位置を特定し、
前記特定手段は、前記第一の撮像画像における前記投影可能領域と前記第一の撮像画像における前記投影面の画像の領域とを比較することにより、前記第二の投影状態で前記投影手段が前記投影画像を投影可能な前記投影可能領域と前記前記投影面との相対位置を特定する
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
投影画像を投影面に投影する投影手段と、
前記投影手段により投影画像が投影される投影面の投影面情報を取得する取得手段と、
前記取得手段によって取得された投影面情報から前記投影面の特徴点を含む投影領域情報を抽出する抽出手段と、
前記投影手段が第一の投影状態で投影画像を投影した前記投影面の投影面情報から前記抽出手段が抽出した第一の投影領域情報を記憶する記憶手段と、
前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影した前記投影面の前記投影面情報から前記抽出手段が抽出した第二の投影領域情報と前記記憶手段に記憶された第一の投影領域情報とに基づいて、前記投影手段の投影状態の調整を行うための情報を表示させるための制御を行う表示制御手段と、
を備えることを特徴とする画像投影システム。
【請求項１０】
第一の投影状態で投影手段が投影画像を投影した投影面の第一の投影面情報を取得する取得手段と、
前記第一の投影状態で前記投影手段が投影した前記投影画像の前記投影面における投影領域を示す領域情報を前記第一の投影面情報から抽出する抽出手段と、
前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影可能な投影可能領域と前記投影面との相対位置を特定する特定手段と、
前記抽出手段が抽出した前記領域情報と前記特定手段が特定した前記相対位置を示す情報とに基づいて、前記領域情報に応じた前記投影面上の領域が前記投影手段の投影可能領域に含まれるように前記投影手段の投影状態を前記第二の投影状態から調整するための情報を表示させる制御を行う表示制御手段と、
を備えることを特徴とする画像投影システム。
【請求項１１】
投影手段により投影画像が投影される投影面の投影面情報を取得する取得工程と、
前記取得工程において取得された投影面情報から前記投影面の特徴点を含む投影領域情報を抽出する抽出工程と、
前記投影手段が第一の投影状態で投影画像を投影した前記投影面の投影面情報から前記抽出工程において抽出された第一の投影領域情報を記憶手段に記憶する記憶工程と、
前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影した前記投影面の前記投影面情報から前記抽出工程において抽出された第二の投影領域情報と前記記憶手段に記憶された第一の投影領域情報とに基づいて、前記投影手段の投影状態の調整を行うための情報を表示手段に表示させるための制御を行う表示制御工程と、
を備えることを特徴とする情報処理方法。
【請求項１２】
第一の投影状態で投影手段が投影画像を投影した投影面の第一の投影面情報を取得する取得工程と、
前記第一の投影状態で前記投影手段が投影した前記投影画像の前記投影面における投影領域を示す領域情報を前記第一の投影面情報から抽出する抽出工程と、
前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影可能な投影可能領域と前記投影面との相対位置を特定する特定工程と、
前記抽出工程において抽出した前記領域情報と前記特定工程において特定した前記相対位置を示す情報とに基づいて、前記領域情報に応じた前記投影面上の領域が前記投影手段の投影可能領域に含まれるように前記投影手段の投影状態を前記第二の投影状態から調整するための情報を表示させる制御を行う表示制御工程と、
を備えることを特徴とする情報処理方法。
【請求項１３】
投影手段により投影画像が投影される投影面の投影面情報を取得する取得工程と、
前記取得工程において取得された投影面情報から前記投影面の特徴点を含む投影領域情報を抽出する抽出工程と、
前記投影手段が第一の投影状態で投影画像を投影した前記投影面の投影面情報から前記抽出工程において抽出された第一の投影領域情報を記憶手段に記憶する記憶工程と、
前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影した前記投影面の前記投影面情報から前記抽出工程において抽出された第二の投影領域情報と前記記憶手段に記憶された第一の投影領域情報とに基づいて、前記投影手段の投影状態の調整を行うための情報を表示手段に表示させるための制御を行う表示制御工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
第一の投影状態で投影手段が投影画像を投影した投影面の第一の投影面情報を取得する取得工程と、
前記第一の投影状態で前記投影手段が投影した前記投影画像の前記投影面における投影領域を示す領域情報を前記第一の投影面情報から抽出する抽出工程と、
前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影可能な投影可能領域と前記投影面との相対位置を特定する特定工程と、
前記抽出工程において抽出した前記領域情報と前記特定工程において特定した前記相対位置を示す情報とに基づいて、前記領域情報に応じた前記投影面上の領域が前記投影手段の投影可能領域に含まれるように前記投影手段の投影状態を前記第二の投影状態から調整するための情報を表示させる制御を行う表示制御工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、プロジェクタ等の投影装置を再設置するために用いて好適な情報処理装置、画像投影システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、プロジェクタの高精細化及び高輝度化が進み、その用途が多様になっている。例えば、プロジェクタから建物の壁面や物体などの形状に合わせて映像を投影するプロジェクションマッピングでは、比較的遠い投影面に対して投影位置の精度を高くして映像を投影することが求められる。また、複数台のプロジェクタを連携させて継ぎ目のない映像を投影するマルチプロジェクションシステムにおいても、映像が近接もしくは重なる領域のずれやぼけを防ぐために、投影位置の精度が求められる。
【０００３】
一方、プロジェクタの小型化及び軽量化に伴って可搬性が向上し、利用時のみプロジェクタを設置する形態が増加している。これにより、前述のプロジェクションマッピングのように、従来は一度設置した後はプロジェクタを移動させなかったユースケースにおいても、例えば週末のみプロジェクタを設置して投影するなどの形態が予想される。特許文献１には、テストパターンを投影及び撮影して、歪みのない映像を得る目的でスクリーンに正対してプロジェクタを設置するためのガイダンスを行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１５１３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、プロジェクタの投影領域の位置合わせは煩わしく、特に、投影面が遠い場合はプロジェクタが設置される位置の微小な変化が、投影面上の投影位置や形に大きく影響する。そのため、プロジェクタを設置する度に位置合わせに多大な時間を要してしまう。また、通常の会議室で映像を投影する場合においても位置合わせは煩わしく、プロジェクタの設置時間を少しでも短縮したいという要求がある。
【０００６】
特許文献１に記載の投射型画像表示装置の設置調整システムは、歪みのない映像をスクリーン上に得るためのガイダンスを行うことは可能であるが、投影位置の精度を上げるためのガイダンスを行うことはできない。また、一度設置した場所へ精度良く再設置するためのガイダンスを行うこともできない。
【０００７】
本発明は前述の問題点に鑑み、プロジェクタなどの投影装置を一度設置した場所へ精度良く簡単に再設置できるようなガイダンスを行うことができるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明に係る情報処理装置は、投影手段により投影画像が投影される投影面の投影面情報を取得する取得手段と、前記取得手段によって取得された投影面情報から前記投影面の特徴点を含む投影領域情報を抽出する抽出手段と、前記投影手段が第一の投影状態で投影画像を投影した前記投影面の投影面情報から前記抽出手段が抽出した第一の投影領域情報を記憶する記憶手段と、前記第一の投影状態と異なる第二の投影状態で前記投影手段が前記投影画像を投影した前記投影面の前記投影面情報から前記抽出手段が抽出した第二の投影領域情報と前記記憶手段に記憶された第一の投影領域情報とに基づいて、前記投影手段の投影状態の調整を行うための情報を表示させるための制御を行う表示制御手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、プロジェクタなどの投影装置を一度設置した場所へ精度良く簡単に再設置できるようなガイダンスを行うことができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態の画像投影装置の構成例を示すブロック図である。
【図２】実施形態における第一投影領域情報を記憶する処理手順の一例を示すフローチャートである。
【図３】プロジェクタから建物の壁面に画像が投影されている状態を示す図である。
【図４】壁面の特徴点群、及び投影領域の特徴点群を抽出する詳細な処理手順の一例を示すフローチャートである。
【図５】第一投影面情報から特徴点を抽出した結果の一例を示す図である。
【図６】基礎投影面情報から特徴点を抽出した結果の一例を示す図である。
【図７】投影領域の特徴点群の抽出結果の一例を示す図である。
【図８】壁面の特徴点群の抽出結果の一例を示す図である。
【図９】実施形態における再設置支援を行う処理手順の一例を示すフローチャートである。
【図１０】プロジェクタを再度設置した場合の状態の一例を示す図である。
【図１１】正規化済の投影可能な最大領域を特定する詳細な処理手順の一例を示すフローチャートである。
【図１２】第二投影面情報の特徴点群の抽出結果の一例を示す図である。
【図１３】第二投影面上で投影可能な最大領域を表す座標の一例を示す図である。
【図１４】壁面及び正規化した後の投影可能な最大領域の一例を示す図である。
【図１５】正規化済の投影可能な最大領域を表す座標の一例を示す図である。
【図１６】第一投影面上の投影領域と、正規化済の投影可能な最大領域との関係を示す図である。
【図１７】投影領域の差分情報を特定する詳細な処理手順の一例を示すフローチャートである。
【図１８】位置調整情報が表示された表示画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態の画像投影装置１００の構成例を示すブロック図である。
図１において、投影部１０１は、画像投影装置１００に入力された任意の投影画像を前面のスクリーンや壁面に拡大して投影する。投影方式としては、液晶パネルに光を透過させて投影する投影方式や、ＣＲＴなどの表示装置に表示された画像を光学系を用いて拡大投影する投影方式等があるが、本実施形態では、これらの投影方式を限定しない。
【００１２】
取得部１０３は、投影部１０１が投影する画像の投影面情報を取得する。投影面情報の一例としては、投影画像及び投影画像が投影されている壁面を撮影した画像が想定される。以下、投影面情報として、投影面が撮影された画像を取得する場合を例に挙げて説明する。取得部１０３は撮像機能を備えており、投影された画像を撮影することによって投影面情報を取得する。なお、画像投影装置１００とは別にカメラを設け、そのカメラから画像を取得する構成であってもよい。
【００１３】
抽出部１０４は、取得部１０３が取得する投影面情報より投影領域情報を抽出する。投影領域情報の一例としては、上記撮影した画像を画像解析することにより得られる特徴点群の位置情報や、投影面情報などが想定される。また、抽出部１０４は、投影領域情報と整合させるために投影可能な最大領域を正規化する処理も行う。この処理の詳細については後述する。
【００１４】
第１記憶部１０５は、抽出部１０４が抽出する投影領域情報を記憶する。投影領域情報を記憶するタイミングについては、ユーザにより入力部１０９が操作されること、または画像投影装置１００に付属するリモコンに備わるボタン等が操作されることによって指示してもよい。また、投影開始後に一定時間が経過した後など、状態遷移に連動して記憶するようにしてもよい。以下、本実施形態では投影領域情報を記憶するタイミングをユーザが指示するものとして説明する。
【００１５】
第２記憶部１０２は、投影部１０１が備える光学ズーム、光学レンズシフト等の機構を用いることによって画像投影装置１００が投影可能な最大領域の情報を記憶する。特定部１０６は、抽出部１０４で正規化した投影可能な最大領域の情報と第１記憶部１０５が記憶している投影領域情報とから、投影可能位置の差分を特定する。表示部１０７は、前回投影した位置と同じ位置に投影するために、画像投影装置１００本体の設置位置の調整を指示するための画面を表示する。制御部１０８は画像投影装置１００全体を制御し、ユーザにより入力部１０９が操作されると、その情報が制御部１０８に入力される。制御部１０８は、表示部１０７を制御して、表示制御により投影状態の調整を行うための情報を表示させる。
【００１６】
なお、情報処理装置の１つとして実現される画像投影装置１００は、汎用コンピュータに搭載される標準的な構成要素を有している。標準的な構成要素としては、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、ネットワークインタフェース、ディスプレイ等である。そして、これらの構成要素によって、図１に示される各種機能構成を実現する。これらの機能構成は、例えば、ＣＰＵが、ＲＯＭ等のメモリに記憶されているプログラムを読み出し実行することで実現することもできる。
【００１７】
図２は、本実施形態における第一投影領域情報を記憶する処理手順の一例を示すフローチャートである。ここで、第一投影領域情報とは、任意の壁面に初めて投影する際に生成される情報である。以下、図２に示すフローチャートに沿って、図３の具体例を交えながら説明する。また、図３に示す例では、画像投影装置１００としてプロジェクタ３０１から画像を投影する例とし、図２に示す処理を開始する前に、ユーザによりプロジェクタ３０１が設置されるものとする。
【００１８】
まず、ステップＳ２０１において、投影部１０１は、画像を投影する。このとき投影する画像は、後に誤って特徴点を抽出してしまう恐れがあるため、模様などが存在しない単色の画像とする。以下、この状態を第一の投影状態とする。
【００１９】
図３は、第一の投影状態の一例を示す図であり、図３に示す状態は、プロジェクタ３０１から建物の壁面３０２に画像が投影されている状態を表している。ユーザは、プロジェクタ３０１の設置位置を調整しながら、もしくはプロジェクタ３０１に備わる投影位置調整機能を用いながら投影領域３０３の位置合わせを行う。その際、壁面３０２の形状や模様に対して投影領域３０３の位置を調整し、ユーザの希望する投影状態にする。
【００２０】
続いてステップＳ２０２において、ユーザが入力部１０９を操作することにより、ユーザの希望する投影状態で投影されている旨の通知が制御部１０８に入力されるまで待機する。このユーザによる操作は、例えば、リモコンに備わるボタン等の入力操作であってもよい。また、例えば、ユーザの操作と等価の通知を画像投影装置１００が生成してもよい。画像投影装置１００内でその通知を生成する方法としては、例えば、投影を開始してから一定時間が経過した後に、状態遷移に連動する方法がある。この場合、ステップＳ２０２は、投影を開始してから一定時間が経過するまで待機する処理となる。
【００２１】
次に、ステップＳ２０３において、取得部１０３は、投影部１０１により画像が投影されている壁面を撮影し、その撮影した投影面の撮像画像を第一投影面情報として取得する。図３に示す例では、取得部１０３は、投影領域３０３とその周辺の壁面３０２とを含む領域３０４を撮影し、この撮影した投影面を第一投影面情報として取得する。
【００２２】
次に、ステップＳ２０４において、投影部１０１は投影を一旦停止し、取得部１０３は、壁面を再度撮影し、この撮影した投影面の画像を基礎投影面情報として取得する。壁面を再度撮影するときは、プロジェクタ３０１からの投影を停止することにより、投影先の壁面のみが撮影される。この際に撮影される領域は、ステップＳ２０３で撮影した領域３０４と同一の領域を撮影することが好ましい。但し、領域３０４とずれた場合にも、例えば、基礎投影面情報を第一投影面情報と正規化する補正処理を実施することにより、以下の処理を継続することが可能である。
【００２３】
次に、ステップＳ２０５において、抽出部１０４は、壁面の特徴点群及び投影領域の特徴点群を抽出する。この処理の詳細については図４を用いて後述する。そして、ステップＳ２０６において、抽出部１０４は、壁面の特徴点群、投影領域の特徴点群、第一投影面情報及び基礎投影面情報を第一投影領域情報として第１記憶部１０５に記憶する。
【００２４】
図４は、本実施形態において、抽出部１０４により壁面の特徴点群、及び投影領域の特徴点群を抽出する詳細な処理手順の一例を示すフローチャートであり、この処理は、図２のステップＳ２０５の処理に対応する。以下、図４に示すフローチャートに沿って、図５〜図８の具体例を交えながら説明する。
【００２５】
まず、ステップＳ４０１において、第一投影面情報、及び基礎投影面情報からノイズを除去する。この処理は、以降のステップＳ４０２及びステップＳ４０３の処理精度を向上させるための前処理であり、第一投影面情報及び基礎投影面情報の撮影状態に合わせて省略することも可能である。
【００２６】
ノイズの除去アルゴリズムとしては、例えば、画像全域の各画素に対してメディアンフィルタを適用する方法が広く知られているが、本実施形態ではノイズの除去アルゴリズムを限定しない。但し、続くステップＳ４０２以降の処理の精度を向上させるために、画像中の濃淡の急激な変化点（以降、これをエッジと称す）が損なわれないノイズの除去アルゴリズムを選択することが好ましい。また、第一投影面情報、及び基礎投影面情報に対して同一のアルゴリズムを適用することができる。なお、メディアンフィルタは、ある領域内の画素値の中央値を出力とするフィルタであり、エッジを損なわずにノイズを除去する効果がある。
【００２７】
続いてステップＳ４０２において、第一投影面情報から複数の特徴点（Ａ群）を抽出する。特徴点の抽出アルゴリズムとしては、画像全域の各画素に対してラプラシアンフィルタを適用してエッジを強調する方法、ＫＬＴ法等が広く知られているが、本実施形態では抽出アルゴリズムを限定しない。ラプラシアンフィルタを適用する場合には、以下の（式１）を用いてエッジを強調する。
【００２８】
【数１】
2016015646.tif 000003
【００２９】
図５は、第一投影面情報から特徴点を抽出した結果の一例を示す図である。この第一投影面情報は、ステップＳ２０３で取得されたものであり、図３に示す領域３０４に相当する。図５に示すように、ステップＳ４０２では、投影領域５０１及び壁面５０２を取り囲むように特徴点（Ａ群）５０３〜５１４が抽出される。
【００３０】
次に、ステップＳ４０３において、基礎投影面情報から複数の特徴点（Ｂ群）を抽出する。ここで利用する抽出アルゴリズム及びパラメータは、ステップＳ４０２で第一投影面情報に適用したものと同一とする。図６は、基礎投影面情報から特徴点を抽出した結果の一例を示す図である。この基礎投影面情報は、ステップＳ２０４で取得された領域に相当する。図６に示すように、ステップＳ４０３では、壁面６０１の特徴点（Ｂ群）６０２〜６１２が抽出される。
【００３１】
次に、ステップＳ４０４において、特徴点（Ａ群）と特徴点（Ｂ群）とを比較し、投影領域の特徴点群を抽出する。より具体的には、特徴点（Ｂ群）には存在しない特徴点を特徴点（Ａ群）から抜き出し、投影領域に対して推定される輪郭を当てはめることにより、投影領域の特徴点群を抽出する。図５及び図６に示す例では、投影領域５０１に対する特徴点５０３〜５０６が抽出される。このようにして抽出部１０４は、第一の投影状態で投影部１０１が投影した投影画像の、投影面における投影領域を示す領域情報を、第一の投影面情報（例えば、投影面の撮像画像）から抽出する。
【００３２】
図７は、ステップＳ４０４において抽出され、図２のステップＳ２０６で第１記憶部１０５に記憶される投影領域の特徴点群の抽出結果の一例を示す図である。テーブル７００は、抽出された投影領域の特徴点の数だけ行を持ち、列７０１に第一投影面情報の左上を基点とする各特徴点の位置情報である座標（ｘ：ｙ）の情報を保持している。例えば、行７０２は、図５の投影領域５０１の特徴点５０３に対応する。
【００３３】
次に、ステップＳ４０５において、特徴点（Ｂ群）から、投影領域の外側近傍に位置する壁面の特徴点群を抽出する。より詳しくは、ステップＳ４０４より抽出され、図７に示すようにテーブル７００で保持された投影領域の特徴点群より投影領域を推定し、その外側に位置する特徴点、即ち、投影領域外の壁面の特徴点を抽出する。図５及び図６に示す例では、壁面６０１に対する特徴点６０２〜６０９が抽出される。ここで、特徴点６１０〜６１２については、投影領域内に含まれると判断し、壁面の特徴点から除外される。
【００３４】
図８は、ステップＳ４０５において抽出され、図２のステップＳ２０６で第１記憶部１０５に記憶される壁面の特徴点群の抽出結果の一例を示す図である。テーブル８００は、抽出された壁面の特徴点の数だけ行を持ち、列８０１に基礎投影面情報の左上を基点とする各特徴点の座標（ｘ：ｙ）の情報を保持している。例えば、行８０２は、図６の壁面６０１の特徴点６０２に対応する。
【００３５】
次に、以上のような手順で壁面の特徴点群、投影領域の特徴点群、第一投影面情報及び基礎投影面情報が第１記憶部１０５に記憶された状態で、画像投影装置１００を再度設置して壁面に投影する際の処理について説明する。
【００３６】
図９は、本実施形態における再設置支援を行う処理手順の一例を示すフローチャートである。本処理は、ユーザが過去に投影したことがある壁面に、再度、投影する際の処理に関すものである。つまり、例えば、図２のステップＳ２０６で前述の情報を記憶した後にプロジェクタを一旦撤収し、その後、再度、設置する際の処理に相当する。以下、図９に示すフローチャートに沿って、図１０の具体例を交えながら説明する。
【００３７】
まず、ステップＳ９０１において、取得部１０３は、壁面を撮影し、その撮影した投影面の撮像画像を第二投影面情報として取得する。図１０は、プロジェクタ３０１を再度設置した場合の状態の一例を示す図である。プロジェクタ３０１を再度設置する際に、以前に設置した位置に一致させるために人手でプロジェクタ３０１を設置する場合には、設置位置や設置角度の調整に限界がある。その結果、撮影される領域１００３が、ステップＳ２０４で撮影された領域３０４に比べて異なる位置となっている。また、領域１００４は、再設置されたプロジェクタ３０１により投影可能な最大領域を示す。この投影可能な最大領域は、第２記憶部１０２に記憶されている情報である。
【００３８】
次に、ステップＳ９０２において、抽出部１０４は、基礎投影面情報と第二投影面情報とを用いて、正規化済の投影可能な最大領域を取得する。この処理の詳細については図１１を用いて後述する。そして、ステップＳ９０３において、特定部１０６は、第一投影面情報から抽出された投影領域と正規化済の投影可能な最大領域とを比較し、投影領域の差分を特定することにより位置調整情報を選択する。この処理の詳細については図１７を用いて後述する。
【００３９】
次に、ステップＳ９０４において、制御部１０８は、ステップＳ９０３で選択された、画像投影装置１００の位置を調整するための位置調整情報を表示部１０７に表示する。これにより、ユーザは、表示された位置調整情報に基づいて、画像投影装置１００の設置状態を調整することができる。このように、前回の投影範囲が、今回の設置による投影可能な最大領域に収まるように画像投影装置１００を設置することが可能となる。
【００４０】
図１１は、抽出部１０４により基礎投影面情報を用いて第二投影面情報を正規化し、正規化済の投影可能な最大領域を特定する詳細な処理手順の一例を示すフローチャートであり、図９のステップＳ９０２に対応する。以下、図１１のフローチャートに沿って、図１２及び図１３の具体例を交えながら説明する。
【００４１】
まず、ステップＳ１１０１において、第二投影面情報からノイズを除去する。この処理の詳細は図４のステップＳ４０１と同等であり、適用するアルゴリズムは第一投影面情報、及び基礎投影面情報に適用したアルゴリズムと同一とする。
【００４２】
続いてステップＳ１１０２において、第二投影面情報から第二投影領域情報として複数の特徴点（Ｃ群）を抽出する。この処理の詳細は図４のステップＳ４０３と同等であり、適用するアルゴリズムは同一とする。
【００４３】
次に、ステップＳ１１０３において、基礎投影面情報から抽出済の特徴点（Ｂ群）に対応する特徴点（Ｃ群）を３点以上抽出する。特徴点（Ｂ群）及び特徴点（Ｃ群）から対応する特徴点を抽出する方法としては、例えば、ＫＬＴ法を用いるが、特に抽出アルゴリズムは限定しない。図１０に示す例では、第二投影面情報から抽出済の特徴点１００５〜１００７が、それぞれ基礎投影面情報から抽出済の特徴点６０２、６０５、６０９に対応して抽出されたものとして説明する。
【００４４】
図１２は、ステップＳ１１０３において抽出された第二投影面情報の特徴点群（Ｃ群）の抽出結果の一例を示す図である。テーブル１２００は、ステップＳ１１０３で抽出された第二投影面情報の特徴点の数だけ行を持ち、列１２０１に第二投影面情報の左上を基点とする各特徴点群の座標（ｘ：ｙ）を保持する。例えば、行１２０２は、図１０の壁面３０２の特徴点１００５に対応する。
【００４５】
次に、ステップＳ１１０４において、第二投影面情報を基礎投影面情報と同一の位置から撮影された画像に変換するための正規化パラメータを特定する。正規化パラメータは、以下の（式２）のアフィン行列にステップＳ１１０３で抽出した３組の特徴点の座標を代入することにより求めることができる。
【００４６】
【数２】
2016015646.tif 000004
【００４７】
式２中、座標（ｘ，ｙ）は基礎投影面情報から抽出済の特徴点の座標を表し、座標（ｘ'，ｙ'）は第二投影面情報から抽出済の特徴点の座標を表している。また、連立方程式を解くことによって特定されるａ、ｂ、ｃ、ｄは拡大縮小回転パラメータであり、ｔx、ｔyは並行移動パラメータであり、これらを総じて正規化パラメータと称す。図８及び図１２に示す例の場合、正規化パラメータとして、ａ＝１、ｂ＝０、ｃ＝０、ｄ＝１、ｔx＝（−１０１）、ｔy＝（−１１２）が特定される。このようにして、再設置時の投影面の撮像画像（第二の撮像画像）における投影面の特徴点の位置を正規化し、初回設置時の投影面の撮像画像（第一の撮像画像）における投影面の特徴点の位置と整合させるための正規化パラメータを特定する。
【００４８】
次に、ステップＳ１１０５において、第二投影面上で投影可能な最大領域内の画素に対してステップＳ１１０４で特定した正規化パラメータを適用し、正規化済の投影可能な最大領域を特定する。具体的には、式２において座標（ｘ'，ｙ'）に第二投影面上で投影可能な最大領域を表す頂点の座標を代入し、連立方程式を解くことによって、正規化済の投影可能な最大領域の頂点の座標（ｘ，ｙ）を特定する。
【００４９】
図１３は、第二投影面上で投影可能な最大領域を表す座標の一例を示す図である。テーブル１３００は、投影可能な最大領域の頂点の数だけ行を持ち、列１３０１には、投影可能な最大領域の左上を基点とする頂点１００８〜１０１１の座標（ｘ：ｙ）が保持される。例えば、行１３０２は、図１０の頂点１００８に対応する。
【００５０】
図１４は、壁面１４０１及び正規化した後の投影可能な最大領域の一例を示す図である。図１４において、領域１４０５は正規化された投影可能な最大領域である。また、図１５は、正規化済の投影可能な最大領域を表す座標の一例を示す図である。テーブル１５００は投影可能な最大領域の頂点の数だけ行を持ち、列１５０１には、投影可能な最大領域の左上を基点とする頂点１４０６〜１４０９の座標（ｘ：ｙ）が保持される。例えば、行１５０２は、図１４の頂点１４０６に対応する。このように、図１３に示した第二投影面上で投影可能な最大領域に対して、ステップＳ１１０４で特定した正規化パラメータを適用し、正規化済の投影可能な最大領域を特定すると、図１５に示すテーブル１５００が得られる。このようにして、抽出部４０１は、投影部１０１が再設置時の投影状態で投影可能な領域の、第二投影面の撮像画像における位置を示す投影可能領域の情報を正規化する。そして、第一の投影領域情報と整合する投影可能領域の情報を特定する。
すなわち、図１０に示す領域１００３（再設置時の投影面を撮影した撮影領域）における領域１００４（投影部１０１の投影可能領域）の位置を示す情報（例えば、頂点の座標）を正規化する。そして、図１４に示すように領域３０４（初回設置時の投影面を撮影した撮影領域）における正規化後の領域１００４の位置（領域１４０５）を特定する。このようにして、図１４に示すように、再設置時に投影部１０１が投影画像を投影可能な投影可能領域と、投影面との相対位置を特定することができる。領域３０４における投影可能領域（領域１４０５）と、領域３０４における投影面の画像の領域（領域３０４）とを比較することにより、再設置時に投影部１０１が投影画像を投影可能な投影可能領域と投影面との相対位置を特定することができる。
投影可能領域の情報を正規化するために用いられる正規化パラメータは、ステップＳ１１０４において特定される正規化パラメータである。
【００５１】
図１６は、第一投影面上の投影領域３０３と、正規化済の投影可能な最大領域１４０５との関係を示す図である。図１６に示す例は、図７に示したテーブル７００と、図１５に示したテーブル１５００との関係を図示したものである。投影領域３０３のうち、ハッチで示した領域１６０１が、正規化済の投影可能な最大領域１４０５の上方外側にあることを示している。図１６の投影領域３０３は、初回の投影状態（第一の投影状態）で投影部１０１が投影した投影画像の、投影面における投影領域を示している。また、最大領域１４０５は、再設置時の投影状態（第二の投影状態）で投影部１０１が投影可能な投影領域を示している。さらに領域１６０１は、投影領域３０３と最大領域１４０５との差分を示している。
【００５２】
図１７は、本実施形態において、特定部１０６により投影領域の差分情報を特定する詳細な処理手順の一例を示すフローチャートであり、図９のステップＳ９０３に対応する。
まず、ステップＳ１７０１において、図７に示すテーブル７００と、図１５に示すテーブル１５００とを比較する。そして、第一投影面情報から抽出された投影領域の幅または高さが、正規化済の投影可能な最大領域を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域を超えている場合は、ステップＳ１７０２に分岐し、そうでない場合はステップＳ１７０３に分岐する。ステップＳ１７０２においては、位置調整情報として「後退指示」を選択し、処理を終了する。
【００５３】
一方、ステップＳ１７０３においては、第一投影面情報から抽出された投影領域の左辺の座標が、正規化済の投影可能な最大領域の左辺の座標を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域の左辺の座標を超えている場合は、ステップＳ１７０４に分岐し、そうでない場合はステップＳ１７０５に分岐する。
【００５４】
ステップＳ１７０４においては、第一投影面情報から抽出された投影領域の上辺の座標が、正規化済の投影可能な最大領域の上辺の座標を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域の上辺の座標を超えている場合は、ステップＳ１７０６に分岐し、そうでない場合はステップＳ１７０７に分岐する。そして、ステップＳ１７０６においては、位置調整情報として「左上移動指示」を選択する。
【００５５】
一方、ステップＳ１７０７においては、第一投影面情報から抽出された投影領域の下辺の座標が、正規化済の投影可能な最大領域の下辺の座標を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域の下辺の座標を超えている場合は、ステップＳ１７０８において、位置調整情報として「左下移動指示」を選択する。一方、そうでない場合はステップＳ１７０９において、位置調整情報として「左移動指示」を選択する。
【００５６】
一方、ステップＳ１７０５においては、第一投影面情報から抽出された投影領域の右辺の座標が、正規化済の投影可能な最大領域の右辺の座標を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域の右辺の座標を超えている場合は、ステップＳ１７１０に分岐し、そうでない場合はステップＳ１７１１に分岐する。
【００５７】
ステップＳ１７１０においては、第一投影面情報から抽出された投影領域の上辺の座標が正規化済の投影可能な最大領域の上辺の座標を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域の上辺の座標を超えている場合は、ステップＳ１７１２において、位置調整情報として「右上移動指示」を選択する。一方、そうでない場合はステップＳ１７１３に分岐する。
【００５８】
ステップＳ１７１３においては、第一投影面情報から抽出された投影領域の下辺の座標が正規化済の投影可能な最大領域の下辺の座標を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域の下辺の座標を超えている場合は、ステップＳ１７１４において、位置調整情報として「右下移動指示」を選択する。一方、そうでない場合はステップＳ１７１５において、位置調整情報として「右移動指示」を選択する。
【００５９】
一方、ステップＳ１７１１においては、第一投影面情報から抽出された投影領域の上辺の座標が正規化済の投影可能な最大領域の上辺の座標を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域の上辺の座標を超えている場合は、ステップＳ１７１６において、位置調整情報として「上移動指示」を選択する。一方、そうでない場合はステップＳ１７１７に分岐する。
【００６０】
ステップＳ１７１７においては、第一投影面情報から抽出された投影領域の下辺の座標が正規化済の投影可能な最大領域の下辺の座標を超えているか否かを判定する。この判定の結果、正規化済の投影可能な最大領域の下辺の座標を超えている場合は、ステップＳ１７１８において、位置調整情報として「下移動指示」を選択する。一方、そうでない場合は、ステップＳ１７１９において、位置調整情報として「移動指示なし」を選択する。
【００６１】
図１８は、本実施形態において位置調整情報が表示された表示画面の一例を示す図である。図９のステップＳ９０４の処理により、制御部１０８は、図９のフローチャートに示す処理に従って選択された位置調整情報に基づいた画面を表示部１０７に表示する。例えば、位置調整情報が「右下移動指示」の場合、「右下へ」と文字で表示したり、右下へ移動することを表すグラフィクスを利用して、ユーザに対して画像投影装置１００を右下へ移動することを促す表示を行ったりする。このようにして、初回の投影状態で投影部１０１が投影した投影画像の投影面上の領域（図１６の領域３０３）が、投影部１０１の投影可能領域（図１６の領域１４０５）に含まれるように投影部１０１の投影状態を再設置時の投影状態から調整するための情報を表示させる制御を行うことができる。
【００６２】
ユーザが画像投影装置１００を右下に移動させると、再び図９に示した処理を行い、表示部１０７に移動の必要がない旨が表示されるまでユーザは画像投影装置１００を移動させる作業を繰り返すことになる。これによって、前回の投影範囲が、今回の設置によって投影可能な最大領域に収まるよう画像投影装置１００を設置することが可能となる。
以上の実施形態では、位置調整情報を表示部１０７に表示する場合について説明したがこれに限らない。位置調整情報を、投影部１０１が投影して投影面に表示させることにより、ユーザに認識させることとしてもよい。この場合、制御部１０８は、投影部１０１を制御して位置調整情報を投影して投影面に表示させる。
【００６３】
以上のように本実施形態によれば、前回の投影における投影領域情報を記憶し、この情報を用いて今回の設置によって投影可能な最大領域に収まるように位置調整情報を表示するようにした。これにより、プロジェクタなどの投影装置を一度設置した場所へ精度良く簡単に再設置することができる。
【００６４】
（その他の実施形態）
前述した実施形態では、画像投影装置１００にすべての機能を有する例について説明した。一方、画像投影装置１００が図１に示す構成の一部のみを備え、パーソナルコンピュータ（ＰＣ）などで一部の処理を行って画像投影システムを構成するようにしてもよい。例えば、特定部１０６の処理をＰＣで行い、その結果を画像投影装置１００に表示するような画像投影システムを構成してもよい。
【００６５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１０１  投影部
１０３  取得部
１０４  抽出部
１０５  第１記憶部
１０６  特定部
１０７  表示部
【図１】
2016015646.tif 000005
【図２】
2016015646.tif 000006
【図４】
2016015646.tif 000007
【図７】
2016015646.tif 000008
【図８】
2016015646.tif 000009
【図９】
2016015646.tif 000010
【図１１】
2016015646.tif 000011
【図１２】
2016015646.tif 000012
【図１３】
2016015646.tif 000013
【図１５】
2016015646.tif 000014
【図１７】
2016015646.tif 000015
【図１８】
2016015646.tif 000016
【図３】
2016015646.tif 000017
【図５】
2016015646.tif 000018
【図６】
2016015646.tif 000019
【図１０】
2016015646.tif 000020
【図１４】
2016015646.tif 000021
【図１６】
2016015646.tif 000022