(57)【要約】【課題】投影対象物に関わらず画像の補正を簡易に実行可能な投影制御装置、投影装置、マーカ検出方法及びプログラムを提供すること。【解決手段】投影制御装置は、投影対象物の属性情報１１４を取得する取得手段（処理部１２）と、投影対象物に位置検出用のマーカ画像を含む補正用画像１１１を投影する投影手段（投影部１３）と、属性情報１１４に基づいてマーカ画像の検出条件を変更する変更手段（処理部１２）と、を備える。また、変更手段は、属性情報１１４が形状的特徴である場合に、形状検出に関する検出条件を変更する。【選択図】図２
2019168640.tif 000002
【特許請求の範囲】
【請求項１】
投影対象物の属性情報を取得する取得手段と、
前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段と、
前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段と、
を備えることを特徴とする投影制御装置。
【請求項２】
前記変更手段は、前記属性情報が形状的特徴である場合に、形状検出に関する前記検出条件を変更することを特徴とする請求項１に記載の投影制御装置。
【請求項３】
前記検出条件には、形状が抽出された前記マーカ画像における各線分長さの判定が含まれ、
前記変更手段は、
前記属性情報が左右の湾曲が多い投影面である場合に、前記各線分長さの左右の閾値を寛容に変更し、
前記属性情報が上下の湾曲が多い投影面である場合に、前記各線分長さの上下の閾値を寛容に変更する、
ことを特徴とする請求項１又は請求項２に記載の投影制御装置。
【請求項４】
前記変更手段は、前記属性情報がカーテンである場合に、前記左右の閾値を前記上下の閾値よりも寛容に設定することを特徴とする請求項３に記載の投影制御装置。
【請求項５】
前記マーカ画像は、第１の多角形と、前記第１の多角形の内側に配置される第２の多角形とを含み、
前記変更手段は、前記第１の多角形の前記検出条件を変更する、
ことを特徴とする請求項１乃至請求項４の何れかに記載の投影制御装置。
【請求項６】
請求項１乃至５の何れかに記載の投影制御装置と、
前記投影手段と、
を備えることを特徴とする投影装置。
【請求項７】
投影対象物の属性情報を取得する取得手段と、
前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段と、
前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段と、
を含むことを特徴とするマーカ検出方法。
【請求項８】
コンピュータが実行するプログラムであって、前記コンピュータを、
投影対象物の属性情報を取得する取得手段、
前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段、及び
前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影制御装置、投影装置、マーカ検出方法及びプログラムに関する。
【背景技術】
【０００２】
画像を投影する投影装置において、壁等の投影面に色、柄、歪み等が有る場合に、投影装置が投影した画像を正しい色や形状で表示するための技術が提案されている（例えば，特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２５９４７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献に記載された技術を含め、投影装置の投影範囲における色の再現状態を正確に把握して投影画像を補正するためには、投影装置が投影面上に投影した画像の色情報を取得するための手段（上記特許文献１であればカラーセンサ）を備える必要がある。この場合、投影装置の位置と投影画像の鑑賞者の位置とが異なると、撮影部を有する投影装置が、投影画像を撮影しても鑑賞者の位置を反映して画像を補正することが困難な場合がある。
【０００５】
そこで、画像の色情報を正確に取得する手段として、当該投影装置のユーザが使用するデジタルカメラ等、別体の撮影装置が考えられる。一般的なデジタルカメラにより投影画像を撮影することで投影装置の色補正が実行できれば、簡易で正確に投影装置の初期設定が実現できる。
【０００６】
しかしながら、画像の補正をより正確に行うには複数枚の補正用の画像パターンを投影装置により連続して投影させ、その複数の画像パターンをデジタルカメラにより撮影させる必要がある。これらの投影画像をデジタルカメラで手持ちの状態で撮影すると、デジタルカメラ自体の撮影位置が安定しておらず、手ぶれの発生も懸念される。
【０００７】
そのため、連続して得られる撮影画像中における投影装置が投影した範囲を正確に検出することが難しくなる。投影画像の正確な撮影を実施するために、デジタルカメラを三脚等で固定する方法もあるが初期設定に要する手間等がそれだけ煩雑なものとなる。
【０００８】
本発明は、上記のような実情に鑑み、投影対象物に関わらず画像の補正を簡易に実行可能な投影制御装置、投影装置、マーカ検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の投影制御装置は、投影対象物の属性情報を取得する取得手段と、前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段と、前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段と、を備えることを特徴とする。
【００１０】
本発明の投影装置は、上記の投影制御装置と、前記投影手段と、を備えることを特徴とする。
【００１１】
本発明のマーカ検出方法は、投影対象物の属性情報を取得する取得手段と、前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段と、前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段と、を含むことを特徴とする。
【００１２】
本発明のプログラムは、コンピュータが実行するプログラムであって、前記コンピュータを、投影対象物の属性情報を取得する取得手段、前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段、及び前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段、として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、投影対象物に関わらず画像の補正を簡易に実行可能な投影制御装置、投影装置、マーカ検出方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る投影システムの概要を示す図である。
【図２】本発明の実施形態に係る投影システムの構成を示す図である。
【図３】本発明の実施形態に係る補正用画像を示す図であり、（ａ）〜（ｃ）は被測定物の色補正用の補正画像であり、（ｄ）〜（ｆ）は被測定物の歪み補正用の補正画像である。
【図４】本発明の実施形態に係るマーカの構成を示す図である。
【図５】本発明の実施形態に係る輪郭情報テーブルの構成を示す図である。
【図６】本発明の実施形態に係るマーカ検出プログラムのフローチャート図である。
【図７】本発明の実施形態に係るマーカ絞込処理のフローチャート図である。
【図８】本発明の実施形態に係る撮影装置の処理する画像を示し、（ａ）は撮影装置が撮影した第１の補正用画像を示し、（ｂ）は第１の補正用画像の輪郭抽出を行った後の画像を示し、（ｃ）は抽出したマーカ部分の輪郭の拡大図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について述べる。図１は投影システム１の概要を示す図である。投影システム１は、カーテンや壁等の投影対象物３０の投影面３１に画像を投影する投影装置１０（投影制御装置）と、投影面３１に投影された画像を撮影するデジタルカメラやカメラ付き携帯電話、等の撮影装置２０とを有する。なお、撮影装置２０としては、携帯用の画像入力機能付きデジタル機器であれば良く、ビデオカメラ、スマートフォン（高機能携帯電話）、タブレット端末等でも良い。本実施形態では投影対象物３０としてカーテンを示している。投影対象物３０は図示しないレール等に吊支され、主として横方向に沿った表面に波状のうねりを有している。また投影面３１には色や模様が形成されている。
【００１６】
投影装置１０は、撮影装置２０と異なる位置に配置される。図１の投影装置１０は、投影面３１に対して左側に配置され、画像を斜めの方向から投影している。撮影装置２０は、投影面３１に対して略正面等、投影面３１に投影された画像を鑑賞するユーザの位置に配置される。従って、撮影装置２０が撮影した画像とユーザが視認する画像とは、画角が略一致するように構成することができる。撮影装置２０はユーザによって把持されてもよい。
【００１７】
投影システム１の動作の概要について説明する。投影装置１０により投影される投影画像は、投影されたままの状態では、投影面３１の形状・模様等の影響や、投影装置１０の投影方向とユーザの視線方向との差の影響により、ユーザの視点からは元の画像データとは異なる色や形状で観測される。そこで、本実施形態では、ユーザが、ユーザの視点から好適に投影画像を視認可能なように、処理部１２が画像データの補正を行う。投影装置１０が後述する補正用画像１１１を投影面３１に投影すると、撮影装置２０は投影された補正用画像１１１を撮影する。撮影装置２０は、投影装置１０が投影した補正用画像１１１と、撮影装置２０が撮影した撮影画像６０における補正用画像１１１とのずれに基づいて、画像補正情報を求めて、投影装置１０に対して有線又は無線の通信を介して送信する。上述の処理により、投影装置１０は、画像補正情報に基づいて基の画像データが、観測者であるユーザにとって意図された態様で視認されるように、画像を投影することができる。なお、本実施形態に示すように、投影装置１０は、撮影装置２０が撮影した補正用画像１１１を含む撮影画像６０に基づいて画像補正情報を求めることができる。
【００１８】
図２は投影システム１の構成を示す図である。投影装置１０は、記憶部１１、処理部１２、投影部１３、操作部１４、通信部１５、音声処理部１６を備え、各々内部バスにより接続されている。記憶部１１は、例えば、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）やＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄａｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）で構成される。記憶部１１は、図示しない鑑賞用の画像データ、この画像データを補正するための補正用画像１１１、輪郭情報テーブル１１２、マーカ検出プログラム１１３、投影面３１の属性情報１１４及び属性情報１１４に対応するマーカ検出用閾値テーブル１１５を記憶する。マーカ検出用閾値テーブル１１５には、属性情報と閾値とが対応して記憶される。また、記憶部１１は撮影装置２０から送信された撮影画像６０を記憶する。
【００１９】
処理部１２は、投影装置１０を統括して制御するとともに属性情報１１４の取得手段及びマーカ検出処理における検出条件の変更手段として機能する。また、処理部１２には画像補正処理部１２１が含まれる。画像補正処理部１２１は、記憶部１１から補正用画像１１１を取得して投影部１３に送信する。また画像補正処理部１２１は、マーカ検出プログラム１１３で求めた画像補正情報に基づいて記憶部１１に記憶された鑑賞用の画像データを補正し、補正後の変換された画像を投影部１３に送信する。また、画像補正処理部１２１は上述のように撮影装置２０から取得した撮影画像６０における補正用画像１１１と記憶部１１に記憶される補正用画像１１１とを比較することで、画像補正情報を算出するよう構成しても良い。
【００２０】
投影部１３（投影手段）は、画像補正処理部１２１を含む処理部１２から送られてきた補正用画像１１１のデータ或いは鑑賞用の画像データを、予め設定した画像フォーマットに従ったフレームレートで画像投影する。投影部１３は、一つのフレーム内で画素毎に異なる色の光を出射することにより画像を形成する。画素毎の色は、複数の異なる波長帯域の光を時分割で出射することにより表現することができる。本実施形態の投影装置１０は、投影部１３をＤＬＰ（登録商標）（Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタの投影部として構成しているが、液晶プロジェクタ等の他の方式としてもよい。投影部１３から送信された画像は、図１の投影面３１に投影される。
【００２１】
操作部１４は、投影装置１０の筐体に備える操作キー等から操作信号を受け付けて、その操作信号を、バスを介して処理部１２に送信する。処理部１２は、操作部１４からの操作信号に応じて投影処理等の各種の機能を実行する。
【００２２】
通信部１５は、図示しないリモートコントローラからの赤外線変調信号等による操作信号を受信し、その操作信号を処理部１２に送信する。また、通信部１５は撮影装置２０の通信部２５とデータの送受信を行うことができる。また、通信部１５は、外部入力端子を備えることができ、外部機器から鑑賞用の画像データを入力させることができる。通信部１５による通信部２５との通信は、有線又は無線により行うことができる。
【００２３】
音声処理部１６は、ＰＣＭ音源などの音源回路を備え、スピーカ１７を駆動して音を拡散放音させる。音声処理部１６は、投影する画像データに音声信号が含まれていた場合、投影動作時にその音声信号をアナログ変換してスピーカ１７を介して音を出力する。
【００２４】
撮影装置２０は、撮影部２１、処理部２２、入出力制御部２３、記憶部２４、通信部２５を備え、各々内部バスにより接続される。撮影部２１は、図１の投影面３１に投影される画像を撮影する。
【００２５】
処理部２２は、撮影装置２０を制御する機能を有する。処理部２２は、撮影部２１により撮影された補正用画像１１１を含む撮影画像６０を投影装置１０に送信する。
【００２６】
入出力制御部２３は、ユーザが操作ボタン２３１から入力した操作指示を受け付けて処理部２２へ送信する。表示装置２３２は、入出力制御部２３から出力された画像を表示させる画面や表示灯等である。また、記憶部２４は、撮影部２１が撮影した撮影画像６０を記憶する。
【００２７】
次に、図３（ａ）乃至図３（ｆ）に基づいて、投影装置１０の記憶部１１に記憶される補正用画像１１１について説明する。補正用画像１１１ａ〜１１１ｆは、投影モードに応じたアスペクト比の矩形状の画像とすることができ、本図では全体を横長の矩形形状としている。各補正用画像１１１ａ〜１１１ｆは画像全体の四隅に画像位置識別用のマーカ４１を有し、その他の領域を測定領域４２としている。
【００２８】
図４は、各補正用画像１１１ａ〜１１１ｆのマーカ４１の構成を示す図である。マーカ４１は、第１の多角形４３と、この第１の多角形４３の内側に配置される第２の多角形４４とにより構成される。第１の多角形４３は、対向する辺が各々平行且つ同一長さで各内角が９０度である正四角形に形成される。第１の多角形４３の各辺は、外側の縁辺４３１ａ〜４３１ｄと内側の縁辺４３２ａ〜４３２ｄとにより黒に彩色された所定の幅を有し、縁辺４３２ａ〜４３２ｄに囲われる第１の多角形４３の内側は白に彩色される。外側の縁辺４３１ａ〜４３１ｄで区切られる第１の多角形４３の外側は、補正用画像１１１の測定領域４２（図３参照）に応じた色で彩色される。第２の多角形４４は、第１の多角形４３の内側の縁辺４３２ａ〜４３２ｄに囲われた領域に形成される。第２の多角形４４は、各縁辺４４１ａ〜４４１ｃが同一長さの正三角形に形成される。第２の多角形４４の各縁辺４４１ａ〜４４１ｃに囲われる内部は、第１の多角形と同色の黒に彩色される。本実施形態では、第１の多角形４３の縁辺４３２ａ〜４３２ｄと、第２の多角形４４の縁辺４４１ａ〜４４１ｃをマーカ検出プログラム１１３で検出して、マーカ４１を特定する。
【００２９】
第１の多角形４３の上下の縁辺４３１ａ，４３１ｂ，４３２ａ，４３２ｂは、第２の多角形４４の下側の縁辺４４１ｃと平行に配置される。また、第１の多角形４３の各縁辺４３１ａ〜４３１ｄ，４３２ａ〜４３２ｄは、第２の多角形４４の左右の縁辺４４１ａ，４４１ｂと非平行となるように形成される。このように、マーカ４１は、第１の多角形４３と第２の多角形４４とが異なる頂点数を有しながら、第１の多角形４３の少なくとも一つの辺が、第２の多角形４４の各辺と非平行となるように形成され、第１の多角形４３の上記一つの辺と異なる他の辺が、第２の多角形４４の何れかの辺と平行に形成される。
【００３０】
図３（ａ）〜（ｃ）は投影面３１の色補正用の補正用画像１１１ａ〜１１１ｃである。補正用画像１１１ａ、補正用画像１１１ｂ及び補正用画像１１１ｃは、略全面の測定領域４２を各々黒色、灰色及び白色としている。投影装置１０は、補正用画像１１１ａ〜１１１ｃを投影面３１に投影して撮影装置２０に撮影させ、投影面３１に形成される模様や投影面３１の歪みに起因した色の変化を検出する。
【００３１】
図３（ｄ）〜（ｆ）は投影対象物３０に投影された画像の歪み補正用の補正用画像１１１ｄ〜１１１ｆである。補正用画像１１１ｄ、補正用画像１１１ｅ及び補正用画像１１１ｆは、略全面の測定領域４２に略正方形の白の四角形及び黒の四角形を縦方向及び横方向に交互に配置した市松模様を有する。補正用画像１１１ｄ〜１１１ｆは、市松模様の大きさによる異なる分解能で投影面３１の歪みを検出することができる。投影装置１０は、補正用画像１１１ｄ〜１１１ｆを投影面３１に投影して撮影装置２０に撮影させ、複数の補正用画像１１１ｄ〜１１１ｆを組み合わせて投影面３１全体の歪みを検出することができる。
【００３２】
図５は輪郭情報テーブル１１２の構成を示す図である。輪郭情報テーブル１１２は、輪郭番号５１と、下位階層輪郭個数５２と、下位階層輪郭番号５３とを対応して記憶する。各データの取得方法については図６のフローチャート図で後述する。輪郭番号５１は、輪郭抽出処理（図６のステップＳ２０）で抽出される輪郭毎に設定される識別番号である。下位階層輪郭個数５２は、輪郭番号５１に対応する輪郭が閉領域であった場合に、その輪郭の一つ内側の階層に、いくつの輪郭が包含されるかを示している。下位階層輪郭番号５３は、下位階層輪郭個数５２でカウントされる各輪郭に設定された識別番号である。このように、輪郭情報テーブル１１２は、各輪郭の階層構成を記憶することができる。
【００３３】
次に、補正用画像１１１ａ〜１１１ｆを使用したマーカ検出方法について概説する。まず、図２の投影装置１０の画像補正処理部１２１は、記憶部１１に記憶された補正用画像１１１（１１１ａ〜１１１ｆ）を取得する。画像補正処理部１２１は取得した補正用画像１１１を予め定めた順番で投影部１３へ送信する。投影部１３は受信した補正用画像１１１を投影面３１に投影する。本実施形態では、投影装置１０は、黒色の補正用画像１１１ａ、灰色の補正用画像１１１ｂ、白色の補正用画像１１１ｃ、大型の市松模様の補正用画像１１１ｄ、中型の市松模様の補正用画像１１１ｅ、及び小型の市松模様の補正用画像１１１ｆを、順に投影する。この際、サイズの異なる市松模様の各補正用画像１１１ｄ，１１１ｅ，１１１ｆの四角形の角部は、投影時に互いに重ならない位置になっている。
【００３４】
撮影装置２０は、投影面３１に投影された複数の補正用画像１１１ａ〜１１１ｆを時分割で撮影する。このとき、撮影装置２０は、図１に示すように投影された補正用画像１１１より広い範囲を撮影して、図８（ａ）に示す撮影画像６０ａを取得する。撮影画像６０ａは、補正用画像１１１ａを撮影したときの画像であり、補正用画像１１１ａと、補正用画像１１１ａの周囲の外部領域６０ａ１とを含む。なお撮影画像６０ａの例では、周辺環境を比較的暗くしているため、外部領域６０ａ１は測定領域４２と略同等の黒色の領域として取得される。また、補正用画像１１１が投影された２点鎖線で示す領域内には、投影面３１に形成された模様３１ａがマーカ４１とともに撮影されている。撮影した各補正用画像１１１ａ〜１１１ｆに対応する撮影画像６０ａ〜６０ｆは、記憶部２４に一時記憶される。処理部２２は、撮影画像６０ａ〜６０ｆを、通信部２５を介して投影装置１０に送る。投影装置１０は、各撮影画像６０ａ〜６０ｆ内のマーカ４１の位置を検出して、時分割で投影及び撮影された複数の補正用画像１１１ａ〜１１１ｆの位置ずれを検出し、オフセット補正する。図３に示した補正用画像１１１ａ〜１１１ｆは、いずれも画像の四隅の同じ位置にマーカ４１が配置されているため、投影装置１０は、各補正用画像１１１ａ〜１１１ｆ間のマーカ４１の位置を一致させることにより補正用画像１１１ａ〜１１１ｆの平行成分及び回転成分の位置ずれを補正する。次に、マーカ４１の検出処理について説明する。
【００３５】
図６は処理部１２が実行するマーカ検出プログラムのフローチャート図である。本図では図８（ａ）の撮影画像６０ａを処理する例について説明するが、補正用画像１１１ｂ〜１１１ｆを撮影した撮影画像６０ｂ〜６０ｆについても同様に処理することができる。処理部１２は、まず、記憶部２４に記憶された撮影画像６０ａを読み込む。
【００３６】
ステップＳ１０で、処理部１２は、記憶部１１に予め記憶された投影面３１の特徴を示す属性情報１１４を取得する。属性情報１１４は、投影装置１０の操作部１４を介してユーザが手動で入力してもよいし、投影装置１０が取得した投影面３１の撮影画像６０を解析し、投影面３１の属性を判定することで取得してもよい、また撮影装置２０といった外部装置において判定された投影面３１に対応する属性情報を、投影装置１０が通信部１５，２５を介して取得するように構成してもよい。属性情報１１４としては、投影面３１上の横方向の奥行の変化が多い「横歪面」、縦方向の奥行の変化が多い「縦歪面」、奥行きの変化が比較的少ない「平坦面」等の形状的特徴とすることができる。また、属性情報１１４としては、具体的な投影対象物３０の種類であってもよく、例えば、「室内壁」、「カーテン」、「スクリーン」等とすることができる。「室内壁」の属性情報には、壁面同士の左右方向の入隅部に投影する「横入隅」、壁面と天井の上下方向の入隅部に投影する「縦入隅」、平坦な面に投影する「平坦面」を、含めてもよい。属性情報「カーテン」の場合、カーテンはレール等に吊止されて左右方向に沿って湾曲することが多いた後述のマーカ絞込条件の変更（Ｓ１６３）では属性情報「横歪面」と同様に設定することができる。また属性情報「スクリーン」のマーカ絞込条件の変更（Ｓ１６３）は属性情報「平坦面」と同様に設定することができる。
【００３７】
ステップＳ２０で、処理部１２は、撮影画像６０ａを適宜の方法により２値化する撮影画像変換処理を行う。
【００３８】
ステップＳ３０で、処理部１２は、ステップＳ２０で変換した２値化画像から階層情報を持った輪郭抽出処理を行う。輪郭抽出処理は、例えば、ＯｐｅｎＣＶライブラリのｆｉｎｄＣｏｎｔｏｕｒｓ関数を用いて行うことができる。具体例として、処理部１２は、２値化画像の黒画素と白画素の境界を輪郭として検出する。図８（ｂ）は、輪郭抽出処理の結果を視覚化した輪郭抽出画像６１ａを示している。本図の例では、マーカ４１に対応する８個の輪郭７１１〜７１８と、模様３１ａに対応する５個の輪郭７２１〜７２５が抽出される様子を示している。処理部１２は、検出した輪郭に、例えば輪郭抽出画像６１ａの外側から順に識別情報として輪郭番号を設定する。本図では、撮影範囲７１０内の輪郭７１１〜７１４に対し、順に輪郭番号ａ１〜ａ４が設定される。輪郭７１１〜７１４の各内側に抽出された輪郭７１５〜７１８に対しても、順に輪郭番号ａ６〜ａ９が設定される。また、輪郭７２１に対して輪郭番号ａ５が設定され、輪郭７２２〜７２５に対しては輪郭番号ａ１０〜ａ１３が設定される。
【００３９】
また、処理部１２は、各輪郭７１１〜７１８，７２１〜７２５が属する階層の情報として、下位階層輪郭の個数と、下位階層の輪郭番号を、輪郭情報テーブル１１２の下位階層輪郭個数５２及び下位階層輪郭番号５３として対応して記憶する。これにより、ある輪郭が他の輪郭による閉じられた領域内に入れ子状に配置される場合の内外の位置関係を把握することができる。
【００４０】
ステップＳ４０で、処理部１２は、マーカ検出のための処理がされていない未処理の輪郭が有るか判定する。処理部１２は、未処理の輪郭が有る場合（Ｓ４０，ＹＥＳ）ステップＳ５０の処理に進み、未処理の輪郭が無い場合（Ｓ４０，ＮＯ）ステップＳ１６０の処理に進む。処理部１２は、初期状態では輪郭７１１〜７１８，７２１〜７２５の処理が行われていないため（Ｓ４０，ＹＥＳ）、ステップＳ５０の処理に進む。
【００４１】
ステップＳ５０で、処理部１２は、処理対象の輪郭Ｃ０を決定する。処理部１２は、例えば、輪郭情報テーブル１１２から、輪郭番号５１のうち最も数字の値の小さい輪郭番号の輪郭を、処理対象の輪郭Ｃ０として決定する。輪郭抽出画像６１ａの例では、初期状態の場合、処理部１２により、輪郭番号５１の中から最も数字の小さい輪郭番号５１「ａ１」の輪郭７１１が、処理対象の輪郭Ｃ０として抽出される。
【００４２】
ステップＳ６０で、処理部１２は、抽出された輪郭Ｃ０に対して、閉領域の設定が可能な直線近似処理を行う。直線近似処理は、例えばＯｐｅｎＣＶライブラリのａｐｐｒｏｘＰｏｌｙＤＰ関数を用いて行うことができる。図８（ｃ）は、ステップＳ１０〜Ｓ５０で抽出した輪郭７１１及び輪郭７１５の拡大図である。処理対象の輪郭Ｃ０が輪郭７１１の場合、４つの線分７１１ａ〜７１１ｄで閉じられた四角形状に直線近似される。
【００４３】
ステップＳ７０で、処理部１２は、輪郭Ｃ０が頂点数「４」の閉じた線分であるか判定する。処理部１２は、輪郭Ｃ０が頂点数「４」であると判定した場合（Ｓ７０，ＹＥＳ）ステップＳ８０の処理に進み、輪郭Ｃ０が頂点数「４」であると判定しない場合（Ｓ７０，ＮＯ）ステップＳ４０の処理に戻る。処理対象の輪郭Ｃ０が輪郭７１１である場合、頂点数は「４」であるため（Ｓ７０，ＹＥＳ）処理はステップＳ８０へ進む。
【００４４】
ステップＳ８０で、処理部１２は、処理対象である輪郭Ｃ０の内側の一つ下位の階層の輪郭を抽出する。例えば、処理対象の輪郭Ｃ０が輪郭７１１である場合、輪郭７１１の内側に配置された下位の階層である階層番号「ｂ２」の輪郭７１５が抽出される。
【００４５】
ステップＳ９０で、処理部１２は、ステップＳ８０で抽出した輪郭の中に未処理の輪郭が有るか判定する。処理部１２は、未処理の輪郭が有ると判定した場合（Ｓ９０，ＹＥＳ）ステップＳ１００の処理に進み、未処理の輪郭が有ると判定しない場合（Ｓ９０，ＮＯ）ステップＳ４０の処理へ戻る。
【００４６】
ステップＳ１００で、処理部１２は、輪郭Ｃ０の内側にあるステップＳ８０で抽出された輪郭のうち、未処理の輪郭の中から処理対象の輪郭Ｃ１を決定する。処理対象の輪郭Ｃ１として、未処理の輪郭から最も輪郭番号の小さい輪郭を選択することができる。例えば、ステップＳ８０で輪郭７１１の内側にある下位階層輪郭番号５３「ａ６」の輪郭７１５が抽出され、処理が行われていない場合は、輪郭７１５が処理対象の輪郭Ｃ１として決定される。
【００４７】
ステップＳ１１０で、処理部１２は、ステップＳ１００で決定した輪郭Ｃ１に対して、閉領域の設定が可能な直線近似処理を行う。直線近似処理は、ステップＳ６０と同様に、ＯｐｅｎＣＶライブラリのａｐｐｒｏｘＰｏｌｙＤＰ関数を用いて行うことができる。処理対象の輪郭Ｃ１が輪郭７１５であれば、図８（ｃ）に示す３つの線分７１５ａ〜７１５ｃで閉じられた３角形に直線近似される。
【００４８】
ステップＳ１２０で、処理部１２は、輪郭Ｃ１が頂点数「３」の閉じた線分であるか判定する。処理部１２は、輪郭Ｃ１が頂点数「３」であると判定した場合（Ｓ１２０，ＹＥＳ）ステップＳ１３０の処理に進み、輪郭Ｃ１が頂点数「３」であると判定しない場合（Ｓ１２０，ＮＯ）ステップＳ９０の処理に戻る。処理対象の輪郭Ｃ１が輪郭７１５である場合、頂点数は「３」であるため（Ｓ１２０，ＹＥＳ）、処理はステップＳ１３０へ進む。
【００４９】
ステップＳ１３０で、処理部１２は、輪郭Ｃ０の面積Ｓ０と輪郭Ｃ１の面積Ｓ１を各々算出する。輪郭Ｃ０が輪郭７１１であり、輪郭Ｃ１が輪郭７１５である例では、ステップＳ１３０で、頂点数「４」の輪郭７１１（輪郭Ｃ０）の面積Ｓ０と、頂点数「３」の輪郭７１５（輪郭Ｃ１）の面積Ｓ１が算出される。
【００５０】
ステップＳ１４０で、処理部１２は、面積Ｓ０を面積Ｓ１で除算した値（面積Ｓ０と面積Ｓ１との比率）が、予め定めた最小面積比Ｒｍｉｎより大きく且つ最大面積比Ｒｍａｘより小さいか判定する。処理部１２は、面積Ｓ０を面積Ｓ１で除算した値が、最小面積比Ｒｍｉｎより大きく且つ最大面積比Ｒｍａｘより小さい場合（Ｓ１４０，ＹＥＳ）ステップＳ１５０の処理に進む。一方、処理部１２は、面積Ｓ０を面積Ｓ１で除算した値が、最小面積比Ｒｍｉｎ以下又は最大面積比Ｒｍａｘ以上の場合（Ｓ１４０，ＮＯ）ステップＳ８０の処理に戻る。最小面積比Ｒｍｉｎと最大面積比Ｒｍａｘの範囲は、マーカデザイン上の四角形の面積と、三角形の面積を基に、撮影装置２０による撮影能力や計測誤差を加味して定めることができる。
【００５１】
ステップＳ１５０で、処理部１２は、現在選択されている輪郭Ｃ０と輪郭Ｃ１の組み合わせを、マーカ候補として抽出し、記憶部２４に記憶する。
【００５２】
なお、ステップＳ５０〜Ｓ７０において処理対象の輪郭Ｃ０が図８（ｂ）に示すマーカ４１とは無関係の輪郭７２１（輪郭番号「ａ５」）である場合、頂点数が「４」であることから、処理はステップＳ８０に進む。ステップＳ８０〜Ｓ１００では輪郭情報テーブル１１２の輪郭番号５１「ａ５」に対応する下位階層輪郭番号５３から輪郭Ｃ１として輪郭番号「ａ１０」又は「ａ１１」に対応する輪郭７２２又は輪郭７２３が抽出されるが、輪郭７２２及び輪郭７２３はいずれも頂点数が「３」ではないため（Ｓ１２０，ＮＯ）、輪郭７２１と、輪郭７２２又は輪郭７２３との組み合わせはマーカ候補からは除かれることになる。
【００５３】
同様に、ステップＳ５０〜Ｓ７０の処理対象の輪郭Ｃ０が輪郭７２２又は輪郭７２３であっても、それらの内側に配置された輪郭７２４及び輪郭７２５が頂点数「３」ではないため（Ｓ１２０，ＮＯ）、輪郭７２２と輪郭７２４との組み合わせ、及び輪郭７２３と輪郭７２５との組み合わせは、マーカ候補からは除かれることになる。
【００５４】
以上のステップＳ４０〜Ｓ１５０により、図８（ｂ）の輪郭抽出画像６１ａからは、マーカ候補として、輪郭７１１と輪郭７１５の組み合わせ、輪郭７１２と輪郭７１６の組み合わせ、輪郭７１３と輪郭７１７の組み合わせ、及び輪郭７１４と輪郭７１８の組み合わせがマーカ４１の候補として抽出される。
【００５５】
ステップＳ１６０で、処理部１２は、ステップＳ４０〜Ｓ１５０のマーカ候補の検出処理で抽出したマーカ候補から、補正用画像１１１ａ〜１１１ｆ間の位置補正に使用するマーカを更に絞り込むマーカ絞込処理を行う。図７はステップＳ１６０のマーカ絞込処理のフローチャート図である。
【００５６】
ステップＳ１６１で、処理部１２は、マーカ絞込処理において未処理のマーカ候補が有るか判定する。処理部１２は、未処理のマーカ候補が有る場合（Ｓ１６１，ＹＥＳ）ステップＳ１６２の処理に進み、未処理のマーカ候補が無い場合（Ｓ１６２，ＮＯ）処理を終了する。図８（ｂ）では、マーカ候補が複数抽出された場合、処理部１２は、輪郭番号５１が最も小さい輪郭を含むマーカ候補（輪郭７１１と輪郭７１５）を処理対象として選択することができる。
【００５７】
ステップＳ１６２で、処理部１２は、第１の多角形４３の各辺の長さを算出する。輪郭７１１と輪郭７１５がマーカ候補としての処理対象である場合、処理部１２は、第１の多角形４３の輪郭として抽出された図８（ｃ）の輪郭７１１の各線分７１１ａ〜７１１ｄの長さを算出する。
【００５８】
次に、ステップＳ１６３〜Ｓ１６７では第１の多角形４３の各辺の長さが予め定めた閾値範囲内か判定される。本実施形態では、第１の多角形４３が四角形状であるため、処理部１２は四角形を構成する四つの線分７１１ａ〜７１１ｄについて判定する。ステップＳ１６３で、処理部１２は、ステップＳ１０で取得した属性情報１１４に基づいて記憶部１１のマーカ検出用閾値テーブル１１５を参照し、属性情報１１４に対応して記憶されたマーカ検出のための閾値を取得する。
【００５９】
具体的に、処理部１２は、ステップＳ１６４〜Ｓ１６７における判定処理の前に、閾値範囲を図６のステップＳ１０で設定された属性情報１１４に基づいてマーカ検出用閾値テーブル１１５で予め設定された条件に適宜変更することができる。例えば、処理部１２は、ステップＳ１０で、投影面３１の属性情報が左右の湾曲が多い「横歪面」である場合に、各線分長さの左右の閾値を寛容に（例えば閾値範囲を広くするように）変更することができる。また、処理部１２は、ステップＳ１０で、投影面３１の属性情報が上下の湾曲が多い「縦歪面」である場合に、各線分長さの上下の閾値を寛容に変更することができる。属性情報１１４が「カーテン」や、「室内壁」の「横入隅」である場合は、左右の閾値を上下の閾値よりも寛容に設定することができる。また、属性情報１１４が室内壁と天井の「縦入隅」では、上下の閾値を左右の閾値よりも寛容に設定することができる。なお、閾値の変更は、下限値及び上限値の一方又は両方について行うことができる。
【００６０】
ステップＳ１６４で、処理部１２は、輪郭７１１の上側の線分７１１ａの長さが記憶部１１から読み出したマーカ検出用閾値テーブル１１５の閾値範囲内であるか判定する。処理部１２は、線分７１１ａの長さが閾値範囲内である場合（Ｓ１６４，ＹＥＳ）ステップＳ１６５の処理に進み、線分７１１ａの長さが閾値範囲内でない場合（Ｓ１６４，ＮＯ）ステップＳ１６１の処理に戻る。
【００６１】
ステップＳ１６５で、処理部１２は、輪郭７１１の下側の線分７１１ｂの長さが予め定めた閾値範囲内であるか判定する。処理部１２は、線分７１１ｂの長さが閾値範囲内である場合（Ｓ１６５，ＹＥＳ）ステップＳ１６６の処理に進み、線分７１１ｂの長さが閾値範囲内でない場合（Ｓ１６５，ＮＯ）ステップＳ１６１の処理に戻る。なお、輪郭７１１の例では、ステップＳ１６４，Ｓ１６５における線分７１１ａ，７１１ｂの長さの判定を、上下左右方向（図８（ｃ）のＸ及びＹ方向）の成分を含めた斜め方向の長さ成分について行なってもよいし、左右方向（Ｘ方向）の長さ成分について行ってもよい。
【００６２】
ステップＳ１６６で、処理部１２は、輪郭７１１の左側の線分７１１ｃの長さが予め定めた閾値範囲内であるか判定する。処理部１２は、線分７１１ｃの長さが閾値範囲内である場合（Ｓ１６６，ＹＥＳ）ステップＳ１６７の処理に進み、線分７１１ｃの長さが閾値範囲内でない場合（Ｓ１６６，ＮＯ）ステップＳ１６１の処理に戻る。
【００６３】
ステップＳ１６７で、処理部１２は、輪郭７１１の右側の線分７１１ｄの長さが予め定めた閾値範囲内であるか判定する。処理部１２は、線分７１１ｄの長さが閾値範囲内である場合（Ｓ１６７，ＹＥＳ）ステップＳ１６８の処理に進み、線分７１１ｄの長さが閾値範囲内でない場合（Ｓ１６７，ＮＯ）ステップＳ１６１の処理に戻る。なお、輪郭７１１の例では、ステップＳ１６６，Ｓ１６７における線分７１１ｃ，７１１ｄの長さの判定を、上下左右方向（Ｘ及びＹ方向）の成分を含めた斜め方向の長さ成分について行なってもよいし、上下方向（Ｙ方向）の長さ成分について行ってもよい。
【００６４】
ステップＳ１６８で、処理部１２は、その他のマーカ判定条件を満たすか判定する。例えば、処理部１２は、ステップＳ１６２〜Ｓ１６７で判定処理した第１の多角形４３内に配置される第２の多角形４４の輪郭の線分長さが、予め定めた閾値範囲内であるか判定することができる。図８（ｃ）の輪郭７１５の例では、各線分７１５ａ〜７１５ｃの長さを斜め方向（Ｘ及びＹ方向）の長さについて判定してもよいし、上下又は左右方向（Ｘ又はＹ方向）の長さについて判定してもよい。処理部１２は、その他のマーカ判定条件を満たす場合（Ｓ１６８，ＹＥＳ）ステップＳ１６９の処理に進み、その他のマーカ判定条件を満たさない場合（Ｓ１６８，ＮＯ）ステップＳ１６１の処理に戻る。
【００６５】
ステップＳ１６９で、処理部１２は、ステップＳ１６２〜Ｓ１６８で処理対象のマーカ候補を補正用画像１１１の位置検出のためのマーカ４１として確定させ、ステップＳ１６１の処理に戻る。
【００６６】
その後、処理部１２は、図８（ｂ）の輪郭抽出画像６１ａの他の未処理のマーカ候補についてもマーカを確定させるための処理（Ｓ１６２〜Ｓ１６９）を行い、輪郭抽出画像６１ａ上の全てのマーカ４１の位置を特定する。処理部１２は、補正用画像１１１ｂ〜１１１ｆを撮影した残りの撮影画像６０ｂ〜６０ｆについても同様にステップＳ１０〜Ｓ１６０のマーカ検出処理を行う。
【００６７】
処理部１２は、各撮影画像６０ａ〜６０ｆのマーカ４１の位置を検出した後、画像補正情報を求める。処理部１２は、撮影画像６０ｄ〜６０ｆにより、市松模様の交点（角部）の座標を検出して、投影装置１０が投影した補正用画像１１１ａ〜１１１ｆの歪み度合いを求めることができる。また、処理部１２は、撮影画像６０ａ〜６０ｃにより、撮影画像６０ｄ〜６０ｆと組み合わせて、投影面３１の位置毎の色の変化を求めることができる。処理部１２は、これらの情報を画像補正情報として、通信部２５を介して投影装置１０へ送信する。これにより、投影装置１０は、鑑賞用の画像データを画像補正処理部１２１で補正して、意図された画像がユーザに視認できるように投影部１３により投影することができる。
【００６８】
なお、ステップＳ１６０の線分長さによる判定では、各線分７１１ａ〜７１１ｄ，７１５ａ〜７１５ｃの相対的な長さに基づいて閾値範囲を定めてもよい。
【００６９】
以上のように、マーカを抽出すれば、補正用画像１１１に配置した数と異なる数のマーカ候補が抽出された場合や、撮影画像のマーカ４１が不鮮明な位置や形状で検出された場合、そのマーカ候補を取り除くことができる。このようにマーカ４１の検出精度を高めて補正用画像１１１間の位置補正の精度を向上させることができる。
【００７０】
なお、属性情報は、照明環境や投影面３１の配色に関する情報であってもよい。この場合、処理部１２は、ステップＳ２０の投影画像変換処理において、撮影画像６０全体が暗い場合は閾値を下げ、明るい場合は閾値を上げる等適宜２値化の閾値を変更手段である処理部１２により変更することができる。
【００７１】
また、本実施形態では、投影装置１０がマーカ検出プログラム１１３を備えて図６及び図７のマーカ検出処理を実行する例について説明したが、マーカ検出プログラム１１３は、撮影装置２０に記憶されており、撮影装置２０が撮影した撮影画像６０を解析して画像補正情報を投影装置１０に送信することで、投影装置１０が鑑賞用の画像データを補正してもよい。
【００７２】
また、本実施形態では、第１の多角形４３を黒色の枠状で内部を白色に形成し、第２の多角形４４を黒色に形成したが、属性情報によっては、第１の多角形４３を白色の枠状で内部を黒色に形成し、第２の多角形４４を白色に形成してもよい。
【００７３】
また、投影装置１０は、投影手段としての投影部１３と、投影制御装置と、を備える構成とすることもできる。これにより、種々の態様で投影システム１を構成することができる。
【００７４】
以上説明したように、本発明の実施形態の投影制御装置は、投影対象物の属性情報を取得する取得手段と、投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段と、属性情報に基づいてマーカ画像の検出条件を変更する変更手段と、を備える。そのため、属性情報に応じてマーカ４１の検出精度を高め、マーカ検出プログラム１１３の検出処理や補正用画像の撮影のやり直し等の発生を低減させて投影制御装置の処理負荷を低減することができる。よって、投影対象物に関わらず画像の補正を簡易に実行可能な投影制御装置、マーカ検出方法及びコンピュータに実行させるプログラムを提供することができる。
【００７５】
また、属性情報が形状的特徴である場合に、形状検出に関する検出条件を変更手段により変更する投影制御装置は、投影面３１の形状変化に伴う撮影画像６０中のマーカ４１の変形に応じて閾値を予め設定することができるため、マーカ４１の検出精度を向上させることができる。
【００７６】
また、検出条件には、形状が抽出されたマーカ画像における各線分長さの判定が含まれ、属性情報が左右の湾曲が多い投影面である場合に各線分長さの左右の閾値を寛容に変更し、属性情報が上下の湾曲が多い投影面である場合に各線分長さの上下の閾値を寛容に変更する、投影制御装置は、投影面３１の特性に応じてマーカ４１の検出精度を向上させることができる。
【００７７】
また、属性情報がカーテンである場合に、変更手段により左右の閾値を上下の閾値よりも寛容に設定する投影制御装置は、カーテンを投影面３１とした場合であっても精度良くマーカ４１を検出することができる。
【００７８】
また、マーカ画像が第１の多角形４３と第１の多角形の内側に配置される第２の多角形４４とを含み、変更手段が第１の多角形４３の検出条件を変更する投影制御装置は、投影面３１の湾曲により影響を受けやすい外側の大きな形状について検出条件を変更するため、マーカ４１全体の検出条件を過剰に緩和することなくマーカ４１の検出精度を向上させることができる。
【００７９】
なお、以上説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８０】
以下に、本願出願の最初の特許請求の範囲に記載された発明を付記する。
［１］  投影対象物の属性情報を取得する取得手段と、
前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段と、
前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段と、
を備えることを特徴とする投影制御装置。
［２］  前記変更手段は、前記属性情報が形状的特徴である場合に、形状検出に関する前記検出条件を変更することを特徴とする上記［１］に記載の投影制御装置。
［３］  前記検出条件には、形状が抽出された前記マーカ画像における各線分長さの判定が含まれ、
前記変更手段は、
前記属性情報が左右の湾曲が多い投影面である場合に、前記各線分長さの左右の閾値を寛容に変更し、
前記属性情報が上下の湾曲が多い投影面である場合に、前記各線分長さの上下の閾値を寛容に変更する、
ことを特徴とする上記［１］又は上記［２］に記載の投影制御装置。
［４］  前記変更手段は、前記属性情報がカーテンである場合に、前記左右の閾値を前記上下の閾値よりも寛容に設定することを特徴とする上記［３］に記載の投影制御装置。
［５］  前記マーカ画像は、第１の多角形と、前記第１の多角形の内側に配置される第２の多角形とを含み、
前記変更手段は、前記第１の多角形の前記検出条件を変更する、
ことを特徴とする上記［１］乃至上記［４］の何れかに記載の投影制御装置。
［６］  上記［１］乃至上記［５］の何れかに記載の投影制御装置と、
前記投影手段と、
を備えることを特徴とする投影装置。
［７］  投影対象物の属性情報を取得する取得手段と、
前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段と、
前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段と、
を含むことを特徴とするマーカ検出方法。
［８］  コンピュータが実行するプログラムであって、前記コンピュータを、
投影対象物の属性情報を取得する取得手段、
前記投影対象物に位置検出用のマーカ画像を含む補正用画像を投影する投影手段、及び
前記属性情報に基づいて前記マーカ画像の検出条件を変更する変更手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００８１】
１        投影システム                    １０      投影装置
１１      記憶部                          １２      処理部
１３      投影部                          １４      操作部
１５      通信部                          １６      音声処理部
１７      スピーカ                        ２０      撮影装置
２１      撮影部                          ２２      処理部
２３      入出力制御部                    ２４      記憶部
２５      通信部                          ３０      投影対象物
３１      投影面                          ４１      マーカ
４２      測定領域                        ４３      第１の多角形
４４      第２の多角形                    ５１      輪郭番号
５２      下位階層輪郭個数                ５３      下位階層輪郭番号
６０（６０ａ〜６０ｆ）  撮影画像          ６０ａ１  外部領域
６１ａ    輪郭抽出画像                    １１１    補正用画像
１１１ａ〜１１１ｆ  補正用画像            １１２    輪郭情報テーブル
１１３    マーカ検出プログラム            １１４    属性情報
１２１    画像補正処理部                  ２３１    操作ボタン
２３２    表示装置                        ４３１ａ〜４３１ｄ  縁辺
４３２ｂ  縁辺                            ４４１ａ〜４４１ｃ  縁辺
７１０    撮影範囲                        ７１１〜７１８    輪郭
７１１ａ〜７１１ｄ  線分                  ７１５ａ〜７１５ｃ  線分
Ｃ０      輪郭                            Ｃ１      輪郭
Ｒｍａｘ  最大面積比                      Ｒｍｉｎ  最小面積比
Ｓ０      面積                            Ｓ１      面積
【図１】
2019168640.tif 000003
【図２】
2019168640.tif 000004
【図３】
2019168640.tif 000005
【図４】
2019168640.tif 000006
【図５】
2019168640.tif 000007
【図６】
2019168640.tif 000008
【図７】
2019168640.tif 000009
【図８】
2019168640.tif 000010