(57)【要約】【課題】建造物の模様が投影画像に対する影響度を押さえる。【解決手段】建造物の壁面の状態を読み取る画像撮像部４１５と、読み取った壁面画像からその画像の第１の特徴点を検出する撮像画像特徴点抽出部４２０と、前記第１の特徴点に基づいて画像を編集する画像編集部１０５と、画像編集した画像と前記第１の特徴点を関連付けて格納する撮像画像特徴点情報１格納部４１３と、画像に関連付けて格納されている第１の特徴点と、再度前記撮像手段で読み取り、前記特徴点検出手段で検出した第２の特徴点の位置を比較する特徴点情報比較部４２２と、投影しようとする画像の第１の特徴点が再度検出した第２の特徴点に重なるように画像を自動的に編集する画像データ吸着部４１１と、建造物の壁面に編集された画像を投影する画像投影部１２８を備える。  を備えた【選択図】図４
2015076657.tif 000002
【特許請求の範囲】
【請求項１】
建造物の壁面の状態を読み取る撮像手段と、
読み取った壁面画像からその画像の第１の特徴点を検出する特徴点検出手段と、
前記第１の特徴点に基づいて画像を編集する第１の画像編集手段と、
画像編集した画像と前記第１の特徴点を関連付けて格納する特徴点格納手段と、
画像に関連付けて格納されている第１の特徴点と、再度前記撮像手段で読み取り、前記特徴点検出手段で検出した第２の特徴点の位置を比較する特徴点比較手段と、
投影しようとする画像の第１の特徴点が再度検出した第２の特徴点に重なるように画像を自動的に編集する第２の画像編集手段と、
建造物の壁面に編集された画像を投影する画像投影手段と、
を備えたことを特徴とするプロジェクションシステム。
【請求項２】
前記画像投影手段は、前記撮像手段によって建造物の壁面の状態を読み取る際に、全面白画像を投影することを特徴とする請求項１に記載のプロジェクションシステム。
【請求項３】
前記特徴点検出手段は、前記撮像手段から読み込まれた建造物の壁面模様を線分化手段により線分化し、その複数の線分の交点を特徴点とすることを特徴とする請求項１又は２に記載のプロジェクションシステム。
【請求項４】
前記第１の画像編集手段は、編集している画像に前記第１の特徴点を合成表示する特徴点合成表示手段を備え、その特徴点に基づいて画像を編集することができることを特徴とする請求項１から３のいずれか１項に記載のプロジェクションシステム。
【請求項５】
前記特徴点比較手段は、画像ファイルの画像フレーム内の相対アドレスで示された第１の特徴点と、その画像ファイルを画像投影する際に前記撮像手段により読み込まれ前記特徴点検出手段により検出された投影面内の相対アドレスで示された第２の特徴点とを比較することを特徴とする請求項１から４のいずれか１項に記載のプロジェクションシステム。
【請求項６】
前記第２の画像編集手段は、ある特定の画像領域を縮小処理する画像縮小手段と、拡大処理する画像拡大手段と、移動処理する画像移動手段とを備え、第１の特徴点と第２の特徴点の距離が予め規定された長さよりも短いと判断される場合に、第１の特徴点が第２の特徴点に重なるように画像データを縮小処理、拡大処理、或いは移動処理することを特徴とする請求項１から５のいずれか１項に記載のプロジェクションシステム。
【請求項７】
建造物の壁面の状態を読み取る撮像ステップと、
読み取った壁面画像からその画像の第１の特徴点を検出する特徴点検出ステップと、
前記第１の特徴点に基づいて画像を編集する第１の画像編集ステップと、
画像編集した画像と前記第１の特徴点を関連付けて格納する特徴点格納ステップと、
画像に関連付けて格納されている第１の特徴点と、再度前記撮像ステップで読み取り、前記特徴点検出ステップで検出した第２の特徴点の位置を比較する特徴点比較ステップと、
投影しようとする画像の第１の特徴点が再度検出した第２の特徴点に重なるように画像を自動的に編集する第２の画像編集ステップと、
建造物の壁面に編集された画像を投影する画像投影ステップと、
を含むことを特徴とするプロジェクション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクションシステム及び方法に関し、特に、凹凸のある建造物の壁面に画像を投射する技術に関する。
【背景技術】
【０００２】
近年、プロジェクタを用いて巨大なスクリーンに画像を投影するプロジェクションシステムが注目を浴びている。さらに単なる巨大平面スクリーンへの投影ではなく、屋外のビルディング等の建造物の壁面のような複雑な面にプロジェクタを用いて画像を投影するようなことも考え出されている。
【０００３】
一例を挙げると、例えば、特許文献１の「マルチプロジェクションシステムにおける幾何補正方法」がある。この文献によれば、プロジェクタからスクリーン上にテストパターン画像を表示し、そのテストパターン画像をデジタルカメラで撮像する。そして、その画像からプロジェクタの投影位置を算出し、テストパターン撮像画像中の複数の特徴点をパターンマッチング等の手法により検出する。その検出した特徴点の位置に基づいて投影位置のパラメータを算出して、プロジェクタの投影位置を補正する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、屋外のビルディングのような建造物の壁面にマルチプロジェクションシステムにおいて画像を投影する場合、今までの技術では、プロジェクタからスクリーン上にテストパターン画像を表示し、そのテストパターン画像をデジタルカメラで撮像する。次に、撮像した画像からプロジェクタの投影位置を算出し、テストパターン撮像画像中の複数の特徴点をパターンマッチング等の手法により検出する。そして、その検出した特徴点の位置に基づいて投影位置の表面のでこぼこを検出して、プロジェクタの投影位置を補正させる。
【０００５】
しかしながら、屋外のビルディングのような建造物の壁面に画像を投影する場合においては、実質、窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様がある。上記従来技術においては、それらの模様と投影画像とが合成されてしまい投影画像が見辛くなってしまうという問題があった。
【０００６】
特許文献１は、プロジェクタ投影面の状態を検知し、その検知結果を元に投影画像を補正しようとするという点で、本願と関連があると考えられる。しかしながら、窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様と、投影画像とが合成されてしまい投影画像が見辛くなってしまうという問題は解消できていない。
【０００７】
屋外のビルディングのような建造物の壁面に画像を投影する場合の投影画像の見辛さは、建造物の模様が投影が像に対して影響を与えることに起因するものであると考えられる。
【０００８】
本発明は、上記実情に鑑みてなされたものであって、建造物の模様が投影画像に対する影響度を押さえることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明は、第１の態様として、建造物の壁面の状態を読み取る撮像手段と、読み取った壁面画像からその画像の第１の特徴点を検出する特徴点検出手段と、前記第１の特徴点に基づいて画像を編集する第１の画像編集手段と、画像編集した画像と前記第１の特徴点を関連付けて格納する特徴点格納手段と、画像に関連付けて格納されている第１の特徴点と、再度前記撮像手段で読み取り、特徴点検出手段で検出した第２の特徴点の位置を比較する特徴点比較手段と、投影しようとする画像の第１の特徴点が再度検出した第２の特徴点に重なるように画像を自動的に編集する第２の画像編集手段と、建造物の壁面に編集された画像を投影する画像投影手段と、を備えたことを特徴とするプロジェクションシステムを提供する。
【発明の効果】
【００１０】
本発明によれば、建造物の模様が投影画像に対する影響度を押さえることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明を適用可能な一般的なプロジェクションシステムの構成を示すブロック図である。
【図２】マルチプロジェクションシステムについて説明するための図である。
【図３】マルチプロジェクションシステムで投影される画像の一例を示す図である。
【図４】本発明の実施形態に係るプロジェクションシステムの構成を示すブロック図である。
【図５】本実施形態における情報処理を説明するための図である。
【図６】本実施形態における画像ファイルフォーマットの一例を示す図である。
【図７】本実施形態における吸着処理を説明するための図（その１）である。
【図８】本実施形態の画像データ吸着部の構成を示すブロック図である。
【図９】本実施形態における吸着処理を説明するための図（その２）である。
【図１０】本実施形態の投影面特徴点検知処理の流れを示すフローチャートである。
【図１１】本実施形態の投影画像編集・送信処理の流れを示すフローチャートである。
【図１２】本実施形態の受信画像投影処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
建造物の壁面のような投射面には、実質、窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様がある。従来技術には、それらの模様と投影画像と合成されてしまうと、投影画像が見辛くなってしまうという問題がある。
【００１３】
以下に開示されるマルチプロジェクションシステムは、屋外のビルディングのような建造物の壁面の窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様を予め検知する。そして、それを壁面である投影面の特徴点情報に変換する。また、投影すべき画像を作成、編集する際に、その特徴点情報を画像編集画面に合成表示し、投影面である建造物の壁面の窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様を意識して画像作成、編集を行う。さらに、その壁面の特徴点情報は画像ファイルと関連付けて格納もする。
【００１４】
そのため、プロジェクタ投影現場で複数のプロジェクタのそれぞれの位置が変わったとしても、再度新たに読み込んだ投影面の特徴点情報と画像ファイルに関連付けて格納されている特徴点情報との差分を検知し、画像を補正することができる。マルチプロジェクションシステムにおいて、屋外のビルディングのような建造物の壁面に画像を投影する場合においても、窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様と投影画像と合成されたとしても投影画像が見辛くならなくすることができる。
【００１５】
＜本実施形態の概略機能構成＞
以下、本発明の実施形態を図面を参照しながら説明する。図１は、一般的なプロジェクションシステムのブロック図である。
【００１６】
大きく構成される装置としては、無線機能、有線によるネットワーク機能を搭載したＰＣ（パーソナルコンピュータ）１００、そのＰＣ１００と無線、或いは有線で接続することができるプロジェクタ１２０がある。図１のスクリーン１２９は、プロジェクタ１２０から投影される映像を映し出すスクリーンである。ＰＣ１００は、プロジェクタ１２０を介して内部の画像データをスクリーン１２９に投影するために画像データを圧縮しプロジェクタ１２０に送信することができる画像データ送信部１０２を備えている。また、プロジェクタ１２０は、ＰＣ１００から送信されてきた圧縮画像データを受信し伸長することができる画像データ受信部１２１を備えている。
【００１７】
次にまずはＰＣ１００について、構成ブロックを説明する。ＨＤＤ１１０は画像データ等を格納しておくことができるハードディスクドライブである。ＨＤＤドライバー１１１は本ＰＣ１００上で動作可能なアプリケーションソフトによってコールされるドライバーソフトによりＨＤＤ１１０を制御し、格納されているファイルのリード／ライトを行う手段である。ＨＤＤ１１０よりＨＤＤドライバー１１１を介して読み出されたファイルはバッファメモリ１１２に順次格納され、その後、ファイル展開部１０３によりファイル展開されラスター画像としてフレームメモリ１０４へ格納される。フレームメモリ１０４はラスター画像に展開された画像データの作成、編集を行う為のメモリである。図１の１０５は画像編集部である。画像編集部１０５は、フレームメモリ１０４に展開された画像データを編集することができる手段である。この画像編集部１０５によって編集された画像データは、再度フレームメモリ１０４に格納される。フレームメモリ１０４に格納されている画像データは、バッファメモリ１１２を介して、ＨＤＤドライバー１１１によりデバイスタイミングを調整しながら不揮発性メモリであるＨＤＤ１１０に格納することができる。
【００１８】
又、画像抽出部１１３は、フレームメモリ１０４に展開されている画像データを出力装置であるディスプレイに表示するために、画像データのフレームサイズ情報とディスプレイ１１６の表示可能サイズから画像データの画像表示領域を切り出すための手段である。切り出された画像データは、Ｖｉｄｅｏ  ＲＡＭ１１４に展開され、この展開された画像データがディスプレイドライバー１１５を介して、画像表示信号に変換され、ディスプレイ１１６で表示される。
【００１９】
又、図１の１０２は、前記の画像データ送信部である。画像データ送信部１０２は、ＰＣ１００のディスプレイ画面をプロジェクタに表示させるために、Ｖｉｄｅｏ  ＲＡＭ１１４に展開された画像データをプロジェクタに無線ＬＡＮ、或いは有線ＬＡＮにより送信する手段である。図１の１０６はデータ圧縮部である。データ圧縮部１０６は、送信データを圧縮処理し送信サイズを縮小するための手段である。これにより比較的低速な無線ＬＡＮ、或いは有線ＬＡＮでのデータ送信を効率的に行うことができる。図１の１０７は、送信バッファである。送信バッファ１０７は、無線送信部１０８の無線送信タイミングと同期させるためのテンポラリメモリである。無線送信部１０８は、データ送信Ｉ／Ｆ１０９を介して無線ＬＡＮ、或いは有線ＬＡＮのプロトコルに則り画像データを送信する手段である。データ送信Ｉ／Ｆ１０９は、無線ＬＡＮの場合は無線アンテナ素子、有線ＬＡＮの場合はＬＡＮケーブルのコネクタジャックのことである。
【００２０】
ＰＣ１００内の画像データの流れとしては、まずＨＤＤ１１０に格納されているファイルが読み出され、フレームメモリ１０４に展開される。展開された画像データは、画像編集部１０５で画像編集され、画像抽出部１１３によって切り出された画像領域をディスプレイ１１６に表示するのと同時に画像データ送信部１０２によって圧縮処理が施され、無線信号としてプロジェクタ側に送信されることになる。
【００２１】
次に一般的なプロジェクタ側の構成について説明する。図１の１２１は画像データ受信部である。ＰＣ１００からの送信画像データを受信する画像データ受信部１２１は、データ受信Ｉ／Ｆ１２２、無線受信部１２３、受信バッファ１２４、データ伸長部１２５から構成される。データ受信Ｉ／Ｆ１２２は、無線ＬＡＮの場合は無線アンテナ素子、有線ＬＡＮの場合はＬＡＮケーブルのコネクタジャックのことである。無線受信部１２３は、ＰＣ１００からの送信データをデータ受信Ｉ／Ｆ１２２を介して通信プロトコルに則り受信する手段である。図１の１２４の受信バッファは、無線受信部１２３で受信したデータを格納するテンポラリメモリである。図１の１２５は送信側から圧縮されて送信されてきたデータを伸長する手段である。図１の１２６は投影バッファであり、このバッファに格納された画像が本プロジェクタから投影される画像そのものとなる。図１の１２７は、投影制御部である。投影制御部１２７は、プロジェクタのメカ部を制御し投影バッファ１２６の画像を投影する手段である。図１の１２８は、投影制御部１２７によって制御されるプロジェクタのメカ構成、例えば、液晶パネル、ランプ、レンズ、ファン等のことである。プロジェクタの光学メカの種類としては、例えば、ＣＲＴに表示された画像を光学系を使って拡大し投影するＣＲＴプロジェクタ、液晶パネルに光を透過させて投射する液晶プロジェクタ、ＤＭＤ（デジタル・マイクロミラー・デバイス）を用いたＤＬＰプロジェクタ、又、反射型液晶素子を使用したＬＣＯＳプロジェクタ等がある。
【００２２】
ＰＣ１００からの送信データ（圧縮画像データ）は、このデータ受信Ｉ／Ｆ１２２を介して、無線受信部１２３で受信され、受信バッファ１２４に格納される。格納された圧縮画像データは、順次受信バッファ１２４から読み出され、データ伸長部１２５によって伸長処理が施される。伸長された画像データは、投影バッファ１２６に格納され、この格納された画像データが投影制御部１２７によって、画像投影部１２８を介してスクリーン１２９に投影される。
【００２３】
次にマルチプロジェクションシステムについて説明する。マルチプロジェクションシステムとは、図２（１）で示すように、複数台のプロジェクタを使用して、巨大なスクリーンに投影する技術である。図２（１）では４台のプロジェクタを使用した例である。左上のプロジェクタがスクリーン上の左上の領域、右上のプロジェクタがスクリーン上の右上の領域、左下のプロジェクタがスクリーン上の左下の領域、右下のプロジェクタがスクリーン上の右下の領域にそれぞれ画像を投影する。（図２（１）は図が分かりにくくなるので、左上のプロジェクタの投影光しか書いていないが、実際には４台のプロジェクタ同時に投影光を出力している）。理論的には、マルチプロジェクションシステムにおいて、プロジェクタの台数を増やせば、いくらでも大きな画像を投影することができる。但し、そのための大きなスクリーンを用意することが困難である。
【００２４】
近年、プレゼンテーションとして大きな画像を投影するために、単なるスクリーンではなくて、元々ある屋外の建造物の壁面に、本マルチプロジェクションシステムを使用して画像を投影することが行われている。例えば図２（２）に屋外のビルディングのような建造物の壁面に画像を投影している例を示す。こちらも例では、４台のプロジェクタを使用し２×２に並べた形態のマルチプロジェクションである。ビルディングのような元々ある建造物の壁面を使用することで、巨大なスクリーンを用意する必要が無いので適切な建造物があれば比較的簡単に投影することができる。
【００２５】
しかしながら、建造物の壁面といものはスクリーンと異なり、建造物の窓枠であったり、柱であったり、各階の接続部があったりして（例えば、図３（１）参照）、それらの形状が投影画像に目視上、合成されてしまい見辛くなってしまうことがある。図２（２）は、４台のプロジェクタの投影面（点線）と建造物の模様（実線）が合成された一例である。また、図３（２）に見辛くなった投影画像の例を示す。
【００２６】
本実施形態にて開示される技術的思想は、このマルチプロジェクションシステムにおいて、屋外の建造物に画像を投影する場合に上記のように建造物の色々な模様が投影画像に影響してしまい見辛くなっていることに対して、建造物の模様が投影画像に対する影響度を押さえることを目的としている。
【００２７】
＜本実施形態の詳細な機能構成＞
図４に、本実施形態のマルチプロジェクションシステムのブロック図を示し、本実施形態の構成を説明する。前記一般的なマルチプロジェクションシステムの説明と共通な部分は省略する。まず、図４で追加されたブロック毎の説明を行う。図４の４１５は画像撮像部である。画像撮像部４１５は、投影面を光学的に撮像しデジタルデータに変換することができるデジタルカメラである。図４の４１６は撮像制御部である。撮像制御部４１６は、画像撮像部４１５を制御して投影面のデジタル画像を読み取る手段である。
【００２８】
図４の４１７は撮像画像２値化部である。撮像画像２値化部４１７は、撮像制御部４１６が画像撮像部４１５を介して読み込んだデジタル画像を２値化する手段である。この２値化処理とは、この場合、投影面の画像を白か黒に変換し、画像をより単純化する処理である。この時、２値化するためのスレッシュホールドレベルを設定することで白レベル黒レベルの割合を調整することができる。
【００２９】
図４の４１８は撮像画像細線化部である。撮像画像細線化部４１８は撮像画像２値化部４１７によって２値化された画像を細線化する手段である。細線化とは、ある幅を持った線分画像の中心ラインを検知し、幅１ピクセルの線分化する処理である。図４の４１９は撮像画像ベクトル化部である。撮像画像ベクトル化部４１９は、撮像画像細線化部４１８で細線化された画像を線分の集合体と捉え、その線分の両端を投影面の左下を基準点（０、０）とする相対アドレス（ｘ、ｙ）で示される。
【００３０】
図４の４２０は撮像画像特徴点抽出部である。撮像画像特徴点抽出部４２０は、撮像画像ベクトル化部４１９で特定した線分のベクトルデータから線分と線分の交点を検知、及び投影フレームと線分の交点を検知する手段である。これらの線分と線分の交点、及び投影フレームと線分の交点を投影面の撮像画像特徴点とする。
【００３１】
図４の４１３は撮像画像特徴点情報１格納部である。撮像画像特徴点情報１格納部４１３は、撮像画像特徴点抽出部４２０で検知した撮像画像特徴点を格納するメモリである。メモリに格納しておくことで、後段処理において特徴点を読み出したいタイミングでこの撮像画像特徴点情報１格納部４１３から特徴点を読み出し利用することができる。
【００３２】
図４の４１４は撮像画像特徴点情報１送信部である。撮像画像特徴点情報１送信部４１４は、撮像画像特徴点情報１格納部４１３に格納されている投影面の撮像画像特徴点情報をＰＣ１００側に送信する手段である。ＰＣ１００では、後述するが、このデータ送信により投影面の撮像画像特徴点情報を使用して処理を行うことができる。図４の１２１はデータ送受信Ｉ／Ｆである。図１の１２１ではデータ受信のみであったが、本実施形態にかかる図４の１２１ではデータを送信することもできるようになっている。図４の１０９は、データ送受信Ｉ／Ｆである。こちらも図１の１０９ではデータ送信のみであったが、本実施形態にかかる図４の１０９ではデータを受信することもできるようになっている。
【００３３】
図４の４０２は撮像画像特徴点情報１受信部である。撮像画像特徴点情報１受信部４０２は、プロジェクタ部１２０の撮像画像特徴点情報１送信部４１４からデータ送受信部Ｉ／Ｆ１２２を介して送信された投影面の撮像画像特徴点情報を受信する手段である。受信した投影面の撮像画像特徴点情報は撮像画像特徴点情報１格納部４０３に格納される。
【００３４】
格納された投影面の撮像画像特徴点情報は特徴点設定部４００に読み出され、特徴点設定部４００は、それらの特徴点情報からフレームメモリ１０４に展開されている画像データに合成表示する。これにより画像データを編集しているユーザは特徴点が合成表示された画像データをその合成表示された特徴点を意識しながら編集することができる。編集が完了した画像ファイルは前記図１での説明同様に圧縮されてプロジェクタ側に送信されるが、この時、特徴点情報２書込み部４０１により、送信される画像データと関連付けられるように、その画像データのヘッダ部に前記特徴点情報を付加される。これにより、プロジェクタ側には、特徴点を意識して編集された画像ファイルとその関係付けられた特徴点を一つのファイルデータとして送信されることになる。
【００３５】
ＰＣ１００側から送信されてた画像データとその特徴点情報２は、データ送受信Ｉ／Ｆ１２２で受信され、画像データ（圧縮画像）は、図１で説明したように圧縮画像無線受信部１２３、受信バッファ１２４、画像データ伸長部１２５を介して、伸長され、作業メモリ４１２に格納される。一方、特徴点情報２は、特徴点情報２読取部４１０で読み取られ、特徴点情報２格納部４２１に格納し、特徴点情報比較部４２２で特徴点情報１と特徴点情報２を比較し、その比較結果が画像データ吸着部４１１の内部処理のためのパラメータとなる。画像データ吸着部４１１では、前記撮像画像特徴点情報１格納部４１３に格納されている投影面の特徴点情報１と、特徴点情報２読取部４１０で読み取られた投影画像と関連付けられた特徴点情報２との差分を演算し、作業メモリ４１２に格納されている画像データを主走査方向、副走査方向の縮小／拡大処理、画像領域の移動処理を行い撮像画像特徴点情報１格納部４１３でリアルタイムで読み込まれた投影面の特徴点に画像を合わせ込む処理を行う。これにより投影面の特徴にあった投影画像に編集され、見た目違和感の無い画像を投影することができる。
【００３６】
＜本実施形態における情報処理＞
本実施形態のマルチプロジェクションシステムには３つの処理がある。３つの処理とは、第１に投影面特徴点検知処理（図１０）、第２に投影画像編集・送信処理（図１１）、第３に受信画像投影処理（図１２）である。以下、この３つの処理について説明する。第１の投影面特徴点検知処理について、図１０のフローチャートを用いて説明する。第１の投影面特徴点検知処理は、投影する面の特徴点を検知する処理である。
【００３７】
（フロー１０００）
まず画像投影部１２８より投影面全面に白画像を投影する。白画像を投影面全面に投影することにより、投影フレーム領域を認識すると共に、投影面の細かい模様を飛ばす効果がある。
【００３８】
（フロー１００１）
この白画像を投影面全面に投影した状態で、画像撮像部４１５で全面白画像となっている領域を画像撮像部４１５により撮像する。本フローにより読み取った画像の一例を図５（１）に示す。図５（１）は、マルチプロジェクションシステムで使用する複数台のプロジェクタの内、１台のプロジェクタから撮像した画像である。（他のプロジェクタの撮像画像は省略する）。白画像を投影しているものの投影面が前記例えば図２（２）のような建造物の壁面であった場合、壁面の窓枠、柱、継ぎ目等の画像が撮像される。
【００３９】
（フロー１００２）
次に撮像画像２値化部４１７により画像撮像部４１５で撮像した投影面の画像の２値化処理を行う。この２値化により、画像撮像部４１５で撮像した画像の濃淡が無くなり、白黒画像にすることができる。又、比較的濃度の淡い画像部が２値化時のスレッシュホールドレベルの調整で白画像に飛ばすことができる。この２値化スレッシュホールドレベルは、より良い２値化画像とするために撮影者が目視しながら設定することも可能である。２値化された画像の一例を図５（２）に示す。
【００４０】
（フロー１００３）
次に撮像画像細線化部４１８により画像撮像部この２値化された投影面の画像の細線化を行う。この細線化により、ある幅を持った線分画像の中心ラインを検知し、幅１ピクセルの線分にする。この細線化の一例を図５（３）に示す。
【００４１】
（フロー１００４）
次に撮像画像ベクトル化部４１９により細線化された画像を線分の集合体と捉え、その線分の両端を投影面の左下を基準点（０、０）とする相対アドレス（ｘ、ｙ）で示す。図５（４）で示すように線分の両端のアドレスを求める。左下隅のアドレス９が基準点となる。
【００４２】
（フロー１００５）
次に撮像画像特徴点抽出部４２０により、撮像画像ベクトル化部４１９で特定した線分のベクトルデータ（アドレス）から線分と線分の交点を検知、及び投影フレームと線分の交点を検知する。これらの線分と線分の交点、及び投影フレームと線分の交点を投影面の撮像画像特徴点とする。図５（５）で示すように線分と線分の交点、及び投影フレームと線分の交点が特徴点となる。
【００４３】
（フロー１００６）
次に撮像画像特徴点情報１格納部４１３により、撮像画像特徴点抽出部４２０で検知した撮像画像特徴点を格納する。メモリに格納しておき、第３の受信画像投影処理において特徴点を読み出したいタイミングでこの撮像画像特徴点情報１格納部４１３から特徴点を読み出し利用する。
【００４４】
（フロー１００７）
次に撮像画像特徴点情報１送信部４１４により、撮像画像特徴点情報１格納部４１３に格納されている投影面の撮像画像特徴点情報をＰＣ１００側に送信する。ＰＣ１００では、このデータ送信により投影面の撮像画像特徴点情報を使用して画像編集処理を行う。
【００４５】
ここまでのフローは、プロジェクタから実際に画像データを投影する前の準備段階である。ここまでのフローでプロジェクタで投影面である建造物の壁面の模様の特徴点を検知し、その特徴点を接続しているＰＣに送信することができる。次にこの特徴点を受信するＰＣ側のフローについて図１１のフローチャートを用いて説明する。処理としては、第２の投影画像編集・送信処理である。
【００４６】
（フロー１１００）
マルチプロジェクションシステムで投影する画像ファイルを編集するためにＨＤＤ１１０から元画像ファイルを読み込む。但し、画像ファイルを新規作成の場合は、ＨＤＤ１１０から読み込まず最初から作成する。この読み込んだファイル、或いは作成したファイルは、フレームメモリ１０４に展開される。
【００４７】
（フロー１１０１）
次に撮像画像特徴点情報１格納部４０３に格納されているプロジェクタ側から送信されてきた投影面の特徴点情報を特徴点設定部４００に読み出す。
【００４８】
（フロー１１０２）
次に特徴点設定部４００は、フレームメモリに展開されている画像データに、読み出した特徴点情報１（特徴点のアドレス）を基にその特徴点を合成表示する（実際の画像データに合成するわけではない。表示上合成するという意味である）。図５（６）がＨＤＤ１１０から読み込んだ画像ファイルとそれに合成表示した特徴点の一例である。（○が特徴点である）。
【００４９】
（フロー１１０３）
次に読み込んだ画像ファイルをそれに合成表示された特徴点に基づいて編集する。読み込んだ画像は特徴点に無関係に描画されているが、この合成表示された特徴点に基づいて編集することで、特徴点に画像の重要な部分が重ならないように編集することが可能である。画像の重要な部分が特徴点に重なっているということはプロジェクタにて画像投影後、投影面の模様と画像の重要な部分が重なってしまうことになる。
【００５０】
（フロー１１０４）
編集が一通り終わると次に、プロジェクタにて画像投影するために編集画像を表示合成されている特徴点情報と共にプロジェクタ側へ送信する。画像圧縮処理された画像データとそのヘッダ情報に特徴点を書き込むことで画像データと特徴点を関連付けることができる。図６が画像ファイルフォーマットの一例である。ＳＯＦ：ＳｔａｒｔＯｆＦｉｌｅ、ＳＯＨ：ＳｔａｒｔＯｆＨｅａｄｅｒ、ＨＤ：ＨｅａｄｅｒＤａｔａ、ＥＯＨ：ＥｎｄＯｆＨｅａｄｅｒ、ＳＯＤ：ＳｔａｒｔＯｆＤａｔａ、Ｄａｔａ：画像データ、ＥＯＤ：ＥｎｄＯｆＤａｔａ、ＥＯＦ：ＥｎｄＯｆＦｉｌｅで構成されたファイルフォーマットである。この中のＨＤ部分に画像データと関連付けられた特徴点情報（特徴点のアドレス）が格納されている。
【００５１】
ここでのフローは、投影面の特徴点を意識しながら画像編集した画像データをその特徴点情報と関連付けた状態で、画像投影のためにプロジェクタ側に送信するまでのフローである。次にこの画像ファイルを受信するプロジェクタ側のフローについて図１２のフローチャートを用いて説明する。処理としては、第３の受信画像投影処理である。
【００５２】
（フロー１２００）
画像投影部１２８より投影面全面に白画像を投影する。白画像を投影面全面に投影することにより、投影フレーム領域を認識すると共に、投影面の細かい模様を飛ばす効果がある。
【００５３】
（フロー１２０１）
この白画像を投影面全面に投影した状態で、画像撮像部４１５で全面白画像となっている領域を画像撮像部４１５により撮像する。本フローにより読み取った画像の一例を図５（１）に示す。図５（１）は、マルチプロジェクションシステムで使用する複数台のプロジェクタの内、１台のプロジェクタから撮像した画像である。（他のプロジェクタの撮像画像は省略する）。白画像を投影しているものの投影面が前記例えば図２（２）のような建造物の壁面であった場合、壁面の窓枠、柱、継ぎ目等の画像が撮像される。
【００５４】
（フロー１２０２）
次に撮像画像２値化部４１７により画像撮像部４１５で撮像した投影面の画像の２値化処理を行う。この２値化により、画像撮像部４１５で撮像した画像の濃淡が無くなり、白黒画像にすることができる。又、比較的濃度の淡い画像部が２値化時のスレッシュホールドレベルの調整で白画像に飛ばすことができる。この２値化スレッシュホールドレベルは、より良い２値化画像とするために撮影者が目視しながら設定することも可能である。２値化された画像の一例を図５（２）に示す。
【００５５】
（フロー１２０３）
次に撮像画像細線化部４１８により画像撮像部この２値化された投影面の画像の細線化を行う。この細線化により、ある幅を持った線分画像の中心ラインを検知し、幅１ピクセルの線分にする。この細線化の一例を図５（３）に示す。
【００５６】
（フロー１２０４）
次に撮像画像ベクトル化部４１９により細線化された画像を線分の集合体と捉え、その線分の両端を投影面の左下を基準点（０、０）とする相対アドレス（ｘ、ｙ）で示す。図５（４）で示すように線分の両端のアドレスを求める。左下隅のアドレス９が基準点となる。
【００５７】
（フロー１２０５）
次に撮像画像特徴点抽出部４２０により、撮像画像ベクトル化部４１９で特定した線分のベクトルデータ（アドレス）から線分と線分の交点を検知、及び投影フレームと線分の交点を検知する。これらの線分と線分の交点、及び投影フレームと線分の交点を投影面の撮像画像特徴点とする。図５（５）で示すように線分と線分の交点、及び投影フレームと線分の交点が特徴点となる。
【００５８】
（フロー１２０６）
特徴点を順次読み出し、検知した特徴点が残っていればフロー１２０７へ、残っていなければフロー１２１０の処理を行う。
【００５９】
（フロー１２０７）
次にフロー１２０５までで再度抽出した投影面の特徴点情報１と、第２の投影画像編集・送信処理のフロー１１０４でＰＣ側からプロジェクタ側へ送信されてきた特徴点情報２とを比較し、その差分情報を求める。
【００６０】
（フロー１２０８）
その結果、それらに予め規定された値以上の差分無かった場合と予め規定されて値以上の差分があった場合を判断し、その判断結果に基づいて後段処理を切り替える。規定以上の差分が無かった場合はフロー１２０９を実施し、規定以上の差分があった場合にはフロー１２０６を実施する。
【００６１】
（フロー１２０９）
フロー１２０８で、規定以上の差分が無かった場合の処理である。規定以上の差分が無いということで、フロー１２０５までで再度抽出した投影面の特徴点と、第２の投影画像編集・送信処理のフロー１１０４でＰＣ側からプロジェクタ側へ送信されてきた特徴点が、予め規定された物理的な距離よりも近い関係にあり、フロー１２０５までで再度抽出した投影面の特徴点に、第２の投影画像編集・送信処理のフロー１１０４でＰＣ側からプロジェクタ側へ送信されてきた特徴点を重ね合わせるように画像編集を行う。具体的には、画像領域の吸着処理を実施する。吸着処理については後段にて説明する。
【００６２】
（フロー１２１０）
フロー１２０６にて、全ての特徴点の処理処理が終わるとフロー１２１０の処理を実施する。フロー１２１０は前段にて特徴点の吸着処理を実施された投影画像を画像投影部１２８からスクリーンへ投影する。
【００６３】
＜吸着処理＞
次に画像の吸着処理について説明する。本実施形態では、ある領域にある画像をはめ込む処理を吸着処理と呼んでいる。図７（１）に示すような、ある領域ａ、ｂ、ｃ、ｄに、ある画像ｅ、ｆ、ｇ、ｈをはめ込む処理である。但し、点ａと点ｅの関係で示すように吸着すべき点ａから点ｅの距離がＬ以下であった場合、吸着し、それ以上であった場合は吸着しないような処理としている。点ｂと点ｆ、点ｃと点ｇ、点ｄと点ｈも同様の処理を行う。領域ａ、ｂ、ｃ、ｄに画像ｅ、ｆ、ｇ、ｈを吸着した結果が図７（２）である。
【００６４】
この吸着処理を行うためのブロック図を図８に示す。特徴点演算部８０１は、前記画像データに関連付けてＰＣ側から送られてくる画像データの特徴点と、実際に撮像手段で撮像された投影面の画像を画像処理で検出した特徴点との差分を演算し検知する手段である。この特徴点演算部８０１で検知されたそれぞれの特徴点の差分情報から図８で示すような主走査縮小／拡大処理、副走査縮小／拡大処理、画像移動処理を行う。
【００６５】
主走査縮小／拡大処理８０２は、図９（１）に示すようにはめ込む領域の主走査の長さ（点ｂ−点ａ）と画像の主走査の長さ（点ｆ−点ｅ）の差分から画像の主走査方向の変倍率を演算し、その変倍率に応じて画像の主走査方向の縮小／拡大処理を行う（変倍率が１未満であれば縮小処理、１以上であれば拡大処理を行う）。
【００６６】
副走査縮小／拡大処理８０３は、図９（２）に示すようにはめ込む領域の副走査の長さ（点ｃ−点ａ）と画像の主走査の長さ（点ｇ−点ｅ）の差分から画像の副走査方向の変倍率を演算し、その変倍率に応じて画像の副走査方向の縮小／拡大処理を行う。本例の場合、画像領域を矩形としているため、点ｂ−点ａの値と点ｄ−点ｃの値は同じであるので、どちらかの演算をすれば良い。
【００６７】
画像移動処理８０４は、主走査縮小／拡大処理と副走査縮小／拡大処理後のはめ込む領域と画像のサイズが等しくなった画像の位置を合わせるために、図９（３）で示すように、点ａと点ｅ、点ｂと点ｆ、点ｃと点ｇ、点ｄと点ｈが重なるように画像をはめ込む領域へ移動する。
【００６８】
このような処理によって、屋外のビルディングのような建造物の壁面に画像を投影する場合においても、窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様を予め検知し、それを壁面である投影面の特徴点情報に変換することができ、投影すべき画像を作成、編集する際に、その特徴点情報を画像編集画面に合成表示し、投影面である建造物の壁面の窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様を意識して画像作成、編集を行うことができる。
【００６９】
さらにその壁面の特徴点情報は画像ファイルと関連付けて格納することができ、プロジェクタ投影現場で複数のプロジェクタのそれぞれの位置が変わったとしても、再度新たに読み込んだ投影面の特徴点情報と画像ファイルに関連付けて格納されている特徴点情報との差分を検知し補正し、建造物の壁面の窓枠、柱とか継ぎ目といった各種部位の形を示すライン状の模様に投影画像をはめ込むことがができる。
【００７０】
＜作用及び効果＞
上記実施形態の作用と効果について、以下で説明する。
上記実施形態で開示された技術的思想には、大規模な建造物の壁面の窓枠、柱や継ぎ目等の特徴的な模様に、投影する画像を自動的に合わせ込むことができ、非常に見やすい画像を投影することができるという効果がある。すなわち、建造物の模様が投影画像に対する影響度を押さえることが可能になる。
【００７１】
また、撮像手段によって建造物の壁面の状態を読み取る際に、画像投影手段が全面白画像を投影することによって、建造物の壁面のヒビ、しみや汚れ等の細かい模様を露光によって飛ばしてしまうことができるという効果がある。
【００７２】
また、特徴点検出手段が、撮像手段から読み込まれた建造物の壁面模様を線分化手段により線分化し、その複数の線分の交点を特徴点とすることにより、建造物の壁面の窓枠、柱や継ぎ目等の特徴的な模様の特徴を細かく検出することができるという効果がある。
【００７３】
また、第１の編集手段が、編集している画像に第１の特徴点を合成表示うる特徴点合成表示手段を備え、その特徴点に基づいて画像を編集することができることにより、特徴点を目視しながら画像を編集することができ、非常に編集作業を簡単化することができるという効果がある。
【００７４】
また、特徴点比較手段が、画像ファイルの画像フレーム内の相対アドレスで示された第１の特徴点と、その画像ファイルを画像投影する際に前記撮像手段により読み込まれ特徴点検出手段により検出された投影面内の相対アドレスで示された第２の特徴点を比較することにより、投影面にマッチした投影画像に編集加工することができるという効果がある。
【００７５】
また、第２の編集手段が、ある特定の画像領域を縮小処理できる画像縮小手段、拡大処理できる画像拡大手段、移動処理できる画像移動手段を備え、前記特徴点比較手段により、第１の特徴点と第２の特徴点の距離が予め規定された長さよりも短い場合に、第１の特徴点が第２の特徴点に重なるように画像データを縮小処理、拡大処理、或いは移動処理することができることにより、一番近い特徴点同士を正確に重ね合わせることができるという効果がある。
【符号の説明】
【００７６】
１０４    フレームメモリ
１０５    画像編集部
１２８    画像投影部
４００    特徴点設定部
４０３    撮像画像特徴点情報１格納部（ＰＣ側）
４１１    画像データ吸着部
４１３    撮像画像特徴点情報１格納部（プロジェクタ側）
４２０    撮像画像特徴点抽出部
４２２    特徴点情報比較部
８０１    特徴点差分演算部
８０２    主走査縮小／拡大処理
８０３    副走査縮小／拡大処理
８０４    画像移動処理
【先行技術文献】
【特許文献】
【００７７】
【特許文献１】特許第４６３７８４５号公報
【図１】
2015076657.tif 000003
【図２】
2015076657.tif 000004
【図３】
2015076657.tif 000005
【図４】
2015076657.tif 000006
【図５】
2015076657.tif 000007
【図６】
2015076657.tif 000008
【図７】
2015076657.tif 000009
【図８】
2015076657.tif 000010
【図９】
2015076657.tif 000011
【図１０】
2015076657.tif 000012
【図１１】
2015076657.tif 000013
【図１２】
2015076657.tif 000014