(57)【要約】【課題】プロジェクタの投影範囲とカメラよる撮像範囲との間に差が生じないようにして撮影の構図を正確に決定でき、さらに実際に撮影された画像を撮像位置と同一の位置にフィードバック表示できるようにする。【解決手段】筐体の一端側面部の中央にプロジェクタ３ａを配置すると共にその両脇にカメラ２ａを配置する。また撮影に際し、先ずプロジェクタ３ａによりマーカＭで撮影範囲を示した投影領域画像を被写体に向け投影し、この状態でカメラ２ａにより被写体を撮影する。そして、その撮影画像データと、予め記憶部１０５ａに記憶しておいたカメラ２ａ及びプロジェクタ３ａの位置と方向の関係を表すデータをもとに、プロジェクタ３ａによる投影と位置及び方向が一致するように変換した仮想的な中間視点画像を生成して、この中間視点画像をフィードバック画像としてプロジェクタ３ａにより投影する。【選択図】図４
2014175671.tif 000002
【特許請求の範囲】
【請求項１】
カメラ及びプロジェクタを併用して撮影を行う撮影システムであって、
マーカにより撮影範囲を示す第１の投影画像を生成し、この生成された第１の投影画像を前記プロジェクタにより被写体に向け投影させる手段と、
撮影操作の入力に応じて、前記カメラの光軸を、前記プロジェクタにより投影された第１の投影画像のマーカにより示される撮影範囲の中心軸と一致する位置に移動させる手段と、
前記カメラの光軸の移動終了後に、前記カメラによる撮影画像を取り込む手段と、
前記撮影画像の取り込み終了後に、前記プロジェクタによる投影画像の中心軸を、前記カメラの光軸と一致する位置に移動させる手段と、
前記プロジェクタによる投影画像の中心軸の移動終了後に、前記カメラから取り込んだ撮影画像に対応する第２の投影画像を前記プロジェクタにより被写体に向け投影させる手段と
を具備することを特徴とする撮影システム。
【請求項２】
前記カメラの光軸及び前記プロジェクタによる投影画像の中心軸を移動させる手段は、カメラ及びプロジェクタの少なくとも一方を直線状にスライド移動させることを特徴とする請求項１記載の撮影システム。
【請求項３】
前記カメラの光軸及び前記プロジェクタによる投影画像の中心軸を移動させる手段は、前記カメラ及びプロジェクタを、その光軸と中心軸とを結ぶ線分の中間点を中心に回動させることを特徴とする請求項１記載の撮影システム。
【請求項４】
前記カメラの光軸及び前記プロジェクタによる投影画像の中心軸を移動させる手段は、前記カメラ及びプロジェクタを同一筐体に収容した状態で当該筐体を移動させることを特徴とする請求項１乃至３のいずれかに記載の撮影システム。
【請求項５】
撮影のための光軸が互いに平行するように配置された複数のカメラと、
前記複数のカメラの各光軸に対し直交しかつ当該光軸を結ぶ線分又は平面上に、投影画像の中心軸が直交交叉するように配置されたプロジェクタと、
マーカにより撮影範囲を示す第１の投影画像を生成し、この生成された第１の投影画像を前記プロジェクタにより被写体に向け投影させる手段と、
撮影操作の入力に応じて、前記複数のカメラにより同時に撮影された撮影画像をそれぞれ取り込む手段と、
前記取り込まれた複数の撮影画像と、予め記憶された前記複数のカメラの光軸及び前記プロジェクタによる投影画像の中心軸の位置関係を表す情報とに基づいて、前記複数のカメラの中間視点画像を生成する手段と、
前記生成された中間視点画像から、前記プロジェクタにより投影された第１の投影画像中のマーカで示される撮影範囲に対応する画像を抽出し、この抽出された中間視点画像に対応する第２の投影画像を前記プロジェクタにより被写体に向け投影させる手段と
を具備することを特徴とする撮影システム。
【請求項６】
カメラ及びプロジェクタを併用して撮影を行う撮影システムにより行われる撮影方法であって、
マーカにより撮影範囲を示す第１の投影画像を生成し、この生成された第１の投影画像を前記プロジェクタにより被写体に向け投影させる過程と、
撮影操作の入力に応じて、前記カメラの光軸を、前記プロジェクタにより投影された第１の投影画像のマーカにより示される撮影範囲の中心軸と一致する位置に移動させる過程と、
前記カメラの光軸の移動終了後に、前記カメラによる撮影画像を取り込む過程と、
前記撮影画像の取り込み終了後に、前記プロジェクタによる投影画像の中心軸を、前記カメラの光軸と一致する位置に移動させる過程と、
前記プロジェクタによる投影画像の中心軸の移動終了後に、前記カメラから取り込んだ撮影画像に対応する第２の投影画像を前記プロジェクタにより被写体に向け投影させる過程と
を具備することを特徴とする撮影方法。
【請求項７】
撮影のための光軸が互いに平行するように配置された複数のカメラと、前記複数のカメラの各光軸に対し直交しかつ当該光軸を結ぶ線分又は平面上に投影画像の中心軸が直交交叉するように配置されたプロジェクタとを併用して撮影を行う撮影システムにより行われる撮影方法であって、
マーカにより撮影範囲を示す第１の投影画像を生成し、この生成された第１の投影画像を前記プロジェクタにより被写体に向け投影させる過程と、
撮影操作の入力に応じて、前記複数のカメラにより同時に撮影された撮影画像をそれぞれ取り込む過程と、
前記取り込まれた複数の撮影画像と、予め記憶された前記複数のカメラの光軸及び前記プロジェクタによる投影画像の中心軸の位置関係を表す情報とに基づいて、前記複数のカメラの中間視点画像を生成する過程と、
前記生成された中間視点画像から、前記プロジェクタにより投影された第１の投影画像中のマーカで示される撮影範囲に対応する画像を抽出する過程と、
前記抽出された中間視点画像に対応する第２の投影画像を前記プロジェクタにより被写体に向け投影させる過程と
を具備することを特徴とする撮影方法。
【請求項８】
請求項１乃至請求項５記載のいずれかに記載の撮影システムが具備する各手段に対応する処理を、当該撮影システムが備えるコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラとプロジェクタを併用して撮影を行う撮影システム、方法及びプログラムに関する。
【背景技術】
【０００２】
一般に、携帯端末等が備えるカメラでは、撮影したい対象の位置と、撮影する構図を視認するファインダの位置と、実際に撮影された画像のフィードバック表示位置の何れかが異なっている。したがって、被写体を選び、構図を決定し、撮影された画像を確認する一連の動作において、構図や撮影画像をディスプレイやファインダ等の視野の限られた表示デバイスで視認する必要がある。
【０００３】
このため、例えば災害時に足場の悪い建物内に入り、移動しながら内部状況を撮影する場合には、移動しながら撮影や撮影内容の確認をすることは周辺視野が利用できないため撮影が困難になりやすい。また災害時の建物内では、照明等が使えず室内が暗くなる場合も生じる。このような場合には、例えば懐中電灯照明で被写体を照らす必要があるが、片手で撮影したい場所に照明を当てて、もう一方の手でカメラを操作して撮影することになるため、利用者の撮影時の負担が大きくなる。さらに、移動しながら撮影を行う場合や被写体が動く場合には、限られた視野の範囲内で移動対象を追ったり撮影内容の確認する度に対象から目が離れることになる。このため、被写体を見失うことが多く、撮影タイミングを逸してしまいやすい。
【０００４】
一方、撮影時に視野が制限されないようにする手法として、プロジェクタを用いて空間上に撮影範囲を示すマーカを投影する手法が提案されている。マーカを撮影フレームとすることで、実空間上に視野を制限することなく撮影領域を示し、カメラを用いてマーカにより示される撮影範囲を含む画像を取得し、このカメラ画像から画像処理によりマーカの範囲内のみの画像を抽出することができる。
【０００５】
ところが、投影されたマーカの範囲のみを正確にカメラ画像から取得することは簡単ではない。例えば公知の手法として、四隅に矩形パターンを配置した画像をマーカとして固定プロジェクタにより被写体に対し投影し、上記投影されたマーカを含む画像をカメラで撮影する。そして、四隅の矩形パターンの頂点を特徴点として、カメラ画像座標系と固定プロジェクタ画像座標系との対応付けを決定する射影変換行列を求める手法が知られている（例えば非特許文献１を参照）。このようにすることで、マーカが示す範囲をカメラで撮影してその画像を取得することが可能となる。
【０００６】
しかし、先に述べた災害時の足場の悪い建物内に、固定プロジェクタを持ち運んで撮影の度に任意の方向へ向けることは大変な作業である。このため、小型のプロジェクタを用いたシステムも提案されている（例えば非特許文献２を参照）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】後藤  宏毅、竹村  大輔、川崎  雄造、中村  明生、「プロジェクタ・カメラシステムを用いた情報投影提示インタフェースの開発」、電気学会論文誌C（電子・情報・システム部門誌）、Vol.132 No.4 （2012）pp.561-569
【非特許文献２】Takumi Yoshida, Hideaki Nii, Naoki Kawakami and Susumu Tachi, “Interacting with Physical Surfaces Using Handheld Projector”, in Proc. of IEEE Virtual Reality 2010, pp.87-90, Waltham, MA, USA (2010. 3)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、小型プロジェクタは照度が低いものが多く、ホワイトボードや単一色の壁面のようなに均一の反射特性や凹凸の少ない物体でない対象を撮影しようとする場合、撮影環境中の光の状態やマーカが投影されている対象の反射特性・形状に影響を受けるためマーカ画像を正しく取得できず、画像取得の安定性に欠けてしまう。このため、小型プロジェクタとカメラを用いた従来のシステムでは、カメラのレンズ位置とプロジェクタ側の投影レンズ位置の差異により、プロジェクタによる投影範囲とカメラで取得される画像範囲に差異が生じてしまっていた。
【０００９】
この発明は上記事情に着目してなされたもので、その目的とするところは、プロジェクタの投影範囲とカメラよる撮像範囲との間に差が生じないようにし、これにより撮影の構図を正確に決定することができ、さらに実際に撮影された画像を撮像位置と同一の位置にフィードバック表示できるようにした撮影システム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するためにこの発明の第１の観点は、カメラ及びプロジェクタを併用して撮影を行う撮影システム又は当該システムで使用される撮影方法にあって、先ずマーカにより撮影範囲を示す第１の投影画像を生成し、この生成された第１の投影画像を上記プロジェクタにより被写体に向け投影させる。この状態で撮影操作が行われた場合に、上記カメラの光軸を、上記プロジェクタにより投影された第１の投影画像のマーカにより示される撮影範囲の中心軸と一致する位置に移動させ、その移動終了後に上記カメラによる撮影画像を取り込む。そして、上記撮影画像の取り込み終了後に、上記プロジェクタによる投影画像の中心軸を上記カメラの光軸と一致する位置に移動させ、その移動終了後に、上記カメラから取り込んだ撮影画像に対応する第２の投影画像を上記プロジェクタにより被写体に向け投影させるようにしたものである。
【００１１】
この発明の第１の観点は次のような態様を備える。  
第１の態様は、上記カメラの光軸及び上記プロジェクタによる投影画像の中心軸を移動させる手段として、カメラ及びプロジェクタの少なくとも一方を直線状にスライド移動させるものである。
【００１２】
第２の態様は、上記カメラの光軸及び上記プロジェクタによる投影画像の中心軸を移動させる手段として、上記カメラ及びプロジェクタを、その光軸と中心軸とを結ぶ線分の中間点を中心に回動させるものである。
【００１３】
第３の態様は、上記カメラの光軸及び上記プロジェクタによる投影画像の中心軸を移動させる手段として、上記カメラ及びプロジェクタを同一筐体に収容した状態で当該筐体を移動させるものである。
【００１４】
この発明の第２の観点は、撮影のための光軸が互いに平行するように配置された複数のカメラと、上記複数のカメラの各光軸に対し直交しかつ当該光軸を結ぶ線分又は平面上に、投影画像の中心軸が直交交叉するように配置されたプロジェクタとを用い、先ずマーカにより撮影範囲を示す第１の投影画像を生成して上記プロジェクタにより被写体に向け投影させる。この状態で撮影操作が行われた場合に、上記複数のカメラにより同時に撮影された撮影画像をそれぞれ取り込み、この取り込まれた複数の撮影画像と予め記憶された上記複数のカメラの光軸及び上記プロジェクタによる投影画像の中心軸の位置関係を表す情報とに基づいて、上記複数のカメラの中間視点画像を生成する。そして、この生成された中間視点画像から、上記プロジェクタにより投影された第１の投影画像中のマーカで示される撮影範囲に対応する画像を抽出し、この抽出された中間視点画像に対応する第２の投影画像を上記プロジェクタにより被写体に向け投影させるようにしたものである。
【発明の効果】
【００１５】
この発明の第１の観点によれば、被写体の位置、撮影する構図を視認するファインダ位置、及び実際に撮影された画像のフィードバック表示位置が同一位置になり、これによりユーザが撮影時及び撮影画像確認時において視野を制限されないようにすることができる。また、マーカにより撮影範囲が示された投影画像が投影されている状態から撮影を行うとき、及び撮影終了後にその撮影画像を投影するときに、カメラの光軸とプロジェクタにより投影された第１の投影画像の中心軸とが一致するように移動動作が行われ、さらにプロジェクタによる投影位置の中心とカメラ撮影画像の画像中心とが一致するように位置調整されたカメラ撮影画像投影用の画像が生成されて投影されるので、プロジェクタの照度、環境光の状態及びプロジェクタの投影先の形状等の影響を受け難くすることができる。
【００１６】
第１及び第２の態様によれば、カメラの光軸とプロジェクタにより投影された第１の投影画像の中心軸とを一致させるための移動動作を、カメラ及びプロジェクタの少なくとも一方をスライド移動又は回動させることで、正確に行うことができる。
【００１７】
第３の態様によれば、カメラの光軸とプロジェクタにより投影された第１の投影画像の中心軸とを一致させるための移動動作を、カメラ及びプロジェクタを一体的に収容した筐体の移動により実現できるので、カメラとプロジェクタとを別々に移動させる場合に比べて安定的な移動を実現できる。
【００１８】
この発明の第２の観点によれば、先に述べた第１の観点と同様に、被写体の位置、撮影する構図を視認するファインダ位置、及び実際に撮影された画像のフィードバック表示位置が同一位置になり、これによりユーザが撮影時及び撮影画像確認時において視野を制限されないようにすることができる。また、複数のカメラにより撮影された画像データと、予め記憶されたカメラ及びプロジェクタの位置関係を表す情報をもとに、例えば仮定したピンホールカメラにより生成される撮影画像のような中間視点画像が生成され、この撮影画像がフィードバック画像としてプロジェクタにより投影される。このため、プロジェクタの照度、環境光の状態及びプロジェクタの投影先の形状等の影響を受け難くすることができる。
【００１９】
すなわちこの発明の第１及び第２の観点によれば、プロジェクタの投影範囲とカメラよる撮像範囲との間に差が生じないようにし、これにより撮影の構図を正確に決定することができ、さらに実際に撮影された画像を撮像位置と同一の位置にフィードバック表示できるようにした撮影システム、方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】この発明の原理説明に使用する図。
【図２】この発明の原理説明に使用する図。
【図３】この発明の第１の実施形態に係る撮影システムを構成する携帯端末の構造を示す斜視図。
【図４】図３に示した携帯端末の機能構成を示すブロック図。
【図５】カメラとプロジェクタの位置及び方向を表すデータの一例を示す図。
【図６】図４に示した携帯端末の操作入力受付部の処理手順と処理内容を示すフローチャート。
【図７】図４に示した携帯端末のプロジェクタ制御部の処理手順と処理内容を示すフローチャート。
【図８】図４に示した携帯端末の撮影領域画像作成部の処理手順と処理内容を示すフローチャート。
【図９】プロジェクタにより投影された撮影領域を表すマーカの一例を示す図。
【図１０】この発明の第２の実施形態に係る撮影システムを構成する携帯端末の構造を示す斜視図。
【図１１】図１０に示した携帯端末の機能構成を示すブロック図。
【図１２】図１１に示した携帯端末の操作入力受付部の処理手順と処理内容を示すフローチャート。
【図１３】図１２に示した携帯端末のプロジェクタ制御部の処理手順と処理内容を示すフローチャート。
【図１４】図１１に示した携帯端末の可動制御部の処理手順と処理内容を示すフローチャート。
【図１５】図１１に示した携帯端末の撮影領域画像作成部の処理手順と処理内容を示すフローチャート。
【図１６】この発明の第３の実施形態に係る撮影システムを構成する携帯端末の構造を示す斜視図。
【発明を実施するための形態】
【００２１】
［原理］
この発明の撮影システムでは、例えば、小型プロジェクタと、この小型プロジェクタと光軸が同一方向を向くように配置されたカメラと、投影画像のサイズ変更指示や撮影命令を入力する操作入力装置とを有する撮影装置を用いる。そして、プロジェクタによる画像表示と撮影画像に対する画像処理または撮影装置に対する工夫を行うことで課題を解決する。
【００２２】
図１に、この発明に係る撮影システムを用いて撮影の構図を決定する場合のユーザの使用例を示す。図１においてＵはユーザ、１００は撮影システムとしての撮影装置、Ｅは撮影装置１００のプロジェクタにより投影された全投影領域、Ｍはこの投影領域内に描画される、撮影領域を表すマーカ、Ａは被写体の物体を示している。
【００２３】
図１に示すように被写体となる物体Ａに重ねてマーカＭを表示することで、撮影範囲を可視化する。そして、ユーザＵの撮影操作により、マーカＭで示される撮影範囲を含む領域を撮影装置１００内のカメラにより撮影する。撮影装置１００は、カメラにより撮影された画像から上記マーカＭで示される撮影範囲内の画像を切り出した後、この切り出した画像をプロジェクタにより再び上記物体Ａ上に投影する。図２に、上記撮影画像を物体Ａ上に投影した状態を示す。図２においてＢが投影領域Ｅ内に描画された撮影画像である。
【００２４】
以上のような手段を講じることで、被写体の位置、撮影する構図を視認するファインダ位置、及び実際に撮影された画像のフィードバック表示位置を同一位置にすることができ、これによりユーザが撮影時及び撮影画像確認時において視野を制限されないようにすることができる。
【００２５】
プロジェクタによりマーカＭで示される撮影領域を投影してこの撮影領域の画像をカメラで撮影する際に、プロジェクタの照度、環境光の状態及びプロジェクタの投影先の形状等の影響を受けないようにするための手法としては、複数台のカメラと画像処理を用いる第１の手法と、カメラとプロジェクタを可動式にする第２の手法の２つが考えられる。
【００２６】
複数台のカメラを用いる第１の手法は、プロジェクタにより最初に投影されたマーカＭにより示される長方形の撮影領域に対して、縦横方向の投影画角を計算する。次に、プロジェクタと同一の位置及び向きに、上記計算された縦横の投影画角と同じ撮影画角を持つピンホールカメラが存在するものと仮定する。このようにすると、仮定したピンホールカメラの撮影画像を複数台のカメラより生成することで、プロジェクタにより投影されたマーカＭにより示される撮影領域と位置及び方向が同一のカメラ画像を投影することが可能となる。
【００２７】
なお、仮定したピンホールカメラの撮影画像を複数台のカメラにより得る手法としては、公知の手法である多視点カメラの中間視点画像生成の手法を用いることができる。この手法は、例えばSteven M. Seitz and Charles R. Dyer, “View Morphing”, Proceedings of SIGGRAPH’96, pp.21-31, 1996.又は木村誠、斎藤英雄、“３カメラ間の射影幾何を用いたView Morphing”、画像情報メディア学会誌、Vol.57, No.10, pp.1342-1346, (2003).に詳しく述べられている。
【００２８】
上記公知の手法により生成可能な中間視点画像は、カメラ間に仮想的にカメラを置いたと仮定した場合に、仮想カメラにより撮影される画像を生成したものに相当するから、仮想のカメラをプロジェクタの投影画角から仮定したピンホールカメラに置き換えることで、求める画像を得ることができる。
【００２９】
一方、カメラとプロジェクタを可動式にする第２の方法は、小型プロジェクタが投影する光の中心軸とカメラの光軸を可動させる方法を用いる。先ずプロジェクタが投影するマーカにより示される四角形の撮影領域をカメラで撮影する際に、プロジェクタの位置を変更して、位置変更前のプロジェクタの投影光の中心軸と焦点位置に重なるようにカメラの光軸と焦点位置を移動させる。同時に、プロジェクタにより投影されたマーカにより示される撮影領域が含まれる長方形の縦横方向の画角を計算し、上記位置移動後のカメラにより撮像された撮影画像中から、プロジェクタの投影により示される撮影領域の縦横方向に対応する画角領域の画像を切り出す。最後に、この切り出された画像をプロジェクタによる四角形の投影領域内に投影する、このようにすることで、ユーザは視野を制限されることなく撮影画像を確認することが可能になる。
【００３０】
［第１の実施形態］
この発明の第１の実施形態は、原理において述べた、複数台のカメラを用いる第１の手法に対応するものである。  
図３は、この発明に係る撮影システムの第１の実施形態である携帯端末の構造を示す斜視図であり、（ａ）はその外観を、（ｂ）はその一端部をそれぞれ示している。  
この第１の実施形態の携帯端末１００ａは例えばスマートホンからなり、板状の長方体よりなる筐体の上面には操作入力部１ａが設置されている。操作入力部１ａはタッチパネル型の入力デバイスよりなる。
【００３１】
また、筐体の一端側面部の中央にはプロジェクタ３ａが配置され、その両脇にはカメラ２ａ，２ａが配置されている。カメラ２ａ，２ａは、撮像素子としてＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の固体撮像素子を使用したものを用いる。また、プロジェクタ３ａは光源として例えば白色ＬＥＤ（Light-Emitting Diode）を使用したものを用いる。
【００３２】
上記プロジェクタ３ａ及び２台のカメラ２ａ，２ａは、プロジェクタ３ａの投影光の中心軸４ａとカメラ２ａ，２ａの各光軸５ａ，５ａが互いに平行するように配置位置が設定される。またそれと共に、各カメラ２ａ，２ａの光軸５ａ，５ａ間に当該光軸５ａ，４ａと直交する直線を定義したとき、プロジェクタ３ａの投影光の中心軸４ａがこの線分と交叉するように配置位置が設定される。
【００３３】
図４は、上記携帯端末１００ａの機能構成を示すブロック図である。携帯端末１００ａは、上記操作入力部１ａ、２台のカメラ２ａ，２ａ及びプロジェクタ３ａに加え、第１の実施形態を実現するために必要な機能として、操作入力受付部１０１ａと、カメラ制御部１０２ａと、プロジェクタ制御部１０３ａと、投影領域画像作成部１０４ａと、位置・方向データ記憶部１０５ａを備えている。これらの機能のうち操作入力受付部１０１ａと、カメラ制御部１０２ａと、プロジェクタ制御部１０３ａと、投影領域画像作成部１０４ａは、何れも図示しないプログラムメモリに格納されたプログラムを図示しないプロセッサに実行させることにより実現される。なお、図３ではカメラが２台の場合を例示したが、カメラ２ａの台数は図４に２１ａ〜２ｎａとして示したように任意に設定可能である。
【００３４】
位置・方向データ記憶部１０５ａには、全てのカメラ２１ａ〜２ｎａの位置及び方向を表す情報がカメラＩＤと関連付けられて記憶され、さらにプロジェクタ３ａの位置及び方向を表す情報が記憶されている。各カメラ２１ａ〜２ｎａの方向はカメラの光軸の撮影方向であり、プロジェクタ３ａの方向はプロジェクタ投影光の中心軸の投影方向である。図５にプロジェクタ３ａの位置及び向きを原点としたときに記憶された情報の一例を示す。同図において、位置はＸ座標、Ｙ座標、Ｚ座標の３次元によって表される。また、向きはＸ軸方向の回転であるチルト角、Ｙ軸方向の回転角であるパン角、Ｚ軸方向の回転角であるロール角により表される。
【００３５】
操作入力受付部１０１ａは、操作入力部１ａにおいてユーザがタッチ操作したとき、その操作入力情報を受信し解読する。操作入力情報には、カメラ２ａ，２ａに撮影を行わせる撮影指示情報と、プロジェクタ３ａの投影範囲を拡大又は縮小するための投影領域変更指示情報がある。解読結果が撮影指示情報の場合には、カメラ制御命令をカメラ制御部１０２ａに与える。一方、解読結果が投影領域変更指示情報の場合には、プロジェクタ制御命令をプロジェクタ制御部１０３ａに与える。
【００３６】
カメラ制御部１０２ａは、上記操作入力受付部１０１ａから供給されたカメラ制御命令に応じてカメラ２１ａ〜２ｎａに対し撮影命令を与え、カメラ２１ａ〜２ｎａに被写体を同時に撮影させる。この撮影動作によりカメラ２１ａ〜２ｎａから出力されるカメラ画像データは、撮影したカメラの識別情報（カメラＩＤ）と共に投影領域画像作成部１０４ａに入力される。
【００３７】
投影領域画像作成部１０４ａは、後述するプロジェクタ制御部１０３ａから与えられた投影画角を表す情報に基づいて、仮想的なピンホールカメラの水平・垂直方向のピクセル数と原点から画像面までの距離（焦点距離）を決定する。次に、上記カメラ２１ａ〜２ｎａにより撮影されたカメラ画像データと、位置・方向データ記憶部１０５ａに格納されたカメラ２１ａ〜２ｎａとプロジェクタ３ａの位置と方向を表すデータをもとに、公知手法である多視点カメラの中間視点画像生成の手法を用いて投影領域撮影画像を生成する。すなわち、上記カメラ２１ａ〜２ｎａとプロジェクタ３ａの位置と方向を表すデータをもとに、上記カメラ画像データの投影用画像データを生成する。そして、この生成されたカメラ画像の投影用画像データを、プロジェクタ制御命令と共にプロジェクタ制御部１０３ａへ出力する機能を有する。
【００３８】
プロジェクタ制御部１０３ａは、以下の制御機能を有する。  
(1) 後述する撮影領域画像作成部１０４ａから、プロジェクタ制御命令としての投影画像変更命令と、マーカ画像を含む投影領域画像データを受信した場合に、投影制御命令と投影画像データをプロジェクタ３ａに供給して、マーカ画像を含む投影画像を被写体に向け投影させる機能。  
(2) 上記操作入力受付部１０１ａからプロジェクタ制御命令として投影領域変更命令を受信した場合に、当該投影領域変更命令に含まれる投影領域の拡大又は縮小の割合を表す情報をもとに投影領域のサイズを計算し直し、この計算し直された投影領域のサイズに応じて撮影領域を示すマーカ画像をリサイズする。そして、このリサイズ後の投影画像データをプロジェクタ３ａに供給して投影させる機能。  
(3) 上記操作入力受付部１０１ａからプロジェクタ制御命令として撮影状態移行命令を受信した場合に、撮影領域に応じた投影画角の計算を行う。そして、プロジェクタ３ａの投影動作を停止させるか、又は全面白色光とした上で、上記計算された投影画角を表す情報を投影領域画像作成部１０４ａに与える機能。
【００３９】
（動作）
次に、以上のように構成された携帯端末１００ａの動作を説明する。  
図６は操作入力受付部１０１ａの処理手順と処理内容を示すフローチャート、図７はプロジェクタ制御部の処理手順と処理内容を示すフローチャート、図８は撮影領域画像作成部の処理手順と処理内容を示すフローチャートである。
【００４０】
（１）構図の決定支援
被写体が決まり、ユーザが携帯端末１００ａのメニューのうち撮影モードを選択すると、先ずプロジェクタ制御部１０３ａの制御の下、マーカにより撮影範囲を示した投影画像データがプロジェクタ３ａに供給され、プロジェクタ３ａから被写体に対して例えば図１に示したように撮影範囲画像が投影される。  
図９は、投影された画像を拡大して示したもので、Ｅは投影領域、Ｍはマーカを示している。なお、最初に投影される投影画像の投影領域Ｅ及びマーカＭのサイズは、予め定められたデフォルト値に設定されている。
【００４１】
この状態で、ユーザが上記撮影範囲の大きさを可変するべく、操作入力部１ａにおいて投影範囲の拡大又は縮小操作を行ったとする。そうすると、操作入力受付部１０１ａは、図６に示すように先ずステップＳ１１ａにおいて操作入力情報を解読し、操作入力の種類が「撮影操作」であるか否か判定する。この判定の結果、撮影操作でなければステップＳ１２ａにおいて、操作入力の種類が上記した「投影範囲の拡大又は縮小操作」であるか否かを判定する。いま、操作の種類は投影範囲の拡大又は縮小操作であるため、操作入力受付部１０１ａはステップＳ１４ａによりプロジェクタ制御部１０３ａに対し、拡大／縮小の倍率を表す情報含む撮影領域変更命令を与える。
【００４２】
プロジェクタ制御部１０３ａは、上記撮影領域変更命令を受け取ると、図７に示すように、ステップＳ３２ａにより当該撮影領域変更命令を認識してステップＳ３５ａに移行し、ここで先ず上記受信された投影領域変更命令に含まれる拡大／縮小倍率を表す情報をもとに投影領域のサイズを計算し直す。例えば８０％の縮小命令を受け取った場合には、現在の投影領域サイズに対して垂直方向と水平方向のピクセル数が８０％となるサイズを変更後の投影領域サイズとして算出する。
【００４３】
次にステップＳ３８ａにおいて、上記計算し直された投影領域のサイズに応じて撮影領域を示すマーカ画像をリサイズする。例えば、投影領域サイズを拡大する場合には、撮影範囲を示すマーカの表示位置とサイズを拡大する。そして、このリサイズされた投影画像データを、ステップＳ４０ａによりプロジェクタ３ａに供給し投影させる。  
かくして、ユーザは投影領域、つまりマーカＭにより示される撮影範囲を自身の拡大／縮小操作により任意に調節することができる。すなわち、撮影時の構図を任意に決めることができる。
【００４４】
（２）対象物の撮影
以上のように構図が決まった後、ユーザが操作入力部１ａにおいて撮影操作を行ったとする。そうすると操作入力受付部１０１ａは、上記撮像操作をステップＳ１１ａで認識し、ステップＳ１３ａに移行する。そして、カメラ制御命令をカメラ制御部１０２ａに与える。この結果、カメラ制御部１０２ａからカメラ２１ａ〜２ｎａに対し撮影命令が送られ、これによりカメラ２１ａ〜２ｎａが同時に起動し、先に述べた投影画像のマーカにより示される撮影範囲を含む領域が撮影される。そして、この撮影動作により得られた各カメラ２１ａ〜２ｎａの撮影画像データは、図示しないカメラ画像記憶部に保存されると共に、投影領域画像作成部１０４ａに入力される。
【００４５】
（３）撮影したカメラ画像の投影
また、操作入力受付部１０１ａは、上記撮影命令の送信と同時にプロジェクト制御部１０３ａに対し撮影状態移行命令を与える。プロジェクト制御部１０３ａは、上記撮影状態移行命令をステップＳ３１ａで認識するとステップＳ３４ａに移行し、ここで以下のように撮影領域に応じた投影画角の計算を行う。
【００４６】
すなわち、画角は水平方向と垂直方向の２方向において求められ、投影領域の画角計算は例えば次のように実現できる。図９はプロジェクタ３ａにより投影された撮影領域の一例を示すものである。図９において、Ｅはプロジェクタ３ａの最大投影範囲を示し、Ｍは上記投影範囲Ｅ内に描画された撮影範囲を示すマーカである。またＰx はプロジェクタ３ａによる投影領域Ｅの水平方向の長さであり、Ｐy はプロジェクタ３ａによる投影領域Ｅの垂直方向の長さを示す。
【００４７】
このとき、図９に示すように投影範囲Ｅ内においてマーカＭにより示される任意の矩形領域からなる撮影範囲において、次の条件を満たす例を考える。投影範囲ＥとマーカＭにより示される撮影範囲との間の水平方向の間隔が左Ｐx1と右Ｐx2とで等しく、垂直方向の間隔も上Ｐy1と下Ｐy2とで等しいものとする。上記の条件を満たす例において投影範囲Ｅの水平方向の最大ピクセル数をＮx、垂直方向の最大ピクセル数をＮy とし、上記Ｐx1，Ｐx2及びＰy1，Ｐy2のピクセル数をそれぞれＦx ，Ｆyとし、さらにプロジェクタ３ａが投影領域Ｅに投影する場合の水平方向の投影画角をθx、垂直方向の投影画角をθyとすると、水平方向の画角θx′と垂直方向の投影画角θy′は以下の式で求められる。
【数１】
2014175671.tif 000003
【００４８】
プロジェクト制御部１０３ａは、続いてステップＳ３７ａに移行し、プロジェクタ３ａを投影モードから撮影時モードに変更する。例えば、プロジェクタ３ａの投影動作を停止させるか、又はマーカＭが投影されないように全面白色光を発光する状態に変更する。このようにすることで、プロジェクタ３ａの投影画像に含まれるマーカＭの画像がカメラ画像に写り込むことを防止できる。  
プロジェクト制御部１０３ａは、最後にステップ３９ａにおいて、上記計算された投影画角θx′，θy′を表す情報を投影領域画像作成部１０４ａに与える。
【００４９】
投影領域画像作成部１０４ａは、上記プロジェクト制御部１０３ａから投影画角θx′，θy′を表す情報を受け取ると、図８に示すように先ずステップＳ４１ａにおいて、撮影領域画像のピクセル数を決定する処理を以下のように行う。
【００５０】
すなわち、投影領域画像作成を行うために、仮定するピンホールカメラの水平・垂直方向のピクセル数と原点から画像面までの距離（焦点距離）を決定する。撮影画角が投影画角と一致する場合、ピクセル数と焦点距離は任意に決定することができる。例えば、複数のカメラ２１ａ〜２ｎａのうちの任意のカメラのパラメータをもとに決定する場合、当該任意のカメラの焦点距離がｆ″、水平方向と垂直方向のカメラ画角がθx″，θy″、水平方向と垂直方向のピクセル数がＮx″，Ｎy″、上記プロジェクタ制御部１０３ａから受け取った投影画角の水平、垂直各方向の投影角がθx′，θy′である場合、投影領域画像の水平、垂直各方向の各ピクセル数Ｎx′，Ｎy′、及び焦点距離ｆ′は以下のように決定できる。  
【数２】
2014175671.tif 000004
【００５１】
投影領域画像作成部１０４ａは、次にステップＳ４２ａにおいて、公知手法である多視点カメラの中間視点画像生成の手法を用いて、投影領域画像データを生成する。例えば、図３に示したように２台のカメラ２ａ，２ａを用いる場合、カメラ２ａ，２ａの各光軸４ａ，４ａとプロジェクタ３ａの投影光の中心軸４ａは同一の直交線分上に配置されているので、仮想的なピンホールカメラによる中間視点画像を次の条件で算出することで、投影領域画像の生成が可能である。
【００５２】
すなわち、求める中間視点の条件とは、水平、垂直各方向の投影角がθx′，θy′、焦点距離がｆ′で、水平、垂直各方向のピクセル数が数Ｎx′，Ｎy′、プロジェクタ３ａの位置及び方向と同一の位置及び方向である中間視点である。このように条件を設定し中間視点画像を得ることで、求めたい投影領域撮影画像と中間視点画像は同一となる。
【００５３】
投影領域画像作成部１０４ａは、上記投影領域撮影画像、つまりカメラ撮影画像の投影用画像データの生成が終了すると、ステップＳ４３ａにより、当該生成されたカメラ画像の投影用画像データを、投影画像変更命令と共にプロジェクタ制御部１０３ａへ出力する。
【００５４】
プロジェクタ制御部１０３ａは、上記投影領域画像作成部１０４ａから投影画像変更命令を受け取ると、図７に示すようにステップＳ３３ａからステップＳ３６ａに移行する。そして、上記投影画像変更命令と共に投影領域画像作成部１０４ａから受け取ったカメラ画像の投影用画像データをプロジェクタ３ａに供給する。この結果、プロジェクタ３ａから被写体の空間へ、カメラ２ａ，２ａにより撮影された画像が投影される。  
したがって、ユーザはいま自身が撮影を行った被写体空間の同一位置において、自身が撮影したカメラ画像をプロジェクタ３ａの投影像により確認することが可能となる。
【００５５】
（効果）
以上詳述したように第１の実施形態では、複数のカメラを備えた撮影装置にあって、以下のような工夫を行っている。すなわち、筐体の一端側面部の中央にプロジェクタ３ａを配置すると共にその両脇にカメラ２ａ，２ａを配置し、その配置位置を、プロジェクタ３ａの投影光の中心軸４ａとカメラ２ａ，２ａの各光軸５ａ，５ａが互いに平行し、かつ各カメラ２ａ，２ａの光軸５ａ，５ａ間に当該光軸５ａ，５ａと直交する直線を設定したとき、プロジェクタ３ａの投影光の中心軸４ａがこの直線を通るように設定する。そして、撮影に際し、先ずプロジェクタ３ａによりマーカＭで撮影範囲を示した投影領域画像を被写体に向け投影する。この状態で、カメラ２ａ，２ａにより上記被写体を撮影し、その各撮影画像データと、予め位置・方向データ記憶部１０５ａに記憶しておいたカメラ２ａ，２ａ及びプロジェクタ３ａの位置と方向の関係を表すデータをもとに、プロジェクタ３ａによる投影と位置及び方向が一致するように変換した仮想的な中間視点画像を生成して、この中間視点画像をフィードバック画像としてプロジェクタ３ａにより投影するようにしている。
【００５６】
したがって、被写体の位置、撮影する構図を視認するファインダ位置、及び実際に撮影された画像のフィードバック表示位置が同一位置になり、これによりユーザが撮影時及び撮影画像確認時において視野を制限されないようにすることができる。また、複数のカメラ２ａ，２ａにより撮影された画像データと、予め記憶されたカメラ２ａ，２ａ及びプロジェクタ３ａの位置と方向の関係を表すデータをもとに、仮定したピンホールカメラの撮影画像が生成されて、この撮影画像がフィードバック画像としてプロジェクタ３ａにより投影されるので、プロジェクタ３ａの照度、環境光の状態及びプロジェクタ３ａの投影先の形状等の影響を受け難くすることができる。
【００５７】
［第２の実施形態］
この発明の第２の実施形態は、原理において述べた、カメラとプロジェクタを可動式にする第２の方法に対応するものである。  
図１０は、この発明に係る撮影システムの第２の実施形態である携帯端末の構造を示す斜視図であり、（ａ）はその外観を、（ｂ）はその一端部をそれぞれ示している。  
この第２の実施形態の携帯端末１００ｂは例えばスマートホンからなり、板状の長方体よりなる筐体の上面に操作入力部１ｂを配置している。操作入力部１ｂはタッチパネル型の入力デバイスよりなる。
【００５８】
また、筐体内には図１０（ｂ）に示すように円筒体からなる可動部７ｂが収容されている。この可動部７ｂは、サーボモータ等のアクチュエータにより回動軸８ｂを中心に回動するように構成される。可動部７ｂの一端面には１台のカメラ２ｂとプロジェクタ３ｂが設置されている。カメラ２ｂ及びプロジェクタ３ｂの配置位置は、可動部７ｂの回動軸８ｂに対し点対称となるように、つまり回動軸８ｂに対し互いに１８０度離れた位置になるように設定される。また、プロジェクタ３ｂの投影光の中心軸４ｂと、カメラ２ｂの光軸５ｂは互いに平行するように設定される。
【００５９】
また、上記筐体の一側端面には矩形状をなす窓６ｂが設けられている。この窓６ｂは、上記可動部７ｂに設けられたプロジェクタ３ｂから出射された投影光を外部へ導出して被写体に向け投光する機能と、被写体の光学像を通過させてカメラ２ｂに導く機能を備える。
【００６０】
なお、カメラ２ｂは、撮像素子としてＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の固体撮像素子を使用したものを用いる。また、プロジェクタ３ｂは光源として例えば白色ＬＥＤ（Light-Emitting Diode）を使用したものを用いる。
【００６１】
図１１は、上記携帯端末１００ｂの機能構成を示すブロック図である。携帯端末１００ｂは、上記操作入力部１ｂ、カメラ２ｂ及びプロジェクタ３ｂに加え、第２の実施形態を実現するために必要な機能として、操作入力受付部１０１ｂと、カメラ制御部１０２ｂと、プロジェクタ制御部１０３ｂと、投影領域画像作成部１０４ｂと、可動制御部１０６ｂを備えている。これらの制御機能１０１ｂ、１０２ｂ、１０３ｂ、投影領域画像作成部１０４ｂ及び可動制御部１０６ｂは、何れも図示しないプログラムメモリに格納されたプログラムを図示しないプロセッサに実行させることにより実現される。
【００６２】
操作入力受付部１０１ｂは、操作入力部１ｂにおいてユーザがタッチ操作したとき、その操作入力情報を受信し解読する。操作入力情報には、カメラ２ｂに撮影を行わせる撮影指示情報と、プロジェクタ３ｂの投影範囲を拡大又は縮小するための投影領域変更指示情報がある。そして、解読結果が撮影指示情報の場合には、可動制御命令を可動制御部１０６ｂに与えると共に、カメラ制御命令をカメラ制御部１０２ｂに与える。一方、解読結果が投影領域変更指示情報の場合には、プロジェクタ制御命令をプロジェクタ制御部１０３ｂに与える。
【００６３】
可動制御部１０６ｂは、次の制御機能を有する。  
(1) 初期状態として、プロジェクタ３ｂが窓６ｂに対向するように可動部７ｂの位置を設定する機能。  
(2) 操作入力受付部１０１ｂから可動制御命令を受け取った場合に、可動部７ｂを１８０度回動させてカメラ２ｂが窓６ｂと対向するように制御する機能。  
(3) 後述する撮影領域画像作成部１０４ｂから可動制御命令を受け取った場合に、可動部７ｂを１８０度回動させてプロジェクタ３ｂが窓６ｂに対向するように制御する機能。
【００６４】
カメラ制御部１０２ｂは、上記操作入力受付部１０１ｂからカメラ制御命令が与えられ、かつ上記可動制御部１０６ｂから可動終了情報が出力された時点でカメラ２ｂに対し撮影命令を与え、カメラ２ｂに被写体を撮影させる。カメラ２ｂは、撮影により得られたカメラ画像データを、この撮影時におけるカメラの撮影画角を表す情報と共に投影領域画像作成部１０４ｂへ出力する。
【００６５】
投影領域画像作成部１０４ｂは、上記プロジェクタ制御部１０３ｂから送られた投影画角情報と、上記カメラ２ｂから送られたカメラ撮影画角情報とをもとに、上記カメラ２ｂから送られたカメラ画像データを投影するための投影領域画像データを生成する。そして、上記可動制御部１０６ｂに対しプロジェクタ３ｂを使用できるようにするための可動制御命令を出力し、しかるのちプロジェクタ制御部１０３ｂに対し上記生成された投影領域画像データをプロジェクタ制御命令と共に出力する。
【００６６】
プロジェクタ制御部１０３ｂは、以下の制御機能を有する。  
(1) 撮影領域画像作成部１０４ｂから、プロジェクタ制御命令としての投影画像変更命令と、マーカ画像を含む投影領域画像データを受信した場合に、投影制御命令と投影画像データをプロジェクタ３ｂに供給して、マーカ画像を含む投影画像を被写体に向け投影させる機能。  
(2) 上記操作入力受付部１０１ｂからプロジェクタ制御命令として投影領域変更命令を受信した場合に、当該投影領域変更命令に含まれる投影領域の拡大又は縮小の割合を表す情報をもとに投影領域のサイズを計算し直し、この計算し直された投影領域のサイズに応じて撮影領域を示すマーカ画像をリサイズする。そして、このリサイズ後の投影画像データをプロジェクタ３ｂに供給して投影させる機能。  
(3) 上記操作入力受付部１０１ｂからプロジェクタ制御命令として撮影状態移行命令を受信した場合に、撮影領域に応じた投影画角の計算を行う。そして、動作モードをプロジェクタによる投影モードからカメラによる撮影モードに移行したのち、上記計算された投影画角を表す情報を上記投影領域画像作成部１０４ｂに与える。
【００６７】
（動作）
次に、以上のように構成された携帯端末１００ｂの動作を説明する。  
図１２は操作入力受付部１０１ｂの処理手順と処理内容を示すフローチャート、図１３はプロジェクタ制御部１０３ｂの処理手順と処理内容を示すフローチャート、図１４は可動制御部１０６ｂの処理手順と処理内容を示すフローチャート、図１５は撮影領域画像作成部１０４ｂの処理手順と処理内容を示すフローチャートである。
【００６８】
（１）構図の決定支援
被写体が決まり、ユーザが携帯端末１００ｂのメニューのうち撮影モードを選択すると、先ずプロジェクタ制御部１０３ｂの制御の下、マーカにより撮影範囲を示した投影画像データがプロジェクタ３ｂに供給され、プロジェクタ３ｂから被写体に対して例えば図１に示したように撮影範囲画像が投影される。  
図９は、投影された画像を拡大して示したもので、Ｅは投影領域、Ｍはマーカを示している。なお、最初に投影される投影画像の投影領域Ｅ及びマーカＭのサイズは、予め定められたデフォルト値に設定されている。
【００６９】
この状態で、ユーザが上記撮影範囲の大きさを可変するべく、操作入力部１ｂにおいて投影範囲の拡大又は縮小操作を行ったとする。そうすると、操作入力受付部１０１ｂは、図１２に示すように先ずステップＳ１１ｂにおいて操作入力情報を解読し、操作入力の種類が「撮影操作」であるか否か判定する。この判定の結果、撮影操作でなければステップＳ１２ｂにおいて、操作入力の種類が上記した「投影範囲の拡大又は縮小操作」であるか否かを判定する。いま、操作の種類は投影範囲の拡大又は縮小操作であるため、操作入力受付部１０１ｂはステップＳ１４ｂによりプロジェクタ制御部１０３ｂに対し、拡大／縮小の倍率を表す情報含む撮影領域変更命令を与える。
【００７０】
プロジェクタ制御部１０３ｂは、上記撮影領域変更命令を受け取ると、図１３に示すように、ステップＳ３２ｂにより当該撮影領域変更命令を認識してステップＳ３５ｂに移行し、ここで先ず上記受信された投影領域変更命令に含まれる拡大／縮小倍率を表す情報をもとに投影領域のサイズを計算し直す。例えば８０％の縮小命令を受け取った場合には、現在の投影領域サイズに対して垂直方向と水平方向のピクセル数が８０％となるサイズを変更後の投影領域サイズとして算出する。
【００７１】
次にステップＳ３８ｂにおいて、上記計算し直された投影領域のサイズに応じて撮影領域を示すマーカ画像をリサイズする。例えば、投影領域サイズを拡大する場合には、撮影範囲を示すマーカの表示位置とサイズを拡大する。そして、このリサイズされた投影画像データを、ステップＳ４０ｂによりプロジェクタ３ｂに供給し投影させる。  
かくして、ユーザは投影領域、つまりマーカＭにより示される撮影範囲を自身の拡大／縮小操作により任意に調節することができる。すなわち、撮影時の構図を任意に決めることができる。
【００７２】
（２）被写体の撮影
以上のように構図が決まった後、ユーザが操作入力部１ｂにおいて撮影操作を行ったとする。そうすると操作入力受付部１０１ｂは、上記撮像操作をステップＳ１１ｂで認識し、ステップＳ１３ｂに移行する。そして、可動制御部１０６ｂに撮影のための可動制御命令を与える。可動制御命令を受け取ると可動制御部１０６ｂは、図１４に示すように先ずステップＳ６１ｂからステップＳ６３ｂに移行し、ここで可動部７ｂに可動操作命令を出力して、カメラ２ｂが窓６ｂと対向するまで可動部７ｂを回動させる。そして、カメラ２ｂが窓６ｂと対向する位置に設定され、可動部７ｂから可動終了応答を受け取ると、ステップＳ６４ｂからステップＳ６６ｂに移行してカメラ制御部１０２ｂに可動終了情報を送信する。
【００７３】
カメラ制御部１０２ｂは、上記操作入力受付部１０１ｂからカメラ制御命令が与えられ、さらに上記可動制御部１０６ｂから可動終了情報を受信すると、カメラ２ｂに対し撮影命令を与え、カメラ２ｂに被写体を撮影させる。カメラ２ｂは、撮影により得られたカメラ画像データを、この撮影時におけるカメラの撮影画角を表す情報と共に投影領域画像作成部１０４ｂへ出力する。
【００７４】
（３）撮影したカメラ画像の投影
プロジェクト制御部１０３ｂは、操作入力受付部１０１ｂから撮影状態移行命令を受信すると、ステップＳ３１ｂからステップＳ３４ｂに移行し、ここで先ず撮影領域に応じた投影画角の計算を以下のように実行する。  
すなわち、画角は水平方向と垂直方向の２方向において求められ、投影領域の画角計算は例えば次のように実現できる。図９はプロジェクタ３ｂにより投影された撮影領域の一例を示すものである。図９において、Ｅはプロジェクタ３ｂの最大投影範囲を示し、Ｍは上記投影範囲Ｅ内に描画された撮影範囲を示すマーカである。またＰx はプロジェクタ３ｂによる投影領域Ｅの水平方向の長さであり、Ｐy はプロジェクタ３ｂによる投影領域Ｅの垂直方向の長さを示す。
【００７５】
このとき、図９に示すように投影範囲Ｅ内においてマーカＭにより示される任意の矩形領域からなる撮影範囲において、次の条件を満たす例を考える。投影範囲ＥとマーカＭにより示される撮影範囲との間の水平方向の間隔が左Ｐx1と右Ｐx2とで等しく、垂直方向の間隔も上Ｐy1と下Ｐy2とで等しいものとする。上記の条件を満たす例において投影範囲Ｅの水平方向の最大ピクセル数をＮx、垂直方向の最大ピクセル数をＮy とし、上記Ｐx1，Ｐx2及びＰy1，Ｐy2のピクセル数をそれぞれＦx ，Ｆyとし、さらにプロジェクタ３ｂが投影領域Ｅに投影する場合の水平方向の投影画角をθx、垂直方向の投影画角をθyとすると、水平方向の画角θx′と垂直方向の投影画角θy′は以下の式で求められる。
【数３】
2014175671.tif 000005
【００７６】
プロジェクト制御部１０３ｂは、続いてステップＳ３７ｂに移行し、プロジェクタ３ｂを投影モードから撮影時モードに変更する。例えば、プロジェクタ３ｂの投影動作を停止させるか、又はマーカＭが投影されないように全面白色光を発光する状態に変更する。このようにすることで、プロジェクタ３ｂの投影画像に含まれるマーカＭの画像がカメラ画像に写り込むことを防止できる。  
プロジェクト制御部１０３ｂは、最後にステップ３９ｂにおいて、上記計算された投影画角θx′，θy′を表す情報を投影領域画像作成部１０４ｂに送る。
【００７７】
投影領域画像作成部１０４ｂは、上記プロジェクト制御部１０３ｂから投影画角θx′，θy′を表す情報を送られると、ステップＳ４１ｂにおいて当該投影画角θx′，θy′を表す情報を受け取ると共に、上記カメラ２ｂから送られたカメラ撮影画角情報を受け取る。そして、この受け取った投影画角θx′，θy′と、カメラ撮影画角情報をもとに、先にカメラ２ｂから送られたカメラ撮影画像データを投影するための投影領域画像データを生成する。
【００７８】
例えば、カメラ撮影画像の水平方向と垂直方向のピクセル数がＮx″，Ｎy″、水平方向と垂直方向のカメラ撮影画角がθx″，θy″、上記プロジェクタ制御部１０３ｂから受け取った投影画角の水平、垂直各方向の投影角がθx′，θy′である場合、投影領域画像の水平、垂直各方向の各ピクセル数Ｎx′，Ｎy′は次の様に決定できる。  
【数４】
2014175671.tif 000006
【００７９】
従って、水平方向のピクセル数がＮx′、垂直方向のピクセル数がＮy′となる長方形領域を、長方形の対角線の交点がカメラ撮影画像の画像中心と一致するように選択した場合の画像が、求める投影領域画像となる。
【００８０】
上記投影領域画像の生成が終了すると投影領域画像作成部１０４ｂは、ステップＳ４２ｂで可動制御部１０６ｂに対し可動制御命令を出力し、しかるのちステップＳ４３ｂにおいて上記生成された投影領域画像、つまりカメラ撮影画像の投影用画像データを、投影画像変更命令と共にプロジェクタ制御部１０３ｂへ出力する。
【００８１】
プロジェクタ制御部１０３ｂは、上記投影領域画像作成部１０４ｂから投影画像変更命令を受け取ると、図１３に示すようにステップＳ３３ｂからステップＳ３６ｂに移行する。そして、上記投影画像変更命令と共に投影領域画像作成部１０４ｂから受け取ったカメラ画像の投影用画像データをプロジェクタ３ｂに供給する。この結果、プロジェクタ３ｂから被写体が存在する空間へ、カメラ２ｂにより撮影された画像が投影される。  
したがって、ユーザはいま自身が撮影を行った被写体空間の同一位置において、自身が撮影したカメラ画像をプロジェクタ３ｂの投影像により確認することが可能となる。
【００８２】
（効果）
以上詳述したように第２の実施形態では、１台のカメラ２ｂとプロジェクタ３ｂを円筒状の可動部７ｂに装着して回動させることにより択一的に窓６ｂから露出するように構成している。また撮影に際し、先ずプロジェクタ３ｂによりマーカＭで撮影範囲を示した投影領域画像を被写体に向け投影し、この状態でカメラ２ｂにより上記被写体を撮影する。そして、カメラ２ｂの撮影画角とプロジェクタ３ｂの投影画角をもとに、プロジェクタ３ｂによる投影位置の中心とカメラ撮影画像の画像中心とが一致するように調整したカメラ撮影画像の投影用画像を生成して、このカメラ撮影画像の投影用画像をフィードバック画像としてプロジェクタ３ｂにより投影するようにしている。
【００８３】
したがって、被写体の位置、撮影する構図を視認するファインダ位置、及び実際に撮影された画像のフィードバック表示位置が同一位置になり、これによりユーザが撮影時及び撮影画像確認時において視野を制限されないようにすることができる。また、１台のカメラ２ｂとプロジェクタ３ｂを円筒状の可動部７ｂに装着して回動させることにより択一的に窓６ｂから露出するように構成され、さらにカメラ２ｂの撮影画角とプロジェクタ３ｂの投影画角をもとに、プロジェクタ３ｂによる投影位置の中心とカメラ撮影画像の画像中心とが一致するように調整したカメラ撮影画像の投影用画像が生成され、この投影画像がフィードバック画像としてプロジェクタ３ｂにより投影されるので、プロジェクタ３ｂの照度、環境光の状態及びプロジェクタ３ｂの投影先の形状等の影響を受け難くすることができる。
【００８４】
［第３の実施形態］
図１６は、この発明に係る撮影システムの第３の実施形態である携帯端末の構造を示す斜視図であり、（ａ）はその外観を、（ｂ）はその一端部をそれぞれ示している。  
この第３の実施形態の携帯端末１００ｃも、前記第２の実施形態と同様に、例えばスマートホンからなり、板状の長方体よりなる筐体の上面にタッチパネル型の入力デバイスよりなる操作入力部１ｃを配置している。
【００８５】
また、筐体内には図１６（ｂ）に示すように直方体からなる可動部７ｃが収容されている。この可動部７ｃは、サーボモータ等のアクチュエータにより図中の水平方向にスライド移動するように構成される。可動部７ｃの一端面には１台のカメラ２ｃとプロジェクタ３ｃが一定の間隔を隔てて設置されている。カメラ２ｃ及びプロジェクタ３ｃの配置位置は可動部７ｃのスライド軸上に設定されている。また、プロジェクタ３ｃの投影光の中心軸４ｃと、カメラ２ｃの光軸５ｃは互いに平行するように設定される。
【００８６】
また、携帯端末１００ｃの上記筐体の一側端面には、矩形状をなす窓６ｃが設けられている。この窓６ｃは、上記可動部７ｃに設けられたプロジェクタ３ｃから出射された投影光を外部へ導出して被写体に向け投光する機能と、被写体の光学像を通過させてカメラ２ｃに導く機能を備える。
【００８７】
このような構成であるから、先に述べた第２の実施形態と同様に、可動制御部の制御の下、マーカＭにより撮影範囲が示された投影画像をプロジェクタ３ｃにより投影するときには、プロジェクタ３ｃが窓６ｃと対向する位置に設定される。そして、この状態で操作入力部１ｃにおいて撮影操作が行われ、これにより撮影モードに遷移すると、可動部７ｃが水平方向にスライド移動してカメラ２ｃが窓６ｃと対向する位置に設定され、撮影が可能となる。また、撮影が終了すると、可動部７ｃが水平方向の逆方向にスライド移動してプロジェクタ３ｃが窓６ｃと対向する位置に設定され、上記カメラ２ｃにより撮影されたカメラ撮影画像の投影像がプロジェクタ３ｃから投影される。なお、このカメラ撮影画像を投影する際に、カメラ撮影画像と投影画像の画角中心を一致させるための処理が行われる点は、先に述べた第２の実施形態と同様である。
【００８８】
したがって、第３の実施形態においても、被写体の位置、撮影する構図を視認するファインダ位置、及び実際に撮影された画像のフィードバック表示位置が同一位置になり、これによりユーザが撮影時及び撮影画像確認時において視野を制限されないようにすることができる。また、１台のカメラ２ｃとプロジェクタ３ｃを、長方体の可動部７ｃに装着してスライド移動させることにより択一的に窓６ｃから露出させるように構成され、さらにカメラ２ｃの撮影画角とプロジェクタ３ｃの投影画角をもとに、プロジェクタ３ｃによる投影位置の中心とカメラ撮影画像の画像中心とが一致するように調整したカメラ撮影画像の投影用画像が生成され、この投影画像がフィードバック画像としてプロジェクタ３ｃにより投影されるので、プロジェクタ３ｃの照度、環境光の状態及びプロジェクタ３ｃの投影先の形状等の影響を受け難くすることができる。
【００８９】
［その他の実施形態］
前記各実施形態ではプロジェクタとカメラを同一筐体に収容した場合を例にとって説明したが、別々の筐体に収容してもよい。また、図４等に示した各制御部の機能を携帯端末等の情報端末装置に持たせ、プロジェクタとカメラをこの情報端末装置の筐体に所定の位置関係を保った状態で外付けするように構成してもよい。
【００９０】
その他、撮影装置の種類やその構成、投影及び撮影等に係る処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。  
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【符号の説明】
【００９１】
Ｕ…ユーザ、１ａ，１ｂ，１ｃ…操作入力部、２ａ…カメラ部、２１ａ〜２１ｎ，２ｂ，２ｃ…カメラ、３ａ，３ｂ，３ｃ…プロジェクタ、４ａ，４ｂ，４ｃ…カメラの光軸、５ａ，５ｂ，５ｃ…プロジェクタの光軸、７ｂ，７ｃ…可動部、１０１ａ，１０１ｂ…操作入力受付部、１０２ａ，１０２ｂ…カメラ制御部、１０３ａ，１０３ｂ…プロジェクタ制御部、１０４ａ，１０４ｂ…投影領域画像作成部、１０５ａ…位置・方向データ記憶部１０６ｂ…可動制御部、１００ａ，１００ｂ，１００ｃ…携帯端末。
【図１】
2014175671.tif 000007
【図２】
2014175671.tif 000008
【図３】
2014175671.tif 000009
【図４】
2014175671.tif 000010
【図５】
2014175671.tif 000011
【図６】
2014175671.tif 000012
【図７】
2014175671.tif 000013
【図８】
2014175671.tif 000014
【図９】
2014175671.tif 000015
【図１０】
2014175671.tif 000016
【図１１】
2014175671.tif 000017
【図１２】
2014175671.tif 000018
【図１３】
2014175671.tif 000019
【図１４】
2014175671.tif 000020
【図１５】
2014175671.tif 000021
【図１６】
2014175671.tif 000022