(57)【要約】【課題】屋外風景の画像と対象物の画像を合成する際の両画像の光源を容易な手法で一致させる。【解決手段】カメラ１２で屋外風景を撮影し、その画像を撮影の場所、カメラ１２の視線方向、撮影の日時に関連付けてデータベース１１に格納しておく。そして、指定された場所、カメラの視線方向、日時に基づいて擬似光源の位置を算出し、この位置に配置された光源を用いて対象物をカメラ１４で撮影して対象物画像１５を得るとともに、指定された場所、カメラの視線方向、日時に対応する屋外風景の画像１６をデータベース１１から取得し、これら対象物画像１５と屋外風景画像１６を合成する。【選択図】図２
2006237736.tif 000002
【特許請求の範囲】
【請求項１】
屋外風景の場所、カメラの視線方向、日時の指定を受け付けてメモリに記憶させる指定受付手段と、
指定された場所、日時をメモリから読み出し、これらの情報に基づいて当該場所および当該日時における太陽の位置を計算してメモリに記憶させる太陽位置計算手段と、
太陽位置および視線方向をメモリから読み出し、これらの情報に基づいて擬似光源の位置を計算してメモリに記憶させる擬似光源位置計算手段と、
メモリから読み出された擬似光源の位置に配置された光源を用いて対象物の画像を撮影してメモリに記憶させる撮影手段と、
指定された場所、視線方向、日時に対応する屋外風景の画像を取得する取得手段と、
撮影した対象物の画像をメモリから読み出して取得した屋外風景の画像と合成する合成手段と、
を有することを特徴とする画像合成システム。
【請求項２】
屋外風景の画像を、その場所、撮影したカメラの視線方向、撮影の日時を含む関連情報に関連付けて格納しておく格納手段を有し、
前記取得手段は、指定された場所、視線方向、日時に関連情報が対応する屋外風景の画像を前記格納手段から取得することを特徴とする請求項１記載の画像合成システム。
【請求項３】
前記取得手段は、撮影中のカメラから伝送されてくる画像を取得するものであって、
前記指定受付手段は、撮影中のカメラの場所、視線方向、撮影の日時を指定された情報として受け付けることを特徴とする請求項１記載の画像合成システム。
【請求項４】
前記取得手段は、指定された場所、視線方向、日時に対して関連情報が一致する屋外風景の画像が前記格納手段にある場合には当該画像を取得し、ない場合には指定された場所、視線方向、日時に対して関連情報が一定の範囲内にある屋外風景の画像を前記格納手段から取得するものであって、
前記指定受付手段は、当該屋外風景の画像についての関連情報を指定された情報として受け付けることを特徴とする請求項２記載の画像合成システム。
【請求項５】
屋外風景の場所、カメラの視線方向、日時の指定を受け付けてメモリに記憶させるステップと、
指定された場所、日時をメモリから読み出し、これらの情報に基づいて当該場所および当該日時における太陽の位置を計算してメモリに記憶させるステップと、
太陽位置および視線方向をメモリから読み出し、これらの情報に基づいて擬似光源の位置を計算してメモリに記憶させるステップと、
メモリから読み出された擬似光源の位置に配置した光源を用いて撮影された対象物の画像をメモリに記憶させるステップと、
指定された場所、視線方向、日時に対応する屋外風景の画像を取得するステップと、
撮影した対象物の画像をメモリから読み出して取得した屋外風景の画像と合成するステップと、
を有することを特徴とする画像合成方法。
【請求項６】
屋外風景の場所、カメラの視線方向、日時の指定を受け付けてメモリに記憶させる処理と、
指定された場所、日時をメモリから読み出し、これらの情報に基づいて当該場所および当該日時における太陽の位置を計算してメモリに記憶させる処理と、
太陽位置および視線位置をメモリから読み出し、これらの情報に基づいて擬似光源の位置を計算してメモリに記憶させる処理と、
メモリから読み出された擬似光源の位置に配置した光源を用いて撮影された対象物の画像をメモリに記憶させる処理と、
指定された場所、視線方向、日時に対応する屋外風景の画像を取得するステップと、
撮影した対象物の画像をメモリから読み出して取得した屋外風景の画像と合成する処理と、
をコンピュータに実行させることを特徴とする画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、屋外風景の画像と対象物の画像を合成する画像合成システム、方法、プログラムに関する。
【背景技術】
【０００２】
コンピュータの急速な普及とコンピュータネットワークの広まりに伴って、画像をデジタル化し、コンピュータ上で扱うことが一般的になっている。デジタル化された画像は、再利用性に優れており、新規に作成せずとも既に存在するものを利用して画像を作成するといった画像再利用の試みが多く行われている。そして、情景や対象物を撮影した画像（以下「画像Ａ」という）と、別の対象物を撮影した画像（以下「画像Ｂ」という）とを組み合わせて画像を合成することが行われている。
【０００３】
例えば、特許文献１では、他の対象物を撮影する際に、背景情報を除去し、対象物だけを取り出して画像Ｂとし、これを画像Ａと組み合わせる画像合成装置が開示されている。このような画像合成は、特殊撮影を用いた映画などで広く用いられている。
【０００４】
一方で、画像合成においては、画像Ａと画像Ｂの光源の位置が一致していないと影の方向が異なり、不自然な感覚を与えることが知られている。こうした光源の差を想定し、予め光源の情報を計算した状態で画像Ａ及び画像Ｂを撮影した場合には、光源の差の問題は生じないが、事前の撮影計画が非常に煩雑になる。
【０００５】
より手軽に合成画像を得るニーズとしては、例えば、遠隔地等のアクセスが困難な場所における屋外風景を撮影した画像と人物等の対象物を撮影した画像とを合成し、実際にはその場所にいないのに、その場所にいたような画像を作成する用途がある。あるいは、対象物が遠隔地へ移動したにも関わらず、天候に恵まれなかったり他の人物等が障害物になるような悪条件によって、遠隔地の屋外風景と希望する対象物だけを組み合わせた画像の撮影ができない場合に、事前に良好な条件下で撮影しておいた屋外風景の画像と対象物の画像とを組み合わせて合成する用途等が想定される。
【特許文献１】登録実用新案第３０４３０７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような用途においては、遠隔地の屋外風景を撮影する日時がいつになるかバリエーションに富むことが多く、光源が一致している屋外風景の画像および対象物の画像を計画的に撮影することが難しいという問題がある。
【０００７】
本発明は、上記に鑑みてなされたものであり、その課題とするところは、屋外風景の画像と対象物の画像を合成する際の両画像の光源を容易な手法で一致させることにある。
【課題を解決するための手段】
【０００８】
第１の本発明に係る画像合成システムは、屋外風景の場所、カメラの視線方向、日時の指定を受け付けてメモリに記憶させる指定受付手段と、指定された場所、日時をメモリから読み出し、これらの情報に基づいて当該場所および当該日時における太陽の位置を計算してメモリに記憶させる太陽位置計算手段と、太陽位置および視線方向をメモリから読み出し、これらの情報に基づいて擬似光源の位置を計算してメモリに記憶させる擬似光源位置計算手段と、メモリから読み出された擬似光源の位置に配置された光源を用いて対象物の画像を撮影してメモリに記憶させる撮影手段と、指定された場所、視線方向、日時に対応する屋外風景の画像を取得する取得手段と、撮影した対象物の画像をメモリから読み出して取得した屋外風景の画像と合成する合成手段と、を有することを特徴とする。
【０００９】
本発明にあっては、指定された場所、カメラの視線方向、日時における太陽光源を再現するための擬似光源の位置を計算し、この位置に光源を配置して対象物を撮影するとともに、指定された場所、カメラの視線方向、日時に対応する屋外風景の画像を取得し、これら対象物の画像と屋外風景の画像とを合成することで、光源が一致した合成画像の生成を可能にしている。
【００１０】
上記画像合成システムは、さらに屋外風景の画像をその場所、撮影したカメラの視線方向、撮影の日時を含む関連情報に関連付けて格納しておく格納手段を有し、前記取得手段は、指定された場所、視線方向、日時に関連情報が対応する屋外風景の画像を前記格納手段から取得することを特徴とする。
【００１１】
本発明にあっては、屋外風景の画像を予め撮影しておき、この画像を場所、視線方向、日時に関連付けて予め格納手段に記憶しておくことで、屋外風景の画像の取得を容易にしている。格納手段としては、データベース、ストレージ、アセット管理システム等が考えられる。
【００１２】
上記画像合成システムにおいて、前記取得手段は、撮影中のカメラから伝送されてくる画像を取得するものであって、前記指定受付手段は、撮影中のカメラの場所、視線方向、撮影の日時を指定された情報として受け付けることを特徴とする。
【００１３】
本発明にあっては、撮像中のカメラから伝送されてくる屋外風景の画像を取得し、この画像の場所、視線方向、日時を指定された情報として受け付けることで、リアルタイムの屋外風景画像と対象物の画像との合成を可能にしている。
【００１４】
上記画像合成システムにおいて、前記取得手段は、指定された場所、視線方向、日時に対して関連情報が一致する屋外風景の画像が前記格納手段にある場合には当該画像を取得し、ない場合には指定された場所、視線方向、日時に対して関連情報が一定の範囲内にある屋外風景の画像を前記格納手段から取得するものであって、前記指定受付手段は、当該屋外風景の画像についての関連情報を指定された情報として受け付けることを特徴とする。
【００１５】
本発明にあっては、あらゆる場所、視線方向、日時の屋外風景の画像を撮影し記憶しておくことは困難である一方、場所、視線方向、日時が多少ずれたとしても太陽光源の位置に大きな変化はないことから、記憶しておく屋外風景の画像は代表的なものだけとし、指定された場所、視線方向、日時に関連情報が一致する屋外風景の画像が格納手段にない場合には、一定の範囲内にある類似の屋外風景の画像を取得することで、対象物の画像と屋外風景の画像とで光源の位置が非常に近い合成画像の生成を可能にするとともに、屋外風景の画像データ量を削減し、画像検索の際の演算量の低減を図る。
【００１６】
第２の本発明に係る画像合成方法は、屋外風景の場所、カメラの視線方向、日時の指定を受け付けてメモリに記憶させるステップと、指定された場所、日時をメモリから読み出し、これらの情報に基づいて当該場所および当該日時における太陽の位置を計算してメモリに記憶させるステップと、太陽位置および視線方向をメモリから読み出し、これらの情報に基づいて擬似光源の位置を計算してメモリに記憶させるステップと、メモリから読み出された擬似光源の位置に配置した光源を用いて撮影された対象物の画像をメモリに記憶させるステップと、指定された場所、視線方向、日時に対応する屋外風景の画像を取得するステップと、撮影した対象物の画像をメモリから読み出して取得した屋外風景の画像と合成するステップと、を有することを特徴とする。
【００１７】
第３の本発明に係る画像合成プログラムは、屋外風景の場所、カメラの視線方向、日時の指定を受け付けてメモリに記憶させる処理と、指定された場所、日時をメモリから読み出し、これらの情報に基づいて当該場所および当該日時における太陽の位置を計算してメモリに記憶させる処理と、太陽位置および視線位置をメモリから読み出し、これらの情報に基づいて擬似光源の位置を計算してメモリに記憶させる処理と、メモリから読み出された擬似光源の位置に配置した光源を用いて撮影された対象物の画像をメモリに記憶させる処理と、指定された場所、視線方向、日時に対応する屋外風景の画像を取得するステップと、撮影した対象物の画像をメモリから読み出して取得した屋外風景の画像と合成する処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、屋外風景の画像と対象物の画像を合成する際に両画像の光源を容易に一致させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を用いて説明する。
【００２０】
図１は、本実施の形態における画像合成システムの構成を示す機能ブロック図である。本画像合成システムは、合成対象となる屋外風景を撮影したときの太陽光源の位置を算出し、比較的光源の位置を変更し易い人物等の対象物を撮影する際に、太陽光源と位置が一致する擬似光源を用いて撮影し、これらの屋外風景の画像と対象物の画像を組み合わせて合成することで、両画像の光源が一致した合成画像を容易に生成可能としたものである。なお、ここでいう画像とは、静止画像、動画像のいずれでもよいものである。
【００２１】
図１に示すように、本画像合成システムは、場所指定受付部１、日時指定受付部２、視線方向指定受付部３、太陽位置計算部４、擬似光源位置計算部５、光源再現部６、対象物撮影部７、屋外風景取得部８、合成部９を有する。本画像合成システムは、基本的にはコンピュータで構成されるものであり、各部の処理はプログラムによって実行される。以下では、まず各部の処理の概略について説明する。
【００２２】
場所指定受付部１は、屋外風景の場所の指定を受け付けてメモリに記憶させる。日時指定受付部２は、撮影の日時の指定を受け付けてメモリに記憶させる。視線方向指定受付部３は、屋外風景の場所におけるカメラの視線方向の指定を受け付けてメモリに記憶させる。各指定受付部については様々な変形例が考えられるので、詳細については後述する。
【００２３】
太陽位置計算部４は、場所、日時をメモリから読み出し、これらの情報に基づいて、指定された場所および日時における太陽の位置を計算してメモリに記憶させる。この具体的な計算手法については後述する。
【００２４】
擬似光源位置計算部５は、太陽位置および視線方向をメモリから読み出し、これらの情報に基づいて擬似光源の位置を算出してメモリに記憶させる。擬似光源の位置の具体的な算出手法については後述する。
【００２５】
光源再現部６は、メモリから読み出した擬似光源位置に光源を配置する。擬似光源は、人物等の対象物を撮影する際に、太陽と同じリズム／軌道の明るい光を太陽と同じ角度で照射することで実現される。擬似光源の再現は、算出された位置に光源が自動的に設定されるように、クレーン等を用いて光源を機械的に移動させても良いし、スタンドや三脚などの道具を用いてもよい。また、光源を手で持ち上げたり各種の道具を使うなどして、手動により光源を算出された位置に設定するようにしてもよい。
【００２６】
対象物撮影部７は、擬似光源位置に配置された光源を用いて対象物の画像を撮影してメモリに記憶させる。対象物撮影部７は、例えば静止画あるいは動画を撮影可能なカメラとする。
【００２７】
屋外風景取得部８は、指定された場所、視線方向、日時に対応する屋外風景の画像を取得する。この取得手法については、データベースから取得したり、あるいは撮影中の画像を伝送によって取得する等、様々な変形が考えられるので、詳細については後述する。
【００２８】
合成部９は、メモリから読み出した対象物の画像と取得した屋外風景の画像とを合成する。
【００２９】
次に、本画像合成システムの様々な用途を実施例として示しながら、各部の処理について詳細に説明する。
【００３０】
図２は、第１実施例の処理を示す図である。ここでは、屋外風景をカメラ１２で撮影した画像を、撮影した場所（緯度、経度）、日時、カメラ１２の視線方向といった関連情報に関連付けて予めデータベース１１に記憶しておく。理想的には、あらゆる場所／日時／視線方向の画像を記憶しておくことが望ましい。
【００３１】
場所指定受付部１に指定する情報としては、例えば、予め緯度と経度が分かっている場所を人が指定してもよいし、任意の緯度と経度を指定してもよい。ただし、あらゆる緯度、経度の場所について撮影することは現実的ではないので、実際には、代表となる場所について撮影することになる。そこで、データベース１１では、場所の代表名、その緯度、経度の組み合わせを候補として記憶しておき、場所指定受付部１により、これらの候補の中から場所を選択できるようにしてもよい。
【００３２】
視線方向指定受付部３、日時指定受付部２に指定する情報についても、視線方向、日時を人が任意に指定可能としてもよい。ただし、視線方向、日時についても予め全ての視線方向、日時の画像を撮影することは困難であるので、視線方向に制約を与えて撮影したり、一定間隔の日時で撮影することになる。そこで、データベース１１には、このようにして撮影された画像の視線方向、日時の組み合わせを候補として記憶しておき、視線方向指定受付部３、日時指定受付部２により、これらの候補の中から視線方向と日時を選択できるようにしてもよい。
【００３３】
太陽位置計算部４は、このようにして場所指定受付部１、日時指定受付部２がそれぞれ受け付けた場所および日時に基づいて太陽位置を計算する。擬似光源位置計算部５は、算出された太陽位置および視線方向指定受付部３が受け付けた視線方向に基づいて擬似光源の位置を計算する。対象物撮影部７のカメラ１３は、算出した擬似光源位置に配置された光源１４を用いて対象物画像１５を撮影する。
【００３４】
一方、屋外風景取得部８は、場所指定受付部１、日時指定受付部２、視線方向指定受付部３で受け付けた場所／日時／視線方向を検索条件としてデータベース１１を検索し、これらの情報に対応する屋外風景画像１６を検索結果として取得する。合成部９は、これら対象物画像１５と屋外風景画像１６を合成して合成画像１７を生成する。
【００３５】
本システムの最も想定される利用の仕方は次の通りである。まず、視線方向を固定し或いはある程度制約を与えた定点カメラで、定期的かつ継続的に屋外風景を撮影してデータベース１１に記憶する。合成画像の作成を所望する利用者は、訪れた場所あるいは訪れる予定の場所、その日時、カメラの視線方向を場所指定受付部１、日時指定受付部２、視線方向指定受付部３を用いてそれぞれ指定する。この場合、各指定受付部としては、キーボードやマウス等のヒューマンインタフェースが用いられる。
【００３６】
また、利用者は、指定した場所、日時、視線方向における太陽光源の位置を擬似光源によって再現可能なスタジオ等の撮影環境で、利用者本人や他の人物その他の対象物について対象物撮影部７を用いた撮影をさせる。そして、利用者は、合成部９が生成した対象物画像と屋外風景画像を組み合わせた合成画像を受け取る。
【００３７】
図３は、第２実施例の処理を示す図である。ここでは、カメラ１２は、撮影中の屋外風景画像２１をその撮影の場所、日時、カメラ１２の視線方向といった関連情報と共に本システムに伝送する。この伝送は有線で行ってもよいし無線で行ってもよい。また、この伝送はリアルタイムとすることが望ましいが、完全なリアルタイムを保証する必要はない。
【００３８】
屋外風景取得部８は、伝送されてきた撮像中の画像を取得する。場所指定受付部１は、伝送されたきた関連情報の場所を指定された場所として受け付ける。日時指定受付部２、視線方向指定受付部３も、伝送されてきた関連情報の日時、視線方向をそれぞれ指定された日時、視線方向として受け付ける。
【００３９】
このようにして受け付けた場所／日時／視線方向の情報を用いて、太陽位置計算部４、擬似光源位置計算部５、光源再現部６、対象物撮影部７は、第１の実施例と同様の処理をそれぞれ行って対象物画像２２を撮影する。合成部９は、屋外風景取得部８が取得した屋外風景画像２１と撮影された対象物画像２２とを合成して合成画像２３を生成する。
【００４０】
図４は、第３実施例の処理を示す図である。第３実施例は、第１実施例を基本とするものであり、指定された場所、視線方向、日時と関連情報が一致する屋外風景の画像がデータベース１１にある場合には、屋外風景取得部８はその画像を取得し、ない場合には、指定された場所、視線方向、日時に対して関連情報が一定の範囲内にある屋外風景の画像をデータベース１１から取得する。
【００４１】
場所指定受付部１、日時指定受付部２、視線方向指定受付部３は、取得された屋外風景の画像に関連付けられている場所、視線方向、日時をデータベース１１から読み出し、指定された情報として受け付ける。
【００４２】
同図では、一例として、指定された日時（１２／２５の１２：００）に対応する屋外風景画像がデータベース１１に存在しなかった場合の処理を示している。この場合、屋外風景取得部８により、一日違いの１２／２６の１２：００の屋外風景画像１６をデータベース１１から取得すると共に、日時指定受付部２により、屋外風景画像１６に関連する日時をデータベース１１から読み出して、指定された日時として受け付ける。その他の処理については、第１実施例と同様であるので、ここでは説明を省略する。
【００４３】
第３実施例では、このように、指定された場所、日時、視線方向に一致する屋外風景画像がない場合に、これらの条件に類似した条件で撮影された屋外風景画像を取得する。条件の完全一致を要求しないのは、例えば太陽光源の位置は、仮に１日の差があったとしても大きく変わるものではなく、ほとんど無視できるからである。この他、例えば、１週間分程度の屋外風景画像を１日分の画像で代用させた場合でも、日時がほぼ等しければ太陽光源の位置もほぼ等しいことが期待できる。また、風景そのものも事故等により大きな変化がない限り、他の日付のもので代用することができる。日時、場所のほか、視線方向についても一定の範囲内のものであれば許容できる。
【００４４】
屋外風景画像が類似しているか否かの判断には、例えば次のような手法を適用することができる。まず、指定された場所、日時、視線方向に基づいて擬似光源位置計算部５により後述する手法で擬似光源の方位を算出する。一方、データベース１１に記憶されている屋外風景画像に関連付けられている場所、日時、視線方向に基づいて太陽位置計算部４により後述する手法で太陽光源の方位を算出する。この擬似光源の方位に対して、太陽光源の方位が例えば５度以下といった一定の閾値以下である場合には、その屋外風景画像は、太陽光源の条件としては類似した画像ということができる。よって、この屋外風景画像を代用可能とする。
【００４５】
このように、検索の条件を完全一致にしないことで、屋外風景画像については代表的なものだけをデータベース１１に記憶させておけば十分になるので、検索対象の画像データ量を削減でき、画像検索の際の演算量を低減することができる。
【００４６】
次に、太陽位置計算部４における処理について説明する。
【００４７】
太陽位置計算部４は、指定された場所情報（緯度と経度）および日時情報を用いて太陽光源の位置を算出する。ここでは計算を簡単にするために、ある場所における日の出時刻、日の入時刻、及び南中時刻（太陽が真南にくる時刻）の関係を整理し、水平面上の方向を日の入→南中→日の出の角速度から算出する。一方、仰角については、南中時における仰角と日の出、日の入の角度分布から算出する。
【００４８】
このことを踏まえて、まず測定点（基準点）Ｐにおける南中時刻の算出について図５を用いて説明する。ここでは、一例として北半球を前提とする。なお、いうまでもなく南半球で利用する場合には、南ではなく北を基準に考える。南半球で利用する場合については、逆補正をかけることで容易に取得できる情報であるため、詳細については説明を行わない。
【００４９】
測定点Ｐにおける南中時刻をＴｓ（時）、
測定点Ｐの経度をλ（東経は＋、西径は−）、
測定点Ｐの属する地域の標準時の経度をλ０（度）、
測定点Ｐにおける正午の太陽の均時差（太陽軌道の季節によるずれを補正する値）をΔＴ、
地球の時角（単位時間あたりの回転角度）をΔＨ、
とすると、測定点Ｐにおける南中時刻Ｔｓについて次の関係式が成立する。
【００５０】
Ｔｓ＝１２時−（λ−λ０）／ΔＨ−ΔＴ    （１）
このように、南中時刻Ｔｓは、経度λ、標準時基準経度λ０、時角ΔＨ＝３６０度／２４時間＝１５度、正午の近似差ΔＴを用いて算出することができる。なお、λ＝λ０、ΔＴを０とし、Ｔｓ＝１２時と想定し、目的に応じて近似解で処理しても構わない。
【００５１】
次に、日の出時刻、日の入時刻の算出について説明する。ここでは、日の出（日の入り）〜南中までの赤径（Ｈ度）を考える。
【００５２】
日の入りの時の水平線からの角度をμ度、
太陽の赤緯をσ度（但し、赤道から北回帰線の間は＋とし、南回帰線までの間は−とする）、  
指定された経度をφ（度）、
とすると球面の三角公式により次の関係式が成り立つ。
【００５３】
cosＨ＝tanφ×tanσ−sinμ×secφ×secσ    （２）
この式は、南中から日の入り／日の出までの時角Ｈを、Ｐ点の日の入り時の太陽の水平線からの角度μ、太陽の赤緯σ、指定された経度φを用いて算出できることを示している。
【００５４】
また、日の出時刻と日の入り時刻は、それぞれをＴｏ、Ｔｉとすると、次式で算出できる。
【００５５】
Ｔｏ＝Ｔｓ−Ｈ／ΔＨ    （３）
Ｔｉ＝Ｔｓ＋Ｈ／ΔＨ    （４）
この式は、日の出時刻と日の入り時刻を、南中時刻Ｔｓ、南中からの日の入りまでの時角Ｈ、地球の時角ΔＨを用いて算出できることを示している。
【００５６】
次に、太陽の南中仰角の算出について図６を用いて説明する。同図において、Ｏは太陽軌道の中心をＹＺ平面に投影した時の中心であり、Ｓｓは任意の南中時刻における太陽の位置、Ｏ’はＯをＺ軸に投影した位置である。線分ＯＳｓの長さを１とすると、次の関係式が成り立つ。
【００５７】
ＯＰ＝｜tanσ｜            （５）
Ｏ’Ｐ＝｜tanσ｜× sinφ  （６）
ＰＳｓ＝１／cos σ         （７）
太陽の南中仰角を求めるために測定点Ｐからみた春分・秋分南中時の太陽の仰角をΨ０（度）とすると次式が成り立つ。
【００５８】
Ψ０＝９０（度）−φ       （８）
また、測定点Ｐからみた南中時の太陽位置Ｓｓの仰角をΨｓとすると次式が成り立つ。
【００５９】
Ψｓ＝９０（度）−φ＋σ   （９）
これらの式は、測定点Ｐからみた春分・秋分南中時の太陽の仰角Ψ０をＰ点の緯度φから算出でき、測定点Ｐからみた南中時の太陽の仰角ΨｓをＰ点の緯度φと太陽の赤緯σから算出できることを示している。
【００６０】
次に、太陽軌道面の絶対方位の算出について図７を用いて説明する。同図では、太陽軌道と観測点との位置関係を示している。Ｏは太陽軌道の中心をＹＺ平面に投影した時の中心である。絶対方位は軸方向北から右回りに３６０度とする。αは太陽光源の水平面上の絶対方位であり、Ψは太陽の仰角である。任意時刻Ｔにおける太陽軌道面の絶対方位をθ（度）とすると次の関係式が成り立つ。
【００６１】
θ＝｛（Ｔ−Ｔｓ）×ΔＨ｝＋１８０度  （１０）
この式は、測定点Ｐからみた任意時刻の太陽軌道面の絶対方位θを、南中時刻Ｔｓ、地球の時角ΔＨから算出できることを示している。
【００６２】
続いて、太陽の水平面上の絶対方位の算出について図７と図８を用いて説明する。
【００６３】
図８は、太陽軌道をＹＺ平面に投影した様子を示した図である。図８において、Ｏ’は太陽軌道の中心をＹＺ平面に投影した時の中心である。ＳはＹＺ面に投影した太陽位置である。ＳＰは測定点から太陽までのＹＺ平面上の距離である。絶対方位は北を０度にして右回りに３６０度と定義する。測定点Ｐからみた太陽までの距離ＳＰをＲ、測定点Ｐからみた任意時刻の太陽の水平面上の絶対方位をαとすると次の関係式が成り立つ。
【００６４】
Ｒ＝√（sinθ＾２＋（sinΨ０×｜cosθ｜＋cosΨ０×｜tanσ｜）＾２）（１１）
α＝（sin（｜sinθ｜／Ｒ））＾（−１）  （１２）
これらの式は、測定点Ｐからみた任意時刻の太陽水平面絶対方位αと測定Ｐ点から見た太陽までの距離Ｒを、測定点Ｐからみた任意時刻の太陽軌道面の絶対方位θ、測定点Ｐからみた春分・春分南中時の太陽の仰角Ψ０、太陽の赤緯σを用いて算出できることを示している。
【００６５】
測定点Ｐからみた絶対方位がαのときの太陽仰角をΨとすると次の関係式が成り立つ。
【００６６】
Ψ＝sin−１（Ｒ×cos σ×｜cos α｜）  （１３）
この式は、Ｐ点からみた絶対方位αのときの太陽の仰角Ψを、上記のＲ、α、θを使って算出できることを示している。以上の手法により、Ｐ点からみた太陽の水平面絶対方位α、仰角Ψが算出される。
【００６７】
次に、擬似光源位置計算部５における処理について図９を用いて説明する。対象物撮影時のカメラと被写体に対してどの方位に擬似光源が位置するのかを算出する際には、カメラの視線方向の水平面方位βと、仰角Ψｃを加味して、太陽光源の水平面絶対方位αと仰角Ψを、カメラの視線方向軸を絶対座標系とした場合の方位と仰角に置き換えて考えることが必要となる。
【００６８】
カメラの視線方向Ｄを（β、Ψｃ）、擬似光源の方位を（αｓ、Ψｓ）とすると、擬似光源の水平面方位αｓは、太陽光源の水平面絶対方位αとカメラの水平面方位βとの差分として算出できる。また、擬似光源の仰角Ψｓは、太陽光源の仰角Ψとカメラ視線方向の仰角Ψｃとの差分として算出できる。運用上、カメラや被写体の位置、角度が大きく変わることは考えにくいため、擬似光源の仰角Ψｓは、太陽の仰角Ψで置き換えても構わない。
【００６９】
以上の算出手法により、カメラに対する擬似光源の方位（αｓ、Ψｓ）が算出される。なお、太陽光源位置の算出、擬似光源位置の算出は、上記の手法に限られるものではなく、他の手法を適用しても構わない。
【００７０】
次に、データベース１１におけるデータの保持手法には種々の変形が考えられるので、この点について説明する。データベース１１には、屋外風景画像に関連付けて、その画像の撮影場所、撮影日時、カメラの視線方向のほか、晴れ／曇り／雨といった天候、屋外風景の撮影場所一帯の人出といった予備情報を含む関連情報を格納しておくようにしてもよい。このように屋外風景画像に天候情報を関連付けてデータベース１１に格納した場合には、指定受付部が日時や場所の指定を受け付ける際に、利用者にとっては天候を参照することでその画像を利用するか否かの選択肢を増やすことができ、また、近似しているほかの画像を取り出すということもできる。さらには、擬似光源を再現する際に天候情報を利用することもできる。この場合、例えば、光源再現部に光源の強度を制御する制御部を設け、この制御部に対して晴れの場合には強度を強く、曇りや雨の場合には強度を弱くするように命令信号を入力するように構成してもよい。
【００７１】
また、データベース１１に屋外風景画像を格納する際に、太陽位置計算部４と擬似光源位置計算部５を利用して、撮影場所における絶対的な太陽光源位置（α，Ψ）や、カメラ位置に対する相対的な太陽光源位置等の情報を演算し、これらの情報も関連付けて格納するようにしてもよい。
【００７２】
また、第３実施例において、指定された条件に一定の範囲内に収まる類似画像を検索する際に、日時、場所、カメラの視線方向をそれぞれ比較し、その差分値が少ないという点から判断してもよいし、カメラ位置に対する相対的な太陽光源位置が一致しているという点から判断してもよい。
【００７３】
したがって、本実施の形態によれば、指定された場所、カメラの視線方向、日時における太陽光源を擬似的に再現して対象物を撮影するとともに、指定された場所、視線方向、日時に対応する屋外風景の画像を取得し、これら対象物の画像と屋外風景の画像とを合成することで、光源が一致した合成画像を容易に得ることができる。これにより、優れた品質の合成画像を提供することが可能となる。
【００７４】
本実施の形態によれば、屋外風景の画像を予め撮影しておき、この画像を場所、視線方向、日時に関連付けて予めデータベースに記憶しておくことで、屋外風景の画像を容易に取得することができる。
【００７５】
本実施の形態によれば、撮像中のカメラから伝送されてくる屋外風景の画像を取得し、この画像を撮影している場所、カメラの視線方向、撮影の日時を指定された情報として受け付けることで、リアルタイムの屋外風景画像と対象物の画像との合成が可能になる。
【００７６】
本実施の形態によれば、あらゆる場所、視線方向、日時の屋外風景の画像を撮影し記憶しておくことは困難である一方、場所、視線方向、日時が多少ずれたとしても太陽光源の位置に大きな変化はないことから、記憶しておく屋外風景の画像は代表的なものだけとし、指定された場所、視線方向、日時に関連情報が一致する屋外風景の画像がデータベースにない場合には、一定の範囲内にある類似の屋外風景の画像を取得することで、対象物の画像と屋外風景の画像とで光源の位置が極めて近い合成画像を生成できるとともに、屋外風景の画像データ量を削減し、画像検索の際の演算量を低減させることができる。
【００７７】
なお、上記実施の形態で説明した合成画像が効果的に用いられるケースとしては、例えば、旅行先で風光明媚な情景をバックに記念撮影をする際に、天候条件が悪く本来の美しい情景の撮影が困難であったり、人波等による障害物があったときが考えられる。また、利用者が衣装を自由に変更したい場合にも応用することができる。
【００７８】
また、業務用の映画撮影においては、対象者をあらゆる角度から撮影しておき、コンピュータグラフィックス技術を駆使して画像を合成することが盛んに行われているが、本システムを用いれば、擬似光源の位置を計算して対象物を撮影するので、あらゆる角度から撮影する必要がなく、より簡単に合成画像を得ることができる。
【００７９】
本実施の形態における画像は、静止画像であっても動画像であってもよいものである。静止画像は、そのフォーマットとして例えばＪＰＥＧ、ＧＩＦ、Ｂｉｔｍａｐなど静止画像を表示可能なものであれば、とくに条件を問わない。また、動画像は、そのフォーマットとして例えばＡＶＩ、ＭＰＥＧなど動画像を表示可能なものであれば、特に条件を問わない。
【図面の簡単な説明】
【００８０】
【図１】一実施の形態における画像合成システムの構成を示す機能ブロック図である。
【図２】第１実施例における画像合成システムの処理を示す図である。
【図３】第２実施例における画像合成システムの処理を示す図である。
【図４】第３実施例における画像合成システムの処理を示す図である。
【図５】任意の場所における南中時刻の算出手法を説明するための図である。
【図６】任意の場所における南中時刻の算出手法を補足説明するための図である。
【図７】太陽光源の軌道面上における絶対方位の算出手法を説明するための図である。
【図８】太陽光源の仰角の算出手法を説明するための図である。
【図９】太陽光源とカメラの位置関係を示す図である。
【符号の説明】
【００８１】
１…場所指定受付部
２…日時指定受付部
３…視線方向指定受付部
４…太陽位置計算部
５…擬似光源位置計算部
６…光源再現部
７…対象物撮影部
８…屋外風景取得部
９…合成部
１１…データベース
１２，１３…カメラ
１４…光源
１５，２２…対象物画像
１６，２１…屋外風景画像
１７，２３…合成画像
【図１】
2006237736.tif 000003
【図２】
2006237736.tif 000004
【図３】
2006237736.tif 000005
【図４】
2006237736.tif 000006
【図５】
2006237736.tif 000007
【図６】
2006237736.tif 000008
【図７】
2006237736.tif 000009
【図８】
2006237736.tif 000010
【図９】
2006237736.tif 000011