(57)【特許請求の範囲】
【請求項１】
被写体を撮影し、撮影画像の前景に異なる時刻で撮影した画像を背景として合成する画像合成装置であって、
光学系を介して、前記被写体を撮影する撮影手段と、
当該画像合成装置の撮影情報として、前記被写体を撮影したときの位置情報、方位情報および姿勢情報を、検出手段を介して取得するとともに、前記光学系のレンズ情報を取得する撮影情報取得手段と、
前記撮影手段で撮影された撮影画像の画素に前記被写体までの距離を対応付けた奥行き情報により、前記撮影画像内の前景領域を検出する前景領域検出手段と、
前記撮影画像から前記前景領域を切り出して前景画像を生成する前景画像切出手段と、
背景の候補となる背景候補画像を撮影したカメラの位置情報、方位情報、姿勢情報およびレンズ情報を含んだ背景撮影情報と前記背景候補画像とを予め対応付けたデータベースから、通信制御手段を介して、前記撮影情報と前記背景撮影情報とが予め定めた範囲内で近似する検索条件に合致する前記背景候補画像を取得する背景候補画像取得手段と、
この背景候補画像取得手段で取得した背景候補画像を表示手段の画面上に表示し、撮影者からの選択を受け付ける背景候補画像選択手段と、
この背景候補画像選択手段で選択された背景候補画像を背景画像として、前記前景画像と合成する合成手段と、を備え、
前記背景候補画像取得手段は、前記検索条件の近似する範囲に段階的なレベルを設けて前記背景候補画像を取得し、
前記背景候補画像選択手段は、前記レベルと対応付けて背景候補画像を表示手段の画面上に表示することを特徴とする画像合成装置。
【請求項２】
被写体を撮影し、撮影画像の前景に異なる時刻で撮影した画像を背景として合成する画像合成装置であって、
光学系を介して、前記被写体を撮影する撮影手段と、
当該画像合成装置の撮影情報として、前記被写体を撮影したときの位置情報、方位情報および姿勢情報を、検出手段を介して取得するとともに、前記光学系のレンズ情報を取得する撮影情報取得手段と、
前記撮影手段で撮影された撮影画像の画素に前記被写体までの距離を対応付けた奥行き情報により、前記撮影画像内の前景領域を検出する前景領域検出手段と、
前記撮影画像から前記前景領域を切り出して前景画像を生成する前景画像切出手段と、
予め複数の地点で撮影され、背景の候補となる背景候補画像を撮影したカメラの位置情報、方位情報、姿勢情報およびレンズ情報を含んだ背景撮影情報と前記背景候補画像とを予め対応付けたデータベースを備えた画像提供装置から、通信制御手段を介して、前記撮影情報と前記背景撮影情報とが予め定めた範囲内で近似する検索条件に合致する前記背景候補画像を取得する背景候補画像取得手段と、
この背景候補画像取得手段で取得した背景候補画像を表示手段の画面上に表示し、撮影者からの選択を受け付ける背景候補画像選択手段と、
この背景候補画像選択手段で選択された背景候補画像を背景画像として、前記前景画像と合成する合成手段と、
を備えることを特徴とする画像合成装置。
【請求項３】
前記前景領域検出手段は、前記レンズ情報においてフォーカスの合った奥行きに対応する前記撮影画像の領域を、前記前景領域として検出することを特徴とする請求項１または請求項２に記載の画像合成装置。
【請求項４】
前記前景領域検出手段は、前記奥行き情報の最前面から予め定めた範囲の奥行きに対応する前記撮影画像の領域を、前記前景領域として検出することを特徴とする請求項１から請求項３のいずれか一項に記載の画像合成装置。
【請求項５】
前記合成手段は、選択された前記背景画像のうち、前記撮影情報のレンズ情報で特定される画角に対応する領域を前記前景画像と合成することを特徴とする請求項１から請求項４のいずれか一項に記載の画像合成装置。
【請求項６】
前記合成手段は、前記撮影情報と前記背景撮影情報との位置、方位または姿勢のずれに応じて前記背景画像を変形させて前記前景画像と合成することを特徴とする請求項１から請求項５のいずれか一項に記載の画像合成装置。
【請求項７】
コンピュータを、請求項１から請求項６のいずれか一項に記載の画像合成装置として機能させるための画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された画像の前景と予め撮影された背景とを合成する画像合成装置および画像合成プログラムに関する。
【背景技術】
【０００２】
従来、カメラで撮影された画像に、撮影日時、撮影条件（焦点距離、絞り値等）等の撮影情報を対応付けて記録するデータフォーマットが存在する。このデータフォーマットは、例えば、一般社団法人電子情報技術産業協会（ＪＥＩＴＡ）で規格化されたＥｘｉｆ（Exchangeable image file format）である（非特許文献１参照）。このＥｘｉｆは、主に、カメラの撮影時の状態を記録するためのメタデータファイルフォーマットである。また、Ｅｘｉｆは、撮影日時、撮影条件等の撮影情報のほか、ＧＰＳ付きカメラに対応して、ＧＰＳで計測される緯度、経度、高度等の位置情報を記録することができる。
【０００３】
このような画像に対応付けられた撮影情報（位置情報を含む）は、単に、撮影者が撮影後の確認のために使用されるだけではなく、種々のアプリケーションでの利用が可能である。例えば、特許文献１で開示されているように、撮影者が撮影した被写体画像（前景画像）と、計測された撮影情報の位置に対応して予め記憶装置に記憶されている風景画像（背景画像）とを合成するために使用することができる。
【０００４】
このように、前景画像に、撮影情報の位置が対応する背景画像を合成することで、例えば、観光地において、記念写真、風景写真等を撮影する場合、天候不良等によって画像が綺麗に撮影されない場合でも、予め記憶装置に記憶されている好天時に撮影した綺麗な風景画像を背景画像として合成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１０４１２号公報
【非特許文献】
【０００６】
【非特許文献１】「ディジタルスチルカメラ用画像ファイルフォーマット規格  Ｅｘｉｆ２．３」、ＡＶ＆ＩＴ標準化委員会  作成、一般社団法人電子情報技術産業協会  発行、２０１３年５月改正
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、前記したＥｘｉｆは、カメラの撮影情報として位置情報を記録することはできても、カメラがどの方向を向いているのかの方位情報を記録する規定とはなっていない。
そのため、例えば、撮影者がある位置で、風景写真として山をカメラ撮影した画像と、その反対方向を向いて、建造物をカメラ撮影した画像とでは、まったく異なる画像であるにも関わらず、Ｅｘｉｆで記録される位置情報はほぼ同じ情報となる。
つまり、従来のＥｘｉｆで記録される情報を用いて、特許文献１に記載の手法により風景画像（背景画像）を合成すると、カメラの向きによっては、撮影者が所望する画像とはまったく異なる背景画像が前景画像に合成されてしまうという問題がある。
【０００８】
本発明は、このような問題に鑑みてなされたものであり、撮影者が撮影した人物等の前景画像に、カメラの位置、方位、姿勢、その他撮影条件に合った背景画像を合成することが可能な画像合成装置および画像合成プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、本発明に係る画像合成装置は、撮影画像の前景に異なる時刻で撮影した画像を背景として合成する画像合成装置であって、撮影手段と、撮影情報取得手段と、前景領域検出手段と、前景画像切出手段と、背景候補画像取得手段と、背景候補画像選択手段と、合成手段と、を備える構成とした。
【００１０】
かかる構成において、画像合成装置は、撮影手段によって、レンズを含む光学系を介して、被写体を撮影する。また、画像合成装置は、撮影情報取得手段によって、当該画像合成装置の撮影情報として、被写体を撮影したときの緯度、経度および高度を示す位置情報、撮影方向を示す方位情報、および、姿勢（傾き）を示す姿勢情報を、検出手段を介して取得する。さらに、画像合成装置は、撮影情報取得手段によって、光学系のレンズ情報（焦点距離、フォーカス位置、絞り値、画角等）を取得する。
これによって、画像合成装置は、被写体を撮影した撮影画像と、その被写体を撮影したときの撮影情報とを同じタイミングで取得する。
【００１１】
そして、画像合成装置は、前景領域検出手段によって、撮影手段で撮影された撮影画像の画素に被写体までの距離を対応付けた奥行き情報により、撮影画像内の前景領域を検出する。なお、奥行き情報は、ステレオ画像の視差や、レーザーによる計測等、一般的な手法で求めることができる。また、前景は、撮影画像において、奥行き情報の最も近い奥行き（最前面）から所定の奥行きまでに対応する領域を被写体の領域とみなすこととしてもよいし、レンズ情報を参照してフォーカスが合っている領域を被写体の領域とみなすこととしてもよい。そして、画像合成装置は、前景画像切出手段によって、撮影画像から前景領域を切り出して前景画像を生成する。
【００１２】
また、画像合成装置は、背景候補画像取得手段によって、背景の候補となる背景候補画像を撮影したカメラの位置情報、方位情報、姿勢情報およびレンズ情報を含んだ背景撮影情報と背景候補画像とを予め対応付けたデータベースから、通信制御手段を介して、撮影情報と背景撮影情報とが予め定めた範囲内で近似する検索条件に合致する背景候補画像を取得する。
これによって、画像合成装置は、現時点で撮影した撮影条件に近似した条件で撮影された背景候補画像を取得することができる。
【００１３】
そして、画像合成装置は、背景候補画像選択手段によって、背景候補画像取得手段で取得した背景候補画像を表示手段の画面上に表示し、撮影者からの選択を受け付ける。これによって、合成を行う背景画像が１つに定められる。
そして、画像合成装置は、合成手段によって、背景候補画像選択手段で選択された背景候補画像を背景画像として、前景画像切出手段で生成された前景画像と合成する。これによって、画像合成装置は、現時点で撮影された撮影画像の前景領域と、撮影条件が近似する異なる時刻に撮影された背景画像とを合成することができる。
【発明の効果】
【００１４】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、撮影した前景に対し、位置、方位、姿勢およびレンズの撮影条件に近い予め異なる時刻に撮影された背景画像を合成することができる。これによって、本発明は、観光地等で記念撮影や風景写真を撮影する場合に、天候の状態によって、撮影者所望の背景が綺麗に撮影されない場合でも、撮影者が所望する被写体を背景とした予め撮影された綺麗な背景画像を合成することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る画像合成システムの概要を説明するためのシステム概要図である。
【図２】図１の画像提供装置の構成を示すブロック構成図である。
【図３】図２の画像記憶手段に記憶されるデータベースの構造を説明するためのデータ構造図である。
【図４】図２の画像記憶手段に記憶されるデータベース内の姿勢情報を説明するための説明図である。
【図５】図１の画像撮影装置（画像合成装置）の構成を示すブロック構成図である。
【図６】図５の背景候補画像選択手段が表示する背景画像を選択する画面の表示例を示す図である。
【図７】図５の前景画像切出手段における前景画像の切り出しを説明するための説明図である。
【図８】図５の合成手段における前景画像と背景画像の合成を説明するための説明図である。
【図９】本発明の実施形態に係る画像合成システムの画像登録の動作を示すフローチャートである。
【図１０】本発明の実施形態に係る画像合成システムの画像合成の動作を示すフローチャートである。
【図１１】本発明の変形例を説明するための図で、（ａ）は撮影画像と背景候補画像との画角の違いを示し、（ｂ）は画角に応じて背景候補画像を変形する例を示す。
【図１２】本発明の変形例を説明するための図で、（ａ）は撮影画像と背景候補画像との姿勢の違いによる画像の違いを示し、（ｂ）は（ａ）を回転した画像を示し、（ｃ）は（ｂ）の画像から画角に応じて背景候補画像を変形する例を示す。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。
≪画像合成システムの概要≫
最初に、図１を参照して、本発明の実施形態に係る画像合成システムＳの概要について説明する。
【００１７】
画像合成システムＳは、画像撮影装置（画像合成装置）２で撮影された画像の前景画像に、画像撮影装置２の撮影条件と近い条件で予め撮影された背景画像を合成するものである。
ここでは、画像合成システムＳは、通信によってデータ伝送可能な画像提供装置１と画像撮影装置２とを備える。
【００１８】
画像提供装置１は、予め複数の地点で撮影された、背景画像の候補となる背景候補画像ＢＧを、画像撮影装置２に提供するものである。ここでは、画像提供装置１は、画像記憶手段１０内のデータベースに、撮影条件を示す撮影情報（背景撮影情報）と対応付けて背景候補画像ＢＧを登録しておく。そして、画像提供装置１は、画像撮影装置２から通知された撮影情報（撮影条件）に予め定めた基準で近似する背景候補画像ＢＧを画像撮影装置２に提供する。
【００１９】
画像撮影装置（画像合成装置、カメラ）２は、被写体を撮影するものである。ここで、被写体は、画像撮影装置２が焦点を合わせて撮影する前景Ｆおよびその他の背景Ｂである。
この画像撮影装置２は、通信によって、自身の撮影情報に近似する撮影条件を検索条件として、画像提供装置１に通知する。そして、画像撮影装置２は、その検索条件に合致した背景候補画像ＢＧを、画像提供装置１から取得する。
そして、画像撮影装置２は、現時点で撮影された画像Ｇ１の前景Ｆに対応する前景画像を、取得した背景候補画像ＢＧと合成することで、新たな画像Ｇ２を生成する。
【００２０】
これによって、画像合成システムＳは、例えば、観光地等で、曇天や霧のため、背景がきれいに撮影されない場合でも、予め好天時に撮影しておいた背景画像（背景候補画像ＢＧ）に、実際に撮影された画像の前景を合成することができる。
なお、ここでは、画像撮影装置２は、前景画像と背景画像とを合成する機能以外に、撮影した画像を、背景候補画像ＢＧとして画像提供装置１に登録する機能を有するものとする。
以下、画像合成システムＳを構成する、画像提供装置１の構成と、画像撮影装置２の構成とについて順次説明する。
【００２１】
［画像提供装置の構成］
最初に、図２を参照（適宜図１参照）して、画像提供装置１の構成について説明する。
図２に示すように、画像提供装置１は、画像記憶手段１０と、通信制御手段１１と、画像登録検索手段１２と、を備える。
【００２２】
画像記憶手段１０は、画像の撮影条件を示す撮影情報Ｄと、背景画像の候補となる背景候補画像ＢＧとを対応付けたデータベースを記憶するものである。この画像記憶手段１０は、ハードディスク記憶装置等の一般的な記憶装置であって、ここでは、画像登録検索手段１２によって、撮影情報Ｄと背景候補画像ＢＧの書き込みおよび読み出しが行われる。
【００２３】
ここで、図３を参照して、画像記憶手段１０に記憶されるデータベースのデータ構造について説明する。
図３に示すように、画像記憶手段１０のデータベースには、撮影情報（背景撮影情報）Ｄと背景候補画像ＢＧとが対応付けられて記憶される。
ここでは、背景候補画像ＢＧを一意に特定可能な識別子ＩＤ（ＩＤ１，ＩＤ２，ＩＤ３…）によって、撮影情報Ｄと背景候補画像ＢＧとを対応付けている。
【００２４】
撮影情報（背景撮影情報）Ｄは、対応する背景候補画像ＢＧを撮影したときの撮影条件を示す情報である。ここでは、撮影情報Ｄは、画像情報、位置情報、方位情報、姿勢情報、レンズ情報等である。
「画像情報」は、背景候補画像ＢＧを特定する情報である。この画像情報は、例えば、背景候補画像ＢＧを一意に特定する識別子、背景候補画像ＢＧを撮影した日時、背景候補画像ＢＧの解像度、画像フォーマット等である。
「位置情報」は、背景候補画像ＢＧを撮影したときの画像撮影装置２の位置を示す情報である。この位置情報は、画像撮影装置２においてＧＰＳ（Global Positioning System：全地球測位システム）で取得可能な緯度、経度、高度等である。
「方位情報」は、背景候補画像ＢＧを撮影したときの画像撮影装置２の方位（撮影方向）を示す情報である。この方位情報は、画像撮影装置２において地磁気センサ等によって取得可能な方位である。
【００２５】
「姿勢情報」は、背景候補画像ＢＧを撮影したときの画像撮影装置２の姿勢（傾き）を示す情報である。この姿勢情報は、画像撮影装置２において慣性センサ（ジャイロセンサ、加速度センサ等）によって取得可能なロール、ピッチ、ヨーの各方向の回転角（φ、θ、ψ）である。
なお、図４に示すように、「ロール方向」は、画像撮影装置２の撮影方向の軸（図中、Ｘ軸）周りの回転方向である。また、「ピッチ方向」は、画像撮影装置２の水平軸（図中、Ｙ軸）周りの回転方向を示す。また、「ヨー方向」は、画像撮影装置２の垂直軸（図中、Ｚ軸）周りの回転方向を示す。
【００２６】
「レンズ情報」は、背景候補画像ＢＧを撮影したときの画像撮影装置２のレンズの情報である。このレンズ情報は、焦点距離、フォーカス位置、絞り値（Ｆ値）、画角等である。ただし、画角は、その値を直接記憶しておく必要はなく、画角を算出可能な情報を記憶しておくこととしてもよい。例えば、画像撮影装置２の撮像素子の解像度を記憶しておけば、その解像度と焦点距離とから画角を算出することが可能である。
この撮影情報Ｄには、これらの情報に限定されず、従来のＥｘｉｆで規定される情報を含んでもよい。
【００２７】
このように、少なくとも位置情報、方位情報および姿勢情報を登録しておくことで、撮影情報Ｄは、画像撮影装置２を、どの位置で、どの方向に向けて、どのような姿勢で、対応する背景候補画像ＢＧを撮影したものであるのかを一意に特定可能な情報となる。
また、レンズ情報を登録しておくことで、撮影情報Ｄは、画像撮影装置２を、被写体をどのくらいの範囲（画角）で撮影したものであるのかを一意に特定可能な情報となる。
図２に戻って、画像提供装置１の構成について説明を続ける。
【００２８】
通信制御手段１１は、通信により、画像撮影装置２との間でデータの送受信を行うものである。この通信制御手段１１は、例えば、Ｗｉ−Ｆｉ（ワイファイ、Wireless Fidelity）等の無線ＬＡＮによって、データの送受信を行う。
ここでは、通信制御手段１１は、画像撮影装置２から受信したデータを画像登録検索手段１２に出力し、画像登録検索手段１２から入力したデータを画像撮影装置２に送信する。
【００２９】
画像登録検索手段１２は、画像記憶手段１０に記憶されるデータベースの登録および検索を行うものである。すなわち、画像登録検索手段１２は、データベースの管理やデータに対するアクセス要求に応じるデータベース管理システムの機能を有する。
この画像登録検索手段１２は、通信制御手段１１を介して、画像撮影装置２から、撮影情報Ｄと背景候補画像ＢＧとからなる撮影データを登録要求として取得し、画像記憶手段１０のデータベースに登録（記憶）する。このとき、画像登録検索手段１２は、撮影情報Ｄの画像情報のうち、識別子ＩＤについては、逐次固有の値を割り当てることとする。
なお、画像登録検索手段１２は、撮影情報Ｄと背景候補画像ＢＧとを記録したＳＤカード等の記録媒体を用い、図示を省略した記録媒体読出装置を介して、撮影情報Ｄと背景候補画像ＢＧとを読み出し、データベースに登録することとしてもよい。
【００３０】
また、画像登録検索手段１２は、通信制御手段１１を介して、画像撮影装置２から、撮影情報を検索条件とした検索要求を取得すると、画像記憶手段１０のデータベースから、検索条件に合致する背景候補画像ＢＧを読み出す。そして、画像登録検索手段１２は、通信制御手段１１を介して、検索要求を行った画像撮影装置２に、読み出した背景候補画像ＢＧを送信する。
ここで、検索条件は、例えば、撮影情報Ｄのうちで、緯度、経度および高度について、それぞれの値と許容範囲、方位について、その方位角と許容範囲のように、どの情報を検索条件とするかの属性、その値および許容範囲である。
【００３１】
［画像撮影装置（画像合成装置）の構成］
次に、図５を参照して（適宜図１参照）して、画像撮影装置（画像合成装置）２の構成について説明する。図５に示すように、画像撮影装置２は、撮影情報取得手段２０と、撮影手段２１と、前景領域検出手段２２と、前景背景合成手段２３と、通信制御手段２４と、表示手段２５と、記憶手段２６と、画像書込手段２７と、画像登録手段２８と、を備える。この画像撮影装置２は、シャッタスイッチＳＷを押下されることで、被写体を撮影する。
【００３２】
なお、ここでは、画像撮影装置２は、画像提供装置１が提供する背景画像を合成するか否かを切り替える切替部Ｔ（Ｔ１，Ｔ２）を内部に備え、ａ端子側に経路を切り替えることで、背景画像の合成を行い、ｂ端子側に経路を切り替えることで、背景画像の合成を行わないこととする。この切替部Ｔは、外部から設定するハードウェアの切替スイッチであっても構わないし、設定画面からの設定により切り替えを行うソフトウェア制御による切替制御手段であっても構わない。
【００３３】
撮影情報取得手段２０は、被写体を撮影したときの画像撮影装置２の位置、方位、姿勢およびレンズの状態を示す撮影情報を取得するものである。
ここでは、撮影情報取得手段２０は、位置検出手段２０１と、位置情報取得手段２０２と、方位検出手段２０３と、方位情報取得手段２０４と、姿勢検出手段２０５と、姿勢情報取得手段２０６と、レンズ情報取得手段２０７と、を備える。
【００３４】
位置検出手段２０１は、画像撮影装置２の位置を検出するものである。この位置検出手段２０１は、図示を省略したＧＰＳアンテナを備え、複数のＧＰＳ衛星（不図示）から受信した電波の時刻のずれから、画像撮影装置２の緯度、経度および高度を算出する。
この位置検出手段２０１は、位置情報取得手段２０２から検出要求があったタイミングで、緯度、経度および高度を算出し、位置情報として、位置情報取得手段２０２に出力する。
【００３５】
位置情報取得手段２０２は、画像撮影装置２の位置情報を、位置検出手段２０１から取得するものである。この位置情報取得手段２０２は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、位置検出手段２０１に位置情報を要求し、位置情報を取得する。そして、位置情報取得手段２０２は、切替部Ｔ１がａ端子側に設定されている場合、位置情報を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、位置情報を画像書込手段２７に出力する。
【００３６】
方位検出手段２０３は、画像撮影装置２の方位を検出するものである。この方位検出手段２０３は、例えば、３軸地磁気センサで構成することができる。３軸地磁気センサの場合、前後、左右、上下方向の地磁気から、基準となる方向（例えば、北方向）を検出することで、画像撮影装置２の前方の方位を検出する。
この方位検出手段２０３は、現在の画像撮影装置２の方位を方位情報取得手段２０４に逐次出力する。
【００３７】
方位情報取得手段２０４は、画像撮影装置２の方位情報を、方位検出手段２０３から取得するものである。この方位情報取得手段２０４は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、方位検出手段２０３から出力される方位情報を取得する。
そして、方位情報取得手段２０４は、切替部Ｔ１がａ端子側に設定されている場合、方位情報を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、方位情報を画像書込手段２７に出力する。
【００３８】
姿勢検出手段２０５は、画像撮影装置２の姿勢を検出するものである。この姿勢検出手段２０５は、例えば、ジャイロセンサ、加速度センサ等の慣性センサで構成することができる。この姿勢検出手段２０５は、図４で説明したロール、ピッチ、ヨーの各方向の回転角（φ、θ、ψ）を検出することで、画像撮影装置２の姿勢を検出する。
この姿勢検出手段２０５は、現在の画像撮影装置２の姿勢を姿勢情報取得手段２０６に逐次出力する。
【００３９】
姿勢情報取得手段２０６は、画像撮影装置２の姿勢情報を、姿勢検出手段２０５から取得するものである。この姿勢情報取得手段２０６は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、姿勢検出手段２０５から出力される姿勢情報を取得する。
そして、姿勢情報取得手段２０６は、切替部Ｔ１がａ端子側に設定されている場合、姿勢情報を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、姿勢情報を画像書込手段２７に出力する。
【００４０】
レンズ情報取得手段２０７は、撮影手段２１のレンズ情報を取得するものである。このレンズ情報取得手段２０７は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、撮影手段２１のレンズの状態である焦点距離、フォーカス位置、絞り値等を取得する。
また、レンズ情報取得手段２０７は、予め既知の撮影手段２１が内蔵するイメージセンササイズ（水平サイズおよび垂直サイズ）と、取得した焦点距離とから、画角（垂直画角および水平画角）をレンズ情報の一部として算出する。
そして、レンズ情報取得手段２０７は、切替部Ｔ１がａ端子側に設定されている場合、レンズ情報を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、レンズ情報を画像書込手段２７に出力する。
このように、撮影情報取得手段２０は、画像撮影装置２が被写体を撮影したタイミングの撮影情報（位置情報、方位情報、姿勢情報およびレンズ情報）を取得することができる。
【００４１】
撮影手段２１は、シャッタスイッチＳＷによって撮影を指示されたタイミングで、被写体を撮影するものである。この撮影手段２１は、レンズ（光学系）、イメージセンサ（不図示）を含んだ撮影装置であって、撮影者によって操作された、あるいは、既知の技術であるオートフォーカス等によって制御されたレンズの焦点距離、絞り等のレンズ情報をレンズ情報取得手段２０７に出力する。
また、撮影手段２１は、切替部Ｔ１がａ端子側に設定されている場合、撮影した撮影画像を前景背景合成手段２３に出力し、ｂ端子側に設定されている場合、撮影画像を画像書込手段２７に出力する。
【００４２】
前景領域検出手段２２は、被写体までの奥行き情報と当該被写体を撮影したときのレンズ情報とにより、撮影手段２１で撮影された撮影画像内において前景領域を検出するものである。
この前景領域検出手段２２は、例えば、撮影手段２１の光学系とは視差の異なる光学系によって被写体を撮影し、２つの画像（ステレオ画像）から、その視差により奥行き情報（奥行き画像）を生成する。そして、前景領域検出手段２２は、レンズの焦点距離とフォーカス位置とで特定されるフォーカスの合った前景までの撮影距離を求め、奥行き情報の奥行きがその撮影距離と対応する撮影画像の領域を前景とするキー信号を生成する。例えば、前景領域に画素値“０ｘＦＦ”、背景領域に画素値“０”を割り当てたキー信号を生成する。
【００４３】
このとき、前景領域検出手段２２は、前景の奥行きとして、その前後に被写界深度の奥行き幅を設けることが好ましい。この被写界深度は、撮影を行った際のレンズの焦点距離、絞り値（Ｆ値）および撮影距離で求めることができる。もちろん、この奥行き幅は、予め定めた幅（例えば、３０ｃｍ等）を用いても構わない。
【００４４】
なお、ここでは、前景領域検出手段２２は、視差によって奥行きを求めたが、レーザーセンサ、赤外線センサによって奥行きを計測することとしてもよい。
また、この前景領域検出手段２２は、フォーカス位置に限定されず、奥行き情報において最も画像撮影装置２に近い距離（最前面）から予め定めた範囲の奥行き（例えば、３０ｃｍ等）に対応する撮影画像の領域を、前景領域として検出することとしてもよい。
【００４５】
この前景領域検出手段２２は、生成した前景のキー信号を前景背景合成手段２３に出力する。なお、このキー信号は、背景画像を合成する場合にしか使用しないため、切替部Ｔ２でｂ端子側に経路が設定されている場合、キー信号の生成を行わないこととする。
【００４６】
前景背景合成手段２３は、撮影情報取得手段２０で取得された撮影情報と、撮影手段２１で撮影された撮影画像と、前景領域検出手段２２で生成されたキー信号とに基づいて、撮影画像の前景領域と、予め撮影された背景候補画像とを合成するものである。
ここでは、前景背景合成手段２３は、背景候補画像取得手段２３１と、背景候補画像選択手段２３２と、前景画像切出手段２３３と、合成手段２３４と、を備える。
【００４７】
背景候補画像取得手段２３１は、撮影情報取得手段２０で取得された撮影情報で特定される撮影条件と、予め定めた範囲で近似した撮影条件で撮影された背景候補画像を、画像提供装置１から取得するものである。
この背景候補画像取得手段２３１は、撮影情報取得手段２０で取得された撮影情報（位置情報、方位情報、姿勢情報、レンズ情報）に予め定めた許容範囲を設けた情報を検索条件とし、通信制御手段２４を介して、画像提供装置１に背景候補画像を要求する。
例えば、位置情報については、緯度、経度、高度それぞれ「１ｍ」以内の誤差を検索条件とする。また、方位情報および姿勢情報の各情報については、「５度」以内の誤差を検索条件とする。
【００４８】
そして、背景候補画像取得手段２３１は、通信制御手段２４を介して、背景候補画像を取得する。このとき、背景候補画像取得手段２３１は、検索条件に合致する背景候補画像の数が、予め定めた数よりも少ない場合、例えば、緯度、経度、高度の誤差を、それぞれ「５ｍ」以内、「１０ｍ」以内等まで段階的に検索条件を緩めることで、検索条件にレベルを設けることとしてもよい。
この背景候補画像取得手段２３１は、取得した背景候補画像を背景候補画像選択手段２３２に出力する。このとき、検索条件にレベルを設けた場合、背景候補画像取得手段２３１は、そのレベルも背景候補画像選択手段２３２に出力することとする。
【００４９】
背景候補画像選択手段２３２は、背景候補画像取得手段２３１で取得した複数の背景候補画像から、１つの画像を合成用の背景画像として、撮影者に選択させるものである。
この背景候補画像選択手段２３２は、取得した複数の背景候補画像を、表示手段２５によって画面に表示させ、撮影者によって選択された画像（背景画像）を合成手段２３４に出力する。
例えば、図６に示すように、背景候補画像選択手段２３２は、表示手段２５の画面上に複数の背景候補画像ＢＧ１，ＢＧ２，ＢＧ３，ＢＧ４…を表示する。このとき、すべての背景候補画像が画面上に表示できない場合、背景候補画像選択手段２３２は、スクロールバーＳＢを設け、撮影者の選択によって、表示する背景候補画像を切り替えればよい。
【００５０】
なお、検索条件にレベルが設定されている場合、背景候補画像選択手段２３２は、図６に示すように、そのレベルを示すレベル表示領域Ｐを設け、色、文字等によって、レベルを撮影者に提示する。例えば、背景候補画像選択手段２３２は、最も厳しい検索条件に合致した背景候補画像については、レベル表示領域Ｐに緑色を点灯し、それよりも緩い検索条件の場合、順次、黄色、赤色等でそのレベルを提示する。
このレベル表示よって、撮影者は、どの背景候補画像が、自身が撮影した場所、画像撮影装置２の撮影方向、画角等に近似するのかを判断することができる。
図５に戻って、画像撮影装置２の構成について説明を続ける。
【００５１】
前景画像切出手段２３３は、撮影した画像から、前景を切り出すものである。
ここでは、前景画像切出手段２３３は、前景領域検出手段２２で生成されたキー信号に基づいて、前景領域と指定された領域を、撮影手段２１で撮影された撮影画像から抽出する。すなわち、前景画像切出手段２３３は、図７に示すように、キー信号Ｋで示される前景領域に基づいて、撮影画像ＰＧから、前景画像ＦＧを切り出す。
この前景画像切出手段２３３は、切り出した前景画像ＦＧを合成手段２３４に出力する。
【００５２】
合成手段２３４は、背景候補画像選択手段２３２で選択された背景画像に、前景画像切出手段２３３で切り出された前景画像を合成するものである。
すなわち、合成手段２３４は、図８に示すように、背景候補画像選択手段２３２で選択された背景画像ＢＧ上に、前景画像切出手段２３３で切り出された前景画像ＦＧを上書きすることで、実際の撮影画像に対して背景が置換された合成画像Ｇを生成する。
この合成手段２３４は、生成した合成画像Ｇを記憶手段２６に書き込む。このとき、合成手段２３４は、記憶手段２６に書き込んだ合成画像Ｇを、表示手段２５を介して撮影者に提示する。
なお、ここでは、合成手段２３４は、生成した合成画像Ｇに、撮影情報取得手段２０で取得した撮影情報を対応付けて記憶手段２６に書き込むこととする。もちろん、合成手段２３４は、別途、合成に用いた背景画像に対応する撮影情報を、通信制御手段２４を介して画像提供装置１から取得し、併せて記憶することとしてもよい。
【００５３】
通信制御手段２４は、通信により、画像提供装置１との間でデータの送受信を行うものである。この通信制御手段２４は、例えば、Ｗｉ−Ｆｉ等の無線ＬＡＮによって、データの送受信を行う。もちろん、通信制御手段２４の通信規格は、画像提供装置１の通信制御手段１１（図２参照）の通信規格と同じものとする。
ここでは、通信制御手段２４は、前景背景合成手段２３から入力したデータ（背景候補画像の要求）を画像提供装置１に送信し、画像提供装置１から受信したデータ（背景候補画像）を前景背景合成手段２３に出力する。
なお、ここでは、通信制御手段２４は、後記する画像登録手段２８から、背景画像の登録要求があった場合、背景画像とともに、画像提供装置１に送信する。
【００５４】
表示手段２５は、前景背景合成手段２３（背景候補画像選択手段２３２）から出力される複数の背景候補画像を表示し、撮影者の選択を受け付けるものである。
この表示手段２５は、図示を省略したタッチパネルを備え、図６に示したように、複数の背景候補画像を表示する。そして、撮影者によって選択された画面上の位置を、前景背景合成手段２３に出力する。これによって、前景背景合成手段２３は、どの背景候補画像が選択されたのかを認識することができる。
なお、表示手段２５は、合成手段２３４によって合成された合成画像を表示するものでもある。もちろん、表示手段２５は、信号線の図示を省略するが、撮影手段２１で撮影された撮影画像をモニタする機能を有していることは言うまでもない。
【００５５】
記憶手段２６は、撮影された画像を、撮影情報と対応付けて記憶するもので、ＳＤカード等の一般的な記録媒体である。
この記憶手段２６は、前景背景合成手段２３で生成された合成画像を撮影情報とともに記憶したり、後記する画像書込手段２７によって画像合成を行わない撮影画像を撮影情報とともに記憶したりする。
【００５６】
画像書込手段２７は、画像提供装置１が提供する背景画像を合成しない場合に、撮影した画像と、そのときの撮影情報とを対応付けて、記憶手段２６に書き込むものである。
すなわち、画像書込手段２７は、切替部Ｔ（Ｔ１，Ｔ２）がｂ端子側に設定されている場合に機能し、撮影手段２１で撮影された撮影画像と、撮影情報取得手段２０で取得された撮影情報とを対応付けて、記憶手段２６に書き込む。
【００５７】
画像登録手段２８は、記憶手段２６に記憶されている撮影画像および撮影情報を、通信制御手段２４を介して、画像提供装置１に送信し、登録するものである。
この画像登録手段２８は、切替部Ｔ（Ｔ１，Ｔ２）がｂ端子側に設定されて、画像書込手段２７によって記憶された撮影画像を、背景候補画像として登録する。なお、画像登録手段２８は、図示を省略するが、記憶手段２６記憶されている撮影画像を表示手段２５に表示させ、撮影者が選択した背景候補画像と撮影情報とからなる撮影データを登録要求として、画像提供装置１に送信することとする。
これによって、画像提供装置１には、遠隔地で撮影された背景候補画像が逐次記憶され、データベースが充実していくことになる。
【００５８】
以上説明した画像撮影装置２は、図示を省略したコンピュータを備え、コンピュータを前記した各手段として機能させるプログラムで動作させることができる。具体的には、画像撮影装置２は、コンピュータを、前景背景合成手段２３の各手段として機能させる画像合成プログラムによって、前景画像と背景画像とを合成する機能を実現することができる。
【００５９】
このように画像撮影装置２を構成することで、画像撮影装置２は、現時点で撮影した撮影画像の前景領域と、異なる時間に撮影された背景画像とを合成することができる。これによって、画像撮影装置２は、天候状態等により、視界が悪い場合であっても、予め視界が良好な状態で撮影された背景画像を合成することができる。
【００６０】
≪画像合成システムの動作≫
次に、図９，図１０を参照して、画像合成システムＳの動作について説明する。なお、ここでは、主に、画像撮影装置２の動作について説明する。
〔画像登録動作〕
最初に、図９を参照（構成ついては、適宜図１，図５参照）して、画像撮影装置２による画像提供装置１への背景画像の登録動作について説明する。この動作時には、切替部Ｔ（Ｔ１，Ｔ２）をｂ端子側に設定しておく。
【００６１】
まず、画像撮影装置２は、シャッタスイッチＳＷを押下されたタイミングで、撮影手段２１によって、被写体を撮影する（ステップＳ１０）。
また、画像撮影装置２は、ステップＳ１０と同じタイミングで、撮影情報取得手段２０によって、被写体を撮影したときの画像撮影装置２の位置、方位、姿勢およびレンズの状態を示す撮影情報（位置情報、方位情報、姿勢情報、レンズ情報）を取得する（ステップＳ１１）。
【００６２】
すなわち、画像撮影装置２は、位置情報取得手段２０２によって、位置検出手段２０１で検出される位置情報（緯度、経度、高度）を取得する。
また、画像撮影装置２は、方位情報取得手段２０４によって、方位検出手段２０３で検出される画像撮影装置２の前方の方位を取得する。
また、画像撮影装置２は、姿勢情報取得手段２０６によって、姿勢検出手段２０５で検出される姿勢情報（ロール、ピッチ、ヨーの各方向の回転角）を取得する。
また、画像撮影装置２は、レンズ情報取得手段２０７によって、撮影手段２１のレンズ情報（焦点距離、フォーカス位置、絞り値等）を取得する。
【００６３】
そして、画像撮影装置２は、画像書込手段２７によって、ステップＳ１０で撮影された撮影画像と、ステップＳ１１で取得した撮影情報とを対応付けて記憶手段２６に書き込み記憶する（ステップＳ１２）。
【００６４】
その後、画像撮影装置２は、画像登録手段２８によって、ステップＳ１２で記憶手段２６に記憶された撮影画像と撮影情報とからなる撮影データを登録要求として、画像提供装置１に送信することで、画像提供装置１内のデータベースに登録する（ステップＳ１３）。
【００６５】
以上の動作によって、画像撮影装置２は、自身の撮影時の位置、方位、姿勢およびレンズ情報からなる撮影情報と対応付けて、撮影画像を背景候補画像として画像提供装置１内のデータベースに登録することができる。
【００６６】
〔画像合成動作〕
次に、図１０を参照（構成ついては、適宜図１，図５参照）して、画像撮影装置２による前景画像と背景画像との合成動作について説明する。この動作時には、切替部Ｔ（Ｔ１，Ｔ２）をａ端子側に設定しておく。
【００６７】
まず、画像撮影装置２は、シャッタスイッチＳＷを押下されたタイミングで、撮影手段２１によって、被写体を撮影する（ステップＳ２０）。
そして、画像撮影装置２は、前景領域検出手段２２によって、ステップＳ２０で撮影された撮影画像の前景を示すキー信号を生成する（ステップＳ２１）。
【００６８】
また、画像撮影装置２は、ステップＳ２０と同じタイミングで、撮影情報取得手段２０によって、被写体を撮影したときの画像撮影装置２の位置、方位、姿勢およびレンズの状態を示す撮影情報（位置情報、方位情報、姿勢情報、レンズ情報）を取得する（ステップＳ２２）。このステップＳ２２の動作は、図９のステップＳ１１の動作と同じである。
【００６９】
そして、画像撮影装置２は、前景背景合成手段２３の前景画像切出手段２３３によって、ステップＳ２１で生成されたキー信号に基づいて、ステップＳ２０で撮影された撮影画像から、前景画像を切り出す（ステップＳ２３）。
また、画像撮影装置２は、前景背景合成手段２３の背景候補画像取得手段２３１によって、ステップＳ２２で取得した撮影情報（位置情報、方位情報、姿勢情報、レンズ情報）に予め定めた許容範囲を設けた情報を検索条件として、画像提供装置１のデータベースから背景候補画像を取得する（ステップＳ２４）。
【００７０】
そして、画像撮影装置２は、前景背景合成手段２３の背景候補画像選択手段２３２によって、ステップＳ２４で取得した背景候補画像を表示手段２５に複数配置して、撮影者から背景画像の選択を受け付ける（ステップＳ２５）。
そして、画像撮影装置２は、前景背景合成手段２３の合成手段２３４によって、ステップＳ２３で切り出された前景画像をステップＳ２５で選択された背景画像に合成する（ステップＳ２６）。
【００７１】
以上の動作によって、画像撮影装置２は、自身の撮影時の位置、方位、姿勢およびレンズ情報に近似して異なる時間に撮影された背景画像に前景画像を合成することができる。
以上、本発明の実施形態に係る画像合成システムＳの構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
【００７２】
（変形例１）
例えば、ここでは、画像撮影装置２を、撮影時の前景画像と、画像提供装置１のデータベースに登録されている背景画像とを合成する機能と、背景画像の候補を画像提供装置１のデータベースに登録する機能とを兼ね備えた装置として構成したが、いずれか一方のみの機能を有する構成としてもよい。
例えば、背景画像を登録する機能が不要であれば、画像撮影装置２は、図５で説明した構成から、画像登録手段２８を省いて構成すればよい。また、画像合成を行う機能が不要であれば、画像撮影装置２は、図５で説明した構成から、前景背景合成手段２３および前景領域検出手段２２を省いて構成すればよい。
【００７３】
（変形例２）
また、ここでは、画像提供装置１の画像記憶手段１０に記憶されるデータベースに、背景候補画像を記憶することとしたが、これ以外に、さらに、当該画像を縮小したサムネイル画像を併せて記憶することとしてもよい。
その場合、画像撮影装置２は、背景候補画像取得手段２３１によって、画像提供装置１から候補となる背景候補画像のサムネイル画像を取得する。そして、画像撮影装置２は、背景候補画像選択手段２３２によって、１つの背景候補画像（サムネイル画像）が選択された段階で、背景候補画像取得手段２３１によって、画像提供装置１から背景候補画像の原画像を取得すればよい。これによって、画像提供装置１と画像撮影装置２間の通信量、通信時間を削減することができる。
【００７４】
（変形例３）
また、ここでは、画像撮影装置２の合成手段２３４が、画像提供装置１から取得し、選択した背景候補画像を、そのまま背景画像として前景画像と合成することとしたが、撮影情報に応じて、背景候補画像を変形して合成することとしてもよい。
例えば、図１１（ａ）に示すように、実際の撮影時における画角ＡＧａが、選択した背景候補画像の画角ＡＧｂよりも小さい場合、合成手段２３４は、図１１（ｂ）に示すように、背景候補画像から、画角ＡＧａ分の画像を切り出し、必要に応じて画像変換（拡大）することで、合成用の背景画像とする。
【００７５】
ここで、実際の撮影時における画角が、選択した背景画像の画角よりも大きい場合、撮影者が所望する画像が背景画像に存在しないことがある。そこで、このように、画像の変形を行う場合、背景候補画像取得手段２３１は、実際の撮影時における画角よりも大きい画角の背景候補画像を取得することが好ましい。
なお、画角によって、撮影者が所望する画像を背景画像とすることができない場合、その旨をエラーメッセージとして表示手段２５に表示することとしてもよい。
【００７６】
また、例えば、図１２（ａ）に示すように、実際の撮影画像と背景候補画像とで、姿勢情報（ここでは、ロール方向の回転角φ）が異なる場合、合成手段２３４は、図１２（ｂ）に示すように、背景候補画像ＢＧをロール方向の回転角φ分回転させる。そして、合成手段２３４は、図１２（ｃ）に示すように、図１２（ｂ）で回転した画像から、実際の撮影画像の画角分の画像を切り出し、必要に応じて画像変換（拡大）することで、合成用の背景画像とする。
【００７７】
また、実際の撮影画像と背景候補画像とで位置にずれがある場合、合成手段２３４は、背景候補画像をそのずれ分平行移動させて、合成用の背景画像とすればよい。
また、実際の撮影画像と背景候補画像とで方位にずれがある場合、合成手段２３４は、方位分ずらした背景画像の領域を射影変換して、合成用の背景画像とすればよい。もちろん、位置、方位、姿勢がそれぞれ異なる場合は、それらを組み合わせて変形すればよい。
【００７８】
なお、このように、位置、方位、姿勢によって、使用する背景画像を部分的に使用する場合、画角の大きさによっては、撮影者が所望する画像が背景画像に存在しないことがある。よって、変形例３では、画像提供装置１のデータベースに、画角を含め数多くの撮影情報の異なる背景候補画像を登録することが望ましい。
【００７９】
（変形例４）
また、ここでは、画像撮影装置２を、静止画像を撮影する装置としたが、画像撮影装置２を固定して設置すれば、動画像を撮影する装置とすることも可能である。
その場合、前景画像切出手段２３３が、フレーム単位で前景領域を切り出し、合成手段２３４が、フレーム単位で前景画像と背景画像を合成すればよい。なお、背景画像を選択するまでの動作は、静止画像を撮影する場合と同じである。
【符号の説明】
【００８０】
Ｓ      画像合成システム
１      画像提供装置
１０    画像記憶手段（データベース）
１１    通信制御手段
１２    画像登録検索手段
２      画像撮影装置（画像合成装置、カメラ）
２０    撮影情報取得手段
２０１  位置検出手段（検出手段）
２０２  位置情報取得手段
２０３  方位検出手段（検出手段）
２０４  方位情報取得手段
２０５  姿勢検出手段（検出手段）
２０６  姿勢情報取得手段
２０７  レンズ情報取得手段
２１    撮影手段
２２    前景領域検出手段
２３    前景背景合成手段
２３１  背景候補画像取得手段
２３２  背景候補画像選択手段
２３３  前景画像切出手段
２３４  合成手段
２４    通信制御手段
２５    表示手段
２６    記憶手段
２７    画像書込手段
２８    画像登録手段
【図１】
0006412400.tif 000002
【図２】
0006412400.tif 000003
【図３】
0006412400.tif 000004
【図４】
0006412400.tif 000005
【図５】
0006412400.tif 000006
【図６】
0006412400.tif 000007
【図７】
0006412400.tif 000008
【図８】
0006412400.tif 000009
【図９】
0006412400.tif 000010
【図１０】
0006412400.tif 000011
【図１１】
0006412400.tif 000012
【図１２】
0006412400.tif 000013