(57)【特許請求の範囲】
【請求項１】
光学系を通して撮像空間を撮像する撮像手段からの信号に基づき撮像画像を生成する画像生成手段と、
前記撮像手段の位置、前記撮像手段の姿勢、および前記撮像手段から前記撮像空間における被写体までの距離を含む測定情報を取得する測定手段と、
前記撮像画像および前記測定情報から、前記撮像空間および前記撮像空間の外側の空間を表す実座標空間を生成する座標空間生成手段と、
前記撮像画像上の位置を指定することで、前記撮像画像に合成されるオブジェクト画像の合成位置を指定する指定手段と、
前記指定手段で指定された合成位置の、前記実座標空間における位置に応じて前記オブジェクト画像を加工するとともに、前記オブジェクト画像を前記撮像画像における前記合成位置に合成する画像処理手段と
を備え、
前記画像処理手段は、前記指定手段で指定された合成位置に対応する加工を該オブジェクト画像に行って前記撮像画像に合成することを特徴とする画像処理装置。
【請求項２】
前記画像処理手段で生成された合成画像を表示部に表示する表示制御手段を備え、
前記指定手段は、前記表示部に表示された前記撮像画像上の位置を指定することで前記合成位置を指定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記指定手段は、前記表示部に設けられたタッチセンサを含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記指定手段は、前記撮像画像上に合成されたオブジェクト画像をドラッグする操作を受け付けることにより該オブジェクト画像の前記合成位置を変更することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記指定手段によってドラッグの操作を受け付けることに応じて所定の周期で前記オブジェクト画像に加工処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記オブジェクト画像は、前記オブジェクト画像のサイズ情報と関連付けてメモリに記憶されていることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記オブジェクト画像は、画像データから抽出された被写体の画像であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像処理手段は、前記実座標空間を用いて前記撮像手段から前記合成位置までの実距離を算出し、前記実距離と前記オブジェクト画像の実サイズに応じて、前記オブジェクト画像のサイズを調整することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記撮像手段を備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記撮像手段は、前記オブジェクト画像にフォーカスポイントが設定された場合、前記光学系のピントを前記オブジェクト画像までの実距離に合わせることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理手段は、前記オブジェクト画像までの実距離に対する前記光学系のピントのずれに応じて、前記オブジェクト画像にボケを付加することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像処理手段は、前記オブジェクト画像から前記光学系の画角内に収まる領域をトリミングする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記座標空間生成手段は、前記撮像手段を基点とした前記実座標空間を生成することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記測定情報は、前記撮像手段の位置を示す緯度、経度、高度の情報を含むことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
撮像手段によって光学系を通して撮像空間を撮像した撮像画像を生成するステップと、
前記撮像手段の位置、前記撮像手段の姿勢、および前記撮像手段から前記撮像空間における被写体までの距離を含む測定情報を取得するステップと、
前記撮像画像および前記測定情報から、前記撮像空間および前記撮像空間の外側の空間を表す実座標空間を生成するステップと、
前記撮像画像上の位置を指定することで、前記撮像画像に合成されるオブジェクト画像の合成位置を指定するステップと、
前記指定するステップで指定された合成位置の、前記実座標空間における位置に応じて前記オブジェクト画像を加工するとともに、前記オブジェクト画像を前記撮像画像における前記合成位置に合成するステップと
を備え、
前記合成するステップは、前記指定するステップにおいて変更された合成位置に対応する加工を該オブジェクト画像に行って前記撮像画像に合成するステップを含むことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に合成画像を撮像するための撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、撮像した画像を組み合わせることにより、レンズとイメージセンサによる実写画像だけでは得ることのできない合成画像を得ることができる撮像装置が開発されている。これらの撮像装置の多くは、撮像済みの画像データを比較し、画像データ間で被写体のサイズ、傾きなどが整合するように画像データを合成している。
【０００３】
また、拡張現実の技術を応用し、合成画像をリアルタイムに表示できる装置が開発されている。これらの装置は、撮像中のライブビュー画像内において空間座標を算出する。そして、合成対象のサイズ、傾きなどをライブビュー画像内の空間座標と矛盾のないように調整し、調整後の合成対象をライブビュー画像と合成している。
【０００４】
特許文献１には、被写体の構図（背景）を変更することが可能な撮像装置が開示されている。特許文献１の撮像装置は、合成対象となる被写体をライブビュー画像上に表示する。ユーザは、ライブビュー画像を見ながら被写体の構図を決定し、合成画像を撮像する。
【０００５】
特許文献２には、拡張現実を体験する際に、現実世界の物体と仮想世界の物体との整合性を保つことができる画像表示装置が開示されている。特許文献２の画像表示装置は、撮像した画像データに対して、幾何学的位置関係が整合性を保つように仮想物体の画像データの位置合わせを行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−９３７３２号公報
【特許文献２】特開２０１５−７７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の撮像装置では、被写体の全体像をライブビュー画像上に表示し、表示された被写体に合わせてライブビュー画像の方向、画角を変更している。特許文献２の画像表示装置では、ユーザの視角と撮像装置の画角とを一致させ、仮想物体を撮像装置の画角内で現実空間の画像と合成している。特許文献１および特許文献２の装置では、合成対象となるオブジェクト画像を撮像装置の画角内に収まるように配置することが前提となっており、オブジェクト画像を画角外に配置することは想定されていない。
拡張現実の技術においては、取り込んでいる撮像画像内においてのみ座標が設定されているため、オブジェクト画像を撮像画像の外側に配置するとオブジェクト画像の位置を正しく算出することが困難になってしまう。このために、配置されたオブジェクト画像を適正なサイズに調整することが困難となる場合がある。
本発明は上記の問題点に鑑み、撮像装置の画角外に配置されたオブジェクト画像を適切に合成することが可能な撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、光学系を通して撮像空間を撮像する撮像部と、前記撮像部からの信号に基づき撮像画像を生成する画像生成部と、前記撮像部の位置、前記撮像部の姿勢、および前記撮像部から前記撮像空間における被写体までの距離を含む測定情報を取得する測定部と、前記撮像画像および前記測定情報から、前記撮像空間および前記撮像空間の外側の空間を表す実座標を生成する座標生成部と、前記撮像画像に合成されるオブジェクト画像の合成位置を指定する指定部と、前記実座標に基づき、前記合成位置に応じて前記オブジェクト画像を加工するとともに、前記オブジェクト画像を前記合成位置に合成する画像処理部とを備えることを特徴とする。
【０００９】
本発明に係る撮像装置の制御方法は、撮像部において、光学系を通して撮像空間を撮像するステップと、前記撮像部からの信号に基づき撮像画像を生成するステップと、前記撮像部の位置、前記撮像部の姿勢、および前記撮像部から前記撮像空間における被写体までの距離を含む測定情報を取得するステップと、前記撮像画像および前記測定情報から、前記撮像空間および前記撮像空間の外側の空間を表す実座標を生成するステップと、前記撮像画像に合成されるオブジェクト画像の合成位置を指定するステップと、前記実座標に基づき、前記合成位置に応じて前記オブジェクト画像を加工するとともに、前記オブジェクト画像を前記合成位置に合成するステップとを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、レンズを通して撮像している撮像空間とその外側の空間を表す実座標を生成し、実座標における合成位置に応じて合成対象を加工することにより、撮像装置の画角外に配置されたオブジェクト画像を適切に合成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の第１実施形態に係る撮像座標を説明するための図である。
【図３】本発明の第１実施形態に係る撮像装置を基点とした実座標を説明するための図である。
【図４】本発明の第１実施形態に係るオブジェクト画像を含む画像データを示す図である。
【図５】本発明の第１実施形態に係るオブジェクト画像を示す図である。
【図６】本発明の第１実施形態に係るオブジェクト画像の配置方法を説明するための図である。
【図７】本発明の第１実施形態に係るオブジェクト画像の配置方法を説明するための図である。
【図８】本発明の第１実施形態に係る撮像装置とオブジェクト画像の位置関係を示す図である。
【図９】本発明の第１実施形態に係る撮像装置とオブジェクト画像の位置関係を示す図である。
【図１０】本発明の第１実施形態に係る撮像装置の制御方法を示すフローチャートである。
【図１１】本発明の第１実施形態に係る撮像装置の制御方法を示すフローチャートである。
【図１２】撮像座標におけるオブジェクト画像の配置可能な位置を示す図である。
【発明を実施するための形態】
【００１２】
［第１実施形態］
図１は、本実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、レンズ部１０１、イメージセンサ部１０２、Ａ／Ｄ変換部１０３、信号処理部１０４、メモリ１０５、画像生成部１０６、データ合成部１０７、表示部１０８、ＣＰＵ１０９を備えている。撮像装置１００は、さらに、ＧＰＳセンサ１１０、高さセンサ１１１、傾きセンサ１１２、位置測定部１１３、距離センサ１１４、距離測定部１１５、データ加工部１１６、抽出部１１７、保存部１１８、選択部１１９、撮像制御部１２０を備えている。
【００１３】
レンズ部１０１は、フォーカスレンズ、ズームレンズ、絞りなどから構成される光学系である。レンズ部１０１は、所定の画角（視野角）αを有しており、画角内の撮像空間からの光をイメージセンサ部１０２の受光面に結像させる。レンズ部１０１は、フォーカスレンズを不図示のアクチュエータでレンズの光軸に沿って移動させることにより、フォーカスレンズのピントを調節することができる。同様に、レンズ部１０１は、ズームレンズ、絞りなどを調節することができる。イメージセンサ部（撮像部）１０２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などから構成される。イメージセンサ部１０２は、レンズ部１０１から受光した光を電気信号に変換し、アナログ撮像信号として出力する。なお、説明を簡単にするために、イメージセンサ部１０２の画角は、レンズ部１０１の画角αに等しいものとする。
【００１４】
Ａ／Ｄ（Analog/Digital）変換部１０３は、イメージセンサ部１０２から入力されたアナログ撮像信号をデジタルの撮像データに変換する。例えば、信号処理部１０４は、デジタル撮像データに対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換、歪み補正などの画像処理を施し、処理後の撮像データをメモリ１０５に記憶させる。なお、Ａ／Ｄ変換部１０３をイメージセンサ部１０２内に設けても良い。
【００１５】
メモリ１０５は、例えばＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリなどから構成され、撮像装置１００を動作させるための制御プログラムを記憶する。メモリ１０５は、撮像データなどの各種データの一時記憶領域として使用されるとともに、撮像装置１００の各部が演算を行う際の作業領域としても使用される。ＣＰＵ（Central Processing Unit）１０９は、撮像装置１００の全体を制御するプロセッサであり、メモリ１０５から所定のプログラムを読み出し、実行することにより、撮像装置１００の各部の機能を実現する。
【００１６】
画像生成部１０６は、信号処理部１０４またはメモリ１０５から撮像データを取得し、表示用の撮像画像を生成する。例えば、画像生成部１０６は、表示部１０８の画面の解像度に応じた撮像画像を生成し、データ合成部１０７に出力する。また、画像生成部１０６は、取得した撮像データをＭＰＥＧ−４、Ｈ．２６４などの動画ファイルの形式に従って圧縮し、データ合成部１０７を介して保存部１１８に記憶させる。さらに、画像生成部１０６は、信号処理部１０４またはメモリ１０５から撮像データを取得し、撮像画像（静止画）を生成する。例えば、画像生成部１０６は、ＪＰＥＧなどの静止画ファイルの形式に従って撮像データを圧縮する。
【００１７】
データ合成部（画像処理部）１０７は、データ加工部１１６からのオブジェクト画像を撮像画像に重畳（合成）する。データ合成部１０７は、画像生成部１０６から入力された撮像画像、またはオブジェクト画像が合成された撮像画像を表示部１０８および保存部１１８に出力する。
【００１８】
表示部（指定部）１０８は、液晶ディスプレイ、有機発光デバイスなどから構成され、データ合成部１０７から入力された撮像画像、メモリ１０５に記憶された各種データ、撮像装置１００を操作するためのメニュー画面などを表示する。また、表示部１０８の画面には透過型のタッチセンサが設けられている。ユーザは、画面に表示された撮像画像の任意の位置を指などで触れることにより、オブジェクト画像を配置する位置、フォーカスポイントを設定する位置などを指定することができる。また、ユーザは、オブジェクト画像を画面の外側にドラッグすることにより、オブジェクト画像の一部を撮像画像の画角外に配置することが可能である。本実施形態によれば、撮像画像の画角外の位置を算出できる実座標を設定することにより、オブジェクト画像の一部を撮像画像の画角外に配置した場合であっても、オブジェクト画像を適切に撮像画像と合成することができる。
【００１９】
ＧＰＳ（Global Positioning System）センサ１１０は、複数のＧＰＳ衛星からの電波を受信し、撮像装置１００の座標（緯度、経度、高度）を測位する。高さセンサ１１１は、赤外線センサ、超音波センサなどから構成され、傾きセンサ１１２は、加速度センサ、ジャイロセンサなどから構成される。撮像装置１００は、さらに方位センサなどを備えてもよい。
【００２０】
位置測定部１１３は、ＧＰＳセンサ１１０、高さセンサ１１１からの信号に基づき、撮像装置１００の座標（緯度、経度、高度）と地面からの高さを測定する。また、位置測定部１１３は、傾きセンサ１１２からの信号に基づき、撮像装置１００の前傾・後傾角度（仰俯角）と左右の傾き（ロール角）を取得する。
【００２１】
距離センサ１１４は、赤外線センサ、超音波センサなどから構成され、赤外線、超音波を物体に向けて照射し、その反射波を受信する。距離測定部１１５は、距離センサ１１４が赤外線、超音波を照射してから、反射波を受信するまでの時間に基づき、距離を測定する。すなわち、距離測定部１１５は、撮像装置１００から被写体までの距離を測定することができる。
【００２２】
データ加工部（座標生成部）１１６は、画像生成部１０６からの撮像画像を分析し、撮像座標（Ｘ’，Ｙ’，Ｚ’）を生成する（図２参照）。撮像座標は、レンズ部１０１、イメージセンサ部１０２が映像として捉えている撮像空間を表す３次元の座標であり、撮像画像の各画素に対応した座標値を有している。撮像座標は、例えば撮像画像に含まれる幾何学的特徴に基づいて算出することができる。具体的には、ＳｆＭ（Structure from Motion）法、ＳＬＡＭ（Simultaneous Localization And Mapping）法などの拡張現実の技術を応用することができる。また、撮像座標の精度を高めるために、レンズ部１０１の焦点距離、画角などのレンズ情報、位置測定部１１３から取得した撮像装置１００の位置および姿勢、距離測定部１１５から取得した被写体までの距離などの測定情報を使用してもよい。
【００２３】
さらに、データ加工部１１６は、位置測定部１１３および距離測定部１１５からの測定情報に基づいて、撮像装置１００を中心とする３次元の実座標（Ｘ，Ｙ，Ｚ）を算出する。実座標は、現実の３次元空間の座標であり、実座標に基づき任意の２点間の距離を算出することができる。データ加工部１１６は、実座標の座標値に対して撮像座標の各座標値を関連づけ、実座標の中に撮像座標を設定する（図３参照）。すなわち、実座標で表される空間は、撮像座標で表される撮像空間を拡張した空間となる。
【００２４】
また、データ加工部（画像処理部）１１６は、オブジェクト画像に対してサイズの変更、変形などの加工処理を行う。具体的には、データ加工部１１６は、ユーザが指定した配置に応じて、オブジェクト画像に対し回転、ロール、変形、拡大、縮小などの処理を施し、オブジェクト画像のサイズ、傾きなどを撮像画像と整合させる。データ加工部１１６は、撮像画像のフォーカスポイント（ピントが合っている領域）に応じて、オブジェクト画像にぼかし処理を施すこともできる。例えば、データ加工部１１６は、オブジェクト画像が撮像画像のフォーカスポイントではない位置（背景など）に配置された場合に、ガウシアンフィルタなどの空間フィルタを用いてピントのずれに応じた強度のボケを付加する。
【００２５】
また、データ加工部１１６は、加工処理後のオブジェクト画像が撮像画像からはみ出している場合、すなわちオブジェクト画像の一部が撮像座標の外部に配置された場合、撮像座標にある部分のみをオブジェクト画像からトリミングする。言い換えれば、データ加工部１１６は、オブジェクト画像からレンズ部１０１の画角α内に対応する領域のみをトリミングする。このように、データ加工部１１６は、座標生成部および画像処理部を構成する。
【００２６】
抽出部１１７は、保存部１１８から画像データを読み出し、ユーザにより指定されたオブジェクト画像を抽出する。抽出部１１７は、画像データから主要な被写体を判別し、オブジェクト画像として抽出してもよい。また、抽出部１１７は、読み出した画像データに含まれている撮像時のレンズ情報および測定情報に基づいて、オブジェクト画像の現実の高さ、幅、奥行きなどの実サイズを算出する。オブジェクト画像の実サイズは、撮像時において画像データ（撮像画像）と関連付けて保存部１１８に記憶させておいてもよい。抽出部１１７は、オブジェクト画像とその実サイズをデータ加工部１１６に出力する。
【００２７】
保存部１１８は、ハードディスクなどの記憶装置であり、撮像装置１００において生成される撮像画像などの各種画像データを格納する。保存部１１８は、脱着可能なメモリカードなどの可搬記憶媒体を含み、撮像装置１００以外の装置で撮像または生成された画像データを格納することができる。
【００２８】
選択部１１９は、操作キー、決定ボタンなどの入力デバイスから構成され、保存部１１８に格納されている画像データの中から、オブジェクト画像を含む画像データを選択する。例えば、選択部１１９は、保存部１１８に格納されている画像データのリストを表示部１０８に表示させる。オブジェクト画像は、撮像済みの撮像画像に含まれたものに限らず、オブジェクトの現実のサイズが定義されているものであれば、ＣＧ（Computer Graphics）により作成されたキャラクタなどの生成画像であっても良い。また、選択部１１９は、実際のボタンではなく、表示部１０８に表示される表示上の操作キー、決定ボタンとして構成されてもよい。
【００２９】
撮像制御部１２０は、レンズ部１０１のフォーカスレンズ、ズームレンズ、絞りなどを制御し、ピントの調節、ズーム倍率の変更、明るさの調整などを行う。また、撮像制御部１２０は、撮像中の画像に関するフォーカス位置、被写体距離、画角などの情報をレンズ部１０１から取得し、データ加工部１１６に出力する。また、撮像制御部１２０は、信号処理部１０４に対して、レンズ部１０１およびイメージセンサ部１０２が取り込んでいる画像を静止画として取得するタイミングを指示する。
【００３０】
図２は、本実施形態に係る撮像座標を説明するための図である。図２は、画像生成部１０６により生成される撮像画像２００の一例を示しており、撮像画像２００に対してＸ’軸、Ｙ’軸、Ｚ’軸からなる直交座標系の撮像座標（Ｘ’、Ｙ’、Ｚ’）が生成される。図２に示される撮像座標では、手前の人物の足元付近を原点とし、地面（床面）を含む平面をＸ’Ｙ’面、鉛直方向（高さ方向）をＺ’軸に設定している。撮像画像２００の各画素は、撮像座標で表される。なお、撮像座標の座標軸は、図２の例に限定されるものではなく、撮像画像２００の構図に応じて適宜設定される。
【００３１】
図３は、本実施形態に係る撮像装置１００を基点とした実座標を説明するための図である。図３に示されるように、Ｘ軸、Ｙ軸、Ｚ軸からなる直交座標系の実座標（Ｘ、Ｙ、Ｚ）が生成され、実座標の中に撮像座標（Ｘ’、Ｙ’、Ｚ’）が設定される。例えば、撮像座標の各座標軸は、実座標の各座標軸の方向と一致し、撮像座標の各座標値は、実座標の座標値と対応づけられる。撮像座標により表される空間は、レンズ部１０１が画像として捉えている空間、すなわちレンズ部１０１の画角に収まる空間と一致しており、実座標により表される空間の中に含まれている。図３に示される実座標では、撮像装置１００の位置を原点とし、地面を含む水平面において互いに直交するＸ軸、Ｙ軸、および地面に鉛直方向（高さ方向）をＺ軸に設定している。実座標の座標軸は、図３の例に限定されるものではなく、撮像装置１００の位置、撮像方向などに応じて適宜設定される。実座標の各座標値は、例えば、緯度、経度、高度の組み合わせで表される。
【００３２】
図４は、本実施形態に係るオブジェクト画像３０１を含む画像データ３００を示す図である。図４に示す画像データ３００は、保存部１１８に格納されている撮像画像の中から、ユーザにより選択部１１９において選択されたものである。画像データ３００には、合成対象となるオブジェクト画像３０１が含まれている。オブジェクト画像３０１は、例えば表示部１０８においてユーザにより指定される。
【００３３】
図５は、本実施形態に係るオブジェクト画像３０１を示す図である。図５のオブジェクト画像３０１は、選択された画像データ３００から抽出部１１７により抽出されたものである。オブジェクト画像３０１には、オブジェクト画像３０１を配置する際に基準となる基準点３０１ａが設定される。基準点３０１ａは、例えばオブジェクト画像３０１の足元、重心などの位置に設定される。基準点３０１ａは、表示部１０８においてユーザにより指定されてもよく、オブジェクト画像３０１の形状に基づき、抽出部１１７により算出されてもよい。
【００３４】
図６は、本実施形態に係るオブジェクト画像３０１の配置方法を説明するための図である。図６は、表示部１０８に表示された例であり、撮像画像２００に合成されたオブジェクト画像３０１が示されている。撮像画像２００の任意の位置をユーザが指で指定することにより、オブジェクト画像３０１が撮像画像２００の指定された位置に配置される。ここで、例えば基準点３０１ａがオブジェクト画像３０１の足元に設定されている場合、ユーザはオブジェクト画像３０１を撮像画像２００の地面、床面上に配置することを想定しているものとする。オブジェクト画像３０１が配置される際は、基準点３０１ａに対応する実座標に基づき、撮像装置１００からオブジェクト画像３０１が配置された現実の合成位置が算出される。そして、オブジェクト画像３０１の現実の合成位置に応じて、オブジェクト画像３０１に対して加工処理が施される。例えば、オブジェクト画像３０１の実サイズ（例えば身長）に基づきオブジェクト画像３０１が拡大または縮小される。
【００３５】
図７は、本実施形態に係るオブジェクト画像３０１の配置方法を説明するための図である。図７では、撮像画像２００内に一度配置されたオブジェクト画像３０１の位置がユーザの操作により変更されている。具体的には、ユーザは、図６のように撮像画像２００の中央付近に配置されたオブジェクト画像３０１を指でドラッグすることにより、撮像画像２００の手前の位置にオブジェクト画像３０１を移動させている。図７に示すように、ユーザは、オブジェクト画像３０１の一部が撮像画像２００からはみ出す場合、特に基準点３０１ａが撮像画像２００の外部に位置する場合であっても、オブジェクト画像３０１を配置することができる。ドラッグによりオブジェクト画像３０１が移動されている間には、オブジェクト画像３０１のサイズ変更、変形などの加工処理が所定の周期で行われる。図７の例では、オブジェクト画像３０１を撮像装置１００に対して近づけているため、オブジェクト画像３０１のサイズが拡大されている。
【００３６】
図８は、本実施形態に係る撮像装置１００とオブジェクト画像３０１の位置関係を示す図である。図８は、図６に対応するオブジェクト画像３０１の配置を実座標（Ｘ、Ｙ、Ｚ）上で示したものであり、地面に対して水平な方向（Ｘ軸方向）から見た実座標のＹＺ面が示されている。撮像装置１００は、高さＨｓに位置し、レンズ部１０１を通して画角α内の撮像空間を撮像している。オブジェクト画像３０１は、身長（現実のサイズ）Ｈを有し、レンズ部１０１の画角α内に配置されている。オブジェクト画像３０１には、高さＨｆの位置にフォーカスポイントＦが設定されている。撮像装置１００とオブジェクト画像３０１のフォーカスポイントＦの実座標に基づき、撮像装置１００からオブジェクト画像３０１までの実距離Ｌが算出される。オブジェクト画像３０１にフォーカスポイントＦが設定されていない場合には、例えばオブジェクト画像３０１の基準点３０１ａに基づき、撮像装置１００からオブジェクト画像３０１の合成位置までの実距離が算出される。この合成位置までの実距離を撮像装置１００からオブジェクト画像３０１までの実距離Ｌとみなしてもよい。
【００３７】
図９は、本実施形態に係る撮像装置１００とオブジェクト画像３０１の位置関係を示す図である。図９は、図７に対応するオブジェクト画像３０１の配置を実座標（Ｘ、Ｙ、Ｚ）上で示したものであり、地面に対して水平な方向（Ｘ軸方向）から見た実座標のＹＺ面が示されている。図８の例と同様に、撮像装置１００は、高さＨｓに位置し、レンズ部１０１を通して画角α内の撮像空間を撮像している。オブジェクト画像３０１は、身長（実際のサイズ）Ｈを有し、オブジェクト画像３０１には、高さＨｆの位置にフォーカスポイントＦが設定されている。図９において、オブジェクト画像３０１は、レンズ部１０１の画角α外に配置されている。ここで、基準点３０１ａがレンズ部１０１の画角αの外に位置している場合に、オブジェクト画像３０１が画角α外に配置されていると表現している。オブジェクト画像３０１がレンズ部１０１の画角α外に配置された場合であっても、図８の例と同様に、実座標に基づきオブジェクト画像３０１までの実距離Ｌが算出できる。
【００３８】
図１０は、本実施形態に係る撮像装置１００の制御方法を示すフローチャートである。このフローチャートの処理は、撮像制御部１２０によって信号処理部１０４へ割り込み処理が行われていない間であり、かつイメージセンサ部１０２により撮像空間が撮像されている間、繰り返し行われる。
【００３９】
撮像装置１００は、ユーザにより撮像開始の操作がなされると、フローチャートの処理を開始する。まず、イメージセンサ部１０２は、レンズ部１０１の画角α内の撮像空間を撮像する（ステップＳ１０１）。次に、Ａ／Ｄ変換部１０３は、イメージセンサ部１０２からのアナログ撮像信号をデジタルの撮像データに変換する。信号処理部１０４は、撮像データに対して画像処理を施し、画像生成部１０６は、撮像データから撮像画像２００を生成する（ステップＳ１０２）。画像生成部１０６は、撮像画像２００をデータ加工部１１６に出力するとともに、データ合成部１０７を介して表示部１０８に伝送する。表示部１０８は、伝送された撮像画像２００を表示する（ステップＳ１０３）。
【００４０】
次に、データ加工部１１６は、画像生成部１０６から撮像画像２００を受信するとともに、距離測定部１１５から撮像画像２００に関する距離の情報を取得する。さらに、データ加工部１１６は、位置測定部１１３から測定情報を取得する（ステップＳ１０４）。続いて、データ加工部１１６は、撮像座標（Ｘ’、Ｙ’、Ｚ’）が含まれた実座標（Ｘ、Ｙ、Ｚ）を生成する（ステップＳ１０５）。すなわち、データ加工部１１６は、撮像画像２００を分析し、撮像座標を生成するとともに、測定情報を用いて撮像装置１００を中心とした実座標を算出し、実座標の中に撮像座標を設定する。
【００４１】
次に、データ加工部１１６は、オブジェクト画像３０１が撮像画像２００に配置されているかを判定する（ステップＳ１０６）。具体的には、データ加工部１１６は、表示部１０８に表示された撮像画像２００に対して、オブジェクト画像３０１を合成する位置が指定されたか否かを判定する。オブジェクト画像３０１が配置されていない場合（ステップＳ１０６でＮＯ）、データ加工部１１６は、フローチャートの処理をステップＳ１０１に移行する。
【００４２】
オブジェクト画像３０１が配置されている場合（ステップＳ１０６でＹＥＳ）、データ加工部１１６は、オブジェクト画像３０１までの実距離を算出する（ステップＳ１０７）。すなわち、データ加工部１１６は、生成した実座標を用いて、撮像装置１００のレンズ部１０１からオブジェクト画像３０１が配置された合成位置またはオブジェクト画像３０１のフォーカスポイントまでの実距離を算出する。
【００４３】
次に、データ加工部１１６は、オブジェクト画像３０１までの実距離が変化したかを判定する（ステップＳ１０８）。すなわち、データ加工部１１６は、前回算出したオブジェクト画像３０１までの実距離と今回算出したオブジェクト画像３０１までの実距離とを比較する。オブジェクト画像３０１までの実距離が変化していない場合（ステップＳ１０８でＮＯ）、データ加工部１１６は、フローチャートの処理をステップＳ１１０に移行する。
【００４４】
オブジェクト画像３０１までの実距離が変化している場合、またはオブジェクト画像３０１までの実距離を初めて算出した場合（ステップＳ１０８でＹＥＳ）、データ加工部１１６は、オブジェクト画像３０１に対して加工処理を行う（ステップＳ１０９）。具体的には、データ加工部１１６は、生成した実座標、オブジェクト画像３０１の実サイズ、オブジェクト画像３０１までの実距離に基づき、オブジェクト画像３０１を撮像画像２００と適合したサイズ、形状、傾きのオブジェクト画像に変換する。データ加工部１１６は、オブジェクト画像３０１までの実距離とレンズ部１０１の画角αから、変換したオブジェクト画像３０１の領域のうちのイメージセンサ部１０２に投影される領域、すなわち撮像画像２００に含まれる領域を算出する。データ加工部１１６は、オブジェクト画像３０１から算出した領域をトリミングし、データ合成部１０７に出力する。
【００４５】
データ合成部１０７は、オブジェクト画像３０１を撮像画像２００に合成し、表示部１０８は、オブジェクト画像３０１が合成された合成画像を表示する（ステップＳ１１０）。最後に、撮像装置１００は、ユーザから撮像停止の指示があったか否かを判定する（ステップＳ１１１）。撮像停止の指示が無い場合（ステップＳ１１１でＮＯ）、撮像装置１００は、フローチャートの処理をステップＳ１０１に移行する。撮像停止の指示があった場合（ステップＳ１１１でＹＥＳ）、撮像装置１００は、フローチャートの処理を終了する。
【００４６】
図１１は、本実施形態に係る撮像装置１００の制御方法を示すフローチャートである。図１１のフローチャートの処理は、オブジェクト画像３０１が合成された合成画像を静止画として保存するための処理であり、図１０のフローチャートの処理に対する割り込み処理として実行される。よって、図１１のフローチャートの処理が開始された時点で、撮像座標と撮像装置１００自身を含む実座標は、既に生成されている。
【００４７】
まず、ユーザによって静止画撮像の開始操作が行われると、撮像制御部１２０は、画像生成部１０６に対して静止画の生成指示を通知する（ステップＳ２０１）。画像生成部１０６は、撮像制御部１２０からの通知のタイミングで、信号処理部１０４から撮像データを取得する（ステップＳ２０２）。画像生成部１０６は、取得した撮像データを変換し、イメージセンサ部１０２の解像度に応じた静止画（撮像画像）を生成する（ステップＳ２０３）。画像生成部１０６は、生成した静止画をデータ加工部１１６に出力する。
【００４８】
データ加工部１１６は、抽出部１１７から取得したオブジェクト画像３０１を静止画の解像度に合わせて変換するとともに、図１０のステップＳ１０９と同様の加工処理を施す（ステップＳ２０４）。そして、データ合成部１０７は、加工したオブジェクト画像３０１を画像生成部１０６からの静止画と合成する。データ合成部１０７は、オブジェクト画像３０１が合成された合成画像を保存部１１８に保存する（ステップＳ２０５）。
【００４９】
このように、本実施形態によれば、撮像装置を中心とした実座標を算出し、撮像座標を実座標の範囲内に設定することにより、撮像装置のレンズ部の画角外の空間をも含む、より広い座標空間が定義される。これにより、撮像座標の範囲を超えて合成対象となるオブジェクト画像を配置することが可能になる。
【００５０】
図１２は、撮像座標においてオブジェクト画像の配置可能な位置を示している。上述のように、撮像座標に収まるように配置したオブジェクト画像を撮像装置に近づけていく際、オブジェクト画像の配置位置が撮像装置に近づくほど、表示部に表示されるオブジェクト画像のサイズも大きくなる。従来の合成機能を有する撮像装置では、撮像座標を超えてオブジェクト画像を移動させた場合、オブジェクト画像までの距離を定めることができなくなるため、合成処理を適切に行うことが困難となる。一方、本実施形態では、レンズとイメージセンサを通じて得られる撮像座標を、撮像装置自身を基点とした実座標へ展開することで、撮像画像中で認識できない位置に配置されたオブジェクト画像を適正な形で合成することができる。したがって、オブジェクト画像が撮像画像の画角外に配置されており、その一部のみが撮像画像内に写り込むような合成画像を得ることができる。また、フォーカスポイントをオブジェクト画像に設定することで、オブジェクト画像にピントを合わせた画像を撮像することができる。
【００５１】
［変形実施形態］
本発明は上記実施形態に限らず種々の変形が可能である。例えば、図１０に示したフローチャートの処理では、オブジェクト画像３０１までの実距離を算出しているが、オブジェクト画像３０１の地面に対する傾きを算出してもよい。また、オブジェクト画像３０１を合成する際には、オブジェクト画像３０１の合成位置と撮像画像２００内の各被写体との位置関係に基づき、オブジェクト画像３０１を前景または後景とするような画像処理を施すことも可能である。
【符号の説明】
【００５２】
１００  撮像装置
１０１  レンズ部
１０２  イメージセンサ部
１０３  Ａ／Ｄ変換部
１０４  信号処理部
１０６  画像生成部
１０７  データ合成部
１０８  表示部
１１３  位置測定部
１１５  距離測定部
１１６  データ加工部
２００  撮像画像
３０１  オブジェクト画像
【図１】
0006685814.tif 000002
【図２】
0006685814.tif 000003
【図３】
0006685814.tif 000004
【図４】
0006685814.tif 000005
【図５】
0006685814.tif 000006
【図６】
0006685814.tif 000007
【図７】
0006685814.tif 000008
【図８】
0006685814.tif 000009
【図９】
0006685814.tif 000010
【図１０】
0006685814.tif 000011
【図１１】
0006685814.tif 000012
【図１２】
0006685814.tif 000013