(57)【要約】【課題】利便性の高い撮像装置、及び画像処理方法を提供すること。【解決手段】本発明の一態様に係る撮像装置１は、オブジェクト画像データを取得するオブジェクト画像データ取得部４０５と、撮像画像データにオブジェクト画像データを付与するオブジェクト画像データ付与部４０１と、オブジェクト画像データ付与部４０１が付与したオブジェクト画像データと、そのオブジェクト画像データが付与されたときの撮像部１００のズーム倍率情報とを対応付けて記憶するメインメモリ２０６と、ズーム倍率情報に基づいてオブジェクト画像データ付与部が付与したオブジェクト画像データのサイズを決定するサイズ決定部４０２と、オブジェクト画像データを、サイズ決定部４０１が決定したサイズとなるように撮像画像データに合成する合成画像データを生成する合成画像データ生成部と、備えるものである。【選択図】図２
2013214823.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像データを取得する撮像部と、
オブジェクト画像データを取得するオブジェクト画像データ取得部と、
前記撮像画像データに前記オブジェクト画像データを付与するオブジェクト画像データ付与部と、
前記オブジェクト画像データ付与部が付与した前記オブジェクト画像データと、そのオブジェクト画像データが付与されたときの前記撮像部のズーム倍率情報とを対応付けて記憶する記憶部と、
前記記憶部に記憶された前記ズーム倍率情報に基づいて前記オブジェクト画像データ付与部が付与した前記オブジェクト画像データのサイズを決定するサイズ決定部と、
前記オブジェクト画像データ付与部が付与した前記オブジェクト画像データを、前記サイズ決定部が決定したサイズとなるように前記撮像画像データに合成する合成画像データを生成する合成画像データ生成部と、
を備える撮像装置。
【請求項２】
前記撮像部の撮像方向に関する方位情報を検出する方位センサと、
前記ズーム倍率情報及び前記方位情報の変化に基づいて、前記合成画像データにおける前記オブジェクト画像データの合成位置を決定する位置決定部と、をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記撮像装置の測位情報を取得する測位情報取得部を備え、
前記記憶部が、前記オブジェクト画像データに前記測位情報を対応付けて記憶し、
前記位置決定部がさらに、前記測位情報の変化に基づいて、前記合成画像データにおける前記オブジェクト画像データの合成位置を決定する請求項２に記載の撮像装置。
【請求項４】
前記測位情報及び方位情報に基づいて、前記オブジェクト画像データ付与部が付与した前記オブジェクト画像データの仮想空間上の配置情報を導出する請求項３に記載の撮像装置。
【請求項５】
外部機器と通信するための通信部をさらに備え、
前記オブジェクト画像データ取得部は、前記外部機器から前記オブジェクト画像データを取得することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項６】
撮像画像データを取得するステップと、
オブジェクト画像データを取得するステップと、
前記撮像画像データに前記オブジェクト画像データを付与するステップと、
前記付与されたオブジェクト画像データと、そのオブジェクト画像データが付与されたときの前記撮像画像データのズーム倍率情報とを対応付けて記憶するステップと、
前記記憶された前記ズーム倍率情報に基づいて前記付与されたオブジェクト画像データのサイズを決定するサイズ決定部と、
前記撮像画像データと、前記決定されたサイズの前記付与された前記オブジェクト画像データを合成した合成画像データを生成するステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、及び画像処理方法に関し、特に詳しくは撮像画像とオブジェクト画像とを合成した合成画像を表示する撮像装置、及び画像処理方法に関するものである。
【背景技術】
【０００２】
特許文献１には画像中の適切な位置に所定の画像を合成する画像処理装置が開示されている。例えば、特許文献１では、スルー画像中に、キャラクター画像を合成することにより得られる合成画像を表示している。
【０００３】
また、特許文献２には、ユーザがタッチパネル上で文字、図形を手書きすることで、モニタ上に表示された画像に手書きした文字、図形を表示させる撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１０３６５１号公報
【特許文献２】特開２００５−１８４７７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の画像処理装置、及び特許文献２に記載の撮像装置では、キャラクター画像、文字画像、又は図形画像が撮像の際の画角や方向と関係なく不変の位置となっている。すなわち、撮像方向を変えた場合でも、モニタに表示される、又は記録媒体に記録される画像において、キャラクター画像等の位置が一定となっている。また、ズーム倍率を変更して画角を変更した場合でも、同じくモニタに表示される、又は記録媒体に記録される画像において、キャラクター画像の位置や大きさが一定となっている。
【０００６】
そのため、例えば、撮像の際にユーザが注目した特定の被写体画像の近辺等にキャラクター等の画像を合成した合成画像を生成しても、その後ユーザが撮像の最中に画角を変更、又は撮像方向を変更した場合には、その被写体画像の大きさ等が変化するため、ユーザは一度合成したキャラクタ画像等を削除し、改めて新しい位置や大きさでキャラクター画像等を合成しなおす必要があった。つまり、撮像方向や撮像画角といった撮像条件を変化させた場合、ユーザはキャラクター画像等を合成し直す操作をしなければならないという問題があった。
【０００７】
本発明は、上記問題を鑑み、撮像条件の変化に適切に対応できるオブジェクト画像を撮像画像と併せて表示又は記録することがきできる撮像装置、及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様にかかる撮像装置は、撮像画像データを取得する撮像部（１００）と、オブジェクト画像データを取得するオブジェクト画像データ取得部（４０５）と、前記撮像画像データに前記オブジェクト画像データを付与するオブジェクト画像データ付与部（４０１）と、前記オブジェクト画像データ付与部（４０１）が付与した前記オブジェクト画像データと、そのオブジェクト画像データが付与されたときの前記撮像部のズーム倍率情報とを対応付けて記憶する記憶部（２０６）と、前記記憶部に記憶された前記ズーム倍率情報に基づいて前記オブジェクト画像データ付与部（４０１）が付与した前記オブジェクト画像データのサイズを決定するサイズ決定部（４０２）と、前記オブジェクト画像データ付与部が付与した前記オブジェクト画像データを、前記サイズ決定部が決定したサイズとなるように前記撮像画像データに合成する合成画像データを生成する合成画像データ生成部（４０４）と、を備えるものである。
上記の撮像装置は、前記撮像部の撮像方向に関する方位情報を検出する方位センサ（２１１）と、前記ズーム倍率情報及び前記方位情報の変化に基づいて、前記合成画像データにおける前記オブジェクト画像データの合成位置を決定する位置決定部（４０３）と、をさらに備えていてもよい。
上記の撮像装置は、前記撮像装置の測位情報を取得する測位情報取得部（ＧＰＳ２１０）を備え、前記記憶部が、前記オブジェクト画像データに前記測位情報を対応付けて記憶し、前記位置決定部（４０３）がさらに、前記測位情報の変化に基づいて、前記合成画像データにおける前記オブジェクト画像データの合成位置を決定するようにしてもよい。
上記の撮像装置は、前記測位情報及び方位情報に基づいて、前記オブジェクト画像データ付与部が付与した前記オブジェクト画像データの仮想空間上の配置情報を導出するようにしてもよい。
上記の撮像装置は、外部機器と通信するための通信部（無線モジュール３０９）をさらに備え、前記オブジェクト画像データ取得部（４０５）は、前記外部機器から前記オブジェクト画像データを取得するようにしてもよい。
本発明の一態様にかかる画像処理方法は、撮像画像データを取得するステップと、オブジェクト画像データを取得するステップと、前記撮像画像データに前記オブジェクト画像データを付与するステップと、前記付与されたオブジェクト画像データと、そのオブジェクト画像データが付与されたときの前記撮像画像データのズーム倍率情報とを対応付けて記憶するステップと、前記記憶された前記ズーム倍率情報に基づいて前記付与されたオブジェクト画像データのサイズを決定するサイズ決定部と、前記撮像画像データと、前記決定されたサイズの前記付与された前記オブジェクト画像データを合成した合成画像データを生成するステップと、を備えるものである。
【発明の効果】
【０００９】
本発明の撮像装置及び撮像方法によれば、撮像条件の変化に適切に対応できるオブジェクト画像を撮像画像と併せて表示又は記録することがきできる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態にかかる撮像システムの全体構成を模式的に示す図である。
【図２】撮像装置の構成を示すブロック図である。
【図３】撮像装置の表示画面に表示される合成画像の一例を示す図である。
【図４】撮像画像の最大画角と撮影方向を説明するための俯瞰図である。
【図５】ズーム倍率の違いによる画角の違いを説明するための俯瞰図である
【図６】ズーム倍率を２倍にした時の合成画像を示す図である。
【図７】撮影方向を変えた時の合成画像を示す図である。
【図８】撮影方向及びズーム倍率を変えた時の合成画像を示す図である。
【図９】撮影方向を大きく変えた時の合成画像を示す図である。
【図１０】オブジェクト画像を２つ表示している例を示す図である。
【図１１】本実施の形態にかかる撮像方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本実施の形態に係る撮像装置を備えた撮像システムについて、図１を用いて説明する。図１は、撮像システムの全体構成を示す図である。撮像システムは、ＩＥＥＥ８０２．１１規格に準拠した方式で通信可能な撮像装置１と、ルータ２と、外部装置４とを有している。撮像装置１は動画像及び静止画像を撮像することができる撮像部を有している。さらに撮像装置１は外部メモリカード等を取り付けるためのスロットを有しており、外部メモリカード等に撮像した画像を記録する。撮像装置１は、この通信機能を備え、ルータ２と通信する。さらに、ルータ２は、インターネットやＬＡＮ（Local Area Network）等のネットワーク３を介して、外部装置４と接続されている。従って、撮像装置１は、外部装置４とのデータ通信が可能となっている。外部装置４は、サーバ装置やパーソナルコンピュータなどであり、撮像装置１が利用可能な各種データを格納している。あるいは、撮像装置１が取得したデータを、外部装置４に転送する。
【００１２】
なお、撮像装置１は、ＷｉＦｉダイレクト等によって、外部装置４と直接的に通信可能となっていてもよい。また、撮像装置１は、カメラ付きの電子機器であれば、スマートフォン等の携帯電話、ノートＰＣ（Personal Computer）、タブレットＰＣ等の機器であってもよい。
【００１３】
撮像装置１は、撮像した撮像画像（スルー画像）にオブジェクト画像を合成した合成画像を生成して、表示する。オブジェクト画像とは、例えば、表示画面に表示された撮像画像に付加される図形、記号、文字、又はそれらの組み合わせ等であり、表示画面に表示できる画像であれば、特に限定されるものではない。撮像画像にオブジェクト画像を合成した合成画像を表示させるための処理については後述する。
【００１４】
次に、撮像装置１の構成について説明する。図２は、本発明の実施形態に係る撮像装置１の内部構成の例を示すブロック図である。撮像装置１は動画像及び静止画像を撮像することができる。なお、本発明に係る撮像装置１は、動画像を撮像できるものであれば、その形状、及び構成は特に限定されるものではない。
【００１５】
中央制御部４００はＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成されている。中央制御部４００をマイクロコンピュータで構成することができる。中央制御部４００は、撮像、各種画像の表示、又は後述するオブジェクト画像データの記録等に関する撮像装置１全体の処理を統括的に制御する。
【００１６】
撮像装置１は、ズームレンズ１０１、フォーカスレンズ１０２、絞り１０３、及び撮像素子１０４で構成される撮像部１００を有する。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。これにより、撮像される撮像画像のズーム倍率が変更する。同様に、フォーカスレンズ１０２は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０３は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子１０４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成される。
【００１７】
撮像装置１を用いた撮像は以下の手順で行われる。撮像素子１０４はズームレンズ１０１、フォーカスレンズ１０２、及び絞り１０３を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部１０５が、このアナログ画像信号を増幅した後、画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像画像データとして取り込んで、バス２００を介してメインメモリ２０６に格納する。
【００１８】
デジタル信号処理部１０８は、バス２００を介して中央制御部４００からの指令に基づき、メインメモリ２０６に格納された撮像画像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００１９】
マイク１０９は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅した後、音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像画像データと併せてメインメモリ２０６に格納する。
【００２０】
多重化部１１３は、メインメモリ２０６に格納された撮像画像データ及びデジタル音声データや、後述する圧縮・伸長処理部２０１により圧縮処理が施された撮像画像データ及びデジタル音声データを多重化しストリームデータを生成する。この際、多重化部１１３は、ストリームデータに対してメタデータ等の付加データを多重化する場合がある。
【００２１】
圧縮・伸長処理部２０１は、バス２００を介して中央制御部４００からの指示に従って、撮像画像データ及びデジタル音声データに所定の圧縮処理を施して圧縮データを生成する。また、圧縮・伸長処理部２０１は、中央制御部４００からの指示に従って、記録部の一例であるカード型記録媒体３０２に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。所定の圧縮処理としては、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式を採用することができ、動画像に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式を採用することができる。
【００２２】
音声・画像処理部２０２は、バス２００を介して中央制御部４００の指示に従い、メインメモリ２０６から読み出した撮像画像データ及びデジタル音声データに所定の画像処理を施す。例えばメニュー画像やＯＳＤ（On Screen Display）画像等、各種処理のための画像データを生成し、その画像データをメインメモリ２０６から読み出されたオリジナルの撮像画像データに重畳ないし合成させて液晶モニタ３０４に出力する。この出力によって、液晶モニタ３０４に表示される画像は各種画像データが重畳等されたものとなる。なお、液晶モニタ３０４の代わりに有機ＥＬ（Electro-Luminescence）モニタ等の他のモニタを用いることも可能である。
【００２３】
ＲＯＭ２０３はバス２００を介して中央制御部４００に接続されており、中央制御部４００が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ２０４は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。撮像装置１は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュＲＯＭ２０４に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。
さらに、ＲＯＭ２０３は、撮像画像データにオブジェクト画像データを付与する等の処理に関するモードの各種設定情報を記憶している。
【００２４】
ＶＲＡＭ（Video RAM）２０５は、表示用の画像データの一時記憶領域として使用される。メインメモリ２０６は、撮像画像データをはじめとした各種画像データの一時記憶領域として使用されるとともに、中央制御部４００の演算作業領域としても使用される。
【００２５】
メディア制御部２０７は、中央制御部４００からの指示に従って、カードＩ／Ｆ３０１を介してカード型記録媒体３０２に対してデータを書き込み、カード型記録媒体３０２に記録されたデータを読み出すよう制御する。カード型記録媒体３０２はＳＤカードやコンパクトフラッシュ（登録商標）等の外部メモリであり、撮像装置１に対して脱着可能に設けられている。なお、メインメモリ２０６、又はカード型記録媒体３０２は、オブジェクト画像に関するオブジェクト画像データを記憶するオブジェクト情報記憶部となる。
【００２６】
ジャイロセンサ２０８は、３軸の加速度及び角速度の変化を検出し、撮像装置１の上下及び左右の手ぶれ量を検出する。さらに、ジャイロセンサ２０８は、撮像方向の変化に応じたパン角及びチルト角情報を検出する。すなわち、ジャイロセンサ２０８は、上下方向における光軸ＬＡの角度（パン角及びチルト角）情報を検出する。時計２０９は、撮像データの取得日時の情報を生成する。
【００２７】
ＧＰＳ（Global Positioning System）２１０は、ＧＰＳ衛星からの信号を受信するＧＰＳ受信機を有しており、ＧＰＳ衛星からの信号に基づいて測位する。これにより、撮像した動画ファイルに、撮影場所の情報を付けることができる。ＧＰＳ２１０は、測位情報を取得する。
【００２８】
方位センサ２１１は、撮像部１００の撮像方向に応じた方位情報を検出する。すなわち、方位センサ２１１は、撮像部１００の光軸ＬＡの方向を検出する。方位センサ２１１としては、例えば、電子コンパスを用いることができる。
【００２９】
液晶モニタ３０４、スピーカ３０５、操作部３０６及び入出力端子３０７は入出力Ｉ／Ｆ３０３に接続されている。液晶モニタ３０４は、例えばＶＲＡＭ２０５やメインメモリ２０６に一時記録された撮像画像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。さらに、液晶モニタ３０４は、撮像部１００によって撮像された撮像画像を表示する際に、オブジェクト画像を重畳ないし合成して、あわせて表示する。以下、この撮像画像とオブジェクト画像を合成ないし重畳等することを単に撮像画像とオブジェクト画像を合成するという。また、このように合成ないし重畳等して生成された画像のデータを、単に合成画像データをいう。
【００３０】
スピーカ３０５は、例えばメインメモリ２０６に一時記録された音声を出力する。操作部３０６は、図示しないレリーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ３０４上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。さらに、ユーザが操作部３０６の図示しないタッチパネルをタッチ、又は押圧することで、後述するオブジェクト画像データ付与部４０１撮像画像中にオブジェクト画像を付けることができる。この操作については、後述する。入出力端子３０７は、図示しないテレビモニタやＰＣ（Personal  Computer）等に接続される。
【００３１】
無線モジュール３０９は、バス２００及び無線Ｉ／Ｆ３０８を介して、外部装置との間で画像データやオブジェクト画像データ等の各種データを無線ネットワーク通信により送受信する。各種データの無線ネットワーク通信は、例えばＩＥＥＥ８０２．１１規格に準拠した方式で行われる。
【００３２】
中央制御部４００は、オブジェクト画像データ付与部４０１と、サイズ決定部４０２と、位置決定部４０３と、合成画像データ生成部４０４と、オブジェクト画像データ取得部４０５を備えている。オブジェクト画像データ付与部４０１は、ユーザ操作に基づいて、撮像画像に付加されるオブジェクト画像に対する設定を行う。そして、設定したオブジェクト画像に関するオブジェクト情報をメインメモリ２０６等に記録する。
【００３３】
例えば、動画撮影中に、ユーザが操作部３０６を操作して、表示させるオブジェクト画像を決定する。より具体的には、まず、ユーザが操作部３０６を操作して、表示画面中に所望のオブジェクト画像を表示させるモードにする。そして、ユーザが、予め設定されているリストの中から、１つのオブジェクト画像を選択する。あるいは、ユーザが入力した文字、記号等を、オブジェクト画像としてもよい。さらに、ユーザが操作部３０６を操作して、撮像中の動画（スルー画像）を表示している液晶モニタ３０４上に重畳された操作部３０６の図示しないタッチパネルを使用して、オブジェクト画像を表示させる位置を決定する。具体的には、ユーザが、タッチパネルである液晶モニタ３０４の一部をタッチすると、タッチ座標を検出する。そして、このタッチ座標が、オブジェクト画像データ付与部４０１がそのオブジェクト画像を付与する初期位置となる。また、オブジェクト画像の初期サイズを変更できるようにしてもよい。
【００３４】
例えば、図３に示すように、表示画面１１上に、オブジェクト画像１２が表示されるように、ユーザが操作したとする。ここでは、オブジェクト画像１２を星型の図形としている。このとき、オブジェクト画像データ付与部４０１が撮像画像に係る撮像画像データに付与したオブジェクト画像１２に係る画像データについて、中央制御部４００がオブジェクト設定時における、方位センサ２１１が検出した方位情報と、ズームレンズによるズーム倍率情報をオブジェクト情報として導出し、メインメモリ２０６に記憶させる。すなわち、中央制御部４００がが、オブジェクト画像データ付与部４０１が付与したオブジェクト画像のオブジェクト画像データに、方位情報とズーム倍率情報を対応付けてメインメモリ２０６に記憶させる。
【００３５】
そして、サイズ決定部４０２は、ズーム倍率情報に応じて合成画像におけるオブジェクト画像１２のサイズを決定する。すなわち、サイズ決定部４０２はオブジェクト情報として記憶されている設定時のズーム倍率情報と、現在のズーム倍率情報とを比較する。そして、サイズ決定部４０２は、比較結果に応じて、オブジェクト画像１２のサイズを決定する。撮像部１００のズーム倍率情報が付与時から変わった場合、サイズ決定部４０２は、ズーム倍率情報に応じてオブジェクト画像１２を拡大、または縮小する。ここでは、サイズ決定部４０２が、ズーム倍率の変化と同じ割合でオブジェクト画像サイズが変化させている。従って、ズーム倍率が設定時の２倍にされると、オブジェクト画像１２のサイズも２倍に拡大される。
【００３６】
位置決定部４０３は、方位センサ２１１で検出した方位情報と、ズーム倍率情報とに応じて、合成画像におけるオブジェクト画像１２の位置の情報を導出し、その位置の情報に基づいて位置を決定する。例えば、合成画像におけるオブジェクト画像１２の位置は、液晶モニタ３０４における横方向、及び縦方向の座標（ＸＹ座標）となる。ここでは、オブジェクト画像１２の中心位置のＸＹ座標を、オブジェクト画像１２の位置としている。
【００３７】
位置決定部４０３はオブジェクト情報として記憶されている設定時のズーム倍率情報と、現在のズーム倍率情報とを比較する。同様に、位置決定部４０３は、オブジェクト情報として記憶されている設定時の方位情報と、現在の方位情報とを比較する。位置決定部４０３は、これらの比較結果に応じて、オブジェクト画像１２の位置を決定する。例えば、ユーザがパン操作を行って撮像部１００の向きを変えると、表示画面上におけるオブジェクト画像１２の位置が変化することなる。さらに、撮像部１００のズーム倍率を変えると、表示画面上におけるオブジェクト画像１２の位置が変化する。なお、ズーム倍率のみを変えた場合、表示画面の中心を通る直線上でオブジェクト画像１２が移動する。
【００３８】
合成画像データ生成部４０４は、撮像画像データと、サイズ決定部４０２が決定したサイズのオブジェクト画像データに基づいて、合成画像データを生成する。具体的には、合成画像データ生成部４０４は、位置決定部４０３及びサイズ決定部４０２での処理結果を参照している。合成画像データ生成部４０４は、位置決定部４０３で決定したオブジェクト画像１２の位置に、サイズ決定部４０２で決定したオブジェクト画像１２のサイズで、オブジェクト画像１２が撮像画面に重ね合わされるように、合成画像データを生成する。そして、液晶モニタ３０４が合成画像データに基づいて、合成画像を表示する。液晶モニタ３０４には、撮像画像にオブジェクト画像が重畳された合成画像が表示される。このように、現在のズーム倍率情報、方位情報が設定時から変化すると、液晶モニタ３０４に表示されている合成画像中のオブジェクトは、異なるサイズ、位置となる。
【００３９】
これにより、ユーザが一度付与したオブジェクト画像１２の位置及びサイズを、自動的に変化させることができる。よって、利便性を向上することができる。例えば、ユーザが興味のある対象物体（例えば、建物等）にマーキングを行うために、オブジェクト画像１２を付することができる。ズーム倍率及び撮影方向を変化させても、その対象物体に常時オブジェクト画像１２が付与された表示となる。
【００４０】
例えば、ズーム倍率を変更すると、対象物体に付されたオブジェクト画像１２もそれに応じて拡大、又は縮小される。これにより、ズーム倍率に応じて、対象物体の強調度を高くしたり、低くしたりすることができる。すなわち、対象物体と共にオブジェクト画像１２が拡大される場合、強調度が高くなる。反対に、対象物体と共にオブジェクト画像が縮小される場合、強調度が低くなる。
【００４１】
さらに、パン操作により撮影方向を変化させても、オブジェクト画像１２がパン角度に応じて移動する。よって、ユーザが興味ある対象物体に常時オブジェクト画像１２が付された状態で表示される。これにより、利便性を向上することができる。さらに、ズーム倍率情報、及び方位情報に基づいて、オブジェクト画像１２の位置及びサイズを決定しているため、画像処理などを行う必要がなくなる。よって、処理を簡素化することができる。
【００４２】
なお、ズーム倍率情報は、光学ズームに限らず、デジタルズーム（電子ズーム）のズーム倍率情報であっても良い。ズーム倍率情報にサイズを連動させることで、サイズ変更が不要となり、よりその空間にいることを感じることができる。
【００４３】
オブジェクト画像データ取得部４０５は、例えばメインメモリ２０６やカード型記録媒体３０２に記録されている様々なオブジェクト画像データや、オブジェクト画像の情報、各種設定情報を取得することができる。また、オブジェクト画像データ取得部４０５は、無線モジュール３０９を介して、無線通信等のネットワーク通信で接続された外部機器から、これらのデータ等を取得することもできる。
【００４４】
次に、オブジェクト画像１２の位置及びサイズを決定するための処理について説明する。以下の説明において、特に言及がない場合、オブジェクト画像１２の位置は、水平方向における位置を示すものとする。
【００４５】
図４は、撮像装置１の最大画角θを説明するための俯瞰図である。すなわち、図４は、撮像装置１を上空から見た状態を模式的に示している。図４では、東を向いて撮影しているため、光軸ＬＡが撮像装置１の中心から東方向に延びている。また、撮像装置１の最大画角θは、撮像部１００のレンズ、及び撮像素子１０４の性能に応じて決まっている値である。
【００４６】
ここで、最大画角θの時のズーム倍率を１倍とする。すると、ズーム倍率を変化させた時の画角は、図５に示すようになる。ズーム倍率を上げていくと、画角が小さくなっていく。なお、図５では、ズーム倍率が１倍、２倍、３倍の時の画角を示している。
【００４７】
ここで、ズーム倍率が１倍、２倍、３倍の時に、撮像装置１に投影されている投影面をそれぞれ投影面Ｐ１、投影面Ｐ２、投影面Ｐ３として模式的に示す。ズーム倍率が異なると、投影面の大きさも異なる。光軸ＬＡからの角度αが一定であっても、ズーム倍率が異なると、投影面での位置が変化する。従って、オブジェクト設定時のズーム倍率情報と方位情報とがオブジェクト情報として記憶されている。これにより、動画撮影中のスルー画像で、オブジェクト画像１２のサイズ及び位置をリアルタイムで変更することができる。
【００４８】
例えば、オブジェクト画像１２の設定時に、表示画面上のタッチ座標が検出されている。レンズや撮像素子１０４の性能に関する情報（以下、広角情報）は予め分かっている。従って、オブジェクト設定時のズーム倍率情報と、広角情報とを用いて、タッチ座標を光軸ＬＡからの角度αに変換することができる。さらに、光軸ＬＡの方位は、方位センサが検出した方位情報と一致している。よって、光軸ＬＡからの角度αを絶対的な方位に変換することができる。このように、３６０°の空間上にオブジェクト画像１２を配置することにより、パノラマエフェクトを動画として記録できる。
【００４９】
上記の通り、サイズ決定部４０２は、設定時のズーム倍率情報と、現在のズーム倍率情報とに基づいて、オブジェクト画像１２のサイズを決定している。従って、図３に示した状態から、ズーム倍率を２倍すると、図６に示すようにオブジェクト画像１２が拡大する。すなわち、表示画面１１上では、星型のオブジェクト画像１２が図３に比べて２倍の大きさになって表示される。水平方向におけるオブジェクト画像１２の位置も変化している。
【００５０】
位置決定部４０３は、設定時のズーム倍率情報及び現在のズーム倍率情報、並びに、設定時の方位情報及び現在の方位情報に応じて、オブジェクト画像１２の表示位置を決定している。例えば、ユーザが図３の撮影方向から右方向にパン操作すると、オブジェクト画像１２の位置が、図７に示すように変化する。なお、設定したオブジェクト画像１２が複数ある場合、ズーム倍率情報、及び方位情報によっては、全てのオブジェクト画像１２が表示画面に表示されないこともあり得る。
【００５１】
図３に示す設定時からズーム倍率、及び撮影方向の両方を変えると、図８に示すように、オブジェクト画像１２の位置及びサイズが変化する。このように、動画撮影中に表示されるスルー画像では、オブジェクト画像１２の位置が随時変化して表示されていく。
【００５２】
さらに、図９に示すように複数のオブジェクト画像１２を表示させるようにしてもよい。図９では、星型のオブジェクト画像１２に加えて、丸型のオブジェクト画像１２が表示されている。この場合も、それぞれのオブジェクト画像１２についてオブジェクト情報を記憶する。そして、現在の情報と設定時の情報から、オブジェクト画像１２のサイズ及び位置を同様に決定する。
【００５３】
ズーム倍率情報や方位情報が大きく変わった場合、現在表示されているエリアからオブジェクト画像１２がはみ出すことになる。この場合、図１０に示すように、表示画面からオブジェクト画像を削除して表示する。例えば、図１０では、図９に示す状態からパン角度を大きくしているため、丸型のオブジェクト画像１２が、表示されなくなる。また、一度オブジェクト画像が削除された後に、ズーム倍率情報や、方位情報を設定時に戻すと、図９に示すように、再度、オブジェクト画像１２が表示される。このように、設定時と現在の方位情報及びズーム倍率情報を比較している。こうすることで、ズーム倍率情報や方位情報が大きく変わって、一旦、オブジェクト画像１２が表示画面上から消えた場合でも、再度、オブジェクト画像１２を表示させることができるようになる。
【００５４】
なお、オブジェクト画像１２の設定時のタッチ座標が、表示画面の中心と一致した場合、上記の角度αが０になる。従って、撮影方向が一定のまま、ズーム倍率を変えたとしても、オブジェクト画像１２の位置は変化せず、サイズのみが変化することになる。換言すると、表示画面の中心以外の位置にオブジェクト画像１２を設定した場合、同じ方向を向いて撮影していたとしても、ズーム倍率に応じてオブジェクト画像の位置が変化することになる。
【００５５】
次に、本実施の形態にかかる撮像方法について、図１１を用いて説明する。図１１は、撮像装置の制御方法を示すフローチャートである。
【００５６】
オブジェクト画像表示のための処理を開始すると（ステップＳ１１）、中央制御部４００が、まず、ズーム倍率情報を取得する（ステップＳ１２）。次に、中央制御部４００がレンズ情報に基づいた広角情報からエリアを取得する（ステップＳ１３）。すなわち、レンズ等の性能情報を参照して、設定時のズーム倍率情報に応じて、中央制御部４００が、撮像素子１０４が撮像している仮想的なエリアを設定する。さらに、方位センサ２１１から方位情報を取得する（ステップＳ１４）。中央制御部４００によって、これらのズーム倍率情報、及び方位情報は、オブジェクト情報として、オブジェクト画像データに対応付けて記憶される。
【００５７】
次に、中央制御部４００が方位情報が変更されたか否かを判定する（ステップＳ１５）。方位情報が変更されていない場合（ステップＳ１５のＮｏ）、後述するステップＳ１８に移行する。方位情報が変更された場合（ステップＳ１５のＹＥＳ）、中央制御部４００が現在の方位情報に合わせて、表示中のオブジェクト画像１２の位置を変更する、あるいは、表示画面上から削除する（ステップＳ１６）。例えば、撮影方向の変化が小さく、オブジェクト画像が表示エリアからはみ出さない場合は、オブジェクト画像１２の位置を変化させる。一方、撮影方向が大きく変わった場合は、オブジェクト画像１２が表示画面１１上からはみ出すことになる。よって、表示画面１１からオブジェクト画像１２を削除する。すなわち、オブジェクト画像が追加されていない撮像画像が表示される。
【００５８】
また、方位情報が変更されることで、表示エリアに入ってくる他のオブジェクト画像がある場合、中央制御部４００が他のオブジェクト画像１２を表示する（ステップＳ１７）。すなわち、既に設定されているが、表示画面上に表示されていなかったオブジェクト画像が、再度、表示画面のエリアに入ってきたら、そのオブジェクト画像を表示する。そして、ステップＳ１８に移行する。
【００５９】
そして、中央制御部４００がズーム倍率情報が変わったか否かを判定する（ステップＳ１８）。ズーム倍率情報が変わっていない場合（ステップＳ１８のＮＯ）、後述するステップＳ２０に移行する。ズーム倍率情報が変わっている場合（ステップＳ１８のＹＥＳ）、ズーム倍率情報に合わせて、現在表示中のオブジェクト画像の位置とサイズを変更する（ステップＳ１９）。
【００６０】
そして、オブジェクト画像の追加設定があったか否かを判定する（ステップＳ２０）。オブジェクト画像の追加設定が無い場合（ステップＳ２０のＮＯ）、処理を終了する（ステップＳ２３）。オブジェクト画像の追加設定があった場合（ステップＳ２０のＹＥＳ）、タッチされた座標を検出する（ステップＳ２１）。さらに、新しいオブジェクト画像のズーム倍率情報と方位情報をオブジェクト情報として保存し、新しいオブジェクト画像を追加表示させる（ステップＳ２２）。このようにして、処理が終了する（ステップＳ２３）。そして、表示中のスルー画像に対して上記の処理を繰り返し行うことで、オブジェクト画像１２のサイズ及び位置を随時変更する。
【００６１】
なお、上記の説明では、水平方向におけるオブジェクト画像の位置のみについて説明したが、位置決定部４０３が上下方向の位置を決定しても良い。例えば、オブジェクト画像データ付与部４０１は、ジャイロセンサ２０８で検出したチルト角情報を、オブジェクト情報として、メインメモリ２０６に記憶させる。そして、位置決定部４０３が、ジャイロセンサ２０８で取得したチルト角情報を用いて、上下方向のオブジェクト画像の位置を決定しても良い。すなわち、設定時と現在のチルト角情報を同様に比較することで、オブジェクト画像の上下位置を変えることができる。また、撮影位置が高層ビル等の中である場合、撮影高さが変わる。この場合、撮影高さをユーザが入力したり、高さセンサで検出したりして、上下方向の位置を補正しても良い。もちろん、ユーザの身長を高さ情報として利用してもよい。ジャイロセンサ２０８の検出結果により、撮像装置１の向きが横向きとなっているか、縦向きとなっているかを判定しても良い。そして、撮像装置１の向きに応じて、オブジェクト画像の位置を変更しても良い。
【００６２】
また、一度撮影を停止した後に、再度撮影を行う場合、既に設定したオブジェクト画像のオブジェクト情報を再利用しても良い。すなわち、オブジェクト画像データ取得部４０５が１回目の撮影で設定したオブジェクト画像データ及びオブジェクト及びそのオブジェクト情報を、２回目の撮影で利用する。こうすることで、オブジェクト設定が不要になり、利便性を向上することができる。また、オブジェクト情報を不揮発性メモリなどに記憶することで、一度電源をＯＦＦした場合でも、オブジェクト情報を利用することができる。あるいは、オブジェクト情報を、ネットワーク３を介して、外部装置４に記憶するようにしてもよい。この場合、撮像装置１の電源を切った後でも、オブジェクト情報を読み出すことで、同じ条件で、オブジェクト画像を表示させることができる。すなわち、ユーザが再度、同じ位置で撮像を行う場合、以前に設定したオブジェクト画像を同様に表示させることができる。これにより、オブジェクト画像の再設定を行う必要がなくなるため、利便性を向上することができる。
【００６３】
さらに、ＧＰＳ２１０等の測位手段で測位した測位情報を用いて、オブジェクト画像の位置を導出しても良い。この場合、オブジェクト画像データ付与部４０１が設定時の測位情報（緯度及び経度）を取得して、オブジェクト情報として、記憶させる。ユーザが撮影する撮影位置、すなわち撮像装置１の撮影位置が変化すると、測位情報の変化に応じて、合成画像におけるオブジェクト画像１２の位置も変化する。さらに、測位情報及び方位情報等のオブジェクト情報に基づいて、仮想空間上の配置情報を導出しても良い。例えば、インターネット上で利用可能な地図情報に、配置情報を対応させる。このように、拡張現実（Artificial Reality）や仮想現実(Virtual Reality)などに基づく仮想空間上の配置情報を記憶する。これにより、インターネット地図などの仮想空間上にオブジェクト画像を表示させることができるようになる。もちろん、仮想空間上の配置情報は、ネットワーク３を介して、外部装置４に格納されてもよい。
【００６４】
さらに、オブジェクト情報を他の撮像装置１と共有しても良い。例えば、中央制御部４００がネットワーク３を介して、他の撮像装置１に送信する。これにより、同じタイプの撮像装置１でオブジェクト情報を共有することがで、他の撮像装置１が撮像を行う場合でも、オブジェクト画像を同様に表示させることができる。さらに、外部装置４において、オブジェクト画像のオブジェクト画像データを記憶するようにしてもよい。そして、撮像装置１がオブジェクト画像データを外部装置４から取得するようにしてもよい。こうすることで、様々なオブジェクト画像を表示することができる。
【００６５】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の動機撮影の処理は、メインプロセッサのＲＯＭ等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ（プロセッサ）に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００６６】
１  撮像装置
２  ＷｉＦｉルータ
３  ネットワーク
４  外部装置
１００  撮像部
２０２  音声・画像処理部
２０３  ＲＯＭ
２０４  フラッシュＲＯＭ
２０５  ＶＲＡＭ
２０６  メインメモリ
２０７  メディア制御部
２０８  ジャイロセンサ
２０９  時計
２１０  ＧＰＳ
２１１  方位センサ
３０１  カードＩ／Ｆ
３０２  カード型記録媒体
３０３  入出力Ｉ／Ｆ
３０４  液晶モニタ
３０５  スピーカ
３０６  操作部
３０７  入出力端子
３０８  無線Ｉ／Ｆ
３０９  無線モジュール
４００  中央制御部
４０１  オブジェクト画像データ付与部
４０２  サイズ決定部
４０３  位置決定部
４０４  合成画像データ生成部
４０５  オブジェクト画像データ取得部
【図１】
2013214823.tif 000003
【図２】
2013214823.tif 000004
【図３】
2013214823.tif 000005
【図４】
2013214823.tif 000006
【図５】
2013214823.tif 000007
【図６】
2013214823.tif 000008
【図７】
2013214823.tif 000009
【図８】
2013214823.tif 000010
【図９】
2013214823.tif 000011
【図１０】
2013214823.tif 000012
【図１１】
2013214823.tif 000013