(57)【要約】【課題】システム全体のコスト増大をおさえながら、パノラマ撮影範囲全体に最適な撮影パラメータを自動調整することのできる撮像装置を提供すること。【解決手段】パノラマ画像を撮影する撮像装置であって、パノラマ撮影する撮影範囲の複数の画像を本撮影の前に順次撮影するプレ撮影手段と、プレ撮影中に特定の条件に従ってデータを破棄する第一のデータ処理手段と、第一データ処理手段により処理されたデータを蓄積する第一のデータ蓄積手段と、蓄積した複数の第一のデータに基づいて撮影パラメータを決定する第二のデータ処理手段と、決定した撮影パラメータに従って撮影パラメータでパノラマ撮影の本撮影を行う撮影手段とを有することを特徴とする。【選択図】図１
2016122939.tif 000002
【特許請求の範囲】
【請求項１】
パノラマ画像を撮影する撮像装置であって、
パノラマ撮影する撮影範囲の複数の画像を本撮影の前に順次撮影するプレ撮影手段と、
プレ撮影中に特定の条件に従ってデータを破棄する第一のデータ処理手段と、
前記第一データ処理手段により処理されたデータを蓄積する第一のデータ蓄積手段と、
蓄積した複数の第一のデータに基づいて撮影パラメータを決定する第二のデータ処理手段と、
決定した撮影パラメータに従って撮影パラメータでパノラマ撮影の本撮影を行う撮影手段とを有することを特徴とする撮像装置。
【請求項２】
本撮影の際の露光量を測光値から決定する際の測光モードを選択するための測光モード選択手段を備え、
第一のデータ処理手段はプレ撮影手段により得られた複数の測光値を測光モードで定義された測光領域から外れた測光データを破棄し、
第二のデータ処理手段は第一のデータ蓄積手段により蓄積された測光データから、
測光モード選択手段により選択された測光モードに従って本撮影の際の露光量を決定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
本撮影の際のホワイトバランスを決定する際の動作モードを選択するためのホワイトバランス選択手段を備え、
第一のデータ処理手段はプレ撮影手段により得られた複数の画像データの重複している領域を破棄し、
第二のデータ処理手段は第一のデータ蓄積手段により蓄積された画像データから、
ホワイトバランス選択手段により選択された動作モードに従って本撮影の際のホワイトバランスを決定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
第一のデータ処理手段はさらにプレ撮影手段により得られた画像データの解像度を削減することを特徴とする請求項３に記載の撮像装置。
【請求項５】
プレ撮影手段により得られた画像データから人物の顔の含まれる顔領域を検出する顔検出手段と、
複数の顔領域から主被写体となる顔領域を決定する主顔決定手段とを備え、
第一のデータ処理手段は顔検出手段により順次検出される顔領域を主顔決定手段により比較し、主顔以外の顔領域データを破棄し、
第二のデータ処理手段は第一のデータ蓄積手段により蓄積された顔領域データから、本撮影の際の露出量とホワイトバランスを決定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
プレ撮影の終了を決定するプレ撮影終了手段と、
撮影範囲の移動方向を検出する撮像方向検出手段とを備え、
プレ撮影終了手段は画角方向検出手段によるプレ撮影の撮影範囲の移動方向が転換した際にプレ撮影の終了を決定することを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。
【請求項７】
複数の画像データに基づいて画像データ間の移動ベクトルを検出する移動ベクトル検出手段を備え、
撮像方向検出手段は移動ベクトル検出手段により検出した画像データ間の移動ベクトルに基づいて撮影方向を検出することを特徴とする請求項６に記載の撮像装置。
【請求項８】
本撮影の開始を決定する本撮影開始手段を備え、
本撮影開始手段は画角方向検出手段によるプレ撮影の撮影範囲の移動方向が転換した際に本撮影の開始を決定することを特徴とする請求項６又は請求項７に記載の撮像装置。
【請求項９】
プレ撮影および本撮影時の画角変化量をそれぞれ計測する画角変化量取得手段を備え、
本撮影時の画角変化量がプレ撮影時の画角変化量と同じになった場合に本撮影を終了することを特徴とする請求項１乃至請求項８の何れか一項に記載の撮像装置。
【請求項１０】
プレ撮影開始時の画像データを保持する第二のデータ蓄積手段と、
第二のデータ蓄積手段が保持する画像データと本撮影時に撮影した画像データを比較する比較手段を備え、
比較手段が両画像データを一致と判定した場合に本撮影を終了することを特徴とする請求項１乃至請求項９の何れか一項に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続的に撮影した画像をパノラマ映像に合成することのできる撮像装置に関する。
【背景技術】
【０００２】
従来、広く用いられているデジタルカメラは、１回の撮影範囲はレンズの画角に制限された狭い範囲であり、レンズの画角を超えた広範囲の撮影ができない。そこで、近年ではレンズの画角を超えた広範囲（パノラマ画像）を撮影するさまざまなシステムが提案されている。
【０００３】
パノラマ画像を撮影する方法としては、広い視野を複数の撮像部で一度に撮影する多眼方式、撮影方向をシフトさせつつ順次撮影する単眼方式、撮影方向を変えながら連続的に撮影するスイング方式などが知られている。
【０００４】
ところで、近年のデジタルカメラは、露出・ホワイトバランスなどの撮影パラメータを自動的に調整する機能を有するのが普通である。これらの撮影パラメータは、撮影時にレンズの画角内の画像を評価・分析し、その画像に応じて露出やホワイトバランスを決定している。
【０００５】
このため、レンズの画角より超えた範囲の撮影するパノラマ撮影の場合は、パノラマ撮影範囲全体の画像を評価・分析することができず、最適な撮影パラメータを自動調整できないという課題あった。
【０００６】
この課題に対し、特許文献１では、複眼方式において、複数の撮像部から得られる情報を合成し、合成結果に基づき撮影パラメータを決定する方法が開示されている。また、特許文献２では、単眼方式あるいはスイング方式において、あらかじめ撮影範囲全体のプレ撮影を行い、このプレ撮影によるデータに基づき本撮影時の撮影パラメータを決定する方法が開示されている。
【０００７】
これらの方法によれば、パノラマ撮影範囲全体に最適な撮影パラメータを自動調整することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平７−１１０５０５号公報
【特許文献２】特開平１１−１５６２５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、以上の撮像装置にはその実現コスト面から次のような課題がある。すなわち、特許文献１の構成においては、レンズ・撮像部ともに複数個必要となる。このため、撮像装置の全体のサイズが大きくなったり、システム全体が高価になったりするという課題がある。
【００１０】
一方、特許文献２の構成においては、プレ撮影に置いて取得した撮影範囲全体の情報を、本撮影時完了時まで保持することが必要となり、システムとして必要となるメモリ容量が増大するという課題がある。
【００１１】
本発明は、上記課題を鑑みてなされたものであって、システム全体のコスト増大をおさえながら、パノラマ撮影範囲全体に最適な撮影パラメータを自動調整することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明は、
パノラマ画像を撮影する撮像装置であって、
パノラマ撮影する撮影範囲の複数の画像を本撮影の前に順次撮影するプレ撮影手段と、
プレ撮影中に特定の条件に従ってデータを破棄する第一のデータ処理手段と、
前記第一データ処理手段により処理されたデータを蓄積する第一のデータ蓄積手段と、
蓄積した複数の第一のデータに基づいて撮影パラメータを決定する第二のデータ処理手段と、
決定した撮影パラメータに従って撮影パラメータでパノラマ撮影の本撮影を行う撮影手段とを有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、連続的に撮影した画像をパノラマ映像に合成することのできる撮像装置において、複数回の動作でパノラマ撮影を行い、プレ撮影によるデータを特定の条件に従って破棄することによって、システム全体のコスト増大をおさえながら、パノラマ撮影範囲全体に最適な撮影パラメータを自動調整することのできる撮像装置の提供を実現できる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第一〜三の実施例におけるデジタルカメラの外観を示す図である。
【図２】本発明の第一の実施例および第二の実施例におけるデジタルカメラの内部構成を説明するブロック図である。
【図３】本発明の第一〜三の実施例におけるパノラマ合成を模式的に表した図である。
【図４】本発明の第一の実施例における処理を説明するためのフローチャートである。
【図５】本発明の第一の実施例における測光処理の画面分割を表した図である。
【図６】本発明の第一の実施例における測光データの合成を模式的に表した図である
【図７】本発明の第一の実施例のおける測光モードの重みづけ係数を表した図である。
【図８】本発明の第一の実施例における測光データの例を表す図である。
【図９】本発明の第二の実施例における処理を説明するためのフローチャートである。
【図１０】本発明の第三の実施例におけるデジタルカメラの内部構成を説明するブロック図である。
【図１１】本発明の第三の実施例における処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００１６】
［実施例１］
実施例１においては、本発明による撮像装置を撮影した画像をデジタルデータとして記憶媒体に記録するデジタルカメラとした場合を例にして説明する。
【００１７】
＜装置説明＞
図１に、本発明の撮像装置の一例としてのデジタルカメラの外観図を示す。表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モードダイアル６０は各種モードを切り替えるための操作部である。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。
【００１８】
コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。
【００１９】
図２は本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２において、１０３はフォーカスレンズを含む撮影レンズ、１０１は絞り機能を備えるシャッター、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である（プレ撮影手段、撮影手段）。２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。１０２はバリアであり、デジタルカメラ１００の、撮影レンズ１０３を含む撮像部を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００２０】
２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う（第一のデータ処理手段）。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う（第二のデータ処理手段）。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００２１】
Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている（第一のデータ蓄積手段）。
【００２２】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換部１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダ（スルー画像表示）として機能する。
【００２３】
不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２４】
５０はシステム制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００２５】
モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００２６】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２７】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２８】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。
【００２９】
なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００３０】
８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３１】
３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１８はメモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３２】
画像処理部２４のその他の機能として、撮像方向の検出とパノラマ合成がある。撮像方向の検出は、Ａ／Ｄ変換器２３あるいはメモリ制御部１５から供給される連続する複数の画像データ間の撮像方向と移動量、すなわち、個々の画像データ間の移動ベクトルを検出する。画像処理部２４は、検出した移動ベクトルに基づいて、プレ撮影の開始から終了までの移動方向を検出する。また、同様に本撮影の開始から終了までの移動方向も検出する。
【００３３】
パノラマ合成は、Ａ／Ｄ変換器２３あるいはメモリ制御部１５から供給される連続する画像データと、その画像データ間の位置関係に基づいて行われる。たとえば、画像データ間のある部分画像をお互いの中腹範囲が互いに重ねあうように接合して合成画像を生成する（たとえば、特開２００５−３３３３９６号参照）。合成して生成されたパノラマ画像のデータは、メモリ制御部１５を介してメモリ３２に格納される。また、画像処理部２４は、複数枚の画像データからなるパノラマ画像に対してトリミング処理も行う。
【００３４】
このトリミング処理とは、画像データの一部分の画像領域、たとえば中央付近の領域を切り出す処理である。たとえば、図３に示す画像データ３０１、  ３０２、  ３０３に対してトリミング処理を行うことで、画像データの必要部分を抽出して良好なパノラマ画像３０４を合成する。
【００３５】
＜動作説明＞
デジタルカメラ１００の動作を図４のフローチャートに基づいて説明する。図４のフローチャートは、本発明の撮像装置を用いて、パノラマ画像を撮影するためにプレ撮影と本撮影を行う処理を示している。
【００３６】
このパノラマ撮影においては、ユーザはシャッターボタン６１を押下してプレ撮影を開始する。プレ撮影を開始すると、ユーザが本撮像装置をパン（撮影方向を移動、あるいは回転）することで、パノラマ撮影したい領域の画像を順次取得する。プレ撮影は、ユーザがパンする方向を転換することで終了する。プレ撮影が終了すると本撮影を開始し、逆方向がパンすることで、パノラマ撮影したい領域の画像を順次取得する。本撮影は、撮影方向がプレ撮影を開始した時点での撮影方向と一致すると終了する。ここでは、撮影者が左から右にパンしながらプレ撮影し、プレ撮影した部分を逆にパンしながら（右から左に）撮影する場合について説明する。
【００３７】
図４において、ステップＳ４０１〜Ｓ４０９の処理がプレ撮影処理であり、ステップＳ４１０〜Ｓ４１６が本撮影処理である。ステップＳ４０１では、システム制御部５０は、シャッターボタン６１が押下されたか否かを判定する。シャッターボタンが押された場合はステップＳ４０２に進む。ステップＳ４０２〜Ｓ４０８はループ処理である。
【００３８】
ステップＳ４０２では、画像処理部２４は、ＡＤ変換器２３が出力する画像データを取得し、メモリ制御部１５を介してメモリ３２に書き込む。メモリ３２に書き込まれた画像データは後述のステップＳ４０４の移動ベクトル検出処理で使用するためのものであり、画像処理部２４で縮小した画像データや、画像の特徴点情報などでもよい。
【００３９】
ステップＳ４０３では、画像処理部２４はＡ／Ｄ変換器２３より供給された出力データ（画像データ）を処理し、ＡＥのための測光処理を行う。測光処理について図５を参照して説明する。
【００４０】
図５は本実施例における画面分割の一例を示す図である。本実施例では、画像処理部２４は、供給された画像データを５×５のブロックに分割している。それぞれのブロック毎に単位面積当たりの明るさを求め、測光データとしてメモリ３２に保持する。この測光データは、後述するステップＳ４０６で使用する。
【００４１】
図４に戻り、ステップＳ４０４では、画像処理部２４は、ステップＳ４０２で保存した画像データを、メモリ３２からメモリ制御部１５を介して取得し、連続した画像データ同士を比較して画像データ間の移動ベクトルを検出する。検出した移動ベクトルの情報は、システム制御部５０に通知される。なお、本ステップは、１回目の処理である場合は、メモリ３２中に画像データは１個しか存在しないため移動ベクトルは検出できないので、スキップされる。
【００４２】
ステップＳ４０５では、システム制御部５０は、ステップＳ４０４で算出した移動ベクトルと、前回のループ処理で算出した移動ベクトルを比較する。移動ベクトルの方向が大きく変更した場合、プレ撮影が終わり本撮影に移行したとみなし、ステップＳ４０９へ移行する。例えば、ユーザが左から右にパンをしながらプレ撮影していた場合において、パン方向を右から左に反転させた場合である。
【００４３】
それ以外の場合は、ステップＳ４０６へ進み、プレ撮影処理を継続する。ステップＳ４０６では、画像処理部２４は、ステップＳ４０３で取得した測光データをパノラマ用に合成する。このステップの処理について図６を参照して詳細に説明する。
【００４４】
図６は測光データの合成を模式的に表した図である。図６において、（ａ）は前回までのループ処理で合成されていた測光データでありＮ×５ブロックから構成さる。図６（ｂ）は今回のループ処理のステップＳ４０３で保存した測光データであり、５×５ブロックから構成される。測光データの合成に当たっては、まず図６の（ａ）の測光データと、図６（ｂ）の測光データの元となった画像データのずれが１ブロックの幅に達しているか否かを判定する。
【００４５】
達していない場合は、合成をおこなわず図６（ａ）の測光データをそのまま保持する。１ブロックの幅に達していた場合は、図６（ｂ）の測光データのうち最右列のブロックの測光データ（６０１）を図６（ａ）の測光データの右側に接続し、（Ｎ＋１）×５ブロックとなる合成した測光データ（図６（ｃ））を生成する。その後、図６（ｂ）の測光データを廃棄する。
【００４６】
図４に戻り、ステップＳ４０７では、画像処理部２４は、測光モードにしたがって、不要な測光データを破棄する。具体的な処理について図７を参照して詳細に説明する。
【００４７】
図７は測光モードを説明するための図である。本実施例の撮像装置は複数の測光モードを有する。ユーザがモード切り替えスイッチ６０を用いて選択した測光モードにしたがって、測光データから測光評価値を算出し、その値をもとにＡＥを行う。具体的には、各ブロックとの測光データに対して、それぞれのブロック毎に単位面積当たりの明るさを求め、各ブロックに独立に重みづけ係数を乗じて、全体の露光レベルを決定する。測光モードを選択することにより、この重みづけ係数が変化する。
【００４８】
図７の（ａ）と（ｂ）は、撮像対象の中央付近の測光値を重視する中央測光平均モードの重みづけ係数である。図７（ａ）は横のブロック数が奇数の場合に使用され、図６の（ｂ）は横のブロック数が偶数の場合に使用される。
【００４９】
合成した測光データ（図６（ｃ））が（２Ｍ＋１）×５ブロックの場合において、図７（ａ）がどのように適用されるかを図７（ｃ）に示す。同様に測光データが２Ｍ×５ブロックの場合において、図７（ｂ）がどのように適用されるかを図７（ｄ）に示す。
【００５０】
図７（ｃ）において、図７（ａ）の重みづけ係数は中央のブロックを中心に付与され、周囲のブロックの重みづけ係数は０となる。具体的には、１列〜Ｍ−１列とＭ＋３列〜２Ｍ列の重みづけ係数は０となる。同様に、図７（ｄ）において、図７（ｂ）の重みづけ係数は中央のブロックを中心に付与され、周囲のブロックの重みづけ係数は０となる。具体的には、１列〜Ｍ−２列とＭ＋３列〜２Ｍ列の重みづけ係数は０となる。
【００５１】
本実施例では、プレ撮影は左から右にパンをしながら行われるので、測光データは右側に順次追加される。したがって、測光データが右側に追加されるに従い、左側の重みづけ係数が０の列（図７の７０１や７０３に相当する列）が増えていく。
【００５２】
例えば、次のように増加する。
１）  測光データが５×５の場合は、１列目の重みづけ係数は０
２）  測光データが６×５の場合は、１列目の重みづけ係数は０
３）  測光データが７×５の場合は、１〜２列目の重みづけ係数は０
４）  測光データが８×５の場合は、１〜２列目の重みづけ係数は０
５）  測光データが９×５の場合は、１〜３列目の重みづけ係数は０
重みづけ係数が０の場合は、測光評価値の算出に影響しないので、この左側の重みづけ係数０に想定する列の測光データは不要である。本実施例では、不要となったこれらの測光データを破棄することで作業用のメモリサイズを削減する。
【００５３】
図４に戻り、ステップＳ４０８では、システム制御部５０は、Ｓ４０４で検出した移動ベクトルに基づき移動量を積算し、積算結果をシステムメモリ52に保存する。積算した移動量は後述するステップＳ４１５において利用する。
【００５４】
ステップＳ４０９は、移動ベクトルの反転を検出し、プレ撮影から本撮影に移行する際に実行される。ステップＳ４０９では、画像処理部２４は、ステップＳ４０６とステップＳ４０７で更新された測光データをシステムメモリ５２に格納する。
【００５５】
次に、ステップＳ４１０〜Ｓ４１６の本撮影処理を説明する。ステップＳ４１０では、システム制御部５０は、システムメモリ５２から測光データを取得し、各ブロックの測光データに対して図７（ａ）あるいは図７（ｂ）の重み係数を乗じたものを積算する。具体例を図８に示す。
【００５６】
図８において、図８（ａ）は測光データの例であり、図８（ｂ）は各ブロックに対する重みづけ係数である（横のブロック数が奇数の場合）。なお、ステップＳ４０７の説明でも述べたとおり、測光データの１列目から４列目（図８の８０１）は不要であるため実際には破棄されている。測光評価値は重み係数を乗じたものの積算なので、この場合は次のように算出される。
【００５７】
（６×２＋５×２＋８×２）＋（５×２＋３×６＋５×２）＋（５×２＋４×２＋８×２）＝１１０
図８（ｃ）と図８（ｄ）は、横のブロック数が偶数の場合の測光データの例と重みづけ係数である。測光データの１列目から４列目（図８の８０２）は不要であるため実際には破棄されている。測光評価値は重み係数を乗じたものの積算なので、この場合は次のように算出される。
【００５８】
（６×１＋５×２＋５×１）＋（５×２＋４×４＋６×２）＋（５×２＋４×４＋７×２）＋（６×１＋６×１＋６×１）＝１１７
そして、システム制御部５０は、この測光評価値に対応する露光量（絞り、シャッタ、感度）を決定し、シャッター１０１や撮像部２２の設定を変更する。この露光量は、パノラマ撮影範囲全体の測光データから算出しているため、パノラマ撮影範囲全体に最適な値であると期待することができる。なお、この露出量を決める方法は、通常のカメラと同様でよいので、詳しい説明は省略する。
【００５９】
ステップＳ４１１〜Ｓ４１５はループ処理である。ステップＳ４１１では、画像制御部２４は、Ａ／Ｄ変換器２３より画像データを取得し、メモリ３２に書き込む。ステップＳ４１２では、画像処理部２４は、ステップＳ４０４と同様に、ステップＳ４１１で保存した連続した画像データから画像データ間の移動ベクトルを計算する。ステップＳ４１３では、画像処理部２４は、ステップＳ４１１で保存した画像データ同士を、ステップＳ４１２で検出した移動ベクトルに応じたピクセル数をずらして合成し、パノラマ映像を生成する。
【００６０】
ステップＳ４１４では、システム制御部５０は、ステップＳ４０８と同様に、ステップＳ４１２で検出した移動ベクトルに基づき、移動量を積算する。積算した移動量は後述するステップＳ４１５において利用する。
【００６１】
ステップＳ４１５では、システム制御部５０は、ステップＳ４０８で保存したプレ撮影時の移動量と、ステップＳ４１４で算出した本撮影時の移動量を比較する。移動量が一致した場合には、プレ撮影と同じ範囲を本撮影したとみなし、ステップＳ４１６へ進む。移動量が一致しない場合には、ステップＳ４１１に戻り本撮影を継続する。ステップＳ４１６では、画像処理部２４は、ステップＳ４１３で生成したパノラマ映像を画像ファイルとして記憶媒体２００に保存する。
【００６２】
以上、本実施例によれば、連続的に撮影した画像をパノラマ映像に合成することのできる撮像装置において、複数回の動作でパノラマ撮影を行い、プレ撮影による測光データを測光モードの重みづけ係数の分布に従って破棄することによって、システム全体のコスト増大をおさえながら、パノラマ撮影範囲全体に最適な露光値を自動調整することのできる撮像措置を提供することができる。
【００６３】
［実施例２］
第二の実施例として、プレ撮影において画像データを取得し、本撮影の際のホワイトバランスを決定する撮像装置について説明する。本実施例の説明においては、実施例１との重複部分については説明を省略する。
【００６４】
＜装置説明＞
本実施例の撮像装置の外観および内部構成は実施例１と同様である。
【００６５】
＜動作説明＞
デジタルカメラ１００の動作を図９のフローチャートに基づいて説明する。図９のフローチャートは、本発明の撮像装置を用いて、パノラマ画像を撮影するためにプレ撮影と本撮影を行う処理を示している。
【００６６】
このパノラマ撮影においては、ユーザはシャッターボタン６１を押下してプレ撮影を開始する。プレ撮影を開始すると、ユーザが本撮像装置をパン（撮影方向を移動、あるいは回転）することで、パノラマ撮影したい領域の画像を順次取得する。プレ撮影は、ユーザがパンする方向を転換することで終了する。プレ撮影が終了すると本撮影を開始し、逆方向にパンすることで、パノラマ撮影したい領域の画像を順次取得する。本撮影は、撮影方向がプレ撮影を開始した時点での構図と一致すると終了する。ここでは、撮影者が左から右にパンしながらプレ撮影し、プレ撮影した部分を逆にパンしながら（右から左に）撮影する場合について説明する。
【００６７】
図９において、ステップＳ９０１〜Ｓ９１０処理がプレ撮影処理であり、ステップＳ９１１〜Ｓ９１７が本撮影処理である。ステップＳ９０１では、システム制御部５０は、シャッターボタン６１が押下されたか否かを判定する。シャッターボタンが押された場合はステップＳ９０２に進む。ステップＳ９０２〜Ｓ９０９はループ処理である。ステップＳ９０２では、画像処理部２４は、ＡＤ変換器２３が出力する画像データを取得し、メモリ制御部１５を介してメモリ３２に書き込む。メモリ３２に書き込まれた画像データは後述のステップＳ４０４の移動ベクトル検出処理で使用するためのものであり、画像処理部２４で縮小した画像データや、画像の特徴点情報などでもよい。
【００６８】
ステップＳ９０３では、画像処理部２４は、ステップＳ９０２で取得した画像データが、プレ撮影を開始後の最初の画像データであるか否かを判定する。最初の画像データであった場合には、ステップＳ９０４に進み、２回目以降の画像データであった場合にはステップＳ９０５へ進む。
【００６９】
ステップＳ９０４では、ステップＳ９０２で取得した画像データを、プレ撮影開始時の構図としてメモリ３２に保持する。この画像データは、後述するステップＳ９１６で構図の一致を判定するための物であり、画像処理部２４で縮小した画像データや、画像の特徴点情報などでもよい。
【００７０】
ステップＳ９０５では、画像処理部２４は、ステップＳ９０２で保存した画像データを、メモリ３２からメモリ制御部１５を介して取得し、連続した画像データ同士を比較して画像データ間の移動ベクトルを検出する。検出した移動ベクトルの情報は、システム制御部５０に通知される。なお、本ステップは、１回目の処理である場合は、メモリ３２中に画像データは１個しか存在しないため移動ベクトルは検出できないので、スキップされる。
【００７１】
ステップＳ９０６では、システム制御部５０は、ステップＳ９０５で算出した移動ベクトルと、前回のループ処理で算出した移動ベクトルを比較する。移動ベクトルの方向が大きく変更した場合、プレ撮影が終わり本撮影に移行したとみなし、ステップＳ９１０へ移行する。例えば、ユーザが左から右にパンをしながらプレ撮影していた場合において、パン方向を右から左に反転させた場合である。それ以外の場合は、ステップＳ９０７へ進み、プレ撮影処理を継続する。
【００７２】
ステップＳ９０７では、画像処理部２４は、ステップＳ９０２で保存した画像データの解像度を削減し、データサイズを縮小する。これは、プレ撮影による画像データは後述するステップＳ９１１においてホワイトバランスの調整に使用され、ホワイトバランスの調整には詳細な画像情報よりも画像全体の色合いが重要なためである。解像度の削減には、バイキュービック法などの既存のアルゴリズムを使用してよい。
【００７３】
ステップＳ９０８では、画像処理部２４は、ステップＳ９０７で縮小した画像データを、前回までのループ処理のステップＳ９０８で合成されていた画像データとパノラマ合成し、新たな画像データを生成し、メモリ３２に保存する。パノラマ画像の合成処理については、公知であるため説明を省略する。なお、１回目の処理である場合は、メモリ３２に合成された画像データが存在しないので、ステップＳ９０７の画像データをそのまま利用する。
【００７４】
ステップＳ９０９では、画像処理部２４は、ステップ９０７の画像データをメモリ３２から削除する。ステップＳ９０８の合成処理とステップ９０９の削除処理により、プレ撮影による画像データ同士の重複している部分を破棄し、メモリ３２の使用量を削減することができる。
【００７５】
ステップＳ９１０では、画像処理部２４は、ステップＳ９０８により更新されたプレ撮影の合成画像データをシステムメモリ５２に格納する。
【００７６】
次に、ステップＳ９１１〜Ｓ９１６の本撮影処理を説明する。ステップＳ９１１では、システム制御部５０は、システムメモリ５２から合成されたプレ撮影の画像データを取得し、ユーザがモード切替スイッチ６０を用いて選択したホワイトバランスと適合する色合い補正パラメータを算出する。補正パラメータの算出については、通常のカメラと同様でよい。たとえば、合成されたプレ撮影の画像データの全画素の色情報の平均値を計算し、その平均値が選択したホワイトバランスに応じた値になるような補正パラメータを算出する方法などである。
【００７７】
ステップＳ９１２〜Ｓ９１６はループ処理である。ステップＳ９１２では、画像制御部２４は、Ａ／Ｄ変換器２３より画像データを取得する。ステップＳ９１３では、画像制御部２４は、ステップＳ９１１で算出したホワイトバランスに従って、ステップＳ９１２で取得した画像データを補正する。補正した画像データはメモリ３２に書き込まれる。ステップＳ９１４では、画像処理部２４は、ステップＳ９０５と同様に、ステップＳ９１３で保存した連続した画像データから画像データ間の移動ベクトルを計算する。
【００７８】
ステップＳ９１５では、画像処理部２４は、ステップＳ９１３で保存した画像データ同士を、ステップＳ９１４で検出した移動ベクトルに応じたピクセル数をずらして合成し、パノラマ映像を生成する。ステップＳ９１６では、画像処理部２４は、ステップＳ９１３によりメモリ３２に保存された画像データと、ステップ９０４によりメモリ３２に保存された画像データを比較し、同一の構図か否かを判定する。
【００７９】
なお、ステップＳ９０４において、この画像データを縮小したり、画像の特徴点情報などを保存したりした場合は、ステップＳ９１３で保存した画像においても、縮小あるいは特徴点情報の抽出などを行い、構図を比較する。ステップＳ９１６において、構図が一致した場合は、プレ撮影と同じ範囲を本撮影したとみなし、ステップＳ９１７へ進む。構図が一致しない場合には、ステップＳ９１２に戻り本撮影を継続する。ステップＳ９１７では、画像処理部２４は、ステップＳ９１５で生成したパノラマ映像を画像ファイルとして記憶媒体２００に保存する。
【００８０】
以上、本実施例によれば、連続的に撮影した画像をパノラマ映像に合成することのできる撮像装置において、複数回の動作でパノラマ撮影を行い、プレ撮影による画像データの重複している領域を破棄することにより、システム全体のコスト増大をおさえながら、パノラマ撮影範囲全体に最適なホワイトバランスを自動調整することのできる撮像措置を提供することができる。
【００８１】
［実施例２］
第三の実施例として、プレ撮影において顔領域情報を取得し、本撮影の際のＡＥなどに利用する撮像装置について説明する。本実施例の説明においては、実施例１との重複部分については説明を省略する。
【００８２】
＜装置説明＞
本実施例の撮像装置の外観は実施例１と同様である。図１０は本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図２との差異は１００１のモーションセンサである。
【００８３】
モーションセンサ１００１は、加速度センサとジャイロセンサから構成されるセンサで、デジタルカメラ１００の移動方向・速度と回転方向・角速度を計測することができる。モーションセンサ１００１はシステム制御部５０と接続され、システム制御部５０は計測した移動量と回転量を取得することができる。
【００８４】
上述したデジタルカメラ１００では被写体の顔情報を用いて、顔ＡＥや顔ホワイトバランスを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ホワイトバランスとは、検出された顔の色に合わせて画面全体のホワイトバランスを最適化することである。
【００８５】
顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
【００８６】
その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。
【００８７】
システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数、各顔の含まれる領域情報（サイズと座標）などの特徴量をメモリ５２に記憶する。
【００８８】
以上のように画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。
【００８９】
＜動作説明＞
デジタルカメラ１００の動作を図１１のフローチャートに基づいて説明する。図１１のフローチャートは、本発明の撮像装置を用いて、パノラマ画像を撮影するためにプレ撮影と本撮影を行う処理を示している。
【００９０】
このパノラマ撮影においては、ユーザはシャッターボタン６１を押下してプレ撮影を開始する。プレ撮影を開始すると、ユーザが本撮像装置をパン（撮影方向を移動、あるいは回転）することで、パノラマ撮影したい領域の画像を順次取得する。プレ撮影は、ユーザがパンする方向を転換することで終了する。プレ撮影が終了すると本撮影を開始し、逆方向がパンすることで、パノラマ撮影したい領域の画像を順次取得する。本撮影は、撮影方向がプレ撮影を開始した時点での撮影方向と一致すると終了する。
【００９１】
ここでは、撮影者が左から右にパンしながらプレ撮影し、プレ撮影した部分を逆にパンしながら（右から左に）撮影する場合について説明する。
【００９２】
図１１において、ステップＳ１１０１〜Ｓ１１０９の処理がプレ撮影処理であり、ステップＳ１１１０〜Ｓ１１１６が本撮影処理である。
【００９３】
ステップＳ１１０１では、システム制御部５０は、シャッターボタン６１が押下されたか否かを判定する。シャッターボタンが押された場合はステップＳ１１０２に進む。ステップＳ１１０２〜Ｓ１１０９はループ処理である。ステップＳ１１０２では、画像処理部２４は、ＡＤ変換器２３が出力する画像データを取得し、メモリ制御部１５を介してメモリ３２に書き込む。
【００９４】
ステップＳ１１０３では、画像処理部２４は、ステップＳ１１０２が取得した画像データを解析して、該画像データに含まれる顔の領域情報などの特徴量を取得し、システム制御部５０に通知する。なお撮影対象によっては、ステップＳ１１０３で複数の顔領域が検出される場合もある。
【００９５】
ステップＳ１１０４では、システム制御部５０は、後述するステップＳ１１０５で保存した顔領域情報と、ステップＳ１１０３で検出された顔領域情報から、主被写体となる顔領域（以降、主顔領域と称す）を選択する。ここでは、主顔領域の選択には、顔領域面積の比較を用いる。すなわち、顔領域面積が最大の顔領域を主顔領域とする。なお、本実施例では、主顔領域選択において、最大の顔領域を選択したが、他のアルゴリズムを用いてもよい。
【００９６】
ステップＳ１１０５では、システム制御部５０は、ステップＳ１１０４で選択した顔領域を主顔領域として、システムメモリ５２に保持する。ステップＳ１１０６では、システム制御部５０は、ステップＳ１１０５で決定した主顔領域以外の顔領域情報を破棄する。ステップＳ１１０７では、システム制御部５０は、モーションセンサ１００１を読み出し、デジタルカメラ１００の移動方向・速度と回転方向・角速度を計測する。
【００９７】
ステップＳ１１０８では、システム制御部５０では、ステップＳ１１０７で計測した移動方向・速度と回転方向・角速度を、前回のループ処理で取得した値と比較する。移動方向および回転方向が大きく変更した場合は、プレ撮影が終わり本撮影に移行したとみなし、ステップＳ１１１０へ移行する。例えば、ユーザが左から右にパンをしながらプレ撮影していた場合において、パン方向を右から左に反転させた場合である。それ以外の場合は、ステップＳ１１０９へ進み、プレ撮影処理を継続する。
【００９８】
ステップＳ１１０９では、システム制御部５０は、ステップＳ１１０８で取得した移動方向・速度と回転方向・角速度を積算し、システムメモリ５２に保持する。積算した移動量と回転量は後述するステップＳ１１１５で使用する。
【００９９】
次に、ステップＳ１１１０〜Ｓ１１１６の本撮影処理を説明する。ステップＳ１１１０では、システム制御部５０は、システムメモリ５２からプレ撮影において決定された主顔領域を取得し、主顔領域に適した露光量とホワイトバランスを算出する。さらにシステム制御部５０は算出した露光量に基づき、シャッター１０１や撮像部２２の設定を変更する。
【０１００】
ステップＳ１１１１〜Ｓ１１１５はループ処理である。ステップＳ１１１１では、画像制御部２４は、Ａ／Ｄ変換器２３より画像データを取得し、メモリ３２に書き込む。ステップＳ１１１２では、システム制御部５０は、モーションセンサ１００１を読み出し、デジタルカメラ１００の移動方向・速度と回転方向・角速度を計測する。ステップＳ１１１３では、画像処理部２４は、ステップＳ１１１１で保存した画像データ同士を、ステップＳ１１１２で取得した移動方向・速度と回転方向・角速度に応じたピクセル数をずらして合成し、パノラマ映像を生成する。
【０１０１】
ステップＳ１１１４では、システム制御部５０は、ステップＳ１１１３で取得した移動方向・速度と回転方向・角速度を積算し、システムメモリ５２に保持する。ステップＳ１１１５では、システム制御部５０は、ステップＳ１１０９で保存したプレ撮影時の積算値と、ステップＳ１１４で積算した値を比較する。移動量が一致した場合には、プレ撮影と同じ範囲を本撮影したとみなし、ステップＳ１１１６へ進む。移動量が一致しない場合には、ステップＳ１１１に戻り本撮影を継続する。ステップＳ１１１６では、画像処理部２４は、ステップＳ１１１３で生成したパノラマ映像を画像ファイルとして記憶媒体２００に保存する。
【０１０２】
以上、本実施例によれば、連続的に撮影した画像をパノラマ映像に合成することのできる撮像装置において、複数回の動作でパノラマ撮影を行い、プレ撮影による顔領域情報を主顔情報の更新にしたがって破棄することによって、システム全体のコスト増大をおさえながら、パノラマ撮影範囲全体に最適な露光値とホワイトバランスを自動調整することのできる撮像措置を提供することができる。
【０１０３】
［その他の実施例］
実施例１〜３において、プレ撮影を左から右にパンし、本撮影を右から左にパンしながら行ったが、本発明はこれに制限されるわけではなく、例えば上から下に２回撮影するなど、プレ撮影と本撮影で同じ領域を撮影すればよい。
【０１０４】
実施例１または２においては、プレ撮影の終了を移動ベクトルの反転で判定し、実施例３においては、プレ撮影の終了を移動・回転方向の反転で判定したが、本発明はこれに制限されるわけではなく、たとえばシステム制御部５０がユーザの操作部７０のボタン押下を検出しプレ撮影の終了と判定してもよい。
【０１０５】
実施例１または２においては、本撮影の開始を移動ベクトルの反転で判定し、実施例３においては、本撮影の開始を移動・回転方向の反転で判定したが、本発明はこれに制限されるわけではなく、たとえばシステム制御部５０がユーザの操作部７０のボタン押下を検出し本撮影の開始と判定してもよい。
【０１０６】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【０１０７】
１００  デジタルカメラ（撮像装置）、１０２  撮像部（プレ撮影手段、撮像手段）、
２４  画像処理部（第一のデータ処理手段）、３２  メモリ（第一のデータ蓄積手段）、
５０  システム制御部（第二のデータ処理手段）
【図３】
2016122939.tif 000003
【図５】
2016122939.tif 000004
【図７】
2016122939.tif 000005
【図８】
2016122939.tif 000006
【図１】
2016122939.tif 000007
【図２】
2016122939.tif 000008
【図４】
2016122939.tif 000009
【図６】
2016122939.tif 000010
【図９】
2016122939.tif 000011
【図１０】
2016122939.tif 000012
【図１１】
2016122939.tif 000013