(57)【要約】【課題】  簡便な操作で広いダイナミックレンジをカバーする撮影を可能とするとともに、パノラマ画像のつなぎ目で、明るさの段差が生じないようにすること。【解決手段】  受光部を予め決められた方向に分けた複数のエリアをそれぞれ異なる露光条件で露光して得られる画像信号を出力する撮像素子と、予め決められた方向と垂直な方向に、予め決められた角度、視野が変化するごとに撮影を行うように制御する制御手段と、複数の視野の画像信号のうち、同じ露光条件で異なる視野のエリアの画像信号をつなげ、視野が拡大された異なる露光条件ごとの複数のパノラマ画像を生成するパノラマ合成手段と、複数のパノラマ画像を合成して、１つの見かけ上のダイナミックレンジが広い広ダイナミックレンジのパノラマ画像を生成するダイナミックレンジ拡大合成手段とを有し、予め決められた角度は、各エリアの変化の前後の視野の一部が重なる角度であることを特徴とする。【選択図】  図８
2014068080.tif 000002
【特許請求の範囲】
【請求項１】
受光部を予め決められた方向に分けた複数のエリアをそれぞれ異なる露光条件で露光して得られる画像信号を出力する撮像素子と、
前記予め決められた方向と垂直な方向に、予め決められた角度、視野が変化するごとに前記撮像素子により撮影を行うように制御する制御手段と、
前記予め決められた角度ごとに得られた複数の視野の画像信号のうち、同じ露光条件で露光された異なる視野の前記エリアの画像信号をつなげ、視野が拡大された前記異なる露光条件ごとの複数のパノラマ画像を生成するパノラマ合成手段と、
前記パノラマ合成手段により生成された前記複数のパノラマ画像を合成して、１つの見かけ上のダイナミックレンジが広い広ダイナミックレンジのパノラマ画像を生成するダイナミックレンジ拡大合成手段と、を有し、
前記予め決められた角度は、前記複数のエリアの各エリアの前記変化の前後の視野の一部が重なる角度であることを特徴とする撮像装置。
【請求項２】
測光手段と、
前記測光手段によって検出された輝度の最大輝度と最小輝度との差を検出し、該検出した輝度差を、前記撮像素子のダイナミックレンジで除した値に応じて、前記複数のエリアの数を決定する決定手段と
を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、前記複数のエリアの電荷蓄積時間を互いに異ならせることにより、前記異なる露光条件で露光を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像素子は、前記複数のエリアを互いに異なる枚数または異なる濃度の減光フィルタで覆うことにより、前記異なる露光条件で露光を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記撮像素子から出力される各視野の画像信号に対して、前記エリアごとに、予め決められた露光条件による露光量との差を補正して、表示装置に出力する画像処理手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記異なる露光条件のうち、予め決められた露光条件と異なる露光条件で露光されたエリアから出力された画像信号を、前記制御手段の制御により先の撮影で得られた、当該エリアと同じ視野を前記予め決められた露光条件で露光したエリアの画像信号で置き換える第１の画像処理手段と、
前記予め決められた露光条件と異なる露光条件で露光されたエリアと同じ視野を前記予め決められた露光条件で露光したエリアが前記先の撮影で得られていない場合に、前記予め決められた露光条件と異なる露光条件で露光された前記エリアから出力された画像信号に対して、前記予め決められた露光条件による露光量との差を補正する第２の画像処理手段と、
前記第１及び第２の画像処理手段により処理された画像信号を表示装置に出力する表示制御手段と
を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
前記複数のエリアのうち、予め決められた露光条件で露光されたエリアから得られた画像信号を表示装置に出力する表示制御手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項８】
撮像素子が、受光部を予め決められた方向に分けた複数のエリアをそれぞれ異なる露光条件で露光して得られる画像信号を出力する撮像工程と、
制御手段が、前記予め決められた方向と垂直な方向に、予め決められた角度、視野が変化するごとに前記撮像素子により撮影を行うように制御する制御工程と、
パノラマ合成手段が、前記予め決められた角度ごとに得られた複数の視野の画像信号のうち、同じ露光条件で露光された異なる視野の前記エリアの画像信号をつなげ、視野が拡大された前記異なる露光条件ごとの複数のパノラマ画像を生成するパノラマ合成工程と、
ダイナミックレンジ拡大合成手段が、前記パノラマ合成工程で生成された前記複数のパノラマ画像を合成して、１つの見かけ上のダイナミックレンジが広い広ダイナミックレンジのパノラマ画像を生成するダイナミックレンジ拡大合成工程と、を有し、
前記予め決められた角度は、前記複数のエリアの各エリアの前記変化の前後の視野の一部が重なる角度であることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、縦または横方向のレンズの画角を超える範囲の撮影が可能な、パノラマ撮影機能を有する撮像装置及び撮像方法に関するものである。
【背景技術】
【０００２】
従来、広角レンズの画角（例えば、３５ｍｍ判２４ｘ３６ミリのフォーマットに焦点距離２４ミリレンズを使用した場合、約９０度）を超えるような広大な景色をパノラマ撮影する場合、以下のようにしてパノラマ画像を得ていた。まず、水平方向にカメラの角度を変えながら複数枚の写真を撮影し、プリントした写真を切り貼りしてつないで横長のパノラマ写真を得ていた。また、円弧状にローディングしたフィルムに対して、円弧の中心に回転式のレンズを置き、レンズの回転に伴って露光をかける、パノラマ撮影専用カメラを用いて撮影したりする方法があった。
【０００３】
近年では、デジタルスチルカメラの機能として、水平方向にカメラの角度を変えながら撮影した複数枚の画像を、左右の重なり部分を画像処理でスムーズにつなぐことでパノラマ画像を得る、パノラマスティッチと呼ばれる機能が搭載されているカメラがある。また、シャッターボタンを押しながら横方向にスイングするだけで、パノラマ撮影が可能な、スイングパノラマと呼ばれる機能を搭載したカメラも発売されており、パノラマ撮影はより身近なものとなっている。
【０００４】
一方、パノラマ撮影は撮影範囲が広いため、同一の構図内に非常に明るい部分と暗い部分とが同時に写り込む場合が多々ある。図１８は、明るい部分と暗い部分とが同時に写り込んでいるパノラマ写真の例を示す図である。この写真は、砂浜で日の出の景色を撮影した例である。Ｂの部分は光源である太陽が被写体であるとともに、空も明るいため、ＩＳＯ４００の感度設定の場合、シャッタースピード１／１０００、Ｆ８程度の設定でないと、太陽付近の空の階調が潰れ、白とびしてしまう。また、Ａ及びＣの部分は山側であるが、まだ夜明け前で空が暗い状態なので、シャッタースピード１／３０、Ｆ２程度の設定でないと、山肌の階調などの被写体の階調が潰れ、黒潰れしてしまう。このような被写体条件では、被写体全体のダイナミックレンジの広さが、撮像素子のダイナミックレンジを上回ってしまうため、同一の露光設定（シャッタースピード、絞り値の組み合わせ）では被写体全体のダイナミックレンジをカバーできない。
【０００５】
上述した問題に対しては、例えば、特許文献１に記載されているような対策が提案されている。この提案では、所定のエリアごとに、白とびが検出されない画像と黒潰れが検出されない画像を、露光条件を変えて複数枚撮影する。そして、これらを合成し、白とび及び黒潰れがない画像を得つつ、エリアを変更して同様の撮影及び合成を続け、これらの合成結果の画像をつなぎ、パノラマ画像を得る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−１８０３０８号広報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したカメラでは、同一アングルで複数枚の撮影を行う構成となっているため、複数枚の撮影時は、三脚などによりカメラ本体を固定する必要がある。更に、複数枚の撮影とカメラアングルの調整を繰り返す必要があり、煩雑な手順が必要であった。
【０００８】
また、アングルごとにダイナミックレンジが広い画像を生成し、それらの画像をつなぐ際に、画像同士の明るさを調整する構成になっているが、異なる露光条件の画像をつなぐことにより、つなぎ目に、明るさの段差が残ってしまう可能性がある。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、簡便な操作で広いダイナミックレンジをカバーする撮影を可能とするとともに、パノラマ画像のつなぎ目で、明るさの段差が生じないようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、受光部を予め決められた方向に分けた複数のエリアをそれぞれ異なる露光条件で露光して得られる画像信号を出力する撮像素子と、前記予め決められた方向と垂直な方向に、予め決められた角度、視野が変化するごとに前記撮像素子により撮影を行うように制御する制御手段と、前記予め決められた角度ごとに得られた複数の視野の画像信号のうち、同じ露光条件で露光された異なる視野の前記エリアの画像信号をつなげ、視野が拡大された前記異なる露光条件ごとの複数のパノラマ画像を生成するパノラマ合成手段と、前記パノラマ合成手段により生成された前記複数のパノラマ画像を合成して、１つの広ダイナミックレンジのパノラマ画像を生成するダイナミックレンジ拡大合成手段と、を有し、前記予め決められた角度は、前記複数のエリアの各エリアの前記変化の前後の視野の一部が重なる角度であることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、簡便な操作で広いダイナミックレンジをカバーする撮影を可能とするとともに、パノラマ画像のつなぎ目で、明るさの段差が生じないようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態におけるデジタルカメラの構成例を示すブロック図。
【図２】第１及び第２の実施形態にかかるデジタルカメラによるパノラマ撮影の概念を示す図。
【図３】第１及び第２の実施形態にかかるデジタルカメラの角速度センサの動作を示す図。
【図４】第１及び第２の実施形態にかかるデジタルカメラによるパノラマ撮影モードでの動作を示すフローチャート。
【図５】第１及び第２の実施形態にかかるデジタルカメラの露光条件の決定方法の概念図。
【図６】第１及び第２の実施形態にかかるデジタルカメラの撮像素子の構成例を示す図。
【図７】第１及び第２の実施形態にかかるデジタルカメラの撮像素子の制御信号の例を示す図。
【図８】第１及び第２の実施形態にかかるデジタルカメラのパノラマ合成及びダイナミックレンジ拡大合成の概念図。
【図９】第１の実施形態の変形例にかかるデジタルカメラの撮像素子の別の構成例を示す図。
【図１０】第１の実施形態の変形例にかかるデジタルカメラによるパノラマ撮影の概念を示す図。
【図１１】第１の実施形態の変形例にかかるデジタルカメラの撮像素子部分の構成例を示す図。
【図１２】第２の実施形態におけるデジタルカメラの構成例を示すブロック図。
【図１３】第２の実施形態にかかる表示画像処理ブロックの構成例を示すブロック図。
【図１４】第２の実施形態にかかるデジタルカメラの撮像素子のエリアと撮像素子から出力される画像との関係を示す図。
【図１５】第２の実施形態のデジタルカメラの表示画像処理ブロックによる画像処理方法を示す図。
【図１６】第２の実施形態の変形例１におけるデジタルカメラの表示画像処理ブロックによる画像処理方法を示す図。
【図１７】第２の実施形態の変形例２におけるデジタルカメラの表示画像処理ブロックによる画像処理方法を示す図。
【図１８】広ダイナミックレンジを要する写真の例を示す図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１４】
＜第１の実施形態＞
本発明をデジタルカメラとして実施した第１の実施形態について、図面を用いて説明する。図１は、本第１の実施形態におけるデジタルカメラの構成例を示すブロック図である。撮影レンズ１０１は、被写体像を捉えて撮像素子１０３上に被写体像を結像させる。本第１の実施形態のデジタルカメラでは、後述のパノラマ撮影モードにおいて、撮影レンズ１０１の焦点距離が３５ｍｍフィルム換算で２８ｍｍに相当する焦点距離にズーム固定される。撮像素子１０３に結像した被写体像は光電変換され、画像信号が出力される。この画像信号はＡ／Ｄコンバータ１０４でデジタル化され、画像処理部１０５でガンマ補正やホワイトバランス補正、ノイズリダクション処理等が行われた後、画像データバス１０６に非圧縮画像データとして出力される。
【００１５】
測光センサ１１１は、撮影画面の範囲における輝度の分布を検出し、ＥＶ値データを制御バス１１６に出力する。なお、本第１の実施形態では、測光センサ１１１は外光式でカメラ上面に設置され、パノラマ撮影される画角範囲と同等の輝度検出範囲を有し、測定範囲内の最大輝度及び最小輝度が測定可能な構成を有する。角速度センサ１１２は、ユーザがデジタルカメラ本体のアングルを変化させる時に発生する角速度を、カメラ光軸に直交するＸ（ヨー）、Ｙ（ピッチ）方向別に検出し、角速度データをＸ及びＹ方向に対応する２つのチャンネル別に制御バス１１６に出力する。
【００１６】
ＳＤＲＡＭ（１）１０９は、複数フレーム分の非圧縮画像データを蓄積し、後述するパノラマ合成、並びに広ダイナミックレンジ（ＨＤＲ）合成を行うための作業スペースであるメモリ空間を提供する。ＪＰＥＧ／ＲＡＷコーデック１１０は、ＳＤＲＡＭ（１）１０９にて合成処理が終了した非圧縮画像データを静止画として圧縮符号化し、ＪＰＥＧ静止画データまたはＲＡＷ静止画データを生成する。ＪＰＥＧは階調８ビットの一般的な機器で再生互換性を持つ記録方式で、ＲＡＷは、階調１４ビットの、画像処理部１０５による画像処理を施さないデータに可逆圧縮方式による符号化を施した、特定の機器のみに再生互換性を持つ記録方式である。なお、本発明における静止画のデータ形式はＪＰＥＧ及びＲＡＷに限られるものではなく、公知のデータ形式の静止画データであっても構わない。その場合、ＪＰＥＧ及び／またはＲＡＷの代わりに予め決められたデータ形式の静止画データを生成するコーデックを有することになる。
【００１７】
ＳＤＲＡＭ（２）１１３は、記録媒体１１４の書き込み状況に応じて、生成された静止画データの書き込み及び読み出しを行い、記録媒体１１４の記録速度との調停を行うためのバッファメモリ空間を提供する。また、ＳＤＲＡＭ（２）１１３は画像表示用のメモリ（ビデオメモリ）を兼ねている。液晶パネル１０７は、画像や各種情報を表示する表示部であり、液晶ドライバ１０８は、ＳＤＲＡＭ（２）１１３に格納されている表示用の画像データを液晶表示信号に変換して液晶パネル１０７に供給する。こうして、ＳＤＲＡＭ（２）１１３に書き込まれた表示用の画像データは液晶ドライバ１０８を介して液晶パネル１０７により表示される。また、Ａ／Ｄコンバータ１０４によってＡ／Ｄ変換され、ＳＤＲＡＭ（２）１１３に蓄積されたデジタル信号を液晶ドライバ１０８において液晶表示信号に変換し、液晶パネル１０７に逐次転送して表示することで、電子ビューファインダーとして機能する。これにより、スルー画像表示を行うことができる。
【００１８】
記録媒体１１４は、カメラ本体に対して着脱が可能な、例えばＮＡＮＤ型フラッシュメモリ等で構成されているメモリカードである。記録媒体１１４には、ＪＰＥＧ静止画データまたはＲＡＷ静止画データが、ＰＣに接続された時にディスクドライブとして認識される、ＰＣ互換性を持つＦＡＴ（File Allocation Table）ファイルシステムに則って成形された上で記録される。操作キー１１５は、ユーザからの各種操作を受け付ける各種スイッチであり、静止画の撮影操作を行うシャッターボタンや、パノラマ撮影を行うか、通常の静止画撮影を行うか等を選択するモードスイッチ等を含む。
【００１９】
制御バス１１６は、各ブロック間の制御信号の通信を行う信号経路であり、メインマイコン１１８からの制御信号を各構成要素に伝えるとともに、各構成要素からのレスポンス信号や各センサからのデータ信号をメインマイコン１１８に伝える。フラッシュＲＯＭ１１９は、電気的に消去・記録可能な不揮発性メモリであって、メインマイコン１１８の動作用の定数、プログラム等が格納される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。メインマイコン１１８は、デジタルカメラ全体を制御する。後述するフラッシュＲＯＭ１１９に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１１７はシステムメモリであり、ＲＡＭが用いられる。ＲＡＭ１１７には、メインマイコン１１８の動作用の定数、変数、フラッシュＲＯＭ１１９から読み出したプログラム等を展開する。また、メインマイコン１１８は液晶ドライバ１０８等を制御することにより表示制御も行う。
【００２０】
図２は、本第１の実施形態によるデジタルカメラで横に長いパノラマ写真を撮影する際の使用イメージを示す図であり、図２（ａ）は撮影者側から見た場合、図２（ｂ）は撮影者を見た場合を示している。シャッターボタンを押しながら、撮影者側から見て左から右へ撮影者自身が回転するようにカメラのアングルを連続的に変えることで、パノラマ写真を撮影することができる。
【００２１】
次に、上記構成を有する本第１の実施形態のデジタルカメラの動作について説明する。図３は、本第１の実施形態のデジタルカメラの状態（図３（ａ））と、それに応じた角速度センサ１１２の出力を示した図である。カメラのヨー方向の回転速度がＸ出力（図３（ｂ））、カメラのピッチ方向の回転速度がＹ出力で出力され（図３（ｃ））、各出力の積分値を取ることで、回転量が算出できる。
【００２２】
図４は、本発明のデジタルカメラにおけるパノラマ撮影モード時の動作を示すフローチャートである。Ｓ４０１にて、デジタルカメラの電源がパノラマ撮影モードでＯＮになると、Ｓ４０２にて、シャッターボタンが半押しされているかが検出され、半押しされていれば、Ｓ４０３にて、測光センサ１１１により被写体の輝度が測定される。Ｓ４０４にて、測定された被写体の輝度のうち、被写体の最大輝度及び最小輝度を検出する。
【００２３】
Ｓ４０５において、検出された最大輝度及び最小輝度から得られる輝度差に基づいて、見かけ上のダイナミックレンジが広い広ダイナミックレンジ画像を合成して得るために必要な、標準ダイナミックレンジ画像の必要枚数Ｎを算出する。そしてＳ４０６にて、算出された必要枚数Ｎの画像を得るときの露光条件のずらし量が算出される。
【００２４】
図５は、Ｓ４０５及びＳ４０６にて、算出された必要枚数Ｎ及び露光条件のずらし量を決定する方法を示す概念図である。なお図５において、ＥＶとはExposure Value（露光指数）の略で、感度がＩＳＯ１００のフィルムを１８％グレーに感光させる（適正露出が得られる）ことができる光量のことである。絞り値がＦ１．０、シャッタースピードが１秒の場合をＥＶ＝０として、絞り値が√２倍かまたはシャッタースピード（露光時間）が半分になるごとにＥＶ値が１ずつ増えていく。同一のＥＶに対する絞り値とシャッタースピードの組み合わせは１つには決まらず、図５の表に示すように、例えば７ＥＶの光量に対して適正露出を得るには、Ｆ４．０・１／８秒、Ｆ２．８・１／１５秒、Ｆ２．０・１／３０秒等の露光条件がある。また、ダイナミックレンジの広さもＥＶ値で表すが、例えば１０ＥＶは、２１０＝１０２４倍の輝度差がカバーできるダイナミックレンジを示す。必要枚数Ｎ及び露光条件ずらし量は、それぞれ、以下の式（１）及び（２）によって算出される。なお、以下の式（１）において、除算した結果の小数点未満の端数は切り捨てる。また、式（２）は、Ｎが２以上の場合に計算される。
Ｎ＝（（最大輝度−最小輝度）／撮像素子のＤレンジ）＋１      …（１）
露光ずらし量＝（（最大輝度−最小輝度）−撮像素子のＤレンジ）／（Ｎ−１）
…（２）
【００２５】
本第１の実施形態の撮像素子１０３による標準ダイナミックレンジを１０ＥＶとして、Ｓ４０４にて、最大輝度が２２ＥＶ、最小輝度が２ＥＶであることが検出された場合、Ｎ＝３が算出される。また、Ｓ４０６にて決定される露光条件のずらし量は、５ＥＶとなる。つまり、最小輝度２ＥＶから標準ダイナミックレンジ１０ＥＶの半分である５ＥＶずれた７ＥＶ、更にＳ４０６で決定された露光条件のずらし量５ＥＶずれた１２ＥＶ、そして更に露光条件のずらし量５ＥＶずれた１７ＥＶが露光量の中心となる。なお、更に標準ダイナミックレンジ１０ＥＶの半分である５ＥＶずれると最大輝度２２ＥＶとなる。このように、３つのエリアの露光条件を決めるためのＥＶ値が決定され、標準露光量は１２ＥＶ、アンダー側の露光量は７ＥＶ、オーバー側の露光量は１７ＥＶとなる。
【００２６】
次に、Ｓ４０７、Ｓ４０８にて、絞り値及びシャッタースピードを決定する。ここで、複数の標準ダイナミックレンジ画像を得る際に行う露光条件の変更は、シャッタースピードを変更することによって行うため、１つの絞り値に対して、Ｎ通りのシャッタースピードを決定する。この際に、まず、カメラ側で設定できる絞り値、シャッタースピードの制限の中で、最高のシャッタースピードが得られる条件を設定する。例えば、１／３２０００秒を最高のシャッタースピードとした場合、本第１の実施形態では、オーバー側の露光量１７ＥＶから図５より絞り値をＦ２．０と設定する。絞り値Ｆ２．０とすると、アンダー側の露光量７ＥＶに対するシャッタースピードとして１／３０秒、標準露光量は１２ＥＶに対するシャッタースピードとして１／１０００秒が決定される。なお、オーバー側の露光量１７ＥＶに対するシャッタースピードは上述した１／３２０００秒である。ここで、シャッタースピードは、撮像素子１０３の電荷蓄積時間を制御することにより、撮像素子１０３のエリアごとに異なる設定で撮影が行われるが、この点については後に説明する。
【００２７】
Ｓ４０９にて、ユーザがシャッターボタンを押したことが検出されると、Ｓ４１０にて撮像素子１０３の各エリアにおいて被写体の露光が開始され、所定の電荷蓄積時間ののち、露光が終了し、撮像信号の転送が行われる。転送された撮像信号は、Ａ／Ｄコンバータ１０４にてＡ／Ｄ変換され、画像処理部１０５にてガンマ補正やホワイトバランス補正、ノイズリダクション処理等の画像処理が施された後、ＳＤＲＡＭ（１）１０９に一時記憶される。その後Ｓ４１１にて、ユーザが撮影アングル（視野）を、後述するパノラマ合成のための合成単位である１エリア分、水平に（ここでは１０度）振ったかが検出される。ここで、合成単位は、撮影アングルが変化する前後の各エリアの視野の一部が重なる角度である。
【００２８】
振られていればＳ４１２にて、ユーザがシャッターボタンを放したかを検出する。シャッターボタンが放されておらず、引き続き押し続けられていることが検出されると、Ｓ４１３にて撮影開始後のユーザによる撮影アングルの振り量が、パノラマ撮影モードで撮影できる最大の画角である、例えば２７０度を超えているかを検出する。超えていなければ、再びＳ４１０の処理に戻る。なおＳ４１２にて、ユーザがシャッターボタンを離すか、Ｓ４１３にて、撮影開始後のユーザによる撮影アングルの振り量が２７０度に達していると検出された場合は、撮像動作は終了となる。
【００２９】
そして、Ｓ４１４にてパノラマ合成が行われ、Ｓ４１５にてダイナミックレンジ拡大合成が行われ、最終的に記録媒体１１４に記録されるパノラマ画像が生成される。その後Ｓ４１６にて、ＪＰＥＧ／ＲＡＷコーデック１１０により生成されたパノラマ画像がＪＰＥＧ符号化またはＲＡＷ符号化され、Ｓ４１７にて記録媒体１１４に記録され、Ｓ４１８にて、一連の動作が終了する。
【００３０】
次に、Ｓ４０８にて決定されたシャッタースピードによりＳ４１０にて行われる、撮像素子１０３の露光処理について詳細に説明する。図６は、撮像素子１０３の概要を示す図である。本第１の実施形態においては、撮像素子１０３は横２５９２ｘ縦１９４４ピクセル（約５００万画素）で、縦方向にラインが構成されているものとする。
【００３１】
図６（ｂ）は撮像素子１０３の受光部のエリアを示す概念図であり、Ｎ＝３の場合、次のようにエリアが分けられる。ライン１〜ライン４３１までは、露光はされるが、後述のパノラマ合成では使われない無効エリア、ライン４３２〜ライン１００７は電荷蓄積時間が１／３２０００秒で露光が行われるエリアＡである。ライン１００８〜ライン１５８３は電荷蓄積時間が１／１０００秒で露光が行われるエリアＢ、ライン１５８４〜ライン２１５９は電荷蓄積時間が１／３０秒で露光が行われるエリアＣである。そして、ライン２１６０〜ライン２５９２は、露光はされるが後述のパノラマ合成では使われない無効エリアである。
【００３２】
図６（ａ）は撮像素子１０３の構成を示す図であり、受光素子６０３は１画素を構成し、信号読み出し部６０４は受光素子６０３により蓄積される電荷量を画像信号として読み出す。ドライバ６０５は、受光素子６０３により蓄積された電荷を放出（リセット）するタイミングを指示するＲＳＴ信号をラインごとに出力する。更に、ＲＳＴ信号のアサート時点の蓄積電荷量情報を得ると共に、信号読み出し部６０４に転送を行うタイミングを指示するＴＲＳ信号をラインごとに出力することにより、画素の動作制御を行う。なお、ＲＳＴ信号がアサートされてからＴＲＳ信号がアサートされるまでの時間差が電荷蓄積時間となり、シャッタースピードに相当する。
【００３３】
ライン選択部６０６は、ドライバ６０５により行う、画素ラインの制御のためのライン選択を行い、走査制御部６０７は、信号読み出し部６０４及びライン選択部６０６を制御し、１画面分の走査を行う。
【００３４】
図７は、ドライバ６０５により出力される、ＲＳＴ信号及びＴＲＳ信号の波形を示す。図７において、ライン１〜１００７では、ＲＳＴ信号とＴＲＳ信号の立ち上がりの時間差が１／３２０００秒となるような信号波形となっている。また、ライン１００８〜１５８３では、ＲＳＴ信号とＴＲＳ信号の立ち上がりの時間差が１／１０００秒、ライン１５８４〜２５９２では、ＲＳＴ信号とＴＲＳ信号の立ち上がりの時間差が１／３０秒となるような信号波形となっている。これにより、それぞれのエリアでシャッタースピードが異なるよう制御される。
【００３５】
次に、Ｓ４１４で行われるパノラマ合成及びＳ４１５で行われる広ダイナミックレンジ（ＨＤＲ）拡大合成について説明する。図８は、パノラマ合成及びＨＤＲ拡大合成を示す概念図である。８０１は、撮像素子１０３により得られるパノラマ撮影モードで撮影された画像を示す図で、上述した構成により、水平アングルが１０度変わるごとに撮影が行われ、合計２９枚の撮影が行われていることを示している。各画像のそれぞれのエリアは、縦１９４４ｘ横５７６画素となり、前述のように、撮影レンズ１０１の焦点距離は３５ｍｍフィルム換算で２８ｍｍ相当の焦点距離となっているので、横方向の画角は約１５度となる。したがって、それぞれのエリアが撮像した画像は、１５度ごとに、両端５度のオーバーラップを持って撮影されている。パノラマ合成では、このオーバーラップ部分を利用して、つなぎ目が目立たないよう、ぼかし処理等を行いながら、３組のパノラマ合成画像が生成される。８０２は、エリアＡでアンダー側の露光量で撮像された画像を合成したパノラマ画像、８０３は、エリアＢで標準露光量で撮像された画像を合成したパノラマ画像、８０４は、エリアＣでオーバー側の露光量で撮像された画像を合成したパノラマ画像である。それぞれのパノラマ画像は、階調１０ビットで構成されている。
【００３６】
その後行われるダイナミックレンジ拡大合成では、まず、エリアＡで撮像された画像を合成したパノラマ画像８０２について、露光ずらし量である５ＥＶ分、明度を上げる。また、エリアＣで撮像された画像を合成したパノラマ画像８０４については、露光ずらし量である５ＥＶ分、明度を下げる。そして、エリアＢで撮像された画像を合成したパノラマ画像８０３に対して、白飛びまたは黒潰れのない部分をつなぎ合わせて、１０ビットより広い階調を持つ広ダイナミックレンジの画像を生成する。その後、コントラスト圧縮を行い、ＪＰＥＧ符号化による記録では、階調８ビットに丸め処理を行い、ＲＡＷ符号化による記録では、階調１４ビットに丸め処理を行った上で、前述の所定の処理及び符号化を行い、該符号化データを記録媒体１１４に記録する。
【００３７】
以上の構成により、一般的なパノラマ撮影操作と同様の操作で広いダイナミックレンジをカバーする撮影を可能とするとともに、パノラマ画像のつなぎ目で、明るさの段差が生じないパノラマ撮影が可能となる。
【００３８】
＜第１の実施形態の変形例＞
上述した第１の実施形態におけるデジタルカメラでは、撮像素子１０３として、図６に示す、縦方向にライン配列があるものを用いていたが、本発明はこれに限るものではない。例えば、図９に示すように、横方向にライン配列がある撮像素子を用いて、横方向にパノラマ撮影を行う時は、図１０に示すように、カメラを縦位置に構えたまま、アングルを横方向に振る操作による構成としてもよい。なお、図９においては、図６と同様の機能を有する構成には同じ参照番号を付している。この構成では、撮像素子１０３として、一般的な横方向にライン配列があるものが使えるとともに、完成したパノラマ画像の上下方向の画角が広くなる。
【００３９】
さらに、本第１の実施形態のデジタルビデオカメラでは、撮像素子１０３のエリアごとに異なる露光条件は、電荷蓄積時間の違いによって設定していた。しかしながら、本発明はこれに限るものではなく、図１１に示すように、撮像素子１０３の前に、可動式の減光フィルタ１１０２〜１１０４を設置してもよい。この場合、減光フィルタ１１０２〜１１０４を光路上に出し入れすることにより、それぞれのエリアごとに露光条件を異ならせることができる。または、減光フィルタの枚数ではなく、エリアごとに異なる濃度を有する減光フィルタを用いても良い。
【００４０】
この構成では、撮像素子１０３に対して、同一のシャッタースピードが選択できるので、前述のカメラ側で設定できる絞り値、シャッタースピードの制限を受けにくくなり、ユーザによるシャッタースピードの選択幅を広げることができる。
【００４１】
＜第２の実施形態＞
次に、本発明をデジタルカメラにて実施した第２の実施形態について、図面を用いて説明する。図１２は、本第２の実施形態によるデジタルカメラの構成例を示すブロック図である。なお、図１２において、図１と同様の構成には同じ参照番号を付している。図１２に示す構成と図１に示す構成との差異は、表示画像処理部１２２０が追加されていることである。表示画像処理部１２２０は、画像データバス１０６と液晶ドライバ１０８の間に位置し、Ａ／Ｄコンバータ１０４によって一度Ａ／Ｄ変換されＳＤＲＡＭ（２）１１３に蓄積された画像データに所定の画像処理を施す。その後、該画像処理を施されたデジタル信号は液晶ドライバ１０８において液晶表示信号に変換され、液晶パネル１０７に逐次転送して表示されることで、電子ビューファインダーとして機能し、スルー画像表示を行う。
【００４２】
本第２の実施形態のデジタルカメラでは、上述した第１の実施形態のデジタルカメラにおけるパノラマ撮影モード時の動作と同様に、まず、撮像素子１０３においてエリアごとに異なる露光時間によって得られる複数の露光条件の撮影画像を取得する。そして取得した撮影画像から、広ダイナミックレンジのパノラマ画像を生成し、記録媒体１１４への記録が行われる。この時、撮像素子１０３から出力される画像は図１４に示すように、エリアごとに明度が異なる画像信号となっている。この画像信号は前述のように、広ダイナミックレンジのパノラマ画像の生成に用いられるとともに、液晶パネル１０７にて、電子ビューファインダー表示としても用いられるが、表示画像処理部１２２０において、以下に示す画像処理が行われる。
【００４３】
図１３は、表示画像処理部１２２０の詳細を示すブロック図である。図１３において、画像縮小ブロック１２００は、画像データバス１０６より入力される画像データを、液晶パネル１０７の画素数に合わせて縮小処理を行って電子ビューファインダー表示用画像を作成する。エリア分割ブロック１２０１は、電子ビューファインダー表示用画像を、図１４に示すエリアＡ、Ｂ、Ｃそれぞれに分割する。画像処理（１）ブロック１２０２は、図１４のエリアＡからの撮像信号に対して画像処理を施し、画像処理（２）ブロック１２０３は、図１４のエリアＢからの撮像信号に対して画像処理を施す。そして、画像処理（３）ブロック１２０４は、図１４のエリアＣからの撮像信号に対して画像処理を施す。ＳＤＲＡＭ（３）１２０５は、画像縮小ブロック１２００及び画像処理（１）〜（３）ブロック１２０２〜１２０４の作業エリアを提供する。エリア合成ブロック１２０６は、エリアＡ、エリアＢ、エリアＣからの画像をつなげて、１フレーム分の画像に合成する。制御バスインターフェース（Ｉ／Ｆ）１２０７は、画像処理（１）〜（３）ブロック１２０２〜１２０４のパラメータ設定などの制御信号を、制御バス１１６との間で通信する。
【００４４】
図１５（ａ）は表示画像処理部１２２０による処理内容を示す図である。同図において、１４０１は、撮像素子１０３から出力される画像を示している。この入力画像１４０１は、エリア分割ブロック１２０１によりエリアごとの映像に分割され、エリアＡの画像は画像処理（１）ブロック１２０２により、標準の露光条件で撮像されているエリアＢとの露光量の差であった５ＥＶ分、明るく補正される。また、エリアＢの画像は、画像処理（２）ブロック１２０３からＳＤＲＡＭ（３）１２０５に転送される。そして補正は施されずに、画像処理（１）ブロック１２０２及び画像処理ブロック（３）１２０４における画像処理のタイミングに合わせるように画像処理（２）ブロック１２０３に戻される。さらに、エリアＣの画像は画像処理（３）ブロック１２０４により、標準の露光条件で撮像されているエリアＢとの露光量の差であった５ＥＶ分、暗く補正される。
【００４５】
画像処理（１）〜（３）ブロック１２０２〜１２０４にて補正された各エリアの画像は、エリア合成ブロック１２０６により合成され、液晶パネル１０７に表示される。これにより、図１５（ｂ）に示すように、各エリアが均一な明るさとなった電子ビューファインダー表示が得られる。この構成により、広ダイナミックレンジのパノラマ画像を得るために、撮像素子１０３のエリアごとに異なる露光量によって撮像されているにも関わらず、電子ビューファインダーでは均一の明るさの表示が得られる。従って、撮影者にとってより視認性を高めたパノラマ撮影モードを備えたカメラを提供することができる。
【００４６】
なお、撮像素子１０３が、第１の実施形態の変形例において図１１を参照して説明した構成を有する場合にも、本第２の実施形態を適用することが可能である。また、撮像素子１０３が図９及び図１０を参照して説明した構成を有する場合にも、垂直方向を水平方向に変えるだけで、同様の構成により第２の実施形態を適用することが可能である。
【００４７】
＜第２の実施形態の変形例１＞
表示画像処理部１２２０において、図１６（ａ）に示す画像処理を行ってもよい。同図において、１５０１は、撮像素子１０３から出力される画像を示している。この入力画像１５０１はエリア分割ブロック１２０１によりエリアごとの映像に分割された後、エリアＡの画像は画像処理（１）ブロック１２０２（第１の画像処理手段）により、前撮影画像のエリアＢ及び前々撮影画像のエリアＢの画像に置き換えられる。なお、前撮影画像及び前々撮影画像は、後述するエリアＢの画像に対する処理の過程で、ＳＤＲＡＭ（３）１２０５に一時的に格納されたものである。エリアＢの画像は、画像処理（２）ブロック１２０３からＳＤＲＡＭ（３）１２０５に格納される。そして補正は施されずに、画像処理（１）ブロック１２０２及び画像処理（３）ブロック１２０４における画像処理のタイミングに合わせるように画像処理（２）ブロック１２０３に戻される。なお、前述したように、この処理でＳＤＲＡＭ（３）１２０５に格納された画像データは、次のエリアＡの画像に対する画像処理に使用される。さらに、エリアＣの画像は画像処理（３）ブロック１２０４（第２の画像処理手段）により、標準の露光条件で撮像されているエリアＢとの露光量の差であった５ＥＶ分、暗く補正される。
【００４８】
画像処理（１）〜（３）ブロック１２０２〜１２０４にて補正された各エリアの画像は、エリア合成ブロック１２０６にて合成され、液晶パネル１０７に表示される。これにより、図１６（ｂ）に示すように、各エリアが均一な明るさとなった電子ビューファインダー表示が得られる。この構成により、広ダイナミックレンジのパノラマ画像を得るために、撮像素子のエリアごとに異なる露光量によって撮像されているにも関わらず、電子ビューファインダーでは均一の明るさの表示を得ることができる。加えて、エリアＡにおいて、−５ＥＶの露光条件によって撮影されたことで起こる黒潰れによって情報が欠落した部分が、＋５ＥＶ明るく補正されることで、情報が欠落したまま明るく表示されてしまうという画質の劣化を回避することができる。これにより、撮影者にとってより視認性を高めたパノラマ撮影モードを備えたカメラが提供できるという効果がある。
【００４９】
なお、本変形例では、図９に示すように、左から右にスイングすることによってパノラマ撮影を行う構成となっているが、該スイングの方向を検知するブロックを追加し、パノラマ撮影のスイング方向を検知するようにしてもよい。そして、右から左へのスイングによりパノラマ撮影が行われた場合、図１５におけるエリアＣの処理を画像処理（１）ブロック１２０２により行い、また図１５におけるエリアＡの処理を、画像処理（３）ブロック１２０４により行う。この構成では、ユーザのパノラマ撮影のためのスイング方向が、左から右または右から左とどちらになっているかに関わらず、図１５の構成によって得られる効果を持つカメラを提供することができる。
【００５０】
＜第２の実施形態の変形例２＞
表示画像処理部１２２０において、図１７に示す画像処理を行ってもよい。図１７（ａ）において、１６０１は、撮像素子１０３から出力される画像を示している。この画像１６０１は表示画像処理部１２２０にて、エリアＡ及びエリアＣに黒マスクがかけられた上で液晶パネル１０７に表示される。図１７（ｂ）に示すように、標準の露光条件で撮像されているエリアＢのみの画像が表示されている電子ビューファインダー表示が得られる。この構成では、より簡素な構成により、撮影者に不自然さを感じさせない電子ビューファインダー表示によるパノラマ撮影モードを備えたカメラを提供することができる。
【００５１】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラなど）に適用してもよい。
【図１】
2014068080.tif 000003
【図３】
2014068080.tif 000004
【図４】
2014068080.tif 000005
【図５】
2014068080.tif 000006
【図６】
2014068080.tif 000007
【図７】
2014068080.tif 000008
【図８】
2014068080.tif 000009
【図９】
2014068080.tif 000010
【図１１】
2014068080.tif 000011
【図１２】
2014068080.tif 000012
【図１３】
2014068080.tif 000013
【図１４】
2014068080.tif 000014
【図１５】
2014068080.tif 000015
【図１６】
2014068080.tif 000016
【図１７】
2014068080.tif 000017
【図１８】
2014068080.tif 000018
【図２】
2014068080.tif 000019
【図１０】
2014068080.tif 000020