(57)【要約】      （修正有）【課題】精細さを保ちつつ、ユーザが意図する構図を得る。【解決手段】被写体像が傾斜した第一撮影画像４２の構図を補正する場合は、まず、第一撮影画像撮影時のカメラ姿勢に基づいて、被写体像が正立するべく第一撮影画像４２を回転させる。この回転処理に伴い、記録画像範囲３８に生じる画像欠落部分に相当する画像を、第二撮影画像４６から補填画像５０として抽出する。第二撮影画像４６は、第一撮影画像４２と同一被写体を異なる画角および異なるカメラ姿勢で撮影して得られる画像である。この第二撮影画像４６から抽出した補填画像５０を第一撮影画像４２の画角に応じて拡大した画像を、回転処理後の第一撮影画像４２と合成することで、被写体像が成立し、かつ、画素数低下のない補正画像３６が得られる。【選択図】図３
2007258989.tif 000002
【特許請求の範囲】
【請求項１】
被写体を所定の画角で撮影して第一撮影画像を取得する第一撮影画像取得手段と、
前記被写体と同一被写体を、第一撮影画像に比して撮影画角およびカメラ姿勢の少なくとも一方を変更した状態で撮影して、第二撮影画像を取得する第二撮影画像取得手段と、
撮影時におけるカメラの姿勢を検知する姿勢検知手段と、
第一撮影画像の撮影時に検知された姿勢に基づいて第一撮影画像における被写体像を正立させるべく回転させる回転処理手段と、
前記第一撮影画像の回転に伴い、予め規定された画像記録範囲において、画像が欠落する欠落部分を、第二撮影画像に基づいて補填する補填手段と、
を備えることを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラであって、
第二撮影画像取得手段は、第一撮影画像に比して広画角で撮影して、第二撮影画像を取得することを特徴とするデジタルカメラ。
【請求項３】
請求項２に記載のデジタルカメラであって、
補填手段は、前記欠落部分に相当する被写体像を第二撮影画像から補填画像として抽出するとともに、当該補填画像を第一撮影画像の撮影画角に応じて拡大した画像で、欠落部分の補填を行うことを特徴とするデジタルカメラ。
【請求項４】
請求項１から３のいずれか１項に記載のデジタルカメラであって、
第二撮影画像取得手段は、被写体像が正立するカメラ姿勢で撮影して、第二撮影画像を取得することを特徴とするデジタルカメラ。
【請求項５】
請求項４に記載のデジタルカメラであって、さらに、
姿勢検知手段での検知結果に応じて傾斜角度が変化するグリッド線をプレビュー画面とともに表示するグリッド線表示手段を備えることを特徴とするデジタルカメラ。
【請求項６】
請求項２から５のいずれか１項に記載のデジタルカメラであって、さらに、
回転処理手段により被写体像が正立するべく回転処理された第一撮影画像をプレビュー画面とともに表示する第一撮影画像表示手段を備えることを特徴とするデジタルカメラ。
【請求項７】
請求項１から６のいずれか１項に記載のデジタルカメラであって、
第一撮影画像取得手段および第二撮影画像取得手段は、同一の撮影手段であって、
第一撮影画像および第二撮影画像は、時間差をもって撮影された画像であることを特徴とするデジタルカメラ。
【請求項８】
請求項１または２に記載のデジタルカメラであって、
第一撮影画像取得手段および第二撮影画像取得手段は、一つのカメラに互いに独立して設けられ、同一被写体を互いに異なる画角で同時に撮影可能な二つの撮影手段であって、
第一撮影画像および第二撮影画像は、前記二つの撮影手段で同時に撮影された画像であることを特徴とするデジタルカメラ。
【請求項９】
請求項１から８のいずれか１項に記載のデジタルカメラであって、
第一撮影画像を撮影した際のカメラ姿勢に基づいて、記録画像領域の形状を横長矩形または縦長矩形に切り替えることを特徴とするデジタルカメラ。
【請求項１０】
被写体を所定の画角で撮影して得られる第一撮影画像を、当該第一撮影画像の撮影時に検知された姿勢に基づいて、被写体像を正立させるべく回転させる回転処理手段と、
前記第一撮影画像の回転に伴い予め規定された画像記録範囲において画像が欠落する欠落部分を、第一撮影画像と同一の被写体を第一撮影画像に比して撮影画角およびカメラ姿勢の少なくとも一方を変更した状態で撮影して得られる第二撮影画像に基づいて、補填する補填手段と、
を備えることを特徴とする構図補正装置。
【請求項１１】
被写体を所定の画角で撮影して得られる第一撮影画像を、当該第一撮影画像の撮影時に検知された姿勢に基づいて、被写体像を正立させるべく回転させる回転処理ステップと、
前記第一撮影画像の回転に伴い予め規定された画像記録範囲において画像が欠落する欠落部分を、第一撮影画像と同一の被写体を第一撮影画像に比して撮影画角およびカメラ姿勢の少なくとも一方を変更した状態で撮影して得られる第二撮影画像に基づいて、補填する補填ステップと、
を備えることを特徴とする構図補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を電子的に記録するデジタルカメラおよび、デジタルカメラで取得された画像に対して構図補正処理を施す構図補正装置、および構図補正方法に関する。
【背景技術】
【０００２】
画像を電子的に記録するデジタルカメラは、撮影により得られた画像の各種補正や修正が容易であるため、現在、広く流通している。デジタルカメラにおける画像修正の一つとして、構図の修正が挙げられる。
【０００３】
例えば、撮影画像の記録範囲は略矩形であるが、一般的な写真では、当該矩形の長辺または短辺を水平線と見立てて、当該長辺または短辺に対して被写体が正立するような構図で撮影することが望ましい。したがって、通常は、かかる構図になるべく、撮影者が目視でファインダ内における被写体の角度を確認して撮影を行う。しかし、この場合、正立状態か否かは、人の感覚に頼ることになるため、必ずしも正確ではない。また、移動する物体等を急いで撮影する場合には、かかる構図の確認を詳細に行うことはできない。その結果、被写体が正立しない状態、撮影者が本来、意図しない構図で撮影される場合がある。かかる場合において、被写体が正立するべく撮影画像を回転させて修正する方法が知られている。
【０００４】
例えば、特許文献１には、カメラ内部に設けられた傾斜センサで撮影時におけるカメラの傾斜を検知し、この検知された傾斜角に応じて撮影画像を回転させるカメラが開示されている。このカメラでは、実際に撮影される撮影領域を、撮影画像として記録される領域である記録領域に比して若干大きめにしている。そのため、撮影された画像を回転させたとしても、記録領域内における画像の欠落が生じないようになっている。かかるカメラによれば、カメラが傾いた状態で撮影されても、被写体が正立した状態の撮影画像を得ることができる。
【０００５】
【特許文献１】特開２００３−２１９２３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、カメラが本来持つ画素数に比して、得られる撮影画像の画素数が小さくなるという問題がある。すなわち、特許文献１では、記録画像の記録領域を、撮影領域に比して小さくしている。そのため、特許文献１では、撮影領域と記録領域とを等しくする場合に比べて、最終的に得られる撮影画像の精細度が低くなるという問題が生じる。換言すれば、特許文献１では、カメラが持ちうるパフォーマンスを十分に活用できない、という問題がある。
【０００７】
そこで、本発明では、精細さを保ちつつ、ユーザが意図する構図が得られるカメラ、構図補正装置、および、構図補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のデジタルカメラは、被写体を所定の画角で撮影して第一撮影画像を取得する第一撮影画像取得手段と、前記被写体と同一被写体を、第一撮影画像に比して撮影画角およびカメラ姿勢の少なくとも一方を変更した状態で撮影して、第二撮影画像を取得する第二撮影画像取得手段と、撮影時におけるカメラの姿勢を検知する姿勢検知手段と、第一撮影画像の撮影時に検知された姿勢に基づいて第一撮影画像における被写体像を正立させるべく回転させる回転処理手段と、前記第一撮影画像の回転に伴い、予め規定された画像記録範囲において、画像が欠落する欠落部分を、第二撮影画像に基づいて補填する補填手段と、を備えることを特徴とする。
【０００９】
好適な態様では、第二撮影画像取得手段は、第一撮影画像に比して広画角で撮影して、第二撮影画像を取得する。この場合、補填手段は、前記欠落部分に相当する被写体像を第二撮影画像から補填画像として抽出するとともに、当該補填画像を第一撮影画像の撮影画角に応じて拡大した画像で、欠落部分の補填を行うことが望ましい。
【００１０】
他の好適な態様では、第二撮影画像取得手段は、被写体像が正立するカメラ姿勢で撮影して、第二撮影画像を取得する。この場合、さらに、姿勢検知手段での検知結果に応じて傾斜角度が変化するグリッド線をプレビュー画面とともに表示するグリッド線表示手段を備えることが望ましい。また、さらに、回転処理手段により被写体像が正立するべく回転処理された第一撮影画像をプレビュー画面とともに表示する第一撮影画像表示手段を備えることも望ましい。
【００１１】
他の好適な態様では、第一撮影画像取得手段および第二撮影画像取得手段は、同一の撮影手段であって、第一撮影画像および第二撮影画像は、時間差をもって撮影された画像である。
【００１２】
他の好適な態様では、第一撮影画像取得手段および第二撮影画像取得手段は、一つのカメラに互いに独立して設けられ、同一被写体を互いに異なる画角で同時に撮影可能な二つの撮影手段であって、第一撮影画像および第二撮影画像は、前記二つの撮影手段で同時に撮影された画像である。
【００１３】
上記いずれの場合においても、第一撮影画像を撮影した際のカメラ姿勢に基づいて、記録画像領域の形状を横長矩形または縦長矩形に切り替えることが望ましい。
【００１４】
他の本発明である構図補正装置は、被写体を所定の画角で撮影して得られる第一撮影画像を、当該第一撮影画像の撮影時に検知された姿勢に基づいて、被写体像を正立させるべく回転させる回転処理手段と、前記第一撮影画像の回転に伴い予め規定された画像記録範囲において画像が欠落する欠落部分を、第一撮影画像と同一の被写体を第一撮影画像に比して撮影画角およびカメラ姿勢の少なくとも一方を変更した状態で撮影して得られる第二撮影画像に基づいて、補填する補填手段と、を備えることを特徴とする。
【００１５】
他の本発明である構図補正方法は、被写体を所定の画角で撮影して得られる第一撮影画像を、当該第一撮影画像の撮影時に検知された姿勢に基づいて、被写体像を正立させるべく回転させる回転処理ステップと、前記第一撮影画像の回転に伴い予め規定された画像記録範囲において画像が欠落する欠落部分を、第一撮影画像と同一の被写体を第一撮影画像に比して撮影画角およびカメラ姿勢の少なくとも一方を変更した状態で撮影して得られる第二撮影画像に基づいて、補填する補填ステップと、を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、欠落部分は、第一撮影画像とは別に撮影された第二撮影画像に基づいて補填される。したがって、第一撮影画像は、画質劣化等が生じない。その結果、精細さを保ちつつ、ユーザが意図する構図が得られる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の第一実施形態であるデジタルカメラ１０の概略構成を示すブロック図である。このデジタルカメラ１０は、バッテリ（図示せず）を電源とするポータブルなデジタルカメラである。デジタルカメラ１０には、レンズユニット１４およびイメージセンサ１６から構成される撮影ユニット１２が設けられている。レンズユニット１４は、ズームレンズが設けられており、撮影画角が適宜、変更できるようになっている。また、レンズユニット１４には、通常のレンズユニットと同様に、さらに、シャッタアセンブリや、絞り等が設けられている。
【００１８】
レンズユニット１４で集光された光は、イメージセンサ１６上で結像する。イメージセンサ１６は、この結増画像を電気信号変換した画像データとして出力する。ここで、本実施形態において、イメージセンサ１６は、シングルチップのカラーメガピクセルＣＣＤセンサであり、カラー画像を撮影するための公知のベイヤー（Ｂａｙｅｒ）カラーフィルタを用いる。また、イメージセンサ１６は４：３イメージアスペクト比を有する。したがって、撮影により得られる画像データも４：３のイメージアスペクト比を有することになる。
【００１９】
イメージセンサ１６から出力された画像データは、制御ユニット１８に出力される。制御ユニット１８は、プロセッサやメモリ、および、各種インターフェイスなどから構成されている。この制御ユニット１８は、フラッシュＥＰＲＯＭであるファームウェアメモリに記憶されたファームウェアに基づいて動作し、ユーザコントロール２８の操作信号に応じて、撮影動作や画像補正機能を実行する。
【００２０】
具体的には、制御ユニット１８は、タイミングジェネレータ（図示せず）に信号を供給することでイメージセンサ１６を制御し、その画像読み込み（電荷掃き出し）のタイミングなどを制御する。また、制御ユニット１８は、モータ駆動回路２６に制御信号を送ることにより、ズーム／フォーカスモータ２４を駆動し、レンズユニット１４のフォーカスやズームを制御する。
【００２１】
また、制御ユニット１８は、イメージセンサ１６から入力された画像データを画像メモリ（図示せず）に一時記憶し、この画像データに対して各種画像処理を施す。ここで、施される画像処理としては、γ補正処理やホワイトバランス処理などがある。これらの画像処理の内容は、通常のデジタルカメラと同様であるため、ここでは、その説明は省略する。本実施形態のデジタルカメラ１０では、これらの画像処理に加え、さらに、構図補正処理も行う。構図補正処理は、撮影画像における被写体像の傾きを自動的に修正するための処理である。この構図補正処理の詳細については、後に詳説する。
【００２２】
ＬＣＤ２０には、撮影前のプレビュー画像、撮影により得られた画像データ、および、過去に撮影されて記録媒体に記録された画像データなどを表示する表示手段として機能する。ユーザは、当該ＬＣＤ２０に表示されるプレビュー画像に基づいて、撮影画像のアングルを確認し、撮影動作を行う。撮影動作が行われると、プレビュー画像の表示が一時中断され、撮影により得られた撮影画像が表示される。ユーザは、この表示される撮影画像を確認することで撮影の成否を判断する。また、ＬＣＤ２０は、各種操作メニューを表示するユーザインターフェースとしても機能する。ユーザは、このＬＣＤ２０に表示されるメニュー画面に従って、ユーザコントロール２８を操作する。
【００２３】
姿勢センサ３０は、カメラの姿勢を検知するセンサであり、カメラの筐体内に設けられた加速度センサなどから構成される。この姿勢センサ３０は、撮影画面の平面方向のカメラの傾斜角度等を検知し、これを制御ユニット１８に出力する。撮影が行われると、制御ユニット１８は、当該撮影時におけるカメラの傾斜角度を姿勢データとして、撮影画像データに付加し、画像メモリまたは外部メモリ２２に記憶する。そして、制御ユニット１８は、構図補正処理を行う場合は、この撮影画像データに付加された姿勢データに基づいて撮影画像の回転処理などを実行する。また、必要に応じて、姿勢センサ３０で検知された傾斜角度に応じたグリッド線をプレビュー画像とともにＬＣＤ２０に表示させる。このグリッド線の内容についても、後に詳説する。
【００２４】
次に、このデジタルカメラ１０で行われる構図補正処理について詳説する。なお、以下の説明では、撮影により得られた補正前の画像と、構図補正処理等の補正が施された後の画像と、を明確に区分するために、前者を「撮影画像」、後者を「補正画像」という。また、撮影画像の画像領域を「撮影領域」、補正画像の画像領域を「記録画像領域」という。
【００２５】
いま、カメラ１０を傾けた状態で被写体を撮影した場合を考える。この場合、得られる撮影画像３２は、図２（Ａ）に図示するとおり、矩形状の撮影領域３４に対して被写体像が傾斜した画像となる。なお、以下の図面において、矢印Ｇは、被写体環境における重力方向を示している。一般に、ユーザが所望する構図は、撮影領域３４において被写体像が正立した構図であることが多い。したがって、図２（Ａ）に図示するように、撮影領域３４に対して、被写体像が傾斜した画像は、ユーザが意図する構図とは異なることが推測できる。
【００２６】
そこで、構図補正処理では、撮影時においてカメラが傾斜していると判断した場合には、当該カメラの傾斜角に応じて、撮影画像３２を、被写体像が成立するべく回転処理する。ただし、単に回転処理しただけでは、矩形状である記録画像領域３８に画像が存在しない欠落部分が生じる。具体的には、図２（Ｂ）に図示するように、記録画像領域３８の隅部には、画像が存在しない欠落部分４０ができる。かかる欠落部分４０が生じた状態では、ユーザが所望する構図の画像が得られたとは言えない。
【００２７】
そこで、本実施形態では、かかる欠落部分４０を補填する補填処理も行う。図３は、回転処理および補填処理からなる構図補正処理を説明する図である。補填処理には、カメラを傾斜した状態で撮影して得られる撮影画像（以下、「第一撮影画像」という）４２とは別に、新たに同一被写体を撮影して得られる撮影画像（以下、「第二撮影画像」という）４６を利用する。
【００２８】
ここで、第二撮影画像４６は、第一撮影画像４２に比して広画角の画像である。また、第二撮影画像４６を取得する際は、被写体像が成立するべく、カメラの傾斜角を厳密に調整しておくことが望ましい。換言すれば、第二撮影画像４６は、被写体像が正立した画像であることが望ましい。かかる第二撮影画像４６は、第一撮影画像４２の回転処理に伴い生じる欠落部分に相当する被写体像が含まれることになる。
【００２９】
カメラの制御ユニット１８は、この欠落部分に相当する被写体像を第二撮影画像４６から補填画像５０として抽出する。なお、この補填画像５０の抽出は、第一撮影画像４２と、第二撮影画像４６の中心が一致しているとの前提に基づき行われる。そして、抽出した補填画像５０を第一撮影画像４２の撮影画角に応じて拡大する。そして、拡大処理後の補填画像５０と、回転処理後の第一撮影画像４２と、を合成して、補正画像３６を生成する。その結果、最終的に得られる補正画像３６は、被写体像が正立し、かつ、記録画像領域３８の四隅においても画像が存在する好適な画像となる。また、通常、ユーザは、記録画像領域３８の中心部分に高い注目をもち、当該中心部分は高精彩であることを要求する。本実施形態では、このユーザの注目度が高い中心部分については、一切、拡大処理は施されておらず、その画質が十分に保持されている。一方、記録画像領域３８の四隅については、広角画像である第二撮影画像４６の一部を拡大して得られる画像を補填している。そのため、当該四隅の画質は、多少劣化しているといえる。しかし、通常、記録画像領域３８の隅部は、ユーザの注目度は低く、多少の画質劣化があったとしても、ユーザの満足度には殆ど影響しない。つまり、本実施形態によれば、高いユーザ満足度を維持しつつ、好適な構図の補正画像を得られることになる。
【００３０】
なお、上記説明では、第二撮影画像４６は、被写体像が正立した画像としているが、欠落部分を含む画像であれば、必ずしも正立画像である必要はない。すなわち、図１４に図示するように、第二撮影画像４６が第一撮影画像４２に比して十分に広画角であれば、第二撮影画像４６の被写体像が傾斜していても、第一撮影画像４２の欠落部分に相当する画像を含むことになる。この場合、カメラの制御ユニット１８は、第一撮影画像４２および第二撮影画像４６それぞれの撮影画角および傾斜角度に基づいて、欠落部分に相当する被写体像を第二撮影画像４６から補填画像５０として抽出する。そして、抽出した補填画像５０と回転処理後の第一撮影画像４２とを合成することにより、被写体像が正立した好適な補正画像３６が得られる。
【００３１】
また、上記説明では、第一撮影画像４２と第二撮影画像４６の中心が一致していることを前提としているが、第二撮影画像４６が第一撮影画像４２に比して十分に広画角であれば、両撮影画像の中心が多少ずれていてもよい。すなわち、第二撮影画像４６が第一撮影画像４２に比して十分に広画角であれば、両撮影画像の中心がずれていても、第二撮影画像４６に第一撮影画像の欠落部分に相当する画像が含まれることになる。その結果、第二撮影画像４６から補填画像５０を抽出することは可能であり、最終的に、被写体像が正立した好適な補正画像３６を得ることができる。ただし、この場合、第一撮影画像４２と第二撮影画像４６の中心のズレ量をジャイロ等のセンサを用いて検出しておくことが望ましい。
【００３２】
また、同じ理由で、欠落部分を含むのであれば、第二撮影画像４６は、第一撮影画像４２と同じ画角であってもよい。すなわち、第二撮影画像４６と第一撮影画像４２との被写体中心が厳密に一致し、かつ、第二撮影画像４６において被写体像が厳密に正立していれば、第一撮影画像４２と第二撮影画像４６とが同画角であっても、第二撮影画像は、欠落部分を含む画像になる。なお、この場合において、ユーザの感覚だけで、撮影時のカメラ傾斜角を、厳密に調整することは困難であるため、第二撮影画像４６の撮影時には、カメラ側から何らかの補助機能を提供することが望ましい。例えば、姿勢センサ３０での検出結果に基づいてカメラの姿勢が適切であると判断できれば、アラームを出力し、ユーザの撮影動作を促す補助機能などが考えられる。また、電子ファインダであるＬＣＤ２０にグリッドを表示するなどが考えられる。グリッドの表示形態は種々、考えられるが、例えば、姿勢センサ３０の検出結果に応じて適宜、その角度を可変するグリッド線の表示が考えられる。図４は、この場合においけるグリッド表示を示す図である。図４において、破線は、ＬＣＤ２０に表示されるグリッド線５６である。このグリッド線５６は、姿勢センサ３０で検出された重力方向に平行な線および直交する線で構成される。ユーザは、このグリッド線５６が、ＬＣＤ２０の枠線５２に平行または直交するべく、カメラの姿勢を調整したうえで、第二撮影画像４６の撮影を実行すればよい。
【００３３】
また、上記説明では、記録画像領域３８を、横長の矩形状としているが、カメラ傾斜角によっては、縦長の矩形状として構図補正処理を行ってもよい。すなわち、図５（Ａ）、（Ｂ）に図示するように、カメラ傾斜角が４５度以上である場合には、記録画像領域３８を縦長の矩形状として処理したほうが、欠落部分の面積が小さくなる。そこで、カメラ傾斜角が４５度以上の場合は、記録画像領域３８を縦長の矩形状として構図補正処理を行うことが望ましい。
【００３４】
次に、このカメラでの撮影処理の流れについて説明する。図６は、撮影処理の流れを示すフローチャートである。撮影を行う場合、カメラの制御ユニット１８は、まず、ＬＣＤ２０に関連データの指定を促すための関連データ選択画像を表示させる（Ｓ１２）。ここで、関連データとは、上記説明における第一撮影画像データに相当するものである。すなわち、既に撮影、記録済みの画像データの中に、構図補正処理が必要な第一撮影画像データが存在し、かつ、これから撮影する撮影画像を第二撮影画像として当該構図補正処理に利用する場合、この第一撮影画像に相当する画像データが関連データとなる。
【００３５】
関連データ、すなわち、第一撮影画像データが存在しない場合、ユーザは、ユーザコントロールを介してその旨をカメラに通知する。この場合、カメラ側は、通常の撮影処理を実行する（Ｓ２０、Ｓ２２、Ｓ１８）。すなわち、ユーザがレリーズボタンを押下したタイミングで撮影動作を実行し（Ｓ２０）、得られた画像データのヘッダ部に撮影画角等の撮影条件を記録する（Ｓ２２）。そして、この画像データを外部メモリに記憶する（Ｓ１８）。
【００３６】
一方、ユーザが、関連データ（第一撮影画像データ）を選択指定した場合、カメラは、指定された第一撮影画像、プレビュー画像、および、グリッド線をＬＣＤ２０に表示する（Ｓ１３）。このときの表示画面の一例を図７に図示する。表示画面には、回転処理後の第一撮影画像４２、すなわち、被写体像が正立した状態の第一撮影画像４２が表示される。このとき、第一撮影画像４２の中心と表示画面の中心は一致させておく。また、第一撮影画像４２は、この時点で選択されている撮影画角に応じて、適宜、拡大、縮小表示される。すなわち、現時点での撮影画角が、第一撮影画像４２の撮影時における撮影画角に比して広画角である場合、第一撮影画像４２は縮小して表示される。逆に、現時点での撮影画角が、第一撮影画像４２の撮影時における撮影画角に比して狭画角である場合、第一撮影画像４２は拡大して表示される。ただし、第一撮影画像４２の撮影時における撮影画角に比して狭画角で第二撮影画像を撮影することは望ましくないため、狭画角が選択された場合には、何らかのアラームを出力、あるいは、第二撮影画像の撮影を不可にすることが望ましい。
【００３７】
ここで、回転処理後の第一撮影画像４２を表示した場合、既述したように、隅部において画像が存在しない欠落部分が生じる。この欠落部分には、これから撮影する画像であるプレビュー画像５４が表示される。ユーザは、このプレビュー画像５４と、回転処理後の第一撮影画像４２とのつながり具合、あるいは、グリッド線５６を見ながら、第二撮影画像の構図を決定し、撮影動作を実行する（Ｓ１４）。
【００３８】
この撮影により第二撮影画像が得られれば、制御ユニット１８は、当該画像データのヘッダ部に、関連データ名（第一撮影画像データ名）や撮影時のカメラ傾斜角、撮影画角などを記録したうえで、外部メモリ２２に記憶する。
【００３９】
次に、構図補正処理の流れについて説明する。図８は、構図補正処理の流れを示すフローチャートである。この構図補正処理は、第二撮影画像の撮影が終了すれば自動的に、あるいは、ユーザから何らかの指示があれば、開始される。
【００４０】
構図補正処理では、まず、第二撮影画像のヘッダに記録されている第一撮影画像（関連データ）を特定する（Ｓ２４）。そして、第一撮影画像データのヘッダに記録されているカメラ傾斜角に基づいて、被写体像が成立するべく、第一撮影画像に回転処理を施す（Ｓ２６）。続いて、回転処理後の第一撮影画像に生じる欠落部分を、第二撮影画像で補填可能か否かを判断する（Ｓ２８，３０）。すなわち、両画像の中心が一致しているとの前提で、両画像の撮影画角および撮影時のカメラ姿勢に基づいて、欠落部分に相当する被写体像が第二撮影画像に含まれているか否かを判断する。
【００４１】
判断の結果、欠落部分に相当する被写体像が第二撮影画像に含まれていない場合は、構図補正処理ができない旨をユーザに通知して処理を終了する（Ｓ３６）。一方、欠落部分に相当する被写体像が第二撮影画像に含まれている場合には、続いて、当該欠落部分に相当する被写体像を補填画像として抽出するとともに、第一撮影画像の撮影画角に応じて当該補填画像を拡大処理する（Ｓ３２）。そして、拡大処理後の補填画像と、回転処理後の第一撮影画像を合成し、補正画像が得られれば、構図補正処理は終了となる（Ｓ３４）。
【００４２】
以上の説明から明らかなように、本実施形態によれば、画像中心部分における画質劣化や、隅部における画像欠落を招くことなく、撮影画像の構図を補正できる。その結果、ユーザ満足度の高い画像を得ることができる。
【００４３】
なお、上記実施形態では、ユーザの指示に応じて第二撮影画像の撮影を行う場合を例示したが、第二撮影画像の撮影を自動で行ってもよい。例えば、第一撮影画像の撮影後、カメラは、当該撮影時におけるカメラ姿勢に基づいて、第一撮影画像の構図の適否を判断し、不適と判断した場合には、自動的に第二撮影画像の撮影を実行するようにしてもよい。
【００４４】
また、上記実施形態では、関連データ（第一撮影画像データ）の特定をユーザの選択により行っているが、これも自動にしてもよい。すなわち、ユーザが画像撮影すれば、当該撮影時における姿勢センサの検出結果に基づいて、構図の適否を判断し、構図不適（被写体像傾斜）と判断された場合には、その旨をユーザに通知するとともに第二撮影画像の撮影の可否を問う。ユーザが第二撮影画像の撮影を行うべく、カメラ側に指示すれば、カメラ側は、その直前に撮影された画像を自動的に第二撮影画像として特定するようにしてもよい。
【００４５】
次に、第二実施形態について説明する。図９は、第二実施形態であるデジタルカメラ１０の概略構成を示すブロック図である。このデジタルカメラ１０は、互いに独立した撮影ユニット１２，１３を二つ備えている点で第一実施形態と大きく異なる。すなわち、本実施形態のデジタルカメラ１０は、レンズユニット１４および第一イメージセンサ１６からなる第一撮影ユニット１２と、単焦点レンズユニット１５および第二イメージセンサ１７からなる第二撮影ユニット１３と、を備えている。第一撮影ユニット１２の構成は、第一実施形態における撮影ユニットと同様である。一方、第二撮影ユニット１３における単焦点レンズユニット１５は、例えば、３５ｍｍ版換算で２２ｍｍの超広角レンズ等を利用することができる。また、第二イメージセンサ１７は、第一イメージセンサ１６と同じく、４：３のアスペクト比を持つ、カラーメガピクセルＣＣＤセンサである。この第一撮影ユニット１２および第二撮影ユニット１３は、互いに独立して撮影動作が実行可能であり、同一被写体を異なる画角で同時に撮影することができるようになっている。その他の構成は、第一実施形態と同様であるため、ここでは、その詳説は省略する。
【００４６】
本実施形態では、二つの撮影ユニット１２，１３で同時に撮影して得られる二つの画像を、それぞれ、第一撮影画像、第二撮影画像として、構図補正処理を行う。具体的には、第一撮影ユニット１２での撮影で得られる望遠画像を第一撮影画像、第二撮影ユニット１３での撮影で得られる広角画像を第二撮影画像とする。このとき、二つの撮影ユニット１２，１３は単一のカメラに搭載されている。そのため、両撮影ユニット１２，１３で同時に撮影して得られる二つの撮影画像において、被写体像の傾きは等しくなる。また、二つの撮影画像における被写体の中心位置は、常に、一致することになる。そのため、望遠画像（第一撮影画像）と広角画像（第二撮影画像）との間に、十分な画角差があれば、望遠画像に対して回転処理を施した際に生じる欠落部分に相当する被写体像は、広角画像に必ず含まれることになる。
【００４７】
図１０は、本実施形態における構図補正処理の様子を示す図である。カメラを傾斜した状態で、二つの撮影ユニット１２，１３での同時撮影を実行した場合、得られる二つの撮影画像４２，４６は、いずれも、被写体像が傾斜した画像となる。このうち、望遠画像４２の構図を補正する場合には、まず、カメラ傾斜角に応じて、望遠画像４２を回転させる。広角画像４６と望遠画像４２との間に十分な画角差があれば、広角画像４６には、望遠画像４２の回転に伴い記録画像領域３８の隅部に生じる欠落部分に相当する被写体像が含まれることになる。したがって、広角画像４６から、この欠落部分に相当する被写体像を補填画像５０として抽出することができる。抽出された補填画像５０を望遠画像４２の撮影画角に応じて拡大した後、回転処理後の望遠画像４２と合成すれば、被写体像が成立した状態の好適な補正画像３６が得られる。
【００４８】
ここで、適切な構図補正処理を行うために必要な望遠画像４２と広角画像４６との画角差は、カメラ傾斜角によって定まる。これについて図１１を用いて説明する。図１１において、矩形６０，６２は、それぞれ、広角画像および望遠画像に含まれる被写体範囲を表している。また、矩形６４は、望遠画像について構図補正処理を施した補正画像に含まれる被写体範囲を表している。適切な構図補正処理を行うためには、図１１に図示するように、広角画像が、補正画像の被写体範囲６４を完全に包含している必要がある。この場合における広角画像の被写体範囲６０の短辺の長さをＡと、望遠画像の被写体範囲６２の短辺の長さをａと、の関係について検討する。
【００４９】
補正画像の被写体範囲６４の対角線ＬＮの長さは、ＬＮ＝ｎ・ａと表すことができる。ここで、ｎは、被写体範囲６４のアスペクト比で定まる値であり、アスペクト比が４：３の場合は５となる。また対角線ＬＮと被写体範囲６４の長辺とが成す角度βも、被写体範囲６４のアスペクト比で定まる固定の値である。
【００５０】
いま、カメラ傾斜角をαとおくと、対角線ＬＮと、当該対角線ＬＮの一端から広角画像の被写体範囲６０の長辺に下ろした垂線ＬＭとの成す角度γは、γ＝９０−（α＋β）とおける。そして、垂線ＬＭは、ＬＭ＝ｎ・ａ・ｃｏｓ（γ）＝ｎ・ａ・ｃｏｓ（９０−α−β）＝ｎ・ａ・ｓｉｎ（α＋β）となる。この垂線ＬＭは、広角画像の被写体範囲６０の短辺と同じ長さであるため、Ａ＝ｎ・ａ・ｓｉｎ（α＋β）となる。Ａがこの式を満たす長さである場合、適切な構図補正処理が可能となる。
【００５１】
つまり、広角画像の被写体範囲６０が、望遠画像の被写体範囲６２に対してｎ・ｓｉｎ（α＋β）倍であれば、適切な構図補正処理が行えることになる。したがって、適切な構図補正処理に必要となる画角差は、被写体範囲がｎ・ｓｉｎ（α＋β）倍以上になり得る画角差といえる。
【００５２】
次に、本実施形態における各処理の流れを説明する。図１２は、第二実施形態における撮影処理の流れを示す図である。このデジタルカメラでは、第一撮影ユニット１２または第二撮影ユニット１３単独での撮影、あるいは、両撮影ユニット１２，１３での同時撮影が選択可能である。したがって、撮影処理を行う場合、カメラは、まず、撮影に使用する撮影ユニットの選択画面を表示し、その選択をユーザに促す（Ｓ４０）。ユーザは、コントロールパネル等を操作して、撮影に使用する撮影ユニットを選択する。
【００５３】
一つの撮影ユニットによる単独撮影が選択された場合は、当該選択された撮影ユニットで、通常の撮影動作を実行する（Ｓ５０）。そして、得られた撮影画像データのヘッダに、撮影画角等の撮影条件を記録し（Ｓ５２）、外部メモリに記憶する（Ｓ４８）。
【００５４】
一方、二つの撮影ユニットによる同時撮影が選択された合には、第一、第二撮影ユニットによる同時撮影動作を実行する（Ｓ４４）。そして、得られた二つの撮影画像データのヘッダ部に、撮影時におけるカメラ傾斜角や撮影時における画角等を記録する。また、同時に撮影された他方の画像データのファイル名もヘッダに記憶する（Ｓ４６）。すなわち、望遠画像のヘッダには広角画像のファイル名を、広角画像のヘッダには望遠画像のファイル名を、関連データファイル名として記憶する。そして、これらの情報をヘッダに書き込んだうえで、両画像をメモリに記憶する（Ｓ４８）。画像のメモリへの記憶が終了すれば、撮影処理は終了となる。
【００５５】
次に、構図補正処理の流れについて図１３を用いて説明する。この構図補正処理は、撮影時におけるカメラ傾斜角に基づいて自動的に、または、ユーザからの指示に応じて開始される。なお、この構図補正処理において対象となるのは、望遠画像であり、広角画像は、望遠画像の欠落部分を補填するための第二撮影画像として用いられる。
【００５６】
構図補正を行う場合は、まず、望遠画像および広角画像の両方に対して、回転処理を施す（Ｓ５４）。すなわち、両画像ファイルのヘッダ部に記憶されているカメラ傾斜角を読み込み、当該傾斜角に基づいて被写体像が成立するべく両画像を回転させる。
【００５７】
次に、両画像を比較し、回転処理に伴い望遠画像に生じた欠落部分の補填を、広角画像に基づいて可能か否かを判断する（Ｓ５６、Ｓ５８）。これは、まず、回転処理後の望遠画像に基づいて、欠落部分を特定する（Ｓ５６）。続いて、広角画像と望遠画像との画角差に基づいて、欠落部分に相当する被写体像が広角画像に含まれているか否かを判断する（Ｓ５８）。欠落部分に相当する被写体像が含まれていない場合には、その旨をユーザに通知し、構図補正処理を終了する（Ｓ６４）。
【００５８】
一方、欠落部分に相当する被写体像が広角画像に含まれている場合には、当該被写体像を望遠画像から補填画像として抽出するとともに、当該補填画像を望遠画像の画角に応じて拡大処理する（Ｓ６０）。そして、拡大処理された補填画像と、回転処理された望遠画像と、を合成すれば、被写体像が成立し、かつ、欠落部分のない、補正画像が得られる（Ｓ６２）。
【００５９】
以上の説明から明らかなように、本実施形態によれば、第一実施形態と同じく、画像注目部分における画質劣化や、隅部における画像欠落を招くことなく、被写体像が正立した好適な構図の補正画像を得ることができる。また、本実施形態では、同一被写体を互いに異なる画角で同時に撮影可能な二つの撮影ユニットを設けている。そのため、撮影画像の中心位置の調整などを気にする必要がない。その結果、より簡易に好適な構図補正処理が可能となる。
【００６０】
なお、第一実施形態および第二実施形態は、いずれも、デジタルカメラ内において、構図補正処理を行う場合を説明しているが、当然、これは、他の情報処理装置、例えば、パーソナルコンピュータ上で行ってもよい。
【図面の簡単な説明】
【００６１】
【図１】第一実施形態であるデジタルカメラの概略構成を示すブロック図である。
【図２】回転処理の様子を示す図である。
【図３】構図補正処理の様子を示す図である。
【図４】グリッド線表示の一例を示す図である。
【図５】構図補正処理の一態様を示す図である。
【図６】撮影処理の流れを示すフローチャートである。
【図７】プレビュー画面表示の一例を示す図である。
【図８】構図補正処理の流れを示すフローチャートである。
【図９】第一実施形態であるデジタルカメラの概略構成を示すブロック図である。
【図１０】構図補正処理の一態様を示す図である。
【図１１】各画像の被写体範囲の関係を表す図である。
【図１２】撮影処理の流れを示すフローチャートである。
【図１３】構図補正処理の流れを示すフローチャートである。
【図１４】構図補正処理の他の様子を示す図である。
【符号の説明】
【００６２】
１０  デジタルカメラ、１２，１３  撮影ユニット、１８  制御ユニット、２２  外部メモリ、２４  フォーカスモータ、２６  モータ駆動回路、２８  ユーザコントロール、３０  姿勢センサ、３６  補正画像、３８  記録画像領域、４０  欠落部分、４２  第一撮影画像（望遠画像）、４６  第二撮影画像（広角画像）、５０  補填画像、５４  プレビュー画像、５６  グリッド線、６０  広角画像の被写体範囲、６２  望遠画像の被写体範囲、６４  補正画像の被写体範囲。
【図１】
2007258989.tif 000003
【図２】
2007258989.tif 000004
【図３】
2007258989.tif 000005
【図４】
2007258989.tif 000006
【図５】
2007258989.tif 000007
【図６】
2007258989.tif 000008
【図７】
2007258989.tif 000009
【図８】
2007258989.tif 000010
【図９】
2007258989.tif 000011
【図１０】
2007258989.tif 000012
【図１１】
2007258989.tif 000013
【図１２】
2007258989.tif 000014
【図１３】
2007258989.tif 000015
【図１４】
2007258989.tif 000016