(57)【要約】【課題】星空と地景の何れもが最適な明るさになると共に星空と地景の境界が正確に再現された星景画像を容易に得る。【解決手段】撮像装置は、被写界を撮像して撮像データを出力する撮像部と、第１の撮像条件に従って撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、第１の画像に対して第１の被写界領域に適した第１の画像処理を行うと共に、第２の被写界領域に適した第２の撮像条件に従って撮像部が上記被写界を撮像して出力した撮像データに係る第２の画像に対して第２の被写界領域に適した第２の画像処理を行う画像処理部と、第２の画像処理後の第２の画像から、境界に基づいて、第２の被写界領域に対応する部分画像を切り出す画像切出部と、第１の画像処理後の第１の画像に部分画像を合成する画像合成部と、を備える。【選択図】図２
2020113219.tif 000002
【特許請求の範囲】
【請求項１】
被写界を撮像して撮像データを出力する撮像部と、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、
前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像に対して前記第２の被写界領域に適した第２の画像処理を行う画像処理部と、
前記第２の画像処理後の前記第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、
前記第１の画像処理後の前記第１の画像に前記部分画像を合成する画像合成部と、
を備えることを特徴とする撮像装置。
【請求項２】
被写界を撮像して撮像データを出力する撮像部と、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、
前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、
前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記部分画像に対して前記第２の被写界領域に適した第２の画像処理を行う画像処理部と、
前記第１の画像処理後の前記第１の画像に前記第２の画像処理後の前記部分画像を合成する画像合成部と、
を備えることを特徴とする撮像装置。
【請求項３】
被写界を撮像して撮像データを出力する撮像部と、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、
前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、
前記第１の画像に前記部分画像を合成する画像合成部と、
を備えることを特徴とする撮像装置。
【請求項４】
前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、
前記第１の被写界領域は、前記２つの画素における輝度値の高い方の画素を含む領域であり、前記第２の被写界領域は、前記２つの画素における輝度値の低い方の画素を含む領域である、
ことを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、
前記第１の被写界領域は、前記２つの画素における輝度値の高い方の画素を含む領域であり、前記第２の被写界領域は、前記２つの画素における輝度値の低い方の画素を含む領域である、
ことを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項６】
前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、
ことを特徴とする請求項４又は５記載の撮像装置。
【請求項７】
前記特定方向は、前記重力方向に応じた特定方向を規定する特定方向規定情報に基づいて決定される、
ことを特徴とする請求項６記載の撮像装置。
【請求項８】
前記特定方向は、前記重力方向に対して反対の方向である、
ことを特徴とする請求項６記載の撮像装置。
【請求項９】
前記撮像装置の姿勢を検出する姿勢検出部、
を更に備え、
前記重力方向は、前記姿勢検出部の検出結果に基づいて決定される、
ことを特徴とする請求項６乃至８の何れか一項に記載の撮像装置。
【請求項１０】
ユーザの操作を受け付ける操作部、
を更に備え、
前記操作部が受け付けた操作に応じて天体撮影モードが設定された場合に、前記境界演算部、前記画像処理部、前記画像切出部、及び前記画像合成部の処理、又は、前記境界演算部、前記画像切出部、及び前記画像合成部の処理が行われる、
ことを特徴とする請求項１乃至９の何れか一項に記載の撮像装置。
【請求項１１】
前記被写界のシーンを判定するシーン判定部、
を更に備え、
前記シーン判定部が天体シーンと判定した場合に、前記境界演算部、前記画像処理部、前記画像切出部、及び前記画像合成部の処理、又は、前記境界演算部、前記画像切出部、及び前記画像合成部の処理が行われる、
ことを特徴とする請求項１乃至９の何れか一項に記載の撮像装置。
【請求項１２】
前記第１の画像における所定輝度範囲外の領域の割合が閾値以上であるか否かを判定する判定部、
を更に備え、
前記割合が閾値以上であると前記判定部に依り判定された場合に、前記境界演算部、前記画像処理部、前記画像切出部、及び前記画像合成部の処理、又は、前記境界演算部、前記画像切出部、及び前記画像合成部の処理が行われる、
ことを特徴とする請求項１乃至１１の何れか一項に記載の撮像装置。
【請求項１３】
前記第１の被写界領域は、星空に対応する領域であり、
前記第２の被写界領域は、地景に対応する領域である、
ことを特徴とする請求項１乃至１２の何れか一項に記載の撮像装置。
【請求項１４】
前記第１の画像処理は、星空に適したトーンカーブに応じた画像処理及び星空に適したホワイトバランスに応じた画像処理の一方又は両方を含み、
前記第２の画像処理は、地景に適したトーンカーブに応じた画像処理及び地景に適したホワイトバランスに応じた画像処理の一方又は両方を含む、
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項１５】
撮影時の露出が異なる複数の画像を入力する画像入力部、
を更に備え、
前記第１の画像と前記第２の画像の代わりに、前記複数の画像の中から前記第１の画像として選択された画像と前記複数の画像の中から前記第２の画像として選択された画像とを使用して処理が行われる、
ことを特徴とする請求項１乃至１４の何れか一項に記載の撮像装置。
【請求項１６】
被写界を撮像して撮像データを出力する撮像部を備えた撮像装置において実行される画像合成方法であって、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求め、
前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像に対して前記第２の被写界領域に適した第２の画像処理を行い、
前記第２の画像処理後の前記第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出し、
前記第１の画像処理後の前記第１の画像に前記部分画像を合成する、
ことを特徴とする画像合成方法。
【請求項１７】
被写界を撮像して撮像データを出力する撮像部を備えた撮像装置のコンピュータに、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求め、
前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像に対して前記第２の被写界領域に適した第２の画像処理を行い、
前記第２の画像処理後の前記第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出し、
前記第１の画像処理後の前記第１の画像に前記部分画像を合成する、
という処理を実行させることを特徴とする画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置において実行される画像合成方法、及び撮像装置のコンピュータに実行される画像合成プログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置を用いて星空と地景（山等）を有する星景写真を撮影する場合に、星空と地景の何れもが最適な明るさになる星景画像を得ることは難しい。これは、星空に合わせて撮影すると、星空に適した露出に依り撮影が行われるために、地景が暗くなる星景画像が得られてしまい、地景に合わせて撮影すると、地景に適した露出に依り撮影が行われるために、星空が明るくなりすぎる星景画像が得られてしまうからである。
【０００３】
そこで、写真家等は、異なる露出に依り複数回の撮影を行って複数の星景画像を取得し、その中から星空用の星景画像と地景用の星景画像を選択し、画像編集ソフトウェア等を利用して両画像から必要な部分画像を切り出して合成することに依り、星空と地景の何れもが最適な明るさになる星景画像を作成している。
【０００４】
また、撮像装置を用いて星景写真を撮影する場合に、星空に合わせて撮影すると、星空に適したトーンカーブに応じた画像処理が行われ、地景に合わせて撮影すると、地景に適したトーンカーブに応じた画像処理が行われる場合もある。この場合も、星空に合わせて撮影すると、地景が暗くなる星景画像が得られてしまい、地景に合わせて撮影すると、星空が明るくなりすぎる星景画像が得られてしまう。
【０００５】
なお、ＨＤＲ（High Dynamic Range）機能を備えた撮像装置の場合は、そのＨＤＲ機能を利用して星景写真を撮影することも考えられる。しかしながら、そのＨＤＲ機能によれば、星空と地景の明るさのバランスが考慮されて処理が行われるために、星空と地景の何れも最適な明るさにならない星景画像が得られる虞がある。
【０００６】
また、撮像装置を用いて星景写真を撮影する場合に、星空に合わせて撮影すると、星空に適したＷＢ（ホワイトバランス）に応じた画像処理が行われ、地景に合わせて撮影すると、地景に適したＷＢに応じた画像処理が行われる場合もある。星空に適したＷＢは、例えば３０００Ｋ（ケルビン）程度の青みが増すＷＢであり、地景に適したＷＢは、例えばＡＷＢ（オートホワイトバランス）である。この場合は、星空に合わせて撮影すると、地景が不自然に青みを増した星景画像が得られてしまう。
【０００７】
撮像装置に関し、例えば、適切な明るさで被写体を撮影する撮像装置が提案されている（特許文献１参照）。この撮像装置は、輝度の異なる複数の画像を生成する画像生成手段と、画像生成手段に依り生成された第１の画像の輝度から、画像生成手段に依り生成された複数の画像の合成に係る合成条件を生成する合成条件生成手段と、合成条件生成手段に依り生成された合成条件に基づいて、上記複数の画像を合成する合成手段と、を有し、合成条件生成手段は、第１の画像に含まれる被写体画像のうち予め定められた閾値よりも小さい面積の被写体画像が、被写体画像の大きさに応じて第１の画像から被写体画像を分離する分離手段に依り分離されるまで第１の画像を縮小し、縮小された第１の画像を用いて合成条件を生成する。例えば、合成条件生成手段は、縮小された縮小画像の輝度情報に基づいて、縮小画像を２値化する２値化手段と、２値化手段に依り２値化された２値化画像を元の大きさに拡大する拡大手段と、を有し、拡大手段に依り拡大された画像を合成条件として生成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１５−０４１８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
星空と地景の何れもが最適な明るさになる星景画像を得る場合に、上述した画像編集ソフトウェアを利用して画像の切り出し及び合成を行う方法では、手間と時間が掛かってしまう。また、上述の特許文献１に記載の撮像装置の如くに分離、縮小、二値化、及び拡大を行う方法を利用する場合は、星空と地景との境界が複雑な形状になる場合に、その境界を正確に再現できない虞がある。
【００１０】
本発明は、上記実状に鑑み、星空と地景の何れもが最適な明るさになると共に星空と地景の境界が正確に再現された星景画像を容易に得ることができる撮像装置、画像合成方法、及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像に対して前記第２の被写界領域に適した第２の画像処理を行う画像処理部と、前記第２の画像処理後の前記第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、前記第１の画像処理後の前記第１の画像に前記部分画像を合成する画像合成部と、を備えることを特徴とする。
【００１２】
本発明の第２の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記部分画像に対して前記第２の被写界領域に適した第２の画像処理を行う画像処理部と、前記第１の画像処理後の前記第１の画像に前記第２の画像処理後の前記部分画像を合成する画像合成部と、を備えることを特徴とする。
【００１３】
本発明の第３の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、前記第１の画像に前記部分画像を合成する画像合成部と、を備えることを特徴とする。
【００１４】
本発明の第４の態様は、第１乃至３の何れか一つの態様において、前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、前記第１の被写界領域は、前記２つの画素における輝度値の高い方の画素を含む領域であり、前記第２の被写界領域は、前記２つの画素における輝度値の低い方の画素を含む領域である、ことを特徴とする。
【００１５】
本発明の第５の態様は、第１乃至３の何れか一つの態様において、前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、前記第１の被写界領域は、前記２つの画素における輝度値の高い方の画素を含む領域であり、前記第２の被写界領域は、前記２つの画素における輝度値の低い方の画素を含む領域である、ことを特徴とする。
【００１６】
本発明の第６の態様は、第４又は５の態様において、前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
本発明の第７の態様は、第６の態様において、前記特定方向は、前記重力方向に応じた特定方向を規定する特定方向規定情報に基づいて決定される、ことを特徴とする。
【００１７】
本発明の第８の態様は、第６の態様において、前記特定方向は、前記重力方向に対して反対の方向である、ことを特徴とする。
本発明の第９の態様は、第６乃至８の何れか一つの態様において、前記撮像装置の姿勢を検出する姿勢検出部、を更に備え、前記重力方向は、前記姿勢検出部の検出結果に基づいて決定される、ことを特徴とする。
【００１８】
本発明の第１０の態様は、第１乃至９の何れか一つの態様において、ユーザの操作を受け付ける操作部、を更に備え、前記操作部が受け付けた操作に応じて天体撮影モードが設定された場合に、前記境界演算部、前記画像処理部、前記画像切出部、及び前記画像合成部の処理、又は、前記境界演算部、前記画像切出部、及び前記画像合成部の処理が行われる、ことを特徴とする。
【００１９】
本発明の第１１の態様は、第１乃至９の何れか一つの態様において、前記被写界のシーンを判定するシーン判定部、を更に備え、前記シーン判定部が天体シーンと判定した場合に、前記境界演算部、前記画像処理部、前記画像切出部、及び前記画像合成部の処理、又は、前記境界演算部、前記画像切出部、及び前記画像合成部の処理が行われる、ことを特徴とする。
【００２０】
本発明の第１２の態様は、第１乃至１１の何れか一つの態様において、前記第１の画像における所定輝度範囲外の領域の割合が閾値以上であるか否かを判定する判定部、を更に備え、前記割合が閾値以上であると前記判定部に依り判定された場合に、前記境界演算部、前記画像処理部、前記画像切出部、及び前記画像合成部の処理、又は、前記境界演算部、前記画像切出部、及び前記画像合成部の処理が行われる、ことを特徴とする。
【００２１】
本発明の第１３の態様は、第１乃至１２の何れか一つの態様において、前記第１の被写界領域は、星空に対応する領域であり、前記第２の被写界領域は、地景に対応する領域である、ことを特徴とする。
【００２２】
本発明の第１４の態様は、第１又は２の態様において、前記第１の画像処理は、星空に適したトーンカーブに応じた画像処理及び星空に適したホワイトバランスに応じた画像処理の一方又は両方を含み、前記第２の画像処理は、地景に適したトーンカーブに応じた画像処理及び地景に適したホワイトバランスに応じた画像処理の一方又は両方を含む、ことを特徴とする。
【００２３】
本発明の第１５の態様は、第１乃至１４の何れか一つの態様において、撮影時の露出が異なる複数の画像を入力する画像入力部、を更に備え、前記第１の画像と前記第２の画像の代わりに、前記複数の画像の中から前記第１の画像として選択された画像と前記複数の画像の中から前記第２の画像として選択された画像とを使用して処理が行われる、ことを特徴とする。
【００２４】
本発明の第１６の態様は、被写界を撮像して撮像データを出力する撮像部を備えた撮像装置において実行される画像合成方法であって、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求め、前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像に対して前記第２の被写界領域に適した第２の画像処理を行い、前記第２の画像処理後の前記第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出し、前記第１の画像処理後の前記第１の画像に前記部分画像を合成する、ことを特徴とする。
【００２５】
本発明の第１７の態様は、被写界を撮像して撮像データを出力する撮像部を備えた撮像装置のコンピュータに、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求め、前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像に対して前記第２の被写界領域に適した第２の画像処理を行い、前記第２の画像処理後の前記第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出し、前記第１の画像処理後の前記第１の画像に前記部分画像を合成する、という処理を実行させることを特徴とする画像合成プログラムである。
【発明の効果】
【００２６】
本発明に依れば、星空と地景の何れもが最適な明るさになると共に星空と地景の境界が正確に再現された星景画像を容易に得ることができる、という効果を奏する。
【図面の簡単な説明】
【００２７】
【図１】一実施の形態に係る撮像装置の正面及び背面の外観構成を例示する図である。
【図２】一実施の形態に係る撮像装置の主要な構成を例示する図である。
【図３】一実施の形態に係る撮像装置において実行される処理を例示するフローチャートである。
【図４】Ｓ３０５の特殊画像処理を例示するフローチャートである。
【図５】Ｓ４０１の判定処理の一例を説明する図である。
【図６】Ｓ４０３の処理の一例を説明する図である。
【図７】星空に適したトーンカーブと地景に適したトーンカーブを例示する図である。
【図８】Ｓ４０７の処理の一例を説明する図である。
【図９】被写界Ａを撮像して得られた第１の画像を例示する図である。
【図１０】被写界Ｂを撮像して得られた第１の画像を例示する図である。
【図１１】特定方向規定情報の一例を模式的に示す図である。
【図１２】第１の画像の領域毎に特定方向が規定された例を説明する図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しながら、本発明の実施の形態について説明する。
図１は、一実施の形態に係る撮像装置の正面及び背面の外観構成を例示する図である。図１では、その正面の外観構成を左側に例示し、その背面の外観構成を右側に例示する。
【００２９】
図１に例示した撮像装置１は、レンズ交換型又はレンズ一体型のデジタルカメラであるが、これに限定されるものではなく、例えば、スマートフォンやタブレット端末等の携帯型情報端末装置に内蔵されるカメラでもよい。
【００３０】
図１に例示したとおり、撮像装置１は、その正面に、レンズ部２を備える。レンズ部２は、撮影レンズ等の撮影光学系を含む。
また、撮像装置１は、その背面に、表示部３、十字キー４、及び複数のボタン５（５ａ、５ｂ、５ｃ）を備える。表示部３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイであり、画像や各種画面等を表示する。十字キー４は、表示部３に表示された画像や画面内の項目の選択指示等に使用される。複数のボタン５は、十字キー４に依り選択指示された画像や項目の確定指示に使用される確定ボタン５ａと、撮像装置１の電源をＯＮ／ＯＦＦさせる指示に使用される電源ボタン５ｂと、所定の指示を行うために使用されるボタン５ｃを有する。
【００３１】
また、撮像装置１は、その上面に、レリーズボタン６を備える。レリーズボタン６は、撮影指示を行うために使用されるボタンである。
図２は、一実施の形態に係る撮像装置の主要な構成を例示する図である。
【００３２】
図２に例示した撮像装置１は、制御部１１、ＲＯＭ（Read Only Memory）１２、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１３、撮像部１４、画像入力部１５、姿勢センサ１６、シーン判定部１７、画像処理部１８、画像切出部１９、画像合成部２０、及び表示部３を備え、その各々がバス２１に接続されている。これに依り、バス２１に接続されたもの同士でデータの送受信が可能である。また、撮像装置１は、制御部１１に接続された操作部２２を備える。
【００３３】
制御部１１は、撮像装置１の全体を制御する。例えば、制御部１１は、操作部２２からの指示信号に応じた処理の実行を制御する。
制御部１１は、判定部１１ａ及び境界演算部１１ｂを備える。
【００３４】
判定部１１ａは、第１の撮像条件に従って撮像部１４が被写界を撮像して出力した撮像データに係る第１の画像における所定輝度範囲外の領域の割合が閾値以上であるか否かを判定する。第１の撮像条件は、レリーズボタン６が押下された時の撮影対象（撮像対象）とされる被写界に応じて決定される露出等の撮像条件である。
【００３５】
境界演算部１１ｂは、第１の画像における第１の被写界領域と第２の被写界領域の境界を求める。例えば、境界演算部１１ｂは、第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、その境界を求めてもよいし、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、その境界を求めてもよい。いずれの場合も、その２つの画素における輝度値の高い方の画素を含む方が第１の被写界領域であり、その２つの画素における輝度値の低い方の画素を含む方が第２の被写界領域である。特定方向は、例えば、第１の画像に表された被写界の重力方向に基づいて決定される。この場合、特定方向は、その重力方向に応じた特定方向を規定する特定方向規定情報に基づいて決定されてもよいし、その重力方向に対して反対の方向とされてもよい。その重力方向は、例えば、姿勢センサ１６の検出結果に基づいて決定される。第１の被写界領域は、例えば、星空に対応する領域であり、第２の被写界領域は、例えば、地景に対応する領域である。
【００３６】
なお、制御部１１は、ＣＰＵ（Central Processing Unit）等のプロセッサに依り実現され、そのプロセッサがＲＯＭ１２に記憶されているプログラム（画像合成プログラムを含む）を実行することに依り、判定部１１ａ及び境界演算部１１ｂ等といった、制御部１１の各機能が実現される。制御部１１のプロセッサに依り実行されるプログラムは、撮像装置１の各機能を制御し実行するためのプログラムでもあり、撮像装置１のコンピュータに実行されるプログラムでもある。
【００３７】
ＲＯＭ１２は、制御部１１のプロセッサに依り実行されるプログラムや、そのプログラムの実行に必要なデータ（特定方向規定情報を含む）が記憶されている。
ＳＤＲＡＭ１３は、制御部１１のワークエリア等として使用され、例えば、境界演算部１１ｂが求めた境界の情報が一時的に記憶される。
【００３８】
撮像部１４は、被写界を撮像して撮像データを出力する。詳しくは、撮像部１４は、撮像素子と信号処理部を備え、レンズ部２を経由して入射した被写界の光学像を撮像素子に依り撮像し、その撮像結果である撮像信号に対して信号処理部に依る所定の信号処理を行い、その処理結果である撮像データを出力する。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）といったイメージセンサである。所定の信号処理は、ゲイン調整処理やＡＤ（Analog-to-Digital）変換処理を含む。なお、撮像部１４の信号処理部は、回路に依って実現されてもよい。この場合、撮像部１４は、撮像素子と信号処理回路を含む撮像処理回路として構成されてもよい。
【００３９】
画像入力部１５は、撮像装置１への画像の入力等に使用されるインターフェースであり、例えば、画像が記録されたＳＤメモリカード等が接続されるインターフェースである。或いは、例えば、画像が記録されたＵＳＢ（Universal Serial Bus）メモリ等が接続されるＵＳＢインターフェースでもよい。
【００４０】
姿勢センサ１６は、撮像装置１の姿勢を検出する。姿勢センサ１６は、例えば、３軸加速度センサであり、重力方向の検出が可能である。これに依り、第１の画像に表された被写界の重力方向の検出も可能である。
【００４１】
シーン判定部１７は、撮影（撮像）される被写界のシーンを判定する。例えば、シーン判定部１７は、撮影される被写界のシーンが天体シーンであるか否かを判定する。この判定は、例えば、撮像部１４が被写界を撮像して出力した撮像データに基づいて行われる。
【００４２】
画像処理部１８は、各種の画像処理を行う。例えば、画像処理部１８は、第１の画像に対して第１の被写界領域に適した第１の画像処理を行うと共に、第２の被写界領域に適した第２の撮像条件に従って撮像部１４が被写界を撮像して出力した撮像データに係る第２の画像に対して第２の被写界領域に適した第２の画像処理を行う。第１の画像処理は、例えば、星空に適したトーンカーブに応じた画像処理及び星空に適したＷＢに応じた画像処理の一方又は両方を含む。第２の画像処理は、例えば、地景に適したトーンカーブに応じた画像処理及び地景に適したＷＢに応じた画像処理の一方又は両方を含む。
【００４３】
画像切出部１９は、画像から部分画像を切り出す。例えば、画像切出部１９は、第２の画像処理後の第２の画像から、境界演算部１１ｂに依り求められた境界に基づいて、第２の被写界領域に対応する部分画像を切り出す。
【００４４】
画像合成部２０は、画像の合成を行う。例えば、画像合成部２０は、第２の画像処理後の第２の画像から画像切出部１９に依り切り出された部分画像を、第１の画像処理後の第１の画像に合成する。
【００４５】
操作部２２は、ユーザの操作を受け付け、その操作に応じた指示信号を制御部１１に出力する。操作部２２は、十字キー４、複数のボタン５、及びレリーズボタン６を含む。また、操作部２２は、タッチパネルを含んでもよい。この場合、タッチパネルは、表示部３上に配置される。
【００４６】
なお、図２に例示した撮像装置１において、シーン判定部１７、画像処理部１８、画像切出部１９、及び画像合成部２０は、例えば、回路に依って実現されてもよい。また、シーン判定部１７、画像処理部１８、画像切出部１９、及び画像合成部２０は、制御部１１に含まれる構成としてもよい。この場合は、シーン判定部１７、画像処理部１８、画像切出部１９、及び画像合成部２０も、制御部１１のプロセッサがＲＯＭ１２に記憶されているプログラムを実行することに依って実現される。
【００４７】
また、図２に例示した撮像装置１の一部（制御部１１、シーン判定部１７、画像処理部１８、画像切出部１９、及び画像合成部２０等）は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の集積回路に依り実現されてもよい。
【００４８】
図３は、一実施の形態に係る撮像装置において実行される処理を例示するフローチャートである。この処理は、星景写真の撮影が行われた場合に、星空と地景の何れもが最適な明るさになると共に星空と地景の境界が正確に再現された星景画像を容易に得ることができる処理でもある。
【００４９】
図３に例示した処理では、電源ボタン５ｂの押下（電源ＯＮ操作）に依り撮像装置１の電源がＯＮし（Ｓ３０１）、その後、レリーズボタン６の押下（撮影指示操作）が行われると、第１の撮像条件に従って撮像部１４が被写界を撮像して撮像データを出力する（Ｓ３０２）。第１の撮像条件は、レリーズボタン６が押下された時の撮影対象となる被写界に応じて決定された露出等の撮像条件である。例えば、その被写界において、地景よりも星空の方の割合が大きい場合には、星空に適した撮像条件が第１の撮像条件とされる。
【００５０】
Ｓ３０２の後、制御部１１は、天体撮影モードが設定されているか否かを判定する（Ｓ３０３）。天体撮影モードは、天体撮影に適した撮影モードであり、操作部２２の操作に依り設定可能である。なお、Ｓ３０３の判定では、天体撮影モードが設定されているか否かを判定する代わりに、シーン判定部１７が天体シーンであるか否かを判定してもよい。
【００５１】
Ｓ３０３の判定結果がＮＯの場合、画像処理部１８は、Ｓ３０２で出力された撮像データに係る画像（第１の画像でもある）に対して通常画像処理を行う（Ｓ３０４）。通常画像処理は、撮影処理時に一般的に行われる画像処理である。
【００５２】
一方、Ｓ３０３の判定結果がＹＥＳの場合、制御部１１は、特殊画像処理を行う（Ｓ３０５）。この処理の詳細は、図４を用いて後述する。
Ｓ３０４又はＳ３０５の後、制御部１１は、Ｓ３０４又はＳ３０５の処理結果である画像を表示部３に表示させると共に、その画像に係る画像データを、例えば、画像入力部１５に接続されたＳＤメモリカードに記録する（Ｓ３０６）。
【００５３】
Ｓ３０６の後、制御部１１は、電源ボタン５ｂの押下（電源ＯＦＦ操作）が行われたか否かを判定する（Ｓ３０７）。
Ｓ３０７の判定結果がＮＯの場合は、処理がＳ３０２に戻る。
【００５４】
一方、Ｓ３０７の判定結果がＹＥＳの場合は、撮像装置１の電源がＯＦＦし（Ｓ３０８）、図３に例示した処理が終了する。
図４は、Ｓ３０５の特殊画像処理を例示するフローチャートである。
【００５５】
図４に例示した特殊画像処理では、まず、判定部１１ａが、Ｓ３０２で出力された撮像データに係る第１の画像における所定輝度範囲外の領域の割合が閾値以上であるか否かを判定する（Ｓ４０１）。所定輝度範囲外の領域は、例えば、輝度値が８ｂｉｔで表される場合に輝度値が２０以下の領域である。閾値は、例えば、２０％である。この場合のＳ４０１の判定処理の一例を、図５を用いて説明する。
【００５６】
図５は、Ｓ４０１の判定処理の一例を説明する図である。
図５に示した例では、まず、第１の画像１０１が７２（＝８×９）個のブロックに分割され、各ブロックにおいて輝度値の平均値が求められる。各ブロック内の数値は、輝度値の平均値を示し、下線が引かれた数値は、２０以下の数値を示している。そして、全ブロック数に対する、平均値が２０以下のブロック数の割合が２０％以上であるか否かが判定される。図５に示した例では、全ブロック数が７２であるのに対し、平均値が２０以下のブロック数が２４であるので、その割合が、２４／７２％（約３３．３％）となり、閾値（２０％）以上となる。なお、第１の画像１０１は、星空と地景を有する被写界が撮像された画像であり、領域１０１ａは星空に対応する領域を示し、領域１０１ｂは地景に対応する領域を示している。
【００５７】
図４に戻り、Ｓ４０１の判定結果がＮＯの場合、画像処理部１８は、Ｓ３０４と同様に、Ｓ３０２で出力された撮像データに係る第１の画像に対して通常画像処理を行う（Ｓ４０２）。この場合は、Ｓ４０３乃至Ｓ４０７の処理が行われずに、処理が図３に例示したフローチャートに戻ることになる。
【００５８】
一方、Ｓ４０１の判定結果がＹＥＳの場合、境界演算部１１ｂは、Ｓ３０２で出力された撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める（Ｓ４０３）。この処理の一例を、図６を用いて説明する。
【００５９】
図６は、Ｓ４０３の処理の一例を説明する図である。
図６に示した例では、第１の画像１０１に表される被写界の重力方向が、第１の画像１０１の下方向であるとする。なお、その重力方向は、姿勢センサ１６の検出結果に基づいて決定される。また、特定方向を、その重力方向に対して反対の方向、即ち第１の画像１０１の上方向であるとする。この場合の例では、境界演算部１１ｂが、第１の画像１０１において、輝度値の差が閾値以上であって上方向に１つの画素を挟んで隣接する２つの画素（例えば画素１０２と１０３）の中間位置（中間画素位置）を夫々繋ぎ合わせることに依り、その境界を求める。ここで、閾値は、例えば、輝度値が８ｂｉｔで表される場合に５０とされる。また、その２つの画素（例えば画素１０２と１０３）における輝度値の高い方の画素（例えば画素１０２）を含む方が第１の被写界領域であり、図５の例に示した星空に対応する領域１０１ａでもある。また、その２つの画素（例えば画素１０２と１０３）における輝度値の低い方の画素（例えば画素１０３）を含む方が第２の被写界領域であり、図５の例に示した地景に対応する領域１０１ｂでもある。
【００６０】
図４に戻り、Ｓ４０３の後、撮像部１４は、第２の被写界領域に適した第２の撮像条件に従って被写界を撮像して撮像データを出力する（Ｓ４０４）。なお、Ｓ３０２での撮像からＳ４０４での撮像までの時間は極僅かであり、Ｓ４０４で撮像される被写界は、Ｓ３０２で撮像された被写界と同じになる。
Ｓ４０４の後、画像処理部１８は、Ｓ３０２で出力された撮像データに係る第１の画像に対して第１の被写界領域に適した第１の画像処理を行うと共に、Ｓ４０４で出力された撮像データに係る第２の画像に対して第２の被写界領域に適した第２の画像処理を行う（Ｓ４０５）。第１の画像処理は、星空に適したトーンカーブに応じた画像処理及び星空に適したＷＢに応じた画像処理の一方又は両方を含む。第２の画像処理は、地景に適したトーンカーブに応じた画像処理及び地景に適したＷＢに応じた画像処理の一方又は両方を含む。星空に適したＷＢは、例えば３０００Ｋ程度の青みが増すＷＢであり、地景に適したＷＢは、例えばＡＷＢである。また、星空に適したトーンカーブと地景に適したトーンカーブを図７に例示する。
【００６１】
図７は、その２つのトーンカーブを例示する図である。
図７に例示したとおり、星空に適したトーンカーブ１０４と地景に適したトーンカーブ１０５は異なり、星空に適したトーンカーブ１０４は、地景に適したトーンカーブ１０５に比べて、中間域での傾きが急になっている。
【００６２】
図４に戻り、Ｓ４０５の後、画像切出部１９は、第２の画像処理後の第２の画像から、Ｓ４０３で求められた境界に基づいて、第２の被写界領域に対応する部分画像を切り出す（Ｓ４０６）。
【００６３】
Ｓ４０６の後、画像合成部２０は、Ｓ４０６で切り出された部分画像を、第１の画像処理後の第１の画像に合成する（Ｓ４０７）。詳しくは、Ｓ４０６で切り出された部分画像を、第１の画像処理後の第１の画像における第２の被写界領域上に重畳合成する。この処理の一例を、図８を用いて説明する。
【００６４】
図８は、Ｓ４０７の処理の一例を説明する図である。
図８に示した例では、第１の画像処理後の第１の画像１０６における第２の被写界領域上に、Ｓ４０６で切り出された部分画像１０７が重畳合成され、合成画像１０８が生成される。これに依り、合成画像１０８では、星空に対応する領域が、星空に適した撮像条件で撮像され且つ星空に適した画像処理が行われた画像となり、地景に対応する領域が、地景に適した撮像条件で撮像され且つ地景に適した画像処理が行われた画像となる。
【００６５】
図４に戻り、Ｓ４０２又はＳ４０７の後は、処理が図３に例示したフローチャートに戻る。
以上のとおり、本実施形態によれば、星空と地景を有する星景写真の撮影が行われた場合に、星空と地景の何れもが最適な明るさになる星景画像を容易に得ることができる。また。第１の被写界領域と第２の被写界領域の境界が、輝度値の差が閾値以上であって特定方向に隣接する（又は特定方向に１つ以上の画素を挟んで隣接する）２つの画素の中間位置を繋ぎ合わせることに依り求められるので、星空と地景の境界が正確に再現された星景画像を得ることもできる。
【００６６】
なお、本実施形態においては、各種の変形が可能である。
例えば、図３に例示したフローチャートにおいて、Ｓ３０３及びＳ３０４の処理を省き、Ｓ３０２の後は処理がＳ３０５へ進む流れとしてもよい。
【００６７】
また、例えば、画像切出部１９は、第２の画像から、境界演算部１１ｂに依り求められた境界に基づいて、第２の被写界領域に対応する部分画像を切り出してもよい。この場合は、画像処理部１８が、第１の画像に対して第１の被写界領域に適した第１の画像処理を行うと共に、第２の画像から画像切出部１９に依り切り出された部分画像に対して第２の被写界領域に適した第２の画像処理を行う。画像合成部２０は、第１の画像処理後の第１の画像に、第２の画像処理後の部分画像を合成する。これらは、天体撮影モードが設定された場合又はシーン判定部１７に依り天体シーンと判定された場合であって且つ判定部１１ａに依り第１の画像における所定輝度範囲外の領域の割合が閾値以上であると判定された場合に行われてもよいし、単に判定部１１ａに依り第１の画像における所定輝度範囲外の領域の割合が閾値以上であると判定された場合に行われてもよい。
【００６８】
また、例えば、上述のとおり、画像切出部１９が、第２の画像から、境界演算部１１ｂに依り求められた境界に基づいて、第２の被写界領域に対応する部分画像を切り出すとした場合は、上述の画像処理部１８に依る第１の画像処理及び第２の画像処理を行わずに、画像合成部２０が、単に、切り出された部分画像を第１の画像に合成してもよい。これらも、天体撮影モードが設定された場合又はシーン判定部１７に依り天体シーンと判定された場合であって且つ判定部１１ａに依り第１の画像における所定輝度範囲外の領域の割合が閾値以上であると判定された場合に行われてもよいし、単に判定部１１ａに依り第１の画像における所定輝度範囲外の領域の割合が閾値以上であると判定された場合に行われてもよい。
【００６９】
また、例えば、画像入力部１５から、撮影時の露出が異なる複数の画像が入力された場合に、上述の第１の画像と第２の画像の代わりに、その複数の画像の中から第１の画像として選択された画像と、その複数の画像の中から第２の画像として選択された画像とを用いて処理が行われてもよい。この場合は、撮像部１４が撮像を行うことなく第１の画像と第２の画像が取得され、その２つの画像を用いて、図４に例示したＳ４０３及びＳ４０５乃至Ｓ４０７の処理が行われる。
【００７０】
また、例えば、撮像装置１を用いてバルブ撮影が行われる場合に、バルブ撮影の開始時に得られた撮像データに係る画像を第１の画像として選択し、その後、バルブ撮影中に、第２の画像として取り扱い可能な撮像データが得られた時点で、その撮像データに係る画像を第２の画像として選択して、図４に例示したＳ４０３及びＳ４０５乃至Ｓ４０７の処理を行うことで合成画像を生成してもよい。この場合は、Ｓ４０３の処理の完了を待つことなく、第２の画像の取得が可能になる。
【００７１】
また、例えば、撮像装置１を用いてオートブラケット撮影が行われる場合に、オートブラケット撮影の開始時に得られた撮像データに係る画像を第１の画像として選択し、その後、オートブラケット撮影中に、第２の画像として取り扱い可能な撮像データが得られた時点で、その撮像データに係る画像を第２の画像として選択して、図４に例示したＳ４０３及びＳ４０５乃至Ｓ４０７の処理を行うことで合成画像を生成してもよい。この場合も、Ｓ４０３の処理の完了を待つことなく、第２の画像の取得が可能になる。
【００７２】
また、撮像される被写界は、例えば図５の第１の画像１０１に表された被写界の如く、一方側に星空が存在し、他方側に地景が存在するといった被写界に限られない。例えば、撮像される被写界は、中央部分に星空が存在し、その外周部分に地景が存在するといった被写界（被写界Ａとする）でもよい。被写界Ａは、洞窟内部から洞窟開口部を通して星空を撮影する場合等に想定される。或いは、例えば、撮像される被写界は、上部に星空が存在し、中央部に地景が存在し、下部に星空に類似する明るさの海や湖等が存在するといった被写界（被写界Ｂとする）でもよい。被写界Ｂは、湖岸から対岸へ向けて湖、対岸の地景、及び星空を撮影する場合等に想定される。
【００７３】
図９は、被写界Ａを撮像して得られた第１の画像を例示する図である。図１０は、被写界Ｂを撮像して得られた第１の画像を例示する図である。
図９に例示した第１の画像１０９では、中央部分の領域１０９ａが第１の被写界領域となり、その外周部分の領域１０９ｂが第２の被写界領域となる。一方、図１０に例示した第１の画像１１０では、上部の領域１１０ａ及び下部の領域１１０ｂが第１の被写界領域となり、中央部の領域１１０ｃが第２の被写界領域となる。
【００７４】
また、特定方向は、特定方向規定情報に基づいて決定されてもよい。特定方向規定情報は、第１の画像に表される被写界の重力方向に応じた特定方向を規定する情報である。例えば、特定方向規定情報は、３６０°を複数に等分し、第１の画像に表される被写界の重力方向が、その何れに該当するかに応じて、特定方向を規定するものである。
【００７５】
図１１は、特定方向規定情報の一例を模式的に示す図である。
図１１に模式的に示した特定方向規定情報の例では、３６０°を８つに等分し（等分パターン１１１参照）、第１の画像に表される被写界の重力方向が、何れの角度範囲に含まれるかに応じて、特定方向を規定する。
【００７６】
この例では、重力方向が角度範囲Ａに含まれる場合（下方向又は略下方向の場合）は、特定方向が上方向（下から上）とされ、輝度値の差が閾値以上であって上方向に１つの画素を挟んで隣接する２つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる（部分画像ａ参照）。
【００７７】
また、重力方向が角度範囲Ｂに含まれる場合（右下方向又は略右下方向の場合）は、特定方向が左上方向（右下から左上）とされ、輝度値の差が閾値以上であって左上方向に隣接する２つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる（部分画像ｂ参照）。
【００７８】
また、重力方向が角度範囲Ｃに含まれる場合（右方向又は略右方向の場合）は、特定方向が左方向（右から左）とされ、輝度値の差が閾値以上であって左方向に１つの画素を挟んで隣接する２つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる（部分画像ｃ参照）。
【００７９】
また、重力方向が角度範囲Ｄに含まれる場合（右上方向又は略右上方向の場合）は、特定方向が左下方向（右上から左下）とされ、輝度値の差が閾値以上であって左下方向に隣接する２つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる（部分画像ｄ参照）。
【００８０】
また、重力方向が角度範囲Ｅに含まれる場合（上方向又は略上方向の場合）は、特定方向が下方向（上から下）とされ、輝度値の差が閾値以上であって下方向に１つの画素を挟んで隣接する２つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる（部分画像ｅ参照）。
【００８１】
また、重力方向が角度範囲Ｆに含まれる場合（左上方向又は略左上方向の場合）は、特定方向が右下方向（左上から右下）とされ、輝度値の差が閾値以上であって右下方向に隣接する２つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる（部分画像ｆ参照）。
【００８２】
また、重力方向が角度範囲Ｇに含まれる場合（左方向又は略左方向の場合）は、特定方向が右方向（左から右）とされ、輝度値の差が閾値以上であって右方向に１つの画素を挟んで隣接する２つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる（部分画像ｇ参照）。
【００８３】
また、重力方向が角度範囲Ｈに含まれる場合（左下方向又は略左下方向の場合）は、特定方向が右上方向（左下から右上）とされ、輝度値の差が閾値以上であって右上方向に隣接する２つの画素の中央位置を夫々繋ぎ合わせることに依り境界が求められる（部分画像ｈ参照）。
【００８４】
図１１に模式的に示した例では、即ち、特定方向が重力方向に応じて８つの方向の何れかに決定される。
また、特定方向は、第１の画像に表される被写界の重力方向に関わらず、第１の画像の領域毎に規定された方向とされてもよい。
【００８５】
図１２は、第１の画像の領域毎に特定方向が規定された例を説明する図である。
図１２に示した例では、第１の画像１１２を、図１１に示した等分パターン１１１の如くに８つの領域に分けて、領域Ａにおける特定方向は上方向、領域Ｂにおける特定方向は左上方向、領域Ｃにおける特定方向は左方向、領域Ｄにおける特定方向は左下方向、領域Ｅにおける特定方向は下方向、領域Ｆにおける特定方向は右下方向、領域Ｇにおける特定方向は右方向、領域Ｈにおける特定方向は右上方向とされる。この例は、第１の画像１１２が、例えば、図９に例示した第１の画像１０９の如く、上述の被写界Ａ、即ち、中央部分に星空が存在し、その外周部分に地景が存在するといった被写界を撮像して得られた画像である場合に好適である。
【００８６】
以上、実施形態について説明したが、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８７】
１            撮像装置
２            レンズ部
３            表示部
４            十字キー
５            ボタン
５ａ          確定ボタン
５ｂ          電源ボタン
５ｃ          ボタン
６            レリーズボタン
１１          制御部
１１ａ        判定部
１１ｂ        境界演算部
１２          ＲＯＭ
１３          ＳＤＲＡＭ
１４          撮像部
１５          画像入力部
１６          姿勢センサ
１７          シーン判定部
１８          画像処理部
１９          画像切出部
２０          画像合成部
２１          バス
２２          操作部
１０１        第１の画像
１０１ａ、１０１ｂ  領域
１０２、１０３  画素
１０４、１０５  トーンカーブ
１０６        第１の画像処理後の第１の画像
１０７        部分画像
１０８        合成画像
１０９        第１の画像
１０９ａ、１０９ｂ  領域
１１０        第１の画像
１１０ａ、１１０ｂ、１１０ｃ  領域
１１１        等分パターン
１１２        第１の画像
【図１】
2020113219.tif 000003
【図２】
2020113219.tif 000004
【図３】
2020113219.tif 000005
【図４】
2020113219.tif 000006
【図５】
2020113219.tif 000007
【図６】
2020113219.tif 000008
【図７】
2020113219.tif 000009
【図８】
2020113219.tif 000010
【図９】
2020113219.tif 000011
【図１０】
2020113219.tif 000012
【図１１】
2020113219.tif 000013
【図１２】
2020113219.tif 000014
【手続補正書】
【提出日】令和2年3月31日(2020.3.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写界を撮像して撮像データを出力する撮像部と、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、
前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像に対して前記第２の被写界領域に適した第２の画像処理を行う画像処理部と、
前記第２の画像処理後の前記第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、
前記第１の画像処理後の前記第１の画像に前記部分画像を合成する画像合成部と、
を備え、
前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、
前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、
ことを特徴とする撮像装置。
【請求項２】
被写界を撮像して撮像データを出力する撮像部と、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、
前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、
前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記部分画像に対して前記第２の被写界領域に適した第２の画像処理を行う画像処理部と、
前記第１の画像処理後の前記第１の画像に前記第２の画像処理後の前記部分画像を合成する画像合成部と、
を備え、
前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、
前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、
ことを特徴とする撮像装置。
【請求項３】
被写界を撮像して撮像データを出力する撮像部と、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、
前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、
前記第１の画像に前記部分画像を合成する画像合成部と、
を備え、
前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、
前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、
ことを特徴とする撮像装置。
【請求項４】
前記第１の被写界領域は、前記２つの画素における輝度値の高い方の画素を含む領域であり、前記第２の被写界領域は、前記２つの画素における輝度値の低い方の画素を含む領域である、
ことを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
前記特定方向は、前記重力方向に応じた特定方向を規定する特定方向規定情報に基づいて決定される、
ことを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
【請求項６】
前記特定方向は、前記重力方向に対して反対の方向である、
ことを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
【請求項７】
前記撮像装置の姿勢を検出する姿勢検出部、
を更に備え、
前記重力方向は、前記姿勢検出部の検出結果に基づいて決定される、
ことを特徴とする請求項１乃至６の何れか一項に記載の撮像装置。
【請求項８】
前記第１の被写界領域は、星空に対応する領域であり、
前記第２の被写界領域は、地景に対応する領域である、
ことを特徴とする請求項１乃至７の何れか一項に記載の撮像装置。
【請求項９】
前記第１の画像処理は、星空に適したトーンカーブに応じた画像処理及び星空に適したホワイトバランスに応じた画像処理の一方又は両方を含み、
前記第２の画像処理は、地景に適したトーンカーブに応じた画像処理及び地景に適したホワイトバランスに応じた画像処理の一方又は両方を含む、
ことを特徴とする請求項１又は２記載の撮像装置。
【請求項１０】
撮影時の露出が異なる複数の画像を入力する画像入力部、
を更に備え、
前記第１の画像と前記第２の画像の代わりに、前記複数の画像の中から前記第１の画像として選択された画像と前記複数の画像の中から前記第２の画像として選択された画像とを使用して処理が行われる、
ことを特徴とする請求項１乃至９の何れか一項に記載の撮像装置。
【請求項１１】
被写界を撮像して撮像データを出力する撮像部を備えた撮像装置において実行される画像合成方法であって、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記第１の画像における第１の被写界領域と第２の被写界領域の境界を求め、
前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出し、
前記第１の画像に前記部分画像を合成し、
前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、
ことを特徴とする画像合成方法。
【請求項１２】
被写界を撮像して撮像データを出力する撮像部を備えた撮像装置のコンピュータに、
第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記第１の画像における第１の被写界領域と第２の被写界領域の境界を求め、
前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出し、
前記第１の画像に前記部分画像を合成する、
という処理を実行させ、
前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、
ことを特徴とする画像合成プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の第１の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像に対して前記第２の被写界領域に適した第２の画像処理を行う画像処理部と、前記第２の画像処理後の前記第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、前記第１の画像処理後の前記第１の画像に前記部分画像を合成する画像合成部と、を備え、前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の第２の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、前記第１の画像に対して前記第１の被写界領域に適した第１の画像処理を行うと共に、前記部分画像に対して前記第２の被写界領域に適した第２の画像処理を行う画像処理部と、前記第１の画像処理後の前記第１の画像に前記第２の画像処理後の前記部分画像を合成する画像合成部と、を備え、前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明の第３の態様は、撮像装置であって、被写界を撮像して撮像データを出力する撮像部と、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像における第１の被写界領域と第２の被写界領域の境界を求める境界演算部と、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出す画像切出部と、前記第１の画像に前記部分画像を合成する画像合成部と、を備え、前記境界演算部は、前記第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記境界を求め、前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の第４の態様は、第１乃至３の何れか一つの態様において、前記第１の被写界領域は、前記２つの画素における輝度値の高い方の画素を含む領域であり、前記第２の被写界領域は、前記２つの画素における輝度値の低い方の画素を含む領域である、ことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の第５の態様は、第１乃至４の何れか一つの態様において、前記特定方向は、前記重力方向に応じた特定方向を規定する特定方向規定情報に基づいて決定される、ことを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明の第６の態様は、第１乃至４の何れか一つの態様において、前記特定方向は、前記重力方向に対して反対の方向である、ことを特徴とする。
本発明の第７の態様は、第１乃至６の何れか一つの態様において、前記撮像装置の姿勢を検出する姿勢検出部、を更に備え、前記重力方向は、前記姿勢検出部の検出結果に基づいて決定される、ことを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
本発明の第８の態様は、第１乃至７の何れか一つの態様において、前記第１の被写界領域は、星空に対応する領域であり、前記第２の被写界領域は、地景に対応する領域である、ことを特徴とする。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明の第９の態様は、第１又は２の態様において、前記第１の画像処理は、星空に適したトーンカーブに応じた画像処理及び星空に適したホワイトバランスに応じた画像処理の一方又は両方を含み、前記第２の画像処理は、地景に適したトーンカーブに応じた画像処理及び地景に適したホワイトバランスに応じた画像処理の一方又は両方を含む、ことを特徴とする。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本発明の第１０の態様は、第１乃至９の何れか一つの態様において、撮影時の露出が異なる複数の画像を入力する画像入力部、を更に備え、前記第１の画像と前記第２の画像の代わりに、前記複数の画像の中から前記第１の画像として選択された画像と前記複数の画像の中から前記第２の画像として選択された画像とを使用して処理が行われる、ことを特徴とする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
本発明の第１１の態様は、被写界を撮像して撮像データを出力する撮像部を備えた撮像装置において実行される画像合成方法であって、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記第１の画像における第１の被写界領域と第２の被写界領域の境界を求め、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出し、前記第１の画像に前記部分画像を合成し、前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
本発明の第１２の態様は、被写界を撮像して撮像データを出力する撮像部を備えた撮像装置のコンピュータに、第１の撮像条件に従って前記撮像部が被写界を撮像して出力した撮像データに係る第１の画像において、輝度値の差が閾値以上であって特定方向に隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、又は、輝度値の差が閾値以上であって特定方向に１つ以上の画素を挟んで隣接する２つの画素の中間位置を夫々繋ぎ合わせることに依り、前記第１の画像における第１の被写界領域と第２の被写界領域の境界を求め、前記第２の被写界領域に適した第２の撮像条件に従って前記撮像部が前記被写界を撮像して出力した撮像データに係る第２の画像から、前記境界に基づいて、前記第２の被写界領域に対応する部分画像を切り出し、前記第１の画像に前記部分画像を合成する、という処理を実行させ、前記特定方向は、前記第１の画像に表された被写界の重力方向に基づいて決定される、ことを特徴とする画像合成プログラムである。