(57)【要約】【課題】距離情報を生成する際の生成パラメータを適応的に切り替えることで回路規模を増やさずにユーザビリティを向上させることができる撮像装置を提供する。【解決手段】この撮像装置は、視点の異なる複数の画素信号に基づいて、該複数の画素信号に対応する被写体の距離情報を算出する算出回路１０４と、算出回路１０４を制御する制御手段１１３と、距離情報に基づいて該複数の画素信号に基づく画像信号の焦点検出を行う焦点検出回路１０７と、距離情報に基づいて該複数の画素信号に基づく画像信号に画像処理を施す画像処理回路１０５と、を有する。制御手段１１３は、算出回路１０４が用いる画素信号の画素数と生成される距離情報の分解能とを制御し、算出回路１０４は、制御手段１１３による画素数および分解能の設定に基づいて焦点検出回路１０７および画像処理回路１０５のいずれか１つに算出された距離情報を出力する。【選択図】図１
2019071557.tif 000002
【特許請求の範囲】
【請求項１】
視点の異なる複数の画素信号に基づいて、該複数の画素信号に対応する被写体の距離情報を算出する算出回路と、
前記算出回路を制御する制御手段と、
前記距離情報に基づいて該複数の画素信号に基づく画像信号の焦点検出を行う焦点検出回路と、
前記距離情報に基づいて該複数の画素信号に基づく画像信号に画像処理を施す画像処理回路と、
を有し、
前記制御手段は、前記算出回路が用いる画素信号の画素数と生成される距離情報の分解能とを制御し、
前記算出回路は、前記制御手段による前記画素数および前記分解能の設定に基づいて前記焦点検出回路および前記画像処理回路のいずれか１つに算出された距離情報を出力する
ことを特徴とする画像処理装置。
【請求項２】
撮影の開始から次の撮影までの期間のうち第１の期間においては、前記焦点検出回路にて焦点検出を行い、第２の期間においては前記画像処理回路にて画像処理を施す
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の期間は、前記撮影の開始から完了までの期間であり、前記第２の期間は、前記第１の期間の後、次の撮影までの期間である
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記視点の異なる複数の画素信号は、１つのマイクロレンズ内に複数の光電変換手段を備える撮像素子から出力される
ことを特徴とする請求項１〜のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２の期間において、補助光発光部が有効である場合、及び前記被写体を検出している場合、前記焦点検出回路により前記焦点検出が行われる
ことを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記補助光発光部が有効である場合であっても、前記補助光発光部により次発光ができない場合は、前記画像処理回路により前記画像処理が施される
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記第２の期間において、前記被写体を検出をしている場合であっても、前記撮像装置の撮影方向が地面を向くように姿勢変化した場合は、前記画像処理回路により前記画像処理が施される
ことを特徴とする請求項５に記載の撮像装置。
【請求項８】
前記撮像装置が固定された状態である場合、前記第２の期間において、前記被写体を検出していない場合であっても、前記焦点検出回路による前記焦点検出を行われる
ことを特徴とする請求項５に記載の撮像装置。
【請求項９】
前記第２の期間において、前記被写体を検出をしている場合であっても、前記被写体が人物であって、該人物の顔が検出されていない場合は、前記画像処理回路による前記画像処理が施される
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
視点の異なる複数の画素信号に基づいて、該複数の画素信号に対応する被写体の距離情報を算出する算出工程と、
前記距離情報に基づいて該複数の画素信号に基づく画像信号の焦点検出を行う焦点検出工程と、
前記距離情報に基づいて該複数の画素信号に基づく画像信号に画像処理を施す画像処理工程と、
前記算出工程で用いられる画素信号の画素数と生成される距離情報の分解能とを制御する制御工程と、
前記制御工程にて前記画素数および前記分解能の設定に基づいて前記焦点検出工程および前記画像処理工程のいずれか１つの工程で算出された距離情報を出力する
ことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関する。特に、１つのマイクロレンズに対して複数の光電変換部を持った撮像素子を利用して瞳分割像を取得し、得られた瞳分割像の位相差から距離情報を生成し、得られた距離情報から焦点検出及び、画像処理を行う撮像装置に関する。
【背景技術】
【０００２】
従来より、撮像装置のＡＦ（オートフォーカス）方式として１つのマイクロレンズに対して複数の光電変換部を持った撮像素子により、瞳分割像を取得し、得られた瞳分割像の位相差を求めて焦点検出を行う技術が知られている。例えば、特許文献１では、瞳分割した像により位相差を求めて焦点検出を行うと同時に同一マイクロレンズに対応した画素を全て加算して１つの画素として取り扱う事で従来の撮像素子配列と同じになるようにする。そして、従来の信号処理技術により観賞用の画像を作成する技術が開示されている。また、特許文献２には、閃光手段である、いわゆるストロボを用いて、ストロボ撮影において撮影された撮影画像において、当該ストロボ（閃光手段）による局所的な配光ムラを取り除く技術が開示されている。さらに、特許文献２では、ストロボによる局所的な配光ムラを取り除く為に、瞳分割した像により位相差を求めて被写体までの距離情報を算出し、該距離情報とストロボ手段の配光特性に係る配光特性データとに基づいて配光ムラを補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１３４３８９号公報
【特許文献２】特開２０１３−５９０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１及び２に開示された技術では、焦点検出とストロボによる配光ムラ補正とでは瞳分割した像から位相差検出を行うまでは共通であるが、求められる処理時間と画像内の分解能（分割数）とが異なる為、別々の処理回路を要してしまう。つまり、例えば、焦点検出は短い時間（数ｍｓｅｃ）で数百枠の処理に対して、ストロボによる配光ムラ補正は長い時間（数百ｍｓｅｃ）で数万枠の処理を行う。したがって、別々の処理回路が必要となる。
【０００５】
本発明は、上記課題を鑑みて、距離情報を生成する際の生成パラメータを適応的に切り替えることで回路規模を増やさずにユーザビリティを向上させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の撮像装置は、視点の異なる複数の画素信号に基づいて、該複数の画素信号に対応する被写体の距離情報を算出する算出回路と、前記算出回路を制御する制御手段と、前記距離情報に基づいて該複数の画素信号に基づく画像信号の焦点検出を行う焦点検出回路と、前記距離情報に基づいて該複数の画素信号に基づく画像信号に画像処理を施す画像処理回路と、を有し、前記制御手段は、前記算出回路が用いる画素信号の画素数と生成される距離情報の分解能とを制御し、前記算出回路は、前記制御手段による前記画素数および前記分解能の設定に基づいて前記焦点検出回路および前記画像処理回路のいずれか１つに算出された距離情報を出力することを特徴とする。。
【発明の効果】
【０００７】
本発明によれば、距離情報を生成する際の生成パラメータを適応的に切り替えることで回路規模を増やさずにユーザビリティを向上させることができる撮像装置を提供することができる。従って、共通の処理回路に対して与えるパラメータを適応的に切り替えることで回路規模を増やさず、ＡＦと画像処理を排他的に実現することができ、かつユーザビリティをより向上させることも可能する。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を示すブロック図である。
【図２】距離マップ生成回路が生成する距離マップ情報の詳細図である。
【図３】静止画単写撮影シーケンスである。
【図４】動作分岐判定のフローチャートである。
【図５】第２の実施例の静止画連写撮影シーケンスである。
【図６】第２の実施例の動作分岐判定のフローチャートである。
【図７】第３の実施例の動作分岐判定のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための最良の形態について図面などを参照して説明する。
【００１０】
（第１実施形態）
以下、本実施形態における撮像装置について説明する。
【００１１】
イメージセンサ（撮像素子）１０１は、撮像光学系からの光束を複数のマイクロレンズを介して受光し、少なくとも一部のマイクロレンズ下において画素部を水平方向に二つに分割する光電変換部となっているイメージセンサである。このとき、同一マイクロレンズ内の光電変換部から得られる画素信号は視点が異なり、位相差（視差）を有する。本実施形態では、後述するようにイメージセンサ１０１からの出力の位相差（視差、像ずれ量）に基づいて距離情報を算出するために最低限必要な２分割であるが、分割方法としてはこれに限らない。マイクロレンズ下を水平方向に３以上の分割であっても良いし、垂直等他の方向への複数の分割がなされていてもよい。ユーザー指示部１０９は、撮影モードなどを指示するための指示部である。シャッターボタン１１０は、ユーザーが撮影時に操作するシャッターボタンである。補助光発光部１１１は、ストロボなどの補助光を発光する発光部である。姿勢検出部１１２は、ジャイロセンサなどの姿勢を検出する検出部である。システム制御部１１３は、マイクロコンピュータなどのシステムを制御するための制御部である。
【００１２】
また、各構成部品へ入出するデータについて説明する。データは、現像用ＲＡＷ画像データＳ１０１、測距用ＲＡＷ画像データＳ１０２、現像済画像データＳ１０３、顔検出データＳ１０４、補正済画像データＳ１０５、距離マップ情報Ｓ１０６、レンズ制御信号Ｓ１０７である。また、撮影モードフラグＳ１０８、シャッター状態フラグＳ１０９、補助光発光指示信号Ｓ１１０、発光用電荷残量信号Ｓ１１１、カメラ姿勢情報Ｓ１１２、距離マップ生成パラメータＳ１１３である。また、ＡＦ制御信号Ｓ１１４、距離マップ応用画像処理制御信号Ｓ１１５、バッファリングされた現像用および測距用ＲＡＷ画像データＳ１１６である。
【００１３】
まず、図１を参照して、本実施形態に係る撮像装置の動作概略を説明し、次に主要な構成要素及びその動作について説明する。イメージセンサ１０１は、同一マイクロレンズ下において画素部を水平方向に二つに分割しているため、該二つの画素出力（画素信号）を加算することにより、通常の現像処理に用いられる現像用ＲＡＷ画像データＳ１０１を生成することができる。また、二つの画素出力を各々読み出す、あるいは画素出力の演算結果により、視差情報を含んだ測距用ＲＡＷ画像データＳ１０２を生成することができる。なお、このようなイメージセンサーについては、既に公知であり、また、イメージセンサーそのものは本発明が求める本質ではないため詳細な説明は省略する。
【００１４】
現像用ＲＡＷ画像データＳ１０１は、現像処理回路１０２および顔検出回路１０３に送られ、現像済画像データＳ１０３および顔検出データＳ１０４が生成される。現像済画像データＳ１０３は、例えば、欠陥画素補正やホワイトバランス調整、デモザイク処理に代表される各種の画像処理が施された、Ｙ／Ｃｒ／Ｃｂデータなどであってよい。顔検出データＳ１０４は、例えば、現像済画像データＳ１０３に含まれる人の顔の位置、大きさ、検出の信頼度を表す情報から成る。顔検出データＳ１０４は、システム制御部１１３に送られ、後述する、本実施形態に係る撮像装置の制御に用いられる。
【００１５】
測距用ＲＡＷ画像データＳ１０２は、距離マップ生成回路（算出回路）１０４に送られ、ＳＡＤ（Ｓｕｍ  Ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等の公知技術を用いた相関演算により像ずれ量を算出する。そして、算出した像ずれ量から距離情報（距離マップ情報Ｓ１０６）を生成する。像ずれ量から求まる距離情報の形態としては、デフォーカス量や被写体までの距離情報があり、相関演算によるこれらの距離情報の生成は公知であり、また本発明が求める本質ではないので詳細説明は省略する。ここで、距離マップ情報Ｓ１０６は、撮像画面を水平、垂直に所定の間隔で設定された小ブロック単位の情報として生成され、その配置密度（以後、距離マップの空間分解能と呼ぶ）は任意に設定可能である。
【００１６】
また、測距用ＲＡＷ画像データＳ１０２は、画像メモリ１１４に一旦保持することができる。そして、バッファリングされた現像用および測距用ＲＡＷ画像データＳ１１６として、現像処理回路１０２と距離マップ生成回路１０４に各々送出が可能で、過去のＲＡＷ画像データに対して、現像処理および距離マップ生成ができる。距離マップ情報Ｓ１０６は、距離マップ応用画像処理回路（画像処理回路）１０５およびＡＦ制御回路（焦点検出回路）１０７に送出され、各々の処理において使用される。距離マップ応用画像処理回路１０５およびＡＦ制御回路１０７では、距離マップ情報Ｓ１０６に基づいて画素信号に基づく画像信号に対して処理が行われる。
【００１７】
距離マップ応用画像処理回路１０５は、特許文献２にて公開されているように、距離情報に基づいて被写体の形状情報を求める。そして、求めた被写体の形状情報と距離情報と仮想光源の位置に基づいて撮影した画像を処理し、仮想光源により被写体に光を照射した補正画像を生成する。補正済画像データＳ１０５は、この処理の結果得られたデータであり、特に、ストロボなどの補助光付きで撮影された、人物顔の部分的なテカリが緩和された画像に出来ることが知られている。補正済画像データＳ１０５は、背面液晶パネル１０６に出力されて表示されることにより、撮影者が確認できる。なお、補正済画像データＳ１０５は、図示しない記録系において記録画像としてＳＤカードなどの記録メディアに記録される。
【００１８】
一方、ＡＦ制御回路１０７では、距離マップ情報Ｓ１０６からレンズのフォーカスを合わせるべき被写体位置までの距離を選定し、フォーカス自動調整（以後ＡＦと記す）を行う。ＡＦ制御回路１０７は、レンズ制御信号Ｓ１０７をフォーカスレンズ部１０８に出力することにより、ＡＦ制御（焦点検出）を実現する。
【００１９】
次に、本実施形態に係る構成要素及びその動作について詳細に説明する。図３は、本実施形態に係る撮像装置の撮影シーケンスを示す図である。図３に示すタイミングは、撮影シーケンススタートｔ０、シャッター半押しｔ１、シャッター全押しｔ２、背面パネルへのプレビュー出画ｔ３、次撮影シーケンススタートｔ４を示す。また、撮影者がカメラを被写体に対して構えるなどの動作を表す第１の撮影フレーミング期間Ｔ０、撮影者が撮影意図をもってＡＦ動作に入っている状態を表す第２の撮影フレーミング期間Ｔ１を示す。さらに、撮影者が撮影意図をもってシャッターを押した後、そのまま次の撮影に備えるのか、あるいは、撮影した結果を確認する意図を持っているのかを判定する距離マップ生成モード切り替え判定期間Ｔ２を示す。そして、撮影者が直前に撮影した結果の確認画像に対して、補正処理を行う、距離マップ応用画像処理期間Ｔ３、次撮影モードへの遷移期間Ｔ４を示す。
【００２０】
ここで、距離マップ生成モード切り替え判定期間Ｔ２に切り替える、距離マップ生成モードとは、距離マップ応用画像処理モードとＡＦモードを含む。距離マップ応用画像処理モードは、距離マップ応用画像処理回路１０５を動作させて撮影者が撮影結果を確認するモードである。ＡＦモードは、ＡＦ制御回路１０７を動作させて撮影者が撮影中にＡＦ動作をさせるモードである。
【００２１】
例えば、撮影者がストロボなどの補助光付きで人物を撮影する際の典型的な撮影動作を説明する。この撮影動作は、撮影シーケンススタートｔ０において撮影動作を開始し、第１の撮影フレーミング期間Ｔ０に被写体となる人物をフレーミングし、シャッター半押しｔ１によりＡＦ動作を開始する。そして、第２の撮影フレーミング期間Ｔ１の後にシャッター全押しｔ２により、システム制御部１１３は、補助光発光部１１１に対して補助光発光指示信号Ｓ１１０を送信することにより補助光が発光し、ワンショットの静止画撮影が完了する。
【００２２】
ここで、上記撮影の開始から完了までの期間を第１の期間とする。第１の期間では、図１の撮影モードの切り替えなどのユーザー指示部１０９は、撮影シーケンススタートｔ０において、補助光付きの単写静止画撮影モードとして撮影モードフラグＳ１０８を発行する。そして、シャッター半押しｔ１において、シャッターボタン１１０が撮影者によって半押しされるので、シャッター状態フラグＳ１０９は半押し状態として発行される。さらに、シャッター全押しｔ２において、シャッター状態フラグＳ１０９は全押し状態として発行される。第１の期間は明らかに被写体の撮影中であるので、距離マップ生成モードは、ＡＦモードに設定される。
【００２３】
次に、第１の期間の後、次の撮影までの期間を第２の期間とする。第２の期間において、撮影者が撮影完了後にとりうる動作としては、以下の２つに分岐する。１つは、撮像装置を被写体に対してフレーミングしたまま次の撮影に備える。もう１つは、一旦被写体へのフレーミングをやめて、背面パネルを見て撮影結果を確認する。距離マップ生成モード切り替え判定期間Ｔ２は、上記２つの動作分岐を判定する期間でもある。本実施形態では、顔検出回路１０３からの顔検出データＳ１０４と、補助光発光部１１１からの発光用電荷残量信号Ｓ１１１と、ジャイロセンサなどの姿勢検出部１１２からのカメラ姿勢情報の少なくともいずれかを用いて動作分岐を判定する。
【００２４】
図４は、補助光付きの単写静止画撮影モードにおける動作分岐判定のフローチャートである。ま、ステップＳ４１０において、動作分岐判定処理が開始されると、ステップＳ４０２に進む。そして、ステップＳ４０２において、ストロボ等の補助光機能がユーザーにより有効化されているか否かを判定する。本実施形態では、補助光発光部１１１を構成要素としているが、その機能を有効にする、しないは、ユーザーの設定にて切替可能とする。ストロボ等の補助光機能がユーザーにより有効化されている場合（Ｙｅｓ）、ステップＳ４０３へ進み、動作分岐判定の第１の判定として、ストロボ等の補助光が次発光できるか否かの判定に進む。一方、ストロボ等の補助光機能がユーザーにより有効化されていない場合（Ｎｏ）、動作分岐判定の第１の判定である次発光の可能、不可能の判定はできないので、次の段階としてステップＳ４０４の顔検出機能が有効化されているか否かの判定に進む。
【００２５】
次に、ステップＳ４０３において、発光用電荷残量信号Ｓ１１１に基づき次発光が可能か否かを判定する。そして、判定した結果、次発光が不可能であると判定された場合（Ｎｏ）、次の撮影に備えることができないので、距離マップ生成モードとしては、ステップＳ４０８に進み、距離マップ応用画像処理モードに設定する。一方、ステップＳ４０３にて、次発光が可能であると判定された場合（Ｙｅｓ）、次の撮影に備えることが可能だが、動作分岐判定をより確かなものにするため、次の段階としてステップＳ４０４の顔検出機能が有効化されているか否かの判定に進む。
【００２６】
そして、前記顔検出機能がユーザーにより有効化されている場合（Ｙｅｓ）、ステップＳ４０５へ進み、動作分岐判定の第２の判定として、被写体の顔が検出されているか否かの判定に進む。一方、顔検出機能がユーザーにより有効化されていない場合（Ｎｏ）、動作分岐判定の第２の判定である、被写体の顔が検出されているか否かの判定はないので、動作分岐判定の第３の判定として、ステップＳ４０６に進む。そして、ステップＳ４０６において、カメラ姿勢情報Ｓ１１２に基づき、撮像装置全体が下向きに遷移していないか否かの判定を行う。
【００２７】
次に、ステップＳ４０５において、顔検出データＳ１０４に基づき、顔が検出され続けているか否かを判定する。顔が検出され続けている場合（Ｙｅｓ）、撮影者は被写体人物へのフレーミングを継続しており、次の撮影に備える意図があるものと判定し、距離マップ生成モードとしては、ステップＳ４０７に進み、ＡＦモードに設定する。一方、ステップＳ４０５にて顔が検出されていない場合（Ｎｏ）、撮影者が被写体人物へのフレーミングをやめて撮影結果を確認する意図と判定できるが、動作分岐判定をさらにより確かなものにするため、ステップＳ４０６に進む。そして、動作分岐判定の第３の判定として、ステップＳ４０６にてカメラ姿勢情報Ｓ１１２に基づき、撮像装置全体が下向き（撮像装置の撮影方向が地面を向く方向）に遷移していないか否かを判定する。なお、撮影者が撮像装置に取り付けられた背面パネルを見て撮影結果を確認する動作では、撮像装置のレンズ面が斜め下を向き、すなわち背面パネルが撮影者の顔を向いた状態になることが多い。
【００２８】
次に、ステップＳ４０６において、撮像装置が下向きに姿勢変化したと判定された場合（Ｙｅｓ）、撮影者は確かに撮影結果の確認する意図をもつとして、ステップＳ４０８に進み、距離マップ生成モードとしては、距離マップ応用画像処理モードに設定する。一方、ステップＳ４０６にて撮像装置が下向きに姿勢変化していない場合（Ｎｏ）、ステップＳ４０７に進む。つまり、撮影者が別の意図で被写体人物へのフレーミングを中止したが、撮影結果の確認意図はなく、引き続き撮影を継続する意図があるものとしてステップＳ４０７に進み、ＡＦモードに設定する。
【００２９】
以上説明したように、第２の期間において、動作分岐判定として第１、第２、第３の判定を行うことにより、距離マップ生成モードとしては、ＡＦモードか、距離マップ応用画像処理モードかのいずれかに設定される。そして、上記動作が完了したら、ステップＳ４０９において、動作分岐判定処理を終了する。
【００３０】
なお、図４に示す処理のフローチャートはあくまで一例であり、撮影者の意図をどのように判断するかにより、フローの組み合わせを変えても、本発明が求める本質としては同様である。また、図４のフローチャートで説明した動作分岐判定は、撮影者の意図をよりくみ取った判定をするものであって、第２の期間においては距離マップ応用画像処理モードに設定するようにしてもよい。さらに、距離マップ生成モードを、ＡＦモードか距離マップ応用画像処理モードのいずれかに選択する上では、その判定方法については本実施形態で開示した方法に限定されない。つまり、顔検出回路１０３からの顔検出データＳ１０４と、補助光発光部１１１からの発光用電荷残量信号Ｓ１１１と、ジャイロセンサなどの姿勢検出部１１２からのカメラ姿勢情報Ｓ１１２の少なくともいずれかを用いる判定方法であれば限定されない。
【００３１】
図２は、距離マップ生成回路１０４が生成する距離マップ情報Ｓ１０６の詳細である。図２示すマップ情報は、水平７点、垂直７点の空間分解能の距離マップ情報を示し、撮像画像全体２０１と、１点の距離情報を生成する範囲をブロック分割２０２を示す。距離マップの空間分解能は、相関演算に使用できる画素数により上限はあるが、その限度内であれば任意に設定することができる。ただし、距離マップ生成回路１０４は、距離マップ情報１点分の演算をするために所定の時間を要する。従って、距離マップの空間分解能を上げれば、距離マップ生成に時間がかかり、空間分解能を下げれば距離マップ生成時間が短縮される。
【００３２】
図４に示す処理において、距離マップ生成モードが距離マップ応用画像処理モードに選択された場合、距離マップ生成パラメータＳ１１３として、空間分解能は、距離マップ応用画像処理に必要な分解能（例えば、１００ｘ１００）に設定される。その結果、距離マップ情報Ｓ１０６は、距離マップ応用画像処理に必要な分解能となり、距離マップ応用画像処理回路１０５において所定の画像処理が実行される。
【００３３】
一方、図４に示すフローチャートにおいて、距離マップ生成モードがＡＦモードに選択された場合、距離マップ生成パラメータＳ１１３として、空間分解能は、ＡＦ制御に必要な分解能（例えば、１０ｘ１０）に設定される。その結果、距離マップ情報Ｓ１０６は、ＡＦ制御に必要な分解能となり、ＡＦ制御回路１０７によって所定のＡＦ制御が実行される。
【００３４】
また、距離マップ生成モードが距離マップ応用画像処理モードに選択された場合、図３の距離マップ応用画像処理期間Ｔ３において、画像メモリ１１４からバッファリングされた現像用および測距用ＲＡＷ画像データＳ１１６が読み出される。そして、距離マップ生成回路１０４で、１００ｘ１００の空間分解能の距離マップ生成が実行され、現像処理回路１０２および距離マップ応用画像処理回路１０５で、現像および距離マップ応用画像処理が行われ、背面液晶パネル１０６に表示される。
【００３５】
以上説明したように、第１の期間は前記距離マップ生成モードをＡＦモードに設定する。そして、続く第２の期間は、顔検出データ、発光用電荷残量信号、カメラ姿勢情報の少なくともいずれかを用いて距離マップ生成モードをＡＦモードか、距離マップ応用画像処理モードのいずれかに設定する。これにより、共通の距離マップ生成回路を排他的に使用し、かつ、撮影者に違和感を与えないように、撮像装置を制御することができる。
【００３６】
（第２実施形態）
図５は、本実施形態に係る撮像装置における、撮影シーケンスを示す。図５において、第１実施形態の図３に示す撮影シーケンスと同一の時間、期間については、図３と同一の符号を付し、その説明は省略する。また、撮像装置の構成要素としても第１実施形態と同様であるので、その説明は省略する。
【００３７】
図５において、図３と異なるのは、シャッターＯＦＦｔ５と、シャッター全押し継続期間Ｔ５、撮像プレビューモードＯＦＦ期間Ｔ６、および撮像プレビューモードＯＮ期間Ｔ７である。第１実施形態でストロボなどの補助光つきのワンショットの静止画撮影の例を示したのに対し、本実施形態では、撮影者が連写による静止画撮影において人物を撮影する場合における例を示す。
【００３８】
連写時の典型的な撮影動作としては、図５に示す撮影シーケンススタートｔ０で撮影動作を開始し、第１の撮影フレーミング期間Ｔ０に被写体となる人物をフレーミングし、シャッター半押しｔ１によりＡＦ動作を開始する。そして、第２の撮影フレーミング期間Ｔ１１の後にシャッター全押しｔ２を開始し、シャッター全押し継続期間Ｔ５中、連写による静止画撮影が継続する。シャッターＯＦＦｔ５により連写による静止画撮影が停止し、連写の最終コマとして撮影された画像が、背面液晶パネル１０６上に表示される。
【００３９】
システム制御部１１３では、撮影シーケンススタートｔ０からシャッターＯＦＦｔ５となるまでを、撮像プレビューモードＯＦＦ期間Ｔ６とし、シャッターＯＦＦｔ５から次撮影シーケンススタートｔ４までを、撮像プレビューモードＯＮ期間Ｔ７とする。撮像プレビューモードＯＦＦ期間Ｔ６は、連写撮影中であるので、距離マップ生成モードは、ＡＦモードに設定される。また、撮像プレビューモードＯＦＦ期間Ｔ６は、第１実施形態の第１の期間、撮像プレビューモードＯＮ期間Ｔ７は、第１実施形態の第２の期間に相当する。撮像プレビューモードＯＮ期間Ｔ７においては、第１実施形態と同様、撮影者が撮像装置を被写体に対してフレーミングしたまま次の撮影に備えるか、一旦被写体へのフレーミングをやめて、背面パネルを見て撮影結果を確認するいずれかの動作に分岐する。距離マップ生成モード切り替え判定期間Ｔ２は、上記２つの動作分岐を判定する期間である点も、第１実施形態と同様である。
【００４０】
第２実施形態では、連写撮影の適用例とするので、ストロボ等の補助光発光を前提としない。なお、距離情報に基づいて求めた被写体の形状情報と距離情報と仮想光源の位置に基づいて、撮影した画像を処理する。そして、前記仮想光源により被写体に光を照射した補正画像を生成する処理については、補助光発光を必ずしも前提としておらず、距離マップ応用画像処理として成立するものである。
【００４１】
図６は、本実施形態における動作分岐判定のフローチャートである。図４との違いは、フローチャート内より、ストロボ等の補助光発光の機能が有効化されたか否かの判定（図４のステップＳ４０２）と、次発光可能か否かの判定（図４のステップＳ４０３）が無いだけである。なお、フローチャートの他の処理は、図４で示す第１実施形態の説明と同様であるので、詳細な説明は省略する。
【００４２】
第２の期間において、動作分岐判定として、第２、第３の判定を行うことにより、距離マップ生成モードとしては、ＡＦモードか、距離マップ応用画像処理モードのいずれかに設定される。上記動作完了したら、ステップＳ４０９において、動作分岐判定処理を終了する。動作分岐判定の結果、距離マップ生成モードとして、ＡＦモードまたは距離マップ応用画像処理モードのいずれかが設定された後の動作については、本発明の本質ではなく、第１実施形態と同様とし、詳細な説明は省略する。
【００４３】
以上説明したように、ストロボ等の補助光なしで連写による静止画撮影を行う場合であっても、第１の期間を距離マップ生成モードをＡＦモードに設定する。そして、続く第２の期間は、顔検出データ、発光用電荷残量信号、カメラ姿勢情報の少なくともいずれかを用いて距離マップ生成モードをＡＦモードか、距離マップ応用画像処理モードのいずれかに設定する。これにより、共通の距離マップ生成回路を排他的に使用し、かつ、撮影者に違和感を与えないように、撮像装置を制御することができる。
【００４４】
（第３実施形態）
本実施形態においては、第１実施形態と同様、ストロボなどの補助光付きのワンショットの静止画撮影を行う場合について説明する。第１実施形態と異なる条件としては、撮影モードなどのユーザー指示部１０９から、三脚等により撮像装置が固定化された場合の撮影モード設定を想定したものである。本実施形態の撮影シーケンスとしては、図３に示す第１実施形態の撮影シーケンスと同じであり、また撮像装置の構成要素としても第１実施形態と同様である。
【００４５】
図７は、本実施形態に係る撮像装置における、動作分岐判定を示すフローチャートである。図４に示す第１実施形態における動作分岐判定のフローチャートとの差異は、３点ある。１点目は、フローチャート内より、ステップＳ４０６のカメラ姿勢情報Ｓ１１２に基づき、撮像装置全体が下向きに遷移していないか否かの判定（動作分岐判定の第３の判定）が無くなっている点である。２点目は、ステップＳ４０４の顔検出機能が有効化されているかの判定において、有効化されていない場合にステップＳ４０７に進み、距離マップ生成モードとしては、ＡＦモードに設定する点である。３点目は、ステップＳ４０５にて、顔検出データＳ１０４に基づき、顔が検出されているか否かの判定において、顔が検出されていない場合、距離マップ生成モードとして、距離マップ応用画像処理モードを設定する点である。他については、第１実施形態と同様であるので、説明は省略する。
【００４６】
本実施形態では、撮像装置は三脚等で固定化されているので、第１実施形態のように、撮影者が背面パネルを見て撮影結果を確認する動作において、撮像装置のレンズ面が斜め下を向く、すなわち背面パネルが撮影者の顔を向いた状態になることがない。そのため、動作分岐判定の第３の判定を行わず、動作分岐判定の第１の判定および、動作分岐判定の第２の判定迄を行い、動作分岐判定の第２の判定において、顔検出がされていない状態を、次の撮影準備が行われていないと想定している。また、顔検出機能が有効化されていない状況では、次の撮影準備の可能性を重視したフローチャートとしている。
【００４７】
以上説明したように、三脚等により撮像装置が固定化された場合であっても、第１の期間を距離マップ生成モードをＡＦモードに設定する。そして、続く第２の期間は、顔検出データ、発光用電荷残量信号、カメラ姿勢情報の少なくともいずれかを用いて距離マップ生成モードをＡＦモードか、距離マップ応用画像処理モードのいずれかに設定する。これにより、共通の距離マップ生成回路を排他的に使用し、かつ撮影者に違和感を与えないように、撮像装置を制御することができる。
【００４８】
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００４９】
１０４  距離マップ生成回路（算出回路）
１０５  距離マップ応用画像処理回路（画像処理回路）
１０７  ＡＦ制御回路（焦点検出回路）
１１３  システム制御部（制御手段）
【図１】
2019071557.tif 000003
【図２】
2019071557.tif 000004
【図３】
2019071557.tif 000005
【図４】
2019071557.tif 000006
【図５】
2019071557.tif 000007
【図６】
2019071557.tif 000008
【図７】
2019071557.tif 000009