(57)【要約】【課題】仕上がりのよい撮影画像を得ること。【解決手段】撮像装置は、第１モードで複数の第１の撮像画像を撮像する撮像部と、前記複数の第１の撮像画像の評価値を算出する評価部と、前記複数の第１の撮像画像の評価値または連続する前記複数の第１の撮像画像の評価値の変化量に基づいて、前記撮像部に前記第２モードでの第２の撮像画像を撮像させる制御部と、を備える。【選択図】図２
2019212938.tif 000002
【特許請求の範囲】
【請求項１】
第１モードで複数の第１の撮像画像を撮像する撮像部と、
前記複数の第１の撮像画像の評価値を算出する評価部と、
前記複数の第１の撮像画像の評価値または連続する前記複数の第１の撮像画像の評価値の変化量に基づいて、前記撮像部に第２モードでの第２の撮像画像を撮像させる制御部と、
を備える撮像装置。
【請求項２】
前記評価部は、前記第２の撮像画像の評価値を算出し、
前記制御部は、前記複数の第２の撮像画像の評価値または連続する前記複数の第２の撮像画像の評価値の変化量に基づいて、前記撮像部に前記第１モードでの第１の撮像画像を撮像させる、
請求項１に記載の撮像装置。
【請求項３】
前記第１モードおよび前記第２モードは、フレームレートが異なる撮影モードであり、
前記第１モードは、前記第２モードよりも低いフレームレートでの撮影モードである、
請求項１または請求項２に記載の撮像装置。
【請求項４】
前記第１モードおよび前記第２モードは、解像度が異なる撮影モードであり、
前記第１モードは、前記第２モードよりも低い解像度での撮影モードである、
請求項１から請求項３のいずれか一項に記載の撮像装置。
【請求項５】
第１モードで複数の第１の撮像画像を撮像する撮像部を備える撮像装置のコンピュータが、
前記複数の第１の撮像画像の評価値を算出する評価過程と、
前記複数の第１の撮像画像の評価値または連続する前記複数の第１の撮像画像の評価値の変化量に基づいて、前記撮像部に第２モードでの第２の撮像画像を撮像させる制御過程と、
を有する撮像方法。
【請求項６】
第１モードで複数の第１の撮像画像を撮像する撮像部を備える撮像装置のコンピュータが、
前記複数の第１の撮像画像の評価値を算出する評価ステップと、
前記複数の第１の撮像画像の評価値または連続する前記複数の第１の撮像画像の評価値の変化量に基づいて、前記撮像部に第２モードでの第２の撮像画像を撮像させる制御ステップと、
を実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
写真撮影において仕上がりのよい撮影画像を得るために、複数回撮像して得られた画像から適切と考えられる画像を保存する撮像装置がある。例えば、特許文献１に記載の撮像装置は、撮像動作の開始指示があると、所定のフレームレートに従って撮像を繰り返し行う。そして、特許文献１に記載の撮像装置は、撮像した画像を記憶するとともに、画像処理によって人物の顔の向きの状態の検出に応じてフレームレートを変更するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７７８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の撮像装置では、画像における人物が急に振り向いた場合等、人物の顔の向きの状態が急激に変化した場合に、フレームレートの変更が間に合わず、仕上がりのよい撮影画像を得ることができない、という課題があった。
【０００５】
本発明は、上記の点に鑑みてなされたものであり、仕上がりのよい撮影画像を得ることができる撮像装置、撮像方法およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第１モードで複数の第１の撮像画像を撮像する撮像部と、前記複数の第１の撮像画像の評価値を算出する評価部と、前記複数の第１の撮像画像の評価値または連続する前記複数の第１の撮像画像の評価値の変化量に基づいて、前記撮像部に第２モードでの第２の撮像画像を撮像させる制御部と、を備える撮像装置である。
【０００７】
（２）また、本発明の一態様は、前記評価部は、前記第２の撮像画像の評価値を算出し、前記制御部は、前記複数の第２の撮像画像の評価値または連続する前記複数の第２の撮像画像の評価値の変化量に基づいて、前記撮像部に前記第１モードでの第１の撮像画像を撮像させる。
【０００８】
（３）また、本発明の一態様は、前記第１モードおよび前記第２モードは、フレームレートが異なる撮影モードであり、前記第１モードは、前記第２モードよりも低いフレームレートでの撮影モードである。
【０００９】
（４）また、本発明の一態様は、前記第１モードおよび前記第２モードは、解像度が異なる撮影モードであり、前記第１モードは、前記第２モードよりも低い解像度での撮影モードである。
【００１０】
（５）また、本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第１モードで複数の第１の撮像画像を撮像する撮像部を備える撮像装置のコンピュータが、前記複数の第１の撮像画像の評価値を算出する評価過程と、前記複数の第１の撮像画像の評価値または連続する前記複数の第１の撮像画像の評価値の変化量に基づいて、前記撮像部に第２モードでの第２の撮像画像を撮像させる制御過程と、を有する撮像方法である。
【００１１】
（６）また、本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、第１モードで複数の第１の撮像画像を撮像する撮像部を備える撮像装置のコンピュータが、前記複数の第１の撮像画像の評価値を算出する評価ステップと、前記複数の第１の撮像画像の評価値または連続する前記複数の第１の撮像画像の評価値の変化量に基づいて、前記撮像部に第２モードでの第２の撮像画像を撮像させる制御ステップと、を実行するためのプログラムである。
【発明の効果】
【００１２】
本発明によれば、仕上がりのよい撮影画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る撮像装置の外観構成の一例を示す外観図である。
【図２】本発明の第１の実施形態に係る撮像装置の機能構成の一例を示す概略ブロック図である。
【図３】本発明の第１の実施形態に係る撮像装置のハードウェア構成の一例を示す概略ブロック図である。
【図４】本発明の第１の実施形態に係る撮像処理の一例を示すフローチャートである。
【図５】本発明の第２の実施形態に係る撮像装置の機能構成の一例を示す概略ブロック図である。
【図６】本発明の第２の実施形態に係る撮像処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本発明の第１の実施形態に係る撮像装置の外観構成一例を示す外観図である。
撮像装置１０は、動画像と静止画像を撮像し、撮像した動画像と静止画像とをそれぞれ符号化し、符号化して得られる符号化データを記録する。撮像装置１０は、動画像の撮像中において静止画像を撮像することが可能であってもよい。
図１に示す例では、撮像装置１０は、撮像部１１０を備える。例えば、撮像装置１０は、スマートフォンなどの携帯端末に搭載される撮像装置であってもよい。
なお、以下の説明において、撮像装置１０が１つの撮像部１１０を備える場合の一例について説明するが、２つ以上の撮像部を備えてもよい。
【００１５】
図２は、本発明の第１の実施形態に係る撮像装置１０の機能構成の一例を示す概略ブロック図である。
撮像装置１０は、撮像部１１０と、制御部１２０と、記録部１３０と、閾値記憶部１４０と、を含んで構成される。撮像部１１０は、光学系１１１と、撮像素子１１２と、信号処理部１１３と、を含んで構成される。制御部１２０は、撮像評価部１２１と、撮像判定部１２２と、撮像制御部１２３と、を含んで構成される。
【００１６】
撮像部１１０は、画像を撮像し、撮像した画像を表す画像データを制御部１２０に出力する。撮像部１１０は、複数の撮像モード、例えば、第１モードと第２モードで画像を撮像可能である。第１モードと第２モードとは、例えば、フレームレート（フレーム周期）が異なる撮像モードである。第１モードは、第１のフレームレート、例えば１／１０秒ごとに画像を撮像するモードである。第２モードは、第２のフレームレート、例えば、１／６０秒ごとに画像を撮像するモードである。すなわち、第１モードは、第２モードよりもフレームレートが低い撮像モードであり、第２モードと比較して電力消費が小さい撮像モードである。第２モードは、第１モードよりもフレームレートが高い撮像モードであり、第１モードと比較して電力消費が大きい撮像モードである。
ここで、以下の説明では、第１モードで撮像された画像を第１画像と称する。また、以下の説明では、第２モードで撮像された画像を第２画像と称する。
【００１７】
撮像部１１０は、光学系１１１と、撮像素子１１２と、を備える。
光学系１１１は、対物レンズを備える。対物レンズは、自部に入射する画像光を収束し、撮像素子１１２の表面に入射させる。また、光学系１１１は、絞り機構を備えてもよい。絞り機構は、対物レンズを介して入射される画像光の光量と被写界深度を調整する。光学系１１１は、広範な画角（視野角とも呼ばれる、例えば、１３５°）を有する。また、光学系１１１は、広範な被写界深度を有し、合焦制御（自動焦点制御、ＡＦ（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓｉｎｇ）制御、ピント合わせ、などとも呼ばれる）を行わずにパンフォーカス（ディープフォーカス、とも呼ばれる）を実現してもよい。
【００１８】
撮像素子１１２は、その表面に複数のセルを水平方向及び垂直方向に一定周期で配列して構成される。ここで、水平方向、垂直方向とは、光学系１１１の光学軸に対して垂直な面内に形成される撮像領域の一辺の方向、他辺の方向である。他辺の方向は、一辺の方向に直交する方向である。セルは、各１個の画素に対応し、受光素子を有する。受光素子は、受光した光の強度に応じた電圧を信号値として有する電気信号を生成する。受光素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ；電荷結合素子）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ−Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；相補型金属酸化物半導体）などである。
【００１９】
信号処理部１１３は、第１のフレームレートごとに第１画像を示す第１画像データを生成する。また、信号処理部１１３は、第２のフレームレートごとに第２の画像を示す第２画像データを生成する。第１画像および第２画像は、画素毎の信号値で表される。
信号処理部１１３は、生成した第１画像データと、第２画像データと、を制御部１２０に出力する。
【００２０】
なお、撮像部１１０は、合焦制御部を備えてもよい。合焦制御部は、第２画像データが示す画素毎の信号値に基づいて合焦の度合い（以下、合焦度、と呼ぶ）を示す合焦評価値を算出し、合焦評価値が示す合焦度がより高くなるように対物レンズの位置を変更することによって合焦制御を行えばよい。合焦評価値は、例えば、第２画像の所定の空間周波数未満の低域成分の強度と、所定の空間周波数以上の高域成分の強度を算出し、低域成分の強度に対する高域成分の強度の比である。合焦制御部は、合焦度が極大となる対物レンズの位置を特定し、信号処理部１１３に合焦制御の完了を示す合焦完了信号を出力する。信号処理部１１３は、合焦制御部から合焦完了信号が入力されると、所定のシャッタースピード（露光時間、とも呼ばれる）の期間、受光して得られる画像データを制御部１２０に出力すればよい。
【００２１】
制御部１２０は、撮像装置１０の各部の動作を制御する。例えば、制御部１２０は、１個又は複数個のプロセッサ（例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｏｒ））を含むコンピュータとして構成される。
なお、制御部１２０は、予め記憶媒体に記憶されたプログラムに記述された命令で指示される処理を実行して、撮像評価部１２１、撮像判定部１２２および撮像制御部１２３を実現してもよい。これらの部材の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録しておき、プロセッサは、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行してもよい。
【００２２】
制御部１２０は、撮像部１１０から入力される第１画像データおよび第２画像データに対してそれぞれ符号化処理を行い、第１符号化画像データおよび第２符号化画像データを生成する。符号化処理において、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）、ＭＰＥＧ−Ｈ  ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などのいずれかで規定された動画像復号方式に対応する符号化方式が採用されてもよい。また、符号化処理において、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ  Ｎｅｔｗｏｒｋ  Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）、ＨＥＩＦ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）などのいずれかに規定された静止画符号化方式が採用されてもよい。
【００２３】
制御部１２０は、生成した第１符号化画像データおよび第２符号化画像データを記録部１３０に記憶させる。
【００２４】
撮像評価部１２１は、撮像部１１０から入力される第１画像データについて撮像評価値を算出する。撮像評価値は、撮像対象としての適格性の程度を示す評価値である。撮像評価部１２１は、公知のパターン認識処理を行って撮像評価値を計算する。パターン認識処理において、例えば、深層学習モデル、Ａｄａｂｏｏｓｔなどの機械学習モデルを利用することができる。深層学習モデルは、入力層と２層以上の中間層と出力層を有するニューラルネットワークを構成する数理モデルである。入力層、各中間層、出力層は、それぞれ複数の入力端、節点（ノード）、出力端を有する。各入力端は、入力される入力値を第１の中間層の各節点に出力値として出力する。中間層の各節点は、より下位の層の節点からそれぞれ入力される入力値を線形結合して合成値を算出し、算出した合成値に対して所定の活性化関数を用いて出力値を算出する。但し、入力端を第０層の節点とみなす。中間層の各節点は、算出した出力値をより上位の層の各節点に出力する。但し、出力端を最上位の中間層の節点とみなす。各出力端は、最上位の中間層の各節点からの出力値を入力値として線形結合して得られる合成値を、出力値として出力する。活性化関数として、例えば、シグモイド関数、双曲線正接（ｔａｎｈ：ｈｙｐｅｒｂｏｌｉｃ  ｔａｎｇｅｎｔ）関数、などが利用可能である。従って、深層学習モデルは、中間層の各節点において入力値を線形結合するための線形結合係数、各節点の活性化関数のパラメータ、出力端において入力値を線形結合するための線形結合係数をパラメータとして含んで構成される。以下の説明では、機械学習モデルを構成するパラメータをモデルパラメータと呼ぶ。
【００２５】
撮像評価部１２１は、第１撮像評価値および／または第２撮像評価値を算出する。撮像評価部１２１は、第１評価処理と第２評価処理とのいずれか一方又は両方を実行して撮像評価値を算出する。
【００２６】
まず、第１評価処理について説明する。
撮像評価部１２１は、第１画像データに基づいて第１機械学習モデルを用いて第１撮像評価値を算出する。第１撮像評価値は、第１画像データが表す主たる被写体が特定の認識対象物である可能性を示す値である。認識対象物の候補は、例えば、人物、動物、花、モノ（例えば、球技に用いられるボール等）などである。認識対象物の候補は、特定の表情（例えば、笑いなど）を表す人物の顔面や人物の特定の動作（例えば、バットを振る動作など）であってもよい。
【００２７】
第１機械学習モデルを構成するモデルパラメータは、第１評価処理を実行する前に予め生成（学習）し、撮像評価部１２１に設定しておく。第１機械学習モデルのモデルパラメータの学習は、モデル学習部（非図示）が行う。撮像装置１０は、モデル学習部を備えてもよいが、必ずしもモデル学習部を備えなくともよい。撮像評価部１２１は、第１機械学習モデルのモデルパラメータを撮像装置１０とは別個の外部機器（例えば、サーバ装置）から取得してもよい。
【００２８】
モデル学習部は、既知の被写体を表す画像の教師データに対して、第１機械学習モデルを作用して既知の認識対象物の候補毎に第１撮像評価値を算出する。第１機械学習モデルとして深層学習モデルを用いる場合、モデル学習部は、例えば、教師データが示す画素毎の信号値に基づいて各入力端への入力値を定める。モデル学習部は、画素毎の信号値を入力値として用いてもよいし、その信号値に基づいて得られる画像特徴量を構成する要素値を入力値として用いてもよい。画像特徴量として、例えば、画素毎のエッジ方向、画素毎の信号値の勾配などが利用可能である。モデル学習部は、定めた入力値に対して深層学習モデルを用いて算出される各出力端からの出力値を、その出力端に対応する認識対象物の候補の第１撮像評価値として定める。
【００２９】
モデル学習部は、教師データが表す既知の被写体と同じ種類の認識対象物の候補について算出される第１撮像評価値が所定の第１の正値（例えば、１）となり、その被写体と異なる種類の認識対象物の候補について得られる第１撮像評価値が所定の第２の正値以下になるまでモデルパラメータを逐次に更新する。所定の第２の正値として、第１の正値よりも十分にゼロに近似した正の実数を用いる。よって、深層学習モデルを用いて算出される特定の認識対象物の候補に対する第１撮像評価値は、その値が大きいほど、被写体がその認識対象物である可能性が高いことを示す。モデルパラメータの学習において、十分に多数（例えば、数千〜数万）の異なる教師データが用いられる。
【００３０】
撮像評価部１２１は、第１画像データに対して、第１機械学習モデルを作用して撮像評価値を算出する。第１機械学習モデルとして深層学習モデルを用いる場合、撮像評価部１２１は、学習の際と同様の手法を用いて、評価画像を示す画素毎の信号値に基づいて各入力端への入力値を定める。撮像評価部１２１は、入力値に対する深層学習モデルの出力端からの出力値を、その出力端に対応する認識対象物の候補の撮像評価値として算出する。
【００３１】
撮像評価部１２１は、以下で示す第２評価処理を行わない場合、認識対象物の候補毎に算出した第１撮像評価値のうち、最も第１撮像評価値が大きい認識対象物の候補を認識対象物として特定し、その第１撮像評価値を撮像評価値として撮像判定部１２２に出力する。
【００３２】
次に、第２評価処理について説明する。
撮像評価部１２１は、第１画像データの構図が良好である程度を示す第２撮像評価値を算出する。構図の良否に影響する要素は、例えば、背景を含む評価画像の全体に対して主たる被写体の位置、その大きさ、主たる被写体と背景の色彩、その濃淡、合焦度などである。モデル学習部は、第２評価処理に用いる第２機械学習モデルのモデルパラメータを予め学習し、撮像評価部１２１に設定しておく。学習に用いる教師データとして、主たる被写体と背景を表す画像を示す画像データが用いられる。
【００３３】
モデル学習部は、教師データに対して、第２機械学習モデルを作用して第２撮像評価値を算出する。第２機械学習モデルとして深層学習モデルを用いる場合、モデル学習部は、教師データが示す画素毎の信号値に基づいて各入力端への入力値を定める。モデル学習部は、定めた入力値に対して深層学習モデルを用いて算出される出力端からの出力値を第２撮像評価値として定める。モデル学習部は、第２撮像評価値がその教師データが表す画像に対して与えられた得点との差の二乗値が所定の二乗値以下になるように、第２機械学習モデルを構成するモデルパラメータを更新する。所定の二乗値は、０に十分に近似した正値であればよい。得点は、例えば、その画像に対して人間が主観的に判断した良否を表す値である。得点は、良好と判断される場合に１とし、良好と判断されないとき０とする２段階の値であってもよい。また、得点は、良好であるほど大きい３段階以上の多段階の値であってもよい。
【００３４】
撮像評価部１２１は、評価画像に対して、第２機械学習モデルを作用して第２撮像評価値を算出する。第２機械学習モデルとして深層学習モデルを用いる場合、撮像評価部１２１は、学習の際と同様の手法を用いて、評価画像を示す画素毎の信号値に基づいて各入力端への入力値を定める。撮像評価部１２１は、入力値に対する深層学習モデルの出力端からの出力値を、第２撮像評価値として算出する。
【００３５】
上述の例では、第２評価処理が、第１評価処理とは独立に、第２機械学習モデルとして深層学習モデルを用いて評価画像に対して第２撮像評価値を算出する過程を含む場合を例にしたが、これには限られない。
【００３６】
撮像評価部１２１は、第１評価処理を行わない場合、算出した第２撮像評価値を撮像評価値として撮像判定部１２２に出力する。
撮像評価部１２１は、第１評価処理と第２評価処理の両方を行う場合、第１撮像評価値と第２撮像評価値に、それぞれに対応する所定の重み係数を乗算し、乗算により得られる乗算値の総和を撮像評価値として算出する。撮像評価部１２１は、算出した撮像評価値を撮像判定部１２２に出力する。
【００３７】
撮像評価部１２１は、第１画像データに対する撮像評価値と同様に、第２画像データに対する撮像評価値を算出する。
【００３８】
撮像判定部１２２は、撮像評価部１２１から入力される撮像評価値に基づいて、第２画像を撮像するか否かを判定する。具体的には、撮像判定部１２２は、入力される撮像評価値と所定閾値との比較判定に基づいて第２画像を撮像するか否かを判定する。より具体的には、複数の所定閾値との比較判定に基づいて第２の画像を撮像するか否かを判定する。複数の所定閾値は、例えば、第１閾値、第２閾値、第３閾値、第４閾値、第５閾値である。第１閾値は、第２のフレームレートで撮像するか否かを判定するための閾値である。第２閾値は、第２のフレームレートでの撮像モード、すなわち、撮像モードを第１モードから第２モードに変更するか否かを判定するための閾値である。第３の閾値は、撮像評価部１２１から入力される連続する撮像評価値の変化量（傾き）に関する閾値であり、撮像モードを第１モードから第２モードに変更するか否かを判定するための閾値である。第４閾値は、第１のフレームレートでの撮像モード、すなわち、撮像モードを第２モードから第１モードに変更するか否かを判定するための閾値である。第５の閾値は、撮像評価部１２１から入力される連続する撮像評価値の変化量（傾き）に関する閾値であり、撮像モードを第２モードから第１モードに変更するか否かを判定するための閾値である。
【００３９】
例えば、第１閾値は、第２閾値、第４閾値より大きい値の閾値である。第２閾値と第４閾値とは、同じ値であってもよいし、異なる値であってもよい。第３閾値は、第５閾値と同じ値であってもよいし、異なる値であってもよい。
【００４０】
撮像判定部１２２は、撮像評価部１２１から入力される第１画像の撮像評価値が第１閾値以上であるか否かを判定する。撮像判定部１２２は、撮像評価値が第１閾値以上である場合、撮像を指示する撮像指示信号を撮像制御部１２３に出力する。一方、撮像判定部１２２は、撮像評価値が第１閾値未満である場合、該撮像評価値が第２閾値以上であるか否かを判定する。撮像判定部１２２は、撮像評価値が第２閾値以上である場合、フレームレートの切り替えを指示する切替指示信号を撮像制御部１２３に出力する。一方、撮像判定部１２２は、撮像評価値が第２閾値未満である場合、プレビュー撮影の繰り返しを指示する繰返指示信号を撮像制御部１２３に出力する。また、撮像判定部１２２は、撮像評価部１２１から入力された撮像評価値と、該撮像評価値の直前に入力された撮像評価値との変化量が第３閾値以上であるか否かを判定する。撮像判定部１２２は、変化量が第３閾値以上である場合、フレームレートの切り替えを指示する切替指示信号を撮像制御部１２３に出力する。一方、撮像判定部１２２は、変化量が第３閾値未満である場合、プレビュー撮影の繰り返しを指示する繰返指示信号を撮像制御部１２３に出力する。
【００４１】
また、撮像判定部１２２は、撮像評価部１２１から入力される第２画像の撮像評価値が第１閾値以上であるか否かを判定する。撮像判定部１２２は、撮像評価値が第１閾値以上である場合、撮像を指示する撮像指示信号を撮像制御部１２３に出力する。一方、撮像判定部１２２は、撮像評価値が第１閾値未満である場合、該撮像評価値が第４閾値以下であるか否かを判定する。撮像判定部１２２は、撮像評価値が第４閾値以下である場合、フレームレートの切り替えを指示する切替指示信号を撮像制御部１２３に出力する。一方、撮像判定部１２２は、撮像評価値が第４閾値より大きい場合、第２モードでの撮影の繰り返しを指示する繰返指示信号を撮像制御部１２３に出力する。また、撮像判定部１２２は、撮像評価部１２１から入力された撮像評価値と、該撮像評価値の直前に入力された撮像評価値との変化量が第５閾値以下であるか否かを判定する。撮像判定部１２２は、変化量が第５閾値以下である場合、フレームレートの切り替えを指示する切替指示信号を撮像制御部１２３に出力する。一方、撮像判定部１２２は、変化量が第５閾値より大きい場合、第２モードでの繰り返しを指示する繰返指示信号を撮像制御部１２３に出力する。
【００４２】
撮像制御部１２３は、撮像判定部１２２から撮像指示信号が入力されると、現在のフレームレートが第１のフレームレートである場合、フレームレートを第１のフレームレートから第２のフレームレートに変更し、撮像部１１０に第２画像を撮像させる。また、撮像制御部１２３は、撮像部１１０によって撮像された第２画像が入力されると、フレームレートを第２のフレームレートから第１のフレームレートに変更する。撮像制御部１２３は、現在のフレームレートが第２のフレームレートである場合、フレームレートを変更することなく撮像部１１０に第２画像を撮像させる。
【００４３】
ここで、第２のフレームレート（例えば６０ｆｐｓ）から第１のフレームレート（１０ｆｐｓ）に変更するとは、撮像部１１０による撮像フレームレートを第１のフレームレートに設定することである。換言すれば、撮像制御部１２３が第１のフレーム周期（例えば、１／１０秒）毎、撮像部１１０に撮像させることである。
また、第１のフレームレート（例えば１０ｆｐｓ）から第２のフレームレート（６０ｆｐｓ）に変更するとは、撮像部１１０による撮像フレームレートを第２のフレームレートに設定することである。換言すれば、撮像制御部１２３が第１のフレーム周期（例えば、１／６０秒）毎、撮像部１１０に撮像させることである。
【００４４】
撮像制御部１２３は、撮像判定部１２２から切替指示信号が入力されると、現在の撮像モードが第１モードである場合、第１モードから第２モードに撮像モードを切り替える。また、撮像制御部１２３は、撮像判定部１２２から切替指示信号が入力されると、現在の撮像モードが第２モードである場合、第２モードから第１モードに撮像モードを切り替える。
撮像制御部１２３は、撮像判定部１２２から繰返指示信号が入力されると、現在の撮像モードを継続させる。
【００４５】
記録部１３０は、第１画像を表す第１符号化画像データと第２画像を表す第２符号化画像データを記憶する。
なお、記録部１３０は、電力の供給を停止しても記録されたデータが消去されないフラッシュメモリなどの不揮発性メモリであればよい。記録部１３０は、撮像装置１０に固定されていてもよいし、撮像装置１０から着脱可能な記録媒体とその記録媒体を装着するインタフェースとから構成されてもよい。着脱可能な記録媒体として、例えば、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカードが採用されてもよい。
【００４６】
閾値記憶部１４０は、複数の所定閾値を記憶する。具体的には、閾値記憶部１４０は、第１閾値、第２閾値、第３閾値、第４閾値、第５閾値をそれぞれ記憶する。複数の所定閾値は、予め記憶していてもよいし、通信部（非図示）を介して制御部１２０が取得して閾値記憶部１４０に記憶させてもよい。
【００４７】
図３は、本発明の第１の実施形態に係る撮像装置１０のハードウェア構成の一例を示す概略ブロック図である。
撮像装置１０は、ＣＰＵ１０１と、記憶媒体インタフェース部１０２と、記憶媒体１０３と、入力部１０４と、出力部１０５と、ＲＯＭ１０６（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、ＲＡＭ１０７（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、補助記憶部１０８と、ネットワークインタフェース部１０９と、を備える。ＣＰＵ１０１と、記憶媒体インタフェース部１０２と、入力部１０４と、出力部１０５と、ＲＯＭ１０６と、ＲＡＭ１０７と、補助記憶部１０８と、ネットワークインタフェース部１０９とは、バスを介して相互に接続される。
なお、ここで言うＣＰＵ１０１は、プロセッサ一般のことを示すものであって、狭義のいわゆるＣＰＵと呼ばれるデバイスのことだけではなく、例えばＧＰＵやＤＳＰ等も含む。また、ここで言うＣＰＵ１０１は、一つのプロセッサで実現されることに限られず、同じ、または異なる種類の複数のプロセッサを組み合わせることで実現されてもよい。
【００４８】
ＣＰＵ１０１は、補助記憶部１０８、ＲＯＭ１０６およびＲＡＭ１０７が記憶するプログラムを読み出して実行し、また、補助記憶部１０８、ＲＯＭ１０６およびＲＡＭ１０７が記憶する各種データを読み出し、補助記憶部１０８、ＲＡＭ１０７に対して各種データを書き込むことにより、撮像装置１０を制御する。また、ＣＰＵ１０１は、記憶媒体インタフェース部１０２を介して記憶媒体１０３が記憶する各種データを読み出し、また、記憶媒体１０３に各種データを書き込む。記憶媒体１０３は、光磁気ディスク、フレキシブルディスク、フラッシュメモリなどの可搬記憶媒体であり、各種データを記憶する。
記憶媒体インタフェース部１０２は、記憶媒体１０３の読み書きを行うインタフェースである。
【００４９】
入力部１０４は、マウス、キーボード、タッチパネル、音量調整ボタン、電源ボタン、設定ボタン、赤外線受信部などの入力装置である。
出力部１０５は、表示部、スピーカなどの出力装置である。
ＲＯＭ１０６、ＲＡＭ１０７は、撮像装置１０の各機能部を動作させるためのプログラムや各種データを記憶する。
補助記憶部１０８は、ハードディスクドライブ、フラッシュメモリなどであり、撮像装置１０の各機能部を動作させるためのプログラム、各種データを記憶する。
ネットワークインタフェース部１０９は、通信インタフェースを有し、無線通信によりネットワークＮＷに接続される。
【００５０】
例えば、図２における撮像装置１０の機能構成における制御部１２０は、図３に示すハードウェア構成におけるＣＰＵ１０１に対応する。また、例えば、図２における撮像装置１０の機能構成における記録部１３０、閾値記憶部１４０は、図３に示すハードウェア構成におけるＲＯＭ１０６、ＲＡＭ１０７または補助記憶部１０８、またはそれらの何れかの組み合わせに対応する。
【００５１】
図４は、本発明の第１の実施形態に係る撮像処理の一例を示すフローチャートである。
撮像装置１０は、ベストショット撮像モードなどの撮像モードに設定されると、撮像処理を開始する。
ステップＳ１００において、撮像部１１０は、第１モードにおいて第１のフレームレートで、プレビュー撮影として画像の撮像を開始する。プレビュー撮影は、本撮影とは異なり記録部１３０に撮像した画像を記憶させない撮影である。つまり、プレビュー撮影は、撮像評価部１２１による評価や撮像判定部１２２による判定に用いる画像を撮像するための撮影である。本撮影は、撮像した画像を記録部１３０に記憶させる撮影である。
【００５２】
ステップＳ１０２において、撮像評価部１２１は、プレビュー撮影された第１画像を表す第１画像データに基づいて撮像評価値を算出する。
ステップＳ１０４において、撮像判定部１２２は、撮像評価値（評価値）が第１閾値以上であるか否かを判定する。撮像評価値が第１閾値以上である場合（ステップＳ１０４；ＹＥＳ）、撮像判定部１２２は、撮像指示信号を撮像制御部１２３に出力する。一方、撮像評価値が第１閾値未満である場合（ステップＳ１０４；ＮＯ）、撮像判定部１２２は、ステップＳ１１２の処理を実行する。
【００５３】
ステップＳ１０６において、撮像制御部１２３は、撮像指示信号に基づいて、撮像部１１０に第１のフレームレートから第２のフレームレートに変更させる（第２のフレームレートを設定する）。  ステップＳ１０８において、撮像制御部１２３は、撮像部１１０に第２のフレームレートで第２画像を本撮影させる。
ステップＳ１１０において、撮像制御部１２３は、撮像部１１０から第２画像を表す第２画像データが入力されると、撮像部１１０に第２のフレームレートから第１のフレームレートに変更させる（第１のフレームレートを設定する）。
【００５４】
ステップＳ１１２において、撮像判定部１２２は、プレビュー撮影された第１画像を表す第１画像データに基づいて算出された撮像評価値が第２閾値以上であるか否かを判定する。または、撮像判定部１２２は、プレビュー撮影された第１画像を表す第１画像データに基づいて算出された撮像評価値と、直前の第１画像を表す第１画像データに基づいて算出された撮像評価値との変化量（傾き）が第３閾値以上であるか否かを判定する。撮像評価値が第２閾値以上である場合、または、撮像評価値の変化量が第３閾値以上である場合（ステップＳ１１２；ＹＥＳ）、撮像判定部１２２は、切替指示信号を撮像制御部１２３に出力する。一方、撮像評価値が第２閾値未満である場合、かつ、撮像評価値の変化量が第３閾値未満である場合（ステップＳ１１２；ＮＯ）、撮像判定部１２２は、繰返指示信号を撮像制御部１２３に出力する。撮像制御部１２３は、繰返指示信号に基づいて撮像部１１０にステップＳ１００の処理を実行させる。
【００５５】
ステップＳ１１６において、撮像制御部１２３は、切替指示信号に基づいて撮像部１１０に第１のフレームレートから第２のフレームレートに変更させる（第２のフレームレートを設定する）。
ステップＳ１１８において、撮像部１１０は、第２モードにおいて第２のフレームレートで、プレビュー撮影として画像の撮像を開始する。
【００５６】
ステップＳ１２０において、撮像評価部１２１は、プレビュー撮影された第２画像を表す第２画像データに基づいて第撮像評価値を算出する。
ステップＳ１２２において、撮像判定部１２２は、撮像評価値（評価値）が第１閾値以上であるか否かを判定する。撮像評価値が第１閾値以上である場合（ステップＳ１２２；ＹＥＳ）、撮像判定部１２２は、撮像指示信号を撮像制御部１２３に出力する。一方、撮像評価値が第１閾値未満である場合（ステップＳ１２２；ＮＯ）、撮像判定部１２２は、ステップＳ１２６の処理を実行する。
【００５７】
ステップＳ１２４において、撮像制御部１２３は、撮像指示信号に基づいて、撮像部１１０に第２のフレームレートで第２画像を本撮影させる。
【００５８】
ステップＳ１２６において、撮像判定部１２２は、プレビュー撮影された第２画像を表す第２画像データに基づいて算出された撮像評価値が第４閾値以下であるか否かを判定する。または、撮像判定部１２２は、プレビュー撮影された第２画像を表す第２画像データに基づいて算出された撮像評価値と、直前の第２画像を表す第２画像データに基づいて算出された撮像評価値との変化量（傾き）が第５閾値以下であるか否かを判定する。撮像評価値が第４閾値以下である場合、または、撮像評価値の変化量が第５閾値以下である場合（ステップＳ１２６；ＹＥＳ）、撮像判定部１２２は、切替指示信号を撮像制御部１２３に出力する。一方、撮像評価値が第４閾値より大きい場合、かつ、撮像評価値の変化量が第５閾値より大きい場合（ステップＳ１２６；ＮＯ）、撮像判定部１２２は、繰返指示信号を撮像制御部１２３に出力する。撮像制御部１２３は、繰返指示信号に基づいて撮像部１１０にステップＳ１１８の処理を実行させる。
【００５９】
ステップＳ１２８において、撮像制御部１２３は、切替指示信号に基づいて、撮像部１１０に第２のフレームレートから第１のフレームレートに変更させる（第１のフレームレートを設定する）。そして、撮像制御部１２３は、撮像部１１０にステップＳ１００の処理を実行させる。
【００６０】
なお、ステップＳ１１２において、撮像判定部１１２による評価値と第２閾値および第３閾値との比較判定は、評価値と第２閾値および第３閾値のいずれかとの比較判定であってもよい。すなわち、撮像判定部１１２は、第２閾値または第３閾値のいずれか一方を用いて比較判定し、他方の閾値を用いなくてもよい。
なお、ステップＳ１２６において、撮像判定部１１２による評価値と第４閾値および第５閾値との比較判定は、評価値と第４閾値および第５閾値のいずれかとの比較判定であってもよい。すなわち、撮像判定部１１２は、第４閾値または第５閾値のいずれか一方を用いて比較判定し、他方の閾値を用いなくてもよい。
【００６１】
このように、第１の実施形態に係る撮像装置１０は、第１モードで複数の第１の撮像画像を撮像する撮像部１１０と、複数の第１の撮像画像の評価値を算出する評価部（撮像評価部１２１）と、複数の第１の撮像画像の評価値または連続する複数の第１の撮像画像の評価値の変化量に基づいて、撮像部１１０に第２モードでの第２の撮像画像を撮像させる制御部（撮像制御部１２３）と、を備える。
【００６２】
この構成により、撮像装置１０は、第１モードから第２モードに切り替えて第２の撮像画像を撮像できるため、仕上がりのよい撮影画像を得ることができる。
【００６３】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について説明する。
図５は、本発明の第２の実施形態に係る撮像装置１０Ａの機能構成の一例を示す概略ブロック図である。
撮像装置１０Ａは、撮像部１１０と、制御部１２０Ａと、記録部１３０と、閾値記憶部１４０と、を含んで構成される。撮像部１１０は、光学系１１１と、撮像素子１１２と、信号処理部１１３と、を含んで構成される。制御部１２０Ａは、撮像評価部１２１と、撮像判定部１２２Ａと、撮像制御部１２３Ａと、を含んで構成される。
【００６４】
ここで、第１の実施形態に係る撮像装置１０と第２の実施形態に係る撮像装置１０Ａとを比較すると、第２の実施形態では、第１の実施形態と制御部１２０Ａの撮像判定部１２２Ａと撮像制御部１２３Ａが異なる。それ以外は同様であるため説明を省略し、第２の実施形態で異なる部分を中心に説明する。
【００６５】
撮像部１１０は、画像を撮像し、撮像した画像を表す画像データを制御部１２０Ａに出力する。撮像部１１０は、複数の撮像モード、例えば、第１モードと第２モードで画像を撮像可能である。第１モードと第２モードとは、例えば、画像の撮像するときの解像度が異なる撮像モードである。第１モードは、第１の解像度、例えば２Ｍで画像を撮像するモードである。第２モードは、第２の解像度、例えば、４Ｋで画像を撮像するモードである。すなわち、第１モードは、第２モードよりも解像度が低い撮像モードであり、第２モードと比較して電力消費が小さい撮像モードである。第２モードは、第１モードよりも加増度が高い撮像モードであり、第１モードと比較して電力消費が大きい撮像モードである。
【００６６】
撮像判定部１２２Ａは、撮像評価部１２１から入力される撮像評価値に基づいて、第２画像を撮像するか否かを判定する。具体的には、撮像判定部１２２Ａは、入力される撮像評価値と所定閾値との比較判定に基づいて第２画像を撮像するか否かを判定する。より具体的には、複数の所定閾値との比較判定に基づいて第２の画像を撮像するか否かを判定する。複数の所定閾値は、例えば、第１閾値、第２閾値、第３閾値、第４閾値、第５閾値である。第１閾値は、第２の解像度で第２画像を撮像するか否かを判定するための閾値である。第２閾値は、第２の解像度での撮像モード、すなわち、撮像モードを第１モードから第２モードに変更するか否かを判定するための閾値である。第３の閾値は、撮像評価部１２１から入力される連続する撮像評価値の変化量（傾き）に関する閾値であり、撮像モードを第１モードから第２モードに変更するか否かを判定するための閾値である。第４閾値は、第１の解像度での撮像モード、すなわち、撮像モードを第２モードから第１モードに変更するか否かを判定するための閾値である。第５の閾値は、撮像評価部１２１から入力される連続する撮像評価値の変化量（傾き）に関する閾値であり、撮像モードを第２モードから第１モードに変更するか否かを判定するための閾値である。
【００６７】
例えば、第１閾値は、第２閾値、第４閾値より大きい値の閾値である。第２閾値と第４閾値とは、同じ値であってもよいし、異なる値であってもよい。第３閾値は、第５閾値と同じ値であってもよいし、異なる値であってもよい。
【００６８】
撮像判定部１２２Ａは、撮像評価部１２１から入力される第１画像の撮像評価値が第１閾値以上であるか否かを判定する。撮像判定部１２２Ａは、撮像評価値が第１閾値以上である場合、撮像を指示する撮像指示信号を撮像制御部１２３Ａに出力する。一方、撮像判定部１２２Ａは、撮像評価値が第１閾値未満である場合、該撮像評価値が第２閾値以上であるか否かを判定する。撮像判定部１２２Ａは、撮像評価値が第２閾値以上である場合、解像度の切り替えを指示する切替指示信号を撮像制御部１２３Ａに出力する。一方、撮像判定部１２２Ａは、撮像評価値が第２閾値未満である場合、プレビュー撮影の繰り返しを指示する繰返指示信号を撮像制御部１２３Ａに出力する。また、撮像判定部１２２Ａは、撮像評価部１２１から入力された撮像評価値と、該撮像評価値の直前に入力された撮像評価値との変化量が第３閾値以上であるか否かを判定する。撮像判定部１２２は、変化量が第３閾値以上である場合、解像度の切り替えを指示する切替指示信号を撮像制御部１２３に出力する。一方、撮像判定部１２２は、変化量が第３閾値未満である場合、プレビュー撮影の繰り返しを指示する繰返指示信号を撮像制御部１２３に出力する。
【００６９】
また、撮像判定部１２２Ａは、撮像評価部１２１から入力される第２画像の撮像評価値が第１閾値以上であるか否かを判定する。撮像判定部１２２Ａは、撮像評価値が第１閾値以上である場合、撮像を指示する撮像指示信号を撮像制御部１２３Ａに出力する。一方、撮像判定部１２２Ａは、撮像評価値が第１閾値未満である場合、該撮像評価値が第４閾値以下であるか否かを判定する。撮像判定部１２２Ａは、撮像評価値が第４閾値以下である場合、解像度の切り替えを指示する切替指示信号を撮像制御部１２３Ａに出力する。一方、撮像判定部１２２Ａは、撮像評価値が第４閾値より大きい場合、第２モードでの撮影の繰り返しを指示する繰返指示信号を撮像制御部１２３に出力する。また、撮像判定部１２２Ａは、撮像評価部１２１から入力された撮像評価値と、該撮像評価値の直前に入力された撮像評価値との変化量が第５閾値以下であるか否かを判定する。撮像判定部１２２Ａは、変化量が第５閾値以下である場合、解像度の切り替えを指示する切替指示信号を撮像制御部１２３Ａに出力する。一方、撮像判定部１２２Ａは、変化量が第５閾値より大きい場合、第２モードでの繰り返しを指示する繰返指示信号を撮像制御部１２３Ａに出力する。
【００７０】
撮像制御部１２３はＡ、撮像判定部１２２Ａから撮像指示信号が入力されると、現在の解像度が第１の解像度である場合、解像度を第１の解像度から第２の解像度に変更し、撮像部１１０に第２画像を撮像させる。また、撮像制御部１２３は、撮像部１１０によって撮像された第２画像が入力されると、解像度を第２の解像度から第１の解像度に変更する。撮像制御部１２３は、現在の解像度が第２の解像度である場合、解像度を変更することなく撮像部１１０に第２画像を撮像させる。
【００７１】
図６は、本発明の第２の実施形態に係る撮像処理の一例を示すフローチャートである。
撮像装置１０は、ベストショット撮像モードなどの撮像モードに設定されると、撮像処理を開始する。
ステップＳ２００において、撮像部１１０は、第１モードにおいて第１の解像度で、プレビュー撮影として画像の撮像を開始する。
【００７２】
ステップＳ２０２において、撮像評価部１２１は、プレビュー撮影された第１画像を表す第１画像データに基づいて撮像評価値を算出する。
ステップＳ２０４において、撮像判定部１２２Ａは、撮像評価値（評価値）が第１閾値以上であるか否かを判定する。撮像評価値が第１閾値以上である場合（ステップＳ２０４；ＹＥＳ）、撮像判定部１２２Ａは、撮像指示信号を撮像制御部１２３Ａに出力する。一方、撮像評価値が第１閾値未満である場合（ステップＳ２０４；ＮＯ）、撮像判定部１２２Ａは、ステップＳ２１２の処理を実行する。
【００７３】
ステップＳ２０８において、撮像制御部１２３Ａは、撮像指示信号に基づいて、撮像部１１０に第２の解像度を設定する。また、撮像制御部１２３Ａは、撮像部１１０に第２の解像度で第２画像を本撮影させる。撮像制御部１２３Ａは、撮像部１１０から第２画像を表す第２画像データが入力されると、撮像部１１０に第１の解像度を設定する。
【００７４】
ステップＳ２１２において、撮像判定部１２２Ａは、プレビュー撮影された第１画像を表す第１画像データに基づいて算出された撮像評価値が第２閾値以上であるか否かを判定する。または、撮像判定部１２２Ａは、プレビュー撮影された第１画像を表す第１画像データに基づいて算出された撮像評価値と、直前の第１画像を表す第１画像データに基づいて算出された撮像評価値との変化量（傾き）が第３閾値以上であるか否かを判定する。撮像評価値が第２閾値以上である場合、または、撮像評価値の変化量が第３閾値以上である場合（ステップＳ２１２；ＹＥＳ）、撮像判定部１２２Ａは、切替指示信号を撮像制御部１２３Ａに出力する。一方、撮像評価値が第２閾値未満である場合、かつ、撮像評価値の変化量が第３閾値未満である場合（ステップＳ２１２；ＮＯ）、撮像判定部１２２Ａは、繰返指示信号を撮像制御部１２３Ａに出力する。撮像制御部１２３Ａは、繰返指示信号に基づいて撮像部１１０にステップＳ２００の処理を実行させる。
【００７５】
ステップＳ２１８において、撮像制御部１２３Ａは、切替指示信号に基づいて撮像部１１０に第２の解像度を設定する。撮像部１１０は、第２モードにおいて第２の解像度で、プレビュー撮影として画像の撮像を開始する。
【００７６】
ステップＳ２２０において、撮像評価部１２１は、プレビュー撮影された第２画像を表す第２画像データに基づいて第撮像評価値を算出する。
ステップＳ２２２において、撮像判定部１２２Ａは、撮像評価値（評価値）が第１閾値以上であるか否かを判定する。撮像評価値が第１閾値以上である場合（ステップＳ２２２；ＹＥＳ）、撮像判定部１２２Ａは、撮像指示信号を撮像制御部１２３Ａに出力する。一方、撮像評価値が第１閾値未満である場合（ステップＳ２２２；ＮＯ）、撮像判定部１２２Ａは、ステップＳ２２６の処理を実行する。
【００７７】
ステップＳ２２４において、撮像制御部１２３Ａは、撮像指示信号に基づいて、撮像部１１０に第２の解像度で第２画像を本撮影させる。
【００７８】
ステップＳ２２６において、撮像判定部１２２Ａは、プレビュー撮影された第２画像を表す第２画像データに基づいて算出された撮像評価値が第４閾値以下であるか否かを判定する。または、撮像判定部１２２Ａは、プレビュー撮影された第２画像を表す第２画像データに基づいて算出された撮像評価値と、直前の第２画像を表す第２画像データに基づいて算出された撮像評価値との変化量（傾き）が第５閾値以下であるか否かを判定する。撮像評価値が第４閾値以下である場合、または、撮像評価値の変化量が第５閾値以下である場合（ステップＳ２２６；ＹＥＳ）、撮像判定部１２２Ａは、切替指示信号を撮像制御部１２３Ａに出力する。撮像制御部１２３Ａは、切替指示信号に基づいて、撮像部１１０に第１の解像度を設定する。そして、撮像制御部１２３Ａは、撮像部１１０にステップＳ２００の処理を実行させる。一方、撮像評価値が第４閾値より大きい場合、かつ、撮像評価値の変化量が第５閾値より大きい場合（ステップＳ２２６；ＮＯ）、撮像判定部１２２Ａは、繰返指示信号を撮像制御部１２３Ａは、繰返指示信号に基づいて撮像部１１０にステップＳ２１８の処理を実行させる。
【００７９】
なお、ステップＳ１１２において、撮像判定部１１２による評価値と第２閾値および第３閾値との比較判定は、評価値と第２閾値および第３閾値のいずれかとの比較判定であってもよい。すなわち、撮像判定部１１２は、第２閾値または第３閾値のいずれか一方を用いて比較判定し、他方の閾値を用いなくてもよい。
なお、ステップＳ２２６において、撮像判定部１１２による評価値と第４閾値および第５閾値との比較判定は、評価値と第４閾値および第５閾値のいずれかとの比較判定であってもよい。すなわち、撮像判定部１１２は、第４閾値または第５閾値のいずれか一方を用いて比較判定し、他方の閾値を用いなくてもよい。
【００８０】
このように、第１の実施形態に係る撮像装置１０Ａは、第１モードで複数の第１の撮像画像を撮像する撮像部１１０と、複数の第１の撮像画像の評価値を算出する評価部（撮像評価部１２１）と、複数の第１の撮像画像の評価値または連続する複数の第１の撮像画像の評価値の変化量に基づいて、撮像部１１０に第２モードでの第２の撮像画像を撮像させる制御部（撮像制御部１２３Ａ）と、を備える。
【００８１】
この構成により、撮像装置１０Ａは、第１モードから第２モードに切り替えて第２の撮像画像を撮像できるため、仕上がりのよい撮影画像を得ることができる。
【００８２】
なお、上記各実施形態において、プレビュー撮影は静止画撮影の代わりに動画撮影であってもよい。
また、上記各実施形態において、撮像部が１つの場合について説明したが、撮像モードに応じて複数の撮像部を設けてもよい。
また、上記各実施形態において、フレームレート、解像度に応じた撮像モードについて説明したが、画角に応じた撮像モードであってもよいし、被写界深度に応じた撮像モードであってもよい。
【００８３】
なお、上述した各実施形態や各変形例の１つまたは複数、上述した各実施形態や各変形例の一部または全部を組み合わせて本発明の一態様を実現するようにしてもよい。
【００８４】
なお、本発明の一態様における撮像装置１０、１０Ａで動作するプログラムは、本発明の一態様に関わる上記の各実施形態や変形例で示した機能を実現するように、１つ、または複数の、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサを制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これらの各装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に蓄積され、その後、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の各種ストレージに格納され、必要に応じてＣＰＵ等によって読み出し、修正・書き込みが行われても良い。
【００８５】
なお、上述した各実施形態や変形例における撮像装置１０、１０Ａの一部又は全部を１つ、または複数のプロセッサを備えたコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
【００８６】
なお、ここでいう「コンピュータシステム」とは、撮像装置１０、１０Ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８８】
また、上述した各実施形態や変形例における撮像装置１０、１０Ａの一部、又は全部を典型的には集積回路であるＬＳＩとして実現してもよいし、チップセットとして実現してもよい。また、上述した各実施形態や変形例における撮像装置１０、１０Ａの各機能ブロックは個別にチップ化してもよいし、一部、又は全部を集積してチップ化してもよい。また、集積回路化の手法は、ＬＳＩに限らず専用回路、および／または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【００８９】
以上、この発明の一態様として各実施形態や変形例に関して図面を参照して詳述してきたが、具体的な構成は各実施形態や変形例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
【符号の説明】
【００９０】
１０、１０Ａ  撮像装置、１１０  撮像部、１１１  光学系、１１２  撮像素子、１１３  信号処理部、１２０、１２０Ａ  制御部、１２１  撮像評価部、１２２、１２２Ａ  撮像判定部、１２３、１２３Ａ  撮像制御部、１３０  記録部、１４０  閾値記憶部、１０１  ＣＰＵ、１０２  記憶媒体インタフェース部、１０３  記憶媒体、１０４  入力部、１０５  出力部、１０６  ＲＯＭ、１０７  ＲＡＭ  １０８  補助記憶部、１０９  ネットワークインタフェース部
【図１】
2019212938.tif 000003
【図２】
2019212938.tif 000004
【図３】
2019212938.tif 000005
【図４】
2019212938.tif 000006
【図５】
2019212938.tif 000007
【図６】
2019212938.tif 000008