(57)【要約】【課題】記録フレームレートと比較して撮影環境の変化の速度が速い場合でも、追従して撮影条件を更新することができるようにする。【解決手段】間引きフレームにおける最初のフレームｆ１２、ｆ２２．．．〜に含まれるフレーム画像の輝度色差信号の画像データ（ＹＵＶデータ）に基づいて、自動露出調整処理（ＡＥ）を行う。また、この処理と並行して、間引きフレームにおける次のフレームｆ１３、ｆ２３．．．〜に含まれるフレーム画像の輝度色差信号の画像データ（ＹＵＶデータ）に基づいて、自動ホワイトバランス調整処理（ＡＷＢ）を行う。更に、この処理と並行して、間引きフレームにおける最後のフレームｆ１４、ｆ２４．．．〜に含まれるフレーム画像より検出された被写体の鮮明度（コントラスト）を基準として、ＡＦ処理を行う。【選択図】図３
2014007622.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
この撮像手段を所定のフレームレートで駆動させ、フレーム画像データを順次出力させる出力手段と、
この出力手段によって出力されたフレーム画像データを規則的に間引いて記録用のフレーム画像データを取得する取得手段と、
前記間引かれたフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定する設定手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記取得手段は時間的に連続する複数のフレーム画像データを規則的に間引き、前記設定手段はこれらのフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記設定手段が設定する撮影条件は複数種であるとともに、これらのフレーム画像データの夫々を用いて、前記次の記録用のフレーム画像データの複数種の撮影条件を設定することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記撮影条件には、露光時間が含まれることを特徴とする請求項３記載の撮像装置。
【請求項５】
前記撮影条件には、色味調整が含まれることを特徴とする請求項３又は４記載の撮像装置。
【請求項６】
前記撮影条件には、フォーカスレンズ位置が含まれることを特徴とする請求項３、４又は５記載の撮像装置。
【請求項７】
前記撮影条件には、ズームレンズ位置が含まれることを特徴とする請求項３から６にいずれか記載の撮像装置。
【請求項８】
撮像部を備える装置が有するコンピュータを、
前記撮像部を第１のフレームレートで駆動させ、フレーム画像データを順次出力させる出力手段と、
この出力手段によって出力されたフレーム画像データを規則的に間引いて記録用のフレーム画像データを取得する取得手段と、
前記間引かれたフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定する設定手段と、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及びプログラムに関する。
【背景技術】
【０００２】
従来より、通常のフレームレートでの記録と、これよりも高速なフレームレートでの記録とが可能な画像記録装置が知られている。この画像記録装置は、予め通常のフレームレート用、及び、高速なフレームレート用のプログラム線図を備え、対応するフレームレートで記録する場合には、そのモードに対応するプログラム線図を読み出し撮影条件を設定する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２７８３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の技術を採用しても、通常のフレームレートでの撮影の場合、記録するフレーム画像において比較的大きな時間間隔が空くので、撮影環境の変化が激しい場合、その変化に合わせて撮影条件を更新する処理が追いつかなくなる問題があった。
【０００５】
本発明はこのような問題点に鑑みて成されたものであり、記録フレームレートと比較して撮影環境の変化の速度が速い場合でも、追従して撮影条件を更新することができるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の撮像装置は、
撮像手段と、この撮像手段を所定のフレームレートで駆動させ、フレーム画像データを順次出力させる出力手段と、この出力手段によって出力されたフレーム画像データを規則的に間引いて記録用のフレーム画像データを取得する取得手段と、前記間引かれたフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定する設定手段と、を備えることを特徴とする。
【０００７】
また、本発明のプログラムは、
撮像部を備える装置が有するコンピュータを、前記撮像部を第１のフレームレートで駆動させ、フレーム画像データを順次出力させる出力手段と、この出力手段によって出力されたフレーム画像データを規則的に間引いて記録用のフレーム画像データを取得する取得手段と、前記間引かれたフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定する設定手段と、として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、記録フレームレートと比較して撮影環境の変化の速度が速い場合でも、追従して撮影条件を更新することができるようにすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明を適用した実施形態１及び２の撮像装置の概略構成を示すブロック図である。
【図２】実施形態１における図１の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。
【図３】図２の撮像処理を説明するための図である。
【図４】実施形態２における図１の撮像装置による撮像処理に係る動作の一例を示すフローチャートである。
【図５】図４の撮像処理を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について説明する。
［実施形態１］
図１は、本発明を適用した実施形態１及び実施形態２に共通する撮像装置１００の概略構成を示すブロック図である。
実施形態１の撮像装置１００は、被写体の動画像を１つの連続した動画像データとして記録中に、撮像される被写体の状態変化に合わせて当該被写体の撮像条件を調整し、動画像データの記録中に、動画像を記録する際のフレームレートが高速記録フレームレートからこれよりも低速の通常記録フレームレートに切り替えられた場合には、この通常記録フレームレートでの記録中における撮像条件を調整する。
【００１１】
具体的には、図１に示すように、撮像装置１００は、レンズ部１、電子撮像部２、ユニット回路部３、画像生成部４、被写体検出部５、撮像制御部６、画像処理部７、表示制御部８、表示部９、記録媒体制御部１０、操作入力部１１、バッファメモリ１２、プログラ
ムメモリ１３、中央制御部１４等を備えている。
画像生成部４、被写体検出部５、撮像制御部６、画像処理部７、表示制御部８、記録媒体制御部１０、バッファメモリ１２、プログラムメモリ１３、中央制御部１４は、バスライン１５を介して接続されている。
【００１２】
レンズ部１は、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を備え、これらレンズを通過した被写体の光学像を結像するものである。
【００１３】
電子撮像部２は、レンズ部１の光軸上に配置されている。また、電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を撮像フレームレートに応じた所定の周期毎に二次元の画像信号（ＲＧＢ画像データ）に変換して、ユニット回路部３に出力する。
【００１４】
ユニット回路部３は、図示は省略するが、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Auto Gain Control：ゲイン調整アンプ）、ＡＤＣ（Analog to Digital Converter：アナログ／デジタル変換器）等を具備している。このユニット回路部３は、電子撮像部２から出力されて入力される被写体の光学像に応じたアナログの画像信号を記録フレームレートに応じた所定の周期毎にＣＤＳにより保持し、当該画像信号をＡＧＣにより増幅した後、増幅された画像信号をＡＤＣによりデジタルの画像信号に変換する。また、ユニット回路部３は、デジタルの画像信号を画像生成部４に送信する。
【００１５】
このように、レンズ部１、電子撮像部２及びユニット回路部３は、被写体を撮像してフレーム画像データを順次出力する出力手段を構成している。
【００１６】
画像生成部４は、ユニット回路部３から送られてきたデジタルの画像信号からデジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
具体的には、画像生成部４は、所定の周期毎にユニット回路部３から送られてきた各フレーム画像のデジタルの画像データに対して、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理をそれぞれ行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
【００１７】
ここで、撮像装置１００が、動画像を撮像して動画像データとして記録する処理を行う際のフレームレートには、電子撮像部２が動画像を撮像するフレームレートを示す撮像フレームレート、撮像条件調整部６ｃが撮像条件を調整するフレームレートを示す調整フレームレート、および画像生成部が各フレームの画像を生成して動画像データとして記録媒体Ｍに記録するフレームレートを示す記録フレームレートなどがある。この実施形態１においては、撮像フレームレートを１２０ｆｐｓに固定し、調整に用いるフレームや記録に用いるフレームを間引くことで、調整フレームレートや記録フレームレートを３０ｆｐｓ変化させるものとする。
このような動作を行うことで、調整フレームレートや記録フレームレートを切り替える際のフレームのずれなどが発生せず、容易に素早く調整フレームレートや記録フレームレートの切り替えを行うことが可能となる。
【００１８】
上記記録フレームレートは、通常の動画撮影に対応するフレームレート（上記通常記録フレームレート）と、当該通常の動画撮影よりも高速の動画撮影に対応するフレームレート（上記高速記録フレームレート）がある。本実施形態では、通常動画撮影に対応する通常記録フレームレートは３０ｆｐｓであり、高速動画撮影に対応する高速記録フレームレートは、その４倍にあたる１２０ｆｐｓとする。しかし、これら一例であってこれらに限られるものではなく、適宜任意に変更可能である。
そして、画像生成部４は、生成された輝度色差信号の画像データを、被写体検出部５、撮像制御部６及び画像処理部７に出力する。
【００１９】
被写体検出部５は、画像生成部４から出力された各フレーム画像の輝度色差信号の画像データから特定の被写体を検出する。
【００２０】
すなわち、被写体検出部５は、各フレーム画像の画像データ（ＹＵＶデータ）を取得して、当該画像データに対して、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理を行って特定の被写体が含まれる領域（例えば、顔領域等）を検出する。具体的には、被写体検出部５は、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって特定の被写体の候補となる候補領域を抽出し、抽出された候補領域の中で所定の識別条件を満たすものを特定の被写体として検出する。
【００２１】
なお、所定の識別条件としては、例えば、「ヒトの顔」や「動物」などの形状を基準とするものや、画角全体の画像に対する割合（例えば、半分以上であるか）などの大きさを基準とするものや、明度や彩度が高く鮮やかな（派手な）色合いであるか否かや肌色であるか否かなどの色調を基準とするもの等が挙げられる。
また、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２２】
撮像制御部６は、レンズ部１、電子撮像部２、ユニット回路部３等の動作を制御する。
すなわち、撮像制御部６は、例えば、モータ等の駆動源と、この駆動源を駆動するドライバ等（何れも図示略）を備え、レンズ部１のズームレンズやフォーカスレンズを光軸方向に駆動させる。また、撮像制御部６は、例えば、レンズ部１の絞りの拡径や縮径を行う絞り駆動部（図示略）を備え、撮像条件調整部６ｃ（後述）により調整された露出調整条件に応じて絞りの拡径や縮径を行う。
【００２３】
また、撮像制御部６は、例えば、ＴＧ(Timing Generator)、電子撮像部２を駆動するドライバ等（何れも図示略）を備え、撮像フレームレートや撮像条件調整部６ｃにより調整された撮像条件（例えば、露光時間等）に従ってＴＧ及びドライバを介して電子撮像部２の動作タイミングを制御する。また、撮像制御部６は、記録フレームレートに従ってユニット回路部３の動作タイミングを制御する。
【００２４】
すなわち、撮像制御部６は、電子撮像部２を撮像フレームレートや撮像条件（例えば、露光時間等）に従った所定のタイミングで動作させて被写体の光学像をアナログの画像信号に変換させ、ユニット回路部３を所定の記録フレームレート（通常動画撮影に対応する通常記録フレームレート）に従った所定のタイミングで動作させて、電子撮像部２から出力されて入力される被写体の光学像に応じたアナログの画像信号をデジタルの画像信号（フレーム画像）に変換させる。
【００２５】
このとき、ユーザによる操作入力部１１の所定操作に基づいて記録フレームレートの切替指示が入力されると、撮像制御部６は、記録フレームレート設定部６ａ（後述）により切替えて設定された記録フレームレート（高速動画撮影に対応する高速記録フレームレート）に応じた所定の周期毎に、電子撮像部２から出力されて入力される被写体の光学像に応じたアナログの画像信号をユニット回路部３によりデジタルの画像信号（フレーム画像）に変換させる。
【００２６】
また、撮像制御部６は、記録フレームレート設定部６ａと、状態検出部６ｂと、撮像条件調整部６ｃを具備している。
【００２７】
記録フレームレート設定部６ａは、記録フレームレートを設定する。
すなわち、記録フレームレート設定部６ａは、ユニット回路部３の駆動周期に係る記録フレームレートをユーザによる操作入力部１１の所定操作に基づいて設定する。具体的には、通常動画撮影及び高速動画撮影の各々に対応する記録フレームレートのうち、ユーザによる操作入力部１１の選択決定用ボタン１１ｂの所定操作に基づいて指定された記録フレームレートの設定信号を中央制御部１４に出力する。中央制御部１４は、操作入力部１１から出力され入力された設定信号を撮像制御部６に出力し、撮像制御部６の記録フレームレート設定部６ａは、入力された設定信号に応じた記録フレームレートを設定する。つまり、１つの連続した動画像データの記録中に、ユーザによって選択決定用ボタン１１ｂが所定操作されることで、記録フレームレート設定部６ａは、記録フレームレートを通常記録フレームレートと高速記録フレームレートとに切り替えて設定する。
【００２８】
状態検出部６ｂは、被写体の撮像により生成された動画像を構成する複数のフレーム画像に基づいて、被写体の状態を検出する。すなわち、状態検出部６ｂは、画像生成部４から出力された各フレーム画像の輝度色差信号の画像データ（ＹＵＶデータ）に基づいて、各フレーム画像の明るさや色合いを検出する。
具体的には、例えば、フレーム画像の明るさを検出する場合、状態検出部６ｂは、所定の測光方法（例えば、中央重点測光方法、スポット測光方法、平均測光方法、多分割測光方法等）に応じて各フレーム画像の輝度信号（Ｙ）に基づいて当該フレーム画像の明るさを検出する。また、例えば、フレーム画像の色合いを検出する場合、状態検出部６ｂは、各フレーム画像のＹＵＶデータをＨＳＶ色空間の画像データに変換した後、彩度Ｓ及び明度Ｖのヒストグラムから光源（例えば、太陽光、蛍光灯、晴天、曇天等）の色温度に応じたグレー画素推定条件を算出する。そして、状態検出部６ｂは、グレー画素推定条件に基づいて各フレーム画像に含まれるグレー成分を推定する。
【００２９】
このとき、状態検出部６ｂは、各フレーム画像から被写体検出部５により検出された特定の被写体（例えば、人の顔領域等）を基準として各フレーム画像の明るさや色合いの検出を行っても良い。
なお、中央重点測光方法とは、フレーム画像の中央部に重点をおいて測光する測光方法であり、スポット測光方法とは、フレーム画像の所定領域に限定して測光する測光方法であり、平均測光方法とは、フレーム画像全面で測光してその平均値をとる測光方法であり、多分割測光方法とは、フレーム画像を複数の領域に分けてそれぞれ独立して測光する測光方法である。
【００３０】
さらに、状態検出部６ｂは、被写体の撮像により生成された動画像を構成する複数のフレーム画像に基づいて、被写体の鮮明度や、被写体の大きさ検出する。
【００３１】
撮像条件調整部６ｃは、後述する間引かれたフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定する設定手段を構成するものであって、間引かれたフレーム画像データにおける被写体の状態変化に合わせて、撮像制御部６により設定される当該被写体の撮像条件を調整する。すなわち、撮像条件調整部６ｃは、状態検出部６ｂにより検出された被写体の状態に基づいて各種撮影条件を調整する。
この撮影条件とは、例えば、撮像制御部６による自動露出調整処理（ＡＥ）、自動ホワイトバランス調整処理（ＡＷＢ）に係る露出調整条件やホワイトバランス調整条件、オートフォーカス調整処理（ＡＦ）、ズーム処理（ＺＯＯＭ）に係るフォーカス調整条件やズーム調整条件である。
【００３２】
具体的には、自動露出調整処理（ＡＥ）に係る露出調整条件を調整する場合、撮像条件調整部６ｃは、状態検出部６ｂにより検出された被写体の明るさを基準として、所定のプログラム線図に基づいて、レンズ部１における絞りの絞り値、電子撮像部２のシャッター速度やユニット回路のＡＧＣの信号増幅率（ＩＳＯ感度）等を調整する。自動ホワイトバランス調整処理（ＡＷＢ）に係るホワイトバランス調整条件を調整する場合、撮像条件調整部６ｃは、状態検出部６ｂにより検出された被写体のグレー成分の色（色合い）を基準として、フレーム画像の各画素のＲＧＢの各色成分のゲイン量を調整する。
【００３３】
ここで、撮像条件調整部６ｃは、被写体検出部５により検出された特定の被写体（例えば、人の顔領域等）を基準として、露出調整条件及びホワイトバランス調整条件の少なくとも一方を調整しても良い。すなわち、撮像条件調整部６ｃは、例えば、被写体検出部５により検出された人の顔領域の明るさを基準として露出調整条件を調整しても良いし、顔領域の色合いを基準としてホワイトバランス調整条件を調整しても良い。
【００３４】
また、オートフォーカス調整処理（ＡＦ）に係るフォーカス調整条件を調整する場合、撮像条件調整部６ｃは、状態検出部６ｂにより検出された被写体の鮮明度を基準として、所定のプログラム線図に基づいて、レンズ部１におけるフォーカスモータを駆動する。ズーム処理（ＺＯＯＭ）に係るフォーカス調整条件やズーム調整条件を調整する場合、撮像条件調整部６ｃは、状態検出部６ｂにより検出された被写体の大きさに基づいて、レンズ部１におけるズームモータを駆動する。
【００３５】
また、撮像制御部６は、記録フレームレートに応じて撮像条件調整部６ｃによる撮像条件の調整を制限する。具体的には、撮像制御部６は、通常記録フレームレートで動画像を記録する際に、被写体の撮像条件を被写体の状態変化に追従させるように撮像条件調整部６ｃにより逐次調整させる。すなわち、撮像制御部６は、通常動画撮影に対応する記録フレームレートに応じた周期で撮像されるフレーム画像に対して、撮像条件調整部６ｃにより露出調整条件やホワイトバランス調整条件等の被写体の撮像条件を被写体の状態変化に追従させるように逐次調整させる。
【００３６】
画像処理部７は、画像生成部４により生成された画像データ（ＹＵＶデータ）を所定の符号化方式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ方式等）により圧縮・符号化する符号化部（図示略）や、記録媒体制御部１０から読み出された符号化された画像データを当該符号化方式に対応する復号化方式で復号化する復号化部等（何れも図示略）を具備している。
【００３７】
表示制御部８は、バッファメモリ１２に一時的に記憶されている表示用の画像データを読み出して表示部９に表示させる制御を行う。
具体的には、表示制御部８は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、バッファメモリ１２から読み出されてＶＲＡＭ（図示略）に記憶されている動画像を構成する複数のフレーム画像の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示部９に出力する。
【００３８】
表示部９は、液晶表示パネルであり、表示制御部８からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部９は、静止画撮像モードや動画撮像モードにて、電子撮像部２及び撮像制御部６による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部９は、動画として記録中の複数のフレーム画像を表示したり、静止画として記録される画像（レックビュー画像）を表示する。
【００３９】
記録媒体制御部１０は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
具体的には、記録媒体制御部１０は、画像処理部７の符号化部（図示略）により所定の圧縮形式（例えば、Ｍｏｔｉｏｎ−ＪＰＥＧ形式等）で符号化された記録用の画像データ、すなわち、レンズ部１、電子撮像部２及びユニット回路部３により逐次撮像される複数のフレーム画像から構成される被写体の動画像を１つの連続した動画像データとして記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００４０】
操作入力部１１は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮影指示に係り、半押し及び全押し操作可能なシャッタボタン１１ａ、撮像モードや機能等の選択指示に係る選択決定用ボタン１１ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号を中央制御部１４に出力する。
【００４１】
バッファメモリ１２は、画像データ等を一時保存するバッファであるとともに、中央制御部１４のワーキングメモリ等としても使用される。
プログラムメモリ１３には、当該撮像装置１００の機能に係る各種プログラムやデータが格納されている。
【００４２】
中央制御部１４は、撮像装置１００の各部を制御する。具体的には、中央制御部１４は、撮像装置１００の各部を制御するＣＰＵ（図示略）を具備し、各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４３】
次に、撮像装置１００による撮像処理について、図２及び図３を参照して説明する。
【００４４】
図２は、実施形態１における撮像処理に係る動作の一例を示すフローチャートである。また、図３は、撮像処理を説明するための図である。
【００４５】
なお、図３において、１ｓは１秒の時間的長さを示し、１２０ｆｐｓにおける１２０個のフレームは、１ｓ内において３０個ずつのフレームで構成される各フレーム群ｆ１１〜ｆ１４に区分して示している。したがって、各フレーム群ｆの時間的長さは２５０ｍｓｅｃであり、また、各フレーム群ｆはそれぞれ３０枚のフレーム画像を含んでなる。
【００４６】
そして、以下の撮像処理は、ユーザによる操作入力部１１の選択決定用ボタン１１ｂの所定操作に基づいて、複数の撮像モードの中から動画像の撮像モードが選択指示された場合に実行される。また、撮像処理は、動画像の撮像指示が入力されると開始され、動画像の撮像の終了指示が入力されるまで、各ステップの処理を繰り返し実行する。
【００４７】
先ず、撮像制御部６は、電子撮像部２のイメージセンサを図２に示すように、所定の撮像フレームレート（１２０ｆｐｓ）で駆動させて、レンズ部１により結像された被写体の光学像を二次元の画像信号（ＲＧＢ画像データ）に変換させることでフレーム画像の取り込みを行う（ステップＳ１）。
【００４８】
次に、撮像制御部６は、記録フレームレートに応じて処理を分岐させる（ステップＳ２）。具体的には、撮像制御部６は、記録フレームレートが通常記録フレームレート（３０ｆｐｓ）である場合には（ステップＳ２；通常動画撮影フレームレート）、処理をステップＳ３に移行させる一方で、記録フレームレートが高速記録フレームレート（１２０ｆｐｓ）である場合には（ステップＳ２；高速動画撮影フレームレート）、処理をステップＳ９に移行させる。
【００４９】
＜通常動画撮影フレームレート＞
ステップＳ２にて、通常動画撮影に対応する通常記録フレームレート（３０ｆｐｓ）である場合（ステップＳ２；通常動画撮影フレームレート）には、撮像制御部６は、当該通常動画撮影の記録フレームレートに応じて処理対象となるフレーム画像を、所定の撮像フレームレート（本実施形態では１２０ｆｐｓ）で次々と取り込まれるフレーム画像の中から間引いて（この例の場合は、４フレーム群に対して３フレーム群の割合で選択して）実質的に通常記録フレームレートにする。撮像制御部６は、フレーム画像データを規則的に間引いて記録用のフレーム画像データを取得する取得手段として動作する。
【００５０】
電子撮像部２のイメージセンサは、図３に示すように固定的に１２０ｆｐｓの速度で動作しており、これによりイメージセンサから同速度で出力されるフレーム画像のうち、最初の３０フレームからなるフレームｆ１１、ｆ２１．．．〜を記録フレームとして特定する一方、次の３個のフレーム群ｆ１２、ｆ２２．．．〜、ｆ１３、ｆ２３．．．〜、ｆ１４、ｆ２４．．．〜を間引きフレームとして特定する。
【００５１】
続けて、撮像制御部６の状態検出部６ｂは、画像生成部４から出力されて入力された間引きフレームにおける最初のフレームｆ１２、ｆ２２．．．〜に含まれるフレーム画像の輝度色差信号の画像データ（ＹＵＶデータ）に基づいて、撮像制御部６による自動露出調整処理（ＡＥ）を行う（ステップＳ４）。
【００５２】
また、このステップＳ４の処理と並行して、間引きフレームにおける次のフレームｆ１３、ｆ２３．．．〜に含まれるフレーム画像の輝度色差信号の画像データ（ＹＵＶデータ）に基づいて、自動ホワイトバランス調整処理（ＡＷＢ）を行う（ステップＳ５）。
【００５３】
更に、ステップＳ４、Ｓ５の処理と並行して、間引きフレームにおける最後のフレームｆ１４、ｆ２４．．．〜に含まれるフレーム画像より検出された被写体の鮮明度（コントラスト）を基準として、ＡＦ処理を行う（ステップＳ６）。
【００５４】
すなわち、図３において「撮影条件」の欄に記載したように、フレームｆ１２、ｆ２２．．．〜に基づきＡＥ処理が実行され、フレームｆ１３、ｆ２３．．．〜に基づきＡＷＢ処理が実行され、フレームｆ１４、ｆ２４．．．〜に基づきＡＦ処理が実行されて、また更新される。
【００５５】
なお、ステップＳ４〜Ｓ６における検出は、当該処理対象のフレーム画像よりも前に保存されるフレーム画像から検出された特定の被写体（例えば、顔領域等）を基準として行っても良い。
【００５６】
また、ステップＳ４〜Ｓ６の検出処理ほぼ並行処理されるので、処理順序を入れ替えても実質的に影響は無い、この場合には、一の処理対象のフレーム画像から検出された特定の被写体を基準として当該一の処理対象のフレーム画像の明るさや色合い等を検出しても良い。
【００５７】
次に、撮像制御部６の撮像条件調整部６ｃは、ステップＳ４〜Ｓ６での処理によって状態検出部６ｂにより処理された結果に基づき、撮像条件の内容を更新する（ステ
【００５８】
これにより、当該処理対象の間引きフレーム群の直後に保存されるフレーム画像群（図３におけるフレームＦ２１．．．）は、更新後の撮像条件が反映された状態で撮像されたフレーム画像となる。
【００５９】
つまり、本実施形態によれば、ステップＳ４〜Ｓ６での並行処理によりステップＳ７で更新して設定した撮影条件を、ステップＳ８で保存されるフレーム画像データの記録に、確実に反映させることができる。
【００６０】
次に、中央制御部１４は、画像生成部４により生成された当該処理対象のフレーム画像を記録フレーム画像として、当該フレーム画像のＹＵＶデータをバッファメモリ１２に保存させる（ステップＳ８）。つまり、通常動画撮影フレームレートの場合、１２０ｆｐｓで次々と取り込まれるフレーム画像の中から１／４の割合で選択されたフレーム画像が、３０ｆｐｓの記録フレームレートでバッファメモリ１２に保存されることになる。
【００６１】
＜高速動画撮影フレームレート＞
一方、ステップＳ２にて、高速動画撮影に対応する記録フレームレート（１２０ｆｐｓ）である場合（ステップＳ２；高速動画撮影フレームレート）、撮像制御部６は、記録フレームが当該高速動画撮影に対応する記録フレームレートに切り替えられる以前の所定の撮像条件を保持するように撮像条件調整部６ｃにより調整させる（ステップＳ９）。具体的には、撮像制御部６は、記録フレームレートが高速動画撮影に対応する記録フレームレートに切り替えられる前に通常動画撮影に対応する記録フレームレートに応じた周期で撮像されたフレーム画像に対して撮像条件調整部６ｃにより逐次調整されて、所定の格納領域に格納されている露出調整条件やホワイトバランス調整条件等の被写体の撮像条件を保持する。
【００６２】
その後、中央制御部１４は、処理をステップＳ８に移行して、高速動画撮影に対応する記録フレームレートに応じた周期で撮像されて画像生成部４により生成されたフレーム画像を記録フレーム画像として、当該フレーム画像のＹＵＶデータをバッファメモリ１２に保存させる。つまり、高速動画撮影フレームレートの場合、１２０ｆｐｓで次々と取り込まれるフレーム画像を間引くことなく、そのまま１２０ｆｐｓの記録フレームレートでバッファメモリ１２に保存されることになる。
【００６３】
上記の各処理は、動画像の撮像の終了指示が入力されるまで、繰り返し実行される。
【００６４】
そして、動画像の撮像の終了指示が入力されると、記録媒体制御部１０は、バッファメモリ１２に保存された動画像データに対して、当該動画像データの記録開始時に設定された記録フレームレート（この例の場合には３０ｆｐｓ）を記録フレームレート属性として付加して記録媒体Ｍに保存する。
【００６５】
以上のように、実施形態１の撮像装置１００によれば、動画撮影全体を通しては、常に被写体の状態に適した露出やホワイトバランス、フォーカスが維持されるように、撮像条件を調整しながら撮影記録を行いつつ、撮影記録を行って動画像データを記録する。したがって、通常記録フレームレートで撮影を行い、その後これを再生したときに、動画撮影全体を通しては常に被写体の状況に合った適切な露出やホワイトバランス、フォーカスに調整された映像を見ることができる。
【００６６】
すなわち、例えば、フレーム画像全面の明るさを考慮する測光方法で撮像装置１００をパーンさせながら撮像する場合など、主要被写体の状態は変化しないにも拘わらず背景が変化することにより主要被写体の明るさや色合いが変動することを防ぐことができ、その後、動画像を所定の再生フレームレートで再生した際に当該主要被写体の明るさや色合いを適正なものにすることができる。また、主要被写体の明るさを基準とする測光方法で回転する主要被写体を撮像する場合など、当該主要被写体の回転によって変化する光の反射度合いに応じて被写体の撮像条件を変動させないため、その後、動画像を所定の再生フレームレートで再生した際に当該主要被写体の光の反射度合いを適正なものにすることができる。また、主要被写体が動いた場合においても、当該主要被写体にフォーカスがあった適正なものにすることができる。
【００６７】
［実施形態２］
図４は、本発明を適用した実施形態２における撮像処理に係る動作の一例を示すフローチャートである。このフローチャートにおいて、ステップＳ１４〜Ｓ１６を除く、他のステップＳ１１〜Ｓ１３、Ｓ１７〜Ｓ１９は、図２に示した実施形態１のフローチャートにおけるステップＳ１〜Ｓ３、Ｓ７〜Ｓ９と同一のであるので、説明を省略する。
【００６８】
そして、実施形態１のフローチャートとは異なるステップＳ１４では、撮像制御部６の状態検出部６ｂは、画像生成部４から出力されて入力された間引きフレームにおける最初のフレームｆ１２、ｆ２２．．．〜に含まれるフレーム画像の輝度色差信号の画像データ（ＹＵＶデータ）に基づいて、撮像制御部６による自動露出調整処理（ＡＥ）と自動ホワイトバランス調整処理（ＡＷＢ）とを行う（ステップＳ１４）。
【００６９】
また、このステップＳ１４の処理と並行して、間引きフレームにおける次のフレームｆ１３、ｆ２３．．．〜に含まれるフレーム画像より検出された被写体の鮮明度（コントラスト）を基準として、ＡＦ処理を行う（ステップＳ１５）。
【００７０】
更に、ステップＳ１４、Ｓ１５の処理と並行して、間引きフレームにおける最後のフレームｆ１４、ｆ２４．．．〜に含まれるフレーム画像から、状態検出部６ｂにより検出された被写体の大きさ等を認識し、レンズ部１におけるズームレンズ位置を変更する処理を行う。
【００７１】
すなわち、図５において「撮影条件」の欄に記載したように、フレームｆ１２、ｆ２２．．．〜に基づきＡＥ処理、ＡＷＢ処理が実行され、フレームｆ１３、ｆ２３．．．〜に基づきＡＦ処理が実行され、フレームｆ１４、ｆ２４．．．〜に基づきＺＯＯＭ処理が実行されて、また更新される。
【００７２】
したがって、本実施形態によれば、ステップＳ１４〜Ｓ１６で検出し、ステップＳ１７で更新して設定した撮影条件をステップＳ１８で保存されるフレーム画像データの記録に、確実に反映させることができる。
【００７３】
以上のように、実施形態２の撮像装置１００によれば、動画撮影全体を通しては、常に被写体の状態に適した露出やホワイトバランス、フォーカス、ズームが維持されるように、撮像条件を調整しながら撮影記録を行いつつ、撮影記録を行って動画像データを記録する。したがって、通常記録フレームレートで撮影を行い、その後これを再生したときに、動画撮影全体を通しては常に被写体の状況に合った適切な露出やホワイトバランス、フォーカスに調整された映像、主要被写体の大きさが適切な動画を見ることができる。
【００７４】
なお、実施形態においては、ステップＳ４〜Ｓ６又はステップＳ１４〜Ｓ１６で撮影条件に係る処理のみを行い、ステップＳ７又はステップＳ１７での更新により、検出した撮影条件を設定するようにした。しかし、ステップＳ７又はステップＳ１７を別途設けることなく、ステップＳ４〜Ｓ６又はステップＳ１４〜Ｓ１６で撮影条件の検出のみならず、更新による設定を行うようにしてもよい。このようにすれば、更新処理の集中化を回避して分散化がなされ、次回のフレーム画像データの記録タイミングに設定内容について余裕をもって反映させることができる。
【００７５】
更に、実施形態においては、並行した処理とはいえ、最初のフレーム画像からＡＥ処理、ＡＷＢ処理、ＡＦ処理、ＺＯＯＭ処理の順に行った。これはタイミング的に記録フレームに近い間引きフレームを採用して処理をした方が良いケースとその必然性が無いケースとで分けた結果でもあるが、処理に要する時間に基づいて、採用するフレームを変更しても良い。
【００７６】
例えば、ＡＥ処理については記録フレームに近い方の間引きフレームを採用した方が良いとされるが、ＡＷＢ処理については、特に記録フレームとの時間的距離に左右されにくいので、タイミング的にもっとも遠い間引きフレームを採用しても良い。
【００７７】
また、主要被写体の検出処理や認識処理に要する時間やレンズの移動位置の調整時間を考慮すると、ＡＦ処理、ＺＯＯＭ処理については次の記録フレームの取得タイミングよりもできるだけ離れたタイミングの間引きフレームを採用する場合が良いケースもある。
【００７８】
したがって間引きフレームと処理対象となる撮影条件の関係については様々考えられるが何れのケースにおいても記録フレーム以外の間引きフレームを用いて行われる処理であることに変わりは無い。
【００７９】
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願時の特許請求の範囲を付記する。
【００８０】
＜請求項１＞
撮像手段と、
この撮像手段を所定のフレームレートで駆動させ、フレーム画像データを順次出力させる出力手段と、
この出力手段によって出力されたフレーム画像データを規則的に間引いて記録用のフレーム画像データを取得する取得手段と、
前記間引かれたフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定する設定手段と、
を備えることを特徴とする撮像装置。
【００８１】
＜請求項２＞
前記取得手段は時間的に連続する複数のフレーム画像データを規則的に間引き、前記設定手段はこれらのフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定することを特徴とする請求項１記載の撮像装置。
【００８２】
＜請求項３＞
前記設定手段が設定する撮影条件は複数種であるとともに、これらのフレーム画像データの夫々を用いて、前記次の記録用のフレーム画像データの複数種の撮影条件を設定することを特徴とする請求項２記載の撮像装置。
【００８３】
＜請求項４＞
前記撮影条件には、露光時間が含まれることを特徴とする請求項３記載の撮像装置。
【００８４】
＜請求項５＞
前記撮影条件には、色味調整が含まれることを特徴とする請求項３又は４記載の撮像装置。
【００８５】
＜請求項６＞
前記撮影条件には、フォーカスレンズ位置が含まれることを特徴とする請求項３、４又は５記載の撮像装置。
【００８６】
＜請求項７＞
前記撮影条件には、ズームレンズ位置が含まれることを特徴とする請求項３から６にいずれか記載の撮像装置。
【００８７】
＜請求項８＞
撮像部を備える装置が有するコンピュータを、
前記撮像部を第１のフレームレートで駆動させ、フレーム画像データを順次出力させる出力手段と、
この出力手段によって出力されたフレーム画像データを規則的に間引いて記録用のフレーム画像データを取得する取得手段と、              
前記間引かれたフレーム画像データを用いて、次の記録用のフレーム画像データの撮影条件を設定する設定手段と、
として機能させることを特徴とするプログラム。
【符号の説明】
【００８８】
１００  撮像装置
１      レンズ部
２      電子撮像部
５      被写体検出部
６      撮像制御部
６ａ    記録フレームレート設定部
６ｂ    状態検出部
６ｃ    撮像条件調整部
８      表示制御部
９      表示部
１１    操作入力部
１４    中央制御部
１６    動き検出部
【図１】
2014007622.tif 000003
【図２】
2014007622.tif 000004
【図３】
2014007622.tif 000005
【図４】
2014007622.tif 000006
【図５】
2014007622.tif 000007