(57)【要約】【課題】  画質の劣化を抑えながら、撮影指示前後の静止画をより長時間記録する。【解決手段】  撮像手段と、前記撮像手段が出力した画像を動画サイズに変換して動画フレームを生成する動画フレーム生成部と、前記撮像手段が出力した画像を静止画フレームとして出力するか否かを制御する静止画フレーム生成部と、前記動画フレームを解析し、評価値を出力する動画フレーム解析部と、を備え、前記評価値があらかじめ決定しておいた閾値以内でない場合、前記静止画フレーム生成部は静止画フレームの生成を行わないように制御する。【選択図】  図１
2018074217.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段が出力した画像を動画サイズに変換して動画フレームを生成する動画フレーム生成部と、
前記撮像手段が出力した画像を静止画フレームとして出力するか否かを制御する静止画フレーム生成部と、
前記動画フレームを解析し、評価値を出力する動画フレーム解析部と、を備え、
前記評価値があらかじめ決定しておいた閾値以内でない場合、前記静止画フレーム生成部は静止画フレームの生成を行わないように制御することを特徴とする撮像装置。
【請求項２】
前記動画フレーム解析部は、前記動画フレームのコントラスト値を評価値として出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動画フレーム解析部は、前記動画フレームの輝度値を評価値として出力することを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮像手段と、
前記撮像手段が出力した画像を動画サイズに変換して動画フレームを生成する動画フレーム生成部と、
前記撮像手段が出力した画像を静止画フレームとして出力するか否かを制御する静止画フレーム生成部と、
前記動画フレームを圧縮する動画圧縮手段と、
前記静止画フレームを圧縮する静止画圧縮手段と、
静止画撮影準備指示手段と、
静止画撮影開始指示手段と、を備え、
前記静止画撮影準備指示手段と、前記静止画撮影開始指示手段の状態に応じて、前記静止画圧縮手段に対する圧縮率の設定値を変化させることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関する。
【背景技術】
【０００２】
従来、ユーザからの撮影指示前後の画像を記録する技術が知られている。例えば、特許文献１では、動画または連続画をメモリに記憶し、古い動画または連続画を順次更新しながら、操作信号に応じて静止画の撮影を行う技術が開示されている。これによりユーザの撮影指示前後の状況も同時に記録することができる。また、特許文献２では、動画と静止画を同時に撮影可能な撮像装置に関する技術が公開されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−７８１３７号
【特許文献２】特開２００８−６７２２０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献に開示された従来技術では、ユーザの撮影指示前後に記録する画像は、撮影指示した際に取得した画像と比較して画質は劣化してしまう。
【０００５】
一方で、ユーザの撮影指示前後にも常に静止画を記録するとメモリの使用量を圧迫してしまう。特に、動画と静止画を同時に撮影可能な撮像装置では、さらにメモリの使用量が増大する。結果として、ユーザの撮影指示前後に記録する画像は、撮影指示前後の短い時間間隔の画像しか記録できなくなってしまう。
【０００６】
そこで、本発明の目的は、動画と静止画を同時に撮影可能な撮像装置おいて、画質の劣化を抑えながら、撮影指示前後の静止画をより長時間記録することを可能とした撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、撮像手段と、前記撮像手段が出力した画像を動画サイズに変換して動画フレームを生成する動画フレーム生成部と、前記撮像手段が出力した画像を静止画フレームとして出力するか否かを制御する静止画フレーム生成部と、前記動画フレームを解析し、評価値を出力する動画フレーム解析部と、を備え、前記評価値があらかじめ決定しておいた閾値以内でない場合、前記静止画フレーム生成部は静止画フレームの生成を行わないように制御する。
【発明の効果】
【０００８】
本発明によれば動画と静止画を同時に撮影可能な撮像装置おいて、画質の劣化を抑えながら、撮影指示前後の静止画をより長時間記録することを可能とした撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置の構成例を示す図である。
【図２】映像信号処理部の構成例を示す図である。
【図３】撮影処理を説明するフローチャートである。
【図４】静止画取得タイミングを示すタイミングチャートである。
【図５】撮影処理を説明するフローチャートである。
【図６】静止画圧縮率制御を示すタイミングチャートである。
【発明を実施するための形態】
【００１０】
［実施例１］
以下、本発明の実施形態について図１、図２を参照して説明する。図１は本実施形態に係る撮像装置であるカメラ１００の構成例を示したブロック図である。カメラ１００は、被写体の光学像をカメラ１００内の各部へと導くレンズと、該レンズを取り外し可能に設けられたカメラ本体とからなる撮像装置である。尚、本発明が適用される撮像装置はカメラ１００だけではなく、例えば、レンズとカメラ本体とが一体構造となっているような撮像装置であってもよい。
【００１１】
レンズ１０１は、フォーカスレンズやズームレンズなどを含む複数のレンズからなるレンズ群であり、入射した被写体の光学像を撮像素子１０３へと導く。レンズ制御部１４１は、レンズ１０１の駆動制御手段であって、レンズ制御部１４１がレンズ１０１駆動を制御することでズーム、フォーカス、絞りの制御を実行する。また、レンズ１０１は、レンズマウント１０２を介してレンズとカメラ本体とがそれぞれ取り外し可能に設けられている。
【００１２】
撮像素子１０３は、ＣＣＤやＣＭＯＳなどの電荷蓄積型のイメージセンサである。ここで、撮像素子１０３は、レンズ１０１によって導かれた被写体の光学像に応じて、アナログ画像データを出力する。更に、撮像素子１０３は、蓄積した電荷のリセットタイミングを変更することによって、蓄積時間を調整できる。
【００１３】
ＡＦＥ（Analog Front End）１０４では、撮像素子１０３から出力されたアナログ画像データに対して、ゲイン調整、サンプリング、Ａ／Ｄ変換等を行い、デジタル画像データとして画像データを映像信号処理部１２１へと出力する。以上説明した、撮像素子１０３やＡＦＥ１０４などが本実施形態における撮像手段である。
【００１４】
次に、図２を参照して本実施形態に係る映像信号処理部１２１を説明する。同図は映像信号処理部１２１の構成例を示したブロック図である。映像信号処理部１２１は、ＡＦＥ１０４から出力されたデジタル画像データに対して種々の画像処理を実行する。以下、映像信号処理部１２１の内部の構成と各部の動作について説明する。映像信号処理部１２１の内部には、クロップ・リサイズ部２０１、動画現像処理部２０２、フレーム間引き部２０３、静止画現像処理部２０４、メモリインターフェイス２０５、動画エンコード処理部２０６、静止画エンコード処理部２０７、動画フレーム解析部２０８が備えられている。
【００１５】
クロップ・リサイズ部２０１は、ＡＦＥ１０４から出力されたデジタル画像データを動画記録の解像度に合わせて、クロップ処理とリサイズ処理を行い、動画フレームとして出力する。動画現像処理部２０２では、クロップ・リサイズ部２０１より入力された動画フレームに対して、ホワイトバランス、色補間、色補正、γ補正、エッジ強調等の処理を実行する。そして、上述の処理の結果をメモリインターフェイス２０５とバス１５０を介して映像信号処理部１２１の外部に接続されたメモリ１３２へと出力する。
【００１６】
フレーム間引き部２０３では、ＡＦＥ１０４から一定時間間隔で出力されるデジタル画像データを時間的に間引き、静止画フレームとして出力することで、静止画現像処理部２０４への出力間隔を調整する。フレーム間引き部２０３は、静止画現像処理部２０４と、静止画エンコード処理部２０７の処理能力から、あらかじめフレーム間引き間隔を設定してもよいし、静止画現像処理部２０４と、静止画エンコード処理部２０７が処理中の場合に、フレーム間引きを行う構成としてもよい。また、フレーム間引き部２０３は、ＣＰＵ１３１の指示に応じて、静止画フレームの出力を停止する。
【００１７】
静止画現像処理部２０４では、フレーム間引き部２０３より入力された静止画フレームに対して、ホワイトバランス、色補間、色補正、γ補正、エッジ強調、解像度変換等の処理を実行する。そして、上述の処理の結果をメモリインターフェイス２０５とバス１５０を介して映像信号処理部１２１の外部に接続されたメモリ１３２へと出力する。メモリインターフェイス２０５は、バス１５０を介してメモリ１３２と接続されており、メモリ１３２に記憶された映像信号処理部１２１の内部で使用するデータの取得、および出力を行う。
【００１８】
メモリ１３２は本実施形態において使用される種々のデータの記憶と、カメラ１００の撮影処理に応じて出力されるデータの保存をおこなうための記憶部である。動画エンコード処理部２０６は、動画現像処理部２０２が出力したデータをメモリ１３２から読出し、エンコード処理をおこない圧縮動画像データを生成し、メモリ１３２へと結果を出力する。
【００１９】
静止画エンコード処理部２０７は、静止画現像処理部２０４が出力したデータをメモリ１３２から読出し、エンコード処理をおこない圧縮静止画像データを生成し、メモリ１３２へと結果を出力する。また、静止画エンコード処理部２０７は、ＣＰＵ１３１の指示に応じて、圧縮静止画像データの圧縮率を変更することができる。動画フレーム解析部２０８は、クロップ・リサイズ部２０１が出力した動画フレームに含まれる情報を解析し、評価値をメモリインターフェイス２０５とバス１５０を介して映像信号処理部１２１の外部に接続されたメモリ１３２へと出力する。
【００２０】
動画フレームに含まれる情報は、たとえば動画フレームからコントラスト値を取得して評価値とする。コントラスト値から得られた評価値は、動画フレームのＡＦ合焦状態を示す値となる。また、動画フレームから輝度値を取得して、目標とする輝度値との差分を評価値としてもよい。輝度値の差分から得られた評価値は、動画フレームのＡＥ安定状態を示す値となる。あるいは、コントラスト値、輝度値の差分、両方を合わせて評価値としてもよい。以上が本実施形態における映像信号処理部１２１の構成である。
【００２１】
図１に戻り、タイミング発生部１４２は、撮像素子１０３、ＡＦＥ１０４、映像信号処理部１２１それぞれについて、動作のタイミングを制御する。バス１５０には前述した構成部以外にレンズ制御部１４１、電源１１０、メモリ１３２、表示制御部１５１、カード入出力部１７１、そして、各種のスイッチ類が接続される。尚、上述の各種のスイッチ類とは、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、ライブビュー開始／終了ボタン１６４、動画記録開始／終了ボタン１６５、上下左右選択ボタン１６６、決定ボタン１６７である。
【００２２】
電源１１０は、バス１５０を介してカメラ１００の内部に設けられている各回路に電源供給を行う。表示制御部１５１は、バス１５０を介してタイミング発生部１４２からの信号に応じて、メモリ１３２に保存された表示用画像データをＤ／Ａ変換部１５２においてデジタル画像データから表示用のアナログ画像データへと変換する。変換されたアナログ画像データは、液晶表示素子からなるＴＦＴなどの表示部１５３、若しくはＶＩＤＥＯ出力端子１５４、ＨＤＭＩ（登録商標）出力端子１５５などのケーブルを介して外部に設けられた外部表示部（不図示）に表示される。
【００２３】
尚、デジタル画像データが記憶されているメモリ１３２内部の領域をＶＲＡＭと呼ぶ。表示制御部１５１が、メモリ１３２のＶＲＡＭを読み出し前述の処理をおこなうことで、表示部１５３に表示用のアナログ画像データが更新される。そして、上述の動作を連続的におこない表示部１５３に表示画像が更新され続けることによって動画の表示が可能となる。
【００２４】
カードスロット１７２は、例えばＳＤカード等の着脱可能な記録媒体１７３を差し込み可能である。そして、記録媒体１７３は、カードスロット１７２に差し込まれた状態でカード入出力部１７１と電気的に接続される。この状態で、メモリ１３２に記録されている画像データを記録媒体１７３へと記録することが可能である。また、記録媒体１７３の内部に記録されたデータをカメラ１００で読み出すことも可能である。
【００２５】
ＣＰＵ１３１は、バス１５０を介して上述したようなカメラ１００内の各部へと接続されており、カメラ１００内の各部を統括的に制御する制御部である。本実施形態では、ＣＰＵ１３１は、レンズ制御部１４１、タイミング発生部１４２、映像信号処理部１２１、表示制御部１５１に対して、カメラ１００内の各部の制御を指示する。
【００２６】
尚、上述したような制御部や処理部を設けずに、ＣＰＵ１３１がカメラ１００内の各部の駆動を制御するような構成であっても良い。また、ＣＰＵ１３１を設けずに上述した制御部や処理部がそれぞれ連動して制御（処理）をおこなうことでカメラ１００内の各部の駆動を制御するような構成であってもよい。
【００２７】
以下、本実施形態に係る撮像装置であるカメラ１００の基本動作について図１を参照して説明する。まず、ユーザによりメインスイッチ１６１がオンされることで、電源１１０はカメラ１００を構成する各部へと電源を供給する。
【００２８】
次に、カメラ１００を構成する各部へと電源の供給がなされると、撮像素子１０３に、レンズ１０１によって導かれた被写体の光学像が結像される。また、表示部１５３に各種のパラメータを設定するためのグラフィカルインターフェース（以下、ＧＵＩと称する）が表示される。
【００２９】
次に、上下左右選択ボタン１６６、決定ボタン１６７をユーザが操作することによって、ＧＵＩに表示された各種のパラメータの選択と設定を行うことが可能である。次に、ユーザによりライブビュー開始／終了ボタン１６４が押されると、撮像素子１０３から定期的（例えば１秒に６０回）に画像データが取り込まれ、各種処理を実行した後にメモリ１３２のＶＲＡＭへ配置する。これにより、撮像素子１０３から取り込んだ画像データを表示部１５３に逐次表示（ライブビュー）することができる。
【００３０】
同時に、静止画エンコード処理部２０７はメモリ１３２へ圧縮静止画データの蓄積を開始する。メモリ１３２が保持可能な容量を超えた場合、時間的に古い圧縮静止画データを削除しながら、新たな圧縮静止画データの蓄積を行う。尚、ライブビューは釦等により指示するのではなく、メインスイッチ１６１のオンと同時に開始されるような構成であっても良い。
【００３１】
次に、ライブビュー中にユーザが動画記録開始／終了ボタン１６５を押すと、動画の記録が開始または終了される。尚、本実施形態では、ライブビュー中に動画記録開始／終了ボタン１６５を押すことで動画記録の開始または終了をおこなうが、これに限定されるものではない。例えば、ライブビューされていない状態で、動画記録開始／終了ボタン１６５を押すことにより、表示部１５３へのライブビューを開始するとともに動画記録の開始をおこなうような構成でも良い。
【００３２】
次に、第１レリーズスイッチ１６２（以下ＳＷ１）はレリーズボタン（不図示）の第１ストローク（半押し状態）でオンとなり、被写体の撮影準備を開始する。ここで、撮影準備の詳細としては、レンズ制御部１４１によるレンズ１０１の駆動制御によって前述したフォーカス、ズーム、絞りなどの制御を必要に応じて実行する。
【００３３】
次に、第２レリーズスイッチ１６３（以下ＳＷ２）は、レリーズボタン（不図示）の第２ストローク（全押し状態）でオンとなる。この状態で、メモリ１３２に蓄積している圧縮静止画データの保存を停止する。以上が本実施形態におけるカメラ１００の基本動作である。
【００３４】
以下、本実施形態に係る撮影処理を図３に示すフローを参照して説明する。尚、以下のフローにおける各処理の結果は、メモリ１３２に一時的に保存され、必要な際にはメモリ１３２から適宜出力されるものとする。
【００３５】
ＣＰＵ１３１は動画記録開始／終了ボタン１６５の押下を検知すると、ステップＳ１００で動画記録を開始する。撮像素子１０３は画像データの周期的な取得を開始し、ＡＦＥ１０４を介して映像信号処理部１２１に画像データが入力される。
【００３６】
次にステップＳ１０１では、クロップ・リサイズ部２０１によって加工された画像データを動画フレームとして取得する。ステップＳ１０２では、クロップ・リサイズ部２０１が出力した動画フレームから、動画フレーム解析部２０８が評価値を取得し、メモリ１３２に保存する。ステップＳ１０３では、クロップ・リサイズ部２０１が出力した動画フレームから、動画現像処理部２０２と動画エンコード処理部２０６が圧縮動画データを生成し、メモリ１３２に保存する。
【００３７】
ステップＳ１０４では、ＣＰＵ１３１が、あらかじめ規定した時間の間隔に到達したかを判断し、静止画取得フレームであるかを判定する。ステップＳ１０４で静止画取得フレームでないと判断した場合、フレーム間引き部２０３は静止画フレームを出力せず、ステップＳ１０１に戻り、次の動画フレーム取得を行う。ステップＳ１０４で静止画取得フレームであると判断した場合、ステップＳ１０５に進み、ステップＳ１０２で取得した評価値があらかじめ設定した閾値以内かを判定する。
【００３８】
ステップＳ１０５で評価値が閾値以内でないと判定した場合、フレーム間引き部２０３は静止画フレームを出力せず、ステップＳ１０1に戻り、次の動画フレーム取得を行う。ステップＳ１０５で評価値が閾値以内と判定した場合、フレーム間引き部２０３は静止画フレームを出力し、ステップＳ１０６に進む。ステップＳ１０６では、フレーム間引き部２０３が出力した静止画フレームを入力として、静止画現像処理部２０４と静止画エンコード処理部２０７が圧縮静止画データをメモリ１３２に保存する。
【００３９】
ステップＳ１０８では、ＣＰＵ１３１は第２レリーズスイッチ１６３がオンであるかを判定する。第２レリーズスイッチ１６３がオンでなかった場合、ステップＳ１０１に戻り、次の動画フレーム取得を行う。第２レリーズスイッチ１６３がオンだった場合、ステップＳ１０９に進み、静止画エンコード処理部２０７は、圧縮静止画データの生成を終了する。
【００４０】
図４は、上述したフローを連続して行った場合に、保存される圧縮静止画データの取得タイミングを表した図である。既定の間隔で取得する静止画フレームの内、評価値が閾値以内となる静止画フレームは保存され、閾値外となる静止画フレームは保存されない。したがって、上述した本実施形態では、ＡＦの合焦状態、あるいはＡＥの安定状態の高い圧縮静止画データのみがメモリ１３２に保存されるため、静止画としてより品位の高い画像を保持できる。
【００４１】
［実施例２］
以下、本実施形態では、第１実施形態と同様の構成を有し、本実施形態に係る撮影処理を図５に示すフローを参照して説明する。ＣＰＵ１３１は動画記録開始／終了ボタン１６５の押下を検知すると、ステップＳ２００で動画記録を開始する。
【００４２】
次に、ステップＳ２０１では、ＣＰＵ１３１は、静止画エンコード処理部２０７に圧縮率を高圧縮率として設定を行う。高圧縮率の設定値は、圧縮静止画データの保持量とメモリ１３２の全容量、圧縮動画データの保持量から決定する。ステップＳ２０２では、クロップ・リサイズ部２０１によって加工された画像データを動画フレームとして取得する。ステップＳ２０３では、クロップ・リサイズ部２０１が出力した動画フレームから、動画現像処理部２０２と動画エンコード処理部２０６が圧縮動画データを生成し、メモリ１３２に保存する。
【００４３】
次にステップＳ２０４では、ＣＰＵ１３１が、あらかじめ規定した時間の間隔に到達したかを判断し、静止画取得フレームであるかを判定する。静止画取得フレームでないと判断した場合、フレーム間引き部２０３は静止画フレームを出力せず、ステップＳ２０２に戻り、次の動画フレーム取得を行う。ステップＳ２０４で静止画取得フレームであると判断した場合、ステップＳ２０５に進む。
【００４４】
ステップＳ２０５では、フレーム間引き部２０３が出力した静止画フレームを入力として、静止画現像処理部２０４と静止画エンコード処理部２０７が圧縮静止画データをメモリ１３２に保存する。
【００４５】
次に、ステップＳ２０６では、ＣＰＵ１３１が、第２レリーズスイッチ１６３がオンからオフになったかを判定する。第２レリーズスイッチ１６３がオンからオフになっていない場合、ステップＳ２０７に進む。ステップＳ２０７では、ＣＰＵ１３１が、第１レリーズスイッチ１６２がオンであるかを判定する。第１レリーズスイッチ１６２がオンでない場合、ステップＳ２０２に戻り、次の動画フレーム取得を行う。第１レリーズスイッチ１６２がオンの場合、ステップＳ２０８に進む。
【００４６】
ステップＳ２０８では、ＣＰＵ１３１が、第２レリーズスイッチ１６３がオンであるかを判定する。第２レリーズスイッチ１６３がオンだった場合、ステップＳ２１１に進む。ステップＳ２１１では、ＣＰＵ１３１は、静止画エンコード処理部２０７に圧縮率をあらかじめ決定していた圧縮率の下限に設定する。圧縮率の下限は、圧縮静止画データの保持量とメモリ１３２の全容量、圧縮動画データの保持量から決定する。
【００４７】
ステップＳ２０８において、第２レリーズスイッチ１６３がオンでなかった場合、ステップＳ２０９に進み、静止画エンコード処理部２０７に設定している圧縮率があらかじめ決定していた下限となっているかを判定する。圧縮率が下限の場合、ステップＳ２０２に戻り、次の動画フレーム取得を行う。圧縮率が下限でない場合、ステップＳ２１０に進む。ステップＳ２１０では、ＣＰＵ１３１は、静止画エンコード処理部２０７に現在の圧縮率より低い圧縮率を設定する。圧縮率の変更量は、圧縮静止画データの保持量とメモリ１３２の全容量、圧縮動画データの保持量から決定する。圧縮率の設定が完了したら、ステップＳ２０２に戻り、次の動画フレーム取得を行う。
【００４８】
ステップＳ２０６において、第２レリーズスイッチ１６３がオンからオフになっていた場合、ステップＳ２１２に進む。ステップＳ２１２では、ＣＰＵ１３１は、静止画エンコード処理部２０７に現在の圧縮率より高い圧縮率を設定する。圧縮率の変更量は、圧縮静止画データの保持量とメモリ１３２の全容量、圧縮動画データの保持量から決定する。ステップＳ２１３では、クロップ・リサイズ部２０１が出力した動画フレームから、動画現像処理部２０２と動画エンコード処理部２０６が圧縮動画データを生成し、メモリ１３２に保存する。ステップＳ２１４では、静止画エンコード処理部２０７は、圧縮静止画データの生成を終了させる。
【００４９】
図６は、上述したフローを連続して行った場合に、保存される圧縮静止画データの取得タイミングと圧縮率を表した図である。図６（ａ）は第１レリーズスイッチ１６２の押下後、第２レリーズスイッチ１６３の押下までの時間が長い場合のタイミングを表している。図６（ｂ）は第１レリーズスイッチ１６２の押下後、第２レリーズスイッチ１６３の押下までの時間が短い場合のタイミングを表している。
【００５０】
第１レリーズスイッチ１６２と、第２レリーズスイッチ１６３の状態に応じて、圧縮静止画データの圧縮率を変化させることで、メモリ１３２に保存量を削減し、より効率的に圧縮静止画データが保持できる。さらに、ユーザによる操作に圧縮率を連動させることで、ユーザが意図したタイミングの静止画像をより高品位なデータとして保存できる。
【００５１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５２】
１００  カメラ
１０１  レンズ
１０３  撮像素子
１４１  レンズ制御部
１０２  レンズマウント
【図１】
2018074217.tif 000003
【図２】
2018074217.tif 000004
【図３】
2018074217.tif 000005
【図４】
2018074217.tif 000006
【図５】
2018074217.tif 000007
【図６】
2018074217.tif 000008