(57)【要約】【課題】再生すべきではない画面が再生されないようにすることが可能な装置を提供する。【解決手段】動画の記録中における撮影状態を検出し、検出された撮影状態に基づいて、各フレームが再生可能なフレームであるか否かを判別し、再生可能なフレームであるか否かを示す管理情報を生成する手段と、動画と管理情報とを動画ファイルとして記録する手段と、動画ファイルを再生する再生手段と、再生された動画を表示する表示手段と、再生された動画ファイルにおけるヘッダー情報に基づいて、再生された動画における各フレームについて、再生可能なフレームであるか否かを判別し、再生可能でないフレームに代えて、再生可能なフレームを表示するように、表示手段を制御する手段を備える。【選択図】図１
2017199985.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
撮像手段と、
前記撮像手段により出力された動画を記録する手段であって、記録開始の指示に応じて前記動画の記録を開始し、所定時間の動画を記録した後に、自動的に動画の記録を停止する記録手段と、
前記記録手段による動画の記録中に、前記撮像装置の撮影状態を検出し、検出された撮影状態に基づいて、記録中の動画における各フレームが再生可能なフレームであるか否かを判別するとともに、記録された動画の各フレームについて、再生可能なフレームであるか否かを示す管理情報を生成する手段と、
前記動画と前記管理情報とを含む動画ファイルを記録するように前記記録手段を制御する制御手段と、
前記動画ファイルを再生する再生手段と、
前記再生手段により再生された動画を表示する表示手段とを備え、
前記制御手段は、前記再生手段により再生された動画ファイルにおける前記管理情報に基づいて、前記再生手段により再生された動画における各フレームについて、再生可能なフレームであるか否かを判別し、再生可能でないフレームに代えて、再生可能なフレームを表示するように、前記表示手段を制御することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記再生可能でないフレームにもっとも近い、再生可能なフレームを、前記再生可能でないフレームに代えて表示するように、前記表示手段を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記所定時間の動画の先頭のフレームが前記再生可能でないフレームである場合、その前に記録された、所定時間の動画の最終フレームを代わりに表示するように前記表示手段を制御することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記管理情報は、前記所定時間の動画のそれぞれのフレームについて、再生可能なフレームであるか否かを示す１ビットの情報を含むことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、動画や静止画を撮影し、記録する撮像装置が知られている。また、動画記録中に静止画を記録する際に、ストロボ発光をしたら動画の記録を一時停止させ、ストロボが発行されたときの画面が動画に含まれないようにする技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９５０９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、ストロボ発光による画面を記録しないようにするだけである。例えば、撮影中に装置がぶれる等、見苦しい画像が記録された場合にはそのまま再生されてしまう。
【０００５】
本発明は、このような問題を解決し、再生すべきではない画面が再生されないようにすることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明に係る撮像装置は、
撮像手段と、前記撮像手段により出力された動画を記録する手段であって、記録開始の指示に応じて前記動画の記録を開始し、所定時間の動画を記録した後に、自動的に動画の記録を停止する記録手段と、前記記録手段による動画の記録中に、撮像装置の撮影状態を検出し、検出された撮影状態に基づいて、記録中の動画における各フレームが再生可能なフレームであるか否かを判別するとともに、記録された動画の各フレームについて、再生可能なフレームであるか否かを示す管理情報を生成する手段と、前記動画と前記管理情報とを含む動画ファイルを記録するように前記記録手段を制御する制御手段と、前記動画ファイルを再生する再生手段と、前記再生手段により再生された動画を表示する表示手段とを備え、前記制御手段は、前記再生手段により再生された動画ファイルにおける前記管理情報に基づいて、前記再生手段により再生された動画における各フレームについて、再生可能なフレームであるか否かを判別し、再生可能でないフレームに代えて、再生可能なフレームを表示するように、前記表示手段を制御することを特徴とする。
【発明の効果】
【０００７】
本発明に係る撮像装置によれば、再生すべきではない画面が再生されないようにすることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置のブロック図
【図２】三次元加速度センサの配置図
【図３】動画記録中におけるＡＦ動作のフローチャート
【図４】動画記録中におけるＡＥ動作のフローチャート
【図５】動画データ構造の模式図
【図６】動画再生動作のフローチャート
【図７】識別データのレベルを決定するデータテーブル
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態を図面に基づいて説明する。
【００１０】
［実施例１］
図１は本実施形態に係る撮像装置１００の構成を示すブロック図である。
【００１１】
図１において、１１０は変倍レンズ、１１１はカメラのブレを補正するシフトレンズ、１１２は焦点調節用フォーカスレンズ、１１３は後段への光束を遮断するメカニカルシャッタ、１１４は後段への光束を調節する絞りである。１１５は撮像素子、１１６は撮像素子１１５を駆動及び、サンプリングに必要なタイミングパルスを発生するタイミング発生器である。
【００１２】
１１７は撮像素子１１５からの画像信号を処理する画像処理部である。画像処理部１１７は、撮像素子を駆動するための同期信号を発生するＳＳＧ回路や、前処理回路、ＡＦ評価値演算回路、輝度積分回路、信号処理回路、顔検出回路、縮小回路、ラスタブロック変換回路及び、圧縮回路を含む。
【００１３】
ＳＳＧ回路では、タイミング発生器から撮像駆動用のクロックを受けて、水平及び、垂直同期信号を発生し、タイミング発生器と撮像素子に出力する。前処理回路では、入力画像を行単位で輝度積分回路と信号処理回路とに分配する。また、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路では、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストをあらわす所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路では、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。
【００１４】
信号処理回路では、撮像素子出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２３にＹＵＶ形式の画像データを形成する。また、信号処理回路では、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。
【００１５】
縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直方向に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２３がバッファメモリとして用いられて実現される。圧縮回路は、バッファメモリでブロックスキャンデータに変換したＹＵＶ画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。
【００１６】
１１８はメカニカルシャッタ１１３、絞り１１４を制御する露出制御部である。１１９は変倍レンズ１１０、焦点調節レンズ１１２を光軸上に沿って移動させ、被写界像を撮像素子１１５上に結像させるレンズ制御部である。また、角速度センサと加速度センサの出力に応じてシフトレンズを駆動し、画像記録再生装置の手ブレを光学的に補正する。また、１２０は撮影指示を行うレリーズスイッチである。
【００１７】
１２７は入力された音声を音声信号に変換するマイクロフォン、１２８はマイクロフォンの音声出力をデジタル音声信号に変換するＡ／Ｄ変換器、１２９は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する音声処理部である。
【００１８】
システム制御回路１２１は、ＣＰＵ及びメモリ等を含む。システム制御回路１２１は、撮像装置１００の各部を制御するＣＰＵが実行するプログラムは、フラッシュメモリ１２２に記憶されている。１４２は電源となる電池、１３０と１４１は画像記録装置１００と電池１４２とを係合させる接続端子、１４０は画像記録装置１００に電池１４２を保持する電池ＢＯＸである。１３３は画像を記録する記録媒体、１２５と１３２は、画像記録装置１００と記録媒体１３３とを係合させる接続端子、１３４は記録媒体の書き込み禁止スイッチを検出するスイッチ、１２６は記録媒体１３３の着脱を検出する検出スイッチである。
【００１９】
１５０は画像処理部１１７で生成され、メモリ部１２３に記憶された画像データを表示用画像に変換してモニタに転送する再生回路、１５１は表示装置である。再生回路１５０では、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して変調色差成分の周波数成分のみを抽出する。こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、モニタ１５１に出力される。このように、撮像素子からの画像データを逐次処理して表示することによってＥＶＦが実現される。
【００２０】
１８０は画像記録装置の垂直方向のシフトブレ及び、垂直方向の角度ブレを検出するための第一の加速度センサ対、１９０は画像記録装置の水平方向のシフトブレ及び、水平方向の角度ブレを検出するための第二の加速度センサ対である。第一の加速度センサ対は、第一と第二の二次元加速度センサで構成される。また、第二の加速度センサ対は、第三と第四の二次元加速度センサで構成される。
【００２１】
＜ブレ検出の説明＞
図２は加速度センサ対で構成した三次元加速度センサの配置を示したものである。
【００２２】
加速度センサ対を構成する第一から第四の加速度センサは、それぞれ二つの感度軸を持つ。一方が光軸方向に一致するように固定され、他方が垂直方向または、水平方向に一致するように固定されることにより、光軸方向と垂直方向の加速度または、光軸方向と水平方向の加速度を検出する。
【００２３】
第一の加速度センサは光軸の真横に配置され、第二の加速度センサは第一の加速度センサと光軸に対して垂直な同一面上で且つ、第１の加速度センサに対して垂直方向に所定量ずらした位置に配置される。また、第三の加速度センサは光軸の真下に配置され、第四の加速度センサは第三の加速度センサと光軸に対して水平な同一面上で且つ、第三の加速度センサに対して水平方向に所定量ずらした位置に配置される。
【００２４】
第一の加速度センサの出力であるＧ１信号及び、第二の加速度センサの出力であるＧ２信号は、システム制御回路１２１に入力される。システム制御回路１２１は入力されるＧ１信号とＧ２信号の差を時間軸方向に積分し、光軸に対して垂直方向の角度ブレ量と光軸方向の角度ブレ量を得る。また、Ｇ１信号及び、Ｇ２信号を時間軸方向に積分し、光軸に対する垂直方向のシフトブレ量を検出する。同様に、第三の加速度センサの出力であるＧ３信号及び、第四の加速度センサの出力であるＧ４信号は、システム制御回路１２１に入力され、水平方向の角度ブレ量と光軸方向の角度ブレ量及び、シフトブレ量を検出する。
【００２５】
＜ＡＦ動作の説明＞
図３は記録待機時（ライブビュー表示）、及び、動画記録中におけるＡＦ（自動焦点調節）動作のフローチャートである。
【００２６】
図３のフローチャートを用いて、本実施例に係わるＡＦ動作を説明する。この動作もシステム制御回路１２１がフラッシュメモリ１２２に記憶されたプログラムをロードして実行することで実現する。
【００２７】
システム制御回路１２１のＣＰＵは、動作撮影記録を開始し（Ｓ３００）、定期的な評価値による合焦率判定を行う（Ｓ３０１）。合焦率が低いと判断された場合には、撮像に同期してフォーカスレンズを等速で移動する（Ｓ３０２）。最初の先頭行の露光が完了すると（Ｓ３０３）、後述する該当フレームＩＤのイメージプロパティ（画像情報）を取得し（Ｓ３０４）、評価値の積分を行う（Ｓ３０５）。焦点距離に応じた評価値サンプリング数分のスキャンが終了したかを判定し（Ｓ３０６）、スキャンが終了すると、上段、中段、下段それぞれの評価値枠の重心時刻を求める（Ｓ３０７）。
【００２８】
各評価値枠の重心時刻にフォーカスレンズの位置を対応付け（Ｓ３０８）、所定のアルゴリズムで最も焦点の合った位置（合焦位置）にフォーカスレンズを移動させる（Ｓ３０９）。これらを動画記録が終了するまで続ける（Ｓ３１０）。ＡＦ動作期間において、ＡＦ用のプログラムは評価用のデータを後述するイメージプロパティに出力する。
【００２９】
＜輝度レベル変化の説明＞
図４は記録待機時、及び、動画記録中におけるＡＥ（自動露出制御）動作のフローチャートである。
【００３０】
図４のフローチャートを用いて、本実施例に係わるＡＥ動作を説明する。この動作もシステム制御回路１２１がフラッシュメモリ１２２に記憶されたプログラムをロードして実行することで実現する。
【００３１】
システム制御回路１２１のＣＰＵは、動画撮影記録を開始し（Ｓ４００＝Ｓ３００）、画像処理部１１７の輝度積分回路に対し、入力画像を複数領域に分割し、領域毎に輝度成分を生成するための設定を行う（Ｓ４０１）。初期の露出制御を行い（Ｓ４０２）、この露出制御下での輝度積分が完了するのを待つ（Ｓ４０３）。輝度積分が完了すると、分割した領域毎の積分結果の評価演算を行い、適正露出からのずれ量を共に被写界輝度を求める（Ｓ４０４）。
【００３２】
求められた被写界輝度に適合する露出制御値に基づいて次の露光タイミングの露出制御を行う（Ｓ４０５）。これらを動画記録が終了するまで続ける（Ｓ４０６）。ＡＥ動作において、ＡＥ用のプログラムは積分結果から求めた適正露出からのずれ量をＢｖ値として後述するイメージプロパティに出力する。
【００３３】
＜動画記録の説明＞
動画記録を行うため、システム制御回路１２１は予めプログラミングされた動画記録時の撮影を制御するための同期信号パターンを画像処理部１１７のＳＳＧ回路に設定する。ＳＳＧ回路は、タイミング発生回路１１６のクロックに基づいて、水平及び、垂直同期信号を出力する。撮像素子１１５は、これらの同期信号に基づいて生成されるタイミング発生器１１６の出力にしたがって駆動され、連続的に撮像して得られたデジタル画像データが画像処理部に取り込まれる。
【００３４】
取り込まれた画像データは順次、先に説明した画像処理を受けて、表示用のＹＵＶデータと動画記録用のＹＵＶデータに変換される。圧縮部では、動画記録用のＹＵＶデータを圧縮して動画ビットストリームを出力する。システム制御回路１２１は、動画ビットストリームと音声ビットストリームから記録用の動画データをメモリに逐次蓄積しながら、順次記録媒体に記録する。
【００３５】
本実施形態では、動画記録時において、ユーザーによる動画の記録開始の指示に応じて動画の記録を開始し、所定時間、例えば４秒分の動画と音声とを記録した後、自動的に記録を停止する。この、１回の記録指示により記録される一連の動画をチャプターと呼ぶ。１チャプターが一つの動画ファイルとして記録され、それぞれの動画ファイルに対し、ヘッダーが付加される。
【００３６】
動画ビットストリームは、ヘッダー部と画像１５フレームを単位とするＧＯＰ（Group Of Picture）の集合で構成される。図５は本実施例の動画ビットストリームのデータ構造を示した模式図で、４秒毎に一つのチャプターを形成するような動画データを表している。それぞれのチャプターの先頭部にはヘッダーが構成される。
【００３７】
システム制御回路１２１は、動画の記録時において取得した動画撮影時情報を基に動画の各フレームについて、再生すべき画面であるか否かを判定する。そして、その判定結果を示す管理情報をヘッダーに格納する。このヘッダーは４秒動画のフレーム数分のデータサイズ、つまり１５バイト（１２０ビット）のデータ量をもっており、ビット０からビット１１９はフレーム０からフレーム１１９に対応したデータを保持している。即ち、管理情報の１ビットが各フレームが再生可能であるか否かを示している。動画記録時に取得した動画撮影時情報から再生可能でない（再生不可）フレームであると判定された場合には、フレームに対応したビットを例えば１に設定する。
【００３８】
動画撮影時情報とは、輝度変化レベル、ピントずれレベル、垂直方向のブレ量を時間軸方向に積分した垂直方向の振動レベルを含む。また、水平方向のブレ量を時間軸方向に積分した水平方向の振動レベル、垂直方向の角度ブレを時間軸方向に積分した垂直方向の回転レベルを含む。また、水平方向の角度ブレを時間軸方向に積分した水平方向の回転レベル、光軸方向の角度ブレを時間軸方向に積分した光軸方向の回転レベルを含む。
【００３９】
システム制御回路１２１は、その動画撮影時情報を図７に示すデータテーブルを基にグレードに変換する。そして、グレードの表の確固内の数字をそのグレードが割り当てられた項目数分乗算し、その値を最後に加算する。例えば、動画撮影時情報の７項目の内、５項目がグレード１、１項目がグレード２、１項目が３だった場合は、
５０×５＋４０×１＋３０×１＝３２０
のように求めることができる。
【００４０】
算出した値が設定した閾値よりも大きい場合には、そのフレームを再生不可のフレームとし、上述したように記録する。
【００４１】
＜動画再生時の動作＞
図６は動画再生時の動作を示すフローチャートである。
【００４２】
図６のフローチャートを用いて、本実施例に係わる動画再生の動作を説明する。この動作もシステム制御回路１２１がフラッシュメモリ１２２に記憶されたプログラムをロードして実行することで実現する。
【００４３】
図７の再生メインフローでは、まず記録媒体１３３に記録された動画のヘッダー部の管理情報をシステム制御回路１２１が読み出してメモリ部１２３に記憶し、その情報を読み込む（Ｓ６０１）。次に再生されるフレームが再生不可フレームかどうかを判定する（Ｓ６０２）。前述したように、再生不可フレームの場合、対応するフレームの管理情報のビットが１になっている。例えば、先頭フレームに対応する管理情報のビット０が１だった場合、先頭フレームが再生不可フレームであることを意味している。
【００４４】
再生不可フレームでない場合は、再生されたフレームをそのまま表示する（Ｓ６０３）。一方、再生不可フレームである場合、先頭フレームか否かを判別する（Ｓ６０５）。先頭フレームである場合、チャプターナンバーを確認し、直前に関連するチャプターがあるかどうかを確認する（Ｓ６０６）。チャプターナンバーが２以上の場合、そのチャプターの直前のチャプターの最終フレームを、再生不可のフレームの代わりに表示する（Ｓ６０７）。もし、直前の最終フレームが再生不可のフレームであった場合には、その最終フレームよりも前の再生可能なフレームを代わりに表示する。
【００４５】
チャプターナンバーが１であった場合、再生不可フレームの直近の再生可フレームを表示する（Ｓ６０８）。ここでは、チャプターの先頭フレームが再生不可であるので、次のフレームを再生し、代わりに表示する。また、Ｓ６０５で、チャプターの先頭フレームでない場合には、再生不可フレームより前にある再生可のフレームを代わりに表示する（Ｓ６０９）。
【００４６】
このように１フレームについての表示を行い、残りのフレームがあるか、或いは、再生停止が指示されたか否かを判別する（Ｓ６０４）。再生停止の指示がなく、また、残りのフレームがある場合、次のフレームを選択して（Ｓ６１０）、Ｓ６０２に戻る。全フレームの再生が終わると動画再生を終了する。
【００４７】
グレード判定を行うプログラムは、予め再生基準グレードを予め決定している。再生基準グレードの設定の詳細説明は割愛するが、表示装置にＧＵＩ表記などして、ユーザーに操作部材でグレードを選択されることも可能である。ユーザーが設定しない場合には、プログラムが記憶するデフォルトのグレードが選択される。
【００４８】
尚、本実施例では、記録時に再生可能なフレーム、或いは可能でないフレームを判定した情報をヘッダー部に保存し、再生時に再生不可のフレームに代えて再生可能なフレームを表示した。記録時に動画撮影時情報をそのまま記録し、再生時に特長要素毎にグレード選択設定して、振動や回転のひどい動画フレームだけを再生不可動画フレームと判定してもよい。また、ピントの甘い動画フレームだけを再生不可動画フレームと判定し、再生時のフレーム選択に幅を持たせてもよい。煩わしい編集なしの動画記録についても同様である。
【００４９】
以上のように、記録時にフレーム毎の特徴から画像の品位を特徴付けるデータを抽出して記録することにより、再生時に不要と思われるフレームに代えて別のフレームを表示することが可能となる。また、同様にして煩わしい編集作業することなく快適な動画のみで構成されるファイルを記録しなおすことが可能となる。更に、快適な動画を決定付けるレベルを使用者が容易に決定し、再生若しくは、動画として残したいシーンを選択できる。
【００５０】
即ち、本実施形態では、撮像手段と、撮像手段により出力された動画を記録する手段であって、記録開始の指示に応じて動画の記録を開始し、所定時間の動画を記録した後に、自動的に動画の記録を停止する記録手段とを備える。また、本実施形態では、動画の記録中における撮影状態を検出し、検出された撮影状態に基づいて、記録中の動画における各フレームが再生可能なフレームであるか否かを判別する。また、記録された動画の各フレームについて、再生可能なフレームであるか否かを示す管理情報を生成する。また、動画と管理情報とを動画ファイルとして記録する。
【００５１】
また、本実施形態では、動画ファイルを再生する再生手段と、再生された動画を表示する表示手段とを備える。更に、再生手段により再生された動画ファイルにおけるヘッダー情報に基づいて、再生手段により再生された動画における各フレームについて、再生可能なフレームであるか否かを判別する。そして、再生可能でないフレームに代えて、再生可能なフレームを表示する。
【００５２】
また、本実施形態では、前記再生可能でないフレームにもっとも近い、再生可能なフレームを、再生可能でないフレームに代えて表示する。
【００５３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５４】
１１０  変倍レンズ、１１１  シフトレンズ、１１２  焦点調節用フォーカスレンズ、
１１３  メカニカルシャッタ、１１４  絞り、１１５  撮像素子、
１１６  タイミング発生器
【図１】
2017199985.tif 000003
【図２】
2017199985.tif 000004
【図３】
2017199985.tif 000005
【図４】
2017199985.tif 000006
【図５】
2017199985.tif 000007
【図６】
2017199985.tif 000008
【図７】
2017199985.tif 000009