(57)【要約】      （修正有）【課題】主要被写体に注目した映像効果を付与した静止画付き動画を撮影する。【解決手段】被写体光を撮像する撮像素子６と、撮像信号に基づきスルー画像を表示する表示部１２と、複数のフレーム画像を順次記憶すると共に、複数のフレーム画像の何れかに対応する静止画像を記憶する記憶部８と、記憶部に記憶された複数のフレーム画像に基づいて、記憶部に単位時間に記憶されるフレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像を生成する動画像生成部５ｂと、表示部におけるタッチ位置を検出するタッチパネル１４と、タッチパネルにおけるタッチの検出に基づいて主要被写体を認識する主要被写体認識部と、主要被写体認識部において認識された主要被写体の表示部の画面の大きさに占める面積の割合に基づいて、スローモーション動画像に異なる映像効果を付与する画像処理部５ｂとを備える。【選択図】図１
2015043490.tif 000002
【特許請求の範囲】
【請求項１】
被写体光を撮像する撮像素子と、
前記撮像素子からの撮像信号に基づきスルー画像を表示する表示部と、
前記撮像素子からの撮像信号に基づく複数のフレーム画像を順次記憶すると共に、前記複数のフレーム画像の何れかに対応する静止画像を記憶する記憶部と、
前記記憶部に記憶された前記複数のフレーム画像に基づいて、前記記憶部に単位時間に記憶される前記フレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像を生成する動画像生成部と、
前記表示部におけるタッチ位置を検出するタッチパネルと、
前記タッチパネルにおけるタッチの検出に基づいて主要被写体を認識する主要被写体認識部と、
前記主要被写体認識部において認識された前記主要被写体の前記表示部の画面の大きさに占める面積の割合に基づいて、前記スローモーション動画像に異なる映像効果を付与する画像処理部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記映像効果は、画像のズーム、画像のぼかし、カラーセレクト、ブラックアウト、ホワイトアウトの何れかであることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記主要被写体認識部は、前記タッチパネルにおけるタッチ位置に基づいて前記主要被写体の認識を行うことを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記主要被写体認識部は、前記タッチパネルにおけるタッチに基づき顔認識処理を行うことを特徴とする請求項１または２記載の撮像装置。
【請求項５】
前記記憶部は、前記複数のフレーム画像を順次記憶している際に、前記タッチパネルによるタッチを検出した場合には、前記主要被写体認識部により認識された主要被写体に合焦させた静止画像を記憶することを特徴とする請求項１〜請求項４の何れか一項に記載の撮像装置。
【請求項６】
前記記憶部は、前記タッチパネルによるタッチ検出により、前記複数のフレーム画像の順次記憶を開始する場合には、前記タッチパネルにより検出されたタッチ位置に合焦させた前記複数のフレーム画像を記憶することを特徴とする請求項１〜請求項５の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を記録可能な撮像装置に関するものである。
【背景技術】
【０００２】
従来、静止画撮影時に撮影前後の短時間の映像をスローモーション動画として静止画と共に記録する、動画付き静止画記録機能を備えた撮像装置が存在する（例えば、特許文献１参照）。また従来、背面液晶モニタと重ねてタッチパネルを搭載し、ユーザのタッチ動作により撮影を行うことのできる撮像装置が存在する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−０７８１３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の動画付き静止画記録機能を備えた撮像装置によれば、自動的に映像効果を付与したりＢＧＭを付けることにより、ユーザが手軽に映像表現を楽しむことができる。
【０００５】
しかしながら、記録される映像としては、撮影時の映像そのままのものや、撮像装置が予め保持している映像効果パターンに沿った効果が付与されたものにとどまっていた。
【０００６】
本発明の目的は、主要被写体に注目した映像効果を付与した静止画付き動画を撮影することができる撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、被写体光を撮像する撮像素子と、前記撮像素子からの撮像信号に基づきスルー画像を表示する表示部と、前記撮像素子からの撮像信号に基づく複数のフレーム画像を順次記憶すると共に、前記複数のフレーム画像の何れかに対応する静止画像を記憶する記憶部と、前記記憶部に記憶された前記複数のフレーム画像に基づいて、前記記憶部に単位時間に記憶される前記フレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像を生成する動画像生成部と、前記表示部におけるタッチ位置を検出するタッチパネルと、  前記タッチパネルにおけるタッチの検出に基づいて主要被写体を認識する主要被写体認識部と、前記主要被写体認識部において認識された前記主要被写体の前記表示部の画面の大きさに占める面積の割合に基づいて、前記スローモーション動画像に異なる映像効果を付与する画像処理部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明の撮像装置によれば、主要被写体に注目した映像効果を付与した静止画付き動画を撮影することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係る電子カメラのシステム構成を示すブロック図である。
【図２】実施の形態に係るスローモーション動画像を撮影する際のバッファメモリ記憶時のフレームレート及び記録媒体記録時のフレームレートを説明するための図である。
【図３】実施の形態に係るスローモーション動画像の撮影処理を示すフローチャートである。
【図４】実施の形態に係るスローモーション動画像に付与する映像効果を示す図である。
【図５】実施の形態に係るスローモーション動画像に付与する映像効果を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態に係る撮像装置としての電子カメラについて説明する。図１は、実施の形態に係る電子カメラのシステム構成を示すブロック図である。図１に示すように電子カメラ２は、マイクロプロセッサ等により構成され、電子カメラ２の各部を統括的に制御する制御部４を備えている。制御部４は、映像信号処理回路５を有し、映像信号処理回路５は、後述する表示部１２において表示されるスルー画像データを生成するスルー画像生成部５ａ、動画像データを生成する動画像生成部５ｂ及び静止画像データを生成する静止画像生成部５ｃを有している。また、制御部４には、撮像素子６、バッファメモリ８、記録媒体１０、表示部１２及びタッチパネル１４が接続されている。
【００１１】
撮像素子６は、ＣＣＤまたはＣＭＯＳ等により構成され、図示しない撮影レンズを介した被写体からの光を撮像し、バッファメモリ８は、撮像素子６から出力され、図示しないＡ／Ｄコンバータを介すことによりアナログ信号からデジタル信号に変換された撮像信号に基づく画像データを一時的に記憶する。
【００１２】
また、バッファメモリ８は、電子カメラ２が例えば、後述のスローモーション動画像（以下、スロー動画像という。）を撮影するスローモーション動画像撮影モードに設定されている場合には、撮像素子６から動画像サイクル（６０ｆｐｓ等）に同期して出力される撮像信号に基づく複数の画像データ、即ちスロー動画像を構成する複数のフレーム画像を順次記憶する。なお、この実施の形態において、バッファメモリ８には、ＱＦＨＤ（Ｑｕｏｄ  Ｆｕｌｌ  Ｈｉｇｈ  Ｄｉｆｉｎｉｔｉｏｎ：３８４０×２１６０ピクセル）規格の画素数を有するフレーム画像、即ち高解像度のフレーム画像がＦＩＦＯ（ｆｉｒｓｔ  ｉｎ  ｆｉｒｓｔ  ｏｕｔ）方式で順次記憶される。
【００１３】
具体的には、バッファメモリ８が例えばｎ枚（ｎは自然数）のフレーム画像を記憶可能な記憶領域を有している場合において、制御部４は図２（ａ）に示すように、１番目に取得したフレーム画像Ｆ1、２番目に取得したフレーム画像Ｆ2…ｎ番目に取得したフレーム画像Ｆnを順次、バッファメモリ８内に記憶させる。そして、ｎ枚のフレーム画像Ｆ1〜Ｆnを記憶した後、次のフレーム画像Ｆn+1が撮像素子６から出力されると、バッファメモリ８内から最古のフレーム画像Ｆ1を削除し、最新のフレーム画像Ｆn+1を記憶させ、次のフレーム画像が撮像素子６から出力される度に、最古のフレーム画像を削除し、最新のフレーム画像を記憶させる処理を繰り返す。
【００１４】
即ち、バッファメモリ８は、ｎ個の記憶領域（フレーム画像を順に記憶するための記憶領域）を有しており、１番目のフレーム画像Ｆ1をアドレス番号（ｎ−１）の記憶領域に、２番目のフレーム画像Ｆ2をアドレス番号（ｎ−２）の記憶領域に、…ｎ番目のフレーム画像Ｆnをアドレス番号０の記憶領域に順次記憶する。そして、ｎ個の記憶領域全部にフレーム画像Ｆ1〜Ｆnが記憶され、次のフレーム画像Ｆn+1が撮像素子６から出力されると、アドレス番号（ｎ−１）の記憶領域のフレーム画像（即ち最古のフレーム画像）Ｆ1が削除され、フレーム画像Ｆ2〜Ｆnのそれぞれを、アドレス番号（ｎ−２）〜０の記憶領域からアドレス番号（ｎ−１）〜１の記憶領域に移動させ、（ｎ＋１）番目のフレーム画像（即ち最新のフレーム画像）Ｆn+1は、アドレス番号（０）の記憶領域に記憶される。よって、アドレス番号（０）の記憶領域には常に最新のフレーム画像が記憶され、アドレス番号が大きくなるに従い、順次古いフレーム画像が記憶され、アドレス番号０の記憶領域には常に最新のフレーム画像が記憶される。
【００１５】
記録媒体１０は、電子カメラ２に設けられたカードスロット（図示せず）に着脱可能に装着される可搬性を有する記録媒体であり、例えば、ＣＦカード、ＳＤカード、スマートメディア等が用いられる。記録媒体１０には、バッファメモリ８に記憶されているフレーム画像のそれぞれに、制御部４内の動画像生成部５ｂにより動画像用の解像度へのリサイズ（解像度大から小へ）処理、動画像用の画像処理、映像効果付与処理及び動画像用の圧縮処理を施すことにより作成される動画像データやスローモーション動画像データが記録される。また、記録媒体１０には、バッファメモリ８に記憶されているフレーム画像に、制御部４内の静止画像生成部５ｃにより静止画像用の画像処理、静止画像用の圧縮処理を施すことにより作成される静止画像データや、撮影に関する情報等が記録される。
【００１６】
表示部１２は、電子カメラ２の背面部に配置されるＬＣＤ等により構成されるモニタまたはＥＶＦ等により構成され、スルー画生成部５ａにより生成されたスルー画像、記録媒体１０に記録されている動画像データに基づく動画像、スローモーション動画像データ（以下、スロー動画像データという。）に基づくスロー動画像、静止画像データに基づく静止画像、及び撮影に関する情報等を表示する。
【００１７】
タッチパネル１４は、表示部１２上に表示部１２と同程度の大きさで配置され、操作者の指が表示部１２の画面上に触れるのを検知する。このタッチパネル１４を用いて、動画像を撮影する動画像撮影モードやスロー動画像を撮影するスローモーション動画像撮影モード等の撮影モードの設定、動画像や静止画像の撮影の開始指示、記録媒体１０に記録された動画像データや静止画像データを表示部１２に表示させる再生指示等を行う。
【００１８】
この実施の形態に係る電子カメラ２では、撮像素子６から出力され、バッファメモリ８に単位時間に記憶されるフレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスロー動画像データを生成すると共に、スロー動画像データを形成する各フレーム画像データに主要被写体の表示画面に占める大きさに基づき選択された、異なる映像効果の付与を行い、かつ該スロー動画像データを形成する複数のフレーム画像の少なくとも１つのフレーム画像に基づく静止画像データを生成し、映像効果を付与したスロー動画像データ及び静止画像データを互いに関連付けて記録媒体１０に記録する。
【００１９】
以下、図３に示すフローチャートを参照して、この実施の形態に係る電子カメラ２において静止画像付きスロー動画像を撮影する際の処理について説明する。
【００２０】
なお、この実施の形態では、静止画撮影指示の入力時から第１所定時間前までの間にバッファメモリ８に記憶された複数のフレーム画像、及び静止画像データとなるフレーム画像がバッファメモリ８に記憶された時から第２所定時間後までの間にバッファメモリ８に記憶された複数のフレーム画像に基づいて、スロー動画像データを生成する。即ち、所定時間（第１所定時間＋第２所定時間）の間にバッファメモリ８に記憶された複数のフレーム画像に基づいてスロー動画像データを生成し、第１所定時間終了時（第２所定時間開始時）にバッファメモリ８に記憶されたフレーム画像に基づいて静止画像データを生成する。なお、所定時間（例えば２秒等）、第１所定時間（例えば１．２秒等）、及び第２所定時間（例えば０．８秒等）は、予め設定され、図示しないメモリ等に記憶されており、変更可能に構成されている。
【００２１】
ユーザがタッチパネル１４を操作することによりスローモーション動画像撮影モードが設定されると、制御部４は、スロー動画像及び静止画像を撮影するためのスローモーション動画像撮影モードに移行する（ステップＳ１）。これにより表示部１２においては、スルー画像生成部５ａにより生成されたスルー画像データに基づくスルー画の表示が開始される。
【００２２】
制御部４は、タッチパネル１４においてユーザによる１度目のタッチ（１ｓｔタッチ）が検出された場合に（ステップＳ２）、スロー動画像データの生成指示がなされたと判断し、スルー画像内の主要被写体を検出し、主要被写体に対して合焦するように、図示しないフォーカスレンズ等を駆動する。なお、主要被写体の検出は、スルー画像内に人の顔の画像が含まれている場合には、顔認識処理を行うことにより主要被写体の検出を行い、スルー画像内に人の顔の画像が含まれていない場合には、表示画面の中央付近に存在する被写体を認識することにより主要被写体の検出を行う。そして制御部４は、主要被写体に対して合焦した状態でバッファメモリ８へのバッファリング、即ちフレーム画像の取り込みを開始する（ステップＳ３）。
【００２３】
具体的には、上述したように撮像素子６から動画像サイクルに同期して出力される撮像信号に基づく複数のフレーム画像Ｆ1…Ｆn…（図２参照）の、バッファメモリ８内の所定のアドレスへの記憶を開始する。
【００２４】
次に、第１所定時間経過後であって、バッファメモリ８へのフレーム画像の記憶を繰り返している最中に、タッチパネル１４においてユーザによる２度目のタッチ（２ｎｄタッチ）が検出された場合に（ステップＳ４）、制御部４は、静止画像データの生成を指示する静止画像撮影指示が入力されたと判断し、２ｎｄタッチのタッチ位置に基づいて、スルー画像内の主要被写体を検出し（ステップＳ５）、主要被写体に対して合焦するように、図示しないフォーカスレンズ等を駆動する。即ち２ｎｄタッチの位置がスルー画像に含まれる人の顔の位置である場合には、顔認識処理を行うことにより主要被写体の検出を行い、２ｎｄタッチの位置が風景の一部である場合には、タッチ位置に存在する被写体を認識することにより主要被写体を検出する。そして第２所定時間の計測を開始する。
【００２５】
次に、第２所定時間が経過すると制御部４は、バッファメモリ８へのバッファリングを終了する（ステップＳ６）。このとき、バッファメモリ８には図２（ａ）に示すように、静止画像撮影指示の入力時ＴＳから第１所定時間前までの間の（ｎ−ｐ）枚（ｐは自然数、ｎ＞ｐ）のフレーム画像Ｆ2〜Ｆ5…、及び静止画撮影指示の入力時ＴＳから第２所定時間後までの間のｐ枚のフレーム画像…Ｆn，Ｆn+1が記憶されている。これらｎ枚のフレーム画像Ｆ2〜Ｆn+1は、後述するスロー動画像データの生成に用いられる。
【００２６】
次に、制御部４は、静止画撮影指示の入力時ＴＳにバッファメモリ８に記憶されたフレーム画像をバッファメモリ８から読み出す。そして、読み出されたフレーム画に含まれている主要被写体の表示画面に占める面積が所定の割合よりも大きいか否かの判別を行う（ステップＳ７）ここで。フレーム画に含まれている主要被写体の表示画面に占める面積が所定の割合よりも大きいと判別された場合には、主要被写体を除く画像についてぼかし処理を行う映像効果を選択（第１の映像効果選択）する（ステップＳ８）。一方、フレーム画に含まれている主要被写体の表示画面に占める面積が所定の割合よりも大きくない判別された場合には、主要被写体に対してズームイン処理を行う映像効果を選択（第２の映像効果選択）する（ステップＳ９）。
【００２７】
次に、制御部４は、バッファメモリ８に記憶されている複数のフレーム画像に基づいて、映像効果を付与したスロー動画像データの生成処理及び静止画像データの生成処理を実行する（ステップＳ１０）。
【００２８】
まず、スロー動画像データの生成処理について説明する。制御部４は、第１フレームレートより少ない第２フレームレート（例えば第１フレームレートの１／２．５である２４フレーム／秒等）で、フレーム画像をバッファメモリ８から読み出す。即ち、図２（ａ）に示すように、時間Ｔ1（例えば１／６０秒等）でバッファメモリ８に記憶されているフレーム画像Ｆ2を、図２（ｂ）に示すように、時間Ｔ2（例えば１／２４秒等）でバッファメモリ８から読み出す。そして、読み出されたフレーム画像Ｆ2〜Ｆn+1に対して映像信号処理回路５内の動画像生成部５ｂにより動画像用の解像度へのリサイズ（フルＨＤの画素数等の解像度小へのリサイズ）処理、及び動画像用の画像処理（動画用圧縮処理を含む）及び選択された映像効果を付与する処理を施すことによりスロー動画像データを生成する。また、読み出されたフレーム画像Ｆ2〜Ｆn+1のそれぞれに対して、選択された映像効果の付与を行う。ここでフレーム画像Ｆ2〜Ｆn+1には、選択された映像効果がフレーム画像Ｆ2からＦn+1に向かって次第に強く表れるように付与される。また、第２フレームレートの値は、予め設定され、図示しないメモリ等に記憶されており、変更可能に構成されている。
【００２９】
図４は、映像効果としてぼかし処理が選択された場合のスロー動画を形成するフレーム画像に付与される映像効果を説明するための図である。この図に示すように、フレーム画像Ｆ2から主要被写体を除く画像に対してぼかし処理を実施し始め、順次ぼかし処理の強度を高め、Ｆn+1では主要被写体を除く画像に対するぼかし処理の強度が最も高い状態になっている。
【００３０】
図５は、映像効果としてズームイン処理が選択された場合のスロー動画を形成するフレーム画像に付与される映像効果を説明するための図である。この図に示すように、フレーム画像Ｆ2から主要被写体にズームインする処理を付与し始め、順次主要被写体にズームインし、Ｆn+1で主要被写体に対するズームインが完了した状態になっている。
【００３１】
次に、静止画像データの生成処理について説明する。制御部４は、静止画撮影指示の入力時ＴＳにバッファメモリ８に記憶されたフレーム画像をバッファメモリ８から読み出す。そして、読み出されたフレーム画像に対して映像信号処理回路５内の静止画像生成部５ｃにより静止画像用の画像処理（静止画用圧縮処理を含む）を施すことにより静止画像データを生成する。なお、この実施の形態では、例えばＱＦＨＤ規格の画素数を有するフレーム画像、即ち高解像度のフレーム画像がバッファメモリ８に記憶されるため、高解像度の静止画像データを得ることができる。
【００３２】
制御部４は、動画像生成部５ｂにより生成されたスロー動画像データを記録媒体１０に記録し、静止画像生成部５ｃにより生成された静止画像データを記録媒体１０に記録する（ステップＳ１１）。更に、スロー動画像データ及び静止画像データが互いに関連していることを示す情報（撮影日時や識別番号）を記録媒体１０に記録する。また、再生を行う場合には、制御部４はスロー動画像データに基づくスロー動画像を表示部１２に表示させた後に、スロー動画像データに関連している静止画像データに基づく静止画像を表示部１２に表示させる。
【００３３】
従って、スロー動画像データに基づくスロー動画像を表示部１２またはＰＣやテレビ、デジタルフォトフレーム等の外部装置において再生すると、主要被写体に注目した映像効果を有する印象的なスロー動画像の鑑賞を行うことができる。
【００３４】
なお、上述の各実施の形態においては、静止画像撮影指示の入力時ＴＳにおいて取得したフレーム画像を静止画像データとして記録媒体１０に記録する構成としたが、ＴＳの前後の時間である第１所定時間及び第２所定時間に取得したフレーム画像からベストショットセレクトにより１枚のフレーム画像を選び出し静止画像データとして記録媒体１０に記録する構成としてもよい。ここで、ベストショットセレクトにおいては、例えば、手振れ度合い及び笑顔度合い等に基づいて各フレーム画像の評価を行い、評価値の最も高いフレーム画像を記録媒体１０に記録する静止画像データとして選択する。
【００３５】
また、上述の各実施の形態においては、ＱＦＨＤ（３８４０×２１６０ピクセル）規格の画素数を有するフレーム画像をバッファメモリ８に記憶する構成としたが、フルＨＤ（Ｆｕｌｌ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ：１９２０×１０８０ピクセル）規格の画素数を有するフレーム画像などフルＨＤ規格以上の画素数を有するフレーム画像をバッファメモリ８に記憶する構成であってもよい。この場合において、静止画像撮影指示に基づいて静止画像データのみをＱＦＨＤ規格としてバッファメモリ８に記憶してもよい。
【００３６】
また、上述の実施の形態においては、第１の映像効果として、主要被写体を除く画像についてぼかし処理を行う映像効果を、第２の映像効果として、主要被写体に対してズームイン処理を行う映像効果を選択したが、第１の映像効果として、ぼかし処理、ズームイン処理、主要被写体の色彩のみ残して他の部分はモノクロ画像とするセレクトカラー処理、主要被写体の色彩のみ残して他の部分はブラックアウトするブラックアウト処理、主要被写体の色彩のみ残して他の部分はホワイトアウトするホワイトアウト処理の中の何れか１つを選択し、第２の映像効果として、第１の映像効果として選択された処理以外の１つの処理を選択するようにしてもよい。
【００３７】
また、上述の実施の形態においては、タッチパネル１４の１ｓｔタッチにより、スルー画像内の主要被写体に対して合焦させ、フレーム画像の取り込みを開始しているが、タッチパネル１４の１ｓｔタッチを検出した場合に、タッチ位置に合焦させ、フレーム画像の取り込みを開始してもよい。
【００３８】
また、上述の実施の形態に係る電子カメラにおいて、タッチパネル１４のタッチにより主要被写体の指定を行った後に、レリーズボタンの半押しによりフレーム画像の取り込みを開始し、レリーズボタンの全押しにより静止画撮影を行い、その後所定時間経過後にフレーム画像の取り込みを終了するようにしてもよい。この場合において、主要被写体を追尾してフレーム画像の取り込みを行ってもよい。これらの場合においては、タッチパネル１４のタッチにより指定した主要被写体の表示画面に占める面積の大きさに基づいて、スローモーション動画像に対して、主要被写体に注目した異なる映像効果を付与する。
【符号の説明】
【００３９】
２…電子カメラ、４…制御部、５…映像信号処理回路、５ａ…スルー画像生成部、５ｂ…動画像生成部、５ｃ…静止画像生成部、６…撮像素子、８…バッファメモリ、１０…記録媒体、１２…表示部、１４…操作部
【図１】
2015043490.tif 000003
【図２】
2015043490.tif 000004
【図３】
2015043490.tif 000005
【図４】
2015043490.tif 000006
【図５】
2015043490.tif 000007