(57)【要約】【課題】動画と静止画を組み合わせ、変化に富んだ多彩な画像を、誰でも簡単に撮影可能としたカメラおよびカメラの制御方法を提供する。【解決手段】被写体像を画像データに変換する撮像部２と、撮像部２からの出力に基づいて静止画と動画の画像データを記録する仮記録部５ａと、仮記録部５ａに記録された画像データに基づいて、動画の画像データに対して付与する画像効果を決定し、画像処理を行う効果処理部５ｅと、効果処理部５ｅによって処理された動画の画像データと、静止画の画像データを記録する記録部６と、を有する。【選択図】  図２
2011035486.tif 000002
【特許請求の範囲】
【請求項１】
撮影者の操作に従って撮影される静止画の前後で連写可能なカメラにおいて、
被写体像を画像データに変換する撮像部と、
レリーズ操作に応じて上記静止画の画像データを取得する静止画撮影部と、
上記静止画撮影部における上記静止画の取得の前後において、連写で上記画像データを取得する連写撮影部と、
上記連写撮影部によって取得された上記画像データについて、上記静止画撮影部によって取得された画像データとは異なり、順次変更した画像処理を施す画像処理部と、
上記画像処理部によって画像処理された画像データを記録する記録部と、
を有することを特徴とするカメラ。
【請求項２】
上記画像処理部は、上記静止画の画像データの取得前後の上記連写の画像データと、上記静止画の画像データを比較し、この比較結果に基づいて上記画像処理を施すことを特徴とする請求項１に記載のカメラ。
【請求項３】
上記画像処理部は、上記静止画撮影部によって取得された画像に人物の顔が有るか否かに応じて、上記画像処理を変更することを特徴とする請求項１に記載のカメラ。
【請求項４】
上記画像処理部は、上記動画撮影部によって取得された画像に動きが有るか否かに応じて、上記画像処理を変更することを特徴とする請求項１に記載のカメラ。
【請求項５】
上記画像処理部は、ズームアップ・ダウン、フェードイン・フェードアウト、スキャン、カラー・白黒処理の内の少なくとも１つを実行することを特徴とする請求項１に記載のカメラ。
【請求項６】
被写体像を画像データに変換する撮像部と、
上記撮像部からの出力に基づいて静止画と動画の画像データを記録する仮記録部と、
上記仮記録部に記録された画像データに基づいて、上記動画の画像データに対して付与する画像効果を決定し、画像処理を行う画像処理部と、
上記画像処理部によって処理された上記動画の画像データと、上記静止画の画像データを記録する記録部と、
を有することを特徴とするカメラ。
【請求項７】
上記画像処理部は、上記仮記録部に記録された上記静止画中の顔情報と、上記動画中の動き情報に基づいて、上記画像効果を決定することを特徴とする請求項６に記載のカメラ。
【請求項８】
上記画像処理部は、ズームアップ・ダウン、フェードイン・フェードアウト、スキャン、カラー・白黒処理の内の少なくとも１つを実行することを特徴とする請求項６に記載のカメラ。
【請求項９】
上記画像処理部は、上記静止画の撮影前の動画と、上記静止画撮影後の動画について、それぞれ付与する画像効果を決定することを特徴とする請求項６に記載のカメラ。
【請求項１０】
被写体像を画像データに変換し、
上記画像データに基づいて静止画と動画の画像データを仮記録する仮記録部と、
上記仮記録された画像データに基づいて、上記動画の画像データに対して付与する画像効果を決定し、
上記決定された画像効果に基づいて画像処理を行い、
上記画像処理された上記動画の画像データと、上記静止画の画像データを記録する、
ことを特徴とするカメラの制御方法。
【請求項１１】
撮影者の操作に従って撮影され、静止画の前後で連写可能なカメラの制御方法において、
上記連写時の画像が、上記静止画時の撮影とは異なり、順次変更された画像処理が施され、この画像処理が施された画像が記録、または表示されることを特徴とするカメラの制御方法。
【請求項１２】
上記静止画の撮影の前後の動画と、上記静止画を比較し、上記画像処理を施すことを特徴とする請求項１１に記載のカメラの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステム及びカメラの制御方法に関し、詳しくは、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話など、静止画撮影と共に動画撮影機能を有するカメラおよびカメラの制御方法に関する。
【背景技術】
【０００２】
従来のフィルム写真のように、一瞬を切り取るような静止画撮影は、一般ユーザにとって比較的に簡単である。一方、動画撮影は、開始のタイミングと終了のタイミングの取り方が難しく、運動会や結婚式のように形式化した行事でしか、ムービーカメラを使用することはなかった。また、詳細な演出を予め決めておいた場合以外には、撮影動画の変化は乏しく、鑑賞に耐える画像とはなり難いものであった。テレビ番組のように頻繁に構図に変化のある動画に慣れたユーザにとっては、単調な画像は耐えにくいものがあるからである。さらに、撮影パラメータを変更することにより、多彩な表現が可能であるが、素人のユーザにとっては困難なものがあった。
【０００３】
そこで、静止画と動画を組み合わせて画像に変化をつけることが考えられる。例えば、特許文献１、２には、動画の撮影中に静止画の撮影を行うことのできるカメラが開示されている。また、動画の撮影後に動画の編集を行うようによって単調とならないようにしたカメラが提案されている。例えば、特許文献３には、動画の編集時に、動画を接続する際に、接続時のルール（パンで終了し、パンで開始する）に従っていない時に、トランジション効果を付与しており、動画編集に関して専門的知識のないユーザであっても動画編集を容易に行えるようにしたカメラが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平４−３３１５８３号公報
【特許文献２】特許３６７３５２８号公報
【特許文献３】特開２００３−１１０９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１、２に記載に開示されたカメラはいずれも、動画と静止画を同じ装置で撮影できるだけであって、単調さをなくした画像を撮影するものではない。また、特許文献３に開示されたカメラは、動画編集時の提案であって、撮影時に単調とならないようにした画像を撮影するものではない。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、動画と静止画を組み合わせ、変化に富んだ多彩な画像を、簡単に誰でも撮影可能としたカメラおよびカメラの制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わるカメラは、撮影者の操作に従って撮影される静止画の前後で連写可能なカメラにおいて、被写体像を画像データに変換する撮像部と、レリーズ操作に応じて上記静止画の画像データを取得する静止画撮影部と、上記静止画撮影部における上記静止画の取得の前後において、連写で上記画像データを取得する連写撮影部と、上記連写撮影部によって取得された上記画像データについて、上記静止画撮影部によって取得された画像データとは異なり、順次変更した画像処理を施す画像処理部と、上記画像処理部によって画像処理された画像データを記録する記録部と、を有する。
【０００８】
第２の発明に係わるカメラは、上記第１の発明において、上記画像処理部は、上記静止画の画像データの取得前後の上記連写の画像データと、上記静止画の画像データを比較し、この比較結果に基づいて上記画像処理を施す。
【０００９】
第３の発明に係わるカメラは、上記第１の発明において、上記画像処理部は、上記静止画撮影部によって取得された画像に人物の顔が有るか否かに応じて、上記画像処理を変更する。
第４の発明に係わるカメラは、上記第１の発明において、上記画像処理部は、上記動画撮影部によって取得された画像に動きが有るか否かに応じて、上記画像処理を変更する。
【００１０】
第５の発明に係わるカメラは、上記第１の発明において、上記画像処理部は、ズームアップ・ダウン、フェードイン・フェードアウト、スキャン、カラー・白黒処理の内の少なくとも１つを実行する。
【００１１】
第６の発明に係わるカメラは、被写体像を画像データに変換する撮像部と、上記撮像部からの出力に基づいて静止画と動画の画像データを記録する仮記録部と、上記仮記録部に記録された画像データに基づいて、上記動画の画像データに対して付与する画像効果を決定し、画像処理を行う画像処理部と、上記画像処理部によって処理された上記動画の画像データと、上記静止画の画像データを記録する記録部と、を有する。
【００１２】
第７の発明に係わるカメラは、上記第６の発明において、上記画像処理部は、上記仮記録部に記録された上記静止画中の顔情報と、上記動画中の動き情報に基づいて、上記画像効果を決定する。
第８の発明に係わるカメラは、上記第６の発明において、上記画像処理部は、ズームアップ・ダウン、フェードイン・フェードアウト、スキャン、カラー・白黒処理の内の少なくとも１つを実行する。
第９の発明に係わるカメラは、上記第６の発明において、上記画像処理部は、上記静止画の撮影前の動画と、上記静止画撮影後の動画について、それぞれ付与する画像効果を決定する。
【００１３】
第１０の発明に係わるカメラの制御方法は、被写体像を画像データに変換し、上記画像データに基づいて静止画と動画の画像データを仮記録する仮記録部と、上記仮記録された画像データに基づいて、上記動画の画像データに対して付与する画像効果を決定し、上記決定された画像効果に基づいて画像処理を行い、上記画像処理された上記動画の画像データと、上記静止画の画像データを記録する。
【００１４】
第１１の発明に係わるカメラの制御方法は、撮影者の操作に従って撮影され、静止画の前後で連写可能なカメラの制御方法において、上記連写時の画像が、上記静止画時の撮影とは異なり、順次変更された画像処理が施され、この画像処理が施された画像が記録、または表示される。
第１２の発明に係わるカメラの制御方法は、上記第１１の発明において、上記静止画の撮影の前後の動画と、上記静止画を比較し、上記画像処理を施す。
【発明の効果】
【００１５】
本発明によれば、動画と静止画を組み合わせ、変化に富んだ多彩な画像を、だれでも簡単に撮影可能としたカメラおよびカメラの制御方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係わるカメラの電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの画像処理部の詳細を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラにおいて、被写体が一人の場合における、静止画と静止画の前後に撮影される動画と、これらの画像の画像処理を示す図である。
【図４】本発明の一実施形態に係わるカメラにおいて、被写体が複数人の場合における、静止画と静止画の前後に撮影される動画と、これらの画像の画像処理を示す図である。
【図５】本発明の一実施形態におけるカメラにおいて、動画に複数人が映っている場合におけるスキャンによる画像処理を示す図である。
【図６】本発明の一実施形態におけるカメラにおいて、静止画と動画に応じて決まる動画の処理の関係を示す図である。
【図７】本発明の一実施形態に係わるカメラにおいて、静止画撮影後にカメラの向きが変わって行く様子を示す図である。
【図８】本発明の一実施形態に係わるカメラにおいて、静止画撮影後にカメラの向きが変わった場合にでも、画面中央部分を動画として記録し表示する様子を示す図である。
【図９】本発明の一実施形態に係わるカメラのカメラ制御の動作を示すフローチャートである。
【図１０】本発明の一実施形態に係わるカメラのスキャンの動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、パラメータ設定部３、モーション判定部４、記録部６、パラメータ制御部７、表示部８、操作部９、時計部１１等から構成される。
【００１８】
撮像部２は、ズーム機能とピント合わせ機能を有する撮影レンズ（ズームレンズ）や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。顔検出部２ａは撮像部２から出力され、制御部１によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合には、人物の顔の数、その位置や大きさ等を検出し、検出結果を制御部１に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。
【００１９】
制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、構図変化判定部１ａ、トリミング部１ｂ、画像処理部５を有する。構図変化判定部１ａは、画面の構図やカメラ１０の構え方が変化したか否かを判定する。画面の構図変化の判定にあっては、撮像部２から出力される画像データに基づいて動きベクトル等を利用する。また、カメラ１０の構え方については、後述するモーション判定部４の判定出力に基づいて判定する。
【００２０】
トリミング部１ｂは、撮像部２から出力される画像データの一部を切り出すトリミング処理を行う。画像データの切り出しにあたっては、後述するように、スキャン処理の際に、顔検出部２ａによって検出された顔の位置や大きさ等に基づいて、被写体の顔の周辺を切り出す。そのほか、再生時に撮影画像について、ユーザの指示に応じてトリミングにより拡大画像を生成する。
【００２１】
画像処理部５は、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部６における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。
【００２２】
また、画像処理部５は、静止画撮影の前後で所定時間（例えば、０．５秒程度）の間、撮影した動画の画像データを仮記憶し、この仮記憶した画像データの画像処理を行う。画像処理にあたっては、静止画と動画を比較し、この比較結果に基づいて、画像処理を変更する。この画像処理については、図３ないし図６を用いて後述する。
【００２３】
パラメータ設定部３は、撮影部２における焦点距離を変化させるためのズーム釦、絞り値を設定させるための絞り値設定操作部等によって、撮影パラメータを手動設定し、制御部１に出力する。なお、絞り値等の場合には、測光の結果に応じて自動的に設定されるようにしても良い。パラメータ制御部７は、パラメータ設定部３において手動設定または自動設定された撮影パラメータに基づいて撮像部２の制御を行う。撮影パラメータを制御することにより、露出や画角や背景のボケ（被写界深度）等を調整可能となる。
【００２４】
モーション判定部４は、３次元空間の加速度、すなわち３軸加速度と、３次元空間での回転速度、すなわち３軸角速度の計６軸の物理量を検出する６軸センサ等を有している。このモーション判定部４は、カメラ１０の構え方が変わっていないか否かについて判定することができる。
【００２５】
操作部９は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部５によって圧縮処理された静止画や動画の画像データを記録する。
【００２６】
表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示モニタを有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。時計部１１は、計時動作を行い、撮影日時情報を出力する。この撮影日時情報は、静止画や動画の画像データを記録部６に記録する際に合わせて記録する。
【００２７】
次に、図２を用いて画像処理部５の構成の詳細について説明する。画像処理部５は、前述したように、撮像部２から出力される画像データを取り込み、間引き処理等の各種画像処理を行うが、ここでは、静止画撮影の前後で撮影した動画の画像データの画像処理に関連する構成を主に説明する。
【００２８】
仮記録部５ａは、撮像部２からの画像データを仮記憶するためのメモリであり、静止画の画像データを仮記憶するためのメモリ０と、この静止画の先立つ所定時間、および静止画の後に続く所定時間の間、撮影される動画（連写）の各フレームに対応する画像データをそれぞれ仮記憶するためのメモリ（−ｎ）〜メモリ（−１）、メモリ０、メモリ１〜メモリｎを有する。ここで、メモリ（−ｎ）〜メモリ（−１）は静止画の撮影に先立つ所定時間の間の動画を仮記録するためのメモリであり、メモリ０は静止画の画像データを仮記録するためのメモリであり、メモリ１〜メモリｎは静止画撮影後の所定時間の間の動画を仮記録するためのメモリである。時間制御部５ｈは、時計部１１から計時情報を入力し、動画を所定時間の間、記録するための計時制御を行う。なお、メモリ（−ｎ）〜メモリｎの全てに画像データを記録する必要はなく、このうちの限られたメモリのみを、動画と静止画の画像データの記録に使用するようにしても良い。
【００２９】
静止画の画像データを仮記憶するためのメモリ０は静止画圧縮部５ｂに接続されている。静止画圧縮部５ｂは、ＪＰＥＧ等の画像圧縮を行う。分類部５ｃは、静止画圧縮部５ｂからの静止画の画像データを入力し、静止画に顔が含まれているか、また顔が含まれている場合に一人か複数人かを判定し、静止画の分類を行う。
【００３０】
動画（連写）の各フレームの画像データを記憶するメモリ（−ｎ）〜メモリ（−１）、メモリ１〜メモリｎは、動き判定部５ｄと効果処理部５ｅに接続されている。動き判定部５ｄは、メモリ（−ｎ）〜メモリ（−１）に仮記録されている静止画撮影前の動画の画像データを用いて静止画撮影前の被写体に動きがあるか否かの判定を行う。同様に、動き判定部５ｄは、メモリ１〜メモリｎに仮記録されている静止画撮影後の動画の画像データを用いて静止画撮影後の被写体に動きがあるか否かの判定を行う。
【００３１】
効果処理部５ｅは、動き判定部５ｄにおける動画の動き判定結果と、分類部５ｃにおける静止画の分類結果を入力し、これらの結果に基づいて、入力した動画の画像データに対して画像効果が生ずるような画像処理を行う。この画像処理は、後述する図６に示す関係に従って行う。動画圧縮部５ｆは効果処理部５ｅによって画像処理された画像データを、ＭＰＥＧ４やモーションＪＰＥＧ等による動画圧縮を行う。
【００３２】
接続データ部５ｇは、動画圧縮部５ｆによって生成された動画の画像データと、静止画圧縮部５ｂによって生成された静止画の画像データを結合し、両画像データを連続的に再生するための接続情報を生成する。接続データ部５ｆによる接続情報と、静止画圧縮部５ｂからの画像データと、動画圧縮部５ｇからの画像データは、記録部６に送られ、１つの画像ファイルとして記録される。記録部６に記録された画像データの再生にあたっては、再生速度を速めたり、逆にゆっくりさせ、早送りやスローモーションで再生を可能としている。また、１秒に何コマ撮影するかによっても、仮記録部５ａのメモリの容量が、何秒相当であるかは変化する。このように自由度をもって使用するメモリである。
【００３３】
次に、図３ないし図６を用いて、静止画と動画の比較結果に基づいて行う動画の画像処理について説明する。図３（ａ）は、静止画撮影前後の画像の様子を示している。後述するように、本実施形態におけるカメラでは、静止画の撮影の前後の所定時間（例えば、０．５秒）の動画動画（連写）の画像データも、静止画の画像データに併せて仮記録している。
【００３４】
ただし、本実施形態においては、取得した動画と静止画の画像データを、そのまま記録するのではなく、再生時に鑑賞に耐えられるようにするために、動画に対して画像効果を与える画像処理を行った後に、記録部６に記録するようにしている。画像処理は、静止画とその前後の動画を比較判定、この判定結果に応じて切り替え、期待感を持って画像を鑑賞できるような画像処理を行っている。
【００３５】
図３（ｂ）は、この画像処理の一例を示したものである。この例では、静止画に人物が一人だけ映っており、また、静止画の前後の動画に動きがないことから、静止画撮影前の動画に対してはアップ状態から通常画像に変化（ズームダウン）させ、静止画撮影後の動画に対しては通常画像からアップ状態に変化（ズームアップ）させている。ここでズームアップ、ズームダウンを行っているのは、一人でしかも動きが殆どないことから、この人物にフォーカスを当てるような感覚を醸し出すためである。また、併せて、静止画撮影前の動画に対してはフェードイン、静止画撮影後の動画に対してはフェードアウトの処理を行っている。ここでは、複数の遷移効果を組み合わせているが、勿論、このような効果を全て付与しなくても良い。例えば、後述する図６では、単純化して一つの代表的な効果のみを記載して説明している。
【００３６】
このようにして記録された動画と静止画の組み合わせは、そのまま再生表示してもよいが、さらに変化をつけるために、図３（ｃ）に示すように再生表示を行っても良い。この例では、画像効果を付与された動画のみを集め、この動画を連続的に再生するようにしている。すなわち、図３（ｃ）では、静止画撮影後の画像処理された動画を再生し、続けて、他の静止画撮影後の画像処理された動画の順番を逆に再生している。
【００３７】
図３（ｃ）では、２つの動画を連続的に再生しているが、他の動画をさらに連続的に再生するようにしても良い。この場合、ズームアップした画像を再生した後には、ズームダウンする画像を再生するように、また、フェードインした画像を再生した後にはフェードアウトする画像を再生するように、画像がなめらかに変化するように、その順番を考慮して配列すると、自然な画面推移を楽しむことができる。ある種のリズム感を醸し出すために、全ての画像が常にアップで終わるようにしても良い。また、前述のように再生速度は、必ずしも撮影時の速度と一致させる必要はなく、早送り気味に再生したり、逆にスローモーションで再生しても良い。
【００３８】
次に、図４を用いて、静止画と動画の比較結果に基づいて行う動画の画像処理の他の例を説明する。この他の例では、静止画には、複数の人物が映っており、また、静止画の撮影前の動画は、人物の間隔が広い状態から次第に狭くなっており、これらの動画に動きがある。しかし、静止画の撮影後の動画には殆ど動きがない。このような状況で、この例では、画像の記録時の画像処理として、静止画撮影前の動画に対してはフェードイン、すなわち露出オーバの状態から適正露光の状態となるような画像処理を行っている。ここで、フェードインとしているのは、動きの起点を曖昧にし、複数人の人物の全体の動きを見ることをできるようにするためである。
【００３９】
また、静止画撮影後の動画に対して、一人一人の顔をアップして表示するスキャン処理を行っている。このスキャン処理について、図５を用いて説明する。図５に示す例では、３人の人物の顔が映っており、この３人の顔が順次、アップとなるようにトリミング処理を行う。このため、左端と右端の人物の顔の中心が顔の移動にあたっての起点・終点とする。そして、平均的な顔の大きさを求め、この大きさを考慮して、上側の移動ライン２３ａと下側の移動ライン２３ｂを決定し、これらのラインの間でトリミング枠２１ａ、２１ｂ、２１ｃが滑るように移動させたかのように、トリミング画像を切り出すと、スキャン画像を得ることができる。このスキャン処理については、図１０を用いて後述する。
【００４０】
制御部１および画像処理部５内において、上述したような静止画と動画の比較結果に基づいて行う動画の画像処理を行う。静止画と動画の比較結果に基づく動画処理の一例を、図６に示す。図６（ａ）は分類部５ｃによって静止画に顔があり、かつ一人と判定された場合における動画に対する画像処理を示す。動画に動きがある場合には、動きの始まりや終わりをぼかすように、フェードインやフェードアウトの処理を行い、動きがない場合には、顔の表情が分かるように、ズームアップの処理を行っている。なお、図中、「動画１」は静止画撮影前の動画を意味し、「動画２」は静止画撮影後の動画を意味する。前述したように、ここでは代表的な効果を図示したが、勿論、他の効果、例えば、露出の変更やぼかし効果などを併用しても良い。このような処理は、画像処理部５の効果処理部５ｅによってなされる。
【００４１】
図６（ｂ）は分類部５ｃによって静止画に顔があり、かつ二人以上と判定された場合における動画に対する画像処理を示す。動画に動きが有る場合には、一人の場合と同様、動きの始まりや終わりをぼかすように、フェードインやフェードアウトの処理を行っている。また、動きがない場合には、各人の顔の表情が分かるように、スキャンを行っている。
【００４２】
図６（ｃ）は分類部５ｃによって静止画に顔がないと判定された場合であり、これは風景の可能性が高い。そこで、動画に動きが有る場合には、一人の場合と同様、動きの始まりや終わりをぼかすように、フェードインやフェードアウトの処理を行っている。また、動きがない場合には、ズームアップを行うようしても良いが、本実施形態においては、色の鮮やかさを引き立てるように、白黒画像からカラー画像に変化するようにしている。なお、図６に示した動画処理の一覧表は例示であり、条件を取り替えてもよく、また他の処理を組み合わせても良い。
【００４３】
本実施形態においては、静止画の撮影後も連続して動画の撮影を行っている。このため、静止画の撮影後も所定時間（実施形態においては、０．５秒）の間、被写体にカメラ１０を向けていないと、見苦しい画像となってしまう。そこで、本実施形態においては、撮影者に必要以上のストレスをかけさせないようにするために、画面中央に位置する人物２５を自動的に抽出し、人物２１の顔の部分をトリミングして記録するようにしている。
【００４４】
このトリミングの仕方について、図７および図８を用いて説明する。図７は被写体である人物２５を撮影している様子を示しており、静止画は撮影領域１５ａで撮影され、この後に続く動画は撮影領域１５ｂ、１５ｃで撮影される。このとき、カメラ１０で撮像される画像の内、図８（ａ）は、撮影領域１５ａに対応する画像であり、図８（ｂ）は撮影領域１５ｂに対応する画像であり、図８（ｃ）は撮影領域１５ｃに対応する画像である。
【００４５】
静止画の撮影領域１５ａに対応する図８（ａ）の画像は、そのまま図８（ｄ）に示すように記録されるが、動画の撮影領域１５ｂに対応する画像は、撮影領域１５ａの画面中央を含むトリミング領域１７ｂ（人物２５顔が中央に存在）、図８（ｅ）に示すように記録され、動画の撮影領域１５ｃに対応する画像は、撮影領域１５ａの画面中央を含むトリミング領域１７ｃが、図８（ｆ）に示すように記録される。ここで、トリミング領域１７ｂ、１７ｃのアスペクト比は、静止画のアスペクト比と変えても良いが、同じアスペクト比とすることにより、違和感をなくすことができることから、本実施形態においては、同一アスペクト比としている。
【００４６】
このように、撮影者が撮影領域１５ａ〜１５ｃに構図を変更しても、静止画の画面の中央部分に対応するトリミング領域１７ｂ、１７ｃの画像データが記録部６に記録される。撮影者が、静止画撮影終了後、安心し、無意識のうちに撮影領域１５ｂ、１５ｃに構図を変えても、画面中央部分がトリミングされて記録される。顔部分のみをトリミングして使用することにより、被写体の表情変化を捉えるための動画表現を行うことができる。つまり、図８（ｄ）〜（ｆ）のように、画像が遷移する中で、被写体がリラックスした表情になる過程を記録することができ、思い出を喚起することができる。
【００４７】
なお、図７および図８を用いて説明したトリミング処理は、制御部１内の構図変化判定部１ａおよびトリミング部１ｂによって実行される。すなわち、構図変化判定部１ａは撮影領域１５ａ〜１５ｃに変化したことを判定すると、トリミング部１ｂが判定結果に基づいてトリミング処理を行う。このトリミング処理された画像データは、前述の仮記録部５ａに送られ、上述の動画の画像処理が実行される。すなわち、仮記録部５ａの各メモリに仮記録された画像データに対して、トリミング１ｂによってトリミング処理を行い、同じメモリに再度記録させ、その結果を動画圧縮する。
【００４８】
次に、本実施形態に係わるカメラ１０の動作を図９に示すカメラ制御のフローチャートを用いて説明する。カメラ１０がパワーオンとなり起動すると、図９に示すフローがスタートする。スタートすると、まず、撮影モードか否かの判定を行う（Ｓ１）。このカメラ１０には、撮影モードと再生モード等が備えられており、操作部９の操作状態に基づいて撮影者のモード選択状態を判定する。
【００４９】
ステップＳ１における判定の結果、撮影モードでなかった場合には、撮影モード以外のモードを実行する。ここでは、再生モード等の他のモードを実行するが、詳しい説明を省略する。ステップＳ１における判定の結果、撮影モードであった場合には、撮像および表示を行う（Ｓ２）。このステップでは、撮像部２によって取得した画像データについて画像処理部５において画像処理し、表示部８にライブビュー表示を行う。撮影者がライブビュー表示を見ながら構図やシャッタチャンスを決定することができる。
【００５０】
続いて、連続撮影の仮記録を行う（Ｓ３）。ここでは、撮像部２から画像データを所定のタイミング繰り返し取得し、この取得した画像データを仮記録部５ａのメモリ（−ｎ）〜メモリ（−１）に順次、仮記録する。ここで記録される動画の画像データの画素数等は、静止画の画像データに比較した場合、同等でも良いが、一般に動画の画素数は静止画ほどの数を要求されないことから、静止画に比較し、低画素でも良い。
【００５１】
連続撮影仮記録を開始すると、次に撮影か否かの判定を行う（Ｓ４）。ここでは、操作部９のレリーズ釦が操作されたか否かを判定する。この判定の結果、撮影と判定されなかった場合には、撮影・表示および連続撮影仮記録を続行したままで、次に、０．５秒前の画像が有るか否かの判定を行う（Ｓ５）。本実施形態においては、静止画撮影前の所定時間、ここでは０．５秒の間、動画を仮記録しており、０．５秒より前の画像が有る場合には削除している。このステップＳ５においては、連続撮影仮記録を開始してから０．５秒を経過した場合には、０．５秒前の画像が有ると判定する。
【００５２】
ステップＳ５における判定の結果、０．５秒前の画像が有る場合には、対象画像の削除を行う（Ｓ６）。ここでは、メモリ（−ｎ）〜メモリ（−１）内に仮記録されている画像の内、０．５秒より前の画像を削除し、直近の画像がメモリ（−１）に仮記録されるように、記録位置の変更を行う。この対象画像の削除を行うと、またはステップＳ５における判定の結果、０．５秒前の画像がなかった場合には、ステップＳ１に戻る。
【００５３】
ステップＳ４における判定の結果、撮影であった場合には、静止画撮影および記録を行う（Ｓ１１）。このステップでは、撮像部２から出力された画像データを仮記録部５ａ中のメモリ０に仮記録し、静止画圧縮部５ｂにおいて圧縮処理した後、記録部６に静止画の画像データを記録する。
【００５４】
続いて、画面特徴判定を行う（Ｓ１２）。ここでは、静止画の画像データを用いて分類部５ｃにおいて、顔があるか否か、また顔があるとしたら一人か複数か否か等について画面の特徴の判定を行う。なお、この画面特徴判定は、ステップＳ２において、撮像を行うたびに、その時取得した画像データを用いて画面特徴判定を行うようにしてもよい。
【００５５】
次に、連続撮影の仮記録を行う（Ｓ１３）。ステップＳ３においては撮影前の動画の仮記録であったが、ここでは撮影後の動画の画像データを仮記録部５ａのメモリ１〜メモリｎに順次、仮記録する。連続撮影の仮記録を行うと、次に、撮影後に連続撮影を開始してから所定時間、ここでは０．５秒経過したか否かの判定を行う（Ｓ１４）。この判定の結果、０．５秒が経過していなかった場合には、ステップＳ１３に戻り、連続撮影を続行する。
【００５６】
ステップＳ１４における判定の結果、０．５秒が経過した場合には、次に、連続撮影を終了し（Ｓ１５）、静止画・動画判定を行う（Ｓ２１）。ここでは、図６を用いて説明したように、静止画の特徴（顔の有無、一人か複数か）と、撮影前後の動画の比較（動きの有無）について判定を行い、撮影前の動画と撮影後の動画についてそれぞれ付与する効果を決定する。
【００５７】
続いて、静止画・動画判定で決定した撮影前の動画に対して、効果処理部５ｅが効果付与１の画像処理を行い（Ｓ２２）、この画像処理された画像データを記録部６に記録する（Ｓ２３）。また、静止画・動画判定で決定した撮影後の動画に対して、効果処理部５ｅが効果付与２の画像処理を行い（Ｓ２４）、この画像処理された画像データを記録部６に記録する（Ｓ２５）。
【００５８】
静止画撮影後の動画２の記録を行うと、次に、静止画と動画の対応関係を記録する（Ｓ２６）。一般に静止画と動画の画像ファイルは別々に構成される場合が多いことから、接続データ部５ｇによって、静止画撮影前の動画、静止画、静止画撮影後の動画の対応関係を記録しておく。対応関係を記録すると、ステップＳ１に戻る。
【００５９】
次に、ステップＳ２２、またはステップＳ２４において、効果付与１、２を行う場合であって、その効果が図５を用いて説明したスキャンの場合の動作について、図１０に示すフローチャートを用いて説明する。スキャンのフローに入ると、まず各部の比較を行う（Ｓ３１）。顔検出部２ａによって顔の位置と大きさが検出され、この検出結果を用いて各顔の位置と大きさを比較する。
【００６０】
続いて、顔の平均の大きさＦＡを求める（Ｓ３２）。前述したように、ステップＳ３１において、顔の大きさを比較しており、このときの顔の大きさの平均を求め、この平均値を大きさＦＡとする。この大きさＦＡの大きさの枠を決める（Ｓ３３）。この枠は、図５のトリミング枠２２ａ〜２２ｃに対応し、画像データから各顔を切り出す際の枠となる。なお、トリミング枠２２ａ〜２２ｃは、顔の大きさに合わせて変化させても良いが、本実施形態においては、スキャンを再生表示する際に、トリミング枠の大きさが変化すると見苦しいことから、顔の平均の大きさで統一することにした。このような処理によって、ある範囲だけをスキャンしていくような効果が得られるが、人物の顔が切れる場合がある。これを避けたい場合には、設定によって、一番大きな顔に合わせてトリミング枠を決めるようにしても良い。
【００６１】
次に、右端と左端の顔中心位置の判定を行い（Ｓ３４）、起点と終点を決定する（Ｓ３５）。ここでは、顔検出部２ａによって検出された顔の内、一番右側の顔と一番左側の顔の中心位置を求め、これらの顔の中心位置を起点と終点とする。続いて、起点から終点に枠を移動し、そのときの枠内の画像をトリミングする（Ｓ３６）。ここでは、右端または左端から他端に向けて、図４（ｂ）の静止画撮影後の動画のように、顔の部分をトリミングした画像が流れるように変化する。このスキャンの起点と終点の間にある顔は一部欠ける可能性があるが、動画の不連続性を防止し、動画がスムーズに変化するように画像処理を行っている。スキャンが終点に達すると、このフローから元のフローに戻る。
【００６２】
ステップＳ２２の効果付与１およびステップＳ２４の効果付与２では、スキャン以外にも、フェードイン・フェードアウト、ズームイン・ズームアウト等の画像処理を行うが、公知の画像処理であることから、詳しい説明を省略する。
【００６３】
以上説明したように、本発明の一実施形態においては、誰でも簡単に撮影できる静止画の前後で撮影者にも被写体にも気付かれることなく連写を行い、このときの画像の判定結果に応じて、連写時の画像に対して異なる画像処理を行うようにしている。このため、変化に富んだ多彩な画像を、誰でも簡単に撮影、または記録することができる。
【００６４】
なお、本発明の一実施形態においては、静止画の前後で行う連写（動画撮影）の時間は、０．５秒としたが、これは例示であり、これより長くても良く、また短くても構わない。また、静止画および連写された後画像処理された動画は、直ちに記録部６に記録されたが、記録されることなく、または記録と略同時に表示部８に表示するようにしても構わない。
【００６５】
さらに、動画の画像処理については、図６にズームアップ・ズームダウン、フェードイン・フェードアウト、スキャン、カラー白黒の例を示したが、判定結果に対して、どのような画像処理を行うかは適宜、変更しても良い。また、１つの処理に限らず、いくつかの処理を組み合わせても良い。さらに、顔の数や動きに基づいて、動画の画像処理を変更していたが、分類分けは顔の数や動きに限らず、顔の表情等、他の条件によって画像処理を変更するようにしても勿論かまわない。
【００６６】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、静止画と動画を撮影可能なカメラであれば、本発明を適用することができる。
【００６７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６８】
１・・・制御部、１ａ・・・画像処理部、１ｂ・・・トリミング部、２・・・撮像部、２ａ・・・顔検出部、３・・・パラメータ設定部、４・・・モーション判定部、５・・・画像処理部、５ａ・・・仮記録部、５ｂ・・・静止画圧縮部、５ｃ・・・分類部、５ｄ・・・動き判定部、５ｅ・・・効果処理部５ｆ・・・動画圧縮部、５ｇ・・・接続データ部、５ｈ・・・時間制御部、６・・・記録部、７・・・パラメータ制御部、８・・・表示部、９・・・操作部、１０・・・カメラ、１１・・・時計部、１５ａ・・・撮影領域、１５ｂ・・・撮影領域、１５ｃ・・・撮影領域、１７ｂ・・・トリミング領域、１７ｃ・・・トリミング領域、２１ａ・・・人物、２１ｂ・・・人物、２１ｃ・・・人物、２２ａ・・・トリミング枠、２２ｂ・・・トリミング枠、２２ｃ・・・トリミング枠、２３ａ・・・移動ライン、２３ｂ・・・移動ライン、２５・・・人物
【図１】
2011035486.tif 000003
【図２】
2011035486.tif 000004
【図３】
2011035486.tif 000005
【図４】
2011035486.tif 000006
【図５】
2011035486.tif 000007
【図６】
2011035486.tif 000008
【図７】
2011035486.tif 000009
【図８】
2011035486.tif 000010
【図９】
2011035486.tif 000011
【図１０】
2011035486.tif 000012