(57)【要約】【課題】本発明によれば、動画撮影中に高品位の静止画を得ることができるカメラ、そのカメラの撮影制御方法、プログラム、記録媒体を提供することができる。【解決手段】撮像素子から一定のタイミング（Ｔ１、Ｔ２…）で動画用画像（ｍ１、ｍ２…）が読み出される（Ａ）。この動画用画像の１つおきの画像が動画記録される（Ｄ）。そして、タイミング判定部では、読み出された各動画用画像により静止画撮影にふさわしい画像が撮影できるかが判定される（Ｂ）。静止画撮影に向いていると判定されると、直ちに撮像素子から静止画用画像（ｓ１）が読み出される。そして、静止画用画像(ｓ１)を読み出すことで欠落する動画データ（Ｔ３）については、その前のＴ２タイミングの動画用画像(ｍ２)で補充する。【選択図】図３
2007318725.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から略一定周期で出力される画像信号を利用して、静止画像にふさわしい撮影タイミングの判定をする判定部と、
撮像素子から読み出す画素数を選択する選択部と、
上記静止画像にふさわしい撮影タイミングにおいては、上記撮像素子から読み出す画素数を多画素に選択するよう選択部を制御する制御部を備える
ことを特徴とするカメラ。
【請求項２】
撮像素子から出力される画像信号を静止画用または動画用として選択して出力させる選択部と、
撮像素子から出力される画像信号を利用して、静止画像にふさわしい撮影タイミングを判定する判定部と、
上記選択部は、上記判定部による判定時には動画用の画像信号を出力させ、静止画像にふさわしい撮影タイミングにおいては静止画用の画像信号を出力させる
ことを特徴とするカメラ。
【請求項３】
上記選択部により選択されて撮像素子より出力された上記静止画像または動画像を圧縮して記録する記録部を備える
ことを特徴とする請求項２に記載のカメラ。
【請求項４】
一定間隔で画像を読み出す撮像素子と、
撮像素子から画素数の多い画像を読み出すか画素数の少ない画像を読み出すかを選択する選択部と、
撮像素子から読み出された画素数の少ない画像に基づいて、適切な画像を撮影するタイミングを判定するタイミング判定部と、
通常は撮像素子から画素数の少ない画像を読み出すように上記選択部を制御し、読み出された画素数の少ない画像を上記タイミング判定部で判定させ、上記タイミング判定部で適切な画像を撮影するタイミングが判定された場合に、そのタイミングで撮像素子から画素数の多い画像を読み出すよう上記選択部を制御する制御部を備える、
ことを特徴とするカメラ。
【請求項５】
上記タイミング判定部は、静止画撮影に適した画像の撮影タイミングを判定する
ことを特徴とする請求項４に記載のカメラ。
【請求項６】
音声入力用のマイク部を備え、
上記タイミング判定部は、上記判定を音声の変化によって行う
ことを特徴とする請求項４に記載のカメラ。
【請求項７】
上記制御部は、上記のタイミングで撮像素子から読み出された画素数の多い画像について、この画像の読出しの前後に撮影指示があったときに、これを記録するよう制御する
ことを特徴とする請求項４に記載のカメラ。
【請求項８】
撮像素子から読み出された画像について静止画用の画像処理を行う静止画画像処理部と、
撮像素子から読み出された画像について動画用の画像処理を行う動画画像処理部と、
撮像素子から読み出された上記画素数の少ない画像については上記動画画像処理部を選択し、撮像素子から読み出された上記画素数の多い画像については上記静止画画像処理部を選択するよう画像処理部を切換える切換え部をさらに備える
ことを特徴とする請求項４に記載のカメラ。
【請求項９】
上記制御部は、さらに撮像素子から読み出された画素数の少ない画像については動画像として記録し、撮像素子から読み出された画素数の多い画像については静止画像として記録する
ことを特徴とする請求項４に記載のカメラ。
【請求項１０】
撮像素子から一定間隔で読み出される画像について、画素数の多い画像として読み出すか画素数の少ない画像として読み出すかを選択する選択手段を備えるカメラの撮影制御方法において、
撮像素子から画素数の少ない画像を読み出し、この読み出した画素数の少ない画像に基づいて適切な画像を撮影するタイミングを判定し、
そのタイミングで撮像素子から画素数の多い画像を読み出し、この読み出された画素数の多い画像を記録媒体に記録する
ことを特徴とするカメラの撮影制御方法。
【請求項１１】
上記読み出した画素数の多い画像の記録媒体への記録は、この画像の読出しの前後に撮影指示があった場合に行う、
ことを特徴とする請求項１０に記載のカメラの撮影制御方法。
【請求項１２】
撮像素子から一定間隔で読み出される画像に関し、画素数の多い画像として読み出すか画素数の少ない画像として読み出すかを選択する選択手段を備えるカメラのコンピュータに実行させるプログラムにおいて、
撮像素子から画素数の少ない画像を読み出す工程と、
この読み出された画素数の少ない画像に基づいて、適切な画像を撮影するタイミングを判定する工程と、
そのタイミングで撮像素子から画素数の多い画像を読み出す工程と、
読み出された画素数の多い画像を記録する工程を  カメラのコンピュータに実行させる
ことを特徴とするプログラム。
【請求項１３】
動画像と静止画像の両方が撮影できるカメラの撮影制御方法において、
撮像素子から動画像用画像を読み出して、この読み出した動画用画像に基づいて、静止画撮影にふさわしい画像が直後に撮影できるかを判定し、静止画撮影にふさわしい画像が直後に撮影できると判定されたタイミングで、撮像素子から静止画用画像を読み出すよう制御する
ことを特徴とするカメラの撮影制御方法。
【請求項１４】
動画像と静止画像の両方が撮影できるカメラにおける撮影制御方法をコンピュータに実行させるプログラムにおいて、
撮像素子から動画像用画像を読み出す工程と、この読み出した動画用画像に基づいて、静止画撮影にふさわしい画像が直後に撮影できるかを判定する工程と、静止画撮影にふさわしい画像が直後に撮影できると判定されたタイミングで、撮像素子から静止画用画像を読み出すよう制御する工程を備える
ことを特徴とするプログラム。
【請求項１５】
動画像と静止画像の両方が撮影できるカメラにおける撮影制御方法をコンピュータに実行させるプログラムを記憶するコンピュータ読取可能な記録媒体において、
上記プログラムは、
撮像素子から動画像用画像を読み出す工程と、この読み出した動画用画像に基づいて、静止画撮影にふさわしい画像が直後に撮影できるかを判定する工程と、静止画撮影にふさわしい画像が直後に撮影できると判定されたタイミングで、撮像素子から静止画用画像を読み出すよう制御する工程を備える
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタルカメラ、より詳しくは、狙ったシーンを逃さずに静止画撮影のできるカメラに関する。
【背景技術】
【０００２】
近年カメラ市場を見ると、ＣＣＤなど撮像センサの改良によって、高速で、短時間に大量の画像信号を読み出して、静止画用途のカメラでありながら、動画撮影も可能なデジタルカメラが数多く商品化されている。
【０００３】
逆に動画撮影用のムービーカメラでありながら、静止画の画質を向上させた製品も多く市場に出回っている。また、高画素、たとえば５００万画素以上の撮像素子では、従来読み出しスピードが数十ミリ秒かかっていたが、最近は６０ｆｐｓで読出しのできるものも、提案されている。
【０００４】
例えば、特許文献１には、動画撮影中にストロボ発光して静止画撮影しても、滑らかな動画を得ることができるカメラが記載されている。このカメラでは、動画撮影するためのフレームレートの２倍のフレームレートで撮像素子を駆動し、動画記録用フレームの間に静止画記録用フレームを読み出して、静止画記録用フレームの受光期間中にストロボを発光させる。
【０００５】
また、特許文献２には、高画質の静止画像を撮影できると共に、高フレームレートで動画像を撮影できる撮像装置が記載されている。この撮像装置では、間引き読み出しモードで駆動された撮像素子から出力される画像データを動画像として記録し、全画素読出モードで駆動された撮像素子から出力される画像データを静止画像として記録する。
【特許文献１】特開２００４−６４４６７号公報
【特許文献２】特開２００５−５７３７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記したように近年、高速のＣＭＯＳセンサや、これに対応する高速の画素信号取り込み回路もいろいろ実現されている。このような高速読出しができる撮像素子を使って、動画静止画兼用記録のカメラも上記のように提案されている。静止画撮影では撮影ボタンによる指示だけでタイミングが決まるので、適切なタイミングの静止画像を得るのは、特に初心者にとっては容易でない。連写モードを利用すればタイミングを失うおそれは少なくなるが、多数の画像から希望の画像を選択する等の面倒さが発生する。
【０００７】
一方動画撮影では、連続的に撮影できるので撮影タイミングを逃すおそれがない。しかし動画撮影では、静止画撮影に比べて撮像素子から読み出す画素数を少なくしなければならない制限が付く。そのため、動画像は静止画像に比較すればどうしても画質は劣る。動画像の一部からもプリントすることは可能であるが、静止画像からプリントしたものに比べて画質は落ちてしまうので、動画像データではプリントには使いづらいという問題がある。そこで、プリントにも耐えるような高画質の静止画が適切なタイミングで撮影のできるデジタルカメラが望まれる。
【０００８】
本発明は以上の点に鑑み、適切なタイミングで高品位の静止画を得ることができるカメラ、そのカメラの撮影制御方法、プログラム、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明によるカメラは、撮像素子から略一定周期で出力される画像信号を利用して、静止画像にふさわしい撮影タイミングの判定をする判定部と、撮像素子から読み出す画素数を選択する選択部と、上記静止画像にふさわしい撮影タイミングにおいては、上記撮像素子から読み出す画素数を多画素に選択するよう選択部を制御する制御部を備えるものである。
【００１０】
また、第２の発明によるカメラは、一定間隔で画像を読み出す撮像素子と、撮像素子から画素数の多い画像を読み出すか画素数の少ない画像を読み出すかを選択する選択部と、撮像素子から読み出された画素数の少ない画像に基づいて、適切な画像を撮影するタイミングを判定するタイミング判定部と、通常は撮像素子から画素数の少ない画像を読み出すように上記選択部を制御し、読み出された画素数の少ない画像を上記タイミング判定部で判定させ、上記タイミング判定部で適切な画像を撮影するタイミングが判定された場合に、そのタイミングで撮像素子から画素数の多い画像を読み出すよう上記選択部を制御する制御部を備えるものである。
【００１１】
また、第３の発明によるカメラの撮影制御方法は、撮像素子から一定間隔で読み出される画像について、画素数の多い画像として読み出すか画素数の少ない画像として読み出すかを選択する選択手段を備えるカメラの撮影制御方法において、撮像素子から画素数の少ない画像として読み出して、この読み出した画素数の少ない画像に基づいて、適切な画像を撮影するタイミングを判定し、そのタイミングで撮像素子から画素数の多い画像を読み出し、この読み出された画素数の多い画像を記録媒体に記録するものである。
【００１２】
また、第４の発明によるプログラムは、撮像素子から一定間隔で読み出される画像に関し、画素数の多い画像として読み出すか画素数の少ない画像として読み出すかを選択する選択手段を備えるカメラのコンピュータに実行させるプログラムにおいて、撮像素子から画素数の少ない画像として読み出す工程と、この読み出した画素数の少ない画像に基づいて、適切な画像を撮影するタイミングを判定する工程と、そのタイミングで撮像素子から画素数の多い画像を読み出す工程と、読み出された画素数の多い画像を記録する工程をカメラのコンピュータに実行させるものである。
【発明の効果】
【００１３】
本発明によれば、適切なタイミングで高品位の静止画を得ることができるカメラ、そのカメラの撮影制御方法、プログラム、記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下本発明を実施するための最良の形態を図面を参照して説明する。
図１から図５を用いて実施形態を説明する。動画撮影中に割り込みで静止画撮影を行うことのできるカメラを用いて、適正なタイミングで静止画撮影を行う。第１に、見栄えのする写真となるために、その静止画はジャストなタイミング（決定的瞬間）で撮影されることが必要である。また、プリントしても鑑賞に堪えるような静止画を得るために、その静止画は撮像素子の画素数を十分に活用した多画素で構成される必要もある。この多画素の静止画撮影のためには、読出しや画像処理に比較的長い時間が必要になる。さらに、この静止画撮影時にはこの決定的瞬間がプリント等の画面上に美しく収まるために、動画に比べてピントや露出がより正確に調節されることも必要になる。
【００１５】
一方、動画は、表示装置側の規格（ＮＴＳＣあるいはハイビジョン等）で扱える画素数に上限があり、本発明ではその上限より画素数の多い撮像素子を使うことを前提にするので、本発明の撮像素子の画素数の全てを利用する必要はない。また、動画は動きのなめらかさが重要であって、決定的瞬間を捉えるという要請はないから、動画では、撮像素子からの読出しが高速かつ規則的であることが要求される。
【００１６】
本実施形態では、これらの問題を解決して、動画撮影をしながら決定的瞬間をのがさない静止画撮影のできるカメラについて説明する。なお、以下では動画像も同時に記録媒体に記録するよう説明するが、これに限られることはなく、動画像を静止画撮影のタイミング予測にのみ利用して、記録はしないようにしてもよい。
【００１７】
図１は、本発明が適用されるカメラ１の全体ブロック図である。カメラ１には、レンズ部２、レンズドライブ（以下  ＬＤと表記）部１２、撮像素子３、読出し選択部１３、Ａ／Ｄ変換部４、切換スイッチ部５、メモリ６、画像処理部７、記録再生部８、表示部９、記録媒体１８が設けられる。レンズ部２は、入射した被写体２０の像を撮像素子３に結像する。ＬＤ部１２は、レンズ部２のピントレンズを駆動制御して、焦点調整を行う。撮像素子３は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。
【００１８】
読出し選択部１３は、撮像素子３から動画用画像信号または静止画用画像信号のいずれの信号を出力させるかを選択する。動画用画像信号は撮像素子３から画素数を間引いて読み出された信号で、静止画用画像信号は撮像素子３から画素数を全く間引かないかまたは多少間引いて読み出された全画素の信号である。例えば、１０００万画素の撮像素子で、静止画用画像信号が撮像素子の全画素に相当する１０００万画素あるいは多少間引いて５００万画素で、動画用画像信号が１００万画素というような割合である。Ａ／Ｄ変換部４は、撮像素子３より選択されて出力された画像信号をデジタル変換して画像データとして出力する。
【００１９】
切換スイッチ部５は、Ａ／Ｄ変換部４より出力された画像データを、動画または静止画の画像データの種類に応じて、対応する画像処理部に入力されるように切換える。メモリ６は、静止画用データおよび動画用画像データを一時的に記憶するバッファーメモリであるとともに、画像処理用のワークエリアである。
【００２０】
画像処理部７は、静止画画像処理部７ａと動画画像処理部７ｂから構成される。静止画画像処理部７ａには、静止画がプリントに適した画質になるようなガンマ変換や色処理やシャープネス処理などを実行する回路、記録するためにデータサイズを圧縮する静止画用の圧縮手段（ＪＰＥＧ圧縮）、及び記録された画像を再生する回路や伸張する伸張手段が内蔵されている。動画画像処理部７ｂには、動画用のガンマ変換や色処理やシャープネス処理などを実行する回路、記録するためにデータサイズを圧縮する動画用の圧縮手段（例えばＭＰＥＧ圧縮）、及び記録された画像を再生する回路や伸張する伸張手段が内蔵されている。
【００２１】
記録再生部８は、画像処理部７で画像処理された動画または静止画の画像データを記録媒体１８に記録し、再生時には記録媒体１８から動画または静止画の画像データを読み出して再生する。また後述するように音声の記録再生も行う。記録媒体１８は、フラッシュメモリ等から構成される保存用メモリである。また、表示部９は、カメラ１背面やファインダーに設けられる液晶などに、撮像素子３で得た被写体２０の像を表示する。表示部９は、撮影時に被写体確認用にモニタ画像を表示し、再生時には伸張処理された記録画像（動画像、静止画像）を表示する。
【００２２】
カメラ１には、ＭＰＵ１０、ＲＯＭ１１、操作部１６、マイク部１５、音声圧縮部１７が設けられる。ＭＰＵ（マイクロコントローラ）１０は、マイクロコントローラからなる演算制御手段で、プログラムに従って撮影や再生等カメラ１の全体の制御を司る制御部である。ＲＯＭ１１は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ処理を行う制御用のプログラムが格納される。操作部１６は、撮影者の指示をＭＰＵ１０に通知する。操作部１６の代表例としてスイッチ１６ａ、１６ｂ、１６ｃが設けられる。
【００２３】
マイク部１５は、動画撮影時の音声も記録するためのものである。また、音声圧縮部１７は、マイク部１５で検出された音声を圧縮して、動画と合わせて記録再生部に音声データを入力する。
【００２４】
カメラ１には、タイミング判定部１４が設けられる。タイミング判定部１４は、連続的な動画またはその音声の内容を解析して、この動画の直後または一定時間経過後に適切な静止画が撮影できるかを予想し判定する手段である。タイミング判定部１４は、動画用にサイズが縮小されて記憶されたメモリ６内の画像データを解析して、静止画として撮影すべきタイミングを予想して、静止画撮影を補助する。メモリ６内の画像は動画用に記憶された画像で、個々の画像サイズが小さいので、高速で被写体の状態を判定するのにも向いている。
【００２５】
タイミング判定部１４は、変化検出部１４ａを有する。変化検出部１４ａは、画素数の少ない動画像の各画像の差分または音声の変化を検出して、被写体の変化を解析する。タイミング判定部１４が、この解析結果から撮影すべきタイミングを予測する。そして、タイミング判定部１４は、動画から適切な静止画撮影のタイミングが予想できた場合に、そのタイミングをＭＰＵ１０に通知する。ＭＰＵ１０は、通知されたタイミングにあわせて、読出し選択部１３や切換スイッチ部５を制御する。
【００２６】
ＭＰＵ１０は、この画像判定結果によって所定のタイミングで、撮像素子から静止画用画像信号を読み出すよう読出し選択部１３を制御し、さらに出力された静止画画像データに対して切換スイッチ部５を静止画画像処理部７ａの方向に切換えるよう制御する。これにより最適なタイミングで静止画の読み出しや圧縮処理が行われる。なおここで、タイミング判定部１４からのタイミング指示のみで自動的に静止画撮影を行ってもよいし、タイミング指示に加えてその前後で撮影者から操作部１６の操作による静止画撮影指示があった場合に静止画撮影を行うようにしてもよい。また、ＭＰＵ１０は、このタイミングで画像のコントラスト変化を検出して、ＬＤ部によりオートフォーカスの動作を行っても良い。以上は重要なので、詳細は後述する。
【００２７】
タイミング判定部１４では、静止画像にふさわしい画像の撮影タイミングを判定するが、タイミング判定部１４の判定例を図２を用いて説明する。図２は、動きのある被写体に対して静止画を撮影すべきタイミングの例である。この静止画像にふさわしい画像は、動き速い被写体の中の一瞬の画像である。
【００２８】
まず図２（Ａ）は、被写体全体が速い動きをする場合の例である。このシーンは、イルカが一瞬水面から飛び上がったシーンである。６枚の各画像は連続して撮影された動画像の中から、一定時間間隔（例えば１／１５秒）で抽出した画像で、時間（Ｔ１，Ｔ２…、Ｔ６）は右方向に進行するとする。図２（Ａ）の中では、イルカが高く上がったＴ４またはＴ５が静止画として撮りたいシーンであるが、通常のカメラでレリーズボタンを操作するだけでは、うまく捉えることのできないシーンでもある。そこで同図（Ａ）のようなシーンでは、タイミング判定部１４の変化検出部１４ａがメモリ内に逐次記録されていくＴ１、Ｔ２、Ｔ３の画像の変化を解析する。そして、タイミング判定部１４がその動きの方向の変化、例えば、上方向への変化から水平方向の変化に移ったことを判断し、静止画撮影のタイミングを予想して、ＭＰＵ１０に通知する。これにより、次の瞬間であるＴ４やＴ５のタイミングで静止画が撮影できる。
【００２９】
図２（Ｂ）は、人物の顔を撮影する例である。６枚の画像は（Ａ）と同様に一定間隔の動画像の一部（例えば１／５秒）である。ここでは、眼を閉じた状態から開いた状態に変化する被写体に対して、画像判定する例を示す。眼をはっきり開いたＴ５の状態が静止画として好ましい画像とする。そこで、タイミング判定部１４の変化検出部１４ａがＴ３、Ｔ４のタイミングで略同じ画像が得られたときを判断して、次の画像（Ｔ５のタイミングの画像）を適正な画像と予想する。その通知を受けたＭＰＵ１０が、次のタイミングの画像を静止画として記録するようにすれば、Ｔ５のタイミングで静止画撮影ができる。
【００３０】
図２（Ｃ）は、被写体の音声を静止画撮影のタイミングに利用する例である。口を開けた状態を好ましい画像とする場合には、音声を静止画撮影のタイミングに利用することができる。そこで、図２（Ｃ）Ｔ４のタイミングで声が出されるとすると、画像の変化に加えてこのＴ４でマイクが声を検出して、タイミング判定部１４の変化検出部１４ａが音声の変化を検出する。そして、タイミング判定部１４が、この変化から次のＴ５のタイミングが適正撮影のチャンスと予測する。ＭＰＵ１０がその指示に基づいて、Ｔ５のタイミングで静止画撮影を行う。
【００３１】
次に本発明の特徴部である動画静止画の記録手順について、図３のタイミングチャートを用いて説明する。いずれも、ハイ／ローのうちの、ローが動作のタイミングを示す。図３（Ａ）は、撮像素子３から一定周期で読み出される画素信号の読出しタイミング、（Ｂ）はタイミング判定部１４による画像判定のタイミング、（Ｃ）は画像リサイズ処理のタイミング、（Ｄ）は動画像の記録のタイミング、（Ｅ）は撮影者による静止画撮影指示のタイミング、（Ｆ）は静止画記録のタイミングをそれぞれ示す。
【００３２】
この例ではカメラ１は動画静止画兼用撮影モードに設定されているとする。そして、動画撮影は１周期ｔ３（例えば１/６０秒）、撮像素子の読出しは（ｔ３）/２（例えば１／１２０秒）間隔で行われる（図（Ａ））。その間にタイミング判定部１４による判定により静止画撮影指示があった場合に（図（Ｂ））、静止画撮影が行われる。
【００３３】
撮像素子３からは、動画撮影中は、Ｔ１、Ｔ２…のような一定のタイミング（１／１２０秒）で、動画像用画像が読み出される（図（Ａ））。ｔ１は撮像素子からの動画信号の読出し時間である。なお、読出しに先立つ露光タイミングは省略してある。そして、読み出された動画像の１つおきの画像信号（ｍ１、ｍ３…）が、通常動画用画像として動画用画像処理され、記録再生部８によって記録媒体１８に記録される（図（Ｄ））。
【００３４】
ここで、タイミング判定部１４は、前のタイミングで得られた動画像の結果により次にタイミングで適切な静止画が得られるかを判断して、そうであれば、ＭＰＵ１０が静止画撮影を指示する。例えばＴ１，Ｔ２のタイミングで得られた動画像から毎回画像判定を行い（同図（Ｂ））、例えば図２（Ｂ）のように２つの画像を比較して動きがなくなったことを判定して、静止画に向いていると判断するようにしている。また適正画像は場面によって異なることも多いので、撮影者によって適正画像の性質を事前に設定させるようにしてもよい。
【００３５】
そして本例では、変化の停止した直後の画像を適正画像とするモードに設定されているとする。変化検出部１４ａでは、撮像素子３からの毎回の動画用画像（ｍ１、ｍ２…）について変化のないことを検出し、タイミング判定部１４が次のタイミングが静止画に向くことを判定する。つまり、Ｔ２の次のタイミングの画像が静止画向きと判定する。これを受けたＭＰＵ１０の指示により、読出し選択部１３が撮像素子３から静止画用の多画素（または全画素）を読み出すようなモードを選択する。そして、Ｔ３のタイミングで静止画撮影が行われる。撮像素子３から、多画素である静止画用画像ｓ１が読み出される。読み出された静止画用画像ｓ１はメモリ６に一旦記憶され、静止画用画像処理がされる。
【００３６】
また前述したように、ここでは撮影者から静止画撮影指示がその前後であった場合に限り、読み出した静止画用画像を記録媒体１８へ保存用記録する。ここで、同図（Ｅ）のように静止画用画像ｓ１の読出しの直前に静止画撮影指示があったとする。同図（Ｆ）のように、ＭＰＵ１０は、静止画撮影指示を受けて、静止画画像処理部７ａで圧縮等処理をさせた後の静止画用画像ｓ１を、動画用画像の記録タイミングと重複しないように調整して記録媒体１８に記録させる。静止画撮影指示は、静止画用画像ｓ１の読出し後であっても有効である。例えば静止画撮影指示の有効期間を静止画用画像ｓ１の読出しに対して±１秒以内と設定しておけばよい。そして、静止画用画像ｓ１の読出しの前後１秒以内に撮影者からの静止画撮影指示がない場合には、その静止画像をメモリ６から消去する。
【００３７】
一方、静止画用画像ｓ１の読み出しに要する時間（静止画読出し時間）ｔ２は、ｔ１より一般的に長い。そして、ｔ２が長いと、本来Ｔ３のタイミングで出力されるべき記録用動画像が出力できない場合がある。この場合には、メモリ６に記憶されている判定用の動画用画像ｍ２を、記録用動画像として利用する（図３（Ｄ））。なおＴ３の静止画像ｓ１をリサイズして記録用動画にしてもよいが（同図（Ｃ））、リサイズ処理にかかる時間によるタイムラグによって、動画書き込みタイミングからずれてしまうので、それを補正する必要が生じる。また、一定の動画撮影のタイミングを崩さないようにするために、静止画読出しをＴ３のタイミングではなく、１つ遅らせて記録用の動画像として使用しないＴ４のタイミングで静止画を得るようにするやりかたでも可である。上記いずれかの処理を採用して、動画の途中で読出しに時間のかかる静止画信号を読み出しても、動画用動画は、一定周期ｔ３で記録される。
【００３８】
図４は、図３で説明した撮影処理の手順を示すフローチャートである。カメラ１は図３と同様に、動画静止画兼用撮影モードに設定されているとする。この撮影処理は、プログラムに従ったＭＰＵ１０、読出し選択部１３、タイミング判定部１４、切換えスイッチ部５及び画像処理部７によって主に実行される。まず、撮像素子３から多画素（あるいはフル画素）の静止画用ではなく、画素数の少ない動画用の画像信号を読出す（ステップＳ１１）。これは、ＶＧＡなど動画を撮影するのに相当する画素数の画像であり、撮像素子からの読出し時に、フル画素から隣接画素のデータを加算したり（加算読出し）、間引いたり（間引き読出し）して画素数を削減する。読出し選択部１３によって動画用画像の読み出しが選択される。読み出された画像は、Ａ／Ｄ変換後、一旦メモリ６に記憶される(ステップＳ１２）。同時に、この取得した画像はモニタ画像として表示部９に表示させる（ステップＳ１３）。
【００３９】
そして、メモリ６に記憶された画像が、タイミング判定部１４に入力される。タイミング判定部１４の変化検出部１４ａがこの結果が前の画像と比較して動きがあるかどうか、あるとしたら、どちらの方向に変化しているか等を検出し、それに応じてタイミング判定部１４が、適正な静止画像の撮影できるタイミングを判定する（ステップＳ１４）。なお、判定の詳細は、図５のフローチャートで説明する。その結果による静止画取得のタイミングが来たかを判断する（ステップＳ１５）。好ましいと撮影の出来るタイミングになったら（ステップＳ１５ＹＥＳ）、読出し選択部１３は撮像素子からフル画素の静止画用画像を読み出すよう選択をする。そして、撮像素子３より静止画用画像の読出しを開始する（ステップＳ１６）。
【００４０】
静止画用画像の読出し中に（ステップＳ１７ＹＥＳ）、動画用画像の取得のタイミングがきたかを判断する（ステップＳ１８）。図３のＴ３のタイミングである。この静止画用画像読出し中に動画用画像の取得タイミングがきたときには（ステップＳ１８ＹＥＳ）、この例では代わりに前のタイミングで得た動画像用画像をメモリ６から読出す（ステップＳ１９）。図３のｍ２である。この動画像を動画画像処理部７ｂの圧縮部にて圧縮させて、記録媒体１８に記録する（ステップＳ２０）。これにより、静止画像読出しが割り込みで入っても、動画記録が不連続にならない。
【００４１】
一方、静止画用画像の読出しが終了すると（ステップＳ１７ＮＯ）、切換えスイッチ部５によって、読み出した画像データを静止画画像処理部７ａに出力される。静止画画像処理部７ａでは、静止画用の画像処理や圧縮を行わせる（ステップＳ２１）。上記静止画像の取得が終わった後は、再び、動画取得のタイミングを判定する（ステップＳ２２）。動画取得のタイミングになると（ステップＳ２２ＹＥＳ）、読出し選択部１３が動画用画像の出力を選択し、撮像素子３から動画にふさわしい少ない画素数の画像を読み出す（ステップＳ２３）。この画像を圧縮して記録する（ステップＳ２４）。そして、上記静止画像の取得の前後にユーザーによる静止画撮影の指示があったかを判断する（ステップＳ２５）。例えば前後１秒とする。所定時間ユーザーのレリーズボタン（１６ａ）操作等による静止画撮影指示がない時には（ステップＳ２５ＮＯ）、特に静止画取得を求めていないものとして、上記で取得し圧縮までした静止画像については、これを記録媒体１８へは記録せずにメモリ８から消去する（ステップＳ２６）。また動画記録は、ユーザーによる動画撮影の終了操作（ステップＳ３１）がなされるまで繰り返す。
【００４２】
一方静止画撮影の指示があった場合には（ステップ２５ＹＥＳ）、その指示タイミングの前後に取得された静止画像データがあるかを判断する（ステップＳ２７）。上述したステップ２１で静止画取得が好ましいと判定されて圧縮された静止画像が存在するかが判断される。この静止画像があるときは（ステップＳ２７ＹＥＳ）、ステップ２１で圧縮処理までされていた静止画データを記録媒体１８に記録する（ステップＳ３０）。一方、ユーザーからの静止画撮影指示があっても（ステップＳ２５ＹＥＳ）、対応する好ましい静止画像（ステップＳ２１で圧縮されたような）が存在しないときは（ステップＳ２７ＮＯ）、改めて静止画撮影（ステップＳ２８）、圧縮を行う（ステップＳ２９）。そして、圧縮された静止画像を記録媒体１８に記録する（ステップＳ３０）。ステップＳ２８の撮影は、通常の静止画撮影である。
【００４３】
また、ステップＳ１５で静止画として好ましいタイミングがあると判定されない時は（ステップＳ１５ＮＯ）、ステップＳ２２に進む。そこで前述した動画処理を行う。そこでまた、ユーザーによる静止画撮影の指示があったときは（ステップＳ２５ＹＥＳ）、ステップＳ２７では、直前直後の静止画像が当然にない状態なので、ステップＳ２８に進む。前述のように改めて静止画撮影（ステップＳ２８）、圧縮を行う（ステップＳ２９）。そして、圧縮された画像を記録媒体１８に記録する（ステップＳ３０）。以上の処理をユーザーによる撮影終了の指示があるまで継続する。なお、ステップＳ１５での好ましいと判断されるレベルについては、このレベルを可変できるようにしても良い。
【００４４】
図５は、静止画として好ましいか否かを判断する処理手順の一例を説明するフローチャートである。図４のステップＳ１５の内容の１例である。この処理は、プログラムを実行するＭＰＵ１０やタイミング判定部１４によって主に実行される。
【００４５】
メモリ８に記憶された動画像の特徴から、被写体が顔かどうかを判定する技術を利用して、顔検出を行う（ステップＳ４４）。そして、顔の場合には顔の位置と大きさから構図がＯＫかどうかを判定する（ステップＳ４５）。
【００４６】
構図がＯＫと判断されると（ステップＳ４５ＹＥＳ）、続いて、被写体の動きと目線を判断する（ステップＳ４６、ステップＳ４７）。被写体の動きがなく（ステップＳ４６ＹＥＳ）、被写体の目線がこちらを向いているときは（ステップＳ４７ＹＥＳ）、図２（Ｂ）のＴ４のような例であるとして、前述の静止画撮影を指示する（ステップＳ５２）。
【００４７】
また、顔の検出ができなかったり（ステップＳ４５ＮＯ）、ステップＳ４６，ステップＳ４７の条件が満たされないときは、さらに、ステップＳ４８に進み、被写体の動きの方向を検出する。そして、前回が水平方向（ステップＳ４８ＹＥＳ）、前々回が上下方向の変化だった場合（ステップＳ４９）のように動きの方向が変わったシーンでは（例えば図２（Ａ）Ｔ３）、同様に、静止画撮影を指示する（ステップＳ５２）。また、ステップＳ４８やステップ４９の条件を満たさないときは、さらに音の変化を参考にする（ステップＳ５０）。音の変化があった場合は（ステップＳ５０ＹＥＳ）、静止画撮影を指示する（ステップＳ５２）。上記いずれの条件にもあてはまらないときは、静止画撮影を指示しない（ステップＳ５１）。
【００４８】
あまり頻繁に静止画取り込んでいると、消費エネルギの問題やメモリ容量の問題、処理時間の問題もあって好ましくない。本実施形態では、静止画取り込みのタイミングをカメラが補助して、効率よく静止画を取り込むようにするので、頻繁に静止画取り込みを行わなくてもシャッターチャンスをのがさないカメラを提供することができる。
【００４９】
以上本発明では、繰り返し行っている撮像読出しによって得られた画像データの変化を検出して静止画にふさわしい画像を得るようにした。これにより、静止画の決定的瞬間を撮影しようとする場合に、人間の動作の遅れや機器のタイムラグ等によって、そのチャンスを外してしまうことを防ぐことができる。
【００５０】
また、本発明によれば、高速で画像が読み出せる撮像素子を有効に利用して、連続した動画、シャッターチャンスを逃さず、高品位の画像で取得可能な静止画を同時に撮影できるカメラを提供することが出来る。
【００５１】
そして、本発明により、静止画にふさわしい高品位の画像を得ると同時になめらかな動きの動画を撮影可能とするデジタルカメラを提供することもできる。
【００５２】
なお、以上の実施形態において、図４，５のフローチャートは、ソフトウェア処理であるＭＰＵ１０とハードウェアであるタイミング判定部１４や読出し選択部１３の組み合わせで実行される旨説明した。しかし、これに限られることなく、ソフトウェア処理とハードウェア処理の組み合わせは任意の設計事項である。そして、ＭＰＵ１０による各制御処理は、ＲＯＭ１１に格納されたソフトウェアプログラムがＭＰＵに供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１０の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、各実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても良い。
【００５３】
さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５４】
【図１】第１実施形態において、本発明が適用されるカメラ１の全体ブロック図。
【図２】第１実施形態において、動きのある被写体に対して静止画を撮影すべきタイミングの例を示す図。
【図３】第１実施形態において、動画撮影中に行われる画像判定と静止画撮影のタイミングチャート。
【図４】第１実施形態において、カメラ１の撮影処理の手順を説明するフローチャート。
【図５】第１実施形態において、静止画として好ましい場面を判定する手順を説明するフローチャート。
【符号の説明】
【００５５】
1…カメラ、２…レンズ部、３…撮像素子、４…Ａ／Ｄ変換部、５…切換えスイッチ部、６…メモリ、
７…画像処理部、７ａ…静止画画像処理部、７ｂ…動画画像処理部、
８…記録再生部、９…表示部、
１０…ＭＰＵ、１１…ＲＯＭ、１２…ＬＤ部、１３…読出し選択部、
１４…タイミング判定部、１４ａ…変化検出部、
１５…マイク部、１６…操作部、１６ａ、１６ｂ、１６ｃ…スイッチ、
１７…音声圧縮部、１８…記録媒体、２０…被写体、ｍ１、ｍ２…動画用画像、ｓ１…静止画用画像
【図１】
2007318725.tif 000003
【図２】
2007318725.tif 000004
【図３】
2007318725.tif 000005
【図４】
2007318725.tif 000006
【図５】
2007318725.tif 000007