(57)【要約】【課題】静止画を主体とした動画静止画の組み合わせ撮影のできるカメラ、その撮影制御方法、プログラムおよび記録媒体を提供する。【解決手段】静止画用レリーズがなされる前後に、読み出し部であるＡＦＥ部４が、撮像素子３から出力２として動画像を読み出す。ＡＦＥ部４は、動画像として静止画像より狭い範囲の画像を読み出す。特に縦撮影時には、ＡＦＥ部４は、狭い範囲のＡ動画とやや広い範囲のＢ動画の大きさの違う２種の動画を読み出す。また、ＡＦＥ部４は、動画像の読み出し範囲として１６：９のワイド画面に適合するような範囲にする。そして、静止画像の前後のタイミングの動画像を静止画像と組み合わせるように記録する。【選択図】図１４
2007306496.tif 000002
【特許請求の範囲】
【請求項１】
動画と静止画を記録するカメラにおいて、
撮像素子から第１の画像データ及び第２の画像データを取り出す画像データ取り出し部と、
上記第１の画像データを動画、第２の画像データを静止画としてそれぞれ記録する記録部と、
カメラの縦横の構図を判定する構図判定部を備え、
上記画像データ取り出し部は、上記構図判定部の出力に従って、上記撮像素子からの上記第１の画像データの取得範囲を変更する
ことを特徴とするカメラ。
【請求項２】
動画像と静止画像を記録するカメラにおいて、
静止画像及びこの静止画像の一部を撮影領域とする動画像を撮像素子から読み出す読み出し部と、
撮像素子から読み出された画像の記録を制御する制御部と、を備え
上記読み出し部は、静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで上記静止画像の一部を撮影領域とする動画像を読み出し、
上記制御部は、読み出された動画像を上記静止画像に関連して記録するよう制御する
ことを特徴とするカメラ。
【請求項３】
撮影した動画像及び静止画像を外部表示装置に出力する出力部を備え、
上記読み出し部は、上記動画像の撮影領域として、上記外部表示装置のアスペクト比に応じた範囲を読み出す
ことを特徴とする請求項２に記載のカメラ。
【請求項４】
撮影時の構図を判定する縦横判定部を備え、
上記読み出し部は、上記動画像の撮影領域として、縦横判定部の判定に応じた範囲を読み出す
ことを特徴とする請求項２に記載のカメラ。
【請求項５】
上記読み出し部は、上記縦横判定部により縦撮影と判定されたときには、撮影領域を異ならせて複数の動画像を読み出し
上記制御部は、静止画像撮影の前後に、それぞれ撮影領域の異なる複数の動画像を記録するよう制御する
ことを特徴とする請求項４に記載のカメラ。
【請求項６】
動画像と静止画像を記録するカメラにおいて、
静止画像及び動画像を撮像素子から読み出す読み出し部と、
読み出された動画像をその画像の一部分のサイズに変更するサイズ変更部と、
撮像素子から読み出された画像の記録を制御する制御部と、を備え
上記読み出し部は、静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで動画像を読み出し、
上記制御部は、静止画撮影時に、静止画像ととも上記サイズ変更部によってサイズ変更された動画像も関連して記録するよう制御する
ことを特徴とするカメラ。
【請求項７】
撮影した動画像及び静止画像を外部表示装置に出力する出力部を備え、
上記サイズ変更部は、上記外部表示装置のアスペクト比に応じて、上記動画像のサイズを変更する
ことを特徴とする請求項６に記載のカメラ。
【請求項８】
撮影時の構図を判定する縦横判定部を備え、
上記読み出し部は、縦横判定部により縦撮影と判定されたときには、撮影領域を異ならせて複数の動画像を読み出し
上記制御部は、静止画撮影の前後に、それぞれ撮影領域の異なる複数の動画像を記録するよう制御する
ことを特徴とする請求項６に記載のカメラ。
【請求項９】
動画像と静止画像を記録するカメラの撮影制御方法において、
静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで上記静止画像の一部を撮影領域とする動画像を読み出し、読み出された動画像を上記静止画像に関連して記録する
ことを特徴とする撮影制御方法。
【請求項１０】
動画像と静止画像を記録するカメラの撮影制御方法において、
静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで動画像を読み出し、
読み出された動画像をその画像の一部分のサイズに変更し、静止画像ととも上記サイズ変更された動画像も関連して記録する
ことを特徴とする撮影制御方法。
【請求項１１】
動画像と静止画像を記録するカメラの撮影制御方法をコンピュータに実行させるプログラムにおいて、
上記撮影制御方法は、静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで上記静止画像の一部を撮影領域とする動画像を読み出し、読み出された動画像を上記静止画像に関連して記録する
ことを特徴とするプログラム。
【請求項１２】
動画像と静止画像を記録するカメラの撮影制御方法をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な記録媒体において、
上記撮影制御方法は、静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで上記静止画像の一部を撮影領域とする動画像を読み出し、読み出された動画像を上記静止画像に関連して記録する
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、、動画静止画兼用カメラで、特に静止画撮影時に同時に動画撮影もできるカメラに関する。
【背景技術】
【０００２】
最近は、静止画と動画の両方を撮影できるデジタルカメラが多く提案されている。メモリ容量の増加や動画圧縮技術の進歩さらには撮像素子の高速化が、このようなカメラの開発を促している。さらに、高速読み出し可能な高画素の撮像素子の開発も大きい。たとえば５００万画素以上の高画素の撮像素子では、従来読み出しスピードが数十ミリ秒かかっていたが、最近はフルの画素を６０ｆｐｓといった高フレームレートで読出しのできるものも提案されている。
【０００３】
例えば、従来のような静止画と動画を別々に撮影するだけではなく、同時に撮影もできるデジタルカメラも提案されている（特許文献１）。
【０００４】
一方動画静止画両方記録のデジタルカメラによって得られた撮影画像は、従来銀塩カメラと同じプリントにされるだけではなく、更にＴＶやパソコンモニタで表示される機会も増える。カメラで縦撮影された画像はプリントでは何の支障もないが、画面に表示されると極めて不自然になる。そこで、構え方によって縦構図か横長構図かを検出し、撮影と再生の状況のつじつまを合わせて、再生時に反映させるカメラも提案されている（特許文献２）。    
【特許文献１】特開２００５−５７３７８号公報
【特許文献２】特開２００３−６０９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
静止画と動画の両方が撮影可能なカメラは、色々製品化されている。しかし、現在の動画静止画兼用カメラは使い勝手が良いとは言えず、その撮影画像もあまり利用価値が高いとは言えない。その原因の１つに、動画と静止画では撮影時の決め手が異なる点がある。つまり、静止画撮影では露出やピントといった条件は多くが自動化されているので、ユーザーは被写体の一瞬を切り取るタイミングと構図の決定が大きなポイントになる。一方、動画は瞬間ではなくむしろ全体としてのストリー性が重要になる。そこで、単に動画と静止画を同時に撮影できるだけでなく、両者を組み合せる工夫が必要となる。
【０００６】
また、実際的な問題として大きいのが画面表示である。上記でも指摘したように、縦撮影画像を向きを変えて表示すると、画面左右には空白が発生するという問題がある。そして、家庭内のデジタルコンテンツ再生環境が整備されてくると、大型画面のＴＶの前で画像を楽しむ機会が増加するものと考えられる。大型画面のＴＶの場合はハイビジョン（ＨＤ）画質ものが増加中であり、そのアスペクト比は１６：９の横長画面である。対して、静止画は、プリント用の４：３のアスペクト比である。人物撮影時には縦長構図が多用されのが、このような縦長の静止画像が大型画面のＴＶで再生されると、従来以上に大きな非表示部分が左右に生じてしまい、見る意欲が削いでしまう。せっかくの動画静止画対応カメラであるから、静止画をＴＶ、特にワイド画面でじっくり見せる工夫も必要となる。
【０００７】
本発明は、以上の課題に鑑み、静止画を主体とした動画静止画の組み合わせ撮影のできるカメラ、その撮影制御方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、第1の発明によるカメラは、動画と静止画を記録するカメラにおいて、
撮像素子から第１の画像データ及び第２の画像データを取り出す画像データ取り出し部と、上記第１の画像データを動画、第２の画像データを静止画としてそれぞれ記録する記録部と、カメラの縦横の構図を判定する構図判定部を備え、上記画像データ取り出し部は、上記構図判定部の出力に従って、上記撮像素子からの上記第１の画像データの取得範囲を変更するものである。
【０００９】
また、第２の発明によるカメラは、動画像と静止画像を記録するカメラにおいて、静止画像及びこの静止画像の一部を撮影領域とする動画像を撮像素子から読み出す読み出し部と、撮像素子から読み出された画像の記録を制御する制御部と、を備え  上記読み出し部は、静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで上記静止画像の一部を撮影領域とする動画像を読み出し、上記制御部は、読み出された動画像を上記静止画像に関連して記録するよう制御するものである。
【００１０】
また、第３の発明によるカメラは、動画像と静止画像を記録するカメラにおいて、静止画像及び動画像を撮像素子から読み出す読み出し部と、読み出された動画像をその画像の一部分のサイズに変更するサイズ変更部と、撮像素子から読み出された画像の記録を制御する制御部と、を備え  上記読み出し部は、静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで動画像を読み出し、上記制御部は、静止画撮影時に、静止画像ととも上記サイズ変更部によってサイズ変更された動画像も関連して記録するよう制御するものである。
【００１１】
また、第４の発明による撮影制御方法は、動画像と静止画像を記録するカメラの撮影制御方法において、静止画撮影時に、静止画像とともにこの静止画像撮影の前後のタイミングで上記静止画像の一部を撮影領域とする動画像を読み出し、読み出された動画像を上記静止画像に関連して記録するものである。
【発明の効果】
【００１２】
本発明によれば、静止画を主体とした動画静止画の組み合わせ撮影のできるカメラ、その撮影制御方法、プログラムおよび記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下本発明を実施するための最良の形態を図面を参照して説明する。
（第１実施形態）
図１は、本発明が適用されるカメラ１の全体ブロック図である。カメラ１にはレンズ部２、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４、画像処理部５、圧縮部６、記録再生部７、メディア８が設けられる。レンズ部２は、入射した被写体２０の像を撮像素子３に結像する。撮像素子３は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。ＡＦＥ部４は、撮像素子３から出力されるアナログの信号をデジタルの画像信号に変換して、画像処理部５に入力させる。また、ＡＦＥ部４は、撮像素子３の出力する信号を取捨選択する機能も有し、全部の受光面から限られた画素データのみを抽出することができる。
【００１４】
画像処理部５は、画像データに各種処理を施す。画像処理部５は、画像データに対して色補正、平滑化処理、コントラスト強調処理などの各種処理を行う。また、画像処理部５には、サイズ変更部５ａが設けられる。サイズ変更部５ａは、画像記録時や再生時に、適宜アスペクト比を変えて、元の画像から指示に応じた大きさに画像のサイズを変更する。部分画像またはトリミングとも呼ばれる。詳細は後述する。
【００１５】
圧縮伸長部６には、静止画用の圧縮伸長を行う静止画圧縮伸長部６ａ、動画圧縮を行う動画圧縮伸長部６ｂが設けられる。静止画圧縮伸長部６ａはＪＰＥＧ（Joint Photographic Coding Experts Group）などの静止画用の圧縮伸長回路を有する。動画圧縮伸長部６ｂは、ＭＰＥＧ（Motion Picture Experts Group）やＨ．２６４の動画圧縮伸長回路を有する。記録再生部７は、撮影時には圧縮処理された画像データを記録媒体であるメディア８に記録し、再生時にはメディア８から画像データを読み出す。メディア８は、画像を保存記録する記録媒体である。
【００１６】
また、カメラ１には、表示制御部１２と表示部１３及び出力部１４が設けられる。表示制御部１２は、再生時にメディア８に記録された画像や撮影時のモニター画像を表示するよう表示部１３を制御する。表示部１３は、例えばＬＣＤから構成され、撮影時にモニタ画像を表示し、再生時には伸張処理された記録画像を表示する。撮影時にはユーザーは、表示部１３に表示された画像を見ながら、構図やタイミングを決めて撮影操作を行う。
【００１７】
出力部１４は、画像処理部５から出力される撮影画像やサイズ変更画像を、接続される外部表示装置２１に合わせたＮＴＳＣ信号やハイビジョン信号に変換して、出力する。外部表示装置（以下ＴＶと略す）２１は、ＮＴＳＣタイプのＴＶやハイビジョンタイプのＴＶである。
【００１８】
また、カメラ１には、ＭＰＵ１０、ＲＯＭ１１、操作部１６が設けられる。ＭＰＵ（マイクロコントローラ）１０は、プログラムに従って撮影や再生等カメラ１の全体の制御を司る制御部である。ＲＯＭ１１は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ１の制御処理を行う制御用のプログラムが格納される。操作部１６は、撮影者の指示をＭＰＵ１０に通知する。操作部１６の代表例としてスイッチ１６ａ、１６ｂ、１６ｃが設けられる。スイッチ１６aはレリーズスイッチである。その他に、撮影／再生モード切替や撮影モードの切替などのスイッチもある。ＭＰＵ１０は、撮影や表示などのユーザーの指示をスイッチ１６ａ、１６ｂ、１６ｃで検出する。
【００１９】
また、カメラ１には、縦横判定部１７および顔検出部１５が設けられる。縦横判定部１７は、撮影時に、構図が縦か横かを判定するものである。ＭＰＵ１０はこの結果を撮影画像データに書き込む。またこの結果が、ＭＰＵ１０によるＡＦＥ部４や画像処理部５の制御に反映される。顔検出部１５は、画像処理結果にしたがって、画像信号から撮像された像信号を分析し、そこに顔特有の目鼻や輪郭などが含まれるかを検出して、その画面内での顔の大きさや位置をＭＰＵ１０に出力する。
【００２０】
図２は、ユーザーの画像鑑賞場面の一例を示した図である。ユーザーは従来と同じように、撮影画像をプリント２２で楽しむ場面は多い。加えて、ユーザーは、大型画面のＴＶ２１の前で撮影した画像コンテンツを楽しむ機会が増加するものと考えられる。使用されるＴＶ２１はハイビジョン（ＨＤ）画質ものが増加中なので、ＴＶ２１のアスペクト比も１６：９の横長画面が多くなる。それに対して、カメラの撮像素子のアスペクト比は一般に４：３（プリント２２）なので、そのずれが問題になる。
【００２１】
図３は縦構図撮影の場面を示す図である。縦に構えられたカメラ１により、被写体２０が撮影される。図４はワイド画面のＴＶ２１で表示される各種画像を示す図である。人物を撮影するときには、図３のような縦構図でのカメラ使用が多い。図４（Ａ）は、このような縦構図で撮影された画像が表示される例である。図４（Ａ）のように、プリントを前提として撮影された縦長の静止画像がＴＶ２１の画面で再生されると、画面の左右に大きな非表示部分２３ａが生じてしまう。
【００２２】
この非表示部分２３ａは１６：９の画像に対し、４：３の画面を縦長表示するので、とても大きいものとなる。縦が９に対し、３：４が対応すると横が１６に対して、３×９／４＝６．８しかなく、画像を２つ並べても、６．８×２＝１３．６＜１６と、横を満たすことができないほど、このときの効率の悪さは無視できないものである。
【００２３】
従って、せっかくの大画面ＴＶで見ることを前提にするのであれば、図４（Ｃ）のように画面をフルに利用して迫力ある表示をすることが望ましい。そこで、同じ画像を図４（Ａ）→（Ｂ）→（Ｃ）のように顔を中心に拡大させる表示を行う。これにより迫力のある表示が可能になる。
【００２４】
図５は、ＴＶ２１の画面に表示される画像のサイズと、対応して表示に使用する画素の関係を示す図である。ここで、図５（Ａ−１）、（Ａ−２）、（Ａ−３）の画像は、それぞれ図４（Ａ）、（Ｂ）、（Ｃ）の画像に対応している。また、図５(Ａ−２)以降では破線の枠が元の撮影画像の範囲を示し、実線の枠がＴＶ２１への表示画像の範囲を示す。
【００２５】
また、図５（Ｂ−１）から（Ｂ−４）は、静止画像データ全体の一部分の画素配列とその中から再生時に読み出される画素の割合を概念的に示す図である。図５（Ｂ−１）から（Ｂ−４）は、（Ａ−１）から（Ａ−４）にそれぞれ対応する。ただし、以下で説明する読み出し画素の割合は、あくまで例示である。
【００２６】
静止画像データは通常撮像素子のフル画素から構成される。静止画の画像はプリントに耐えることが必要だからである。一方、ＴＶ２１はアスペクトだけでなく、再生できる画素数も、撮像素子自体とかなり違う（ずっと少ない）。そこで、図５（Ａ）のような画像を再生するときは、例えば、図５（Ｂ−１）で斜線で示した部分のみを取り出し再生することで十分である。つまり、ＴＶ２１の再生能力より、図５（Ａ）のように、例えば２８画素中撮像素子画面３ａの２つの斜線部程度しか表示できないとする（ここでは、図示するときに容易なように極端な間引き方法として示してある）。
【００２７】
次に、図５（Ａ−２）では、画像を拡大表示している。図５（Ａ−２）のような画像を表示する場合には、ＴＶ再生を考慮して間引き方を変化させる。つまり、図４（Ｂ）のように、表示面積が増加し非表示部分２３ａが減少するので、全画素中表示に使用する画素の割合を増やす。ここでは、例えば静止画１６画素中４つの画素を使用する。上記図５（Ａ）のような間引き結果をそのまま拡大すると、せっかく高精細な表示能力を持ちながら、また元画像は豊富な情報を持ちながら粗い画面しか再生できなくなってしまうからである。これにより、画面上の高精細感を損なわれない。
【００２８】
図５（Ａ−３）は、画像を画面いっぱいに表示する場合である。図５（Ａ−３）のように表示するときは、図５（Ａー３）のような画像の顔部分領域の画素を出力するようにする。アスペクト比は、ＴＶアスペクト比に合わせる。そして、使用する画素数も、上記（Ａ−１）(Ａ−２)に比べて増やすようにする。つまり、その再生能力の向上に合わせて、図５（Ａ−１）(Ａ−２)のような画素間引きの必要がなくなる場合もある。
【００２９】
以上は、１６：９ワイド画面のＴＶに対し、極端に表示領域が異なる縦構図の例を示した。なお、図５（Ａ−４）は、通常の横構図で撮影した静止画像をＴＶ２１に表示する例である。このときも、図５（Ｄ）の実線ような領域のみの表示しかできないので、実線のような限定領域の表示を行う必要があることは言うまでもない。以上によりＴＶ２１の再生能力をフルに活用して、美しい高精細画像を楽しむことができる。
【００３０】
図６は、上記で説明した画像出力処理の手順を説明するフローチャートである。この画像出力処理は、プログラムに従ったＭＰＵ１０、画像処理部５、サイズ変更部５ａおよび出力部１４により主に実行される。
【００３１】
まず、再生される画像が、動画か静止画かを判定する（ステップＳ１１）。動画の場合には（ステップＳ１１ＹＥＳ）、動画表示用の出力を行う（ステップＳ２１）。静止画と判定すると（ステップＳ１１ＮＯ）、メディア８から記録再生部７を介して、静止画像データを読み出す（ステップＳ１２）。次に、この画像の撮影構図が縦か横かを判定する（ステップＳ１３）。縦横の判定は、縦横判定部１７によって撮影時に画像データに添付された構図データから判定する。あるいは、画像処理部５によって画像の特徴から判定してもよい。    
【００３２】
サイズ変更部５ａが縦横判定結果に基づいて以下のサイズ変更処理して、出力部１４がその画像を出力する。上記図４や図５で説明した処理である。まず、縦構図でなければ（ステップＳ１３ＮＯ）、つまり通常の横画面なので、サイズ変更部５ａは、図５（Ａ−４）で実線で示した領域を切出して、出力部１４がサイズ変更した画像を出力する（ステップＳ２２）。出力された画像がＴＶ２１に表示される。
【００３３】
縦構図の写真のときは（ステップＳ１３ＹＥＳ）、図４（Ａ）→（Ｂ）→（Ｃ）を一定時間で、順次繰り返すような表示を行う。画面を急激に変化させないようにするためである。サイズ変更部５ａは、読み出した画像データをまず図４（Ａ）のようなサイズの画像で、出力する（ステップＳ１４）。ここでのアスペクト比（横：縦）は３：４のままである。所定時間表示したら（ステップＳ１５ＹＥＳ）、読み出した画像データを図４（Ｂ）のようなサイズの画像にサイズ変更して、出力する（ステップＳ１６）。ここでのアスペクト比は例えば５：４に変更する。さらに、所定時間表示したら（ステップＳ１７ＹＥＳ）、読み出した画像データを図４（Ｃ）のような画像にサイズ変更して出力する（ステップＳ１８）。ここでのアスペクト比は１６：９に変更する。
【００３４】
図４（Ｃ）のような画像表示中に、終了の指示操作があれば（ステップＳ１９ＹＥＳ）、終了処理する。また、別画像表示への切換え指示があれば（ステップＳ２０ＹＥＳ）、ステップＳ１１にもどる。なお、再生時の表示の順番は、図４（Ａ）→（Ｂ）→（Ｃ）の順番でなく、逆に（Ｃ）→（Ｂ）→（Ａ）の順番としてもよい。ここで、画像ファイルは動画や静止画も一緒になってカメラのメディアに記録されているので、ユーザーの画像ファイルの切換え操作に従って、操作が動画か静止画を判定して、表示方法を切換えるようにした。
【００３５】
上記説明では、再生時に撮影画像の領域を変えながら、外部表示装置に出力することを説明した。これに限らず撮影時にサイズ変更画像を同時に生成して記録するようにしても良い。これを以下に説明する。
【００３６】
図７は、撮影時にサイズ変更画像もあわせて記録する画像記録処理の手順を説明するフローチャートである。この処理は、プログラムに従ったＭＰＵ１０、画像処理部５およびサイズ変更部５ａにより主に実行される。
【００３７】
撮影された元の画像は、プリントに耐えるようなフル画素から構成される画像として圧縮する（ステップＳ３１）。次に、この撮影画像が縦構図かで処理を変える。縦横判定部１７の判定により、縦構図かを判定する（ステップＳ３２）。縦構図でなく（ステップＳ３２ＮＯ）、横構図であれば、サイズ変更部５ａが、上記撮影画像から図５（Ａ−４）の実線のような横長の画像を生成して、記録再生部７が撮影画像とともに記録する（ステップＳ３６）。
【００３８】
一方、縦構図のときは（ステップＳ３２ＹＥＳ）、まず図４（Ａ）のような被写体全体を表示する画像である上記圧縮された撮影画像を記録再生部７が記録する（ステップＳ３３）。続いて、サイズ変更部５ａが、元の撮影画像から図４（Ｂ）のようなアスペクト比を変更した中間的な画像を生成し、記録再生部７がこれを記録する（ステップＳ３４）。さらにサイズ変更部５ａが、記撮影画像から図４（Ｃ）のような画面全体を有効利用するような、アスペクト比が１６：９の画像を生成し、記録再生部７がこれを記録する（ステップＳ３５）。
【００３９】
ここで、３段階に切換えて表示できるようにしたが、ステップＳ３３とステップＳ３５の２段階にして、途中は遷移時なので画質は問わないとして、電子ズームのような考え方で、粗いことは気にしないというやりかたでも良い。
【００４０】
以上のように、撮影時にサイズ変更画像も記録するようにしたので、再生のたびにフル画素の画像をいろいろサイズ変更して表示するようなプロセスが不要になり、再生側に特別な回路が不要になる。なお、上記例ではサイズを３段階で示したが、３段階以上のサイズ変更にしても当然良い。
【００４１】
次に、上記第１実施形態の変形例を図８、９を用いて説明する。図４（Ａ）のように、画面の両サイドを完全に画像なしの黒い表示にすると、見栄えが良くないと感ぜられる。そこで、この変形例では、再生表示時に画像を表示するときに、余白の部分を有効活用する例である。図８はこの合成処理の手順を説明するフローチャートである。図９は、ＴＶ２１に表示される画像を示す図である。  
【００４２】
図９のように画面両サイドに別画像を添付した画像を作成し、表示する。ただし、あまり煩雑なものやわかりにくいものだと、元画像鑑賞時の邪魔になるので、他に撮影した画像やその一部を縮小したりしてイラスト風にあしらったり、カメラがあらかじめ記録しているイラスト画像を利用する。
【００４３】
図８のフローチャートに沿って合成処理の手順を説明する。元の静止画像の撮影は終わっているとする。この元の画像のサイズ変更処理を行う（ステップＳ４１）。余白域に用いる別画像を読み出す（ステップＳ４２）。サイズ変更処理した元画像に添付画像を合成して、この合成画像を圧縮記録する（ステップＳ４３）。画像処理部５が合成処理を行う。以上の工夫によって、さらにワイド画面を有効に利用して効果的な表示を行うことができる。
【００４４】
(第２実施形態)
次に第２実施形態について、図１０、１１および１２を用いて説明する。第２実施形態は、ＴＶ再生時の拡大部分を撮影する際に、顔の画像を判定してその部分を重視するような撮影を行う例である。
縦長画像、特にポートレイト写真においては、一般的に人物の顔が重要になるので、図４（Ｃ）のように、顔のある部分を拡大撮影や表示するのが効果的だからである。なお本発明が適用されるカメラのブロック図は、図１と同様であるので省略する。
【００４５】
図１０は撮影時に表示部に表示されるモニタ画像の２例である。縦構図撮影時である。図１０（Ａ）の画面は、全体画像とその中で拡大記録される領域を示す画面である。画面上部の破線枠が、拡大記録される領域を示す枠２３ｂである。枠２３ｂの領域部分が、図４（Ｃ）のように拡大される。
【００４６】
一方、図１０（Ｂ）の画面は、マルチ表示の例である。静止画用の撮影画像２３ｃとＴＶ表示用にサイズ変更画像２３ｄが表示部１３にマルチ表示される。全体画像とサイズ変更される画像の両方が同時に表示されるので、撮影に都合がよい。このとき、ＴＶ表示の時に拡大する部分を枠２３ｂとして表示してもよい。ここで、枠２３ｂの位置は、ユーザーがスイッチ等の操作で位置シフトできるようにすればよい。枠２３ｂの位置は、一度設定すると画像追尾の形で位置を変更できるとより望ましい。
【００４７】
図１２は、上記の撮影処理の手順を説明するためのフローチャートである。ここでは、分かりやすくするために、縦構図撮影時の場面に絞って説明する。この処理は、プログラムに従ったＭＰＵ１０、サイズ変更部５ａ、表示制御部１２により主に実行される。
【００４８】
まず、全体画像を表示部１３に表示する（ステップＳ５１）。シャッターチャンスや構図を判断させるためである。TV画面に表示するためのワイド画面対応用の枠２３ｂも表示させる（ステップＳ５２）。つまり、図１０（A）のような画像を表示する。もちろん、図１０（Ｂ）のようなマルチ表示でもかまわない。
【００４９】
ユーザーの撮影指示を待つ（ステップS５３）。適切なタイミング、構図になったと判断したユーザーの操作により、スイッチ１６ａが操作される。操作指示があると（ステップＳ５３ＹＥＳ）、全画面（全体画像）相当の静止画撮影を行う（ステップＳ５４）。そして、ステップＳ５２の枠２３ｂ内の撮影を行う（ステップＳ５５）。ステップＳ５５での撮影とは、ＴＶ２１の再生能力に合わせたサイズ変更部５ａによりサイズ変更された画像を記録することである。これによって、ＴＶ２１を用いたときには、図４（Ａ）に示したような画面と図４（Ｃ）に示したような画面を切換えて、または自動的に遷移させて楽しむことができる。
【００５０】
撮影に先立って枠２３ｂの位置が気に入らなければ変更できる。ユーザーのＸＹ操作キーによる変更操作を判断する（ステップＳ５１）。枠２３ｂの位置の変更するような枠位置切換え操作があれば（ステップＳ５６ＹＥＳ）、ユーザーの十字キー操作に従って枠２３ｂの位置を移動する（ステップＳ５７）。十字キーは、操作部１６に属する操作キーである。切換え操作がなければ（ステップＳ５６ＮＯ）、ステップＳ５８にジャンプする。そして、ユーザーがその位置で枠２３ｂのロック操作を行うと（ステップＳ５８ＹＥＳ）、枠内の画像を記憶する（ステップＳ５９）。すると、カメラの向きを変えて画像が変化しても（ステップＳ６０ＹＥＳ）、その像があるところに枠の位置を追従させる（ステップＳ６１）。枠２３ｂの位置の追従は、例えば顔検出部１５の検出に基づいて行われる。なお、ロック操作（ステップＳ５８ＮＯ）や画像変化がなければ（ステップＳ６０ＮＯ）、ステップ５１に戻る。
【００５１】
このように枠２３ｂが画像に従って移動すれば、図１１（Ａ）のような構図から、図１１（Ｂ）のような構図に変化しても、類似の画像がある位置に枠２３ｂを移動させるので、ユーザーはわざわざ枠位置を変更しなくても、カメラ１が像を判定してＴＶ再生表示字の画像位置を切換えるので、撮影に専念することができる。
【００５２】
以上説明したように、第２実施形態によれば、プリントを前提とした静止画と動きを伴った表示ができるＴＶ再生を前提として静止画を同時に撮影して、再生形態に関わらず、撮影画像を楽しむことのできる。
【００５３】
(第３実施形態)  
図１３から図１６を用いて、第３実施形態についてを説明する。第３実施形態では、静止画撮影の前後のタイミングで同時に動画撮影を行う。第３実施形態は、静止画撮影を主とし、動画撮影は静止画撮影を補足するような撮影方法である。つまり、それ自体作品として完成されるような静止画が撮影され、合わせてもっとその被写体について、所定の操作で対応する動画が再生されるような撮影である。なお本発明が適用されるカメラのブロック図は、図１と同様であるので省略する。
【００５４】
図１３は、カメラ１の撮影制御処理の手順を説明するフローチャートである。この撮影制御処理は、プログラムに従ったＭＰＵ１０、ＡＦＥ部４、縦横判定部１７等により主に実行される。
【００５５】
静止画撮影用のレリーズ操作の有無を判断する（ステップＳ７１）。ユーザーによる静止画撮影指示を待つ。レリーズ操作前は（ステップＳ７１ＮＯ）、ステップＳ７６に進み、静止画像撮影に先立つ動画像の記録を行う。ここでは、動画像を不図示のバッファーメモリに記録する。まず、事前の撮影なので、一定時間以上の動画撮影については、消去するようにする。バッファーメモリがオーバーフローしてしまうからである。そこで、所定時間以上前の動画像があるかを判断して（ステップＳ７６）、対応する動画像については消去する（ステップＳ７７）。
【００５６】
以降撮影構図によって動画撮影の方法を変える。まず、横構図撮影から説明する。なお、ステップＳ７８での構図の縦横の判断は、縦横判定部１７によって行われる。横撮影で縦撮影ではないので（ステップＳ７８ＮＯ）、ステップＳ７９に進む。そして、サイズを変更した動画を記録する（ステップＳ７９）。ここではＴＶ２１のアスペクト比に合わせたサイズに変更する。また、画素数もＴＶ２１の分解能にあわせた画素数に直して記録する。サイズの変更の方法は２つある。ＡＦＥ部４が撮像素子３からは全範囲の画素を読み出して、サイズ変更部５ａでサイズ変更を行うのが１つである。もう１つは、ＡＦＥ部４が設定されたサイズの領域の画素を撮像素子３から読み出す方法である。いずれでも可能である。
【００５７】
そして、レリーズ操作があったら（ステップＳ７１ＹＥＳ）、静止画を撮像素子全域で撮影を行う(ステップＳ７２）。プリントしても美しい画像が楽しめるようにするためである。撮像素子の全面を有効活用して、動画像よりたくさんの画素を利用する撮影にする。そして、圧縮して記録する（ステップＳ７３）。横撮影なので（ステップＳ７４ＮＯ）、ステップＳ８２に進む。そして再び、サイズ変更動画を記録する（ステップＳ８２）。所定のＴＡとＴＢの合計時間に達するまで記録を行う（ステップＳ８３）。そして、動画記録時間が所定のＴＡとＴＢの合計時間に達したら（ステップＳ８３ＹＥＳ）、上記静止画前に撮影された動画及び今回の静止画後に撮影されバッファーメモリに記録された動画を、上記静止画像に関連するようにして、メディア８に記録させる（ステップＳ８４）。
【００５８】
次に縦撮影の場合を説明する。レリーズ操作前（ステップＳ７１ＮＯ）の縦撮影では（ステップＳ７８ＹＥＳ）、Ａ動画とＢ動画を同時に記録する（ステップＳ８０、８１）。Ａ動画は、図４（Ｂ）で示したようなサイズの動画である。Ｂ動画は、図４（Ｃ）で示したような、さらに小さなサイズの動画である。これもレリーズ操作があるまで、所定期間続ける。そして、レリーズ操作があったら（ステップＳ７１ＹＥＳ）、横撮影と同様に、静止画を撮像素子全域で撮影を行い(ステップＳ７２）、圧縮して記録する（ステップＳ７３）。  
【００５９】
次に、縦撮影なので（ステップＳ７４ＹＥＳ）、画面に顔があるかを判断する（ステップＳ７５）。顔存在の有無は、顔検出部１５が行う。顔がないときは（ステップＳ７５ＮＯ）、前述の横撮影と同様な処理を行わせる（ステップＳ８２からＳ８４）。顔があると判断されると（ステップＳ７５）、顔を含む画面部分をＡ動画として記録する（ステップＳ８５）。Ａ動画は、図４（Ｂ）で示したようなサイズの動画である。そして、Ａ動画記録を所定時間ＴＡだけ継続する（ステップＳ８６ＮＯ）。所定時間ＴＡが経過したら（ステップＳ８６ＹＥＳ）、顔を含む画面部分をＢ動画として記録する（ステップＳ８７）。Ｂ動画は、図４（Ｃ）で示したような、さらに小さなサイズの動画である。同様に、Ｂ動画記録を所定時間ＴＢだけ継続する（ステップＳ８８ＮＯ）。所定時間ＴＢが経過したら（ステップＳ８８ＹＥＳ）、Ｂ動画記録を終了する。
【００６０】
そして、ステップ８０で記録したＡ動画について、静止画撮影の所定時間ＴＡ前分をＡ動画としてメディア８に記録する（ステップＳ８９）。同様にステップ８１で記録したＢ動画について、さらに所定時間ＴＢ前の動画を、Ｂ動画としてメディア８に記録する（ステップＳ９０）。以上により、顔のある縦撮影では、ＴＢ時間Ｂ動画、ＴＡ時間Ａ動画、静止画、ＴＡ時間Ａ動画、ＴＢ時間Ｂ動画の順番に、画像が記録されることになる。顔のない縦撮影では、ＴＢ時間Ｂ動画、ＴＡ時間Ａ動画、静止画、ＴＡ+ＴＢ時間の動画の順番に、画像が記録されることになる。
【００６１】
図１４は、撮像素子２から出力される静止画と動画の画像信号を示すタイミングチャートと、読み出される画素を示す図である。ＡＦＥ部４が撮像素子３の間引き読み出しを行い、ＭＰＵ１０が全体の制御を行う。つまりここでは、ＡＦＥ部４は、画像データを取り出す画像データ取り出し部または読み出し部として機能する。なお、線図はいずれもアクティブＬとする。なお、上記で動画像のサイズ変更の方法として２つの例を示したが、以下で示す制御は、ＡＦＥ部４が撮像素子３の読み出し領域を変更して動画像のサイズ変更をする場合である。
【００６２】
一番上が、レリーズ操作タイミングを示す。上から２番目は、撮像素子の出力１である。出力１は、静止画像（第１の画像）の画像信号の出力（読出し）タイミングを示す。右横が画素配列の一部で、撮像素子から読み出される画素を斜線で示す。静止画像では、撮像素子の全領域から全画素が読み出される。
【００６３】
上から３番目は撮像素子の出力２である。撮像素子の出力２は、動画像（第２の画像）の画像信号の出力（読出し）タイミングを示す。静止画像の画素数の方が多いので、静止画像の画像信号の出力時間は、動画像よりも長くかかる。上から４番目は、Ａ動画用の画像信号列を示す。読み出される画素は、撮像素子の例えば半分の領域でかつ半分程度に間引かれる。一番下は、Ｂ動画用の画像信号列を示す。読み出される画素は、撮像素子の例えば１／４の領域でかつ半分程度に間引かれる。Ａ動画とＢ動画の画像信号は、ともに撮像素子の出力２で示される信号を交互に利用している。
【００６４】
レリーズ操作がされるまでは、撮像素子から出力される動画像の画像信号である出力２が、Ａ動画用とＢ動画用に交互に利用される。つまり、Ａ動画とＢ動画が同時に記録されることになる。レリーズ操作がされると、直ちに静止画像の画像信号が読み出される（出力１）。この間、出力２から、動画用の画像信号は出力されない。
【００６５】
静止画用画像信号の出力が終了すると、出力２から、動画用の画像信号は再度出力される。そして、動画用の画像信号は、最初のＴＡ期間はＡ動画として用いられる。次のＴＢ期間はＢ動画として用いられる。
【００６６】
図１５は、再生時の画像出力処理の手順を説明するフローチャートである。図１３のフローチャートで説明した撮影処理で撮影された画像が再生される場合である。この画像出力処理は、プログラムに従ったＭＰＵ１０、ＡＦＥ部４等により主に実行される。また、図１６は撮影された画像が縦画像の場合に、ＴＶ２１に再生表示される画像を時間の順番に示す図である。図１６は、フローチャートに合わせて説明する。
【００６７】
ユーザーの指示に応じて、撮影された画像ファイルを選択する（ステップＳ１０１）。選択されたファイルが動画か静止画かを判断する（ステップＳ１０２）。動画であれば（ステップＳ１０２ＹＥＳ）、動画再生を行う（ステップＳ１０３）。動画再生中には、ユーザーによる終了操作を判断する（ステップＳ１０４）。終了操作があれば（ステップＳ１０４ＹＥS）、終了処理を行う。また、動画再生中には、ユーザーによるスライドショーの操作指示も判断する（ステップＳ１０５）。スライドショーの操作指示があれば（ステップＳ１０５ＹＥＳ）、メディアから次のファイルを選択して（ステップＳ１０６）、前述のステップＳ１０２に進む。
【００６８】
一方、ステップＳ１０２で、静止画が選択されたら（ステップＳ１０２ＮＯ）、静止画撮影前の動画を再生する。ここで画像が縦画像のときは、Ｂ画像をＴＢ期間そしてＡ画像をＴＡ期間再生する（ステップＳ１０７）。図１６の（Ａ）、（Ｂ）がＴＶ２１に再生されるＢ画像及びＡ画像を示す。なお、画像が横画像のときは、サイズ変更された動画像をＴＡ＋ＴＢ期間再生する。そして静止画像を、所定期間再生する（ステップＳ１０８）。図１６の（Ｃ）のような画像である。続いて、画像が縦撮影画像のときは、Ａ画像をＴＡ期間そしてＢ画像をＴＢ期間再生する（ステップＳ１０９）。図１６の（Ｄ）、（Ｅ）がＴＶ２１に再生されるＡ画像及びＢ画像を示す。画像が横画像のときは、サイズ変更された動画像をＴＡ＋ＴＢ期間再生する（ステップＳ１０９）。そして、前述のステップＳ１０４に進み、終了操作（ステップＳ１０４）やスライドショー操作（ステップＳ１０５）に応じた処理を行う。
【００６９】
このように、第３実施形態では、静止画の前後に動画を関連付けて記録したので、静止画に加えてそのとき被写体の動きも補足して鑑賞して、より情報量の多い画像鑑賞を可能とする。また、静止画をＴＶで表示するときも、表示形態に相応しい効果的な再生を可能にすることができる。このようにして得られた静止画像は、ＴＶ再生したときに、静止画の完成度と動画の持つ動きや過程の面白さを、大型ＴＶの全画面を有効に利用した効果を奏する。
【００７０】
なお上記各実施形態において、上記各実施形態で説明したＭＰＵ１０処理に関しては、一部または全てをハードウェアで構成してもよい。逆に、ＡＦＥ部４または縦横判定部１７等をソフトウェアで構成しても良い。具体的な構成は設計事項である。そして、ＭＰＵ１０による各制御処理は、ＲＯＭ１１に格納されたソフトウェアプログラムがＭＰＵに供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１０の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、各実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても良い。  
【００７１】
さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７２】
【図１】第１実施形態において、本発明が適用されるカメラ１の全体ブロック図。
【図２】第１実施形態において、ユーザーの画像鑑賞場面の一例を示した図。
【図３】第１実施形態において、縦構図撮影の場面を示す図。
【図４】第１実施形態において、ワイド画面のＴＶ２１で表示される各種画像を示す図。
【図５】第１実施形態において、ＴＶ２１の画面に表示される画像のサイズと、対応して表示に使用する画素の関係を示す図。
【図６】第１実施形態において、画像出力処理の手順を説明するフローチャート。
【図７】第１実施形態において、撮影時にサイズ変更画像もあわせて記録する画像記録処理の手順を説明するフローチャート。
【図８】第１実施形態において、合成処理の手順を説明するフローチャート。
【図９】第１実施形態において、ＴＶ２１に表示される画像を示す図。
【図１０】第２実施形態において、撮影時に表示部に表示されるモニタ画像の２例。
【図１１】第２実施形態において、構図変更時の枠２３ｂの追従を示す図。
【図１２】第２実施形態において、撮影制御処理の手順を説明するフローチャート。
【図１３】第３実施形態において、撮影制御処理の手順を説明するフローチャート。
【図１４】第３実施形態において、撮像素子２から出力される静止画と動画の画像信号を示すタイミングチャート。
【図１５】第３実施形態において、再生時の画像出力処理の手順を説明するフローチャート。
【図１６】第３実施形態において、ＴＶ２１に縦撮影の画像が時間順に再生される様子を示す。
【符号の説明】
【００７３】
1…カメラ、２…レンズ部、３…撮像素子、４…アナログフロントエンド部、５…画像処理部、
５ａ…サイズ変更部、６…圧縮伸長部、６ａ…静止画圧縮伸長部、６ｂ…動画圧縮伸長部、
７…記録再生部、８…メディア、１０…ＭＰＵ、１１…ＲＯＭ、１２…表示制御部、１３…表示部、
１４…出力部、１５…顔検出部、１６…操作部、１６ａ…レリーズスイッチ、１６ｂ、１６ｃ…切換スイッチ、１７…縦横判定部、２０…被写体、２１…外部表示装置、
２２…プリント、２３ａ…非表示部分、２３ｂ…枠、２３ｃ…静止画用の撮影画像、
２３ｄ…サイズ変更画像
【図１】
2007306496.tif 000003
【図２】
2007306496.tif 000004
【図３】
2007306496.tif 000005
【図４】
2007306496.tif 000006
【図５】
2007306496.tif 000007
【図６】
2007306496.tif 000008
【図７】
2007306496.tif 000009
【図８】
2007306496.tif 000010
【図９】
2007306496.tif 000011
【図１０】
2007306496.tif 000012
【図１１】
2007306496.tif 000013
【図１２】
2007306496.tif 000014
【図１３】
2007306496.tif 000015
【図１４】
2007306496.tif 000016
【図１５】
2007306496.tif 000017
【図１６】
2007306496.tif 000018