(57)【特許請求の範囲】
【請求項１】
インタレース方式またはプログレッシブ方式で画像を撮像する撮像手段と、
前記撮像手段から出力された１フィールドまたは１フレームの画像のRAW信号である原画像信号を一時的に記録する第１の記録手段と、
前記撮像手段から出力された前記原画像信号に所定の信号処理を施す処理手段と、
前記処理手段に対して、静止画の取り込みを指示する指示手段と
を備える撮像装置であって、
前記処理手段は、前記撮像手段から出力された前記原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、指示がされた時点における前記撮像手段の動画の撮像条件と、前記撮像手段から出力された前記原画像信号を前記第１の記録手段に記録させ、前記動画用の信号処理を休止している状態にあるときに、前記第１の記録手段から読み出した前記原画像信号に対して、前記第１の記録手段に記録させた前記動画の撮像条件に基づいて決定されたパラメータによって規定される静止画用の信号処理を施し、読み出した前記原画像信号がインタレース方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理をそれぞれに施した２フィールド分の前記原画像信号に基づいて１フレームの静止画の信号を生成して出力し、読み出した前記原画像信号がプログレッシブ方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理を施した前記原画像信号を１フレームの静止画の信号として出力する
撮像装置。
【請求項２】
前記撮像手段から出力された前記原画像信号に対して所定の圧縮処理を施し、圧縮して得られた前記原画像信号を前記第１の記録手段に記録させるとともに、前記第１の記録手段から読み出された圧縮済の前記原画像信号に対して伸張処理を施し、伸張して得られた前記原画像信号を前記処理手段に供給する圧縮伸張手段をさらに備える
請求項１に記載の撮像装置。
【請求項３】
動画の撮像が終了した場合、前記第１の記録手段に記録された前記動画の撮像条件に基づいて決定した静止画用のパラメータを、前記処理手段を構成する、前記原画像信号に対して静止画用の信号処理を施す各部に設定する設定手段をさらに備える
請求項１に記載の撮像装置。
【請求項４】
前記処理手段により静止画用の信号処理が施されることによって生成された静止画をユーザに提示する提示手段をさらに備え、
前記処理手段は、ユーザによる指示に応じて、前記提示手段により提示された静止画を生成するときに前記原画像信号に対して施した静止画用の信号処理と異なる静止画用の信号処理を、前記第１の記録手段から読み出した同じ前記原画像信号に対して施す
請求項１に記載の撮像装置。
【請求項５】
インタレース方式またはプログレッシブ方式で画像を撮像する撮像手段と、
前記撮像手段から出力された１フィールドまたは１フレームの画像のRAW信号である原画像信号を一時的に記録する記録手段と、
前記撮像手段から出力された前記原画像信号に所定の信号処理を施す処理手段と、
前記処理手段に対して、静止画の取り込みを指示する指示手段と
を備える撮像装置の画像処理方法であって、
前記撮像手段から出力された前記原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、指示がされた時点における前記撮像手段の動画の撮像条件と、前記撮像手段から出力された前記原画像信号を前記記録手段に記録させ、前記動画用の信号処理を休止している状態にあるときに、前記記録手段から読み出した前記原画像信号に対して、前記記録手段に記録させた前記動画の撮像条件に基づいて決定されたパラメータによって規定される静止画用の信号処理を施し、読み出した前記原画像信号がインタレース方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理をそれぞれに施した２フィールド分の前記原画像信号に基づいて１フレームの静止画の信号を生成して出力し、読み出した前記原画像信号がプログレッシブ方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理を施した前記原画像信号を１フレームの静止画の信号として出力する
ステップを含む画像処理方法。
【請求項６】
インタレース方式またはプログレッシブ方式で画像を撮像する撮像手段と、
前記撮像手段から出力された１フィールドまたは１フレームの画像のRAW信号である原画像信号を一時的に記録する記録手段と、
前記撮像手段から出力された前記原画像信号に所定の信号処理を施す処理手段と、
前記処理手段に対して、静止画の取り込みを指示する指示手段と
を備える撮像装置の画像処理をコンピュータに実行させるプログラムであって、
前記撮像手段から出力された前記原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、指示がされた時点における前記撮像手段の動画の撮像条件と、前記撮像手段から出力された前記原画像信号を前記記録手段に記録させ、前記動画用の信号処理を休止している状態にあるときに、前記記録手段から読み出した前記原画像信号に対して、前記記録手段に記録させた前記動画の撮像条件に基づいて決定されたパラメータによって規定される静止画用の信号処理を施し、読み出した前記原画像信号がインタレース方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理をそれぞれに施した２フィールド分の前記原画像信号に基づいて１フレームの静止画の信号を生成して出力し、読み出した前記原画像信号がプログレッシブ方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理を施した前記原画像信号を１フレームの静止画の信号として出力する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理方法、並びにプログラムに関し、特に、品質の高い動画と静止画の撮影を、それぞれ専用の構成を設けることなく実現することができるようにした撮像装置、画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
同じ撮影機能を有するものであっても、一般に、デジタルスチルカメラの撮像素子の走査方式には静止画撮影に適した方式が採用され、デジタルビデオカメラの撮像素子の走査方式には動画撮影に適した方式が採用されている。
【０００３】
例えば、静止画取得を主な目的とするデジタルスチルカメラには数百万画素以上の画素数の撮像素子が使用されており、そのような撮像素子の走査方式としては、より高解像度な静止画を記録するために、１／３０秒毎、もしくは、それ以上の時間をかけて行われる順次走査（プログレッシブ方式）が採用されている。
【０００４】
一方、動画取得を主な目的とするデジタルビデオカメラの撮像素子の走査方式としては、被写体の動解像度を上げるために、１／６０秒毎の飛越走査（インタレース方式）が採用されることが多い。
【０００５】
このように、撮像素子の走査方式を目的に応じて適宜選択しているような状況において、いま、動画と静止画を１つのシステムで同時に記録することを考える。
【０００６】
特許文献１には、高解像度の静止画を得つつ、静止画の撮影と動画の撮影とを同時に行うことができるようにした技術が開示されている。
【特許文献１】特開２００２−４４５３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、特許文献１に開示されているような技術によらずに、静止画記録の品位を優先した一般的なシステムで動画を記録する場合、そのシステムの撮像素子の走査方式としては静止画撮影にあわせてプログレッシブ方式が採用されるから、１／３０秒毎、もしくは、それ以上の時間をかけたプログレッシブ方式の走査によって得られた画像を用いて動画も記録することになり、その結果、動解像度が不足することになる。
【０００８】
反対に、動画記録の品位を優先したシステムで静止画を記録する場合、そのシステムの撮像素子の走査方式としては動画撮影にあわせてインタレース方式が採用されるから、静止画の記録時には、例えば、シャッタボタンが押されることによって静止画記録が指示された瞬間の動画から１枚の静止画をIP変換などにより取得することなどが行われる。しかし、撮像素子から出力される信号に対してこのとき施される色差補正やガンマ補正などの基本的な画像処理は動画向けの処理であり、静止画に適した処理が行われるわけではないから、得られた静止画は、デジタルスチルカメラなどで撮影したものと比較して質の劣ったものになることが多い。
【０００９】
また、これを回避するために、動画専用の処理を行う経路と、静止画専用の処理を行う経路との２つの経路を設け、それぞれの経路において、撮像素子の１つの出力に基づいて動画と静止画にそれぞれ適した画質の信号を生成するものがあるが、同じような処理を行う構成を１つのシステムに２つ設けることになるため、一般的に、回路の規模が大きくなったり消費電力が多くなるばかりか、コストの面でも不利になる。
【００１０】
そこで、動画記録と静止画記録の両機能を１組の撮像素子と処理経路によって実現し、かつ、動画も静止画も互いに高品位なものを取得する場合、それを実現するためには、撮像素子の走査方式を切り替えるなどの全体の動作切換が必要になる。
【００１１】
その結果、動画記録の最中に静止画記録が指示された場合、動画に適したものから静止画に適したものへと動作切換が行われることになり、静止画を取得している期間中は、撮像素子からの動画に適した撮像信号の供給が途切れてしまうため、動画記録が時間的に不連続となることがある。
【００１２】
このような不連続性を回避し、動画の質を落とすことなく高解像度な静止画を得るために、特許文献１に開示されているように、動画の撮影周期のＮ（Ｎ≧２）倍毎に、動画よりも高い解像度を有する撮像信号を出力するような技術が提案されているものの、これによれば、当然、高い解像度の撮像信号が出力されていない残りのＮ−１フレーム期間に高解像度な静止画を得ることができない。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、品質の高い動画と静止画の撮影を、それぞれ専用の構成を設けることなく実現することができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の撮像装置は、インタレース方式またはプログレッシブ方式で画像を撮像する撮像手段と、前記撮像手段から出力された１フィールドまたは１フレームの画像のRAW信号である原画像信号を一時的に記録する第１の記録手段と、前記撮像手段から出力された前記原画像信号に所定の信号処理を施す処理手段と、前記処理手段に対して、静止画の取り込みを指示する指示手段とを備える撮像装置であって、前記処理手段は、前記撮像手段から出力された前記原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、指示がされた時点における前記撮像手段の動画の撮像条件と、前記撮像手段から出力された前記原画像信号を前記第１の記録手段に記録させ、前記動画用の信号処理を休止している状態にあるときに、前記第１の記録手段から読み出した前記原画像信号に対して、前記第１の記録手段に記録させた前記動画の撮像条件に基づいて決定されたパラメータによって規定される静止画用の信号処理を施し、読み出した前記原画像信号がインタレース方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理をそれぞれに施した２フィールド分の前記原画像信号に基づいて１フレームの静止画の信号を生成して出力し、読み出した前記原画像信号がプログレッシブ方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理を施した前記原画像信号を１フレームの静止画の信号として出力する。
【００１５】
前記撮像手段から出力された前記原画像信号に対して所定の圧縮処理を施し、圧縮して得られた前記原画像信号を前記第１の記録手段に記録させるとともに、前記第１の記録手段から読み出された圧縮済の前記原画像信号に対して伸張処理を施し、伸張して得られた前記原画像信号を前記処理手段に供給する圧縮伸張手段をさらに設けることができる。
【００１６】
動画の撮像が終了した場合、前記第１の記録手段に記録された前記動画の撮像条件に基づいて決定した静止画用のパラメータを、前記処理手段を構成する、前記原画像信号に対して静止画用の信号処理を施す各部に設定する設定手段をさらに備えることができる。
【００１８】
前記処理手段により静止画用の信号処理が施されることによって生成された静止画をユーザに提示する提示手段をさらに設けることができ、この場合、前記処理手段には、ユーザによる指示に応じて、前記提示手段により提示された静止画を生成するときに前記原画像信号に対して施した静止画用の信号処理と異なる静止画用の信号処理を、前記第１の記録手段から読み出した同じ前記原画像信号に対して行わせることができる。
【００１９】
本発明の一側面の画像処理方法は、インタレース方式またはプログレッシブ方式で画像を撮像する撮像手段と、前記撮像手段から出力された１フィールドまたは１フレームの画像のRAW信号である原画像信号を一時的に記録する記録手段と、前記撮像手段から出力された前記原画像信号に所定の信号処理を施す処理手段と、前記処理手段に対して、静止画の取り込みを指示する指示手段とを備える撮像装置の画像処理方法であって、前記撮像手段から出力された前記原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、指示がされた時点における前記撮像手段の動画の撮像条件と、前記撮像手段から出力された前記原画像信号を前記記録手段に記録させ、前記動画用の信号処理を休止している状態にあるときに、前記記録手段から読み出した前記原画像信号に対して、前記記録手段に記録させた前記動画の撮像条件に基づいて決定されたパラメータによって規定される静止画用の信号処理を施し、読み出した前記原画像信号がインタレース方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理をそれぞれに施した２フィールド分の前記原画像信号に基づいて１フレームの静止画の信号を生成して出力し、読み出した前記原画像信号がプログレッシブ方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理を施した前記原画像信号を１フレームの静止画の信号として出力するステップを含む。
【００２０】
本発明の一側面のプログラムは、インタレース方式またはプログレッシブ方式で画像を撮像する撮像手段と、前記撮像手段から出力された１フィールドまたは１フレームの画像のRAW信号である原画像信号を一時的に記録する記録手段と、前記撮像手段から出力された前記原画像信号に所定の信号処理を施す処理手段と、前記処理手段に対して、静止画の取り込みを指示する指示手段とを備える撮像装置の画像処理をコンピュータに実行させるプログラムであって、前記撮像手段から出力された前記原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、指示がされた時点における前記撮像手段の動画の撮像条件と、前記撮像手段から出力された前記原画像信号を前記記録手段に記録させ、前記動画用の信号処理を休止している状態にあるときに、前記記録手段から読み出した前記原画像信号に対して、前記記録手段に記録させた前記動画の撮像条件に基づいて決定されたパラメータによって規定される静止画用の信号処理を施し、読み出した前記原画像信号がインタレース方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理をそれぞれに施した２フィールド分の前記原画像信号に基づいて１フレームの静止画の信号を生成して出力し、読み出した前記原画像信号がプログレッシブ方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理を施した前記原画像信号を１フレームの静止画の信号として出力するステップを含む。
【００２１】
本発明の一側面においては、RAW信号である原画像信号に対して動画用の信号処理が施されている最中に静止画の取り込みが指示されたとき、指示がされた時点における動画の撮像条件と、前記原画像信号が記録され、動画用の信号処理を休止している状態にあるときに、記録手段から読み出された前記原画像信号に対して、前記記録手段に記録された前記動画の撮像条件に基づいて決定されたパラメータによって規定される静止画用の信号処理が施される。また、読み出された前記原画像信号がインタレース方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理がそれぞれに施された２フィールド分の前記原画像信号に基づいて１フレームの静止画の信号が生成され、読み出された前記原画像信号がプログレッシブ方式で撮像が行われることによって得られた信号である場合には、前記静止画用の信号処理を施した前記原画像信号が１フレームの静止画の信号として出力される。
【発明の効果】
【００２２】
本発明の一側面によれば、品質の高い動画と静止画の撮影を、それぞれ専用の構成を設けることなく実現することができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態について図を参照して説明する。
【００３０】
図１は、本発明の一実施形態に係る撮像装置１の構成例を示すブロック図である。
【００３１】
撮像装置１は、レンズ部１１、撮像部１２、画像処理部１３、動画処理部１４、静止画処理部１５、表示部１６、記録部１７、および制御部１８から構成され、これらの構成によって動画の撮影と静止画の撮影を行う。すなわち、撮像装置１は動画の記録と静止画の記録に適した２つの回路構成（画像処理部）をそれぞれ有する装置ではなく、画像処理部１３の１つの構成によって、動画の記録のための信号処理と静止画の記録のための信号処理を行う装置である。
【００３２】
例えば、動画の撮影が行われている最中に静止画の取り込みが指示された場合、その指示がされたタイミングに撮像部１２によって得られた信号は分岐され、一方は動画用の処理が施されて記録されるとともに、他方は、そのまま（後述するように、適宜、圧縮処理が施された後）、RAM(Random Access Memory)などのメモリに一時的に記録される。
【００３３】
その後、動画の撮影が休止している状態になったとき、一時的に記録されていた信号は画像処理部１３に供給されて静止画用の処理が施され、１枚の静止画として記録される。画像処理部１３においては、動画用の処理が行われるときと、静止画用の処理が行われるときとで、処理の内容を規定するパラメータが動画に適したものと静止画に適したものとで切り替えられる。
【００３４】
このように、動作の撮影中に静止画の記録が指示された場合、動画の撮影によって得られた信号を静止画の記録にも用いるためにいわば退避させ、動画の処理が行われていない間に、退避させていた原信号に基づいて静止画の処理が行われることにより、動画専用の画像処理と静止画専用の画像処理を１つの構成（画像処理部１３）で行うことができ、動画専用の画像処理を行うものと静止画専用の画像処理を行うものとの２つの構成を設ける場合に較べて、回路規模を小さくすることができ、また、消費電力を抑えることもできる。さらに、コストを削減することができる。
【００３５】
また、動画を記録するための画像処理のタイミングと、静止画を記録するための画像処理のタイミングをずらすことによって、動画記録に用いる信号に対しては動画専用の処理を、静止画記録に用いる信号（一時的に退避させていた信号）に対しては静止画専用の処理をそれぞれ施すことができ、動画の画質を損なうことなく維持しながら、静止画も品質の高いものを得ることが可能となる。
【００３６】
撮像装置１によって行われる一連の処理についてはフローチャートを参照して後述する。
【００３７】
レンズ部１１は、被写体からの光を集光するレンズやフォーカス（ピント）の調整をするためのフォーカスレンズ、絞り等の光学系のモジュールから構成される。レンズ部１１を構成するレンズにより集光された被写体からの光は撮像部１２の撮像素子２１に入射される。
【００３８】
撮像部１２は、撮像素子２１、CDS(Correlated Double Sampling)回路２２、A/D(Analog/Digital)変換回路２３、タイミングジェネレータ（TG）２４、シグナルジェネレータ（SG）２５から構成される。
【００３９】
撮像素子２１は、タイミングジェネレータ２４から供給されるタイミング信号にしたがって、プログレッシブ方式、もしくはインタレース方式で１／６０秒毎に走査（動画の撮影周期にあわせた走査）を行うことにより、レンズ部１１を介して入射する被写体からの光を受光して光電変換を行い、受光量に応じた電気信号としてのアナログの画像信号をCDS回路２２に出力する。撮像素子２１は、例えば、水平方向に２３０４画素、垂直方向に１７２８画素などの、一般的な動画の解像度以上の解像度（SD(Standard Definition)、HD(High Definition)フォーマット以上の解像度）をもつCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)により構成される。
【００４０】
CDS回路２２は、撮像素子２１から供給された信号のノイズ成分を相関２重サンプリングを施すことによって除去し、処理を施すことによって得られた信号をA/D変換回路２３に出力する。
【００４１】
A/D変換回路２３は、CDS回路２２からのアナログの画像信号をA/D変換し、その結果得られるディジタル信号の画像データを後段に出力する。A/D変換回路２３から出力される信号は、動画用、静止画用などのそのときの用途にあわせて後から適正な処理を行うことができる段階の信号（まだ絵作りが行われていない段階のRAW信号）であるから、以下、A/D変換回路２３から出力される信号を原信号（原画像信号）という。
【００４２】
A/D変換回路２３から出力された原信号は画像処理部１３のフィルタ処理・ガンマ補正回路３１に供給される。また、記録部１７のスイッチ７１が接続状態にあるとき、A/D変換回路２３から出力された原信号は記録部１７にも供給される。後述するように、静止画の記録がユーザにより指示されたとき、制御部１８による制御にしたがってスイッチ７１が接続状態になる。
【００４３】
タイミングジェネレータ２４は、シグナルジェネレータ２５から供給された水平リセット信号と垂直リセット信号に基づいて水平駆動信号と垂直駆動信号をそれぞれ発生し、それらを撮像素子２１に出力する。これにより、各画素の信号が、水平駆動信号と垂直駆動信号にしたがって撮像素子２１から読み出される。
【００４４】
シグナルジェネレータ２５は、水平リセット信号と垂直リセット信号を発生し、それらの信号をタイミングジェネレータ２４に出力する。
【００４５】
画像処理部１３は、フィルタ処理・ガンマ補正回路３１、色差分離マトリックス回路３２、および解像度変換回路３３から構成される。
【００４６】
フィルタ処理・ガンマ補正回路３１は、撮像部１２のA/D変換回路２３から供給された信号に対してノイズリダクション処理、ホワイトバランス調整処理、ガンマ補正処理などを制御部１８により設定されたパラメータにしたがって施し、得られた信号を色差分離マトリックス回路３２に出力する。
【００４７】
色差分離マトリックス回路３２は、フィルタ処理・ガンマ補正回路３１から供給された信号に対して色差分離マトリックス処理を制御部１８により設定されたパラメータにしたがって施し、用途に応じた輝度信号、色差信号を生成し、生成したそれらの信号を解像度変換回路３３に出力する。
【００４８】
解像度変換回路３３は、色差分離マトリックス回路３２から供給された信号に基づいて所定のサイズの画像を制御部１８により設定されたパラメータ（解像度）にしたがって生成し、生成した画像の信号を動画処理部１４の動画圧縮処理回路４１、静止画処理部１５のIP変換回路５１、表示部１６の表示制御回路６１、および記録部１７のメモリI/F７３に出力する。
【００４９】
例えば、動画を記録するとき、解像度変換回路３３は、色差分離マトリックス回路３２から供給された信号に基づいて、解像度を低解像度化することによってDV規格に準拠したサイズの画像の信号を生成し、生成した信号を動画圧縮処理回路４１に出力する。動画を記録するときに解像度変換回路３３から出力された信号は表示部１６の表示制御回路６１にも供給され、取り込み画像の表示に用いられる。
【００５０】
また、色差分離マトリックス回路３２から供給された信号が、メモリ７４に一時的に退避させていた原信号である場合、その原信号がインタレース方式の信号であるときには（撮像素子２１の走査方式がインタレース方式であるときには）、１枚の静止画を記録するにはプログレッシブ方式の信号とする必要があるから、解像度変換回路３３は、生成した所定のサイズの画像の信号をIP変換を行うIP変換回路５１に出力する。一方、解像度変換回路３３は、色差分離マトリックス回路３２から供給された原信号がプログレッシブ方式の信号であるときには（撮像素子２１の走査方式がプログレッシブ方式であるときには）、生成した所定のサイズの画像の信号をそのままメモリI/F７３に出力する。
【００５１】
これらのフィルタ処理・ガンマ補正回路３１、色差分離マトリックス回路３２、および解像度変換回路３３に対しては、撮像部１２から直接供給された原信号を対象として動画用の処理を施すときと、メモリ７４に一時的に退避させ、画像処理部１３に対する入力として戻すことによって供給された原信号を対象として静止画用の処理を施すときとで異なるパラメータが制御部１８により設定され、設定されたパラメータにより規定される異なる処理が行われる。撮像部１２から供給された原信号を対象とするときには動画用のパラメータが設定され、メモリ７４に一時的に退避させていた原信号を対象とするときには静止画用のパラメータが設定される。
【００５２】
なお、画像処理部１３には、図１に示される回路の他に、エフェクトをかける回路、シャープネスの調整を行う回路、検波値を検出する回路、手振れ補正に用いる切り出し範囲を制御する回路などの各種の信号処理回路が設けられる。
【００５３】
動画処理部１４は、動画圧縮処理回路４１、および記録媒体４２（以下、適宜、記録媒体Ａという）から構成される。
【００５４】
動画圧縮処理回路４１は、画像処理部１３の解像度変換回路３３から供給された信号に対してDV(Digital Video)規格、またはMPEG(Moving Picture Experts Group)規格に準拠した動画符号化処理を施し、得られた動画符号化データを記録媒体Ａに記録させる。
【００５５】
記録媒体Ａは、テープ、DVD(Digital Versatile Disc)などの、撮像装置１に対して脱着式の記録媒体であったり、ハードディスクなどの撮像装置１に内蔵される固定式の記録媒体である。記録媒体Ａには、動画圧縮処理回路４１から供給された動画符号化データが記録される。記録媒体Ａに記録された動画符号化データは、動画圧縮処理回路４１により読み出されて撮像装置１上で再生されたり、パーソナルコンピュータなどの外部の機器に転送されたりする。
【００５６】
静止画処理部１５は、IP変換回路５１、および静止画圧縮回路５２から構成される。
【００５７】
IP変換回路５１は、解像度変換回路３３から供給されたインタレース方式の信号をプログレッシブ方式の信号に変換し、得られたプログレッシブ方式の信号をメモリI/F７３に出力する。上述したように、撮像素子２１の走査方式がインタレース方式であり、静止画を記録するときに、解像度変換回路３３からインタレース方式の信号が供給されてくる。
【００５８】
図２は、IP変換回路５１の詳細な構成例を示すブロック図である。
【００５９】
動き検出回路５１ａは、インタレース方式で走査を行う撮像素子２１により得られ、メモリ７４に一時的に退避させていた２フィールド分の画像のインタレース信号ｆ1，ｆ2が解像度変換回路３３から供給されたとき、画像に現れる動きを検出し、検出結果に応じてスイッチ５１ｄの接続を切り替える。
【００６０】
例えば、動き検出回路５１ａは、ブロックマッチング方式などによって動きを検出し、図３に示されるように、動領域ではフィールド内補間の結果を用いて、間引かれたラインの画素が補間されるようにスイッチ５１ｄを端子ｂに接続させ、静止領域では時間的に前のフィールドの信号を用いた補間が行われるようにスイッチ５１ｄを端子ａに接続させる。ライン単位の処理が繰り返され、全てのラインの画素が生成されたとき、プログレッシブ信号ＦがIP変換回路５１からメモリI/F７３に出力され、静止画圧縮回路５２により圧縮された後、１枚の静止画として記録媒体７６に記録される。
【００６１】
なお、インタレース方式で撮像された１フィールド分の原信号だけが、静止画記録に用いる信号として供給された場合、全ての画素がフィールド内補間によって補間され、１枚の静止画（プログレッシブ信号Ｆ）が生成されるようにしてもよい。
【００６２】
フィールド間補間回路５１ｂは、供給された２フィールドの画像信号を用いてフィールド間の補間を行い、得られた結果を出力する。
【００６３】
フィールド内補間回路５１ｃは、供給された画像信号を用いてフィールド内の補間を行い、得られた結果を出力する。
【００６４】
図１の説明に戻り、静止画圧縮回路５２は、解像度変換回路３３からメモリI/F７３に出力された信号（輝度・色差信号）、または、IP変換回路５１からメモリI/F７３に出力された信号に対してJPEG(Joint Photographic Expert Group)方式などにしたがって圧縮処理を施し、得られた静止画符号化データをメモリI/F７３を介してメモリ７４に記録させる。原信号から生成された静止画符号化データは、例えば、メモリ７４に一度記録されてから記録媒体７６に転送され、記録される。
【００６５】
表示部１６は、表示制御回路６１、およびディスプレイ６２から構成される。
【００６６】
表示制御回路６１は、動画の撮影時、撮像素子２１による取り込み画像を解像度変換回路３３からの出力に基づいてディスプレイ６２に表示させ、記録媒体Ａに記録されている動画の再生時、動画圧縮処理回路４１から供給された信号に基づいて、記録済みの動画をディスプレイ６２に表示させる。
【００６７】
また、表示制御回路６１は、原信号に基づいて生成され、メモリ７４に記録されている静止画や記録媒体Ｂに記録されている静止画の再生時、静止画圧縮回路５２により伸張され、メモリI/F７３を介して供給された信号に基づいて、それらの静止画をディスプレイ６２の解像度にあわせて表示させる。
【００６８】
なお、撮像装置１にIEEE(Institute of Electrical and Electronics Engineers)1394出力、コンポーネント出力の機能がある場合、表示制御回路６１は、それらの機能を用いて外部のディスプレイに動画や静止画を表示させる。
【００６９】
ディスプレイ６２はLCD(Liquid Crystal Display)などより構成され、表示制御回路６１から供給された信号に基づいて動画、静止画を表示する。
【００７０】
記録部１７は、スイッチ７１，７２、メモリI/F７３、メモリ７４、原信号圧縮処理回路７５、および記録媒体７６（以下、適宜、記録媒体Ｂという）から構成される。
【００７１】
スイッチ７１は、制御部１８による制御にしたがって接続状態となり、そのとき供給された原信号を導通させる。
【００７２】
動画の撮影が行われている最中に静止画の記録がユーザにより指示されたとき、制御部１８によってスイッチ７１が接続状態とされ、このとき、撮像部１２と画像処理部１３の間で分岐された原信号は、メモリ７４への経路となるスイッチ７２と原信号圧縮処理回路７５に供給される。また、原信号がメモリ７４に一時的に記録されており、動画の処理が休止している状態にあるときも制御部１８によってスイッチ７１が接続状態とされ、このとき、メモリ７４に一時的に記録されていた原信号は、画像処理部１３に対する入力としてスイッチ７１を介して画像処理部１３の先頭に供給される。
【００７３】
スイッチ７２は、制御部１８による制御にしたがって端子ａと端子ｂのいずれかに接続され、そのとき供給された原信号を導通させる。
【００７４】
メモリI/F７３はメモリ７４のインターフェースであり、メモリ７４に対するデータの書き込み、メモリ７４からのデータの読み出しを行う。
【００７５】
図４は、メモリ７４に形成される領域の例を示す図である。
【００７６】
図４に示されるように、メモリ７４には、静止画処理ワークエリア、領域Ａ1乃至ＡM、領域Ｂ1乃至ＢNが形成される。
【００７７】
静止画処理ワークエリアは、IP変換回路５１がIP変換を行ったり、静止画圧縮回路５２が圧縮処理や伸張処理を行ったりするときに用いられる領域である。
【００７８】
領域Ａ1乃至ＡMは、原信号に基づいて生成された静止画符号化データが一時的に記録される領域である。領域Ａ1乃至ＡMのそれぞれには、例えば領域Ｂ1乃至ＢNのそれぞれに記録されている原信号に基づいて生成された静止画符号化データが記録される。
【００７９】
領域Ｂ1乃至ＢNは原信号が記録される領域である。すなわち、動画の撮影中に静止画の記録が指示されたときの原信号の退避場所が、この領域Ｂ1乃至ＢNとなる。動画の処理が休止している状態にあるとき、領域Ｂ1乃至ＢNに記録されている原信号が順次読み出されて静止画の生成に用いられる。
【００８０】
このように、メモリ７４には原信号を記録する領域が複数形成されており、領域Ｂ1には１回目の指示がされたときの原信号が記録され、領域ＢNにはＮ回目の指示がされたときの原信号が記録されるといったように、静止画の記録が指示される毎に、それぞれの領域に原信号が記録される。すなわち、ユーザは、あらかじめ定められた容量に達するまで、１回の動画の撮影中に複数回の静止画の記録を行うことができる。
【００８１】
なお、撮像素子２１の走査方式がインタレース方式である場合、IP変換によって１枚の静止画を生成するためには２フィールド分の原信号（ODD/EVEN）が必要であり、このとき、例えば、２フィールド分の原信号は連続した領域に記録される。
【００８２】
図１の説明に戻り、原信号圧縮処理回路７５は、制御部１８による制御にしたがって、スイッチ７１を介して供給された原信号を圧縮し、圧縮した原信号をスイッチ７２を介してメモリI/F７３に出力する。また、原信号圧縮処理回路７５は、圧縮された原信号がメモリ７４に記録されている場合、メモリI/F７３により読み出され、スイッチ７２を介して供給された圧縮済みの原信号を伸張し、伸張して得られた原信号をスイッチ７１を介して画像処理部１３に出力する。
【００８３】
このように、撮像部１２の出力である原信号に対しては、適宜、圧縮が施される。原信号圧縮処理回路７５により圧縮された原信号がスイッチ７２により選択され、静止画の記録に用いる信号として記録されることによってメモリ７４の容量を効率的に用いることができる。
【００８４】
なお、原信号圧縮処理回路７５により圧縮された原信号、伸張された原信号も、動画用、静止画用などのそのときの用途にあわせて後から適正な処理を行うことができる段階の信号であり、動画用の絵作りのための処理（画像処理部１３による画像処理）や、静止画用の絵作りのための処理が施された信号ではないから、圧縮されずにメモリ７４に退避させていた原信号と同様に「原信号」である。
【００８５】
記録媒体Ｂは、撮像装置１に対して着脱可能なフラッシュメモリなどで構成される。記録媒体Ｂには、原信号に基づいて生成された静止画符号化データが記録される。
【００８６】
制御部１８は、システム制御回路８１、およびメモリ８２から構成される。制御部１８と図１の他の各部は、図示せぬ信号線によって接続される。
【００８７】
システム制御回路８１はマイクロコントローラなどよりなり、制御部１８に接続される外部インターフェース（図示せず）により受け付けられたユーザのボタン入力にしたがって、システム全体の動作を制御する。外部インターフェースにおいては、動画記録ボタンが押される毎に動画の記録の開始／終了が交互に受け付けられ、静止画記録ボタンが押される毎に静止画の記録が受け付けられる。また、外部インターフェースにおいては、各種のボタンを用いてユーザにより行われる画質の設定、エフェクトの設定などのユーザ操作が受け付けられるほか、ジャイロセンサー（図示せず）からの入力も受け付けられる。ジャイロセンサーからの入力に応じて、システム制御回路８１においては撮影時の手振れ量の検出などが行われる。
【００８８】
メモリ８２は、システム制御回路８１が各部を制御する上で必要な撮影条件などの各種のデータを記録する。
【００８９】
ここで、図５を参照して、システム制御回路８１の動作について説明する。図５において、横方向が時間方向を表す。
【００９０】
例えば、時刻ｔ1において動画記録ボタンがユーザにより押され、動画の記録の開始が指示されたとき、システム制御回路８１は、撮像部１２により撮像を開始させ、動画用のパラメータを設定して画像処理部１３の各部に撮像部１２の出力である原信号を処理させる。また、システム制御回路８１は、動画処理部１４を制御し、画像処理部１３の処理結果を符号化して得られた動画符号化データを記録媒体Ａに記録させる。
【００９１】
このような記録媒体Ａへの動画の記録を行っている最中に、点線矢印で示されるようなタイミングで静止画記録ボタンがユーザにより押され、静止画の記録が指示されたとき、システム制御回路８１は、動画の記録を続けさせるとともに、状態Ｓ1として示されるように、圧縮処理を必要に応じて行わせて、撮像部１２の出力である原信号の取り込みを記録部１７に行わせる（メモリ７４に一時的に退避させる）。
【００９２】
また、このとき、システム制御回路８１は、撮影条件を制御部１８内のメモリ８２に保存させる。撮影条件は、絞り値やズーム位置などの、いま行われている動画の撮影の条件である。
【００９３】
原信号の取り込みと撮影条件の保存は、静止画の記録が指示される毎に行われる。図５の例においては４枚の静止画の記録が指示されている。
【００９４】
時刻ｔ2において動画記録ボタンがユーザにより押され、動画の記録の停止が指示されたとき、システム制御回路８１は、それまで行っていた動画の処理を停止し、時刻ｔ3において、１枚目の静止画の処理を開始する。すなわち、システム制御回路８１は、状態Ｓ2として示されるように、静止画の処理のための初期設定を行う。
【００９５】
例えば、システム制御回路８１は、初期設定として、静止画に適した処理が施されるように、メモリ８２に保存しておいた撮影条件などに基づいて決定した静止画用のパラメータを画像処理部１３の各部に設定する。また、システム制御回路８１は、処理対象が動画のときと静止画のときとで切り換える必要のある、輪郭強調の度合いの設定などの切り換えも行う。さらに、システム制御回路８１は、原信号の伸張処理やIP変換が必要である場合、それらの処理が行われるような設定を行う。
【００９６】
初期設定が終了したとき、システム制御回路８１は、状態Ｓ3として示されるように、スイッチ７１を接続状態にするなどして、メモリ７４に一時的に退避させていた原信号を画像処理部１３の先頭に供給させ、状態Ｓ4として示されるように、画像処理部１３の各部に静止画用の画像処理を順次行わせる。画像処理部１３により処理が施されることによって得られた静止画の信号は、静止画処理部１５などを介してメモリ７４の静止画処理ワークエリアに保存される。
【００９７】
撮像部１２から出力され、メモリ７４に一時的に退避させていた信号がインタレース方式の信号である場合、１枚の画像を生成する元になる２フィールド分の原信号に対して連続して画像処理部１３等により処理が施され、メモリ７４の静止画処理ワークエリアには２フィールド分のデータが格納される。
【００９８】
システム制御回路８１は、状態Ｓ5として示されるように、メモリ７４の静止画処理ワークエリアに保存された信号に基づいて、適宜、IP変換や静止画の圧縮などを静止画処理部１５に行わせる。静止画処理部１５により生成されたデータは、静止画符号化データとしてメモリ７４に記録される。このように、１枚の静止画の処理は、順次、パイプライン的に効率よく行われる。
【００９９】
システム制御回路８１は、生成した１枚の静止画を、それを生成する毎に記録媒体Ｂに順次記録させる場合、状態Ｓ6として示されるように、メモリ７４に記録された静止画符号化データを記録媒体Ｂに転送し、記録させる。原信号に基づいて全ての静止画を生成してからまとめて記録媒体Ｂに記録する場合、生成された静止画は、他の静止画が全て生成されるまでメモリ７４に保存される。
【０１００】
１枚目の静止画の処理が終了したとき、時刻ｔ4において、システム制御回路８１は、２枚目の静止画の処理として１枚目の静止画の処理と同様の処理を開始し、その２枚目の静止画の処理が終了したとき、３枚目の静止画の処理として同様の処理を時刻ｔ5において開始する。３枚目の静止画の処理が終了したとき、システム制御回路８１は、４枚目の静止画の処理として同様の処理を時刻ｔ6において開始する。
【０１０１】
４枚目の静止画の処理、すなわち、全ての静止画の処理が終了したとき、システム制御回路８１は、時刻ｔ7において、メモリ７４に保存しておいた４枚全ての静止画を記録媒体Ｂに一括して記録させる。
【０１０２】
例えば、生成した静止画を記録媒体Ｂに記録させることが終了したとき、システム制御回路８１は、メモリ７４に記録させていた原信号を消去し、新たな原信号を記録することができるようにする。
【０１０３】
撮像装置１の各部に対しては、以上のような制御が制御部１８により行われる。
【０１０４】
図６は、システム制御回路８１の他の動作の例を示す図である。
【０１０５】
図６の例においては、１枚の静止画が生成される毎に、生成された静止画がユーザに提示され、ユーザが画質の確認をすることができるようになされている。ユーザは、生成された静止画の画質が気に入らない場合、パラメータの設定を変更させて、同じ原信号に基づいて静止画を再度生成させることができる。
【０１０６】
図６の時刻ｔ1から時刻ｔ4までに行われる処理は図５を参照して説明した処理と同様の処理である。すなわち、ユーザによる操作に応じて動画の記録が開始され、その最中に静止画の記録が指示された場合、その都度、原信号の取り込みが行われる。動画の記録の終了が指示され、動画の処理が休止状態にあるとき、一時的に退避させていた原信号に基づいて静止画が生成される。生成された静止画の符号化データはメモリ７４に保存される。
【０１０７】
１枚目の静止画が生成された時刻ｔ4において、システム制御回路８１は表示部１６を制御し、メモリ７４に保存されている静止画符号化データに基づいて、生成した１枚目の静止画をディスプレイ６２に表示させ、ユーザに確認させる。このとき表示される画面から、ユーザは、生成された静止画の保存（GOOD）、パラメータを変更してのやり直し（NG）を選択することができる。
【０１０８】
図６に示されるように、例えば、パラメータを変更して１枚目の静止画の生成をやり直すことが選択された場合、時刻ｔ5において、システム制御回路８１は、状態Ｓ6として示されるように、静止画の処理のための初期設定（初期設定２）を再度行う。
【０１０９】
ここでは、時刻ｔ3のタイミングで行われた初期設定（初期設定１）のときに設定されたパラメータとは異なる静止画用のパラメータが画像処理部１３の各部に設定される。ユーザが各種のパラメータ（ノイズリダクションの強弱、肌色補正、タイトル文字の追加など）を選択することができるようにしてもよい。
【０１１０】
初期設定が終了したとき、システム制御回路８１は、状態Ｓ7として示されるように、メモリ７４に一時的に退避させていた原信号を画像処理部１３の先頭に供給させ、状態Ｓ8として示されるように、画像処理部１３の各部に静止画用の画像処理を順次行わせる。
【０１１１】
時刻ｔ6において１枚目の静止画の再度の生成が終了したとき、システム制御回路８１は表示部１６を制御し、メモリ７４に保存されている静止画符号化データに基づいて、生成した静止画をディスプレイ６２に表示させ、ユーザに確認させる。
【０１１２】
図６に示されるように、このとき表示された画面から静止画を保存することが指示された場合、システム制御回路８１は、２枚目の静止画の処理を行い、４枚目の静止画の保存が指示されるまで、以上の処理を繰り返す。
【０１１３】
原信号は、それに基づいて生成された静止画が記録媒体Ｂに記録されたときにメモリ７４から消去されるから、このように、ユーザは、静止画を記録媒体Ｂに保存することを選択するまでは、パラメータを調整し、同じ原信号に基づいて異なる画質の静止画を繰り返し生成させることができる。
【０１１４】
また、静止画の記録はメモリ７４に一時的に退避させていた原信号に基づいて行われるから、ユーザは、撮影した後（シャッターボタンを押した後）に自分好みの絵作りを行うことができる。さらに、ユーザは、自身の嗜好に合わせて、好みの画質の静止画だけを記録媒体Ｂに記録させることができる。
【０１１５】
撮像装置１側としても、パラメータを適宜変更して原信号から静止画を生成することにより、その都度異なる画質の静止画を生成することができ、生成される静止画の画質が画一的なものになることを防止することができる。
【０１１６】
次に、撮像装置１の処理についてフローチャートを参照して説明する。
【０１１７】
はじめに、図７のフローチャートを参照して、撮像装置１の全体の処理（メイン処理）について説明する。この処理は、例えば撮像装置１の電源が入れられたときに開始される。
【０１１８】
ステップＳ１において、撮像装置１のシステム制御回路８１は、動画の記録を開始することがユーザにより指示されたか否かを判定し、指示されたと判定するまで待機する。
【０１１９】
動画記録ボタンがユーザにより押されたことから、ステップＳ１において、動画の記録を開始することが指示されたと判定した場合、システム制御回路８１は、ステップＳ２に進み、動画処理を行う。ここで行われる動画処理により、撮像部１２の出力である原信号に対して動画用の処理が施され、動画符号化データが取得される。動画処理の詳細については図８のフローチャートを参照して後述する。
【０１２０】
ステップＳ３において、動画処理部１４の動画圧縮処理回路４１は、動画処理により得られた動画符号化データを記録媒体Ａに記録させる。
【０１２１】
ステップＳ４において、システム制御回路８１は、静止画を記録することがユーザにより指示されたか否かを判定し、静止画記録ボタンが押されたことから、静止画を記録することが指示されたと判定した場合、ステップＳ５に進み、原信号保存処理を行う。ここで行われる原信号保存処理により、撮像部１２の出力である原信号がメモリ７４に一時的に記録される。原信号保存処理の詳細については図９のフローチャートを参照して後述する。
【０１２２】
一方、システム制御回路８１は、ステップＳ４において、静止画の記録が指示されていないと判定した場合、ステップＳ５をスキップする。
【０１２３】
ステップＳ６において、システム制御回路８１は、動画の記録を終了することがユーザにより指示されたか否かを判定し、指示されていないと判定した場合、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。
【０１２４】
システム制御回路８１は、ステップＳ６において、動画記録ボタンがユーザにより押され、動画の記録を停止することが指示されたと判定した場合、ステップＳ７に進み、動画の記録を終了させる。
【０１２５】
ステップＳ８において、システム制御回路８１は、静止画の記録を行うか否かを判定し、それまで行っていた動画の記録の最中に静止画の記録が指示されていなかった場合、静止画の記録を行わないと判定し、ステップＳ１に戻り、それ以降の処理を繰り返し実行する。
【０１２６】
一方、システム制御回路８１は、それまで行っていた動画の記録の最中に静止画の記録が指示されており、メモリ７４に原信号が記録されている場合、ステップＳ８において、静止画の記録を行うと判定し、ステップＳ９に進み、静止画記録処理を行う。ここで行われる静止画記録処理により、原信号に基づく静止画の生成が行われ、生成された静止画が記録媒体Ｂに記録される。静止画記録処理の詳細については図１１のフローチャートを参照して後述する。
【０１２７】
静止画記録処理が終了したときも、処理はステップＳ１に戻り、それ以降の処理が行われる。
【０１２８】
次に、図８のフローチャートを参照して、図７のステップＳ２において行われる動画処理について説明する。
【０１２９】
ステップＳ１１において、システム制御回路８１は、動画用のパラメータを画像処理部１３の各部に設定し、ステップＳ１２に進み、撮像部１２の出力である原信号に対して、画像処理部１３の各部に動画用の処理を行わせる。
【０１３０】
ステップＳ１３において、システム制御回路８１は、動画処理部１４を制御し、画像処理部１３の処理結果に対して符号化を行わせる。その後、図７のステップＳ２に戻り、それ以降の処理が行われる。
【０１３１】
次に、図９のフローチャートを参照して、図７のステップＳ５において行われる原信号保存処理について説明する。
【０１３２】
ステップＳ２１において、システム制御回路８１は、原信号を保存するための空き領域がメモリ７４にあるか否かを判定し、空き領域がないと判定した場合、例えば、これ以上の静止画の撮影を行うことができないことを通知するメッセージをディスプレイ６２に表示させ、処理を終了させる。その後、図７のステップＳ５に戻り、それ以降の処理が行われる。
【０１３３】
一方、システム制御回路８１は、ステップＳ２１において、原信号を保存するための空き領域がメモリ７４にあると判定した場合、ステップＳ２２に進み、原信号を圧縮するか否かを判定する。
【０１３４】
ステップＳ２２において、原信号を圧縮すると判定した場合、システム制御回路８１は、ステップＳ２３に進み、スイッチ７１を接続状態にするとともに、スイッチ７２を端子ｂに接続させる。これにより、原信号圧縮処理回路７５により圧縮された原信号がメモリ７４に供給されることになる。
【０１３５】
一方、ステップＳ２２において、原信号を圧縮しないと判定した場合、システム制御回路８１は、スイッチ７１を接続状態にするとともに、スイッチ７２を端子ａに接続させ、ステップＳ２３をスキップする。これにより、撮像部１２から出力された、非圧縮の原信号がそのままメモリ７４に供給されることになる。
【０１３６】
ステップＳ２４において、システム制御回路８１は、メモリI/F７３を制御し、原信号（圧縮済み、または非圧縮の原信号）をメモリ７４に保存させる。これにより、メモリ７４に形成された領域Ｂ1乃至ＢNのいずれかの領域に原信号が記録される。
【０１３７】
ステップＳ２５において、システム制御回路８１は撮影条件保存処理を行う。ここで行われる撮影条件保存処理により、絞り値やズーム位置などの、図７のステップＳ２において開始され、いま行われている動画の撮影の条件が、ステップＳ２４で保存された原信号と一意に関連付けられて制御部１８内のメモリ８２に保存される。撮影条件保存処理の詳細については図１０のフローチャートを参照して後述する。
【０１３８】
ステップＳ２６において、システム制御回路８１は、フィールド画像を取得する必要があるか否かを判定する。
【０１３９】
例えば、撮像素子２１の走査方式がインタレース方式であり、１枚の静止画を生成する元になる２フィールド分の原信号がメモリ７４に保存されていない場合、システム制御回路８１は、ステップＳ２６において、フィールド画像を取得する必要があると判定し、ステップＳ２１に戻り、それ以降の処理を繰り返し実行する。
【０１４０】
一方、撮像素子２１の走査方式がプログレッシブ方式である場合、または、インタレース方式ではあるが、２フィールド分の原信号をメモリ７４に既に保存させた場合、システム制御回路８１は、ステップＳ２６において、フィールド画像を取得する必要はないと判定し、処理を終了させる。その後、図７のステップＳ５に戻り、それ以降の処理が行われる。
【０１４１】
次に、図１０のフローチャートを参照して、図９のステップＳ２５において行われる撮影条件保存処理について説明する。
【０１４２】
ステップＳ３１において、システム制御回路８１は、検波値、ズーム位置を表す情報をメモリ８２に記録させ、ステップＳ３２に進み、画質設定ボタンがユーザにより操作されている場合には、画質の設定の内容を表す情報をメモリ８２に記録させる。
【０１４３】
ステップＳ３３において、システム制御回路８１は、絞りの制御量をメモリ８２に記録させ、ステップＳ３４に進み、所定のエフェクトをかけた状態でユーザにより動画の撮影が行われている場合、そのエフェクトの設定を表す情報をメモリ８２に記録させる。
【０１４４】
ステップＳ３５において、システム制御回路８１は手振れ量をメモリ８２に記録させ、処理を終了させる。その後、図９のステップＳ２５に戻り、それ以降の処理が行われる。
【０１４５】
以上の処理により記録された情報が、静止画用の処理を規定するパラメータを決定するときに用いられる。
【０１４６】
次に、図１１のフローチャートを参照して、図７のステップＳ９において行われる静止画記録処理について説明する。
【０１４７】
ステップＳ４１において、システム制御回路８１は撮影条件の読み出しと設定処理を行う。ここで行われる処理により、メモリ８２に保存されていた撮影条件が読み出され、それを参照して決定された静止画用のパラメータが画像処理部１３の各部に設定される。このとき、動画の撮影は既に終了しているため、画像処理部１３において行われる処理を静止画専用の処理に切り替えることが可能となる。撮影条件の読み出しと設定処理の詳細については図１２のフローチャートを参照して後述する。
【０１４８】
ステップＳ４２において、システム制御回路８１は、メモリ７４に記録させていた原信号が圧縮されているか否かを判定し、圧縮されていると判定した場合、ステップＳ４３に進む。
【０１４９】
ステップＳ４３において、システム制御回路８１は、スイッチ７２を端子ｂに接続させることによってメモリ７４に記録されている原信号を原信号圧縮処理回路７５に供給させ、圧縮されている原信号の解凍を行わせる。
【０１５０】
一方、システム制御回路８１は、ステップＳ４２において、メモリ７４に記録させていた原信号が圧縮されていないと判定した場合、ステップＳ４３をスキップし、ステップＳ４４に進む。
【０１５１】
ステップＳ４４において、システム制御回路８１は、メモリ７４に記録させていた原信号を読み出させ、画像処理部１３に供給させる。これにより、メモリ７４に記録させていた非圧縮の原信号がスイッチ７２，７１を介して画像処理部１３に供給される。また、圧縮され、原信号圧縮処理回路７５により解凍（伸張）された原信号がスイッチ７１を介して画像処理部１３に供給される。
【０１５２】
ステップＳ４５において、システム制御回路８１は、一時的に記録させていた原信号に対して、画像処理部１３の各部に静止画用の処理を行わせる。画像処理部１３により処理が施されて生成された信号は、メモリ７４から読み出された原信号がインタレース方式の信号である場合、IP変換回路５１に出力され、プログレッシブ方式の信号である場合、メモリI/F７３に出力される。
【０１５３】
ステップＳ４６において、システム制御回路８１は、フィールド画像があるか否かを判定する。
【０１５４】
例えば、撮像素子２１の走査方式がインタレース方式であり、１枚の静止画を生成する元になる原信号として２フィールド分の原信号がメモリ７４に記録されている場合、システム制御回路８１は、ステップＳ４６において、フィールド画像があると判定し、ステップＳ４７に進み、画像処理部１３により静止画用の処理が施された、２フィールド分の原信号に基づいてIP変換回路５１にIP変換を行わせる。なお、撮像素子２１の走査方式がインタレース方式であり、１枚の静止画を生成する元になる原信号として２フィールド分の原信号が記録されている場合、ステップＳ４１乃至Ｓ４５の処理は２回繰り返され、その後、ステップＳ４７以降の処理が行われる。
【０１５５】
一方、撮像素子２１の走査方式がプログレッシブ方式である場合、システム制御回路８１は、ステップＳ４６において、フィールド画像がないと判定し、ステップＳ４７をスキップし、ステップＳ４８に進む。
【０１５６】
ステップＳ４８において、システム制御回路８１は、静止画圧縮回路５２を制御して静止画を符号化させる。静止画圧縮回路５２により生成された静止画符号化データは、メモリI/F７３によりメモリ７４に供給され、一時的に記録される。
【０１５７】
ステップＳ４９において、システム制御回路８１は、全ての静止画の処理を終了したか否かを判定し、終了していないと判定した場合、ステップＳ４１に戻り、それ以降の処理を繰り返し実行する。
【０１５８】
一方、システム制御回路８１は、ステップＳ４９において、全ての静止画の処理を終了したと判定した場合、ステップＳ５０に進み、メモリ７４に記録させておいた静止画符号化データを記録媒体Ｂに転送させ、記録させる。これにより、原信号に基づいて生成された全ての静止画が一括して記録媒体Ｂに記録される。例えば、メモリ７４に記録されていた原信号が消去された後、図７のステップＳ９以降の処理が行われる。
【０１５９】
次に、図１２のフローチャートを参照して、図１１のステップＳ４１において行われる撮影条件の読み出しと設定処理について説明する。
【０１６０】
ステップＳ６１において、システム制御回路８１は、画像処理部１３の解像度変換回路３３において行われる解像度変換を規定するパラメータ、および、フィルタ処理・ガンマ補正回路３１において行われるガンマ補正を規定するパラメータを静止画用のものに設定する。
【０１６１】
ステップＳ６２において、システム制御回路８１は、メモリ８２に記録させていた検波値、ズーム位置を表す情報に基づいてAGC(Automatic Gain Control)制御量を決定し、決定した制御量を画像処理部１３のAGC制御を行う回路に設定する。
【０１６２】
ステップＳ６３において、システム制御回路８１は、メモリ８２に記録させていた検波値、ユーザにより行われた画質の設定の内容を表す情報に基づいてホワイトバランス制御量を決定し、決定した制御量を画像処理部１３のホワイトバランス制御を行う回路（フィルタ処理・ガンマ補正回路３１）に設定する。
【０１６３】
ステップＳ６４において、システム制御回路８１は、メモリ８２に記録させていた絞り制御量を表す情報に基づいてシャープネス制御量を決定し、決定した制御量を画像処理部１３のシャープネス調整を行う回路に設定する。
【０１６４】
ステップＳ６５において、システム制御回路８１は、メモリ８２に記録させていたエフェクトの設定を表す情報に基づいてエフェクトの内容を決定し、決定したエフェクトが施されるように、画像処理部１３のエフェクトをかける回路を制御する。
【０１６５】
ステップＳ６６において、システム制御回路８１は、メモリ８２に記録させていた手振れ量を表す情報に基づいて切り出し制御量（原信号により表される画像全体のうち、静止画の生成に用いる画素の範囲）を決定し、決定した制御量を、画像処理部１３の切り出し範囲を制御する回路に設定する。
【０１６６】
その後、図１１のステップＳ４１に戻り、それ以降の処理が行われる。図１１のステップＳ４５においては、以上のようにして設定されたパラメータによって規定される静止画用の処理が行われることになる。
【０１６７】
次に、図１３のフローチャートを参照して、図７のステップＳ９において行われる他の静止画記録処理について説明する。
【０１６８】
図１３の静止画記録処理は、図６を参照して説明したように、１枚の静止画が生成される毎に、生成された静止画がユーザに提示される点を除いて図１１の静止画記録処理と同様の処理である。
【０１６９】
すなわち、ステップＳ７１において、システム制御回路８１は撮影条件の読み出しと設定処理（図１２の処理）を行い、ステップＳ７２に進み、メモリ７４に記録させていた原信号が圧縮されているか否かを判定する。
【０１７０】
ステップＳ７２において、システム制御回路８１は、原信号が圧縮されていると判定した場合、ステップＳ７３に進み、圧縮されている原信号の解凍を行わせ、圧縮されていないと判定した場合、ステップＳ７３をスキップする。
【０１７１】
ステップＳ７４において、システム制御回路８１は、メモリ７４に記録させていた原信号を読み出し、画像処理部１３に供給させ、ステップＳ７５に進み、原信号に対して画像処理部１３の各部に静止画用の処理を行わせる。
【０１７２】
ステップＳ７６において、システム制御回路８１は、フィールド画像があるか否かを判定し、フィールド画像があると判定した場合、ステップＳ７７に進み、IP変換をIP変換回路５１に行わせ、フィールド画像がないと判定した場合、ステップＳ７７をスキップする。なお、ここでも、撮像素子２１の走査方式がインタレース方式であり、１枚の静止画を生成する元になる原信号として２フィールド分の原信号が記録されている場合、ステップＳ７１乃至Ｓ７５の処理は２回繰り返され、その後、ステップＳ７７以降の処理が行われる。
【０１７３】
ステップＳ７８において、システム制御回路８１は、静止画圧縮回路５２を制御して静止画を符号化をさせ、ステップＳ７９に進む。
【０１７４】
ステップＳ７９において、システム制御回路８１は静止画確認処理を行い、原信号に基づいて生成された静止画をユーザに確認させる。静止画確認処理の詳細については図１４のフローチャートを参照して後述する。
【０１７５】
ステップＳ８０において、システム制御回路８１は、全ての静止画の処理を終了したか否かを判定し、終了していないと判定した場合、ステップＳ７１に戻り、それ以降の処理を繰り返し実行させ、全ての静止画の処理を終了したと判定した場合、ステップＳ８１に進み、メモリ７４に記録させておいた静止画符号化データを記録媒体Ｂに転送させ、記録させる。その後、図７のステップＳ９に戻り、それ以降の処理が行われる。
【０１７６】
次に、図１４のフローチャートを参照して、図１３のステップＳ７９において行われる静止画確認処理について説明する。
【０１７７】
ステップＳ９１において、システム制御回路８１は、原信号に基づいて生成し、メモリ７４に一時的に記録させていた静止画符号化データを静止画圧縮回路５２に復号させ、表示制御回路６１を制御して静止画をディスプレイ６２に表示させる。上述したように、このときディスプレイ６２に表示される画面には、生成された静止画の保存、パラメータを変更してのやり直しをユーザが選択することのできる表示もなされる。
【０１７８】
ステップＳ９２において、システム制御回路８１は、提示した静止画を保存することがユーザにより指示された否かを判定し、保存することが指示されたと判定した場合、ステップＳ９３に進み、記録媒体Ｂに記録する静止画として、その静止画符号化データをメモリ７４に保存させ続ける。全ての静止画の確認が終了したとき、メモリ７４に保存されている静止画符号化データは記録媒体Ｂに転送され、記録される。
【０１７９】
その後、図１３のステップＳ７９に戻り、ステップＳ８０以降の処理が行われる。
【０１８０】
一方、システム制御回路８１は、ステップＳ９２において、提示した静止画を保存することがユーザにより指示されていない、すなわち、パラメータを変更してのやり直しが指示されたと判定した場合、ステップＳ９４に進み、ユーザによる画質の設定を受け付ける。例えば、ユーザは、タイトル付加機能、ゲイン調整、色補正などのパラメータを変更することができ、ユーザにより選択された設定がシステム制御回路８１により受け付けられる。
【０１８１】
その後、図１３のステップＳ７９に戻り、パラメータを変更してのやり直しがユーザにより指示されたときの処理としてステップＳ７１以降の処理が行われる。ステップＳ７１において行われるパラメータの設定では、ステップＳ９４で受け付けられたパラメータ（ユーザにより選択されたパラメータ）が設定される。
【０１８２】
これにより、ユーザは、好みの画質の静止画が生成されるまで、パラメータを調整して静止画の生成を何度でも繰り返させることができる。
【０１８３】
以上のような一連の処理が行われることによって、動画専用の画像処理と静止画専用の画像処理を１つの構成で行うことができ、動画専用の画像処理を行うものと静止画専用の画像処理を行うものとの２つの構成を設ける場合に較べて、回路規模を小さくしたりすることができる。
【０１８４】
また、ユーザは、動画の画質を損なうことなく、その動画の撮影と同時に、品質のよい静止画をも得ることができる。また、撮像素子２１からは動作の撮影周期で原信号が出力され、それに基づいて静止画が生成されるから、ユーザは、動画の撮影周期のタイミングで撮影を行うことができ、例えば、動画の撮影周期のＮ（Ｎ≧２）倍毎に、動画よりも高い解像度を有する撮像信号が出力されることによって静止画の記録が行われる場合（特許文献１の場合）に較べて、シャッタチャンスを逃さずに済む。
【０１８５】
以上においては、原信号を退避させるとき、原信号が記録されるメモリ７４とは異なるメモリ８２に撮影条件が記録されるものとしたが、原信号とともにメモリ７４に撮影条件が記録されるようにしてもよい。また、記録される撮影条件として、図１０を参照して説明したような情報が記録されるものとしたが、静止画用の処理を規定するパラメータを決定するときに基準とすることのできる他の様々な情報が記録されるようにしてもよい。
【０１８６】
また、以上においては、動画の撮影を終了することがユーザにより指示され、それによって動画の処理が休止しているタイミングで静止画の処理が行われるものとしたが、例えば、動画の撮影が一時停止の状態にあるときなどのように、画像処理部１３によって動画の処理が行われていないタイミングであれば、どのタイミングで行われるようにしてもよい。
【０１８７】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１８８】
図１５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)２０１は、ROM(Read Only Memory)２０２、または記憶部２０８に記憶されているプログラムにしたがって各種の処理を実行する。RAM２０３には、CPU２０１が実行するプログラムやデータなどが適宜記録される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
【０１８９】
CPU２０１にはまた、バス２０４を介して入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１９０】
入出力インターフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１９１】
入出力インターフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１９２】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１５に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１９３】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１９４】
【図１】本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】図１のIP変換回路の詳細な構成例を示すブロック図である。
【図３】IP変換の例を示す図である。
【図４】図１のメモリ７４に形成される領域の例を示す図である。
【図５】システム制御回路の動作の例を示す図である。
【図６】システム制御回路の動作の他の例を示す図である。
【図７】撮像装置のメイン処理について説明するフローチャートである。
【図８】図７のステップＳ２において行われる動画処理について説明するフローチャートである。
【図９】図７のステップＳ５において行われる原信号保存処理について説明するフローチャートである。
【図１０】図９のステップＳ２５において行われる撮影条件保存処理について説明するフローチャートである。
【図１１】図７のステップＳ９において行われる静止画記録処理について説明するフローチャートである。
【図１２】図１１のステップＳ４１において行われる撮影条件の読み出しと設定処理について説明するフローチャートである。
【図１３】図７のステップＳ９において行われる他の静止画記録処理について説明するフローチャートである。
【図１４】図１３のステップＳ７９において行われる静止画確認処理について説明するフローチャートである。
【図１５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１９５】
１  撮像装置，  １２  撮像部，  １３  画像処理部，  １４  動画処理部，  １５  静止画処理部，  １６  表示部，  １７  記録部，  １８  制御部，  ７３  メモリI/F，  ７４  メモリ，  ７５  原信号圧縮処理回路，  ７６  記録媒体，  ８１  システム制御回路，  ８２  メモリ
【図１】
0004525561.tif 000002
【図２】
0004525561.tif 000003
【図３】
0004525561.tif 000004
【図４】
0004525561.tif 000005
【図５】
0004525561.tif 000006
【図６】
0004525561.tif 000007
【図７】
0004525561.tif 000008
【図８】
0004525561.tif 000009
【図９】
0004525561.tif 000010
【図１０】
0004525561.tif 000011
【図１１】
0004525561.tif 000012
【図１２】
0004525561.tif 000013
【図１３】
0004525561.tif 000014
【図１４】
0004525561.tif 000015
【図１５】
0004525561.tif 000016