(57)【要約】【課題】動画記録中の静止画の記録可能枚数を増やすことができるようにする。【解決手段】動画の撮影が行われている最中に静止画の取り込みが指示された場合、その指示がされたタイミングに撮像部１２によって得られた信号は、画像処理部１３に供給され、動画用の処理が施されて記録されるとともに、メモリ７４にも供給され、一時的に記録される。メモリ７４に一時的に記録された原信号を用いた静止画の処理は静止画生成処理、静止画圧縮処理、書き込み処理の３つのステップに分けられ、そのうちの静止画生成処理は、水平ブランキング期間、垂直ブランキング期間の信号が撮像部１２から出力されるときに行われる。また、静止画圧縮処理と書き込み処理は、動画有効期間の信号が撮像部１２から出力されるときに行われる。本発明は、動画の撮影機能と静止画の撮影機能を有する撮像装置に適用することができる。【選択図】図１
2007228119.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
前記撮像手段から出力された原画像信号を一時的に記録する第１の記録手段と、
前記撮像手段から出力された原画像信号に所定の信号処理を施す処理手段と、
前記処理手段に対して、静止画の取り込みを指示する指示手段と
を備える撮像装置であって、
前記処理手段は、前記撮像手段から出力された原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、前記撮像手段から出力された原画像信号を前記第１の記録手段に記録させ、原画像全体のうち、有効画像領域以外の領域の信号が前記撮像手段から出力される間、前記第１の記録手段から原画像信号を読み出して静止画用の信号処理を施す
撮像装置。
【請求項２】
前記処理手段は、有効画像領域以外の領域の信号として、垂直ブランキング領域の信号、および水平ブランキング領域の信号のうちの少なくともいずれかが前記撮像手段から出力される間、前記第１の記録手段から原画像信号を読み出して静止画用の信号処理を施す
請求項１に記載の撮像装置。
【請求項３】
前記処理手段により静止画用の信号処理が施されることによって得られた静止画を圧縮する圧縮手段をさらに備え、
前記処理手段による動画用の信号処理と、前記圧縮手段による圧縮は、時間的に並行して行われる
請求項１に記載の撮像装置。
【請求項４】
前記第１の記録手段と異なる第２の記録手段と、
前記処理手段により静止画用の信号処理が施されることによって得られた静止画を前記第２の記録手段に記録させる記録制御手段と
をさらに備え、
前記処理手段による動画用の信号処理と、前記記録制御手段による前記第２の記録手段に対する静止画の記録は、時間的に並行して行われる
請求項１に記載の撮像装置。
【請求項５】
前記記録制御手段は、さらに、前記処理手段により静止画用の信号処理が施されることによって得られた静止画を前記第２の記録手段に記録させたとき、前記第２の記録手段に記録させた静止画の元になった原画像信号を前記第１の記録手段から消去する
請求項４に記載の撮像装置。
【請求項６】
画像を撮像する撮像手段と、
前記撮像手段から出力された原画像信号を一時的に記録する記録手段と、
前記撮像手段から出力された原画像信号に所定の信号処理を施す処理手段と、
前記処理手段に対して、静止画の取り込みを指示する指示手段と
を備える撮像装置の画像処理方法であって、
前記撮像手段から出力された原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、前記撮像手段から出力された原画像信号を前記記録手段に記録させ、原画像全体のうち、有効画像領域以外の領域の信号が前記撮像手段から出力される間、前記記録手段から原画像信号を読み出して静止画用の信号処理を施す
ステップを含む画像処理方法。
【請求項７】
画像を撮像する撮像手段と、
前記撮像手段から出力された原画像信号を一時的に記録する記録手段と、
前記撮像手段から出力された原画像信号に所定の信号処理を施す処理手段と、
前記処理手段に対して、静止画の取り込みを指示する指示手段と
を備える撮像装置の画像処理をコンピュータに実行させるプログラムであって、
前記撮像手段から出力された原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、前記撮像手段から出力された原画像信号を前記記録手段に記録させ、原画像全体のうち、有効画像領域以外の領域の信号が前記撮像手段から出力される間、前記記録手段から原画像信号を読み出して静止画用の信号処理を施す
ステップを含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理方法、およびプログラムに関し、特に、動画記録中の静止画の記録可能枚数を増やすことができるようにした撮像装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
同じ撮影機能を有するものであっても、一般に、デジタルスチルカメラの撮像素子の走査方式には静止画撮影に適した方式が採用され、デジタルビデオカメラの撮像素子の走査方式には動画撮影に適した方式が採用されている。
【０００３】
例えば、静止画取得を主な目的とするデジタルスチルカメラには数百万画素以上の画素数の撮像素子が使用されており、そのような撮像素子の走査方式としては、より高解像度な静止画を記録するために、１／３０秒毎、もしくは、それ以上の時間をかけて行われる順次走査（プログレッシブ方式）が採用されている。
【０００４】
一方、動画取得を主な目的とするデジタルビデオカメラの撮像素子の走査方式としては、被写体の動解像度を上げるために、１／６０秒毎の飛越走査（インタレース方式）が採用されることが多い。
【０００５】
このように、撮像素子の走査方式を目的に応じて適宜選択しているような状況において、いま、動画と静止画を１つのシステムで同時に記録することを考える。
【０００６】
特許文献１には、高解像度の静止画を得つつ、静止画の撮影と動画の撮影とを同時に行うことができるようにした技術が開示されている。
【特許文献１】特開２００２−４４５３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、特許文献１に開示されているような技術によらずに、静止画記録の品位を優先した一般的なシステムで動画を記録する場合、そのシステムの撮像素子の走査方式としては静止画撮影にあわせてプログレッシブ方式が採用されるから、１／３０秒毎、もしくは、それ以上の時間をかけたプログレッシブ方式の走査によって得られた画像を用いて動画も記録することになり、その結果、動解像度が不足することになる。
【０００８】
反対に、動画記録の品位を優先したシステムで静止画を記録する場合、そのシステムの撮像素子の走査方式としては動画撮影にあわせてインタレース方式が採用されるから、静止画の記録時には、例えば、シャッタボタンが押されることによって静止画記録が指示された瞬間の動画から１枚の静止画をIP変換などにより取得することなどが行われる。しかし、撮像素子から出力される信号に対してこのとき施される色差補正やガンマ補正などの基本的な画像処理は動画向けの処理であり、静止画に適した処理が行われるわけではないから、得られた静止画は、デジタルスチルカメラなどで撮影したものと比較して質の劣ったものになることが多い。
【０００９】
また、これを回避するために、動画専用の処理を行う経路と、静止画専用の処理を行う経路との２つの経路を設け、それぞれの経路において、撮像素子の１つの出力に基づいて動画と静止画にそれぞれ適した画質の信号を生成するものがあるが、同じような処理を行う構成を１つのシステムに２つ設けることになるため、一般的に、回路の規模が大きくなったり消費電力が多くなるばかりか、コストの面でも不利になる。
【００１０】
そこで、動画記録と静止画記録の両機能を１組の撮像素子と処理経路によって実現し、かつ、動画も静止画も互いに高品位なものを取得する場合、それを実現するためには、撮像素子の走査方式を切り替えるなどの全体の動作切換が必要になる。
【００１１】
その結果、動画記録の最中に静止画記録が指示された場合、動画に適したものから静止画に適したものへと動作切換が行われることになり、静止画を取得している期間中は、撮像素子からの動画に適した撮像信号の供給が途切れてしまうため、動画記録が時間的に不連続となることがある。
【００１２】
このような不連続性を回避し、動画の質を落とすことなく高解像度な静止画を得るために、特許文献１に開示されているように、動画の撮影周期のＮ（Ｎ≧２）倍毎に、動画よりも高い解像度を有する撮像信号を出力するような技術が提案されているものの、これによれば、当然、高い解像度の撮像信号が出力されていない残りのＮ−１フレーム期間に高解像度な静止画を得ることができない。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、品質の高い動画と静止画の撮影を、それぞれ専用の構成を設けることなく実現することができるようにするものである。また、動画記録中の静止画の記録可能枚数を増やすことができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の撮像装置は、画像を撮像する撮像手段と、前記撮像手段から出力された原画像信号を一時的に記録する第１の記録手段と、前記撮像手段から出力された原画像信号に所定の信号処理を施す処理手段と、前記処理手段に対して、静止画の取り込みを指示する指示手段とを備える撮像装置であって、前記処理手段は、前記撮像手段から出力された原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、前記撮像手段から出力された原画像信号を前記第１の記録手段に記録させ、原画像全体のうち、有効画像領域以外の領域の信号が前記撮像手段から出力される間、前記第１の記録手段から原画像信号を読み出して静止画用の信号処理を施す。
【００１５】
前記処理手段には、有効画像領域以外の領域の信号として、垂直ブランキング領域の信号、および水平ブランキング領域の信号のうちの少なくともいずれかが前記撮像手段から出力される間、前記第１の記録手段から原画像信号を読み出して静止画用の信号処理を施させることができる。
【００１６】
前記処理手段により静止画用の信号処理が施されることによって得られた静止画を圧縮する圧縮手段をさらに設けることができる。この場合、前記処理手段による動画用の信号処理と、前記圧縮手段による圧縮は、時間的に並行して行われる。
【００１７】
前記第１の記録手段と異なる第２の記録手段と、前記処理手段により静止画用の信号処理が施されることによって得られた静止画を前記第２の記録手段に記録させる記録制御手段とをさらに設けることができる。この場合、前記処理手段による動画用の信号処理と、前記記録制御手段による前記第２の記録手段に対する静止画の記録は、時間的に並行して行われる。
【００１８】
前記記録制御手段には、さらに、前記処理手段により静止画用の信号処理が施されることによって得られた静止画を前記第２の記録手段に記録させたとき、前記第２の記録手段に記録させた静止画の元になった原画像信号を前記第１の記録手段から消去させることができる。
【００１９】
本発明の一側面の画像処理方法は、画像を撮像する撮像手段と、前記撮像手段から出力された原画像信号を一時的に記録する記録手段と、前記撮像手段から出力された原画像信号に所定の信号処理を施す処理手段と、前記処理手段に対して、静止画の取り込みを指示する指示手段とを備える撮像装置の画像処理方法であって、前記撮像手段から出力された原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、前記撮像手段から出力された原画像信号を前記記録手段に記録させ、原画像全体のうち、有効画像領域以外の領域の信号が前記撮像手段から出力される間、前記記録手段から原画像信号を読み出して静止画用の信号処理を施すステップを含む。
【００２０】
本発明の一側面のプログラムは、画像を撮像する撮像手段と、前記撮像手段から出力された原画像信号を一時的に記録する記録手段と、前記撮像手段から出力された原画像信号に所定の信号処理を施す処理手段と、前記処理手段に対して、静止画の取り込みを指示する指示手段とを備える撮像装置の画像処理をコンピュータに実行させるプログラムであって、前記撮像手段から出力された原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、前記撮像手段から出力された原画像信号を前記記録手段に記録させ、原画像全体のうち、有効画像領域以外の領域の信号が前記撮像手段から出力される間、前記記録手段から原画像信号を読み出して静止画用の信号処理を施すステップを含む。
【００２１】
本発明の一側面においては、撮像手段から出力された原画像信号に対して動画用の信号処理が施されている最中に指示手段により静止画の取り込みが指示されたとき、撮像手段から出力された原画像信号が記録手段に記録される。また、原画像全体のうち、有効画像領域以外の領域の信号が撮像手段から出力される間、記録手段から原画像信号が読み出されて静止画用の信号処理が施される。
【発明の効果】
【００２２】
本発明の一側面によれば、品質の高い動画と静止画の撮影を、それぞれ専用の構成を設けることなく実現することができる。また、動画記録中の静止画の記録可能枚数を増やすことができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。したがって、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
【００２４】
本発明の一側面の撮像装置（例えば、図１の撮像装置１）は、画像を撮像する撮像手段（例えば、図１の撮像部１２）と、前記撮像手段から出力された原画像信号を一時的に記録する第１の記録手段（例えば、図１のメモリ７４）と、前記撮像手段から出力された原画像信号（例えば、撮像手段から直接出力された原画像信号、または、撮像手段から出力され、一時的に記録されていた原画像信号）に所定の信号処理（例えば、動画用の処理、静止画用の処理）を施す処理手段（例えば、図１の画像処理部１３）と、前記処理手段に対して、静止画の取り込みを指示する指示手段（例えば、図１の制御部１８）とを備える撮像装置であって、前記処理手段は、前記撮像手段から出力された原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、前記撮像手段から出力された原画像信号を前記第１の記録手段に記録させ、原画像全体のうち、有効画像領域以外の領域の信号が前記撮像手段から出力される間、前記第１の記録手段から原画像信号を読み出して静止画用の信号処理を施す。
【００２５】
本発明の一側面の画像処理方法またはプログラムは、画像を撮像する撮像手段（例えば、図１の撮像部１２）と、前記撮像手段から出力された原画像信号を一時的に記録する記録手段（例えば、図１のメモリ７４）と、前記撮像手段から出力された原画像信号（例えば、撮像手段から直接出力された原画像信号、または、撮像手段から出力され、一時的に記録されていた原画像信号）に所定の信号処理（例えば、動画用の処理、静止画用の処理）を施す処理手段（例えば、図１の画像処理部１３）と、前記処理手段に対して、静止画の取り込みを指示する指示手段（例えば、図１の制御部１８）とを備える撮像装置（例えば、図１の撮像装置１）のものであって、前記撮像手段から出力された原画像信号に対して動画用の信号処理を施している最中に前記指示手段により静止画の取り込みが指示されたとき、前記撮像手段から出力された原画像信号を前記記録手段に記録させ、原画像全体のうち、有効画像領域以外の領域の信号が前記撮像手段から出力される間、前記記録手段から原画像信号を読み出して静止画用の信号処理を施すステップ（例えば、図２５のステップＳ１１６）を含む。
【００２６】
以下、本発明の実施の形態について図を参照して説明する。
【００２７】
図１は、本発明の一実施形態に係る撮像装置１の構成例を示すブロック図である。
【００２８】
撮像装置１は、レンズ部１１、撮像部１２、画像処理部１３、動画処理部１４、静止画処理部１５、表示部１６、記録部１７、および制御部１８から構成され、これらの構成によって動画の撮影と静止画の撮影を行う。すなわち、撮像装置１は動画の記録と静止画の記録に適した２つの回路構成（画像処理部）をそれぞれ有する装置ではなく、画像処理部１３の１つの構成によって、動画の記録のための信号処理と静止画の記録のための信号処理を行う装置である。
【００２９】
例えば、動画の撮影が行われている最中に静止画の取り込みが指示された場合、その指示がされたタイミングに撮像部１２によって得られた信号は分岐され、一方は動画用の処理が施されて記録されるとともに、他方は、そのまま（後述するように、適宜、圧縮処理が施された後）、RAM(Random Access Memory)などのメモリに一時的に記録される。
【００３０】
その後、動画の撮影が休止している状態になったとき、一時的に記録されていた信号は画像処理部１３に供給されて静止画用の処理が施され、１枚の静止画として記録される。画像処理部１３においては、動画用の処理が行われるときと、静止画用の処理が行われるときとで、処理の内容を規定するパラメータが動画に適したものと静止画に適したものとで切り替えられる。
【００３１】
このように、動作の撮影中に静止画の記録が指示された場合、動画の撮影によって得られた信号を静止画の記録にも用いるためにいわば退避させ、動画の処理が行われていない間に、退避させていた原信号に基づいて静止画の処理が行われることにより、動画専用の画像処理と静止画専用の画像処理を１つの構成（画像処理部１３）で行うことができ、動画専用の画像処理を行うものと静止画専用の画像処理を行うものとの２つの構成を設ける場合に較べて、回路規模を小さくすることができ、また、消費電力を抑えることもできる。さらに、コストを削減することができる。
【００３２】
また、動画を記録するための画像処理のタイミングと、静止画を記録するための画像処理のタイミングをずらすことによって、動画記録に用いる信号に対しては動画専用の処理を、静止画記録に用いる信号（一時的に退避させていた信号）に対しては静止画専用の処理をそれぞれ施すことができ、動画の画質を損なうことなく維持しながら、静止画も品質の高いものを得ることが可能となる。
【００３３】
撮像装置１によって行われる一連の処理についてはフローチャートを参照して後述する。
【００３４】
レンズ部１１は、被写体からの光を集光するレンズやフォーカス（ピント）の調整をするためのフォーカスレンズ、絞り等の光学系のモジュールから構成される。レンズ部１１を構成するレンズにより集光された被写体からの光は撮像部１２の撮像素子２１に入射される。
【００３５】
撮像部１２は、撮像素子２１、CDS(Correlated Double Sampling)回路２２、A/D(Analog/Digital)変換回路２３、タイミングジェネレータ（TG）２４、シグナルジェネレータ（SG）２５から構成される。
【００３６】
撮像素子２１は、タイミングジェネレータ２４から供給されるタイミング信号にしたがって、プログレッシブ方式、もしくはインタレース方式で１／６０秒毎に走査（動画の撮影周期にあわせた走査）を行うことにより、レンズ部１１を介して入射する被写体からの光を受光して光電変換を行い、受光量に応じた電気信号としてのアナログの画像信号をCDS回路２２に出力する。撮像素子２１は、例えば、水平方向に２３０４画素、垂直方向に１７２８画素などの、一般的な動画の解像度以上の解像度（SD(Standard Definition)、HD(High Definition)フォーマット以上の解像度）をもつCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)により構成される。
【００３７】
CDS回路２２は、撮像素子２１から供給された信号のノイズ成分を相関２重サンプリングを施すことによって除去し、処理を施すことによって得られた信号をA/D変換回路２３に出力する。
【００３８】
A/D変換回路２３は、CDS回路２２からのアナログの画像信号をA/D変換し、その結果得られるディジタル信号の画像データを後段に出力する。A/D変換回路２３から出力される信号は、動画用、静止画用などのそのときの用途にあわせて後から適正な処理を行うことができる段階の信号（まだ絵作りが行われていない段階のRAW信号）であるから、以下、A/D変換回路２３から出力される信号を原信号（原画像信号）という。
【００３９】
A/D変換回路２３から出力された原信号は画像処理部１３のフィルタ処理・ガンマ補正回路３１に供給される。また、記録部１７のスイッチ７１が接続状態にあるとき、A/D変換回路２３から出力された原信号は記録部１７にも供給される。後述するように、静止画の記録がユーザにより指示されたとき、制御部１８による制御にしたがってスイッチ７１が接続状態になる。
【００４０】
タイミングジェネレータ２４は、シグナルジェネレータ２５から供給された水平リセット信号と垂直リセット信号に基づいて水平駆動信号と垂直駆動信号をそれぞれ発生し、それらを撮像素子２１に出力する。これにより、各画素の信号が、水平駆動信号と垂直駆動信号にしたがって撮像素子２１から読み出される。
【００４１】
シグナルジェネレータ２５は、水平リセット信号と垂直リセット信号を発生し、それらの信号をタイミングジェネレータ２４に出力する。
【００４２】
画像処理部１３は、フィルタ処理・ガンマ補正回路３１、色差分離マトリックス回路３２、および解像度変換回路３３から構成される。
【００４３】
フィルタ処理・ガンマ補正回路３１は、撮像部１２のA/D変換回路２３から供給された信号に対してノイズリダクション処理、ホワイトバランス調整処理、ガンマ補正処理などを制御部１８により設定されたパラメータにしたがって施し、得られた信号を色差分離マトリックス回路３２に出力する。
【００４４】
色差分離マトリックス回路３２は、フィルタ処理・ガンマ補正回路３１から供給された信号に対して色差分離マトリックス処理を制御部１８により設定されたパラメータにしたがって施し、用途に応じた輝度信号、色差信号を生成し、生成したそれらの信号を解像度変換回路３３に出力する。
【００４５】
解像度変換回路３３は、色差分離マトリックス回路３２から供給された信号に基づいて所定のサイズの画像を制御部１８により設定されたパラメータ（解像度）にしたがって生成し、生成した画像の信号を動画処理部１４の動画圧縮処理回路４１、静止画処理部１５のIP変換回路５１、表示部１６の表示制御回路６１、および記録部１７のメモリI/F７３に出力する。
【００４６】
例えば、動画を記録するとき、解像度変換回路３３は、色差分離マトリックス回路３２から供給された信号に基づいて、解像度を低解像度化することによってDV規格に準拠したサイズの画像の信号を生成し、生成した信号を動画圧縮処理回路４１に出力する。動画を記録するときに解像度変換回路３３から出力された信号は表示部１６の表示制御回路６１にも供給され、取り込み画像の表示に用いられる。
【００４７】
また、色差分離マトリックス回路３２から供給された信号が、メモリ７４に一時的に退避させていた原信号である場合、その原信号がインタレース方式の信号であるときには（撮像素子２１の走査方式がインタレース方式であるときには）、１枚の静止画を記録するにはプログレッシブ方式の信号とする必要があるから、解像度変換回路３３は、生成した所定のサイズの画像の信号をIP変換を行うIP変換回路５１に出力する。一方、解像度変換回路３３は、色差分離マトリックス回路３２から供給された原信号がプログレッシブ方式の信号であるときには（撮像素子２１の走査方式がプログレッシブ方式であるときには）、生成した所定のサイズの画像の信号をそのままメモリI/F７３に出力する。
【００４８】
これらのフィルタ処理・ガンマ補正回路３１、色差分離マトリックス回路３２、および解像度変換回路３３に対しては、撮像部１２から直接供給された原信号を対象として動画用の処理を施すときと、メモリ７４に一時的に退避させ、画像処理部１３に対する入力として戻すことによって供給された原信号を対象として静止画用の処理を施すときとで異なるパラメータが制御部１８により設定され、設定されたパラメータにより規定される異なる処理が行われる。撮像部１２から供給された原信号を対象とするときには動画用のパラメータが設定され、メモリ７４に一時的に退避させていた原信号を対象とするときには静止画用のパラメータが設定される。
【００４９】
なお、画像処理部１３には、図１に示される回路の他に、エフェクトをかける回路、シャープネスの調整を行う回路、検波値を検出する回路、手振れ補正に用いる切り出し範囲を制御する回路などの各種の信号処理回路が設けられる。
【００５０】
動画処理部１４は、動画圧縮処理回路４１、および記録媒体４２（以下、適宜、記録媒体Ａという）から構成される。
【００５１】
動画圧縮処理回路４１は、画像処理部１３の解像度変換回路３３から供給された信号に対してDV(Digital Video)規格、またはMPEG(Moving Picture Experts Group)規格に準拠した動画符号化処理を施し、得られた動画符号化データを記録媒体Ａに記録させる。
【００５２】
記録媒体Ａは、テープ、DVD(Digital Versatile Disc)などの、撮像装置１に対して脱着式の記録媒体であったり、ハードディスクなどの撮像装置１に内蔵される固定式の記録媒体である。記録媒体Ａには、動画圧縮処理回路４１から供給された動画符号化データが記録される。記録媒体Ａに記録された動画符号化データは、動画圧縮処理回路４１により読み出されて撮像装置１上で再生されたり、パーソナルコンピュータなどの外部の機器に転送されたりする。
【００５３】
静止画処理部１５は、IP変換回路５１、および静止画圧縮回路５２から構成される。
【００５４】
IP変換回路５１は、解像度変換回路３３から供給されたインタレース方式の信号をプログレッシブ方式の信号に変換し、得られたプログレッシブ方式の信号をメモリI/F７３に出力する。上述したように、撮像素子２１の走査方式がインタレース方式であり、静止画を記録するときに、解像度変換回路３３からインタレース方式の信号が供給されてくる。
【００５５】
図２は、IP変換回路５１の詳細な構成例を示すブロック図である。
【００５６】
動き検出回路５１ａは、インタレース方式で走査を行う撮像素子２１により得られ、メモリ７４に一時的に退避させていた２フィールド分の画像のインタレース信号ｆ1，ｆ2が解像度変換回路３３から供給されたとき、画像に現れる動きを検出し、検出結果に応じてスイッチ５１ｄの接続を切り替える。
【００５７】
例えば、動き検出回路５１ａは、ブロックマッチング方式などによって動きを検出し、図３に示されるように、動領域ではフィールド内補間の結果を用いて、間引かれたラインの画素が補間されるようにスイッチ５１ｄを端子ｂに接続させ、静止領域では時間的に前のフィールドの信号を用いた補間が行われるようにスイッチ５１ｄを端子ａに接続させる。ライン単位の処理が繰り返され、全てのラインの画素が生成されたとき、プログレッシブ信号ＦがIP変換回路５１からメモリI/F７３に出力され、静止画圧縮回路５２により圧縮された後、１枚の静止画として記録媒体７６に記録される。
【００５８】
なお、インタレース方式で撮像された１フィールド分の原信号だけが、静止画記録に用いる信号として供給された場合、全ての画素がフィールド内補間によって補間され、１枚の静止画（プログレッシブ信号Ｆ）が生成されるようにしてもよい。
【００５９】
フィールド間補間回路５１ｂは、供給された２フィールドの画像信号を用いてフィールド間の補間を行い、得られた結果を出力する。
【００６０】
フィールド内補間回路５１ｃは、供給された画像信号を用いてフィールド内の補間を行い、得られた結果を出力する。
【００６１】
図１の説明に戻り、静止画圧縮回路５２は、解像度変換回路３３からメモリI/F７３に出力された信号（輝度・色差信号）、または、IP変換回路５１からメモリI/F７３に出力された信号に対してJPEG(Joint Photographic Expert Group)方式などにしたがって圧縮処理を施し、得られた静止画符号化データをメモリI/F７３を介してメモリ７４に記録させる。原信号から生成された静止画符号化データは、例えば、メモリ７４に一度記録されてから所定のタイミングで記録媒体７６に転送され、記録される。
【００６２】
表示部１６は、表示制御回路６１、およびディスプレイ６２から構成される。
【００６３】
表示制御回路６１は、動画の撮影時、撮像素子２１による取り込み画像を解像度変換回路３３からの出力に基づいてディスプレイ６２に表示させ、記録媒体Ａに記録されている動画の再生時、動画圧縮処理回路４１から供給された信号に基づいて、記録済みの動画をディスプレイ６２に表示させる。
【００６４】
また、表示制御回路６１は、原信号に基づいて生成され、メモリ７４に記録されている静止画や記録媒体Ｂに記録されている静止画の再生時、静止画圧縮回路５２により伸張され、メモリI/F７３を介して供給された信号に基づいて、それらの静止画をディスプレイ６２の解像度にあわせて表示させる。
【００６５】
なお、撮像装置１にIEEE(Institute of Electrical and Electronics Engineers)1394出力、コンポーネント出力の機能がある場合、表示制御回路６１は、それらの機能を用いて外部のディスプレイに動画や静止画を表示させる。
【００６６】
ディスプレイ６２はLCD(Liquid Crystal Display)などより構成され、表示制御回路６１から供給された信号に基づいて動画、静止画を表示する。
【００６７】
記録部１７は、スイッチ７１，７２、メモリI/F７３、メモリ７４、原信号圧縮処理回路７５、および記録媒体７６（以下、適宜、記録媒体Ｂという）から構成される。
【００６８】
スイッチ７１は、制御部１８による制御にしたがって接続状態となり、そのとき供給された原信号を導通させる。
【００６９】
動画の撮影が行われている最中に静止画の記録がユーザにより指示されたとき、制御部１８によってスイッチ７１が接続状態とされ、このとき、撮像部１２と画像処理部１３の間で分岐された原信号は、メモリ７４への経路となるスイッチ７２と原信号圧縮処理回路７５に供給される。また、原信号がメモリ７４に一時的に記録されており、動画の処理が休止している状態にあるときも制御部１８によってスイッチ７１が接続状態とされ、このとき、メモリ７４に一時的に記録されていた原信号は、画像処理部１３に対する入力としてスイッチ７１を介して画像処理部１３の先頭に供給される。
【００７０】
スイッチ７２は、制御部１８による制御にしたがって端子ａと端子ｂのいずれかに接続され、そのとき供給された原信号を導通させる。
【００７１】
メモリI/F７３はメモリ７４のインターフェースであり、メモリ７４に対するデータの書き込み、メモリ７４からのデータの読み出しを行う。
【００７２】
図４は、メモリ７４に形成される領域の例を示す図である。
【００７３】
図４に示されるように、メモリ７４には、静止画処理ワークエリア、領域Ａ1乃至ＡM、領域Ｂ1乃至ＢNが形成される。
【００７４】
静止画処理ワークエリアは、IP変換回路５１がIP変換を行ったり、静止画圧縮回路５２が圧縮処理や伸張処理を行ったりするときに用いられる領域である。
【００７５】
領域Ａ1乃至ＡMは、原信号に基づいて生成された静止画符号化データが一時的に記録される領域である。領域Ａ1乃至ＡMのそれぞれには、例えば領域Ｂ1乃至ＢNのそれぞれに記録されている原信号に基づいて生成された静止画符号化データが記録される。
【００７６】
領域Ｂ1乃至ＢNは原信号が記録される領域である。すなわち、動画の撮影中に静止画の記録が指示されたときの原信号の退避場所が、この領域Ｂ1乃至ＢNとなる。動画の処理が休止している状態にあるとき、領域Ｂ1乃至ＢNに記録されている原信号が順次読み出されて静止画の生成に用いられる。
【００７７】
このように、メモリ７４には原信号を記録する領域が複数形成されており、領域Ｂ1には１回目の指示がされたときの原信号が記録され、領域ＢNにはＮ回目の指示がされたときの原信号が記録されるといったように、静止画の記録が指示される毎に、それぞれの領域に原信号が記録される。ユーザは、あらかじめ定められた容量（領域の数）に達するまで、１回の動画の撮影中に複数回の静止画の記録を行うことができる。例えば、領域Ｂ1乃至領域Ｂ4がメモリ７４に形成されている場合（Ｎ＝４の場合）、１回の動画の撮影中に、ユーザは、静止画の記録を４回だけ行うことができる。後述するように、動画の記録中であっても、静止画の記録回数は所定のタイミングで増やされる。
【００７８】
なお、撮像素子２１の走査方式がインタレース方式である場合、IP変換によって１枚の静止画を生成するためには２フィールド分の原信号（ODD/EVEN）が必要であり、このとき、例えば、２フィールド分の原信号は連続した領域に記録される。
【００７９】
図１の説明に戻り、原信号圧縮処理回路７５は、制御部１８による制御にしたがって、スイッチ７１を介して供給された原信号を圧縮し、圧縮した原信号をスイッチ７２を介してメモリI/F７３に出力する。また、原信号圧縮処理回路７５は、圧縮された原信号がメモリ７４に記録されている場合、メモリI/F７３により読み出され、スイッチ７２を介して供給された圧縮済みの原信号を伸張し、伸張して得られた原信号をスイッチ７１を介して画像処理部１３に出力する。
【００８０】
このように、撮像部１２の出力である原信号に対しては、適宜、圧縮が施される。原信号圧縮処理回路７５により圧縮された原信号がスイッチ７２により選択され、静止画の記録に用いる信号として記録されることによってメモリ７４の容量を効率的に用いることができる。
【００８１】
なお、原信号圧縮処理回路７５により圧縮された原信号、伸張された原信号も、動画用、静止画用などのそのときの用途にあわせて後から適正な処理を行うことができる段階の信号であり、動画用の絵作りのための処理（画像処理部１３による画像処理）や、静止画用の絵作りのための処理が施された信号ではないから、圧縮されずにメモリ７４に退避させていた原信号と同様に「原信号」である。
【００８２】
記録媒体Ｂは、撮像装置１に対して着脱可能なフラッシュメモリなどで構成される。記録媒体Ｂには、原信号に基づいて生成された静止画符号化データが記録される。
【００８３】
制御部１８は、システム制御回路８１、およびメモリ８２から構成される。制御部１８と図１の他の各部は、図示せぬ信号線によって接続される。
【００８４】
システム制御回路８１はマイクロコントローラなどよりなり、制御部１８に接続される外部インターフェース（図示せず）により受け付けられたユーザのボタン入力にしたがって、システム全体の動作を制御する。外部インターフェースにおいては、動画記録ボタンが押される毎に動画の記録の開始／終了が交互に受け付けられ、静止画記録ボタンが押される毎に静止画の記録が受け付けられる。また、外部インターフェースにおいては、各種のボタンを用いてユーザにより行われる画質の設定、エフェクトの設定などのユーザ操作が受け付けられるほか、ジャイロセンサ（図示せず）からの入力も受け付けられる。ジャイロセンサからの入力に応じて、システム制御回路８１においては撮影時の手振れ量の検出などが行われる。
【００８５】
メモリ８２は、システム制御回路８１が各部を制御する上で必要な撮影条件などの各種のデータを記録する。
【００８６】
ここで、図５を参照して、システム制御回路８１の動作について説明する。図５において、横方向が時間方向を表す。
【００８７】
例えば、時刻ｔ1において動画記録ボタンがユーザにより押され、動画の記録の開始が指示されたとき、システム制御回路８１は、撮像部１２により撮像を開始させ、動画用のパラメータを設定して画像処理部１３の各部に撮像部１２の出力である原信号を処理させる。また、システム制御回路８１は、動画処理部１４を制御し、画像処理部１３の処理結果を符号化して得られた動画符号化データを記録媒体Ａに記録させる。
【００８８】
このような記録媒体Ａへの動画の記録を行っている最中に、点線矢印で示されるようなタイミングで静止画記録ボタンがユーザにより押され、静止画の記録が指示されたとき、システム制御回路８１は、動画の記録を続けさせるとともに、状態Ｓ1として示されるように、圧縮処理を必要に応じて行わせて、撮像部１２の出力である原信号の取り込みを記録部１７に行わせる（メモリ７４に一時的に退避させる）。
【００８９】
また、このとき、システム制御回路８１は、撮影条件を制御部１８内のメモリ８２に保存させる。撮影条件は、絞り値やズーム位置などの、いま行われている動画の撮影の条件である。
【００９０】
原信号の取り込みと撮影条件の保存は、静止画の記録が指示される毎に行われる。図５の例においては４枚の静止画の記録が指示されている。
【００９１】
時刻ｔ2において動画記録ボタンがユーザにより押され、動画の記録の停止が指示されたとき、システム制御回路８１は、それまで行っていた動画の処理を停止し、時刻ｔ3において、１枚目の静止画の処理を開始する。すなわち、システム制御回路８１は、状態Ｓ2として示されるように、静止画の処理のための初期設定を行う。
【００９２】
例えば、システム制御回路８１は、初期設定として、静止画に適した処理が施されるように、メモリ８２に保存しておいた撮影条件などに基づいて決定した静止画用のパラメータを画像処理部１３の各部に設定する。また、システム制御回路８１は、処理対象が動画のときと静止画のときとで切り換える必要のある、輪郭強調の度合いの設定などの切り換えも行う。さらに、システム制御回路８１は、原信号の伸張処理やIP変換が必要である場合、それらの処理が行われるような設定を行う。
【００９３】
初期設定が終了したとき、システム制御回路８１は、状態Ｓ3として示されるように、スイッチ７１を接続状態にするなどして、メモリ７４に一時的に退避させていた原信号を画像処理部１３の先頭に供給させ、状態Ｓ4として示されるように、画像処理部１３の各部に静止画用の画像処理を順次行わせる。画像処理部１３により処理が施されることによって得られた静止画の信号は、静止画処理部１５などを介してメモリ７４の静止画処理ワークエリアに保存される。
【００９４】
撮像部１２から出力され、メモリ７４に一時的に退避させていた信号がインタレース方式の信号である場合、１枚の画像を生成する元になる２フィールド分の原信号に対して連続して画像処理部１３等により処理が施され、メモリ７４の静止画処理ワークエリアには２フィールド分のデータが格納される。
【００９５】
システム制御回路８１は、状態Ｓ5として示されるように、メモリ７４の静止画処理ワークエリアに保存された信号に基づいて、適宜、IP変換や静止画の圧縮などを静止画処理部１５に行わせる。静止画処理部１５により生成されたデータは、静止画符号化データとしてメモリ７４に記録される。このように、１枚の静止画の処理は、順次、パイプライン的に効率よく行われる。
【００９６】
システム制御回路８１は、生成した１枚の静止画を、それを生成する毎に記録媒体Ｂに順次記録させる場合、状態Ｓ6として示されるように、メモリ７４に記録された静止画符号化データを記録媒体Ｂに転送し、記録させる。原信号に基づいて全ての静止画を生成してからまとめて記録媒体Ｂに記録する場合、生成された静止画は、他の静止画が全て生成されるまでメモリ７４に保存される。
【００９７】
１枚目の静止画の処理が終了したとき、時刻ｔ4において、システム制御回路８１は、２枚目の静止画の処理として１枚目の静止画の処理と同様の処理を開始し、その２枚目の静止画の処理が終了したとき、３枚目の静止画の処理として同様の処理を時刻ｔ5において開始する。３枚目の静止画の処理が終了したとき、システム制御回路８１は、４枚目の静止画の処理として同様の処理を時刻ｔ6において開始する。
【００９８】
４枚目の静止画の処理、すなわち、全ての静止画の処理が終了したとき、システム制御回路８１は、時刻ｔ7において、メモリ７４に保存しておいた４枚全ての静止画を記録媒体Ｂに一括して記録させる。
【００９９】
例えば、生成した静止画を記録媒体Ｂに記録させることが終了したとき、システム制御回路８１は、メモリ７４に記録させていた原信号を消去し、新たな原信号を記録することができるようにする。
【０１００】
撮像装置１の各部に対しては、以上のような制御が制御部１８により行われる。
【０１０１】
図６は、システム制御回路８１の他の動作の例を示す図である。
【０１０２】
図６の例においては、１枚の静止画が生成される毎に、生成された静止画がユーザに提示され、ユーザが画質の確認をすることができるようになされている。ユーザは、生成された静止画の画質が気に入らない場合、パラメータの設定を変更させて、同じ原信号に基づいて静止画を再度生成させることができる。
【０１０３】
図６の時刻ｔ1から時刻ｔ4までに行われる処理は図５を参照して説明した処理と同様の処理である。すなわち、ユーザによる操作に応じて動画の記録が開始され、その最中に静止画の記録が指示された場合、その都度、原信号の取り込みが行われる。動画の記録の終了が指示され、動画の処理が休止状態にあるとき、一時的に退避させていた原信号に基づいて静止画が生成される。生成された静止画の符号化データはメモリ７４に保存される。
【０１０４】
１枚目の静止画が生成された時刻ｔ4において、システム制御回路８１は表示部１６を制御し、メモリ７４に保存されている静止画符号化データに基づいて、生成した１枚目の静止画をディスプレイ６２に表示させ、ユーザに確認させる。このとき表示される画面から、ユーザは、生成された静止画の保存（GOOD）、パラメータを変更してのやり直し（NG）を選択することができる。
【０１０５】
図６に示されるように、例えば、パラメータを変更して１枚目の静止画の生成をやり直すことが選択された場合、時刻ｔ5において、システム制御回路８１は、状態Ｓ6として示されるように、静止画の処理のための初期設定（初期設定２）を再度行う。
【０１０６】
ここでは、時刻ｔ3のタイミングで行われた初期設定（初期設定１）のときに設定されたパラメータとは異なる静止画用のパラメータが画像処理部１３の各部に設定される。ユーザが各種のパラメータ（ノイズリダクションの強弱、肌色補正、タイトル文字の追加など）を選択することができるようにしてもよい。
【０１０７】
初期設定が終了したとき、システム制御回路８１は、状態Ｓ7として示されるように、メモリ７４に一時的に退避させていた原信号を画像処理部１３の先頭に供給させ、状態Ｓ8として示されるように、画像処理部１３の各部に静止画用の画像処理を順次行わせる。
【０１０８】
時刻ｔ6において１枚目の静止画の再度の生成が終了したとき、システム制御回路８１は表示部１６を制御し、メモリ７４に保存されている静止画符号化データに基づいて、生成した静止画をディスプレイ６２に表示させ、ユーザに確認させる。
【０１０９】
図６に示されるように、このとき表示された画面から静止画を保存することが指示された場合、システム制御回路８１は、２枚目の静止画の処理を行い、４枚目の静止画の保存が指示されるまで、以上の処理を繰り返す。
【０１１０】
原信号は、それに基づいて生成された静止画が記録媒体Ｂに記録されたときにメモリ７４から消去されるから、このように、ユーザは、静止画を記録媒体Ｂに保存することを選択するまでは、パラメータを調整し、同じ原信号に基づいて異なる画質の静止画を繰り返し生成させることができる。
【０１１１】
また、静止画の記録はメモリ７４に一時的に退避させていた原信号に基づいて行われるから、ユーザは、撮影した後（シャッターボタンを押した後）に自分好みの絵作りを行うことができる。さらに、ユーザは、自身の嗜好に合わせて、好みの画質の静止画だけを記録媒体Ｂに記録させることができる。
【０１１２】
撮像装置１側としても、パラメータを適宜変更して原信号から静止画を生成することにより、その都度異なる画質の静止画を生成することができ、生成される静止画の画質が画一的なものになることを防止することができる。
【０１１３】
次に、撮像装置１の処理についてフローチャートを参照して説明する。
【０１１４】
はじめに、図７のフローチャートを参照して、撮像装置１の全体の処理（メイン処理）について説明する。この処理は、例えば撮像装置１の電源が入れられたときに開始される。
【０１１５】
ステップＳ１において、撮像装置１のシステム制御回路８１は、動画の記録を開始することがユーザにより指示されたか否かを判定し、指示されたと判定するまで待機する。
【０１１６】
動画記録ボタンがユーザにより押されたことから、ステップＳ１において、動画の記録を開始することが指示されたと判定した場合、システム制御回路８１は、ステップＳ２に進み、動画処理を行う。ここで行われる動画処理により、撮像部１２の出力である原信号に対して動画用の処理が施され、動画符号化データが取得される。動画処理の詳細については図８のフローチャートを参照して後述する。
【０１１７】
ステップＳ３において、動画処理部１４の動画圧縮処理回路４１は、動画処理により得られた動画符号化データを記録媒体Ａに記録させる。
【０１１８】
ステップＳ４において、システム制御回路８１は、静止画を記録することがユーザにより指示されたか否かを判定し、静止画記録ボタンが押されたことから、静止画を記録することが指示されたと判定した場合、ステップＳ５に進み、原信号保存処理を行う。ここで行われる原信号保存処理により、撮像部１２の出力である原信号がメモリ７４に一時的に記録される。原信号保存処理の詳細については図９のフローチャートを参照して後述する。
【０１１９】
一方、システム制御回路８１は、ステップＳ４において、静止画の記録が指示されていないと判定した場合、ステップＳ５をスキップする。
【０１２０】
ステップＳ６において、システム制御回路８１は、動画の記録を終了することがユーザにより指示されたか否かを判定し、指示されていないと判定した場合、ステップＳ２に戻り、それ以降の処理を繰り返し実行する。
【０１２１】
システム制御回路８１は、ステップＳ６において、動画記録ボタンがユーザにより押され、動画の記録を停止することが指示されたと判定した場合、ステップＳ７に進み、動画の記録を終了させる。
【０１２２】
ステップＳ８において、システム制御回路８１は、静止画の記録を行うか否かを判定し、それまで行っていた動画の記録の最中に静止画の記録が指示されていなかった場合、静止画の記録を行わないと判定し、ステップＳ１に戻り、それ以降の処理を繰り返し実行する。
【０１２３】
一方、システム制御回路８１は、それまで行っていた動画の記録の最中に静止画の記録が指示されており、メモリ７４に原信号が記録されている場合、ステップＳ８において、静止画の記録を行うと判定し、ステップＳ９に進み、静止画記録処理を行う。ここで行われる静止画記録処理により、原信号に基づく静止画の生成が行われ、生成された静止画が記録媒体Ｂに記録される。静止画記録処理の詳細については図１１のフローチャートを参照して後述する。
【０１２４】
静止画記録処理が終了したときも、処理はステップＳ１に戻り、それ以降の処理が行われる。
【０１２５】
次に、図８のフローチャートを参照して、図７のステップＳ２において行われる動画処理について説明する。
【０１２６】
ステップＳ１１において、システム制御回路８１は、動画用のパラメータを画像処理部１３の各部に設定し、ステップＳ１２に進み、撮像部１２の出力である原信号に対して、画像処理部１３の各部に動画用の処理を行わせる。
【０１２７】
ステップＳ１３において、システム制御回路８１は、動画処理部１４を制御し、画像処理部１３の処理結果に対して符号化を行わせる。その後、図７のステップＳ２に戻り、それ以降の処理が行われる。
【０１２８】
次に、図９のフローチャートを参照して、図７のステップＳ５において行われる原信号保存処理について説明する。
【０１２９】
ステップＳ２１において、システム制御回路８１は、原信号を保存するための空き領域がメモリ７４にあるか否かを判定し、空き領域がないと判定した場合、例えば、これ以上の静止画の撮影を行うことができないことを通知するメッセージをディスプレイ６２に表示させ、処理を終了させる。その後、図７のステップＳ５に戻り、それ以降の処理が行われる。
【０１３０】
一方、システム制御回路８１は、ステップＳ２１において、原信号を保存するための空き領域がメモリ７４にあると判定した場合、ステップＳ２２に進み、原信号を圧縮するか否かを判定する。
【０１３１】
ステップＳ２２において、原信号を圧縮すると判定した場合、システム制御回路８１は、ステップＳ２３に進み、スイッチ７１を接続状態にするとともに、スイッチ７２を端子ｂに接続させる。これにより、原信号圧縮処理回路７５により圧縮された原信号がメモリ７４に供給されることになる。
【０１３２】
一方、ステップＳ２２において、原信号を圧縮しないと判定した場合、システム制御回路８１は、スイッチ７１を接続状態にするとともに、スイッチ７２を端子ａに接続させ、ステップＳ２３をスキップする。これにより、撮像部１２から出力された、非圧縮の原信号がそのままメモリ７４に供給されることになる。
【０１３３】
ステップＳ２４において、システム制御回路８１は、メモリI/F７３を制御し、原信号（圧縮済み、または非圧縮の原信号）をメモリ７４に保存させる。これにより、メモリ７４に形成された領域Ｂ1乃至ＢNのいずれかの領域に原信号が記録される。
【０１３４】
ステップＳ２５において、システム制御回路８１は撮影条件保存処理を行う。ここで行われる撮影条件保存処理により、絞り値やズーム位置などの、図７のステップＳ２において開始され、いま行われている動画の撮影の条件が、ステップＳ２４で保存された原信号と一意に関連付けられて制御部１８内のメモリ８２に保存される。撮影条件保存処理の詳細については図１０のフローチャートを参照して後述する。
【０１３５】
ステップＳ２６において、システム制御回路８１は、フィールド画像を取得する必要があるか否かを判定する。
【０１３６】
例えば、撮像素子２１の走査方式がインタレース方式であり、１枚の静止画を生成する元になる２フィールド分の原信号がメモリ７４に保存されていない場合、システム制御回路８１は、ステップＳ２６において、フィールド画像を取得する必要があると判定し、ステップＳ２１に戻り、それ以降の処理を繰り返し実行する。
【０１３７】
一方、撮像素子２１の走査方式がプログレッシブ方式である場合、または、インタレース方式ではあるが、２フィールド分の原信号をメモリ７４に既に保存させた場合、システム制御回路８１は、ステップＳ２６において、フィールド画像を取得する必要はないと判定し、処理を終了させる。その後、図７のステップＳ５に戻り、それ以降の処理が行われる。
【０１３８】
次に、図１０のフローチャートを参照して、図９のステップＳ２５において行われる撮影条件保存処理について説明する。
【０１３９】
ステップＳ３１において、システム制御回路８１は、検波値、ズーム位置を表す情報をメモリ８２に記録させ、ステップＳ３２に進み、画質設定ボタンがユーザにより操作されている場合には、画質の設定の内容を表す情報をメモリ８２に記録させる。
【０１４０】
ステップＳ３３において、システム制御回路８１は、絞りの制御量をメモリ８２に記録させ、ステップＳ３４に進み、所定のエフェクトをかけた状態でユーザにより動画の撮影が行われている場合、そのエフェクトの設定を表す情報をメモリ８２に記録させる。
【０１４１】
ステップＳ３５において、システム制御回路８１は手振れ量をメモリ８２に記録させ、処理を終了させる。その後、図９のステップＳ２５に戻り、それ以降の処理が行われる。
【０１４２】
以上の処理により記録された情報が、静止画用の処理を規定するパラメータを決定するときに用いられる。
【０１４３】
次に、図１１のフローチャートを参照して、図７のステップＳ９において行われる静止画記録処理について説明する。
【０１４４】
ステップＳ４１において、システム制御回路８１は撮影条件の読み出しと設定処理を行う。ここで行われる処理により、メモリ８２に保存されていた撮影条件が読み出され、それを参照して決定された静止画用のパラメータが画像処理部１３の各部に設定される。このとき、動画の撮影は既に終了しているため、画像処理部１３において行われる処理を静止画専用の処理に切り替えることが可能となる。撮影条件の読み出しと設定処理の詳細については図１２のフローチャートを参照して後述する。
【０１４５】
ステップＳ４２において、システム制御回路８１は、メモリ７４に記録させていた原信号が圧縮されているか否かを判定し、圧縮されていると判定した場合、ステップＳ４３に進む。
【０１４６】
ステップＳ４３において、システム制御回路８１は、スイッチ７２を端子ｂに接続させることによってメモリ７４に記録されている原信号を原信号圧縮処理回路７５に供給させ、圧縮されている原信号の解凍を行わせる。
【０１４７】
一方、システム制御回路８１は、ステップＳ４３において、メモリ７４に記録させていた原信号が圧縮されていないと判定した場合、ステップＳ４３をスキップし、ステップＳ４４に進む。
【０１４８】
ステップＳ４４において、システム制御回路８１は、メモリ７４に記録させていた原信号を読み出させ、画像処理部１３に供給させる。これにより、メモリ７４に記録させていた非圧縮の原信号がスイッチ７２，７１を介して画像処理部１３に供給される。また、圧縮され、原信号圧縮処理回路７５により解凍（伸張）された原信号がスイッチ７１を介して画像処理部１３に供給される。
【０１４９】
ステップＳ４５において、システム制御回路８１は、一時的に記録させていた原信号に対して、画像処理部１３の各部に静止画用の処理を行わせる。画像処理部１３により処理が施されて生成された信号は、メモリ７４から読み出された原信号がインタレース方式の信号である場合、IP変換回路５１に出力され、プログレッシブ方式の信号である場合、メモリI/F７３に出力される。
【０１５０】
ステップＳ４６において、システム制御回路８１は、フィールド画像があるか否かを判定する。
【０１５１】
例えば、撮像素子２１の走査方式がインタレース方式であり、１枚の静止画を生成する元になる原信号として２フィールド分の原信号がメモリ７４に記録されている場合、システム制御回路８１は、ステップＳ４６において、フィールド画像があると判定し、ステップＳ４７に進み、画像処理部１３により静止画用の処理が施された、２フィールド分の原信号に基づいてIP変換回路５１にIP変換を行わせる。なお、撮像素子２１の走査方式がインタレース方式であり、１枚の静止画を生成する元になる原信号として２フィールド分の原信号が記録されている場合、ステップＳ４１乃至Ｓ４５の処理は２回繰り返され、その後、ステップＳ４７以降の処理が行われる。
【０１５２】
一方、撮像素子２１の走査方式がプログレッシブ方式である場合、システム制御回路８１は、ステップＳ４６において、フィールド画像がないと判定し、ステップＳ４７をスキップし、ステップＳ４８に進む。
【０１５３】
ステップＳ４８において、システム制御回路８１は、静止画圧縮回路５２を制御して静止画を符号化させる。静止画圧縮回路５２により生成された静止画符号化データは、メモリI/F７３によりメモリ７４に供給され、一時的に記録される。
【０１５４】
ステップＳ４９において、システム制御回路８１は、全ての静止画の処理を終了したか否かを判定し、終了していないと判定した場合、ステップＳ４１に戻り、それ以降の処理を繰り返し実行する。
【０１５５】
一方、システム制御回路８１は、ステップＳ４９において、全ての静止画の処理を終了したと判定した場合、ステップＳ５０に進み、メモリ７４に記録させておいた静止画符号化データを記録媒体Ｂに転送させ、記録させる。これにより、原信号に基づいて生成された全ての静止画が一括して記録媒体Ｂに記録される。例えば、メモリ７４に記録されていた原信号が消去された後、図７のステップＳ９以降の処理が行われる。
【０１５６】
次に、図１２のフローチャートを参照して、図１１のステップＳ４１において行われる撮影条件の読み出しと設定処理について説明する。
【０１５７】
ステップＳ６１において、システム制御回路８１は、画像処理部１３の解像度変換回路３３において行われる解像度変換を規定するパラメータ、および、フィルタ処理・ガンマ補正回路３１において行われるガンマ補正を規定するパラメータを静止画用のものに設定する。
【０１５８】
ステップＳ６２において、システム制御回路８１は、メモリ８２に記録させていた検波値、ズーム位置を表す情報に基づいてAGC(Automatic Gain Control)制御量を決定し、決定した制御量を画像処理部１３のAGC制御を行う回路に設定する。
【０１５９】
ステップＳ６３において、システム制御回路８１は、メモリ８２に記録させていた検波値、ユーザにより行われた画質の設定の内容を表す情報に基づいてホワイトバランス制御量を決定し、決定した制御量を画像処理部１３のホワイトバランス制御を行う回路（フィルタ処理・ガンマ補正回路３１）に設定する。
【０１６０】
ステップＳ６４において、システム制御回路８１は、メモリ８２に記録させていた絞り制御量を表す情報に基づいてシャープネス制御量を決定し、決定した制御量を画像処理部１３のシャープネス調整を行う回路に設定する。
【０１６１】
ステップＳ６５において、システム制御回路８１は、メモリ８２に記録させていたエフェクトの設定を表す情報に基づいてエフェクトの内容を決定し、決定したエフェクトが施されるように、画像処理部１３のエフェクトをかける回路を制御する。
【０１６２】
ステップＳ６６において、システム制御回路８１は、メモリ８２に記録させていた手振れ量を表す情報に基づいて切り出し制御量（原信号により表される画像全体のうち、静止画の生成に用いる画素の範囲）を決定し、決定した制御量を、画像処理部１３の切り出し範囲を制御する回路に設定する。
【０１６３】
その後、図１１のステップＳ４１に戻り、それ以降の処理が行われる。図１１のステップＳ４５においては、以上のようにして設定されたパラメータによって規定される静止画用の処理が行われることになる。
【０１６４】
次に、図１３のフローチャートを参照して、図７のステップＳ９において行われる他の静止画記録処理について説明する。
【０１６５】
図１３の静止画記録処理は、図６を参照して説明したように、１枚の静止画が生成される毎に、生成された静止画がユーザに提示される点を除いて図１１の静止画記録処理と同様の処理である。
【０１６６】
すなわち、ステップＳ７１において、システム制御回路８１は撮影条件の読み出しと設定処理（図１２の処理）を行い、ステップＳ７２に進み、メモリ７４に記録させていた原信号が圧縮されているか否かを判定する。
【０１６７】
ステップＳ７２において、システム制御回路８１は、原信号が圧縮されていると判定した場合、ステップＳ７３に進み、圧縮されている原信号の解凍を行わせ、圧縮されていないと判定した場合、ステップＳ７３をスキップする。
【０１６８】
ステップＳ７４において、システム制御回路８１は、メモリ７４に記録させていた原信号を読み出し、画像処理部１３に供給させ、ステップＳ７５に進み、原信号に対して画像処理部１３の各部に静止画用の処理を行わせる。
【０１６９】
ステップＳ７６において、システム制御回路８１は、フィールド画像があるか否かを判定し、フィールド画像があると判定した場合、ステップＳ７７に進み、IP変換をIP変換回路５１に行わせ、フィールド画像がないと判定した場合、ステップＳ７７をスキップする。なお、ここでも、撮像素子２１の走査方式がインタレース方式であり、１枚の静止画を生成する元になる原信号として２フィールド分の原信号が記録されている場合、ステップＳ７１乃至Ｓ７５の処理は２回繰り返され、その後、ステップＳ７７以降の処理が行われる。
【０１７０】
ステップＳ７８において、システム制御回路８１は、静止画圧縮回路５２を制御して静止画を符号化をさせ、ステップＳ７９に進む。
【０１７１】
ステップＳ７９において、システム制御回路８１は静止画確認処理を行い、原信号に基づいて生成された静止画をユーザに確認させる。静止画確認処理の詳細については図１４のフローチャートを参照して後述する。
【０１７２】
ステップＳ８０において、システム制御回路８１は、全ての静止画の処理を終了したか否かを判定し、終了していないと判定した場合、ステップＳ７１に戻り、それ以降の処理を繰り返し実行させ、全ての静止画の処理を終了したと判定した場合、ステップＳ８１に進み、メモリ７４に記録させておいた静止画符号化データを記録媒体Ｂに転送させ、記録させる。その後、図７のステップＳ９に戻り、それ以降の処理が行われる。
【０１７３】
次に、図１４のフローチャートを参照して、図１３のステップＳ７９において行われる静止画確認処理について説明する。
【０１７４】
ステップＳ９１において、システム制御回路８１は、原信号に基づいて生成し、メモリ７４に一時的に記録させていた静止画符号化データを静止画圧縮回路５２に復号させ、表示制御回路６１を制御して静止画をディスプレイ６２に表示させる。上述したように、このときディスプレイ６２に表示される画面には、生成された静止画の保存、パラメータを変更してのやり直しをユーザが選択することのできる表示もなされる。
【０１７５】
ステップＳ９２において、システム制御回路８１は、提示した静止画を保存することがユーザにより指示された否かを判定し、保存することが指示されたと判定した場合、ステップＳ９３に進み、記録媒体Ｂに記録する静止画として、その静止画符号化データをメモリ７４に保存させ続ける。全ての静止画の確認が終了したとき、メモリ７４に保存されている静止画符号化データは記録媒体Ｂに転送され、記録される。
【０１７６】
その後、図１３のステップＳ７９に戻り、ステップＳ８０以降の処理が行われる。
【０１７７】
一方、システム制御回路８１は、ステップＳ９２において、提示した静止画を保存することがユーザにより指示されていない、すなわち、パラメータを変更してのやり直しが指示されたと判定した場合、ステップＳ９４に進み、ユーザによる画質の設定を受け付ける。例えば、ユーザは、タイトル付加機能、ゲイン調整、色補正などのパラメータを変更することができ、ユーザにより選択された設定がシステム制御回路８１により受け付けられる。
【０１７８】
その後、図１３のステップＳ７９に戻り、パラメータを変更してのやり直しがユーザにより指示されたときの処理としてステップＳ７１以降の処理が行われる。ステップＳ７１において行われるパラメータの設定では、ステップＳ９４で受け付けられたパラメータ（ユーザにより選択されたパラメータ）が設定される。
【０１７９】
これにより、ユーザは、好みの画質の静止画が生成されるまで、パラメータを調整して静止画の生成を何度でも繰り返させることができる。
【０１８０】
以上のような一連の処理が行われることによって、動画専用の画像処理と静止画専用の画像処理を１つの構成で行うことができ、動画専用の画像処理を行うものと静止画専用の画像処理を行うものとの２つの構成を設ける場合に較べて、回路規模を小さくしたりすることができる。
【０１８１】
また、ユーザは、動画の画質を損なうことなく、その動画の撮影と同時に、品質のよい静止画をも得ることができる。また、撮像素子２１からは動作の撮影周期で原信号が出力され、それに基づいて静止画が生成されるから、ユーザは、動画の撮影周期のタイミングで撮影を行うことができ、例えば、動画の撮影周期のＮ（Ｎ≧２）倍毎に、動画よりも高い解像度を有する撮像信号が出力されることによって静止画の記録が行われる場合（特許文献１の場合）に較べて、シャッタチャンスを逃さずに済む。
【０１８２】
以上においては、原信号を退避させるとき、原信号が記録されるメモリ７４とは異なるメモリ８２に撮影条件が記録されるものとしたが、原信号とともにメモリ７４に撮影条件が記録されるようにしてもよい。また、記録される撮影条件として、図１０を参照して説明したような情報が記録されるものとしたが、静止画用の処理を規定するパラメータを決定するときに基準とすることのできる他の様々な情報が記録されるようにしてもよい。
【０１８３】
また、以上においては、動画の撮影を終了することがユーザにより指示され、それによって動画の処理が休止しているタイミングで静止画の処理が行われるものとしたが、例えば、動画の撮影が一時停止の状態にあるときなどのように、画像処理部１３によって動画の処理が行われていないタイミングであれば、どのタイミングで行われるようにしてもよい。
【０１８４】
さらに、動画の撮影が行われている間であっても、撮像部１２から出力される信号が、撮像素子２１により取り込まれた画像全体のうちの有効動画領域以外の領域の信号である期間に静止画の処理が行われるようにしてもよい。例えば、撮像素子２１により取り込まれた画像全体のうちの水平ブランキング領域、または垂直ブランキング領域の信号は有効領域以外の領域の信号であって動画の記録には用いられず、動画の処理を施す必要のない信号であるから、そのような信号が出力される期間に静止画の処理が行われるようにしたとしても、動画の記録に影響を与えることはない。
【０１８５】
図１５は、このように、動画の記録が行われている間に静止画の処理を行う場合のシステム制御回路８１の動作の例を示す図である。図１５において、横方向が時間方向を表す。
【０１８６】
例えば、時刻ｔ1において動画記録ボタンがユーザにより押され、動画の記録の開始が指示されたとき、システム制御回路８１は、撮像部１２により撮像を開始させ、動画用のパラメータを設定して画像処理部１３の各部に撮像部１２の出力である原信号を処理させる。また、システム制御回路８１は、動画処理部１４を制御し、画像処理部１３の処理結果を符号化して得られた動画符号化データを記録媒体Ａに記録させる。
【０１８７】
このような記録媒体Ａへの動画の記録を行っている最中に、点線矢印で示されるようなタイミングで静止画記録ボタンがユーザにより押され、静止画の記録が指示されたとき、システム制御回路８１は、動画の記録を続けさせるとともに、状態Ｓ1として示されるように、圧縮処理を必要に応じて行わせて、撮像部１２の出力である原信号の取り込みを記録部１７に行わせる（メモリ７４に一時的に退避させる）。
【０１８８】
また、このとき、システム制御回路８１は、撮影条件を制御部１８内のメモリ８２に保存させる。撮影条件は、絞り値やズーム位置などの、いま行われている動画の撮影の条件である。
【０１８９】
原信号の取り込みと撮影条件の保存は、静止画の記録が指示される毎に行われる。図１５の例においては、動画記録ボタンがユーザにより押され、動画の記録の停止が指示された時刻ｔ2までの間に４枚の静止画の記録が指示されている。
【０１９０】
原信号をメモリ７４に一時的に退避させたとき、システム制御回路８１は、動画の記録の終了を待つことなく、静止画の処理を所定のタイミングで行う。
【０１９１】
図１５において、１回目の静止画の撮影指示に応じて一時的に退避させておいたデータに基づいて行われる１枚目の静止画の処理の期間を表す「１枚目」の文字が付された帯、２回目の静止画の撮影指示に応じて一時的に退避させておいたデータに基づいて行われる２枚目の静止画の処理の期間を表す「２枚目」の文字が付された帯、３回目の静止画の撮影指示に応じて一時的に退避させておいたデータに基づいて行われる３枚目の静止画の処理の期間を表す「３枚目」の文字が付された帯、および、４回目の静止画の撮影指示に応じて一時的に退避させておいたデータに基づいて行われる４枚目の静止画の処理の期間を表す「４枚目」の文字が付された帯は、それぞれ、時刻ｔ1から時刻ｔ2までの期間内の位置に示されている。
【０１９２】
これは、それぞれの処理が、動画の記録と時間的に並行して、撮像素子２１により撮像された１フレームの画像全体のうちの水平ブランキング領域、または垂直ブランキング領域の信号が本来であれば画像処理部１３の処理対象になる期間などに、それらの信号の処理に替えて、一時的に退避させていたデータに基づく静止画の処理が行われることを示している。
【０１９３】
以下、１フレームの画像全体のうちの水平ブランキング領域の信号が本来であれば画像処理部１３の処理対象になる期間を単に水平ブランキング期間といい、１フレームの画像全体のうちの垂直ブランキング領域の信号が本来であれば画像処理部１３の処理対象になる期間を単に垂直ブランキング期間という。
【０１９４】
図１６は、撮像素子２１により撮像された画像を示す図である。
【０１９５】
内部の水平同期信号、垂直同期信号にしたがって走査が行われ、有効動画領域の上下には垂直ブランキング領域が形成され、有効動画領域の左右には水平ブランキング領域が形成される。
【０１９６】
図１６に示されるように、水平ブランキング領域や垂直ブランキング領域は有効動画領域より狭く、それらのブランキング領域の信号が処理対象になる期間は有効動画領域の信号が処理対象になる期間に較べて短い時間になるから、１枚の静止画の処理は、複数回の水平ブランキング期間、垂直ブランキング期間にわたって細切れ的に行われる。すなわち、水平ブランキング期間がくる毎に、または垂直ブランキング期間がくる毎に、直前の水平ブランキング期間や垂直ブランキング期間までに終了した処理の続きから静止画の処理が開始され、そのような処理が繰り返されることによって、動画の記録中に１枚の静止画が生成されることになる。
【０１９７】
図１５の説明に戻り、例えば、システム制御回路８１は、１回目の静止画の撮影指示に応じて１枚目の静止画のデータを一時的に退避させた後の水平ブランキング期間、または垂直ブランキング期間になったとき、状態Ｓ2として示されるように、静止画の処理のための初期設定を行い、状態Ｓ3として示されるように、スイッチ７１を接続状態にするなどして、メモリ７４に一時的に退避させていた原信号を画像処理部１３の先頭に供給させる。
【０１９８】
また、システム制御回路８１は、状態Ｓ4として示されるように、画像処理部１３の各部に静止画用の画像処理を順次行わせる。画像処理部１３により処理が施されることによって生成された静止画の信号は、静止画処理部１５などを介してメモリ７４の静止画処理ワークエリアに保存される。
【０１９９】
１枚目の静止画について、このような状態Ｓ2乃至Ｓ4の一連の処理が水平ブランキング期間、垂直ブランキング期間の間に少しずつ進められ、最終的に、１回目の静止画の撮影が指示されたときに一時的に退避させていたデータ全体に基づいて、１枚目の静止画が生成される。
【０２００】
１枚目の静止画の生成が完了し、そのデータが静止画処理ワークエリアに格納されたとき、１枚目の静止画を生成する元になったデータを領域Ｂ1（１回目の静止画の撮影が指示されたときに取り込まれた原信号が格納される領域）に記憶させ続けておく必要はないから、その原信号は消去され、領域Ｂ1は空き領域とされる。
【０２０１】
領域Ｂ1が空き領域になったとき、静止画の記録を行うことができる回数が１回だけ増やされる。ユーザは、１回の動画の撮影中であっても、上述したような上限の４回を超えて、５回目の静止画の記録を行うことができる。１枚目の静止画を生成する元になった原信号が記録されていた領域Ｂ1が空き領域になり、５回目の静止画の記録が指示されたとき、そのとき取り込まれた原信号は空き領域になった領域Ｂ1に格納される。
【０２０２】
このように、ユーザは、１回の動画の撮影中であっても、１枚分の静止画の処理が終了する毎に、静止画の記録を新たに行うことができる。空き領域がない場合には空き領域ができるまで待つ必要があるものの、メモリ７４の容量を原因として動画記録中の静止画の記録可能枚数に制限がかかるといったことがなくなる。
【０２０３】
図１５の例においては４枚分の静止画の原信号がメモリ７４に退避されているから、１枚目の静止画を生成したとき、１枚目の静止画を対象にしていたときと同様に、システム制御回路８１は、続けて、複数回の水平ブランキング期間、垂直ブランキング期間にわたって細切れ的に２枚目の静止画を生成する。２枚目の静止画の生成も完了したとき、システム制御回路８１は、同様に、３枚目の静止画、４枚目の静止画を順に生成し、静止画を生成する元になる原信号がメモリ７４からなくなったとき、静止画の生成を終了させる。
【０２０４】
なお、図１５の例においては、状態Ｓ5として静止画圧縮処理が、状態Ｓ6として記録媒体Ｂへの静止画の書き込み処理がそれぞれ点線で示されているが、これらの処理は静止画生成処理によってそれまでに生成された１枚目の静止画についての処理であり、撮像素子２１により撮像された画像の有効動画領域が処理対象になっている期間に動画の処理と時間的に並行して行われる。
【０２０５】
静止画圧縮処理と書き込み処理は、画像処理部１３によって行われる処理ではなく静止画処理部１５と記録部１７によって行われる処理であるから、有効動画領域の信号が撮像部１２から出力される期間（以下、適宜、動画有効期間という）に行うことも可能である。
【０２０６】
このように、メモリ７４に一時的に記録された原信号を用いた静止画の処理は、基本的に、静止画生成処理、静止画圧縮処理、書き込み処理の３つのステップに分けられ、そのうちの静止画生成処理は水平ブランキング期間、垂直ブランキング期間に行われる処理として、また、静止画圧縮処理と書き込み処理は動画有効期間に行われる処理としてそれぞれ割り当てられることにより、動画の記録との並行処理が実現される。
【０２０７】
図１７Ａ乃至Ｃは、それぞれ、静止画生成処理、静止画圧縮処理、書き込み処理として行われる処理の例を示す図である。
【０２０８】
図１７Ａに示されるように、静止画生成処理は、メモリI/F７３による原信号のメモリ７４からの読み出し、原信号圧縮処理回路７５による圧縮されている原信号の解凍、画像処理部１３のフィルタ処理・ガンマ補正回路３１と色差分離マトリックス回路３２による処理、解像度変換回路３３による解像度変換、および、メモリI/F７３による静止画符号化データのメモリ７４への記録（記録先は静止画処理ワークエリア）、の一連の処理からなる。
【０２０９】
図１７Ｂに示されるように、静止画圧縮処理は、メモリI/F７３による静止画符号化データのメモリ７４からの読み出し、静止画圧縮回路５２による静止画符号化データの圧縮、および、メモリI/F７３による圧縮済みの静止画符号化データのメモリ７４への記録（記録先は静止画符号化エリア）、の一連の処理からなる。
【０２１０】
図１７Ｃに示されるように、書き込み処理は、メモリI/F７３による圧縮済みの静止画符号化データのメモリ７４からの読み出し、および、メモリI/F７３による圧縮済みの静止画符号化データの記録媒体Ｂへの記録、の一連の処理からなる。
【０２１１】
ここで、図１８と図１９を参照して、静止画生成処理が行われるタイミングの詳細について説明する。
【０２１２】
図１８は、垂直ブランキング期間に行われる静止画生成処理の例を示す図である。
【０２１３】
図１８の上段の時間軸に付されている縦線は同期信号のタイミングを示し、１／６０秒周期で発生する垂直同期信号（太線）を中心として前後の所定の数の水平同期信号の期間が、時間的に前の１垂直ラインの有効動画領域の下に形成される垂直ブランキング領域の信号が出力される垂直ブランキング期間と、次の１垂直ラインの有効動画領域の上に形成される垂直ブランキング領域の信号が出力される垂直ブランキング期間をあわせた１つの垂直ブランキング期間になり、この期間に静止画生成処理が行われる。
【０２１４】
時間的に前のフレームの有効動画期間の終了時刻に処理開始シンク（同期信号）が出力され、次のフレームの有効動画期間の開始時刻に近い所定の時刻に処理終了シンクが出力される。この同期信号はSG２５から各部に出力される。
【０２１５】
図１８の例においては、図の中段に示されるように、時間的に前の１垂直ラインの有効動画期間の終了時刻である時刻ｔ11で処理開始シンクが出力され、この同期信号が出力されることに応じて静止画生成処理が開始されている。静止画生成処理は、次の１垂直ラインの有効動画期間の開始時刻から所定の時間だけ前の時刻である時刻ｔ12において処理終了シンクが出力されるまで行われている。
【０２１６】
時刻ｔ11で処理開始シンクが出力されたとき、それまで行われていた有効動画領域の処理の後処理が行われ、その後処理が終了したとき静止画生成処理の前処理が行われる。有効動画領域の処理の後処理としては、例えば、動画の撮影条件（動画の処理の内容を規定するパラメータ）を保存する処理などがシステム制御回路８１によって行われる。また、静止画生成処理の前処理としては、例えば、前回の静止画生成処理までに処理を行った処理済みの画像の位置や静止画専用の撮影条件（静止画の処理の内容を規定するパラメータ）を各部に設定する処理などがシステム制御回路８１によって行われる。
【０２１７】
静止画生成処理の前処理が行われたとき、垂直ブランキング期間における静止画生成処理が行われる。静止画生成処理においては、図１８の下段に示されるように、原信号として取り込んでおいた１枚の静止画を構成する所定の位置の画素０から画素Ｎまでを対象として、図１７Ａを参照して説明したように、順次、メモリ７４からの読み出し、圧縮されている場合にその解凍、画像処理部１３による静止画用の処理、解像度変換が施され、それらの処理が施されることによって得られた静止画符号化データがメモリ７４の静止画符号化データ領域に記録される。
【０２１８】
画像処理部１３におけるフィルタリング処理のように、ある位置の画素の処理を行うためにその周りの画素のデータを用いる必要がある場合、適宜、前回の静止画生成処理の対象になった画素（図１８の下段の画素−１乃至−Ｍ）のデータも用いられる。
【０２１９】
時刻ｔ12で処理終了シンクが出力されたとき、それまで行われていた静止画生成処理の後処理が行われ、その後処理が終了したとき有効動画領域の処理の前処理が行われる。静止画生成処理の後処理としては、例えば、処理の途中経過を表す、処理済みの画素の位置や、処理済みの画素のデータが記録されているメモリ７４のアドレスの情報を保存する処理などがシステム制御回路８１によって行われる。また、有効動画領域の処理の前処理としては、例えば、静止画生成処理に入る前と同じ条件で動画の記録を行うことができるように、保存していた動画用のパラメータを画像処理部１３に設定したりする処理がシステム制御回路８１によって行われる。
【０２２０】
有効動画領域の処理の前処理が終了したとき、有効動画領域の信号を対象にした処理が再開される。
【０２２１】
図１９は、水平ブランキング期間に行われる静止画生成処理の例を示す図である。
【０２２２】
水平ブランキング期間は垂直ブランキング期間と較べて短い期間ではあるが、水平ブランキング期間においても、基本的に、垂直ブランキング期間に行われる静止画生成処理と同様の処理が行われる。図１９の上段に示される２つの水平同期信号の間の期間が、図１８の上段に示される２つの水平同期信号の間の期間に対応する。
【０２２３】
図１９の上段に示されるように、水平同期信号を中心として前後の所定の期間が、時間的に前の１水平ラインの有効動画領域の右に形成される水平ブランキング領域の信号が出力される水平ブランキング期間と、次の１水平ラインの有効動画領域の左に形成される水平ブランキング領域の信号が出力される水平ブランキング期間をあわせた１つの水平ブランキング期間になり、この期間に静止画生成処理が行われる。
【０２２４】
図１９の例においては、図の中段に示されるように、時間的に前の１水平ラインの有効動画期間の終了時刻である時刻ｔ21で処理開始シンクが出力され、この同期信号が出力されることに応じて静止画生成処理が開始されている。静止画生成処理は、次の１水平ラインの有効動画期間の開始時刻から所定の時間だけ前の時刻である時刻ｔ22において処理終了シンクが出力されるまで行われる。
【０２２５】
時刻ｔ21で処理開始シンクが出力されたとき、それまで行われていた有効動画領域の処理の後処理が行われ、その後処理が終了したとき静止画生成処理の前処理が行われる。静止画生成処理の前処理が行われたとき静止画生成処理が行われる。
【０２２６】
時刻ｔ22で処理終了シンクが出力されたとき、それまで行われていた静止画生成処理の後処理が行われ、その後処理が終了したとき有効動画領域の処理の前処理が行われる。有効動画領域の処理の前処理が終了したとき、有効動画領域の信号を対象にした処理が再開される。
【０２２７】
垂直ブランキング期間、水平ブランキング期間のそれぞれの期間においては、以上のようにして静止画生成処理が行われる。
【０２２８】
次に、図２０と図２１を参照して、静止画生成処理、静止画圧縮処理、書き込み処理のそれぞれの処理が行われるタイミングについて説明する。
【０２２９】
ここでは、１枚目の静止画である画像１を対象とした処理と、２枚目の静止画である画像２を対象とした処理について説明する。
【０２３０】
図２０は、垂直ブランキング期間に行われる静止画生成処理、静止画圧縮処理、書き込み処理のそれぞれの処理が行われるタイミングの例を示す図である。
【０２３１】
図２０の例においては、時刻ｔ31乃至ｔ39のそれぞれのタイミングで垂直同期信号が発生しており、それぞれの垂直同期信号の間に１垂直ラインの有効動画期間Ｔ1乃至Ｔ8が示されている。時刻ｔ39のタイミングで発生される垂直同期信号と、その次の垂直同期信号（図示せず）の間には有効動画期間Ｔ9が示されている。
【０２３２】
図２０に示されるように、有効動画期間Ｔ1の直前の有効動画期間の終了時刻から有効動画期間Ｔ1の開始時刻までの垂直ブランキング期間に図１８を参照して説明したような静止画生成処理（前処理、後処理などは図示を省略している）が画像１の所定の画素を対象として行われた場合、静止画生成処理に続けて、例えば、その静止画生成処理によって得られた静止画符号化データを対象とした静止画圧縮処理が、動画の処理と並行して有効動画期間Ｔ1の間に行われる。
【０２３３】
有効動画期間Ｔ1の終了時刻から有効動画期間Ｔ2の開始時刻までの垂直ブランキング期間においては、画像１の所定の画素（直前の静止画生成処理で処理を行った画素以降の画素）を対象として静止画生成処理が行われ、例えば、その処理によって得られた静止画符号化データを対象とした静止画圧縮処理が、動画の処理と並行して有効動画期間Ｔ2のタイミングで行われる。
【０２３４】
図２０の例においては、画像１を対象とした静止画生成処理と静止画圧縮処理が、動画有効期間Ｔ6の終了時刻まで、垂直ブランキング期間と有効動画期間のそれぞれの期間において交互に続けられている。
【０２３５】
静止画生成処理が細切れ的に行われた結果、例えば、有効動画期間Ｔ5の終了時刻から有効動画期間Ｔ6の開始時刻までの垂直ブランキング期間において行われた静止画生成処理によって画像１の生成が完了した場合、次の垂直ブランキング期間である有効動画期間Ｔ6の終了時刻から有効動画期間Ｔ7の開始時刻までの垂直ブランキング期間からは、画像２を対象とした静止画生成処理が細切れ的に行われる。
【０２３６】
また、静止画圧縮処理が細切れ的に行われた結果、有効動画期間Ｔ6のタイミングで画像１の圧縮が完了した場合、次の有効動画期間である有効動画期間Ｔ7のタイミングからは、動画の処理と並行して、圧縮済みの画像１を対象としたメモリ７４への書き込み処理が細切れ的に行われる。図２０の例においては、有効動画期間Ｔ7のタイミングで行われる書き込み処理と、有効動画期間Ｔ8のタイミングで行われる書き込み処理によって、圧縮済みの画像１がメモリ７４に書き込まれている。
【０２３７】
圧縮済みの画像１の書き込みが終了したとき、次の有効動画期間である有効動画期間Ｔ9からは、静止画生成処理によってそれまでに生成された画像２を対象とした静止画圧縮処理が行われる。
【０２３８】
このように、ある画像を対象とした静止画圧縮処理は、その画像の静止画生成処理が始まってから遅れて開始される。
【０２３９】
また、同じメモリI/F７３とメモリ７４の間を流れる信号を対象として処理が行われるから、書き込み処理は、基本的に、静止画圧縮処理と排他的に行われ、静止画圧縮処理と書き込み処理が同時に行われることはない。なお、メモリI/F７３にメモリアクセス調停機構（メモリアービトレーション機能）を導入することによって、それらの処理が並行して行われるようにすることも可能である。
【０２４０】
図２１は、水平ブランキング期間に行われる静止画生成処理、静止画圧縮処理、書き込み処理のそれぞれの処理が行われるタイミングの例を示す図である。
【０２４１】
図２１の例においては、時刻ｔ51乃至ｔ59のそれぞれのタイミングで水平同期信号が発生しており、それぞれの水平同期信号の間に１水平ラインの有効動画期間Ｔ21乃至Ｔ28が示されている。時刻ｔ59のタイミングで発生される垂直同期信号と、その次の垂直同期信号（図示せず）の間には有効動画期間Ｔ29が示されている。
【０２４２】
図２１の例においては、有効動画期間の静止画圧縮処理が間欠的に行われている。これは、水平ブランキング期間は垂直ブランキング期間と較べて短い時間であることから１回の水平ブランキング期間の間に処理することができるデータの量が少なく、これにより、圧縮処理の対象になる静止画符号化データが静止画生成処理によって用意されるまでに時間がかかり、そのような処理の対象になる静止画符号化データが静止画処理ワークエリアに用意されるまでは有効動画期間のタイミングであっても静止画圧縮処理は行われない（行うことができない）ことによるものである。静止画圧縮処理は、例えば、JPEGの処理の基本単位であるMCU(Minimum Coded Unit)のデータを１単位として行われる。
【０２４３】
図２１の例においては、有効動画期間Ｔ21の直前の有効動画期間の終了時刻から有効動画期間Ｔ21の開始時刻までの水平ブランキング期間に図１９を参照して説明したような静止画生成処理が画像１を対象として行われ、その静止画生成処理に続けて、有効動画期間Ｔ21のタイミングで画像１を対象とした静止画圧縮処理が行われているが、それ以降は、有効動画期間Ｔ24のタイミングになるまで静止画圧縮処理は行われていない。
【０２４４】
また、有効動画期間Ｔ24の終了時刻から有効動画期間Ｔ25の開始時刻までの水平ブランキング期間に静止画生成処理が画像１を対象として行われ、その静止画生成処理に続けて、有効動画期間Ｔ25のタイミングで画像１を対象とした静止画圧縮処理が行われているが、それ以降は、有効動画期間Ｔ29のタイミングになるまで静止画圧縮処理は行われていない。
【０２４５】
水平ブランキング期間に行われる静止画生成処理、静止画圧縮処理、書き込み処理のそれぞれの処理は以上のようなタイミングで行われる。
【０２４６】
なお、図２１においては、画像１に続けて画像２の処理がまだ開始されていないが、これも、水平ブランキング期間は垂直ブランキング期間と較べて短く、１回の水平ブランキング期間に進めることのできる処理の量が少ないことによるものである。
【０２４７】
図２２は、以上のような処理の切り替えの基準になる信号を撮像装置１の各部に出力するSG２５の構成例を示すブロック図である。
【０２４８】
図２２に示されるように、SG２５は、例えば、画素カウンタ９１、水平ラインカウンタ９２、内部水平・垂直同期信号生成部９３、静止画処理開始・終了シンク生成部９４、動画・静止画処理切替部９５、および水平・垂直リセット信号生成部９６から構成される。
【０２４９】
画素カウンタ９１は、カウント値をリセットする機能を有するカウンタであり、画像処理部１３において動画の処理、あるいは静止画の処理の対象になる画素の数をカウントする。
【０２５０】
水平ラインカウンタ９２は、カウント値をリセットする機能を有するカウンタであり、画像処理部１３において動画の処理、あるいは静止画の処理の対象になる水平ラインの数をカウントする。
【０２５１】
内部水平・垂直同期信号生成部９３は、システム内部の水平同期信号、垂直同期信号を生成し、各部に出力する。内部水平・垂直同期信号生成部９３に対しては、撮像素子２１のサイズや有効動画、有効静止画のサイズなどの情報である基本情報があらかじめ与えられており（または通信によってシステム制御回路８１から与えられており）、基本情報に基づいて同期信号の出力周期などが制御される。
【０２５２】
静止画処理開始・終了シンク生成部９４は、例えば、基本情報に基づいて水平方向、垂直方向のブランキング期間と動画有効期間を決定する。また、静止画処理開始・終了シンク生成部９４は、水平ブランキング期間や垂直ブランキング期間の開始時刻になったとき、処理開始シンクを各部に出力し、水平ブランキング期間や垂直ブランキング期間の終わりに近くなったとき、処理終了シンクを各部に出力する。
【０２５３】
動画・静止画処理切替部９５は、システム制御回路８１の動作モードを動画の処理を行うモードと静止画の処理を行うモードとで切り替える。
【０２５４】
水平・垂直リセット信号生成部９６は、水平リセット信号、垂直リセット信号をTG２４に出力する。
【０２５５】
図２３は、以上のような構成を有するSG２５を含む撮像装置１の状態の遷移の例を示す図である。
【０２５６】
状態Ｓ11は初期状態である。この初期状態からは、動画記録中の状態である状態Ｓ12と、基本情報を設定する状態である状態Ｓ13に遷移する。状態Ｓ13においては、例えば、電源が投入されたタイミングなどで上述した基本情報が各ブロックに設定される。基本情報の設定は、例えば、システム制御回路８１との間で行われる通信によって行われる。また、静止画処理開始・終了シンク生成部９４により水平方向、垂直方向のブランキング期間と動画有効期間が決定される。
【０２５７】
動画の記録が開始されたとき、SG２５の状態は状態Ｓ12を経て状態Ｓ14に遷移し、状態Ｓ14において、内部水平・垂直同期信号生成部９３は、システム内部の水平同期信号、垂直同期信号を各部に出力する。内部水平・垂直同期信号生成部９３による水平同期信号、垂直同期信号の出力は、動画の記録が行われている間、繰り返される。
【０２５８】
状態Ｓ14からは状態Ｓ15と状態Ｓ16に遷移（状態Ｓ12にも遷移）し、状態Ｓ15において、水平ラインカウンタ９２は、処理の対象になる動画の水平ライン数をカウントする。一方、状態Ｓ16において、画素カウンタ９１は、処理の対象になる動画の画素数をカウントする。
【０２５９】
状態Ｓ17において、静止画処理開始・終了シンク生成部９４は、設定された基本情報や、画素カウンタ９１、水平ラインカウンタ９２によるカウント値に基づいて、静止画生成処理の開始タイミング、すなわち、水平ブランキング期間や垂直ブランキング期間の開始時刻になったか否かを判断する。水平ブランキング期間や垂直ブランキング期間の開始時刻になったと判断したとき、静止画処理開始・終了シンク生成部９４は、システム制御回路８１を含む各部に対して処理開始シンクを出力し、状態Ｓ18に遷移する。
【０２６０】
また、状態Ｓ17において、静止画処理開始・終了シンク生成部９４は、設定された基本情報や画素カウンタ９１、水平ラインカウンタ９２によるカウント値に基づいて、静止画処理の終了タイミング、すなわち、水平ブランキング期間や垂直ブランキング期間の終了時刻に近い時刻になったか否かを判断する。
【０２６１】
状態Ｓ18において、システム制御回路８１は動画の処理の後処理を行い、その後処理を終えたとき状態Ｓ19に遷移する。状態Ｓ19において、システム制御回路８１は静止画生成処理の前処理を行い、その前処理を終えたとき状態Ｓ20に遷移する。静止画生成処理の前処理においては、上述したように、前回の静止画生成処理までに処理を行った処理済みの画像の位置の情報がシステム制御回路８１によって設定される。
【０２６２】
状態Ｓ20において、画素カウンタ９１は、静止画処理の対象の画素の数をカウントする専用のカウンタをリセットし、静止画の前処理によって設定された処理済みの画素の位置の情報に基づいて、静止画生成処理を再開する画素の位置にカウンタを再設定する。記録部１７においては、再設定された位置の画素から画素単位で原信号の読み出しが行われ、静止画生成処理が開始される。
【０２６３】
SG２５の状態は状態Ｓ21に遷移し、画素カウンタ９１は静止画生成処理の対象になっている画素の数のカウントを開始する。このとき状態Ｓ22に遷移し、静止画生成処理が開始され、その後、状態Ｓ23に遷移する。
【０２６４】
状態Ｓ23において、静止画処理開始・終了シンク生成部９４は画素カウンタ９１のカウント値に基づいて、対象になっている静止画の全ての画素の処理が終了したか否かを判断する。対象になっている静止画の全ての画素の処理が終了していないと判断された場合、SG２５の状態は状態Ｓ21に遷移し、それ以降の処理が繰り返される。
【０２６５】
一方、対象になっている静止画の全ての画素の処理が終了したと判断された場合、SG２５の状態は状態Ｓ17に遷移する。静止画処理開始・終了シンク生成部９４は、状態Ｓ17において水平ブランキング期間や垂直ブランキング期間の終了時刻に近い時刻になったと判断した場合、システム制御回路８１を含む各部に対して処理終了シンクを出力し、状態Ｓ24に遷移する。このとき、画素カウンタ９１による静止画生成処理の対象の画素のカウントが停止される。
【０２６６】
状態Ｓ24において、システム制御回路８１は静止画生成処理の後処理を行い、その後処理を終えたとき状態Ｓ25に遷移する。状態Ｓ25において、システム制御回路８１は動画の処理の前処理を行い、その前処理を終えたとき状態Ｓ12に遷移する。
【０２６７】
例えば以上のような流れで状態の遷移が進められる。
【０２６８】
次に、動画の記録が行われている間に静止画の処理を行う撮像装置１の動作についてフローチャートを参照して説明する。
【０２６９】
はじめに、図２４のフローチャートを参照して、撮像装置１の全体の処理（メイン処理）について説明する。
【０２７０】
図２４のステップＳ１０１乃至Ｓ１０７の処理は、図７のステップＳ１乃至Ｓ７の処理と同様の処理である。重複する説明については適宜省略する。この処理は、例えば、撮像装置１の電源が入れられたときに開始される。
【０２７１】
ステップＳ１０１において、撮像装置１のシステム制御回路８１は、動画の記録を開始することがユーザにより指示されたか否かを判定し、動画の記録を開始することが指示されたと判定した場合、ステップＳ１０２に進み、動画処理を行う。ここでは、図８のフローチャートを参照して説明したような処理が行われ、動画符号化データが取得される。
【０２７２】
ステップＳ１０３において、動画処理部１４の動画圧縮処理回路４１は、動画処理により得られた動画符号化データを記録媒体Ａに記録させる。
【０２７３】
ステップＳ１０４において、システム制御回路８１は、静止画を記録することがユーザにより指示されたか否かを判定し、静止画記録ボタンが押されたことから、静止画を記録することが指示されたと判定した場合、ステップＳ１０５に進み、原信号保存処理を行う。ここでは、図９のフローチャートを参照して説明したような処理が行われ、撮像部１２の出力である原信号がメモリ７４に一時的に記録される。ステップＳ１０４において、静止画の記録が指示されていないと判定された場合、ステップＳ１０５の処理はスキップされる。
【０２７４】
ステップＳ１０６において、システム制御回路８１は、動画の記録を終了することがユーザにより指示されたか否かを判定し、指示されていないと判定した場合、ステップＳ１０２に戻り、それ以降の処理を繰り返し実行し、一方、動画の記録を終了することが指示されたと判定した場合、ステップＳ１０７に進み、動画の記録を終了させる。
【０２７５】
次に、図２５のフローチャートを参照して、撮像装置１の静止画生成処理について説明する。
【０２７６】
この処理は、図２４のステップＳ１０５の処理において原信号が保存された後に、図２４の処理と時間的に並行して行われる。
【０２７７】
ステップＳ１１１において、システム制御回路８１は、処理開始シンクがSG２５から出力されたか否かを判定し、処理開始シンクが出力されたと判定した場合、ステップＳ１１２に進み、撮影条件の保存、読み出し、設定処理を行う。ここでは、図１０のフローチャートを参照して説明したような撮影条件保存処理が動画の処理の後処理として行われる。また、図１２のフローチャートを参照して説明したような撮影条件の読み出し、設定処理が静止画生成処理の前処理として行われる。静止画生成処理の前処理においては、前回の静止画生成処理までに処理を行った処理済みの画像の位置の設定なども行われる。
【０２７８】
ステップＳ１１３において、システム制御回路８１は、メモリ７４に記録させていた原信号が圧縮されているか否かを判定し、圧縮されていると判定した場合、ステップＳ１１４に進み、メモリ７４に記録されている原信号を原信号圧縮処理回路７５に供給させて原信号の解凍を行わせる。ステップＳ１１３において、原信号が圧縮されていないと判定された場合、ステップＳ１１４の処理はスキップされる。
【０２７９】
ステップＳ１１５において、システム制御回路８１は、メモリ７４に記録させていた原信号を読み出させ、画像処理部１３に供給させる。これにより、メモリ７４に記録させていた非圧縮の原信号がスイッチ７２，７１を介して画像処理部１３に供給される。また、圧縮され、原信号圧縮処理回路７５により解凍（伸張）された原信号がスイッチ７１を介して画像処理部１３に供給される。
【０２８０】
ステップＳ１１６において、システム制御回路８１は、一時的に記録させていた原信号に対して、画像処理部１３の各部に静止画用の処理を行わせる。画像処理部１３により処理が施されることによって得られた静止画の輝度信号、色差信号はメモリI/F７３に供給される。
【０２８１】
ステップＳ１１７において、システム制御回路８１は、メモリI/F７３を制御して、画像処理部１３により処理が施されることによって得られた信号をメモリ７４の静止画処理ワークエリアに記憶させる。
【０２８２】
ステップＳ１１８において、システム制御回路８１は、対象になっている静止画全体の生成が終了したか否かを判定し、終了していないと判定した場合、ステップＳ１１９に進む。
【０２８３】
ステップＳ１１９において、システム制御回路８１は、処理終了シンクがSG２５から出力されたか否かを判定し、処理終了シンクが出力されていないと判定した場合、ステップＳ１１３に戻り、それ以降の処理を繰り返し実行する。
【０２８４】
一方、ステップＳ１１９において、処理終了シンクが出力されたと判定した場合、また、ステップＳ１１８において、対象になっている静止画全体の生成が終了したと判定した場合、システム制御回路８１は、ステップＳ１２０に進み、静止画生成処理の後処理を行う。
【０２８５】
システム制御回路８１は、ステップＳ１２１において、動画の処理の前処理を行い、静止画生成処理を終了させる。ステップＳ１１１において処理開始シンクが出力されていないと判定された場合も処理は終了される。
【０２８６】
次に、図２６のフローチャートを参照して、撮像装置１の静止画圧縮処理について説明する。
【０２８７】
この処理は、静止画生成処理に遅れて開始される。
【０２８８】
ステップＳ１３１において、システム制御回路８１は、処理終了シンクがSG２５から出力されたか否かを判定し、処理終了シンクが出力されたと判定した場合、ステップＳ１３２に進み、静止画圧縮のための設定値を読み出す。例えば、圧縮の対象になる画素が記録されている静止画処理ワークエリアのアドレスの情報などが読み出される。
【０２８９】
ステップＳ１３３において、システム制御回路８１は、圧縮処理を施すことが可能な静止画符号化データがあるか否かを判定する。上述したように、静止画生成処理の進む程度によっては、圧縮処理を施すことができる量のデータが用意されていないことがある。
【０２９０】
システム制御回路８１は、ステップＳ１３３において、圧縮処理を施すことが可能な静止画符号化データがあると判定した場合、ステップＳ１３４に進み、静止画圧縮回路５２などを制御して圧縮処理を行わせ、圧縮済みの静止画符号化データをメモリ７４の静止画符号化データ領域に記憶させる。
【０２９１】
ステップＳ１３５において、システム制御回路８１は、処理開始シンクがSG２５から出力されたか否かを判定し、処理開始シンクが出力されていないと判定した場合、ステップＳ１３３に戻り、それ以降の処理を繰り返す。
【０２９２】
システム制御回路８１は、ステップＳ１３５において、処理開始シンクがSG２５から出力されたと判定した場合、また、ステップＳ１３３において、圧縮処理を施すことが可能な静止画符号化データがないと判定した場合、ステップＳ１３６に進み、例えば、次の処理時に圧縮の対象になる画素が記憶されている静止画処理ワークエリアのアドレスの情報などの設定値を保存する。
【０２９３】
設定値を保存させたとき、システム制御回路８１は静止画圧縮処理を終了させる。ステップＳ１３１において処理終了シンクが出力されていないと判定された場合も処理は終了される。
【０２９４】
次に、図２７のフローチャートを参照して、撮像装置１の書き込み処理について説明する。
【０２９５】
ステップＳ１４１において、システム制御回路８１は、処理終了シンクがSG２５から出力されたか否かを判定し、処理終了シンクが出力されたと判定した場合、ステップＳ１４２に進み、記録済みアドレスを読み出す。例えば、書き込みの対象になる圧縮済みの静止画符号化データが記憶されている静止画符号化データ領域のアドレスの情報などが読み出される。
【０２９６】
ステップＳ１４３において、システム制御回路８１は、記録媒体Ｂに記録することが可能な圧縮済みの静止画符号化データがあるか否かを判定し、圧縮済みの静止画符号化データがあると判定した場合、メモリI/F７３を制御して、静止画符号化データ領域に記録されている圧縮済みの静止画符号化データを記録媒体Ｂに記録させる。例えば、圧縮済みの静止画符号化データの記録媒体Ｂへの書き込みも所定の量のデータを単位として行われる。
【０２９７】
ステップＳ１４５において、システム制御回路８１は、処理開始シンクがSG２５から出力されたか否かを判定し、処理開始シンクが出力されていないと判定した場合、ステップＳ１４３に戻り、それ以降の処理を繰り返す。
【０２９８】
システム制御回路８１は、ステップＳ１４５において、処理開始シンクがSG２５から出力されたと判定した場合、また、ステップＳ１４３において記録媒体Ｂに記録することが可能な圧縮済みの静止画符号化データがないと判定した場合、ステップＳ１４６に進み、次の処理時に書き込みの対象になる圧縮済みの静止画符号化データが記憶されている静止画符号化データ領域のアドレスを保存させる。
【０２９９】
静止画符号化データ領域のアドレスを保存させたとき、システム制御回路８１は書き込み処理を終了させる。ステップＳ１４１において処理終了シンクが出力されていないと判定された場合も処理は終了される。
【０３００】
以上のような静止画生成処理、静止画圧縮処理、書き込み処理の一連の処理が動画の処理と並行して行われることによって、ユーザは、動画の記録中にメモリ７４の容量一杯にまで静止画を記録した場合であっても、メモリ７４に空き領域ができる毎に、静止画の記録をさらに行うことができる。
【０３０１】
また、動画の記録中に生成される静止画も、原信号に対して静止画用のパラメータで規定される処理が施されることによって生成されたものであるから、質の高い静止画を得ることができる。
【０３０２】
以上においては、静止画生成処理、静止画圧縮処理、書き込み処理の３つの処理が動画の処理と並行して行われるとしたが、３つの処理のうちの静止画圧縮処理は、これを行わないようにすることも可能である。
【０３０３】
また、以上においては、静止画生成処理は、垂直ブランキング期間、水平ブランキング期間のいずれのブランキング期間においても行われるものとしたが、例えば垂直ブランキング期間だけといったように、いずれか一方のブランキング期間にだけ行われるようにすることも可能である。
【０３０４】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３０５】
図２８は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)２０１は、ROM(Read Only Memory)２０２、または記憶部２０８に記憶されているプログラムにしたがって各種の処理を実行する。RAM２０３には、CPU２０１が実行するプログラムやデータなどが適宜記録される。これらのCPU２０１、ROM２０２、およびRAM２０３は、バス２０４により相互に接続されている。
【０３０６】
CPU２０１にはまた、バス２０４を介して入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０３０７】
入出力インターフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３０８】
入出力インターフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０３０９】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１、または、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３１０】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０３１１】
【図１】本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】図１のIP変換回路の詳細な構成例を示すブロック図である。
【図３】IP変換の例を示す図である。
【図４】図１のメモリ７４に形成される領域の例を示す図である。
【図５】システム制御回路の動作の例を示す図である。
【図６】システム制御回路の動作の他の例を示す図である。
【図７】撮像装置のメイン処理について説明するフローチャートである。
【図８】図７のステップＳ２において行われる動画処理について説明するフローチャートである。
【図９】図７のステップＳ５において行われる原信号保存処理について説明するフローチャートである。
【図１０】図９のステップＳ２５において行われる撮影条件保存処理について説明するフローチャートである。
【図１１】図７のステップＳ９において行われる静止画記録処理について説明するフローチャートである。
【図１２】図１１のステップＳ４１において行われる撮影条件の読み出しと設定処理について説明するフローチャートである。
【図１３】図７のステップＳ９において行われる他の静止画記録処理について説明するフローチャートである。
【図１４】図１３のステップＳ７９において行われる静止画確認処理について説明するフローチャートである。
【図１５】システム制御回路の動作のさらに他の例を示す図である。
【図１６】撮像された画像を示す図である。
【図１７】静止画生成処理、静止画圧縮処理、書き込み処理として行われる処理の例を示す図である。
【図１８】垂直ブランキング期間に行われる静止画生成処理の例を示す図である。
【図１９】水平ブランキング期間に行われる静止画生成処理の例を示す図である。
【図２０】垂直ブランキング期間に行われる静止画生成処理、静止画圧縮処理、書き込み処理のそれぞれの処理が行われるタイミングの例を示す図である。
【図２１】水平ブランキング期間に行われる静止画生成処理、静止画圧縮処理、書き込み処理のそれぞれの処理が行われるタイミングの例を示す図である。
【図２２】SGの構成例を示すブロック図である。
【図２３】状態遷移の例を示す図である。
【図２４】撮像装置の他のメイン処理について説明するフローチャートである。
【図２５】撮像装置の静止画生成処理について説明するフローチャートである。
【図２６】撮像装置の静止画圧縮処理について説明するフローチャートである。
【図２７】撮像装置の書き込み処理について説明するフローチャートである。
【図２８】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０３１２】
１  撮像装置，  １２  撮像部，  １３  画像処理部，  １４  動画処理部，  １５  静止画処理部，  １６  表示部，  １７  記録部，  １８  制御部，  ７３  メモリI/F，  ７４  メモリ，  ７５  原信号圧縮処理回路，  ７６  記録媒体，  ８１  システム制御回路，  ８２  メモリ
【図１】
2007228119.tif 000003
【図２】
2007228119.tif 000004
【図３】
2007228119.tif 000005
【図４】
2007228119.tif 000006
【図５】
2007228119.tif 000007
【図６】
2007228119.tif 000008
【図７】
2007228119.tif 000009
【図８】
2007228119.tif 000010
【図９】
2007228119.tif 000011
【図１０】
2007228119.tif 000012
【図１１】
2007228119.tif 000013
【図１２】
2007228119.tif 000014
【図１３】
2007228119.tif 000015
【図１４】
2007228119.tif 000016
【図１５】
2007228119.tif 000017
【図１６】
2007228119.tif 000018
【図１７】
2007228119.tif 000019
【図１８】
2007228119.tif 000020
【図１９】
2007228119.tif 000021
【図２０】
2007228119.tif 000022
【図２１】
2007228119.tif 000023
【図２２】
2007228119.tif 000024
【図２３】
2007228119.tif 000025
【図２４】
2007228119.tif 000026
【図２５】
2007228119.tif 000027
【図２６】
2007228119.tif 000028
【図２７】
2007228119.tif 000029
【図２８】
2007228119.tif 000030