(57)【要約】【課題】動画撮影と並行して、高速に静止画データをリアルタイムにエンコードしてメインメモリに格納する。【解決手段】撮像装置１は、撮像素子１２により取得された動画像データを格納するＤＤＲメインメモリ１６と、メインメモリ１６に格納された動画像データをエンコードする動画コーデック２０と、撮像素子１２により取得された動画像データから任意のタイミングで静止画フレームを取得する静止画フレーム取得部と、その静止画フレームの一部である静止画データを格納するラインメモリ２２と、ラインメモリ２２からの静止画データをエンコードするＪＰＥＧコーデック２３とを有し、ＪＰＥＧコーデック２３は、動画像データのメインメモリ１６への格納と並行してリアルタイムで静止画データをエンコードし、メインメモリ１６は、動画像データを格納すると共に、ＪＰＥＧコーデック２３によりリアルタイムでエンコードされたエンコードデータを格納する。【選択図】図１
2012175303.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子により取得された動画像データを格納するメインメモリと、
前記メインメモリに格納された動画像データを圧縮処理する動画圧縮部と、
前記撮像素子により取得された動画像データから任意のタイミングで静止画フレームを取得する静止画フレーム取得部と、
前記静止画フレーム取得部により取得された静止画フレームの一部である静止画データを格納するラインメモリと、
前記ラインメモリに格納された静止画データを圧縮処理する静止画圧縮部とを有し、
前記静止画圧縮部は、前記動画像データの前記メインメモリへの格納と並行してリアルタイムで前記静止画データを圧縮処理し、
前記メインメモリは、前記動画像データを格納すると共に、前記静止画圧縮部によりリアルタイムで圧縮処理された圧縮データを格納することを特徴とする画像処理装置。
【請求項２】
前記画像処理装置はタイミング調整用バッファをさらに有し、
前記タイミング調整用バッファは、前記動画像データが前記メインメモリへ格納される際のタイミングと、前記静止画圧縮部によりリアルタイムで圧縮処理された圧縮データが前記メインメモリへ格納される際のタイミングとを調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ラインメモリは、３面以上のｎ（ｎは１以上の整数）ラインからなるメモリから構成され、それらメモリの一部は、前記静止画圧縮部による前記静止画データの圧縮処理における処理レートの変動を吸収するバッファとして機能すると共に、その圧縮処理後の圧縮データが前記ラインメモリへ格納される際のタイミングを調整するバッファとして機能することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理装置はサイズ変換部をさらに有し、
前記サイズ変換部は前記静止画フレーム選択部により選択された静止画フレームのサイズをリアルタイムに変換することを特徴とする請求項１〜請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像処理装置は主画像サイズ変換部及び副画像サイズ変換部をさらに有し、
前記主画像サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換して主画像データを生成し、
前記副画像サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換して副画像データを生成することを特徴とする請求項１〜請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記副画像サイズ変換部は、前記主画像サイズ変換部が生成した前記主画像データのサイズをリアルタイムに変換して副画像データを生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記ラインメモリは、前記主画像サイズ変換部により生成された主画像データの一部を格納し、
前記静止画圧縮部は、前記動画像データの前記メインメモリへの格納と並行してリアルタイムで前記主画像データを圧縮処理し、前記副画像サイズ変換部が生成した副画像データは圧縮処理することなく前記メインメモリに格納することを特徴とする請求項５項に記載の画像処理装置。
【請求項８】
前記サイズ変換部はサイズ変換用ラインメモリを備え、
前記サイズ変換用ラインメモリは、前記静止画フレーム、前記主画像データ又は前記副画像データの一部を格納するラインメモリを有する、ことを特徴とする請求項１〜請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像処理装置は動画像用サイズ変換部をさらに有し、
前記動画サイズ変換部は前記撮像素子により取得された動画像データのサイズを変換すし、
前記メインメモリは、前記動画像用サイズ変換部によりサイズ変換された動画像データを格納することを特徴とする請求項１〜請求項８のいずれか１項記載の画像処理装置。
【請求項１０】
前記メインメモリは、前記撮像素子により取得された第１動画像データ又は外部メモリから読み込まれた圧縮動画データが伸張された第２動画像データを格納し、
前記ラインメモリは、前記メインメモリから読み出された前記第１又は第２動画データから任意のタイミングで取得された静止画フレームの一部である静止画データを格納し、
前記静止画圧縮部は前記ラインメモリに格納された前記静止画データの圧縮処理を行う、請求項１〜請求項９のいずれか１項に記載の画像処理装置。
【請求項１１】
撮像素子により取得された動画像データをメインメモリに格納する動画像格納工程と、
前記撮像素子により取得された動画像データから任意のタイミングで取得された静止画フレームの一部である静止画データをラインメモリに格納するラインメモリ格納工程と、
前記ラインメモリに格納された前記静止画データに対しリアルタイムで圧縮処理を行う静止画圧縮工程と、
前記静止画圧縮工程にてリアルタイムに圧縮処理された圧縮データを前記メインメモリに格納する静止画格納工程とを有し、
前記動画格納工程と、前記ラインメモリ格納工程から静止画格納工程の全工程が並行して実施されることを特徴とする画像処理方法。
【請求項１２】
動画像の記録と並行して静止画像の記録処理をコンピュータに実行させるためのプログラムであって、
撮像素子により取得された動画像データをメインメモリに格納する動画像格納処理と、
前記撮像素子により取得された動画像データから任意のタイミングで取得された静止画フレームの一部である静止画データをラインメモリに格納するラインメモリ格納処理と、
前記ラインメモリに格納された前記静止画データに対しリアルタイムで圧縮処理を行う静止画圧縮処理と、
前記静止画圧縮処理にてリアルタイムに圧縮処理された圧縮データを前記メインメモリに格納する静止画格納処理とを有し、
前記動画像格納処理と、前記ラインメモリ格納処理、前記静止画圧縮処理及び前記静止画格納処理とを並行して実施することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影中に静止画を撮影する機能を有する撮像装置、撮像方法、及びプログラムに関し、特に、高速にリアルタイムにエンコードした静止画データを取得するのに好適な撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ又はデジタルビデオカメラ等で、動画撮影と共に静止画を撮影する機能を有する従来の撮像装置においては、静止画のみの撮影を行う撮像装置と同様、静止画を撮影しファイル化する際、画像データを非圧縮のファイルで保存したり、ＪＰＥＧ（Joint Photographic Experts Group）形式等の圧縮データにして保存するのが一般的である。それらファイル化の際、通常、撮像素子同等の解像度を有するメインの画像のほかにサムネイルと呼ばれるインデックス用の副画像（水平１６０画素×垂直１２０画素）を同時にファイルにパッケージする。これにより、副画像を、静止画再生時に画像サイズの小さいインデックス用の画像としてサムネイルに表示し、ユーザが静止画を確認して効率よく選択することができる。これはデジタルカメラ用の画像ファイル規格であるＥＸＩＦ（Exchangeable Image File Format）等に規定されている。
【０００３】
ところで、動画撮影と共に静止画を撮影する機能を有する従来の撮像装置として例えば特許文献１に記載の電子カメラが公知である。この特許文献１には、静止画の撮影可能枚数に内部メモリによる制限が生じないようにし、撮像される動画に不連続部分があっても再生時にユーザに違和感を与えないように記録することを目的とした電子カメラが開示されている。
【０００４】
この特許文献１に記載の電子カメラにおいては、動画記録中に静止画記録要求の指示が与えられた場合、静止画記録要求に呼応して静止画撮影画像を記憶手段に記憶するとともに所定時間の間、記憶手段に撮像素子からの画像の取り込みを禁止し、この間に記憶手段の画像を繰り返し読み出すことにより、静止画撮影画像を動画として動画記録部に記録する。また、静止画撮影画像の動画処理の合間に記憶手段に格納されている静止画撮影画像を静止画として静止画記録部に記録する静止画処理を実行し、静止画撮影画像を静止画として静止画記録部に記録し終えた時又はその後に所定時間が満了することにより、禁止が解除されて撮像素子から得られる画像を動画として動画記録部に記録する記録動作を再開させるものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−３２４４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１を含む従来の撮像装置においては、通常、静止画撮影をする際には、撮像素子等を介して取得された画像データを一度メインメモリに格納し、画質補正等を行った後にＪＰＥＧ等の形式で圧縮して主画像ストリームを生成する。更に、必要に応じてメインメモリの画像をサムネイル用のサイズにサイズ変換してＪＰＥＧ等の形式で圧縮してサムネイル用のストリームを生成する。そして、これらをＥＸＩＦとしてパッケージすることで一般的なＪＰＥＧファイルが生成される。この一連の処理（以下、静止画エンコード処理という。）においては、
（１）メインメモリへの画像データの書き込み処理
（２）メインメモリから画像データを読み出しながら、読み出された画像データをＪＰＥＧ形式へエンコード処理
（３）エンコード処理されたデータのメインメモリへのストリームの書き込み処理
等の処理によりメインメモリに対するアクセスが多数発生するため、メモリバス帯域を圧迫する。このため、メモリ処理クロック周波数を高くしたりバス幅を広げたりする必要が生じ、結果、コストが高くなったり、消費電力が増加する等の問題点があった。
【０００７】
高速に静止画エンコード処理を行なおうとすると上記問題点が顕著となる。特に動画撮影と共に静止画撮影をする場合、撮像素子から取得された動画像データをメインメモリに書き込むのと同時に、静止画データをメインメモリに書き込み、エンコードして再度メインメモリへ書き込むという一連の静止画エンコード処理が必要となるが、この場合、動画像データをメインメモリに書き込む処理と静止画データをメインメモリに書き込む処理を同時に行うと、メモリのバス帯域が不足するため、高速に静止画データを取得することが不可能となる。
【０００８】
すなわち、従来の撮像装置のように、フレームメモリに静止画データを書き込んでから静止画エンコード処理を動画撮影に伴う処理と同時に行なう場合は、フレームメモリのバス帯域が不足するため、同一フレーム期間に書き込みと読み出しを同時に行うことができない。このため、約１０枚以上ないし全フレームの静止画エンコード処理が不可能となり、例えば１秒６０フレームからなる動画像において、６０フレームのうち処理可能な数枚のフレームを選択してＪＰＥＧファイル化を行わなければならないという問題点があった。
【０００９】
また、ユーザが主画像サイズとして、撮像素子から出力されるサイズではなく１／２や１／３などの縮小サイズを望む場合、更に主画像のリサイズ処理のために時間がかかり高速な静止画処理ができなくなる。
【００１０】
本発明は、このような問題点を解決するためになされたものであり、動画撮影と並行して、高速に静止画データをリアルタイムにエンコードしてメインメモリに格納することが可能な撮像装置、撮像方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明にかかる画像処理装置は、撮像素子と、前記撮像素子により取得された動画像データを格納するメインメモリと、前記メインメモリに格納された動画像データを圧縮処理する動画圧縮部と、前記撮像素子により取得された動画像データから任意のタイミングで静止画フレームを取得する静止画フレーム取得部と、前記静止画フレーム取得部により取得された静止画フレームの一部である静止画データを格納するラインメモリと、前記ラインメモリに格納された静止画データを圧縮処理する静止画圧縮部とを有し、前記静止画圧縮部は、前記動画像データの前記メインメモリへの格納と並行してリアルタイムで前記静止画データを圧縮処理し、前記メインメモリは、前記動画像データを格納すると共に、前記静止画圧縮部によりリアルタイムで圧縮処理された圧縮データを格納するものである。
【００１２】
また、前記画像処理装置はタイミング調整用バッファをさらに有し、前記タイミング調整用バッファは、前記動画像データが前記メインメモリへ格納される際のタイミングと、前記静止画圧縮部によりリアルタイムで圧縮処理された圧縮データが前記メインメモリへ格納される際のタイミングとを調整することができる。
【００１３】
さらに、前記ラインメモリは、３面以上のｎ（ｎは１以上の整数）ラインからなるメモリから構成され、それらメモリの一部は、前記静止画圧縮部による前記静止画データの圧縮処理における処理レートの変動を吸収するバッファとして機能すると共に、その圧縮処理後の圧縮データが前記ラインメモリへ格納される際のタイミングを調整するバッファとして機能させることができ、ラインメモリを３面以上有することで、圧縮後のデータをメインメモリに格納する際等のタイミングを制御することができる。
【００１４】
さらにまた、前記画像処理装置はサイズ変換部をさらに有し、前記サイズ変換部は前記静止画フレーム選択部により選択された静止画フレームのサイズをリアルタイムに変換することができ、静止画フレームのサイズをリアルタイムで変換することができる。
【００１５】
また、前記画像処理装置は主画像サイズ変換部及び副画像サイズ変換部をさらに有し、前記主画像サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換して主画像データを生成し、前記副画像サイズ変換部は前記静止画フレーム取得部により取得された静止画フレームのサイズをリアルタイムに変換して副画像データを生成するものとすることができ、主画像と共に副画像サイズの画像を取得することができる。
【００１６】
また、前記副画像サイズ変換部は、前記主画像サイズ変換部が生成した前記主画像データのサイズをリアルタイムに変換して副画像データを生成することができ、主画像サイズに縮小されたデータを使用して副画像データを生成するため、副画像サイズ変換処理を軽くすることができる。
【００１７】
さらに、前記ラインメモリは、前記主画像サイズ変換部により生成された主画像データの一部を格納し、前記静止画圧縮部は、前記動画像データの前記メインメモリへの格納と並行してリアルタイムで前記主画像データを圧縮処理し、前記副画像サイズ変換部が生成した副画像データは圧縮処理することなく前記メインメモリに格納するものとすることができ、副画像データは容量が小さいため、リアルタイムで圧縮しなくてもよい。
【００１８】
さらにまた、前記サイズ変換部はサイズ変換用ラインメモリを備え、前記サイズ変換用ラインメモリは、前記静止画フレーム、前記主画像データ又は前記副画像データの一部を格納するラインメモリを有することができ、サイズ変換部からの出力タイミングを調整する等することができる。
【００１９】
また、前記画像処理装置は動画像用サイズ変換部をさらに有し、前記動画サイズ変換部は前記撮像素子により取得された動画像データのサイズを変換すし、前記メインメモリは、前記動画像用サイズ変換部によりサイズ変換された動画像データを格納することができ、動画像データのサイズを変換することも可能である。
【００２０】
さらに、前記メインメモリは、前記撮像素子により取得された第１動画像データ又は外部メモリから読み込まれた圧縮動画データが伸張された第２動画像データを格納し、前記ラインメモリは、前記メインメモリから読み出された前記第１又は第２動画データから任意のタイミングで取得された静止画フレームの一部である静止画データを格納し、前記静止画圧縮部は前記ラインメモリに格納された前記静止画データの圧縮処理を行うことができ、メインメモリに格納されている非圧縮の動画像データから静止画フレームを取得し、その圧縮データを生成することができる。
【００２１】
本発明にかかる画像処理方法は、撮像素子により取得された動画像データをメインメモリに格納する動画像格納工程と、前記撮像素子により取得された動画像データから任意のタイミングで取得された静止画フレームの一部である静止画データをラインメモリに格納するラインメモリ格納工程と、前記ラインメモリに格納された前記静止画データに対しリアルタイムで圧縮処理を行う静止画圧縮工程と、前記静止画圧縮工程にてリアルタイムに圧縮処理された圧縮データを前記メインメモリに格納する静止画格納工程とを有し、前記動画格納工程と、前記ラインメモリ格納工程から静止画格納工程の全工程が並行して実施されるものである。
【００２２】
本発明にかかるプログラムは、動画像の記録と並行して静止画像の記録処理をコンピュータに実行させるためのプログラムであって、撮像素子により取得された動画像データをメインメモリに格納する動画像格納処理と、前記撮像素子により取得された動画像データから任意のタイミングで取得された静止画フレームの一部である静止画データをラインメモリに格納するラインメモリ格納処理と、前記ラインメモリに格納された前記静止画データに対しリアルタイムで圧縮処理を行う静止画圧縮処理と、前記静止画圧縮処理にてリアルタイムに圧縮処理された圧縮データを前記メインメモリに格納する静止画格納処理とを有し、前記動画像格納処理と、前記ラインメモリ格納処理、前記静止画圧縮処理及び前記静止画格納処理とを並行して実施するものである。
【発明の効果】
【００２３】
本発明によれば、動画撮影と並行して、高速に静止画データをリアルタイムにエンコードしてメインメモリに格納することが可能な撮像装置、撮像方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１にかかる撮像装置を示すブロック図である。
【図２】本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する基本構成を示す図である。
【図３】本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する第１の変形例を示すブロック図である。
【図４】本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する第２の変形例を示すブロック図である。
【図５】本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する第３の変形例を示すブロック図である。
【図６】本発明の実施の形態１における静止画フレームのリアルタイム記録処理を実現する第４の変形例を示すブロック図である。
【図７】本発明の実施の形態１にかかる撮像装置の詳細を示すブロック図である。
【図８】本発明の実施の形態１にかかる撮像装置におけるサイズ変換部の詳細を示すブロック図である。
【図９】８ラインメモリが２面構成の例を示す図である。
【図１０】８ラインメモリが２面構成の例を示す図である。
【図１１】２面構成のラインメモリへの書き込み期間及び読み出し期間、並びにＪＰＥＧエンコード期間を示すタイミングチャートである。
【図１２】３面構成のラインメモリへの書き込み期間、読み出し期間、ＪＰＥＧエンコード期間を示す図である。
【図１３】同じく、３面構成のラインメモリ８０への書き込み期間、読み出し期間、ＪＰＥＧエンコード期間の他の例を示す図である
【図１４】本発明の実施の形態１にかかる撮像装置の再生時の動作を説明する図である。
【図１５】本発明の実施の形態２にかかる撮像装置を示すブロック図である。
【図１６】本発明の実施の形態２にかかる撮像装置におけるアービタの制御を説明するための図である。
【発明を実施するための形態】
【００２５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、動画像の取得と並列して高速に静止画像を取得することができる撮像装置に適用したものである。
【００２６】
上述したように、動画撮影と共に静止画撮影をする場合、従来は、メインメモリのバス帯域が不足するため、１秒間６０フレームとしても、せいぜい数枚乃至１０枚の静止画フレームを取得することしかできない。これに対し、本実施の形態にかかる撮像装置は、メインメモリの上記バス帯域に関する問題を解決するため、動画撮影と共に静止画撮影をする場合であっても、毎秒１０枚以上の高速撮影が可能である。さらには、通常撮像素子から出力されるフレームレート同等の速度、例えば毎秒６０フレームのうち、全フレームを静止画フレームとして取得することができるものである。
【００２７】
＜本発明の実施の形態１.＞
図１は、本実施の形態にかかる撮像装置を示すブロック図である。本実施の形態にかかる撮像装置１は、撮像素子を介して動画像データを取得しつつ、ユーザの指示に基づく任意のタイミングで動画像データから静止画フレームを取得し、その静止画フレームをリアルタイムでエンコード（圧縮）処理を行うものである。ここで、リアルタイムでのエンコード処理とは、動画像データ（カメラ画像）の入力フレームレートと同じフレームレートで静止画フレームのエンコード処理、例えばＪＰＥＧエンコード処理を行うこという。また、以下では、静止画フレームは、ユーザの指示に基づく任意のタイミングで取得されるものとして説明するが、例えば、「静止画フレーム自動取得モード」等を用意し、被写体の笑顔等、特定の対象を自動で検知し、当該検知結果に応じて自動で静止画フレームを取得するようにしてもよい。
【００２８】
上記動作を実現するため、撮像装置１は、レンズ１１及びレンズを通じて入射した入射光を光電変換し画像データを生成する撮像素子１２等からなる撮像部を有する。さらに、撮像装置１は、ＤＤＲ（Double-Data-Rate）メインメモリ１６、動画コーデック２０、ラインメモリ２２、及びＪＰＥＧコーデック２３を有している。これらＤＤＲメインメモリ１６、動画コーデック２０、ラインメモリ２２、及びＪＰＥＧコーデック２３は、それぞれバス１０を介して接続される。
ＤＤＲメインメモリ１６には、撮像素子１２により取得された動画像データが書き込まれる。動画コーデック２０は、メインメモリに書き込まれた動画像データを圧縮処理する動画圧縮部として機能する。動画コーデック２０は、さらに、圧縮された画像データを伸張する動画像伸張部としても機能する、撮像素子１２から取得された動画像データは一旦ＤＤＲメインメモリ１６に書き込みされその後、動画コーデック２０によりエンコード処理される。
【００２９】
一方、静止画の方は、静止画フレーム取得部（図示せず）により、撮像素子１２で取得された動画像データから任意のタイミングで静止画フレームを取得し、ラインメモリ２２にその静止画フレームの一部である静止画データを格納する。なお、例えば１秒間に６０フレームからなる動画像データの６０フレーム全部を静止画データとして取得する場合は、カメラ信号処理部１３からの動画像データを順次ラインメモリ２２に格納すればよく、静止画フレーム取得部は不要である。また、ユーザの指示により任意のタイミングで静止画フレームを取得する場合は、例えばユーザが撮像装置１の図示しないシャッタボタンを押下したタイミングに基づき、動画像データから所定枚数の静止画フレームから得られる静止画データをラインメモリ２２に入力できるようにスイッチ動作するスイッチ等により構成することができる。
【００３０】
また、ＪＰＥＧコーデック２３は、ラインメモリ２２に格納された静止画データを圧縮処理する静止画圧縮部として機能する。ＪＰＥＧコーデック２３は、圧縮された静止画データを伸張する伸張部としても機能する。このＪＰＥＧコーデック２３は、撮影中の動画像データのＤＤＲメインメモリ１６への書き込みと並行してリアルタイムで静止画データをエンコード処理する。このとき、ＤＤＲメインメモリ１６は、動画像データが書き込まれると共に、ＪＰＥＧコーデック２３によりリアルタイムでエンコード処理されたエンコードデータが書き込まれる。  
【００３１】
このように構成された撮像装置１においては、動画像データから取得した静止画フレームをＤＤＲメインメモリ１６に書き込みせずに、直接リアルタイムにエンコードしてからＤＤＲメインメモリ１６に書き込みする。ＤＤＲメインメモリ１６に撮像画像から取得された静止画フレーム（以下、非圧縮の画像データを生データともいう。）を書き込みせず、エンコードしてから書き込みするようにすることで、ＤＤＲメインメモリ１６のバス１０のバス帯域に対する負荷を低減する。このことにより、多画素の画像サイズの静止画データを１秒間に６０フレーム等の速度で高速撮影処理することが可能となる。
【００３２】
以下、本実施の形態にかかる撮像装置１について更に詳細に説明する。撮像装置１は、さらに、カメラ信号処理部１３と、カメラ信号処理部１３の制御のもと、レンズ１１のズーム倍率や焦点距離を制御するズーム・フォーカス制御部１４を有する。また、各ブロックを制御するＣＰＵ（Central Processing Unit）１５、ＳＤカード（SD Memory Card）１７、及びＵＳＢ（Universal Serial Bus）１８を有する。さらに、サイズ変換部１９、サイズ変換部２１、ビデオ信号処理部２４、ＨＤＭＩ（High-Definition Multimedia Interface）２５及びＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）２６等を有する。各処理部は、バス１０を介して接続されている。
【００３３】
カメラ信号処理部１３は、図示しない同期信号発生部やＹ／Ｃ処理部等を有している。同期信号発生部は、生成される画像データの水平サイズ及び垂直サイズに対応し、かつ内部クロックに同期した水平同期信号及び垂直同期信号を生成する。撮像部からの画像データは、この水平同期信号及び垂直同期信号に同期した画像データをカメラ信号処理部１３に入力する。Ｙ／Ｃ処理部では、撮像部により生成された複数の画像データを順次Ｙ／Ｃ処理する。Ｙ／Ｃ処理とは画像データを輝度データ（Ｙ）と色データ（Ｃ）に分離、変換する処理である。すなわち、カメラ信号処理部１３は、撮像データから色分離、白バランス調整、及びＹ／Ｃ処理等の一連のカメラ信号処理した（動）画像データを出力する。
【００３４】
サイズ変換部１９は、カメラ信号処理部１３から出力される動画像データのサイズを変換する。この動画像データは、一旦ＤＤＲメインメモリ１６に書き込みされる。
【００３５】
動画コーデック２０は、記録時には、上述したように、一旦ＤＤＲメインメモリ１６に書き込みされた動画像データを、例えばＨ.２６４／ＡＶＣ規格やＭＰＥＧ２規格に準じた形式でエンコード処理を実施する。エンコード後のエンコードデータはＤＤＲメインメモリ１６に書き込みされ、必要に応じてＳＤカード１７等の外部メモリに転送される。また、再生時には、例えばＳＤカード１７等の外部メモリから読み出され、ＤＤＲメインメモリ１６に書き込みされたエンコード済み動画像データに対してデコード処理を実施する。
【００３６】
サイズ変換部２１は上述のように静止画フレーム取得部（図示せず）により取得された静止画フレームのサイズを変換する。なお、これらのサイズ変換部１９及びサイズ変換部２１は必要に応じて設ければよい。
【００３７】
ＳＤカード１７は、大容量の外部記憶媒体であり、このＳＤカード１７に動画像データや静止画データが書き込まれ、ＬＣＤ２６により表示する等することができる。ＳＤカード１７に格納されている画像データは、一旦ＤＤＲメインメモリ１６に書き込みされ、動画コーデック２０によりデコードされ、ビデオ信号処理部２４を介してＬＣＤ２６に出力されたり、ＨＤＭＩ２５を介して出力されることができる。また、撮像装置１は、ＵＳＢ１８を介して様々な周辺機器に接続される。
【００３８】
ビデオ信号処理部２４は、デコードした画像データをＨＤＭＩ２５やＬＣＤ２６に応じた形式の出力データに変換する一連のビデオ信号処理を実施し、ＬＣＤ２６を介して画像を表示したり、ＨＤＭＩ２５を介してテレビモニタ等の外部モニタ装置等に画像データを出力する。
【００３９】
＜通常撮影ルートと高速撮影ルート＞
ところで、本実施の形態にかかる撮像装置１は、ＤＤＲメインメモリ１６に書き込みされた生データ又はデコード済みの動画像データから静止画フレームを取得し、サイズ変換部２１によりサイズ変換し、ラインメモリ２２を介してＪＰＥＧコーデック２３によりエンコードしてＤＤＲメインメモリ１６に書き込みするというルートも有している。
【００４０】
つまり、ＤＤＲメインメモリ１６は、撮像素子１２により取得された動画像データ（第１動画像データ）又はＳＤカード１７等の外部メモリから読み込まれたエンコード済み動画像データがデコードされた動画像データ（第２動画像データ）を書き込みする。この場合、第１動画像データ、第２動画像データについても、ユーザの指示等による任意のタイミングで静止画フレームが取得され、サイズ変換部２１に出力される。そして、静止画フレームはサイズ変換部２１によりその画像サイズが変換され、ラインメモリ２２にその一部の静止画データが順次書き込みされ、ＪＰＥＧコーデック２３にて、ラインメモリ２２に書き込みされた静止画データのエンコードを行ってＤＤＲメインメモリ１６にエンコードされたエンコードデータが出力される。なお、ＤＤＲメインメモリ１６に書き込みされた生データ又はデコード済みの動画データ（第１及び第２動画像データ）から静止画フレームを取得する場合、ユーザが指定したタイミングのフレーム１枚のみならず、その近傍の複数枚のフレームを加重平均するなどして合成し１枚の静止画フレームを取得するようにしてもよい。
【００４１】
ここで、本実施の形態１にかかる撮像装置１のＤＤＲメインメモリ１６は、カメラ信号処理部１３からＤＤＲメインメモリ１６を経由せずにＪＰＥＧエンコードする場合（以下、高速撮影ルートともいう。）にはラインメモリ２２を３面で使用することが好ましく、ＤＤＲメインメモリ１６を経由してＪＰＥＧエンコードする場合（以下、「通常ルート」ともいう。）は、ラインメモリ２２の３面のうちの２面を使用するようにしてもよい。以下、本実施の形態１におけるＤＤＲメインメモリ１６を３面構成とする理由について説明する。
【００４２】
通常ルートの場合、ＤＤＲメインメモリ１６から生データを転送することになるが、生データ転送の場合、転送のボトルネックはＤＤＲメインメモリ１６のバス１０のバス帯域に依存する。したがって、通常ルートの場合には、後述するバス帯域を使用する優先度を上げるなどしてバス帯域を確保すれば２面構成とすることが可能となる。
【００４３】
本実施の形態１にかかる撮像装置１の高速撮影ルート時のボトルネックの１つはＪＰＥＧコーデック２３のエンコードの処理能力に依存する。ＪＰＥＧコーデック２３は、通常、
入力データ量＞エンコードデータ量
の大小関係が成立するが、画像の複雑度によってはハフマン符号の割り当て等によりエンコードデータ量が多くなり上の式が逆転することがある。その場合、瞬間的に画像データのリード処理が滞りラインメモリ２２の２面を使用するだけでは処理が破綻する可能性があり、ラインメモリ２２を３面構成とする必要がある。言い換えればＪＰＥＧコーデック２３において、
入力の転送レート＜出力のデータ転送レート
の状態が常になりたてば２面構成のみでの処理が可能となる。しかし、瞬間的に
入力の転送レート＞出力のデータ転送レート
の状態が発生する場合があり、このとき、ＤＤＲメインメモリ１６を３面構成としておけば、画像データのリード処理が滞ってもそれを吸収することができる。
【００４４】
本実施の形態においては、動画撮影時に静止画を同時に取得する場合は、高速撮影ルートを通り、カメラ信号処理部１３からの静止画データが直接エンコードされ、ＤＤＲメインメモリ１６に書き込まれるため、従来のように生データが書き込まれる場合に比して、データ量を削減することができる。これにより、ＤＤＲメインメモリ１６のバス１０のバス帯域を確保することができ、毎秒６０枚取得される静止画フレーム等のエンコード済みの静止画データのＤＤＲメインメモリ１６への書き込みが可能となるのである。
【００４５】
また、ラインメモリ２２は、ｎ（ｎは１以上の整数）ラインからなるラインメモリを３面以上有していることが好ましい。ラインメモリを３面設けることにより、一部のラインメモリを、リアルタイムなエンコード処理時の処理レートの変動を吸収するバッファとして機能させると共に、エンコード処理後のエンコードデータがＤＤＲメインメモリ１６へ書き込みされる際のタイミングを調整するバッファとして機能させることができる。
【００４６】
＜静止画フレームのリアルタイム記録処理＞
ここで、本実施の形態にかかる撮像装置１は、上述したように、動画像の記録と並列して高速に静止画フレームをリアルタイムでエンコードして記録する処理（以下、高速撮影ルートで静止画フレームをエンコードする処理をリアルタイム記録処理ともいう。また、静止画フレームのエンコード処理をリアルタイムに実行する各処理部を総称して、静止画リアルタイム処理部という。）が可能な装置である。次に、この静止画フレームのリアルタイム記録処理の詳細について説明する。
【００４７】
＜１.  静止画リアルタイム処理部の基本構成＞
図２は、静止画フレームのリアルタイム記録処理を実現する基本構成を示す図である。なお、図２及び後述する図３乃至図１６において、図１に示す撮像装置１と同一の構成要素には同一の符号を付し、その詳細な説明を省略する。また、図２乃至図６においては、静止画フレームのリアルタイム記録処理を説明するために撮像装置の一部を抜き出して示している。
【００４８】
図２に示すように、動画像と共に入力される静止画フレームＤ１についてのリアルタイム記録処理を実施するパス（高速撮影ルートＲ１）と、ＤＤＲメインメモリ１６に書き込みされた生データ又はデコード済みの動画像データから取得した静止画フレームＤ２について、エンコードするパス（通常ルート）とを切り替えるセレクタ２７を有している。
【００４９】
高速撮影ルートＲ１において、撮像素子１２より取得された動画像データから取得された静止画フレームをリアルタイムでエンコードする場合は、セレクタ２７を介してこの静止画フレームＤ１が選択され、これがラインメモリ２２に順次入力される。ラインメモリ２２は、１フレーム分の静止画データ未満のデータを書き込みする。ラインメモリ２２の詳細については後述する。ラインメモリ２２の後段に配置されたＪＰＥＧエンコーダ２３ａは、ラインメモリ２２から出力される静止画データをＪＰＥＧ形式にエンコードして出力する。このエンコードデータはＤＤＲメインメモリ１６に書き込みされる。
【００５０】
一方、通常ルートの場合は、ＤＤＲメインメモリ１６に書き込みされている生データの動画像データが使用される。この動画像データは、例えばレンズ１１及び撮像素子１２を介して取得された動画像データがＤＤＲメインメモリ１６に書き込みされたものである。または、ＳＤカード１７等の外部メモリから入力されたエンコード済み動画像データが一旦ＤＤＲメインメモリ１６に書き込みされ、これが図１に示す動画コーデック２０にてデコードされて再びＤＤＲメインメモリ１６に書き込みされたものである。いずれの場合も生データ又はデコード済みである非圧縮の動画像データである。
【００５１】
これらの動画像データに対しても、ユーザの指示に基づく任意のタイミングで静止画フレームが取得されてサイズ変換部２１へ出力される。このＤＤＲメインメモリ１６からサイズ変換部２１、ラインメモリ２２を介してＪＰＥＧコーデック２３によりエンコード処理されるルートが通常ルートである。ＪＰＥＧコーデック２３にてエンコードされたエンコード静止画データはＤＤＲメインメモリ１６に書き込みされる。
【００５２】
＜２.  静止画リアルタイム処理部の第１の変形例＞
次に、図２に示す基本構成の変形例について説明する。図３乃至５は、それぞれ第１乃至３の変形例を示すブロック図である。先ず、第１の変形例である図３に示す例は、カメラ信号処理部１３の後段であって、セレクタ２７の前段にサイズ変換部２１を設けた例である。本変形例では高速撮影ルートＲ１における静止画フレームをサイズ変換部２１にてサイズ変換することで、エンコード後のデータ容量を小さくすることができる。また、ユーザは取得する静止画データを所望のサイズのデータとすることができる。本変形例においては、通常パスについては、ＤＤＲメインメモリ１６から静止画フレームＤ２が取得され、セレクタ２７を介してラインメモリ２２に入力され、ＪＰＥＧエンコーダ２３ａによりエンコードされるパスと、ＤＤＲメインメモリ１６から同じく静止画フレームＤ３が取得され、サイズ変換部２１によりサイズ変換されてからセレクタ２７を介してラインメモリ２２に入力され、ＪＰＥＧエンコーダ２３ａによりエンコードされるパスと２つの経路を有している。すなわち、ユーザはサイズ変換するか否かを選択することができる。
【００５３】
＜３.  静止画リアルタイム処理部の第２の変形例＞
次に、第２の変形例である図４に示す例は、カメラ信号処理部１３を介して入力される動画像データから取得された静止画フレームのサイズをリアルタイムに変換して主画像データ及び副画像データを生成するそれぞれ主画像サイズ変換部２１ａ及び副画像サイズ変換部２１ｂとを有する。
【００５４】
また、主画像サイズ変換部２１ａ及び副画像サイズ変換部２１ｂに対応して、それぞれラインメモリ２２ａ、２２ｂと、ＪＰＥＧエンコーダ２３ａ、２３ｂとが設けられている。ラインメモリ２２ａ、２２ｂの動作はラインメモリ２２と同様であり、ＪＰＥＧエンコーダ２３ｂの動作はＪＰＥＧエンコーダ２３ａと同様である。
【００５５】
そしてセレクタ２７は、カメラ信号処理部１３からの動画像データから取得された静止画フレームＤ１が主画像サイズ変換部２１ａにより主画像サイズにサイズ変換されたもの、同じく静止画フレームＤ１が副画像サイズ変換部２１ｂにより副画像サイズにサイズ変換されたもの、ＤＤＲメインメモリ１６に書き込みされている生データ又はデコード済みの動画像データから取得された静止画フレームＤ２、又は同じくＤＤＲメインメモリ１６の生データ又はデコード済みの動画像データから取得された静止画フレームＤ３がサイズ変換部２１ａ若しくはサイズ変換部２１ｂによりサイズ変換された静止画データのいずれかを選択し、ラインメモリ２２ａ又はラインメモリ２２ｂに出力する。
【００５６】
本第２の変形例においては、サイズ変換部２１ａ、ラインメモリ２２ａ及びＪＰＥＧコーデック２３ａにより、副画像サイズの静止画データのリアルタイムエンコード処理をすることができる。こうしてリアルタイムエンコード処理され、そのエンコードデータがＤＤＲメインメモリ１６に書き込みされるルートを主画像高速撮影ルートＲ１とする。この主画像高速撮影ルートは、図３に示す高速撮影ルートに対応している。
【００５７】
一方、サイズ変換部２１ｂ、ラインメモリ２２ｂ及びＪＰＥＧコーデック２３ｂにより、サムネイル等の副画像サイズの静止画データのリアルタイムエンコード処理をすることができる。こうしてリアルタイムエンコード処理され、そのエンコードデータがＤＤＲメインメモリ１６に書き込みされるルートを副画像高速撮影ルートＲ２とする。
【００５８】
本第２の変形例においても、主画像高速撮影ルートＲ１又は副画像高速撮影ルートＲ２により、リアルタイムに静止画フレームを取得し静止画圧縮データに変換し、ＤＤＲメインメモリ１６へ書き込む。ＪＰＥＧエンコード時の量子化係数にもよるが、一般的にＪＰＥＧエンコードを行うと元の画像サイズの１／３程度のデータ量となる。よって、上述の実施の形態１及び第１の変形例１と同様に、ＤＤＲメインメモリ１６のバス１０のバス帯域への負荷を軽減し、これにより高速な静止画撮影が可能となる。
【００５９】
また、撮像素子１２から出力される画像サイズをリアルタイムで縮小することで、ユーザの希望する様々なサイズのＪＰＥＧファイルを、縮小しないとき同様の処理時間でエンコードが可能となる。
【００６０】
さらに、インデックス用の副画像（サムネイル）をリアルタイムに主画像データと並列処理（縮小及びメインメモリへの転送）をすることでＥＸＩＦパッケージ処理をより高速に実現することができる。
【００６１】
さらにまた、主画像データとサムネイル画像データを並列処理するため、回路構成次第で縮小処理に必要なラインメモリを主画像データとサムネイルデータとで共有することができる。
【００６２】
＜４.  静止画リアルタイム処理部の第３の変形例＞
次に、上記のように、主画像サイズ変換部及び副画像サイズ変換部のリソースを共有する例を第３の変形例として説明する。第３の変形例である図５に示すように、本変形例においては、主画像高速撮影ルートＲ１と副画像高速撮影ルートＲ２とで、主画像サイズ変換部２１ｃを共有している。この主画像サイズ変換部２１ｃは、主画像のサイズ変換を行う。したがって、主画像サイズ変換部２１ｃの出力はセレクタ２７に入力される。セレクタ２７は、モードに応じて主画像高速撮影ルートＲ１からの静止画データ（Ｄ１）と、ＤＤＲメインメモリ１６に書き込みされた生データ又はデコード済みの動画像データから取得された静止画フレームＤ３のいずれかを選択出力する。セレクタ２７に選択され出力された静止画データはラインメモリ２２ａに入力され、次いでＪＰＥＧエンコーダ２３ａに入力され、エンコードされたＤＤＲメインメモリ１６に書き込みされる。
【００６３】
そして、本第３の変形例においては、主画像サイズ変換部２１ｃに直列に接続された副画像サイズ変換部２１ｄを有している。通常、主画像サイズの方が副画像サイズより大きい。よって先ず主画像サイズ変換部２１ｃによりサイズ変換した静止画フレームを副画像サイズ変換部２１ｄによりサイズ変換する方が、動画像データから取得した静止画フレームＤ１のサイズ変換をするより、サイズ変換の度合いが小さくてすむ。したがって、本変形例においては、主画像サイズ変換部２１ｃの結果を利用して副画像サイズ変換部２１ｄで静止画フレームの変換を行う。これにより、副画像サイズ変換部２１ｄにおける演算処理量を低減することができる。
【００６４】
すなわち、様々な縮小率を実現するには、サムネイル生成の方が水平画素数は少ないものの、間引きの縮小率が高いため、垂直フィルタ回路で利用するラインメモリ（スケーラ用バッファ２１２ａ／ｂ）の必要ライン数が多くなる。そこで、システム構成を工夫することにより、主画像用画像データに対しプリフィルタ処理してラインメモリに書き込んだデータに対し、サムネイル用画像データには追加で周波数特性を落とすフィルタ処理を実施すれば、残りのサムネイル画像データのラインメモリのリソースを他に振り分けることができる。
【００６５】
また、本第３の変形例においては、副画像高速撮影ルートＲ２に、ＪＰＥＧコーデックを有していない。これは、副画像データは、主画像データと比較すると大きさが小さいため、データ容量もそれほど大きくないためである。したがって、リアルタイムにエンコード処理をせずに、非圧縮のデータとしてＤＤＲメインメモリ１６に書き込みするようにすることも可能である。
【００６６】
＜５.  静止画リアルタイム処理部の第４の変形例＞
次に図６は、図２に示す基本構成の第４の変形例にかかり、動画像データの撮影ルートＲ３を合わせて示している。図１における撮像装置１と比較すると、サイズ変換部１９を有していない点が異なる。その他の構成は図１に示す撮像装置と同様である。動画撮影ルートＲ３では、カメラ信号処理部１３からの動画像データは一旦ＤＤＲメインメモリ１６に書き込みされる。その後、動画エンコーダ２０ａにより、動画像データが、例えばＨ．２６４／ＡＶＣ規格又はＭＰＥＧ２規格準拠のエンコードデータとされ、ＤＤＲメインメモリ１６に書き戻される。
【００６７】
＜本発明の実施の形態１の詳細＞
次に、本実施の形態１について、更に詳細に説明する。図７は、カメラ信号処理部１３とＤＤＲメインメモリ１６との間の高速撮影ルート及び動画像撮影ルートに関するブロックを示す図である。本例においては、撮像装置１は、カメラ信号処理部１３から出力される動画像データから取得された静止画フレームをエンコードする２つのパスを有している。１つは主画像となる静止画データに関するパス（以下、パス１という。）であり、もう１つは副画像（サムネイル）となる静止画データに関するパス（以下、パス２という。）である。
【００６８】
パス１の方は、第１の入力画像選択部２８、主画像サイズ変換部２１ａ、及びラインメモリ２２ａからなり、ラインメモリ２２ａからの静止画データがＪＰＥＧコア２３ｃに入力され、リアルタイムエンコードされる。
【００６９】
パス２の方は、第２の入力画像選択部２９、副画像サイズ変換部２１ｂ、及びラインメモリ２２ｂからなり、ラインメモリ２２ｂからの静止画データがＪＰＥＧコア２３ｃに入力され、リアルタイムエンコードされる。なお、上述したように、パス２の方の静止画データは、リアルタイムにエンコードする必要はなく、一旦ＤＤＲメインメモリ１６ａに書き込みされるようにしてもよい。
【００７０】
ここで、主画像サイズ変換部２１ａは、サイズ変換部２１１ａ、スケーラ用バッファ２１２ａを有し、副画像サイズ変換部２１ｂは、サイズ変換部２１１ｂ、スケーラ用バッファ２１２ｂを有する。スケーラ用バッファ２１２ａ、２１２ｂは、ラインメモリである。主画像サイズ変換部２１ａ、サイズ変換部２１ｂは、基本的にはカメラ信号処理部１３から入力される静止画データをそれぞれ主画像用、サムネイル用のサイズに変換する。この主画像サイズ変換部２１ａ、副画像サイズ変換部２１ｂについての詳細は後述する。
【００７１】
ラインメモリ２２ａは、メモリコントローラ２２１ａ、ＳＲＡＭ等からなるバッファ２２２ａを有し、ラインメモリ２２ｂは、メモリコントローラ２２１ｂ、バッファ２２２ｂを有する。バッファ２２２ａ、２２２ｂは、それぞれ３面及び２面のバッファである。また、ＪＰＥＧコア２３ｃにも、例えば２面構成のバッファ２３１が接続されている。
【００７２】
バッファ２２２ａ、２２２ｂは、例えばＳＲＡＭからなり、その機能については後述する。メモリコントローラ２２１ａ、２２１ｂは、例えばＳＲＡＭをラインメモリとして機能させるために、バッファ２２２ａ、２２２ｂへのデータアクセスを制御する。また、主画像サイズ変換部２１ａ、２１ｂと、ＪＰＥＧコア２３ｃとでクロック周波数が異なる場合は、当該クロック周波数を変換する処理等も行うことができる。
【００７３】
ＪＰＥＧコア２３ｃは、ＪＰＥＧコーデック及びインターフェースを有し、エンコードなしの場合は、主画像については主画像ＹＵＶデータを、サムネイルについては、サムネイルＹＵＶデータをＤＤＲメインメモリ１６ａに転送する。エンコード有りの場合は、主画像データをエンコードすると共にストリームをＤＤＲメインメモリ１６ａに転送する。また、サムネイル画像については、サムネイル画像データをエンコードすると共にストリームをＤＤＲメインメモリ１６ａに転送する。ここで、本例におけるＤＤＲメインメモリ１６ａは、ＤＤＲインターフェースも含むものとなっている。
【００７４】
第１の入力画像選択部２８及び第２の入力画像選択部２９は、複数ルートからの入力画像データを選択する図２乃至図６に示したセレクタ２７の機能を有する。基本的には、通常動画撮影時にはＤＤＲメインメモリ１６ａからの生動画像データ又はデコード済みの動画像データから取得された静止画フレームを選択する。また、動画撮影時の静止画撮影時には、高速撮影ルートからの静止画フレームを選択する。動画再生時には動画再生ルート、すなわちＤＤＲメインメモリ１６ａに書き込みされている生動画像データ又はデコード済みの動画像データから取得された入力静止画フレームを選択する。
【００７５】
主画像サイズ変換部２１ａ、サイズ変換部２１ｂでは、カメラ信号処理部１３からの動画像データ又はＤＤＲメインメモリ１６ａからの動画像データから取得された静止画フレームがそれぞれ主画像用、サムネイル用のサイズに変換される。
【００７６】
水平方向、及び垂直方向のサイズ変換を施された静止画フレームは、メモリコントローラ２２１ａ、２２１ｂに制御されるそれぞれバッファ２２２ａ、２２２ｂに格納される。このラインメモリ２２ａ、２２ｂを構成するバッファ２２２ａ、２２２ｂは、８×８ＤＣＴに必要な画素を記憶するための８ライン分のバッファであり、
Ｙ８ライン×３面＋Ｃ８ライン×３面（フォーマット４：２：２の場合）
Ｙ１６ライン×３面＋Ｃ８ライン×３面（画像フォーマット４：２：０の場合）
の構成となっている。面数はシングルポート時とする。３面としたのは、後述するように、後段に控えるＪＰＥＧエンコード処理のリアルタイム処理で一時的に処理負担が増して処理レートが下がった場合の処理低下を吸収すると共に、その後段のＤＤＲメインメモリ１６ａへの書き込み処理が停滞した場合の遅延を吸収するためである。なお、システム構成によっては２面構成とすることも可能である。
【００７７】
ＪＰＥＧコア２３ｃにより、
・主画像エンコードなし時のＹＵＶ転送
・主画像エンコード有り時のエンコード処理＋ストリーム転送
・サムネイルエンコードなし時のＹＵＶ転送
・サムネイルエンコード有り時のエンコード処理＋ストリーム転送
等が実施される。また、主画像エンコード時にはＤＤＲメインメモリ１６ａの転送前にストリーム用バッファ２３１を使用する。
【００７８】
バッファ２３１は、ＳＲＡＭ２面構成等とすることができる。なお、容量はシステム構成により様々であり、ＤＤＲメインメモリ１６ａに転送データを書き込みするための書き込み処理が停滞した場合の遅延を吸収することができればよい。
【００７９】
＜サイズ変換部の処理＞
次に、サイズ変換部２１について詳細に説明する。図８は、サイズ変換部２１の詳細を示すブロック図である。取得される静止画データに応じて、２チャンネル構成となっている。これにより、２ライン（プログレッシブならＯＤＤ（奇数番目）、ＥＶＥＮ（偶数番目））同時に入力された場合にもデータを処理することができる。２チャンネル同時とすることにより、カメラ処理の処理クロックレートを下げることができる。
【００８０】
入力画像は、水平フィルタ（ｃｈ１）４１、水平フィルタ（ｃｈ２）４２で、必要な周波数特性に制限される。例えば、サンプリング周波数をｆｓの水平１０２４画素×垂直７６８ラインを５１２画素×３８４ラインに間引くとした場合、フィルタのカットオフ周波数をｆｓ／４になるように設定してフィルタリングする。そして、水平間引き回路４３で５１２画素に間引きし、スケーラ用バッファ２１２ａに書き込みする。水平フィルタ回路４１、４２による周波数特性の制限を行わないで間引きを実行すると、いわゆるモワレ（折り返し歪）が発生する。
【００８１】
スケーラ処理ラインメモリコントローラ４４では、水平間引き回路４３により間引きした画像データのスケール調整をする。具体的には、間引き後のデータについて、サンプル点がサンプリング点の間にある場合フィルタリング処理された画像信号２サンプル分から補間後サンプルの距離に応じて演算して値を求めて、画素間の直線補間等を実施する。
【００８２】
水平補間後の静止画フレームは、垂直フィルタ回路４５、４６に出力される。水平方向と同様に折り返し歪の発生を抑制するため、垂直フィルタ回路４５、４６により、ラインメモリ（スケーラ用バッファ２１２ａ）から読み出された静止画データに対して垂直方向にフィルタリング処理する。フィルタリング後に、垂直間引き回路４７により垂直間引きを行い、必要な画像データのみ、その後段のメモリコントローラ２２１ａ、２２１ｂを介してラインメモリ２２２ａ、２２２ｂに書き込みする。
【００８３】
ここで、サイズ変換は、主画像とサムネイル画像とで、独立して並列処理することができる。また、スケーラ用バッファ２１２ａを共有してバッファサイズを削減することも可能である。例えば、主画像用静止画データを、水平フィルタ回路４１、４２における周波数特性削減処理でｆｓ／４にする場合について考える。その後段に直列で接続されたサムネイル用水平フィルタ回路４８、４９でのフィルタ処理では水平１６０画素×垂直１２０ラインとする。したがって、
サイズ変換部２１１ａのみ（それぞれ独立使用）：ｆｓ／１２．８処理必要
サイズ変換部２１１ａ＋２１１ｂ
スケーラ１＋スケーラ２（後段に直列で接続する）：ｆｓ／６．４処理（前段でｆｓ／２→ｆｓ／４のため）
で構成され、後段に直列で接続する方が、周波数特性の制限幅が少なくてすむ。制限幅が少ない場合、同じ次数ならば帯域の制限効率がよく画質メリットを生じる。一方、同程度の画質でよいのであれば、次数を減らすことが可能となる。その結果、スケーラ用バッファ２１２ｂの必要ラインメモリが少なくなり、余ったラインメモリを他のリソースに振り分けることができる。
【００８４】
サムネイル用のサイズ変換部は、垂直フィルタ回路４５、４６と垂直間引き回路４７との間の信号が使用される。すなわち、主画像用のサイズ変換部でサイズ変換された後の静止画データのサイズ変換を行う。サムネイル用のサイズ変換部も、水平フィルタ回路４８、４９、水平間引き回路、スケーラ処理ラインメモリコントローラ、垂直フィルタ回路、垂直間引き回路を同様に有し、同様の処理によりサイズ変換した静止画画像を出力する。
【００８５】
バッファ２２２ａ、２２２ｂに書き込みされた静止画データは、例えば８ラインデータとして書き込みされる毎にＤＤＲメインメモリ１６ａへ転送される。ＤＤＲメインメモリ１６ａ側の処理は、システムに応じて様々であるが、静止画ルートや動画ルート、その他カメラ制御信号のための演算結果などをＤＤＲメインメモリ１６ａに書き込みするのが通常である。したがって、静止画フレームのリアルタイム記録処理のデータレート以上のレートを処理できる帯域を確保するよう構成されている。ただし、静止画フレームのリアルタイム記録処理以外のデータでバス１０のバス帯域を占有する瞬間も有り得る。よっって、撮像装置は、ＤＤＲメインメモリ１６ａの処理遅延を吸収するために、スケーラ用バッファ２１２ａ、２１２ｂ、バッファ２２２ａ、２２２ｂ、及びストリーム用バッファ２３１などを有している。
【００８６】
＜３面構成のラインメモリについて＞
次に、ラインメモリ２２を３面構成とすることが好ましい理由について説明する。図９は、８ラインメモリが２面構成の例を示す図、図１０は、８ラインメモリが２面構成の例を示す図である。図９に示すように、２面構成のラインメモリ５０は、８ラインメモリ５１、５２がスイッチ６１により切り替えられる。また、図１０に示すように、３面構成のラインメモリ７０は、８ラインメモリ７１乃至７３がスイッチ８２により切り替えられる。
【００８７】
図１１は、ラインメモリ５０への書き込み期間及び読み出し期間、並びにＪＰＥＧエンコード期間を示すタイミングチャートである。ラインメモリ５０の書き込みは、８水平同期期間（Ｔ１乃至Ｔ８）継続して行い、読み出しは、ＪＰＥＧエンコーダが８ライン分のデータをエンコードするタイミングとほぼ等しくなる。
【００８８】
ＪＰＥＧエンコーダのエンコード期間は、入力画像データによって処理にかかる演算量が変化する。ほとんどの場合は、圧縮率が１以下であり、エンコード処理は８ライン以下の処理期間であるが、複雑な絵柄の場合には、圧縮率が１以上となり、８ライン以上の処理期間となる場合がある。
【００８９】
図１１において期間Ｔ１１で複雑な絵柄になるとする。この場合、ラインメモリ５１が画像データを読み出す期間が８ライン分の長さ（Ｔ６）より長くなり、ラインメモリ５１の書き込み期間Ｔ７とタイミングが重なる期間Ｔ１２が発生する。この期間は、読み出そうとするラインメモリ上に、新しいデータの書き込みが発生するため、正しいＪＰＥＧエンコードが行なえなくなる。
【００９０】
図１２は、３面構成のラインメモリ８０への書き込み期間、読み出し期間、ＪＰＥＧエンコード期間を示す図である。図１２に示すように、ＪＰＥＧエンコーダのエンコード期間が、入力画像が複雑な絵柄の場合で、８ライン以上の処理期間となる期間Ｔ１１の場合でも、ラインメモリ７２を読み出す期間Ｒ５が８ラインより長くなり、書き込みを行なうラインメモリがメモリライン７１（Ｔ７）であるので、同一ラインメモリにおいてタイミングが重なる期間が発生せず、正しくＪＰＥＧエンコードを行なうことができる。
【００９１】
すなわち、ラインメモリ２２を、８ラインメモリの３面構成とすることによって、圧縮率を１近傍とした場合にも、タイミングを気にする必要がなくなる。
【００９２】
このように、一部のラインメモリを、静止画フレームのリアルタイム処理時の処理レートの変動を吸収するバッファとして機能させることができる。一方で、このラインメモリは、圧縮処理後の圧縮データがＤＤＲメインメモリ１６へ書き込みされる際のタイミングを調整するバッファとして機能させることも可能である。
【００９３】
＜バス１０の調停処理＞
ＤＤＲメインメモリ１６ａのバス１０にデータデータを出力する際には、バス１０の調停が行なわれ、バス１０へのデータ出力が許可されるブロックが優先度に応じて決定される。出力が許可されたブロックはデータをＤＤＲメインメモリ１６ａに出力し、それ以外の許可されなかったブロックは出力許可が出されるまで出力を停止する。
【００９４】
すなわち、ＪＰＥＧコーデック２３がＪＰＥＧエンコードストリームをＤＤＲメインメモリ１６ａのバス１０に出力する際、バス１０への出力が許可されなければ、ＪＰＥＧストリームの出力を停止する動作を行なう。図１３は、同じく、３面構成のラインメモリ８０への書き込み期間、読み出し期間、ＪＰＥＧエンコード期間の他の例を示す図である。図１３において、期間Ｔ１３で示す期間は、他のブロックがバス１０への出力を許可され、ＪＰＥＧコーデック２３はＪＰＥＧストリームをバス１０に出力できなくなる期間を示す。
【００９５】
ＪＰＥＧコーデック２３は、出力が許可されるまで出力段に設けられたバッファにＪＰＥＧエンコードストリームを蓄積する。出力許可後にバッファからＤＤＲメインメモリ１６ａのバス１０へＪＰＥＧエンコードストリームを出力すれば、ＪＰＥＧストリームを途切れさせることなく動作が可能である。
【００９６】
出力段のバッファ容量以上の期間、出力許可が得られない場合には、ＪＰＥＧストリームが途切れてしまうため、バッファ容量は大きく余裕をもたせる必要がある。ここで、ラインメモリ２２の８ラインメモリを使用することで、ＤＤＲメインメモリ１６の出力バッファ容量が足りなくなることを防ぐことができる。
【００９７】
すなわち、ラインメモリ２２の８ラインメモリからの読み出しタイミングをＤＤＲメインメモリ１６ａのバス１０への出力が可能となるまで遅らせて（Ｒ４）、ＪＰＥＧエンコードの開始を遅らせることにより、ＪＰＥＧストリームをＤＤＲメインメモリ１６ａに転送するタイミングを遅らせることができる。
【００９８】
なお、図１３においては、説明のためＪＰＥＧストリームの占める割合を大きくとっているが、実際には、動画用のサイズ変換出力、動画コーデック、及びビデオ処理等を合わせた状態で、このようなタイミングが発生する。後述の実施の形態２にて説明するように、各ブロックのＤＤＲメインメモリ１６ａバス１０への出力段は、バス出力できないことに対応するためにバッファを有している。そして、本例のように、ＪＰＥＧコーデック２３の前段にあるラインメモリ２２の８ラインメモリも、バス出力を調整するバッファと同様の役割を持たせることが可能である。
【００９９】
＜撮像装置１による動画再生時の静止画キャプチャ動作＞
次に、動画再生時の静止画キャプチャ動作について説明しておく。なお、本動作は従来の撮像装置の動作と同様である。図１４は、撮像装置の再生時の動作を説明する図である。図１４に示すように、動画再生時には、ＤＤＲメインメモリ１６に書き込みされているエンコード済みのエンコード動画データが動画デコーダ２０ｂに入力され、デコードされてＤＤＲメインメモリ１６に書き込みされる。デコードされた動画像データは、上述したように、ビデオ信号処理部２４にてビデオ信号処理され、ＬＣＤ２６やＨＤＭＩ２５に出力される。
【０１００】
また、ＤＤＲメインメモリ１６に書き込みされている生データ又はデコード済みの動画像データをＬＣＤ２６に出力し表示することで任意のタイミングでユーザがシャッタを押すことができる。この場合、シャッタのタイミングに応じた静止画フレームが取得され、セレクタ２７を介してＪＰＥＧエンコーダ２３ａに入力され、エンコードされてＤＤＲメインメモリ１６に書き込みされる。なお、動画像データから静止画フレームを取得する場合に、２枚以上のフレームから平均又は加重平均して１枚の静止画フレームを生成するようにしてもよい。
【０１０１】
本実施の形態においては、撮影中の動画像データから取得した静止画フレームをメインメモリに書き込みせずに直接リアルタイムにエンコードすることで、最小の回路規模、最小の動作クロック、及びそれに伴う最小の消費電力を実現しつつ、多画素の画像サイズであってもより枚数の多い、例えば１秒間に６０フレーム等の高速撮影処理を実現することができる。さらに、通常、動画取得処理を行ないながらの静止画取得処理は、システム的に負担がかかる。したがって実現するためにはコストが増大し、バスクロック周波数を高める等、ＬＳＩ生成難易度が上がると共に消費電力の増加に繋がったり、動画処理レートが低減する等のデメリットや制限が発生するが、本実施の形態においては、静止画処理を高効率化することができ動画取得処理に影響を及ぼすことなく高速な静止画取得処理を実行することができる。すなわち、必要最小限の構成で動画再生時においても高速、高効率に静止画キャプチャを実現することができる。
【０１０２】
＜本発明の実施の形態２．＞
次に、本発明の実施の形態２について説明する。図１５は、本実施の形態にかかる撮像装置を示すブロック図である。図２に示すように、本実施の形態にかかる撮像装置１ａにおいては、静止画フレーム取得部９４が設けられている。上述したように、１秒間６０フレームからなる動画像データの全フレームを高速撮影ルートＲ１にて処理する場合は、全データを順次サイズ変換部２１、ラインメモリ２２、ＪＰＥＧコーデック２３に送ればよく、特に静止画フレーム取得部９４を設ける必要はない。
【０１０３】
ユーザが動画を撮像しながら又は動画を再生しながら任意のタイミングでシャッタを押して静止画撮影をする場合は、静止画フレーム取得部９４にはそのシャッタタイミングが入力され、そのスイッチング動作等により、カメラ信号処理部１３から出力される動画像データ又はＤＤＲメインメモリ１６に書き込みされているデコード済みの動画データから所定のフレームの画像データがサイズ変換部２１側へ流れるようにする。
【０１０４】
そして、本実施の形態にかかる撮像装置においては、動画像データがＤＤＲメインメモリ１６へ書き込みされる際及びＪＰＥＧコーデック２３からのエンコードデータがＤＤＲメインメモリ１６へ書き込みされる際等にＤＤＲメインメモリ１６のバス１０の使用を調停するための複数のタイミング調整用バッファ９１乃至９３が設けられている。
【０１０５】
また、複数のタイミング調整用バッファ９１乃至９３を制御する調停部として機能するアービタ９５を有する。高速撮影ルートＲ１を通る静止画データはエンコードされてＤＤＲメインメモリ１６に書き込みされるが、あるタイミングにおいては、ＤＤＲメインメモリ１６のバス１０のバス帯域が不足する場合があり、このバス帯域をこの複数のタイミング調整用バッファ９１乃至９３を使用して調停する必要が生じる場合がある。
【０１０６】
なお、ここでは、タイミング調整用バッファ９１乃至９３のみ図示しているが、ＳＤカード１７やビデオ信号処理部２４等にも必要に応じてタイミング調整用バッファを設けてもよいことは勿論である。
【０１０７】
＜アービタ９５の制御＞
図１６は、アービタ９５の制御を説明するための図である。本例においては、アービタ９５は、動画像データのサイズ変換部１９のサイズ変換後のＤＤＲメインメモリ１６へのデータの書き込み（Ａ）、動画コーデック２０のＤＤＲメインメモリ１６からの読み出し（Ｂ）、動画コーデック２０のＤＤＲメインメモリ１６への書き込み（Ｃ）、及びＪＰＥＧコーデック２３のエンコードデータのＤＤＲメインメモリ１６への書き込み（Ｄ）動作について調停する場合について説明する。
【０１０８】
図１６には、サイズ変換部１９、動画コーデック２０のリード時、動画コーデック２０のライト時、ＪＰＥＧコーデック２３のＤＤＲメインメモリ１６へのアクセスリクエストをアービタ９５に伝えるリクエスト信号と、アクセスが許可されない場合にアービタ９５からうけとるウェイト信号とを示している。アービタ９５は、リクエスト信号を受け取ると、他にリクエスト信号を受け取っておらず、ＤＤＲメインメモリ１６のバス１０のバス帯域が空いていれば、アクセスを許可する。
【０１０９】
一方、アービタ９５が複数のリクエスト信号を受け取った場合、例えばタイミングＴ２１においては、優先度３の動画コーデックリードのリクエスト信号と、優先度４の動画コーデックライトのリクエスト信号とが出力されている。この場合、アービタ９５は、動画コーデックライトのウェイト信号を出力し、動画コーデックライトを停止させ、より優先度が高い優先度３の動画コーデックリードの処理を実行させる。
【０１１０】
また、タイミングＴ２２でリクエスト信号を出力した動画コーデックライトがライトしている間に、優先度２のサイズ変換部１９がリクエスト信号を出力している。ただし、この後、より優先度が高い優先度１のＪＰＥＧコーデック２３からリクエスト信号が出力されている。したがって、サイズ変換部１９は優先度がＪＰＥＧコーデック２３より低いため、再びウェイト状態となり、ＪＰＥＧコーデック２３のライト動作が終了したタイミングＴ２４で、サイズ変換部１９のライド動作が許可されることとなる。
【０１１１】
このように頻繁に発生するウェイト時に、タイミング調整用バッファ９１乃至９３にデータを蓄えることで、サイズ変換部１９、動画コーデック２０、ＪＰＥＧコーデック２３の動作を途切れないようにすることができる。上述したように、本実施の形態にかかる撮像装置は、動画撮影時に高速静止画撮影を可能とするため、静止画フレームをＤＤＲメインメモリ１６に書き込みすることなく、直接リアルタイムにエンコードする。このことにより、静止画フレームの生データをＤＤＲメインメモリ１６に一旦書き込みした後、エンコードするという従来のルートに比して、ＤＤＲメインメモリ１６のバス１０のバス帯域にかかる負荷を低減することができ、結果、高速静止画撮影を可能としている。すなわち、従来は、動画撮像と同時では、１秒間に複数枚、高々１０枚程度しか静止画撮影を行うことができなかった。これに対し、本実施の形態においては、静止画フレームをＤＤＲメインメモリ１６に書き込みすることなくリアルタイムにエンコードしてからＤＤＲメインメモリ１６に書き込みすることで、例えば１秒間に６０フレームからなる動画像データの全フレームについて静止画フレームの取得が可能となる。
【０１１２】
そして、動画撮影時に高速静止画撮影をすると、ＤＤＲメインメモリ１６のメモリ帯域幅が不足する場合が生じる。このような場合であっても、本実施の形態のように、タイミング調整用バッファ９１乃至９３等を設け、アービタ９５でバス１０の調停を実施することで、ＤＤＲメインメモリ１６への処理を滞りなく実施することができる。
【０１１３】
また、タイミング調整用バッファ９１は、ＪＰＥＧコーデック２３のＤＤＲメインメモリ１６のバス帯域使用時のタイミングを調整するために設けられているが、上述したように、本実施の形態にかかるＪＰＥＧコーデック２３は、８ラインメモリの３面構成となっている。よって、このラインメモリの一部をタイミング調整用バッファ９１の代わりに使用してもよい。
【０１１４】
本実施の形態においても実施の形態１と同様に、静止画撮影において、高効率処理、高速処理、及び低コスト化が可能な撮像装置を提供することができる。特に動画撮影時においても効率的な静止画処理により、より低コストで高速な静止画処理を可能とする。
【０１１５】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１１６】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【０１１７】
１  撮像装置
１１  レンズ
１２  撮像素子
１３  カメラ信号処理部
１４  ズーム・フォーカス制御部
１５  ＣＰＵ
１６  ＤＤＲメインメモリ
１６ａ  ＤＤＲメインメモリ
１７  ＳＤカード
１８  ＵＳＢ
１９  サイズ変換部
２０  動画コーデック
２０ａ  動画エンコーダ
２０ｂ  動画デコーダ
２１  サイズ変換部
２１ａ  主画像サイズ変換部
２１ｂ  副画像サイズ変換部
２１ｃ  主画像サイズ変換部
２１ｄ  副画像サイズ変換部
２２  ラインメモリ
２２ａ  ラインメモリ
２２ｂ  ラインメモリ
２３  ＪＰＥＧコーデック
２３ａ  ＪＰＥＧエンコーダ
２３ｂ  ＪＰＥＧエンコーダ
２３ｃ  ＪＰＥＧコア
２４  ビデオ信号処理部
２５  ＨＤＭＩ
２６  ＬＣＤ
２７  セレクタ
２８  第１の入力画像選択部
２９  第２の入力画像選択部
３０  動画カメラ処理
３１  動画記録処理
４１  水平フィルタ回路
４２  水平フィルタ回路
４３  水平間引き回路
４４  スケーラ処理ラインメモリコントローラ
４５  垂直フィルタ回路
４６  垂直フィルタ回路
４７  垂直間引き回路
４８  水平フィルタ回路
４９  水平フィルタ回路
９１  タイミング調整用バッファ
９２  タイミング調整用バッファ
９３  タイミング調整用バッファ
９４  静止画フレーム取得部
９５  アービタ
２１１ａ  サイズ変換部
２１１ｂ  サイズ変換部
２１２ａ  スケーラ用バッファ
２１２ｂ  スケーラ用バッファ
２２１ａ  メモリコントローラ
２２１ｂ  メモリコントローラ
２２２ａ  バッファ
２２２ｂ  バッファ
【図１】
2012175303.tif 000003
【図２】
2012175303.tif 000004
【図３】
2012175303.tif 000005
【図４】
2012175303.tif 000006
【図５】
2012175303.tif 000007
【図６】
2012175303.tif 000008
【図７】
2012175303.tif 000009
【図８】
2012175303.tif 000010
【図９】
2012175303.tif 000011
【図１０】
2012175303.tif 000012
【図１１】
2012175303.tif 000013
【図１２】
2012175303.tif 000014
【図１３】
2012175303.tif 000015
【図１４】
2012175303.tif 000016
【図１５】
2012175303.tif 000017
【図１６】
2012175303.tif 000018