(57)【特許請求の範囲】
【請求項１】
被写体像を撮像して画像データを生成する撮像部と、
第１ポートおよび第２ポートを有し、前記第１ポートおよび前記第２ポートそれぞれ独立してデータアクセス可能なマルチポートメモリと、
前記撮像部で生成される前記画像データを、前記第１ポートを介して前記マルチポートメモリに書き込むマイクロプロセッサと、
前記マイクロプロセッサにより前記第１ポートを介して前記マルチポートメモリに書き込まれた前記画像データを、前記第２ポートを介して読み出して前記画像データにソフトウェア信号処理を施し、前記ソフトウェア信号処理が施された処理済み画像データを、前記第２ポートを介して前記マルチポートメモリに書き込むデジタルシグナルプロセッサとを備え、
前記マイクロプロセッサは、前記デジタルシグナルプロセッサによる前記ソフトウェア信号処理と並行して、前記第１ポートを介して前記マルチポートメモリ内の前記処理済み画像データを読み出して記録媒体に記録する
ことを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記マイクロプロセッサは、前記記録媒体に対する記録動作の進捗に応じて、前記マルチポートメモリに対するデータアクセスをコントロールし、前記マルチポートメモリのオーバーフローを回避することを特徴とする電子カメラ。
【請求項３】
請求項１または請求項２のいずれか１項に記載の電子カメラにおいて、
前記マイクロプロセッサは、前記デジタルシグナルプロセッサにおける前記ソフトウェア信号処理の進捗に応じて、前記マルチポートメモリに対するデータアクセスをコントロールし、前記ソフトウェア信号処理の待ち期間を短縮することを特徴とする電子カメラ。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、
前記撮像部で生成される前記画像データに対して、ハードウェアによる信号処理を行う信号処理エンジンと、
前記画像データに対して解像度変換を実施し、縮小画像を生成する解像度変換部とを備え、
前記デジタルシグナルプロセッサは、前記信号処理エンジンによる前記信号処理と並行して、前記縮小画像に対して前記ソフトウェア信号処理を施すことを特徴とする電子カメラ。
【請求項５】
請求項４に記載の電子カメラにおいて、
前記デジタルシグナルプロセッサは、前記画像データに付随する音声データに対してソフトウェア信号処理を施すことを特徴とする電子カメラ。
【請求項６】
請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、
前記画像データに対して解像度変換を実施し、縮小画像を生成する解像度変換部を備え、
前記デジタルシグナルプロセッサは、前記縮小画像に対してソフトウェア信号処理を施した後に、前記画像データに対してソフトウェア信号処理を施すことを特徴とする電子カメラ。
【請求項７】
第１ポートおよび第２ポートを有し、前記第１ポートおよび前記第２ポートそれぞれ独立してデータアクセス可能なマルチポートメモリと、
画像データを、前記第１ポートを介して前記マルチポートメモリに書き込むマイクロプロセッサと、
前記マイクロプロセッサにより前記第１ポートを介して前記マルチポートメモリに書き込まれた前記画像データを、前記第２ポートを介して読み出して前記画像データに前記ソフトウェア信号処理を施し、前記ソフトウェア信号処理が施された処理済み画像データを、前記第２ポートを介して前記マルチポートメモリに書き込むデジタルシグナルプロセッサとを備え、
前記マイクロプロセッサは、前記デジタルシグナルプロセッサによる前記ソフトウェア信号処理と並行して、前記第１ポートを介して前記マルチポートメモリ内の前記処理済み画像データを読み出して記録媒体に記録する
ことを特徴とする電子カメラ用の制御ＩＣ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子カメラ、および電子カメラ用の制御ＩＣに関する。
【０００２】
【従来の技術】
従来、システムコントロール用のマイクロプロセッサと、ハードウェア構成の信号処理エンジン（例えばＪＰＥＧ圧縮ＩＣ）とを搭載した電子カメラが知られている。
この信号処理エンジンは、ハードウェア構成のため、画像データを高速に処理できるという点で非常に優れている。しかし、この信号処理エンジンは、予め固定されたアルゴリズムに従って信号処理を行うため、信号処理の内容を柔軟に変更するといった用途には適さない。
【０００３】
通常、このような柔軟性の要求される信号処理には、マイクロプロセッサによるソフトウェア信号処理がよく使用される。
例えば、既定の記録フォーマットに基づく画像圧縮（ＪＰＥＧ圧縮など）にはハードウェアの信号処理エンジンが使用され、メーカー独自で工夫する画像圧縮（ＲＡＷデータに対するロスレス圧縮など）には、マイクロプロセッサのソフトウェア信号処理が使用されるといった具合である。
【０００４】
【発明が解決しようとする課題】
ところで、上述したマイクロプロセッサは、画像データのソフトウェア信号処理の他に、電子カメラのシステムコントロール（撮像素子の制御や、記録媒体に対する画像記録など）も併せて実施しなければならない。
そのため、マイクロプロセッサの処理負荷が重くなり、電子カメラの処理が全般に渋滞して遅くなるといった問題が生じる。
そこで、本発明は、電子カメラ（または電子カメラ用の制御ＩＣ）において、システムコントロールとソフトウェア信号処理とを円滑に実施することを目的とする。
【０００５】
【課題を解決するための手段】
上述した課題を解決するため、本発明は下記のように構成される。
【０００６】
《請求項１》
請求項１の電子カメラは、被写体像を撮像して画像データを生成する撮像部と、第１ポートおよび第２ポートそれぞれ独立してデータアクセス可能なマルチポートメモリと、撮像部で生成される画像データを、第１ポートを介してマルチポートメモリに書き込むマイクロプロセッサと、マイクロプロセッサにより第１ポートを介してマルチポートメモリに書き込まれた画像データを、第２ポートを介して読み出して画像データにソフトウェア信号処理を施し、ソフトウェア信号処理が施された処理済み画像データを、第２ポートを介してマルチポートメモリに書き込むデジタルシグナルプロセッサとを備える。
このマイクロプロセッサは、デジタルシグナルプロセッサによるソフトウェア信号処理と並行して、第１ポートを介してマルチポートメモリ内の処理済み画像データを読み出して記録媒体に記録する。
【０００７】
《請求項２》
請求項２の電子カメラは、請求項１の電子カメラにおいて、マイクロプロセッサが、記録媒体に対する記録動作の進捗に応じて、マルチポートメモリに対するデータアクセスをコントロールし、マルチポートメモリのオーバーフローを回避する。
【０００８】
《請求項３》
請求項３の電子カメラは、請求項１または請求項２のいずれか１項の電子カメラにおいて、マイクロプロセッサは、デジタルシグナルプロセッサにおけるソフトウェア信号処理の進捗に応じて、マルチポートメモリに対するデータアクセスをコントロールして、ソフトウェア信号処理の待ち期間を短縮する。
【０００９】
《請求項４》
請求項４の電子カメラは、請求項１ないし請求項３のいずれか１項の電子カメラにおいて、撮像部で生成される画像データに対して、ハードウェアによる信号処理を行う信号処理エンジンと、画像データに対して解像度変換を実施し、縮小画像を生成する解像度変換部とを備える。デジタルシグナルプロセッサは、信号処理エンジンによる信号処理と並行して、縮小画像に対してソフトウェア信号処理を施す。
【００１０】
《請求項５》
請求項５の電子カメラは、請求項４の電子カメラにおいて、デジタルシグナルプロセッサは、画像データに付随する音声データに対してソフトウェア信号処理を施す。
【００１１】
《請求項６》
請求項６の電子カメラは、請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、画像データに対して解像度変換を実施し、縮小画像を生成する解像度変換部を備える。デジタルシグナルプロセッサは、縮小画像に対してソフトウェア信号処理を施した後に、画像データに対してソフトウェア信号処理を施す。
【００１２】
《請求項７》
請求項７の制御ＩＣは、第１ポートおよび第２ポートを有し、第１ポートおよび第２ポートそれぞれ独立してデータアクセス可能なマルチポートメモリと、画像データを、第１ポートを介してマルチポートメモリに書き込むマイクロプロセッサと、マイクロプロセッサにより第１ポートを介してマルチポートメモリに書き込まれた画像データを、第２ポートを介して読み出して画像データにソフトウェア信号処理を施し、ソフトウェア信号処理が施された処理済み画像データを、第２ポートを介してマルチポートメモリに書き込むデジタルシグナルプロセッサとを備える。
このマイクロプロセッサは、デジタルシグナルプロセッサによるソフトウェア信号処理と並行して、第１ポートを介してマルチポートメモリ内の処理済み画像データを読み出して記録媒体に記録する。
【００１３】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【００１４】
［電子カメラの構成説明］
図１は、本実施形態における電子カメラ１１の構成を示す図である。図１に示す点線で囲まれた範囲は、制御ＩＣ１０に該当する。電子カメラ１１の信号処理系は、この制御ＩＣ１０と、その周辺部品とによって構成される。
以下、電子カメラ１１の構成について細かく説明する。
【００１５】
まず、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。この撮像素子１３から出力される画像データは、Ａ／Ｄ変換部１４を介してデジタル化される。このデジタル化された画像データは、インターフェース回路１５を介して、ハードウェアからなる信号処理エンジン１６に入力される。
【００１６】
この信号処理エンジン１６は、画像処理ブロック１７、ＪＰＥＧブロック１８、および解像度変換ブロック１９からブロック構成される。
この画像処理ブロック１７は、欠陥画素補正、光学的黒レベル補正、ゲイン調整、ホワイトバランス調整、ガンマ補正、色補間処理、色補正処理、色座標変換処理、および空間周波数フィルタ処理などの信号処理を実行する。
【００１７】
また、ＪＰＥＧブロック１８は、ＪＰＥＧ（joint photographic coding experts group）の圧縮伸張処理を実行するブロックである。
一方、解像度変換ブロック１９は、画像サイズ（縦横方向の画素数）の変換を行うブロックである。この解像度変換ブロック１９を使用することにより、サムネイル表示に使用する縮小画像（以下『サムネイル画像』という）や、モニタ表示に使用する縮小画像などを生成することができる。また、解像度変換ブロック１９を用いて、電子ズーム機能を実現することもできる。
【００１８】
信号処理エンジン１６内のブロック１７〜１９は、信号処理エンジン１６内の専用信号ラインを介して相互に信号接続される。
また、信号処理エンジン１６内のブロック１７〜１９は、ピクチャーバス２０を介して相互に信号のやり取りを行うこともできる。信号処理エンジン１６内の各ブロックは、このピクチャーバス２０を介して画像データの入出力を行う。このピクチャーバス２０には、ＦＩＦＯ（先入れ先出しバッファ）３０を介して、ビデオコントローラ３１やビデオエンコーダ３２なども接続される。ピクチャーバス２０からＦＩＦＯ３０に入力された画像データは、ビデオコントローラ３１およびビデオエンコーダ３２を介して、表示用のビデオ信号に加工された後、電子カメラ１１の背面部に設けられる液晶モニタ（不図示）へ出力される。
【００１９】
さらに、このピクチャーバス２０は、バス接続の切り換え動作を行うバスインターフェース２１を介して、外部バス２５に接続される。
また、外部バス２５には、ＳＤＲＡＭ（シンクロナスＤＲＡＭ）２６、ＲＯＭ２７、Ｉ／Ｏデバイス２８等の外部部品が接続される。このＳＤＲＡＭ２６に対する制御信号を生成するため、制御用ＩＣ１０には、ＳＤＲＡＭコントローラ２６ａが搭載される。また、ＳＤＲＡＭ２６に対してダイレクトにデータ転送を行うため、制御用ＩＣ１０には、ＤＭＡコントローラ２６ｂが搭載される。
【００２０】
上述したピクチャーバス２０を介して、このＳＤＲＡＭ２６、信号処理エンジン１６、およびＦＩＦＯ３０等の間では、画像データのやり取りが行われる。
一方、システムバス２４には、シリアルポート４１、ＵＳＢ（Universal Serial Bus）４２、およびカードインターフェース４３がそれぞれ接続される。このシリアルポート４１のポート端子は、制御ＩＣ１０の外部に引き出され、撮像素子１３を駆動するタイミングジェネレータ４４、およびオーディオＬＳＩ４５に接続される。また、ＵＳＢ４２の端子は、制御ＩＣ１０の外部に引き出され、必要に応じて外部のホストコンピュータ４６などに接続される。一方、カードインターフェース４３は、データ保存用のメモリカード４７に対してデータの読み書きを行う。
【００２１】
また、バスインターフェース２２の先には、システムコントロール用のマイクロプロセッサ５０、およびデジタルシグナルプロセッサ５５が接続される。このマイクロプロセッサ５０は、データキャッシュ５１、命令実行ユニットであるＲＩＳＣ（Reduced Instruction Set Computer）コア５２、および命令キャッシュ５３から構成される。また、デジタルシグナルプロセッサ５５は、命令実行ユニットであるＤＳＰコア５６（積和演算ユニットを含む）と、書き換え可能な画像処理プログラムを保持するプログラムＲＡＭ５７とから構成される。
【００２２】
マイクロプロセッサ５０は、バスインターフェース２１、２２を介して、外部バス２５に接続された外部デバイス（ＳＤＲＡＭ２６など）にアクセスすることができる。同様に、マイクロプロセッサ５０は、システムバス２４に接続されたデバイス（ＵＳＢ４２、カードインターフェース４３など）にアクセスすることができる。さらに、マイクロプロセッサ５０は、バスインターフェース２２を介してデジタルシグナルプロセッサ５５内のプログラムＲＡＭ５７を書き換えることができる（プログラムの変更）。それに加えて、バスインターフェース２１、２２は、システムバス２４と外部バス２５とを信号接続する機能を持つ。このようなバスインターフェース２１、２２は、主として、マイクロプロセッサ５０によりコントロールされる。
【００２３】
このようなマイクロプロセッサ５０およびデジタルシグナルプロセッサ５５の間には、マルチポートメモリ５４が配置される。すなわち、マルチポートメモリ５４の第１ポート５４ａには、マイクロプロセッサ５０が接続される。一方、マルチポートメモリ５４の第２ポート５４ｂには、デジタルシグナルプロセッサ５５が接続される。
このようなマルチポートメモリ５４としては、例えば、デュアルポートＲＡＭが使用される。
【００２５】
［ロスレス圧縮モードの動作説明］
図２は、ロスレス圧縮モードにおけるデータの流れを示す図である。
以下、図２を参照しながら、ロスレス圧縮モードの動作を説明する。
まず、ユーザーは、電子カメラ１１の操作釦（不図示）を操作して、ロスレス圧縮モードを選択する。
このロスレス圧縮モードの選択に応じて、マイクロプロセッサ５０は、デジタルシグナルプロセッサ５５に対し、ロスレス圧縮モード用のプログラム実行を指示する。
【００２６】
さらに、マイクロプロセッサ５０は、バスインターフェース２１、２２に対して、図２に示すような信号接続の切り換えを指示する。また、マイクロプロセッサ５０は、画像処理ブロック１７などに対して、ロスレス圧縮モードの動作を指示する。
このような一連の設定処理の後、電子カメラ１１のレリーズ釦（不図示）が押されると、マイクロプロセッサ５０は、タイミングジェネレータ４４を介して撮像素子１３を駆動し、撮像素子１３から画像データを読み出す。
【００２７】
読み出された画像データは、Ａ／Ｄ変換部１４およびインターフェース回路１５を介してデジタル化された後、画像処理ブロック１７に入力される。
画像処理ブロック１７は、この画像データに対してロスレス圧縮モードの画像処理（例えば、欠陥画素補正および光学的黒レベル補正）を施した後、ピクチャーバス２０に逐次出力する。
【００２８】
このピクチャーバス２０上の画像データは、バスインターフェース２１を介して、外部バス２５に逐次出力される。ＤＭＡコントローラ２６ｂは、外部バス２５に出力された画像データを、ＳＤＲＡＭ２６に逐次記録する。
一方、解像度変換ブロック１９は、この画像処理ブロック１７からの画像データを取り込んで解像度変換を逐次実施し、縮小画像（サムネイル画像）を生成する。
【００２９】
この場合、ＳＤＲＡＭ２６に記録される画像データと、解像度変換ブロック１９に入力されるデータは異なっていてよい。例えば、ＳＤＲＡＭ２６には、ＣＣＤＲＡＷデータを記録し、解像度変換ブロック１９にはＲＧＢやＹＣｂＣｒの画像を入力する。
解像度変換ブロック１９は、このように生成した縮小画像をシステムバス２４へ出力する。
【００３０】
マイクロプロセッサ５０は、この縮小画像をシステムバス２４を介して取り込み、第１ポート５４ａからマルチポートメモリ５４に書き込む。
この場合、マルチポートメモリ５４への縮小画像の転送を、ＤＭＡコントローラ２６ｂを用いて実行してもよい。その場合は、マイクロプロセッサ５０が、このＤＭＡコントローラ２６ｂにＤＭＡ転送の指示を行う。
【００３１】
デジタルシグナルプロセッサ５５は、マルチポートメモリ５４内の縮小画像を第２ポート５４ｂから逐次読み出し、縮小画像用のＪＰＥＧ圧縮（ソフトウェア圧縮）を実行する。デジタルシグナルプロセッサ５５は、生成される圧縮データを、第２ポート５４ｂからマルチポートメモリ５４に書き戻す。
一方、この縮小画像のＪＰＥＧ圧縮と同時並行して、マイクロプロセッサ５０は、メモリカード４７からの記録許可を待機する。メモリカード４７の記録許可が与えられると、マイクロプロセッサ５０は、マルチポートメモリ５４内に蓄積され縮小画像の圧縮データを読み出し、カードインターフェース４３を介してメモリカード４７に転送記録する。
【００３２】
この場合も、マルチポートメモリ５４からメモリカード４７へのデータ転送をＤＭＡ転送により行ってもよい。
このように、縮小画像のＪＰＥＧ圧縮（ソフトウェア圧縮）と記録処理とが同時並行に繰り返され、メモリカード４７内には、ファイルヘッダに縮小画像を格納した画像ファイルが新規に作成される。
【００３３】
このように縮小画像の処理が完了すると、マイクロプロセッサ５０は、ＳＤＲＡＭ２６内の画像データを、バスインターフェース２１、２２を介して、逐次読み出し、第１ポート５４ａからマルチポートメモリ５４に逐次書き込む（この動作をＤＭＡ転送で行ってもよい）。
デジタルシグナルプロセッサ５５は、マルチポートメモリ５４内の画像データを第２ポート５４ｂから逐次読み出し、ロスレス圧縮（ソフトウェア圧縮）を施す。デジタルシグナルプロセッサ５５は、ロスレス圧縮により生成される圧縮データを、第２ポート５４ｂからマルチポートメモリ５４に書き戻す（この動作をＤＭＡ転送で行ってもよい）。
【００３４】
一方、このロスレス圧縮と同時並行して、マイクロプロセッサ５０は、メモリカード４７からの記録許可を待機する。記録許可が与えられると、マイクロプロセッサ５０は、マルチポートメモリ５４内に蓄積された圧縮データを読み出し、メモリカード４７内に先に作成した画像ファイルの画像データ領域に逐次記録する。
このように、画像データのロスレス圧縮と記録処理とが同時並行に繰り返され、メモリカード４７内には、ロスレス圧縮モードの画像ファイルが作成される。
【００３５】
［ＪＰＥＧ圧縮モードの動作説明］
図３は、ＪＰＥＧ圧縮モードにおけるデータの流れを示す図である。
以下、図３を用いて、ＪＰＥＧ圧縮モードの動作を説明する。
まず、ユーザーは、電子カメラ１１の操作釦（不図示）を操作して、ＪＰＥＧ圧縮モードを選択する。
【００３６】
このＪＰＥＧ圧縮モードの選択に応じて、マイクロプロセッサ５０は、デジタルシグナルプロセッサ５５に対し、ＪＰＥＧ圧縮モードのプログラム実行を指示する。
さらに、マイクロプロセッサ５０は、バスインターフェース２１、２２に対して、図３に示すような信号接続の切り換えを指示する。また、マイクロプロセッサ５０は、画像処理ブロック１７などに対して、ＪＰＥＧ圧縮モードの動作を指示する。
【００３７】
このような一連の設定処理の後、電子カメラ１１のレリーズ釦（不図示）が押されると、マイクロプロセッサ５０は、タイミングジェネレータ４４を介して撮像素子１３を駆動し、撮像素子１３から画像データを読み出す。
読み出された画像データは、Ａ／Ｄ変換部１４およびインターフェース回路１５を介してデジタル化された後、画像処理ブロック１７に入力される。
【００３８】
画像処理ブロック１７は、この画像データに対してＪＰＥＧ圧縮用の画像処理（欠陥画素補正、光学的黒レベル補正、ゲイン調整、ホワイトバランス調整、ガンマ補正、色補間処理、色補正処理、色座標変換処理、および空間周波数フィルタ処理など）を施した後、ピクチャーバス２０に逐次出力する。
このピクチャーバス上の画像データは、バスインターフェース２１，２２を介して、外部バス２５に逐次出力される。ＤＭＡコントローラ２６ｂは、外部バス２５に出力された画像データを、ＳＤＲＡＭ２６に一時記録する。
【００３９】
このような一時記録の動作の合間に、ＤＭＡコントローラ２６ｂは、ＳＤＲＡＭ２６内の画像データを、ＪＰＥＧブロック１８内の画像バッファへ所定量ずつＤＭＡ転送する。
ＪＰＥＧブロック１８は、この画像バッファ内から画像データを最小処理単位ずつ読み出し、ハードウェアによるＪＰＥＧ圧縮を実施する。
【００４０】
ＪＰＥＧブロック１８は、生成された圧縮データを、ＪＰＥＧブロック１８内の符号バッファに蓄積する。ＤＭＡコントローラ２６ｂは、符号バッファ内の圧縮データを、ピクチャーバス２０の空き時間を利用して、ＳＤＲＡＭ２６に転送記録する。
このようなＪＰＥＧブロック１８の動作に同時並行して、解像度変換ブロック１９は、ピクチャーバス２０上の画像データを逐次取り込み、縮小画像（サムネイル画像）を生成する。解像度変換ブロック１９は、この縮小画像をシステムバス２４へ出力する。
【００４１】
マイクロプロセッサ５０は、この縮小画像をバスインターフェース２２を介して取り込み、第１ポート５４ａからマルチポートメモリ５４に書き込む（この動作をＤＭＡ転送で行ってもよい）。
デジタルシグナルプロセッサ５５は、マルチポートメモリ５４内の縮小画像を第２ポート５４ｂから読み出しながら、縮小画像用のＪＰＥＧ圧縮（ソフトウェア圧縮）を施す。デジタルシグナルプロセッサ５５は、生成された圧縮データを、第２ポート５４ｂからマルチポートメモリ５４に書き戻す。
【００４２】
一方、この縮小画像の圧縮処理と同時並行して、マイクロプロセッサ５０は、メモリカード４７からの記録許可を待機する。メモリカード４７から記録許可が与えられると、マイクロプロセッサ５０は、マルチポートメモリ５４内に蓄積された圧縮データを読み出して、カードインターフェース４３を介してメモリカード４７に転送記録する（この動作をＤＭＡ転送で行ってもよい）。
【００４３】
このように、縮小画像の圧縮処理（ソフトウェア圧縮）と記録処理とが同時並行に繰り返され、メモリカード４７内には、ファイルヘッダに縮小画像を格納した画像ファイルが新規作成される。
なお、これまでの説明では、画像処理ブロック１７の出力を一旦ＳＤＲＡＭ２６に記録したが、各ブロック間に専用のデータ路を設ければ、画像処理ブロック１７の出力を、解像度変換ブロック１９やＪＰＥＧブロック１８に送ることができる。
【００４４】
このようにして縮小画像の処理が完了すると、マイクロプロセッサ５０は、オーディオＬＳＩ４５に蓄積されたデジタルの音声データを、バスインターフェース２２を介して取得する。
マイクロプロセッサ５０は、この音声データを、第１ポート５４ａからマルチポートメモリ５４に書き込む。
【００４５】
デジタルシグナルプロセッサ５５は、マルチポートメモリ５４内の音声データを読み出しながら、ソフトウェアによる音声圧縮を施す。デジタルシグナルプロセッサ５５は、生成された音声データの圧縮データを、第２ポート５４ｂからマルチポートメモリ５４に書き戻す。
一方、この音声データの圧縮処理に同時並行して、マイクロプロセッサ５０は、メモリカード４７からの記録許可を待機する。メモリカード４７から記録許可が与えられると、マイクロプロセッサ５０は、マルチポートメモリ５４内に蓄積された音声データの圧縮データを第１ポート５４ａから読み出し、メモリカード４７内に先に作成した画像ファイルの音声データ領域に記録する。
【００４６】
なお、オーディオＬＳＩ４５がＡ／Ｄ変換後の音声データを蓄積できない場合、デジタルシグナルプロセッサ５５は、上述した縮小画像の処理に先行（あるいは並行）して、音声データの圧縮記録をリアルタイムに実行すればよい。
このようにして、縮小画像および音声データの処理が完了すると、マイクロプロセッサ５０は、ＳＤＲＡＭ２６内に蓄積された画像データの圧縮データを、バスインターフェース２１、２２を介して逐次読み出し、メモリカード４７内に先に作成した画像ファイルの画像データ領域に逐次記録する（この動作をＤＭＡ転送で行ってもよい）。
【００４７】
このようにして、『画像データのハードウェア圧縮』と同時並行して、『縮小画像のソフトウェア処理』および『音声データのソフトウェア処理』が実行される。
以上説明した動作により、メモリカード４７内には、ＪＰＥＧ圧縮モードの画像ファイルが作成される。
【００４８】
［本実施形態の動作上の特徴点について］
以下、本実施形態の特徴的な動作について説明する。
【００４９】
▲１▼本実施形態では、マルチポートメモリ５４を介して、マイクロプロセッサ５０とデジタルシグナルプロセッサ５５とが、データをやり取りする。
その結果、マイクロプロセッサ５０は、画像データをマルチポートメモリ５４に書き込むだけで、ソフトウェア信号処理（ここでは種々の圧縮処理）をデジタルシグナルプロセッサ５５に任せることができる。マイクロプロセッサ５０は、このように生まれた空き時間を利用して、圧縮データの記録処理を実行することが可能になる。その結果、マイクロプロセッサ５０の処理負担が軽くなり、電子カメラ１１の処理速度を高速化することが容易になる。
【００５０】
▲２▼メモリカード４７に対する記録動作が遅れると、記録前の圧縮データがマルチポートメモリ５４内に滞留する。この場合、マイクロプロセッサ５０は、画像データをマルチポートメモリ５４に書き込む動作を遅らせて（あるいは停止させて）、マルチポートメモリ５４のオーバーフローを回避する。
その結果、デジタルシグナルプロセッサ５５側では、処理すべき画像データが不足気味になり、ソフトウェア信号処理が全般に遅くなる。このような単純な動作により、ソフトウェア信号処理と画像記録とのタイミング調整を的確に実行することが可能になる。
【００５１】
▲３▼マルチポートメモリ５４内の画像データがソフトウェア圧縮されるに従って、圧縮前後のデータサイズの違いからマルチポートメモリ５４の空き容量は漸増する。マイクロプロセッサ５０は、この空き容量の変化を監視することにより、ソフトウェア信号処理の進み具合を把握することができる。マイクロプロセッサ５０は、この空き容量が大きくならないように、画像データをマルチポートメモリ５４に適時に書き込む。その結果、ソフトウェア圧縮の待ち時間を効果的に回避することが可能になる。
【００５２】
▲４▼本実施形態では、デジタルシグナルプロセッサ５５とは別に、ハードウェアのＪＰＥＧブロック１８を備える。マイクロプロセッサ５０は、ＪＰＥＧ圧縮モードでは、このＪＰＥＧブロック１８を使用して画像データのＪＰＥＧ圧縮をハードウェアにより実行する。一方、ロスレス圧縮モードでは、デジタルシグナルプロセッサ５５を使用して、メーカー独自に工夫した画像データのロスレス圧縮をソフトウェアにより実行する。
【００５３】
▲５▼本実施形態では、信号処理エンジン１６が画像データの圧縮処理に選択使用されると、デジタルシグナルプロセッサ５５が、縮小画像のソフトウェア圧縮を分担する。このような処理分担により、画像データおよび縮小画像の処理を高速に完了することが可能になる。
【００５４】
▲６▼本実施形態では、信号処理エンジン１６が画像データの信号処理に選択使用されると、デジタルシグナルプロセッサ５５が、音声データのソフトウェア信号処理も分担する。このような処理分担により、画像データおよび音声データの処理をより高速に完了することが可能になる。
【００５５】
［実施形態の補足事項］
なお、上述した実施形態では、デジタルシグナルプロセッサ５５において、種々の圧縮処理をソフトウェア的に切り換えて実施している。このように圧縮処理をソフトウェアにより実行することにより、多種多様な圧縮処理を実行できるという利点がある。
しかしながら、本発明のソフトウェア信号処理は、上述した圧縮処理に限定されるものではない。例えば、デジタルシグナルプロセッサ５５を使用して、画像データの画像処理などを、ソフトウェア信号処理として適宜実施してもかまわない。
【００５６】
また、上述した実施形態では、ＪＰＥＧ圧縮モードにおいて、音声データの圧縮記録を実施している。しかしながら、本発明はこれに限定されるものではない。ＪＰＥＧ圧縮モードにおいて、上述した音声データの圧縮記録を省略してもよい。
【００５７】
なお、上述した実施形態において、モーションＪＰＥＧ撮影モードを追加してもよい。このモーションＪＰＥＧ撮影モードでは、縮小画像（サムネイル画像）の記録が不要になる。したがって、ＪＰＥＧブロック１８による画像データのモーションＪＰＥＧ圧縮（ハードウェア圧縮）と、デジタルシグナルプロセッサ５５による音声データの圧縮（ソフトウェア圧縮）とを並行して、ほぼリアルタイムに処理することが可能になる。
【００５８】
また、上述した実施形態において、既存の画像ファイルに音声データをアフレコするモード（アフレコモード）を追加してもよい。このアフレコモードにおいて、デジタルシグナルプロセッサ５５は、音声データのほぼリアルタイムの圧縮に専念すればよい。
【００５９】
【発明の効果】
本発明によれば、電子カメラ（または電子カメラ用の制御ＩＣ）において、システムコントロールとソフトウェア信号処理とを円滑に実施することができる。
【図面の簡単な説明】
【図１】本実施形態における電子カメラ１１の構成を示す図である。
【図２】ロスレス圧縮モードにおけるデータの流れを示す図である。
【図３】ＪＰＥＧ圧縮モードにおけるデータの流れを示す図である。
【符号の説明】
１０  制御ＩＣ
１１  電子カメラ
１２  撮影レンズ
１３  撮像素子
１４  Ａ／Ｄ変換部
１５  インターフェース回路
１６  信号処理エンジン
１７  画像処理ブロック
１８  ＪＰＥＧブロック
１９  解像度変換ブロック
２０  ピクチャーバス
２１，２２  バスインターフェース
２４  システムバス
２５  外部バス
２６  ＳＤＲＡＭ
２６ａ  ＳＤＲＡＭコントローラ
２６ｂ  ＤＭＡコントローラ
２７  ＲＯＭ
２８  Ｉ／Ｏデバイス
３１  ビデオコントローラ
３２  ビデオエンコーダ
４１  シリアルポート
４２  ＵＳＢ
４３  カードインターフェース
４４  タイミングジェネレータ
４５  オーディオＬＳＩ
４６  ホストコンピュータ
４７  メモリカード
５０  マイクロプロセッサ
５１  データキャッシュ
５３  命令キャッシュ
５４  マルチポートメモリ
５４ａ  第１ポート
５４ｂ  第２ポート
５５  デジタルシグナルプロセッサ
５６  ＤＳＰコア
５７  プログラムＲＡＭ
【図１】
0004487454.tif 000002
【図２】
0004487454.tif 000003
【図３】
0004487454.tif 000004