(57)【要約】【課題】本発明は、撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用して、メモリを介して画像データの順序を変更する場合に、メモリの容量を低減し、遅延時間を短くすることができるようにする。【解決手段】本発明は、一定データ量の書込みの完了Ｓ２と、一定データ量の読出しの完了Ｓ１とを書込み側３１と読出し側３２とで通知し合うようにする。【選択図】        図１
2008172410.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを出力する撮像部と、
前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御部と、
前記出力画像データを処理する画像データの処理部とを備え、
前記メモリ制御部は、
前記メモリに前記入力画像データを書込む書込み部と、
前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出し部とを有し、
前記書込み部は、
書込み完了信号、前記読出し部から通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出し部による前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御部と、
前記書込み制御部の許可により、前記メモリに前記入力画像データを書込むデータ書込み部と、
前記データ書込み部による前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視部とを有し、
前記読出し部は、
前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込み部による前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御部と、
前記読出し制御部の許可により、前記メモリから前記入力画像データを読み出して前記出力画像データを出力するデータ読出し部と、
前記データ読出し部による前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視部とを有する
ことを特徴とする撮像装置。
【請求項２】
前記書込み部及び又は読出し部は、
所定の設定値と、前記書込み量及び又は読出し量との比較により、前記書込み完了信号及び又は読出し完了信号を出力し、
前記撮像装置は、
前記設定値を更新して、前記書込み完了通知の基準量及び又は読出し完了通知の基準量を切り換える更新部を有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記書込み部及び又は読出し部は、
複数の設定値から１つの設定値を選択して、該選択した設定値と、前記書込み量及び又は読出し量との比較により、前記書込み完了信号及び又は読出し完了信号を出力することにより、前記書込み完了通知の基準量及び又は読出し完了通知の基準量を切り換え、
前記撮像装置は、
前記複数の設定値の少なくとも１つを更新する更新部を有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記データ書込み部及び又は前記データ読み出し部は、
所定の設定値に基づいてアドレスデータを発行して前記メモリに前記入力画像データを格納し、及び又は所定の設定値に基づいてアドレスデータを発行して前記メモリから前記入力画像データを読み出し、
前記撮像装置は、
前記設定値の更新により、前記入力画像データに対する前記出力画像データの順序を変更する更新部を有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記画像データの処理部は、
所定ブロック単位で前記出力画像データをフィルタにより処理し、
前記データ読出し部は、
隣接する前記ブロックとの間で、前記フィルタのタップ数に対応するサンプル数だけ重複するように、ブロック単位で、前記入力画像データを読み出して出力する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記書込み完了通知の基準量が、前記読込み完了通知の基準量と異なるように設定された
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記入力画像データは、
プログレッシブスキャンの画像データであり、
前記メモリは、
容量が１フレーム未満である
ことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記入力画像データは、
インターレース方式の画像データであり、
前記メモリは、
容量が１フィールド未満である
ことを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記データ書込み部による前記メモリへの前記入力画像データの書込みが、ブロック単位の書込みである
ことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記データ読出し部による前記入力画像データの読出しが、ブロック単位の読出しである
ことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記データ書込み部及び又はデータ読出し部は、
複数のバスを介して前記メモリに前記入力画像データを格納し、及び又は複数のバスを介して前記メモリから前記入力画像データを読出し、
前記書込み監視部及び又は読出し監視部は、
前記複数のバスで発生する遅延時間の分、前記書込み完了信号及び又は読出し完了信号を遅延させて出力する
ことを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記書込み監視部及び又は前記読出し監視部は、
前記メモリのアドレスの監視により、前記書込み量及び又は読出し量を監視する
ことを特徴とする請求項１に記載の撮像装置。
【請求項１３】
入力画像データを出力する撮像部と、
前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御部と、
前記出力画像データを処理する画像データの処理部とを備え、
前記メモリ制御部は、
前記メモリに前記入力画像データを書込む書込み部と、
前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出し部とを有し、
前記書込み部による前記入力画像データの前記メモリへの書込速度に対する、前記読出し部による前記入力画像データの前記メモリからの読出し速度が遅く、
前記書込み部は、
前記読出し部から通知される読出し完了信号により、前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出し部による前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御部と、
前記書込み制御部の許可により、前記メモリに前記入力画像データを書込むデータ書込み部とを有し、
前記読出し部は、
前記メモリから前記入力画像データを読み出して前記出力画像データを出力するデータ読出し部と、
前記データ読出し部による前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視部とを有する
ことを特徴とする撮像装置。
【請求項１４】
入力画像データを出力する撮像部と、
前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御部と、
前記出力画像データを処理する画像データの処理部とを備え、
前記メモリ制御部は、
前記メモリに前記入力画像データを書込む書込み部と、
前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出し部とを有し、
前記読出し部による前記入力画像データの前記メモリからの読出し速度に対する、前記書込み部による前記入力画像データの前記メモリの書込速度が遅く、
前記書込み部は、
前記メモリに前記入力画像データを書込むデータ書込み部と、
前記データ書込み部による前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、書込み完了信号を出力する書込み監視部とを有し、
前記読出し部は、
前記書込み完了信号により、前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込み部による前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御部と、
前記読出し制御部の許可により、前記メモリから前記入力画像データを読み出して前記出力画像データを出力するデータ読出し部とを有する
ことを特徴とする撮像装置。
【請求項１５】
前記書込み部及び又は前記読出し部を複数系統有し、
前記撮像装置は、
前記複数系統から選択した１系統で、前記書込み完了信号及び読出し完了信号を入出力させる完了信号の切換部を有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項１６】
書込み部及び又は前記読出し部を複数系統有し、
前記複数系統により同時並列的に前記メモリに前記入力画像データを格納し、及び又は前記複数系統により同時並列的に前記メモリから前記入力画像データを読出す
ことを特徴とする請求項１に記載の撮像装置。
【請求項１７】
入力画像データを取得する画像データ取得部と、
前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御部と、
前記出力画像データを処理する画像データの処理部とを備え、
前記メモリ制御部は、
前記メモリに前記入力画像データを書込む書込み部と、
前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出し部とを有し、
前記書込み部は、
書込み完了信号、前記読出し部から通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出し部による前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御部と、
前記書込み制御部の許可により、前記メモリに前記入力画像データを書込むデータ書込み部と、
前記データ書込み部による前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視部とを有し、
前記読出し部は、
前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込み部による前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御部と、
前記読出し制御部の許可により、前記メモリから前記入力画像データを読み出して前記出力画像データを出力するデータ読出し部と、
前記データ読出し部による前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視部とを有する
ことを特徴とする画像処理装置。
【請求項１８】
入力画像データを画像処理する画像処理方法において、
前記入力画像データを取得する画像データ取得のステップと、
前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御のステップと、
前記出力画像データを処理する画像データの処理のステップとを備え、
前記メモリ制御のステップは、
前記メモリに前記入力画像データを書込む書込みのステップと、
前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出しのステップとを有し、
前記書込みのステップは、
書込み完了信号、前記読出しのステップから通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出しのステップによる前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御のステップと、
前記書込み制御のステップの許可により、前記メモリに前記入力画像データを書込むデータ書込みのステップと、
前記データ書込みのステップによる前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視のステップとを有し、
前記読出しのステップは、
前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込みのステップによる前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御のステップと、
前記読出し制御のステップの許可により、前記メモリから前記入力画像データを読み出して前記出力画像データを出力するデータ読出しのステップと、
前記データ読出しのステップによる前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視のステップとを有する
ことを特徴とする画像処理方法。
【請求項１９】
入力画像データを画像処理する画像処理方法のプログラムにおいて、
前記入力画像データを取得する画像データ取得のステップと、
前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御のステップと、
前記出力画像データを処理する画像データの処理のステップとを備え、
前記メモリ制御のステップは、
前記メモリに前記入力画像データを書込む書込みのステップと、
前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出しのステップとを有し、
前記書込みのステップは、
書込み完了信号、前記読出しのステップから通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出しのステップによる前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御のステップと、
前記書込み制御のステップの許可により、前記メモリに前記入力画像データを書込むデータ書込みのステップと、
前記データ書込みのステップによる前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視のステップとを有し、
前記読出しのステップは、
前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込みのステップによる前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御のステップと、
前記読出し制御のステップの許可により、前記メモリから前記入力画像データを読み出して前記出力画像データを出力するデータ読出しのステップと、
前記データ読出しのステップによる前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視のステップとを有する
ことを特徴とする画像処理方法のプログラム。
【請求項２０】
入力画像データを画像処理する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法のプログラムは、
前記入力画像データを取得する画像データ取得のステップと、
前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御のステップと、
前記出力画像データを処理する画像データの処理のステップとを備え、
前記メモリ制御のステップは、
前記メモリに前記入力画像データを書込む書込みのステップと、
前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出しのステップとを有し、
前記書込みのステップは、
書込み完了信号、前記読出しのステップから通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出しのステップによる前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御のステップと、
前記書込み制御のステップの許可により、前記メモリに前記入力画像データを書込むデータ書込みのステップと、
前記データ書込みのステップによる前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視のステップとを有し、
前記読出しのステップは、
前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込みのステップによる前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御のステップと、
前記読出し制御のステップの許可により、前記メモリから前記入力画像データを読み出して前記出力画像データを出力するデータ読出しのステップと、
前記データ読出しのステップによる前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視のステップとを有する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用することができる。本発明は、一定データ量の書込みの完了と、一定データ量の読出しの完了とを書込み側と読出し側とで通知し合ってハンドシェイクすることにより、メモリを介して画像データの順序を変更する場合に、メモリの容量を低減し、遅延時間を短くすることができるようにする。
【背景技術】
【０００２】
従来、デジタルスチルカメラ等の撮像装置は、例えばＪＰＥＧ（Joint Photographic Coding Experts Group ）等の手法により撮像結果を符号化処理し、その処理結果による符号化データを記録媒体に記録している。このような撮像装置は、撮像結果の画像データをメモリに一時格納した後、ユーザーの操作に応じてこの画像データを画像処理して記録媒体に記録している。
【０００３】
ここでこのような画像処理は、画像の回転処理、リサイズと称される解像度の変換による画像の拡大縮小処理、トリミング処理等である。この画像処理は、処理に適したブロックサイズ、順序で、メモリに一時格納した画像データを順次切り出して実行される。これに対して撮像素子から得られる画像データは、ラスタ走査の順序で順次メモリに格納される。
【０００４】
そこでデジタルスチルカメラでは、図３９に示すように、１フレーム分のメモリ容量を有する複数の領域を交互に使用してこの種の画像処理を実行し、連続して得られる画像データを並び替えて画像処理している。ここで図３９は、それぞれ１フレーム分の画像データＤ１を格納可能な第１及び第２のバンク２Ａ、２Ｂを１つのメモリ２に設けた場合であり、画像データＤ１を画像処理する画像処理部３には、バンク２Ａ、２Ｂへの画像データＤ１の書き込み、読出しをそれぞれ制御するＤＭＡＣ（Direct Memory Access  Control）４Ａ、４Ｂが設けられる。
【０００５】
画像処理部３は、実線で示すように、ＤＭＡＣ４Ａにより順次入力される画像データＤ１を第１のバンク２Ａに格納しながら、格納時とは異なる順序で、第２のバンク２Ｂに格納した画像データＤ１をＤＭＡＣ４Ｂで順次読出して画像処理し、画像データＤ２を出力する。また第２のバンク２Ｂに格納した画像データＤ１の画像処理を完了すると、破線で示すように、ＤＭＡＣ４Ａでこの第２のバンク２Ｂに順次入力される画像データＤ１を格納しながら、格納時とは異なる順序で、ＤＭＡＣ４Ｂで第１のバンク２Ａに格納した画像データＤ１を順次読出して画像処理する。またこの第１のバンク２Ａに格納した画像データＤ１の画像処理を完了すると、第１のバンク２Ａに順次入力される画像データＤ１を格納しながら、第２のバンク２Ｂに格納した画像データＤ１を順次画像処理する。
【０００６】
このようなバンクの制御に関して、特開２００５−３３２０３６号公報には、動作周波数の異なる装置間でのデータ転送を確実に実行する工夫が提案されている。
【０００７】
ところで図３９に示すように、１フレーム分のメモリ容量を有する複数の領域を交互に使用してこの種の画像処理を実行する場合、結局、メモリ２に２フレーム分以上の容量が必要になり、大容量のメモリが必要になる問題がある。またメモリ２に画像データＤ１を入力して画像データＤ２が出力されるまでに、少なくとも１フレームの期間を要することから、画像データＤ２を出力するまでの遅延時間が大きい問題もある。
【特許文献１】特開２００５−３３２０３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の点を考慮してなされたもので、メモリを介して画像データの順序を並び替える際に、メモリの容量を低減し、遅延時間を短くすることができる撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため請求項１の発明は、撮像装置に適用して、入力画像データを出力する撮像部と、前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御部と、前記出力画像データを処理する画像データの処理部とを備え、前記メモリ制御部は、前記メモリに前記入力画像データを書込む書込み部と、前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出し部とを有し、前記書込み部は、書込み完了信号、前記読出し部から通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出し部による前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御部と、前記書込み制御部の許可により、前記メモリに前記入力画像データを書込むデータ書込み部と、前記データ書込み部による前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視部とを有し、前記読出し部は、前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込み部による前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御部と、前記読出し制御部の許可により、前記メモリから前記入力画像データを読出して前記出力画像データを出力するデータ読出し部と、前記データ読出し部による前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視部とを有するようにする。
【００１０】
また請求項１３の発明は、撮像装置に適用して、入力画像データを出力する撮像部と、前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御部と、前記出力画像データを処理する画像データの処理部とを備え、前記メモリ制御部は、前記メモリに前記入力画像データを書込む書込み部と、前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出し部とを有し、前記書込み部による前記入力画像データの前記メモリの書込速度に対する、前記読出し部による前記入力画像データの前記メモリからの読出し速度が遅く、前記書込み部は、前記読出し部から通知される読出し完了信号により、前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出し部による前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御部と、前記書込み制御部の許可により、前記メモリに前記入力画像データを書込むデータ書込み部とを有し、前記読出し部は、前記メモリから前記入力画像データを読出して前記出力画像データを出力するデータ読出し部と、前記データ読出し部による前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視部とを有するようにする。
【００１１】
また請求項１４の発明は、撮像装置に適用して、入力画像データを出力する撮像部と、前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御部と、前記出力画像データを処理する画像データの処理部とを備え、前記メモリ制御部は、前記メモリに前記入力画像データを書込む書込み部と、前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出し部とを有し、前記読出し部による前記入力画像データの前記メモリからの読出し速度に対する、前記書込み部による前記入力画像データの前記メモリの書込速度が遅く、前記書込み部は、前記メモリに前記入力画像データを書込むデータ書込み部と、前記データ書込み部による前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、書込み完了信号を出力する書込み監視部とを有し、前記読出し部は、前記書込み完了信号により、前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込み部による前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御部と、前記読出し制御部の許可により、前記メモリから前記入力画像データを読出して前記出力画像データを出力するデータ読出し部とを有するようにする。
【００１２】
また請求項１７の発明は、画像処理装置に適用して、入力画像データを取得する画像データ取得部と、前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御部と、前記出力画像データを処理する画像データの処理部とを備え、前記メモリ制御部は、前記メモリに前記入力画像データを書込む書込み部と、前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出し部とを有し、前記書込み部は、書込み完了信号、前記読出し部から通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出し部による前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御部と、前記書込み制御部の許可により、前記メモリに前記入力画像データを書込むデータ書込み部と、前記データ書込み部による前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視部とを有し、前記読出し部は、前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込み部による前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御部と、前記読出し制御部の許可により、前記メモリから前記入力画像データを読出して前記出力画像データを出力するデータ読出し部と、前記データ読出し部による前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視部とを有するようにする。
【００１３】
また請求項１８の発明は、入力画像データを画像処理する画像処理方法に適用して、前記入力画像データを取得する画像データ取得のステップと、前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御のステップと、前記出力画像データを処理する画像データの処理のステップとを備え、前記メモリ制御のステップは、前記メモリに前記入力画像データを書込む書込みのステップと、前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出しのステップとを有し、前記書込みのステップは、書込み完了信号、前記読出しのステップから通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出しのステップによる前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御のステップと、前記書込み制御のステップの許可により、前記メモリに前記入力画像データを書込むデータ書込みのステップと、前記データ書込みのステップによる前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視のステップとを有し、前記読出しのステップは、前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込みのステップによる前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御のステップと、前記読出し制御のステップの許可により、前記メモリから前記入力画像データを読出して前記出力画像データを出力するデータ読出しのステップと、前記データ読出しのステップによる前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視のステップとを有するようにする。
【００１４】
また請求項１９の発明は、入力画像データを画像処理する画像処理方法のプログラムに適用して、前記入力画像データを取得する画像データ取得のステップと、前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御のステップと、前記出力画像データを処理する画像データの処理のステップとを備え、前記メモリ制御のステップは、前記メモリに前記入力画像データを書込む書込みのステップと、前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出しのステップとを有し、前記書込みのステップは、書込み完了信号、前記読出しのステップから通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出しのステップによる前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御のステップと、前記書込み制御のステップの許可により、前記メモリに前記入力画像データを書込むデータ書込みのステップと、前記データ書込みのステップによる前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視のステップとを有し、前記読出しのステップは、前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込みのステップによる前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御のステップと、前記読出し制御のステップの許可により、前記メモリから前記入力画像データを読出して前記出力画像データを出力するデータ読出しのステップと、前記データ読出しのステップによる前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視のステップとを有するようにする。
【００１５】
また請求項２０の発明は、入力画像データを画像処理する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記入力画像データを取得する画像データ取得のステップと、前記入力画像データをメモリに書込んで読出すことにより、前記入力画像データの順序を変更して出力画像データを出力するメモリ制御のステップと、前記出力画像データを処理する画像データの処理のステップとを備え、前記メモリ制御のステップは、前記メモリに前記入力画像データを書込む書込みのステップと、前記メモリから前記入力画像データを読出して前記出力画像データを出力する読出しのステップとを有し、前記書込みのステップは、書込み完了信号、前記読出しのステップから通知される読出し完了信号により、前記メモリへの前記入力画像データの書込みに対する前記メモリからの前記入力画像データの読出しを監視し、該監視結果に基づいて、前記読出しのステップによる前記入力画像データの読出しを追い越さない範囲で、前記メモリへの前記入力画像データの書込みを許可する書込み制御のステップと、前記書込み制御のステップの許可により、前記メモリに前記入力画像データを書込むデータ書込みのステップと、前記データ書込みのステップによる前記入力画像データの書込み量を監視し、前記書込み量が書込み完了通知の基準量となると、前記書込み完了信号を出力する書込み監視のステップとを有し、前記読出しのステップは、前記書込み完了信号、前記読出し完了信号により、前記メモリからの前記入力画像データの読出しに対する前記メモリへの前記入力画像データの書込みを監視し、該監視結果に基づいて、前記書込みのステップによる前記入力画像データの書込みを追い越さない範囲で、前記メモリからの前記入力画像データの読出しを許可する読出し制御のステップと、前記読出し制御のステップの許可により、前記メモリから前記入力画像データを読出して前記出力画像データを出力するデータ読出しのステップと、前記データ読出しのステップによる前記入力画像データの読出し量を監視し、前記読出し量が読出し完了通知の基準量となると、前記読出し完了信号を出力する読出し監視のステップとを有するようにする。
【００１６】
請求項１、請求項１７、請求項１８、請求項１９、又は請求項２０の構成によれば、メモリの容量を１フィールド、又は１フレーム以下とした場合でも、書込み完了信号と読出し完了信号とによる書込み部及び読出し部間のハンドシェイクにより、入力画像データの順序を並び替えて出力画像データを処理することができる。従ってメモリの容量を低減し、かつ遅延時間を短くすることができる。
【００１７】
ここで請求項１の構成において、書込み部及び読出し部の一方の処理速度が他方の処理速度に比して格段的に遅い場合には、この処理速度が遅い側については、処理速度の速い側の処理を追い越す恐れが無いことにより、処理速度の速い側を監視する構成を省略することができる。従って請求項１３、又は請求項１４の構成によれば、請求項１の構成において、この処理速度の速い側を監視する構成を省略して構成を簡略化し、メモリの容量を低減し、かつ遅延時間を短くすることができる。
【発明の効果】
【００１８】
本発明によれば、メモリを介して画像データの順序を並び替える際に、メモリの容量を低減し、遅延時間を短くすることができる。
【発明を実施するための最良の形態】
【００１９】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００２０】
（１）実施例の構成
図２は、本発明の実施例に係るデジタルスチルカメラを示すブロック図である。このデジタルスチルカメラ５において、レンズ６は、中央処理ユニット７の制御によるズーム倍率、フォーカス、絞りにより入射光を集光し、続く撮像素子８の撮像面に被写体の光学像を形成する。
【００２１】
撮像素子８は、例えばＣＣＤ（Charge Coupled Device ）固体撮像素子、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）固体撮像素子等により構成され、撮像面に形成された光学像による撮像結果を動画又は静止画により出力する。なおここで撮像素子８は、静止画については、プログレッシブスキャンにより撮像結果を出力する。これに対して動画については、画素間引き、ライン間引きしてインターレース方式により撮像結果を出力する。
【００２２】
アナログディジタル変換部（Ａ／Ｄ）９は、この撮像素子８から出力される撮像結果をアナログディジタル変換処理し、画像データＤ１を出力する。
【００２３】
カメラ信号処理部１０は、アナログディジタル変換部９から出力される画像データＤ１の処理部であり、例えばデジタルシグナルプロセッサにより構成される。カメラ信号処理部１０は、中央処理ユニット７の制御により、このアナログディジタル変換部９から出力される画像データＤ１をデモザイク処理、マトリックス演算処理、ホワイトバランス調整処理、ガンマ補正処理等し、輝度データ及び色差データによる画像データＤ２を出力する。カメラ信号処理部１０は、これら画像データの処理の少なくとも一部を２次元のフィルタを用いて実行する。
【００２４】
ディスプレイ１１は、このカメラ信号処理部１０から出力される画像データＤ２の処理により、撮像結果のモニタ画像を表示する。
【００２５】
画像処理部１２は、カメラ信号処理部１０から出力される画像データＤ２の処理部であり、例えばデジタルシグナルプロセッサにより構成される。画像処理部１２は、カメラ信号処理部１０から出力される画像データＤ２を画像処理して画像データＤ３を出力する。なおここでこの画像処理は、画像の回転処理、リサイズと称される解像度の変換による画像の拡大縮小処理、トリミング処理等である。画像処理部１２は、これらの画像データの処理を２次元のフィルタを用いて実行する。
【００２６】
符号化部１３は、中央処理ユニット７の制御により、画像処理部１２から入力される画像データＤ３を、ＭＰＥＧ（Moving Picture Experts Group）、ＪＰＥＧにより符号化処理して符号化データを出力する。
【００２７】
ストレージ１４は、例えばメモリカード、光ディスク、磁気ディスク等の記録媒体であり、符号化部１３から出力される符号化データを記録して保持する。
【００２８】
中央処理ユニット７は、このデジタルスチルカメラ５の動作を制御する制御手段であり、ランダムアクセスメモリ（ＲＡＭ）１５にワークエリアを確保してリードオンリメモリ（ＲＯＭ）１６に記録した処理プログラムを実行することにより、キー１７の操作に応動して各部の動作を制御する。なおこのデジタルスチルカメラ５は、事前のインストールにより中央処理ユニット７の処理プログラム、カメラ信号処理部１０、画像処理部１２を構成するデジタルシグナルプロセッサの処理プログラムが提供されるものの、このような事前のインストールによる提供に代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【００２９】
この処理プログラムに基づく各部の制御により中央処理ユニット７は、ユーザーの操作に応動して、動画、静止画の撮像結果を撮像素子８で取得してディスプレイ１１で表示する。またこの状態でユーザーが撮像結果の保存を指示すると、画像処理部１２、符号化部１３、ストレージ１４等の制御により、動画、静止画の撮像結果を符号化処理してストレージ１４に記録する。また撮像結果の記録時、ユーザーが画像処理を指示している場合、画像処理部１２でリサイズ等の処理を実行する。
【００３０】
図３は、このデジタルスチルカメラ５におけるカメラ信号処理部１０、画像処理部１２の構成を詳細に示すブロック図である。このカメラ信号処理部１０は、アナログディジタル変換部９からラスタ走査の順序で画像データＤ１を順次入力し、メモリ制御部２１によるメモリ２２の制御により、この画像データＤ１を順次メモリ２２に格納する。またこのメモリ２２に格納した画像データＤ１を処理に適した順序、単位で、メモリ制御部２１によりメモリ２２から読出して処理し、画像データＤ２を出力する。
【００３１】
画像処理部１２は、メモリ制御部２３によるメモリ２４の制御により、カメラ信号処理部１０から出力される画像データＤ２をメモリ２４に順次格納する。またこのメモリ２４に格納した画像データＤ２を画像処理部１２の処理に適した順序、単位で、メモリ制御部２３によりメモリ２４から読出して処理し、画像データＤ３を出力する。なおここでメモリ２２、２４は、それぞれ容量が１フィールド未満である。
【００３２】
図１は、メモリ制御部２１、２３の構成を詳細に示すブロック図である。なおメモリ制御部２１、２３は、画像データＤ１、Ｄ２の入出力順序、入出力単位が異なる点を除いて同一に構成されることから、以下において、メモリ制御部２３についての説明は、適宜省略する。
【００３３】
ここでメモリ制御部２１は、書込み部３１、読出し部３２が、同一のアドレスバス、データバスを介してメモリ２２に接続される。書込み部３１は、ラスタ走査の順序で順次入力される画像データＤ１をメモリ２２に格納し、また読出し部３２は、このメモリ２２に格納した画像データＤ１を読出して出力する。メモリ制御部２１は、この書込み部３１による画像データＤ１の格納と、読出し部３２による画像データの読出しとを、読出し完了信号Ｓ１、書込み完了信号Ｓ２により同期を図りながら実行する。なおここで読出し完了信号Ｓ１は、所定データ量のメモリ２２からの読出しの完了を、読出し部３２から書込み部３１に通知する信号である。また書込み完了信号Ｓ２は、所定データ量のメモリ２２への書込み完了を、書込み部３１から読出し部３２に通知する信号である。
【００３４】
すなわち書込み部３１において、書込み制御部３６は、読出し完了信号Ｓ１と書込み完了信号Ｓ２とにより、メモリ２２への書込みに対するメモリ２２からの読出しを監視する。また監視結果に基づいて、読出し部３２による画像データＤ１の読出しを追い越さない範囲で、所定数だけ書込み完了信号Ｓ２が入力されるまでの間、メモリ２２への画像データの書込みを許可する書込み許可信号Ｓ３を出力する。
【００３５】
ＤＭＡＣ３８は、書込み許可信号Ｓ３に基づいて、メモリ２２に画像データＤ１を書込むデータ書込み部であり、書込み制御部３６から書込み許可信号Ｓ３が入力されると、バスアービター３９にバスの専有をリクエストし、バスアービター３９からバスの使用が許可されると、順次入力される画像データＤ１をメモリ２２に格納する。またメモリ２２に画像データＤ１を格納する毎に、又はメモリ２２に画像データＤ１を一定データ量格納する毎に、メモリ２２への画像データＤ１の転送を通知する転送信号Ｓ４を出力する。
【００３６】
この画像データＤ１の書込み時、ＤＭＡＣ３８は、所定のアドレスカウンタにより画像データＤ１に同期したクロックをカウントすることにより、メモリ２２のアドレスを生成する。ＤＭＡＣ３８は、このアドレスカウンタの初期値、カウント終了値を内蔵のレジスタに設定された設定値に応じて設定することにより、このレジスタの設定値を変更して、順次入力される画像データＤ１のメモリ２２における書込み位置を変更し、例えばラスタ走査順の画像データＤ１の書込みとブロック単位の書込みとを切り換え、さらにはブロック単位の書込みにおけるブロックサイズを変更し、さらにはブロック単位の読出しにおける各ブロックの位置を変更する。
【００３７】
転送数カウント部３５は、ＤＭＡＣ３８による画像データＤ１の書込み量を監視する書込み監視部であり、ＤＭＡＣ３８で生成される転送信号Ｓ４をカウントすることにより、メモリ２２に格納した画像データＤ１のデータ量を監視する。またこのデータ量とレジスタに設定された設定値との比較により、メモリ２２に格納した画像データＤ１のデータ量が書込み完了通知の基準量となると、書込み完了信号Ｓ２を出力する。
【００３８】
これに対して読出し部３２において、読出し制御部４１は、書込み完了信号Ｓ２、読出し完了信号Ｓ１により、メモリ２２からの読出しに対する書込みを監視する。また監視結果に基づいて、書込み部３１による画像データＤ１の書込みを追い越さない範囲で、所定数だけ読出し完了信号Ｓ１が出力されるまでの間、メモリ２２からの画像データＤ１の読出しを許可する読出し許可信号Ｓ６を出力する。
【００３９】
ＤＭＡＣ４３は、この読出し許可信号Ｓ６により、メモリ２２から画像データＤ１を読出して出力するデータ読出し部であり、読出し許可信号Ｓ６の入力をトリガにして、バスアービター３９にバスの専有をリクエストし、バスアービター３９からバスの使用が許可されると、メモリ２２に格納した画像データＤ１を順次読出して出力する。またメモリ２２から画像データＤ１を読出す毎に、又はメモリ２２から画像データＤ１を一定データ量読出す毎に、メモリ２２からの画像データＤ１の転送を通知する転送信号Ｓ７を出力する。
【００４０】
転送数カウント部４２は、ＤＭＡＣ４３による画像データＤ１の読出し量を監視する読出し監視部であり、転送信号Ｓ７をカウントすることにより、メモリ２２から読出した画像データＤ１のデータ量を監視する。またこのデータ量とレジスタに設定された設定値との比較により、メモリ２２から読出した画像データＤ１のデータ量が読出し完了通知の基準量となると、読出し完了信号Ｓ１を出力する。
【００４１】
バスアービター３９は、書込み部３１、読出し部３２から出力されるバス専有のリクエストを調停し、バスの使用許可を書込み部３１、読出し部３２に出力する。
【００４２】
この実施例のメモリ制御部２１、２３では、読出し完了信号Ｓ１、書込み完了信号Ｓ２を出力する基準である書込み完了通知の基準量、読出し完了通知の基準量が等しい値に設定され、また書込み許可信号Ｓ３、読出し許可信号Ｓ６による書込み単位、読出し単位と等しい値に設定される。またこれら書込み完了通知の基準量、読出し完了通知の基準量が、カメラ信号処理部１０、画像処理部１２における画像処理単位であるブロックの整数個分に対応する値であって、かつメモリ２２、２４の１つのバンクの容量以下に設定される。
【００４３】
この書込み完了通知の基準量、読出し完了通知の基準量の設定に対応して、ＤＭＡＣ３８は、順次循環的に、メモリ２２、２４のバンクを選択してメモリ２２に画像データＤ１を格納するように、メモリ２２をアドレス制御し、読出し部３２における画像データＤ１の読出しに追いつきそうになると、画像データＤ１の格納を中断する。また同様に、ＤＭＡＣ４３は、順次循環的に、メモリ２２、２４のバンクを選択して、メモリ２２に格納された画像データＤ１を読出すように、メモリ２２をアドレス制御し、書込み部３１による画像データＤ１の格納に追いつきそうになると、画像データＤ１の読出しを中断する。
【００４４】
より具体的に、この実施例において、メモリ２２、２４は、各バンクを選択する領域選択アドレスと、各バンク内のアドレスである領域内アドレスとにより、アドレスデータが形成され、このアドレスデータによるアドレス空間にメモリアドレスが割り当てられる。従ってＤＭＡＣ３８は、上述したアドレスカウンタで書込完了通知の単位毎に、順次循環的にバンクを選択するように領域選択アドレスを生成し、メモリ２２、２４のアドレスデータを生成する。従ってこの実施例では、バンクを単位としたリングバッファとしてメモリ２２、２４を使用する。
【００４５】
なおこの書込み完了信号Ｓ２、読出し完了信号Ｓ１を出力する書込み完了通知の基準量、読出し完了通知の基準量にあっては、動的に可変し、さらには書込み側と読出し側とで異ならせ、画像データの処理に要する時間を一段と短くしてもよい。すなわちこの場合、中央処理ユニット７は、書込み制御部３６から出力される書込み許可信号Ｓ３を監視し、この監視結果に基づいて、レジスタバスを介して転送数カウント部３５に設定されたレジスタの設定値を適宜、更新し、書込み完了信号Ｓ２を出力する一定データ量を動的に変更する。
【００４６】
図４は、この動的な一定データ量の更新処理の具体例を示す図である。この場合、１回の読出し完了信号Ｓ１に対して、３回の書込み完了信号Ｓ２を出力するように、書込み完了通知の基準量、読出し完了通知の基準量が異なるように設定される。また書込み側では、読出し側から読出し完了信号Ｓ１を受けた直後の、１回目の書込み完了信号Ｓ２を出力する書込み完了通知の基準量と、２回目の書込み完了信号Ｓ２を出力する書込み完了通知の基準量と、３回目の書込み完了信号Ｓ２を出力する書込み完了通知の基準量とが動的に切り換えられる。
【００４７】
なおこの完了信号Ｓ１に係るデータ量の変更は、読出し完了通知の基準量に適用するようにしてもよく、書込み完了通知の基準量、読出し完了通知の基準量の双方に適用するようにしてもよい。またこの書込み完了通知の基準量、読出し完了通知の基準量の変更は、処理負荷に応じて適宜実行するようにして、カメラ信号処理部１０、画像処理部１２における処理速度を最適化するようにしてもよい。また書込み完了通知の基準量、読出し完了通知の基準量の切り換えは、中央処理ユニット７により全部又は一部を更新可能として、転送数カウント部３５、４２に複数のレジスタ値を設定するようにし、このレジスタ値を転送数カウント部３５、４２で順次選択して使用することにより実行するようにしてもよい。なおこれにより中央処理ユニット７は、これらの設定値を更新する更新部を構成する。
【００４８】
またこの図１の例では、中央処理ユニット７から書込み側のＤＭＡＣ３８に割り込みをかけ、別途設けられたＤＭＡＣ４５で、又は中央処理ユニット７で、メモリ２２に格納した画像データＤ１を読出すことが可能に構成される。このため中央処理ユニット７は、書込み制御部３６から書込み許可信号Ｓ３が出力されると、ＤＭＡＣ３８を介してバスの使用権を取得し、直接に、又はＤＭＡＣ４５によりメモリ２２にアクセスする。従ってこの場合、ＤＭＡＣ３８は、中央処理ユニット７から割り込みがあると、バスアービター３９にバスリクエストを発行してバスの使用権を取得し、このバスの使用権を中央処理ユニット７に譲る。なおこの割り込みの処理は、例えばディスプレイ１１に表示するために画像データＤ１を読出して解像度を低減する処理、中央処理ユニット７による各種画像処理等である。なおこの図１の例では、書込み部３１側に割り込みをかけているが、これに代えて読出し部３２側に、又は書込み部３１及び読出し部３２の双方に割り込みをかけるようにしてもよい。
【００４９】
またこの図１の例では、レジスタバスを介してＤＭＡＣ３８に設定されたレジスタ値を中央処理ユニット７で変更し、書込み時におけるメモリ２２のアドレス制御を変更できるように構成される。なおこのアドレス制御の変更についても、読出し部３２側に適用して画像データＤ１を出力するブロックサイズ、出力順序を変更することもでき、またさらには書込み部３１、読出し部３２の双方に適用することもできる。
【００５０】
図５は、書込み部３１の書込み制御部３６の処理手順を示すフローチャートである。書込み制御部３６は、動作を開始すると、ステップＳＰ１からステップＳＰ２に移り、読出し完了信号Ｓ１の入力を待機し、読出し完了信号Ｓ１が入力されると、それまでの書込み完了通知信号Ｓ２の数から、それまでに入力された読出し完了信号Ｓ１の数を減算する。また減算値が、所定値以下か否か判断し、一定データ量以上の画像データＤ１のメモリ２２への書込みが可能となったか否か判断する。
【００５１】
ここで否定結果が得られると、書込み制御部３６は、ステップＳＰ２を繰り返す。これに対してステップＳＰ２で肯定結果が得られると、書込み制御部３６は、ステップＳＰ３に移り、書込み許可信号Ｓ３を出力し、ステップＳＰ２に戻る。
【００５２】
図６は、読出し部３２の読出し制御部４１の処理手順を示すフローチャートである。読出し制御部４１は、動作を開始すると、ステップＳＰ６からステップＳＰ７に移り、書込み完了信号Ｓ２の入力を待機し、書込み完了信号Ｓ２が入力されると、それまでに入力された書込み完了信号Ｓ２の数から、それまでの読出し完了信号Ｓ１の数を減算する。また減算値が、所定値以上か否か判断し、一定データ量以上の画像データＤ１のメモリ２２からの読出しが可能となったか否か判断する。
【００５３】
ここで否定結果が得られると、読出し制御部４１は、ステップＳＰ７を繰り返す。これに対してステップＳＰ７で肯定結果が得られると、読出し制御部４１は、ステップＳＰ８に移り、読出し許可信号Ｓ６を出力し、ステップＳＰ６に戻る。
【００５４】
これに対して図７は、ＤＭＡＣ３８、４３の処理手順を示すフローチャートである。なおＤＭＡＣ３８、４３は、この処理手順を実行する際に入力される信号、メモリ２２のアドレス制御が異なる点を除いて、同一の処理を実行することから、以下においては、ＤＭＡＣ３８について、この図７の処理手順を説明し、ＤＭＡＣ４３の処理については、図７において、ＤＭＡＣ３８と異なる点を括弧書により示す。
【００５５】
すなわちＤＭＡＣ３８は、この処理手順を開始するとステップＳＰ１１からステップＳＰ１２に移る。ここでＤＭＡＣ３８は、書込み制御部３６から書込み許可信号Ｓ３が得られたか否か判断し、ここで否定結果が得られると、ステップＳＰ１２を繰り返す。これに対して書込み許可信号Ｓ３が得られると、ステップＳＰ１２からステップＳＰ１３に移り、バスアービター３９にバスの専有をリクエストする。また続くステップＳＰ１４でバスの使用が許可されたか否か判断し、ここで否定結果が得られると、ステップＳＰ１４を繰り返し、バスの使用許可を待機する。
【００５６】
またバスの使用許可が得られると、ステップＳＰ１４からステップＳＰ１５に移り、メモリ２２に画像データＤ１を書込む。また画像データＤ１を書き込むと、ステップＳＰ１６に移り、書込み完了信号Ｓ２を出力するデータ量だけメモリ２２に画像データＤ１を書込みしたか否か判断し、ここで肯定結果が得られると、ステップＳＰ１７に移り、書込み完了信号Ｓ２を出力して書込みの完了を読出し部３２に通知し、ステップＳＰ１８に移る。
【００５７】
これに対してステップＳＰ１６で否定結果が得られると、直接ステップＳＰ１８に移る。このステップＳＰ１８において、ＤＭＡＣ３８は、メモリ２２に格納する必要のある全ての画像データＤ１をメモリ２２に格納したか否か判断し、ここで否定結果が得られると、ステップＳＰ１２に戻り、続く画像データＤ１の転送をリクエストする。これに対してステップＳＰ１８で肯定結果が得られると、ステップＳＰ１９に移ってこの処理手順を終了する。
【００５８】
図８は、この図７の処理手順による画像データＤ１のメモリ２２への書込み、読出しを示すタイムチャートである。なおこの図８（Ｃ１）〜（Ｃ４）では、バンクの境界を破線Ｌ１、Ｌ２で示す。またハッチングにより書込みの完了した画像データＤ１、読出しの完了した画像データＤ１を示す。なおこの図８では、図４について上述したと同様にして、書込み完了信号Ｓ２、読出し完了信号Ｓ１を出力する一定データ量を動的に変化させた場合である。
【００５９】
この図８の例では、時点ｔ０でメモリ２２への書込みを開始すると、図８（Ｃ１）に示すように、順次、メモリ２２に画像データＤ１を格納し、時点ｔ１で所定データ量だけメモリ２２に画像データＤ１を格納すると、書込み完了信号Ｓ２により読出し許可信号Ｓ６が出力される。
【００６０】
この時点ｔ１の読出し許可信号Ｓ６により、バスアービター３９の調停に従って、読出し部３２でメモリ２２からの画像データＤ１の読出しが開始される。この図８の例では、時点ｔ０でメモリ２２への書込みを開始してメモリ２２に十分に空き領域が存在することにより、書込み部３１は、時点ｔ１以降もバスアービター３９にバスリクエストを出力する。その結果、時点ｔ１から時点ｔ２までの間、読出し部３２のみでメモリ２２をアクセスし、時点ｔ２になると、読出し部３２と書込み部３１とでメモリ２２をアクセスし、図８（Ｃ２）に示すように、一定データ量以上画像データＤ１をメモリ２２に格納した状態で、さらにメモリ２２に画像データＤ１を格納しながら、このメモリ２２から画像データＤ１を読出して出力する。
【００６１】
また読出し部３２で順次画像データＤ１を読出して、時点ｔ３でこの読出したデータ量が所定データ量となると、読出し部３２から読出し完了信号Ｓ１が出力され、読出し部３２は、メモリ２２からの読出しを中断する。また書込み部３１は、メモリ２２への書込みを継続し、時点ｔ４になって、時点ｔ２からメモリ２２に書込んだデータ量が一定量となると、書込み完了信号Ｓ２の出力により読出し部３２で読出し許可信号Ｓ６が出力される。
【００６２】
その結果、図８（Ｃ３）に示すように、この時点ｔ４から読出し部３２によりメモリ２２からの画像データＤ１の読出しが開始される。また書込み部３１は、この場合、先の時点ｔ３で得られた読出し完了信号Ｓ１により書込み許可信号Ｓ３が出力され、バスアービター３９の制御により時点ｔ５から画像データＤ１の書込みを開始する。また、時点ｔ６において、書込みのデータ量が一定値となると、書込み完了信号Ｓ２を出力して書込みを中断する。
【００６３】
図９は、カメラ信号処理部１０のメモリ制御部２１によるメモリ２２への書込み、読出しの説明に供する略線図である。メモリ制御部２１は、書込み側のＤＭＡＣ３８のアドレス制御により、矢印Ａで示すように、順次、ラスタ走査の順序で入力される画像データＤ１をメモリ２２に格納する。また矢印Ｂで示すように、読出し側のＤＭＡＣ４３のアドレス制御により、所定ブロックＢＬ単位で、画像データＤ１をメモリ２２から読出して出力する。なおここでこの所定ブロック単位の画像データＤ１の読出しは、１画面内では、ラスタ走査の順序で順次段階的にこのブロックＢＬを移動させて、各移動位置のブロック内では、矢印Ｃで示すように、ラスタ走査順で画像データを読出して実行される。
【００６４】
さらにこの画像データＤ１の読出しにおいて、隣接する移動位置におけるブロックＢＬとの間で、ブロックＢＬの一部が重なり合うように、ブロックＢＬを順次移動させ、各移動位置におけるブロックＢＬにおいて、隣接する移動位置で読出した画像データＤ１を重複して読出すようにする。なおこの図９では、上下方向の重複については、記載を省略して示す。
【００６５】
この重複した画像データＤ１の読出しにより、メモリ制御部２１は、カメラ信号処理部１０において２次元のフィルタで画像データＤ１を処理する場合の、この２次元のフィルタのタップ数に応じたサンプル数だけ、各移動位置で余分に画像データＤ１を読出して処理し、画像処理による画像端の歪みを防止する。なおこの図９では、この余分に読出す部分を符号Ｗで示す。
【００６６】
これに対して図１０は、図９との対比により、画像処理部１２のメモリ制御部２３によるメモリ２４への書込み、読出しの説明に供する略線図である。メモリ制御部２３は、符号Ｄで示すように、メモリ制御部２１で画像データＤ１を読出す場合と同様に、ブロックＢＬ単位で、カメラ信号処理部１０で処理した画像データＤ１をメモリ２４に格納するように、また符号Ｅで示すように、ブロックＢＬ単位で、メモリ２４から画像データＤ２を読出すように、ＤＭＡＣ３８、４３でメモリ２４をアドレス制御する。
【００６７】
この処理において、メモリ制御部２３は、このカメラ信号処理で処理された画像データＤ２から、符号Ｗで示すメモリ２２から余分に読出した部分を除いて画像データＤ２をメモリ２４に格納する。これに対して読出し時、画像処理部１２において２次元のフィルタにより画像データＤ１を画像処理する場合の、この２次元のフィルタのタップ数に応じたサンプル数だけ、余分に画像データＤ１を読出して処理し、画像処理による画像端の歪みを防止する。なおこの図１０では、書込み時のブロックを符号ＢＬＷで示し、読出し時のブロックを符号ＢＬＲで示す。
【００６８】
ここで図１１に示すように、ブロック単位の画像処理において、カメラ信号処理部１０で処理した画像データを直接、画像処理部１２に入力して処理する場合、最終的に画像処理部１２から出力される画像データＤ３のブロックに対して、カメラ信号処理部１０、画像処理部１２でそれぞれ処理する分だけ、余分に画像データＤ１をカメラ信号処理部１０に入力することが必要になる。すなわちこの場合、画像処理部１２の処理で余分に求められる分Ｗに、カメラ信号処理部１０の処理で余分に求められる分Ｗを加算した２Ｗの分、余分に画像データＤ１をカメラ信号処理部１０に入力することが必要になる。
【００６９】
しかしながらこの実施例のようにメモリ２４を介してカメラ信号処理部１０で処理した画像データＤ２を画像処理部１２に入力する場合、図１１との対比により図１２に示すように、カメラ信号処理部１０の処理で余分に求められる分Ｗだけ、カメラ信号処理部１０に、余分に画像データＤ１を入力すれば良く、画像処理部１２で余分に求められる分は、メモリ２４からの重複した画像データＤ２の読出しで対応することができる。従ってこの実施例によれば、カメラ信号処理部１０における処理の負担を軽減することができる。
【００７０】
ところでこの図８〜図１２の例では、上下方向の重複については、記載を省略して示したが、実際には、上下方向にも、カメラ信号処理部１０、画像処理部１２における２次元のフィルタリング処理のために、余分に画像データＤ１、Ｄ２を読出すことになる。従ってこの余分に読出す部分について、メモリ制御部２１、２３は、上下方向に隣接するブロック間でも、繰り返し、画像データＤ１、Ｄ２を読出することになる。
【００７１】
その結果、メモリ制御部２１、２３は、図１３に示すように、１回目の読出し単位で示す、読出し完了信号Ｓ１を出力する一定データ量だけメモリ２２、２４から画像データを読出した後にあっても、２回目の読出し単位で示すように、続く画像データの処理において、読出した画像データを再び読出すことが必要になる。すなわちこの図１３の例では、ハッチングで示す領域の画像データを繰り返し、重複して出力することが必要になる。なおこの図１３は、メモリ２２を２つの領域に分割した、重複部分の説明のための図である。
【００７２】
そこでこの重複した読出しの処理に対応して、図１４に示すように、ＤＭＡＣ４３は、続く読出し時、直前の読出しで画像データを読出した末尾の一定領域に戻って、画像データの読出しを開始するように、メモリ２２、２４をアドレス制御する。またこのアドレス制御に対応して、転送数カウント部４２は、この余分に読出す画像データの２回目の出力を完了すると、読出し完了信号Ｓ１を出力するように、一定データ量の読出しを判定するレジスタ値が設定される。
【００７３】
（２）実施例の動作
以上の構成において、このデジタルスチルカメラ５（図２）では、撮像素子８で取得された撮像結果がアナログディジタル変換部９により処理されて画像データＤ１が生成され、この画像データＤ１がカメラ信号処理部１０で処理された後、ディスプレイ１１でモニタ用に表示される。またこのカメラ信号処理部１０から出力される画像データＤ２が画像処理部１２で処理された後、符号化部１３で符号化処理され、ストレージ１４に記録される。
【００７４】
デジタルスチルカメラ５では、これらカメラ信号処理部１０、画像処理部１２における画像データＤ１、Ｄ２の処理に、２次元のフィルタを使用することから、これらカメラ信号処理部１０、画像処理部１２では、所定ブロック単位で画像データＤ１、Ｄ２を処理することが必要になるのに対し、アナログディジタル変換部９からはラスタ走査順で画像データＤ１が出力されることになる。
【００７５】
そこでメモリを介してカメラ信号処理部１０、画像処理部１２で画像データＤ１、Ｄ２を並べ替えて処理することが必要になるが、この場合に、図３９について上述したように、フレームメモリを用いたのでは、メモリの容量が増大し、さらには処理を完了するまでの遅延時間が長くなる。
【００７６】
そこでこのデジタルスチルカメラ５では、カメラ信号処理部１０、画像処理部１２にそれぞれメモリ制御部２１、２３を設け、このメモリ制御部２１、２３によるメモリ２２、２４の制御により、メモリ２２、２４をそれぞれ介して画像データＤ１、Ｄ２をカメラ信号処理部１０、画像処理部１２で処理する（図３）。
【００７７】
また各メモリ制御部２１、２３では（図１）、書込み部３１で順次入力される画像データをメモリ２２、２４に格納するようにし、また読出し部３２でメモリ２２、２４に格納した画像データを読出して処理するようにする。また一定データ量だけメモリ２２、２４への書込み、読出しが完了すると、書込み完了信号Ｓ２、読出し完了信号Ｓ１を読出し側、書込み側に通知するようにし、これら書込み完了信号Ｓ２、読出し完了信号Ｓ１による書込み側と読出し側とのハンドシェイクにより、書込み側と読出し側とを同期させてメモリ２２、メモリ２４への書込み、読出しの処理を実行する（図５〜図７）。
【００７８】
この同期した処理により、書込み側は、読出し側によってメモリ２２、２４から画像データが一定データ量読出されると、この画像データを読出した領域に画像データを格納し、読出しの処理を追い越さないようにして、読出しの完了した領域に逐次画像データを格納する。また読出し側は、書込み側によってメモリ２２、２４に画像データが一定データ量格納されると、この格納した画像データをメモリ２２、２４から読出し、書込みの処理を追い越さないようにして、メモリ２２、２４に格納された画像データを逐次読出する（図８）。
【００７９】
従ってこのデジタルスチルカメラ５では、このメモリ２２、２４にフレームメモリを適用しなくても、メモリ２２、２４を用いて書込み、読出しの順序を変更することができ、メモリ２２、２４の容量を小容量化することができる。実際上、１フレームが、６４０画素×４８０画素の画像データをフレームメモリを用いて処理する場合には、３０７２００画素（６４０画素×４８０画素）の容量が必要になる。しかしながら、メモリ２２、２４にそれぞれ６４０画素×６０画素の領域を２個設け、この領域を書込み完了信号Ｓ２、読出し完了信号Ｓ１の出力単位とすれば、これら２つの領域を交互に使用して、フレームメモリを用いた場合と同様に、画像データの順序を並び替えることができる。従ってこの場合、結局、メモリ２２、２４に、７６８００（６４０画素×６０画素×２）の領域を確保すればよく、フレームメモリを用いる場合に比して、メモリ２２、２４の容量を１／４に削減することができる。
【００８０】
またメモリ２２、２４の容量を小容量化できることにより、処理を開始して処理を完了するまでの処理に要する時間を、フレームメモリを使用する場合に比して格段的に短くすることができる。
【００８１】
また書込み部３１、読出し部３２の間で、読出し完了信号Ｓ１、書込み完了信号Ｓ２を単に送受して、ハンドシェイクによりメモリ２２、２４で画像データの書込み、読出しを実行することにより、書込み部３１、読出し部３２をそれぞれデータバス、アドレスバスに接続して外部メモリによりメモリ２２、２４を構成するようにしても、簡易にカメラ信号処理部１０、画像処理部１２を構成することができる。従って、設計の自由度を格段的に向上することができ、また書込み側、読出し側に必要に応じて割り込みをかけ、他の回路ブロックでこれらメモリ２２、２４をアクセスすることもできる。
【００８２】
またさらにこれら書込み部３１、読出し部３２におけるレジスタ値の変更により、読出し、書込みの画像データの順序、単位を種々に変更することもできる。すなわち書込み部３１では、中央処理ユニット７により転送数カウント部３５のレジスタ値を更新して、書込み完了信号Ｓ２を出力する一定データ量が適宜変更される。このデータ量の変更により、このデジタルスチルカメラ５では、読出した画像データを処理する処理回路の待ち時間を短くして処理に要する時間を短くすることができる。
【００８３】
すなわちこの場合、転送数カウント部３５及び又は４２に設定されるレジスタ値を適宜更新することにより、又は転送数カウント部３５及び又は４２に複数のレジスタ値を設定するようにして、この複数のレジスタ値を順次選択して書込み完了信号Ｓ２、読出し完了信号Ｓ１を出力することにより、読出した画像データを処理する処理回路の待ち時間を短くして画像データの処理に要する時間を短くすることができる。また転送数カウント部３５及び又は４２に複数のレジスタ値を設定する場合には、この複数のレジスタ値の全部又は一部を更新するようにして、例えば画像データの処理負荷に応じて書込み完了信号Ｓ２、読出し完了信号Ｓ１を出力する一定データ量を切り換えることもでき、この場合、一段と読出した画像データを処理する処理回路の待ち時間を短くして処理に要する時間を短くすることができる。
【００８４】
またこのレジスタ値の設定により、書込み部３１と読出し部３２とで完了信号Ｓ１、Ｓ２を出力する一定データ量を異ならせることもでき、この場合は、不必要な完了信号Ｓ１、Ｓ２の処理を省略して処理速度を高速度化することができる。
【００８５】
またＤＭＡＣ３８のレジスタ値を更新して、メモリ２２に発行するアドレスデータを変更し、メモリ２２への画像データの書込みの順序、書込み単位を変更することができる。この書込み順序、書込み単位の変更によりカメラ信号処理部１０、画像処理部１２における処理の自由度を向上することができる。すなわち例えばストレージ１４に格納された画像データを復号して画像処理部１２で画像処理した後、ストレージ１４に記録し直す場合も考えられ、この場合には、撮像結果の記録時におけるブロック単位を、復号処理により得られるブロック単位に変更すれば、画像処理部１２の構成を用いて、復号された画像データを処理することができる。
【００８６】
このメモリ２２、２４を用いた処理により、カメラ信号処理部１０側のメモリ２２では、ラスタ走査順の画像データＤ１がメモリ２２に格納され、この画像データＤ１がカメラ信号処理部１０の画像処理単位であるブロック単位で順次メモリ２２から読出されて処理される（図９）。また画像処理部１２側のメモリ２４では、カメラ信号処理部１０においてブロック単位で処理された画像データＤ２が、ブロック単位で格納され、この画像データＤ２が画像処理部１２の画像処理単位であるブロック単位で読出されて処理される（図１０）。
【００８７】
このカメラ信号処理部１０、画像処理部１２における処理において（図１２）、画像データＤ１は、カメラ信号処理部１０における２次元のフィルタのタップ数に対応する分だけ、メモリ２２から余分に、隣接するブロックで繰り返し読出され、余分に読出した分を除いてメモリ２４に格納される。またメモリ２４からも、同様に、画像処理部１２における２次元のフィルタのタップ数に対応する分だけ、余分に、隣接するブロックで繰り返し読出され、余分に読出した分を除いて出力される。従ってこのデジタルスチルカメラ５では、カメラ信号処理部１０における２次元の処理に必要な分だけ、メモリ２２から繰り返し画像データを読出して処理することになる。
【００８８】
これに対して単にカメラ信号処理部１０、画像処理部１２を直列に接続して画像データを処理する場合、カメラ信号処理部１０は、画像処理部１２に余分に供給する分を上乗せして、画像データを処理することになる（図１１）。
【００８９】
従ってこの実施例では、カメラ信号処理部１０で処理された画像データを一旦メモリに格納して画像処理部１２で処理することにより、単にカメラ信号処理部１０、画像処理部１２を直列に接続して画像データを処理する場合に比して、先頭側のカメラ信号処理部１０の負担を軽減することができる。
【００９０】
（３）実施例の効果
以上の構成によれば、一定データ量の書込みの完了と、一定データ量の読出しの完了とを書込み側と読出し側とで通知し合うようにして、これら書込み側と読出し側とのハンドシェイクによりメモリに画像データを格納し、順序を変更して処理することにより、メモリの容量を低減し、かつ遅延時間を短くすることができる。
【００９１】
またこの書込みの完了を通知する一定データ量及び又は読出しの完了とを通知する一定データ量をレジスタ値により更新することにより、遅延時間を一段と短くすることもできる。
【００９２】
また複数の設定値を順次選択してこの一定データ量を順次切り換えるようにすることにより、読出し側の処理回路における待ち時間を短くして処理に要する時間を短くすることができる。またこの複数の設定値の一部又は全部を更新することにより、処理の負荷に応じて読出し側の処理回路における待ち時間を短くすることができる。
【００９３】
また同様のレジスタ値の変更により、メモリの書込み順序、書込み単位、及び又は読出し順序、読出し単位を変更することもでき、適用範囲を拡大させることができる。
また隣接するブロックにおける読出しとの間で、重複して画像データを読出すことにより、画像端の歪みの発生を有効に回避して画像処理することができる。
【００９４】
また書込み側と読出し側とで、完了信号を出力する一定データ量を異ならせることにより、不必要な完了信号の処理を省略して処理速度を高速度化することができる。
【実施例２】
【００９５】
図１５は、図１との対比により、本発明の実施例２のデジタルスチルカメラに適用されるメモリ制御部の構成を示すブロック図である。この実施例のメモリ制御部２１、２３において、書込み部３１は、バスブリッジ４４を介してメモリ２２をアクセスする。また転送数カウント部４５では、このバスブリッジ４４で発生する遅延時間の分、書込み完了信号Ｓ２を出力するタイミングを遅延させる。この実施例のデジタルスチルカメラは、この遅延時間に関する構成が異なる点を除いて、実施例１のデジタルスチルカメラと同一に構成される。
【００９６】
なお書込み部３１に代えて、読出し部３２側でバスブリッジ４４を介してメモリ２２をアクセスするようにしてもよく、この場合は、読出し部３２から出力する読出し完了信号Ｓ１を遅延させることが必要になる。また書込み部３１、読出し部３２の双方で、バスブリッジ４４を介してメモリ２２をアクセスするようにしてもよく、この場合は、書込み部３１、読出し部３２の双方で書込み完了信号Ｓ２、読出し完了信号Ｓ１を遅延させることが必要になる。また転送数カウント部４５、４２による完了信号Ｓ１、Ｓ２の遅延に代えて、書込み制御部３６、読出し制御部４１により許可信号Ｓ３、Ｓ６の出力を遅延させてもよい。
【００９７】
この実施例によれば、書込み完了信号、読出し完了信号を遅延させて出力することにより、複数のバスを介して間接的にメモリをアクセスする場合でも、実施例１と同様の効果を得ることができる。
【実施例３】
【００９８】
図１６は、図１との対比により、本発明の実施例３のデジタルスチルカメラに適用されるメモリ制御部の構成を示すブロック図である。この実施例のメモリ制御部２１、２３において、書込み部３１、読出し部３２は、転送数カウント部３５、４２に代えて、転送アドレス比較部４６、４７を有し、転送信号Ｓ４のカウントによるメモリ２２のへの書込みデータ量の監視、転送信号Ｓ７のカウントによるメモリ２２からの読出しデータ量の監視に代えて、書込みの完了したメモリ２２のアドレス、読出しの完了したメモリ２２のアドレスの監視により、書込み完了信号Ｓ２、読出し完了信号Ｓ１を出力する。
【００９９】
なおこの場合、アドレス値を直接判定して書込み完了信号Ｓ２、読出し完了信号Ｓ１を出力するタイミングを検出してもよく、直前に書込み完了信号Ｓ２、読出し完了信号Ｓ１を出力したアドレス値からのアドレス値の変化値を判定して書込み完了信号Ｓ２、読出し完了信号Ｓ１を出力するタイミングを検出してもよい。この実施例のデジタルスチルカメラは、完了信号Ｓ１、Ｓ３に関する構成が異なる点を除いて、実施例１のデジタルスチルカメラと同一に構成される。
【０１００】
なおアドレスによるデータ量の監視にあっては、書込み側、読出し側の何れか一方にし、他方のデータ量の監視を転送信号のカウントにより実行するようにしてもよい。
【０１０１】
この実施例によれば、書込みの完了したデータ量、読出しの完了したデータ量の判定をアドレスの監視により実行するようにしても、実施例１と同様の効果を得ることができる。
【実施例４】
【０１０２】
図１７は、図１との対比により、本発明の実施例４のデジタルスチルカメラに適用されるメモリ制御部の構成を示すブロック図である。ここでこのメモリ制御部２１は、書込み部３１に比して、読出し部３２が格段的に高速度で動作することにより、読出しの処理に対して書込みの処理が十分に遅く、書込みの処理が読出しの処理を追い越す恐れが無い場合である。この実施例は、読出し完了信号Ｓ１に関する構成である転送数カウント部４２、書込み制御部３６を省略される。この実施例のデジタルスチルカメラは、この一部構成を省略した点を除いて、実施例１のデジタルスチルカメラと同一に構成される。
【０１０３】
なおこれとは逆に、書込みの処理に対して読出しの処理が十分に遅く、読出しの処理が書込みの処理を追い越す恐れがない場合には、書込み完了信号Ｓ２に関する構成である転送数カウント部３５、読出し制御部４１を省略するようにしてもよい。なおこの一部構成の省略は、例えば何れか１方のデータ転送速度が、他方のデータ転送速度の１／２以下である場合に適用することができる。
【０１０４】
この実施例によれば、書込み側又は読出し側の処理が、読出し側又は書込み側の処理に追いつく恐れの無い場合に、読出し完了信号又は書込み完了信号に関する構成を省略するようにしても、実施例１と同様の効果を得ることができる。
【実施例５】
【０１０５】
図１８は、図１との対比により、本発明の実施例５のデジタルスチルカメラに適用されるメモリ制御部の構成を示すブロック図である。このデジタルスチルカメラでは、読出し部３２Ａ〜３２Ｃを複数系統設け、完了信号切り替え部４９により、これら複数系統の読出し部３２Ａ〜３２Ｃの中から、１つの系統を選択する。このデジタルスチルカメラは、この選択した系統との間で書込み完了信号Ｓ２、読出し書込み完了信号Ｓ１を送受するようにして、これらの系統を切り換えて画像データをメモリから読出す。また各系統にそれぞれ専用の画像データ処理回路を設けるようにする。
【０１０６】
すなわちこの図１８の例において、例えばＪＰＥＧにより画像データをデータ圧縮する場合に、ラスタ走査の順序で書込み部３１により画像データをメモリに書込みながら、読出し部３２Ａでブロック単位で順次読出して専用のプロセッサに画像データを出力する。従ってこの場合、完了信号切り替え部４９は、書込み部３１と読出し部３２Ａとの間で書込み完了信号Ｓ２、読出し完了信号Ｓ１を送受し、これら書込み部３１と読出し部３２Ａとを同期させて動作させる。
【０１０７】
これに代えて例えばＭＰＥＧにより画像データをデータ圧縮する場合に、ラスタ走査の順序で書込み部３１により画像データをメモリに書込みながら、読出し部３２Ｂでブロック単位で順次読出して専用のプロセッサに画像データを出力する。従ってこの場合、完了信号切り替え部４９は、書込み部３１と読出し部３２Ｂとの間で書込み完了信号Ｓ２、読出し完了信号Ｓ１を送受し、これら書込み部３１と読出し部３２Ｂとを同期させて動作させる。
【０１０８】
また例えばＨ２６４により画像データをデータ圧縮する場合に、ラスタ走査の順序で書込み部３１により画像データをメモリに書込みながら、読出し部３２Ｃでブロック単位で順次読出して専用のプロセッサに画像データを出力する。従ってこの場合、完了信号切り替え部４９は、書込み部３１と読出し部３２Ｃとの間で書込み完了信号Ｓ２、読出し完了信号Ｓ１を送受し、これら書込み部３１と読出し部３２Ｃとを同期させて動作させる。
【０１０９】
なお読出し部に代えて、書込み部を複数系統設けて切り換えるようにしてもよく、書込み部及び読出し部の双方を複数系統としてもよい。
【０１１０】
この実施例によれば、書込み部及び又は読出し部を複数系統とし、これらの系統を切り換えて画像データを書込み、読出すことにより、１つのメモリを複数の処理で共通にしようとして、実施例１と同様の効果を得ることができる。
【実施例６】
【０１１１】
図１９は、本発明の実施例６のデジタルスチルカメラのメモリ制御部２３における処理の説明に供する略線図である。この実施例では、カメラ信号処理部１０における処理単位と、画像処理部１２における処理単位とを異ならせて、メモリ２４における書込み時のブロックＢＬＷと読出し時のブロックＢＬＲとでブロックサイズとを異ならせ、読出した画像データの処理の効率を向上する。
【０１１２】
この実施例のように、書込み時のブロックサイズと読出し時のブロックサイズとを異ならせれば、後段の処理の効率を一段と向上させるようにして、実施例１と同様の効果を得ることができる。
【実施例７】
【０１１３】
この実施例のデジタルスチルカメラは、カメラ信号処理部１０及び又は画像処理部１２の処理系統を複数系統として画像データを並列処理するようにし、各系統にそれぞれ対応させてメモリ制御部２１及び又は２３における書込み部３１、読出し部３２を複数系統とする。またこれら複数系統の書込み部３１により同時並列的に画像データをメモリに格納し、また複数系統の読出し部３２により同時並列的に画像データを読出す。
【０１１４】
またアンド回路を設け、複数系統の書込み部３１、読出し部３２から出力される書込み完了信号Ｓ２、読出し完了信号Ｓ１の論理積信号を得、この論理積信号による書込み完了信号Ｓ２、読出し完了信号Ｓ１を複数系統の読出し部３２、書込み部３１に出力する。
【０１１５】
ここで図２０は、書込み側を２系統とし、読出し側を１系統とした場合を示す略線図である。この場合には、画像データＤ１、Ｄ２による１画面を水平方向に２分割するように、メモリ２２、２４の領域を第１及び第２の領域ＡＲ１、ＡＲ２に分割する。またこの第１及び第２の領域ＡＲ１、ＡＲ２を各系統にそれぞれ割り当て、符号Ａ１及びＡ２で示すように、各領域ＡＲ１、ＡＲ２にそれぞれ各系統の書込み部３１で画像データＤ１を格納する。また１系統の読出し部３２によりブロック単位で画像データＤ１を読出すようにする。なおこの図１７は、画像データＤ１の書込みをラスタ走査順で実行する場合を示すものではあるが、ブロック単位で実行する場合にも広く適用することができる。
【０１１６】
また図２１は、書込み部３１を１系統とし、読出し部３２を２系統とした場合を示す略線図である。この場合、１系統の書込み部３１でラスタ走査順に順次画像データを格納する。また読出し部３２の各系統に領域ＡＲ１、ＡＲ２を割り当て、同時並列的に画像データを読出す。また例えば読出した各系統の画像データの処理能力に応じて、各系統でブロックサイズを異ならせる。
【０１１７】
なお書込み部及び読出し部を複数系統とする構成は、ブロック単位で画像データを格納し、ブロック単位で読出す場合にも、適用することができる。またブロック単位で格納してラスタ走査順に出力する場合にも適用することができる。また図２２に示すように、複数系統で画像データを読出す場合には、この複数系統で読出す画像データを重複させるようにしてもよい。なお図２２は、ブロック単位により１系統で画像データを格納し、２系統でラスタ走査順に画像データを読出す場合である。
【０１１８】
この実施例によれば、書込み側及び又は読出し側を複数系統とすることにより、一段と処理を高速度化して、実施例１と同様の効果を得ることができる。
【実施例８】
【０１１９】
この実施例では、例えば画像表示装置に適用して動画像の処理に本発明を適用する。ここ実施例では、ラスタ走査順で入力される動画像の画像データを図１のメモリ制御部により並び替えて、例えば輪郭強調等の画質補正処理を実行した後、さらに元の順序に並び替えて表示する。
【０１２０】
この実施例において、図２３に示すように、メモリ制御部２１は、１フィールド分の画像データを、データ量の等しい複数の書込み単位に分割してメモリ２２に書込み、またこの書込みの単位に一致する読出しの単位で順次メモリ２２から読出す。ここで図２３において、書込み部３１に入力される画像データＤ１、メモリ２２に書込む画像データＤ１のタイミングを符号３１ＩＮ、３１ＯＵＴ（図２３（Ｂ）及び（Ｃ））で示す。またメモリ２２から読出す画像データＤ１、読出し部３２から出力する画像データＤ１のタイミングを符号３２ＩＮ、３２ＯＵＴ（図２３（Ｅ）及び（Ｆ））で示す。また画像データ３１ＩＮ〜３２ＯＵＴを区切って書込みの単位を示す。
【０１２１】
この実施例のメモリ制御部２１は、書込み許可信号Ｓ３が出力され、バスの使用許可が得られると、順次入力される画像データＤ１に同期した入力側の垂直同期信号ＶＤＩＮ（図２３（Ａ））をトリガにして、１フィールドの先頭の書込み単位のメモリ２２への書込みを開始する。これに対して読出し側では、読出し許可信号Ｓ６が出力され、バスの使用許可が得られると、入力側の垂直同期信号ＶＤＩＮに対して一定の位相差を有する出力側の垂直同期信号ＶＤＯＵＴ（図２３（Ｄ））をトリガにして、１フィールドの先頭の書込み単位のメモリ２２からの読出しを開始する。
【０１２２】
この実施例によれば、書込み側の同期信号に対して、一定の位相差を有する読出し側の同期信号を基準にしてメモリに格納した画像データの読出しを開始することにより、垂直同期信号を基準にした動画のリアルタイムに適用して、実施例１と同様の効果を得ることができる。
【実施例９】
【０１２３】
図２４は、本発明の実施例に係るデジタルスチルカメラにおける、カメラ信号処理部１０、画像処理部１２への画像データＤ１、Ｄ２の入力の説明に供する略線図である。
【０１２４】
このデジタルスチルカメラでは、メモリ制御部２１により、水平方向に細長い短冊形状に画像データを切り出してカメラ信号処理部１０で処理する（図２４（Ａ）及び（Ｂ））。またこの短冊形状の画像データをメモリ２４に格納した後、ブロック形状に画像データを切り出して画像処理部１２で画像処理する（図２４（Ｂ）及び（Ｃ））。なおこの図２４の例では、この短冊形状の垂直方向のサンプル数が、１つのブロックの垂直方向のサンプル数に設定される。
【０１２５】
このように段階的にブロックの大きさを小さくして画像データを処理することにより、この実施例では、メモリの容量をさらに低減し、さらにはメモリ制御部の負担を軽減する。
【０１２６】
なお図２５に示すように、この短冊形状による画像データの切り出しにおいても、フィルタリング処理の分、余分に画像データを読出し、連続する読出し単位で一部重複して画像データを読出す。またこの重複した画像データの読出しに対応するように、２回目の読出しで読出し完了信号Ｓ１を出力する。なお図２４との対比により図２６に示すように縦長に短冊形状に画像データを切り出して処理した後、ブロック単位で処理するようにしてもよい。
【０１２７】
この実施例によれば、段階的にブロックの大きさを小さくして画像データを処理することにより、一段とメモリの容量を低減し、実施例１と同様の効果を得ることができる。
【実施例１０】
【０１２８】
なお上述の実施例においては、書込み完了信号Ｓ２を出力する一定データ量と、読出し完了信号Ｓ１を出力する一定データ量とを等しく設定する場合について述べたが、この実施例では、図２７に示すように、これらデータ量を異ならせて、書込み完了信号Ｓ２の１つの通知単位が、読出し完了信号Ｓ１の複数の通知単位を跨がるようにする。なおこれとは逆に、読出し完了信号Ｓ１の１つの通知単位が、書込み完了信号Ｓ２の複数の通知単位Ｓ２を跨がるようにしてもよい。また図２８に示すように、これらの場合にも、連続する読出し完了信号Ｓ１の通知単位が重複するようにしてもよい。
【０１２９】
この実施例によれば、書込み完了信号を出力する一定データ量と、読出し完了信号を出力する一定データ量とを異ならせることにより、前段及び後段の処理に応じて書込み完了信号、読出し完了信号を出力するタイミングを種々に設定して、前段及び後段の処理における効率を向上し、さらに実施例１と同様の効果を得ることができる。
【実施例１１】
【０１３０】
なお上述の実施例においては、ブロック単位で画像データを読出して、メモリに格納した画像データを全て読出して処理する場合について述べたが、この実施例では、メモリに格納した一部画像データのみを読出すようにする。ここでこのような一部画像データによる処理は、例えば画像の分類処理等に使用する特徴量を画像から検出する処理、顔等の特定部位を基準にした絞り、ホワイトバランス調整等の基準値を計算する処理である。
【０１３１】
すなわち図２９は、例えば特徴量の検出のために、一定のピッチでブロックＢＬを順次移動させて、メモリに格納された画像データを一部のみ読出す場合であり、図３０は、ブロックＢＬをランダムに移動させて、例えば顔が検出された部位の画像データのみを一部読出す場合である。
【０１３２】
なおこの場合、例えばブロック単位で読出す場合、ラスタ走査の順序で読出す場合において、間引きして画像データを読出す場合にも広く適用することができる。
【０１３３】
この実施例のように、メモリに格納した画像データの一部のみ読出す場合でも、実施例１と同様の効果を得ることができる。
【実施例１２】
【０１３４】
ところで上述の実施例においては、図３１に示すように、連続してアクセスする１ラインの画像データをメモリの連続したアドレスに格納できない場合も発生する。また同様に、連続してアクセスする複数ラインの画像データをメモリの連続したアドレスに格納できない場合も発生する。
【０１３５】
特にメモリ２２、２４の容量が、１回の書込み許可信号Ｓ３でメモリ２２、２４に画像データを書込むデータ量の整数倍でない場合、連続してアクセスする画像データを連続したアドレスによりメモリ２２、２４に格納できなくなる。
【０１３６】
またメモリ２２、２４の容量が１回の書込み許可信号Ｓ３でメモリ２２、２４から画像データを読出すデータ量の整数倍でない場合、さらには連続した読出し単位で、重複して画像データを読出す場合には、連続したアドレスによりメモリをアクセスして、連続する画像データを読出すことが困難になる。すなわち図３１の例では、メモリ２２、２４の末尾から先頭にジャンプして連続する画像データを書込み、又は読出すことが必要になる。
【０１３７】
そこでこの実施例では、メモリ２２、２４をリングバッファにより構成し、連続してアクセスする画像データについては、連続したアドレスによりメモリ２２、２４をアクセスできるようにする。なお図３１においては、ハッチングにより１回の書込み許可信号Ｓ３でメモリ２２、２４に書込む画像データの書込みの単位を示す。
【０１３８】
この場合、順次循環的に値が変化するように、メモリ２２、２４のアドレスを設定してメモリ２２、２４自体をリングバッファとして構成してもよい。またアドレス変換により書込み部３１、読出し部３２からのメモリ２２、２４のアドレス制御をリングバッファのアドレス制御としてもよい。
【０１３９】
すなわち上述した各バンクを単位にしたメモリ２２、２４のアクセスでは、図３２に示すように、画像データＤ１のクロックをアドレスカウンタでカウントして領域選択アドレスと、各バンク内のアドレスである領域内アドレスとによる内部生成アドレスを生成し、この内部生成アドレスをそのままメモリ２２に、２４に出力してメモリ２２、２４をアクセスすることができる。
【０１４０】
これに対して図３３に示すように、図３２の内部生成アドレスの中間ビットをマスクしてメモリ２２、２４をアクセスすれば、メモリ２２、２４の末尾の領域に１ラインの画像データを格納すると、続いてメモリ２２、２４の先頭の領域に１ラインの画像データを格納するように、連続したアドレスデータでメモリ２２、２４をアクセスすることができ、書込み部３１、読出し部３２から見て、垂直方向のリングバッファを構成することができる。
【０１４１】
また図３３に示すように、図３２の例よりさらに下位の中間ビットをマスクしてメモリ２２、２４をアクセスすれば、メモリ２２、２４の水平方向の末尾の領域に画像データを格納すると、続いて水平方向の先頭領域に画像データを格納するように、連続したアドレスデータでメモリ２２、２４をアクセスすることができ、書込み部３１、読出し部３２から見て、水平方向のリングバッファを構成することができる。
【０１４２】
なおこの図３３、図３４に示すアドレス変換処理に代えて、指定アドレスを用いた演算処理によりアドレスデータを生成してもよい。この場合、指定アドレスからベースアドレス値を減算した減算値の剰余をベースアドレス値に加算してアドレス変換処理した場合と同一にアドレスデータを生成することができる。なおこの場合に、剰余は、リングバッファサイズの値で割り算した剰余であり、ベースアドレス値は、アクセス開始のアドレス値である。
【０１４３】
この実施例によれば、リングバッファによりメモリを形成することにより、連続してアクセスする画像データを連続したアドレスにより書込み、読出して処理を簡略化し、実施例１と同様の効果を得ることができる。
【実施例１３】
【０１４４】
この実施例では、連続してアクセスする画像データを不連続なアドレス空間に割り当てて、図３５に示すように、書込み部３１から読出し部３２に直接、画像データの一部を転送し、処理ブロック６１で処理する。
【０１４５】
すなわち図３６に示すように、この実施例では、アドレス空間の先頭側、６４ｋ〔ｂｙｔｅ〕のアドレス空間ＡＲ０については、メモリ２２、２４の領域を割り当てないようにして空きのアドレス空間を形成する。従ってこの場合、この空きのアドレス空間ＡＲ０に対応するメモリ２２、２４の下位側、６ビットのアドレスにあっては、何ら意味を有しない無効なビットが割り当てられる。
【０１４６】
これに対して下位側の７ビット目より上位のビットで定義される６４ｋ〔ｂｙｔｅ〕のアドレス空間ＡＲ１を、読出し部３２に割り当てる。またさらに上位のビットで定義される１Ｍ〔ｂｙｔｅ〕のアドレス空間ＡＲ２をメモリ２２に割り当てる。
【０１４７】
ここで図３７に示すように、空きのアドレス空間ＡＲ０を除いて、アドレス空間ＡＲ１、ＡＲ２を順次指定するようにアドレスデータを発行して書込み部３１から画像データを出力すれば、アドレス空間ＡＲ１が割り当てられた画像データについては、直接、書込み部３１から読出し部３２に転送することができる。またアドレス空間ＡＲ２が割り当てられた画像データについては、メモリ２２に格納することができる。
【０１４８】
従って例えばブロック単位で画像データをメモリに格納してブロック単位で読出す画像処理部１２側の処理において、図９等について上述した重複して読出す分の画像データのみを、２回目の読出しに備えてメモリ２２に格納する場合等に適用して、メモリ２２を一段と小容量化することができる。
【０１４９】
この実施例によれば、連続してアクセスする画像データを不連続なアドレス空間に割り当てて書込み部から出力するようにして、一段と構成、処理を簡略化するようにしてもよい。
【実施例１４】
【０１５０】
なお上述の実施例においては、本発明をデジタルスチルカメラ、画像表示装置に適用する場合について述べたが、本発明はこれに限らず、ビデオカメラ等の撮像装置、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistants ）、ＤＶＤ（Digital Versatile Disk）レコーダー等の記録装置、セットトップボックス、ルーター等のネットワーク機器等に広く適用することができる。
【産業上の利用可能性】
【０１５１】
本発明は、撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用することができる。
【図面の簡単な説明】
【０１５２】
【図１】本発明の実施例１のデジタルスチルカメラに適用されるメモリ制御部を示すブロック図である。
【図２】本発明の実施例１のデジタルスチルカメラを示すブロック図である。
【図３】図２のデジタルスチルカメラにおけるカメラ信号処理部、画像処理部の構成を示すブロック図である。
【図４】図１のメモリ制御部における書込みデータ量、読出しデータ量の説明に供する略線図である。
【図５】図１のメモリ制御部における書込み制御部の処理手順を示すフローチャートである。
【図６】図１のメモリ制御部における読出し制御部の処理手順を示すフローチャートである。
【図７】図１のメモリ制御部におけるＤＭＡＣの処理手順を示すフローチャートである。
【図８】図１のメモリ制御部における画像データの書込みと読出しとの処理を示すタイムチャートである。
【図９】図２のカメラ信号処理部のメモリ制御部におけるメモリへの書込み、読出しの説明に供する略線図である。
【図１０】図２の画像処理部のメモリ制御部におけるメモリへの書込み、読出しの説明に供する略線図である。
【図１１】カメラ信号処理部から出力される画像データを画像処理部で処理する場合の説明に供する略線図である。
【図１２】図３の構成による画像データの処理の説明に供する略線図である。
【図１３】画像データの重複した読出しの説明に供する略線図である。
【図１４】図１３の処理による読出し完了信号の出力のタイミングを示す略線図である。
【図１５】本発明の実施例２のデジタルスチルカメラに適用されるメモリ制御部の構成を示すブロック図である。
【図１６】本発明の実施例３のデジタルスチルカメラに適用されるメモリ制御部の構成を示すブロック図である。
【図１７】本発明の実施例４のデジタルスチルカメラに適用されるメモリ制御部の構成を示すブロック図である。
【図１８】本発明の実施例５のデジタルスチルカメラに適用されるメモリ制御部の構成を示すブロック図である。
【図１９】本発明の実施例６のデジタルスチルカメラのメモリ制御部における処理の説明に供する略線図である。
【図２０】書込み側の２系統とし、読出し側を１系統とした場合を示す略線図である。
【図２１】書込み側を１系統とし、読出し側を２系統とした場合を示す略線図である。
【図２２】ブロック単位で１系統で画像データを格納し、２系統でラスタ走査順に画像データを読出す場合を示す略線図である。
【図２３】本発明の実施例８におけるメモリ制御部の動作の説明に供するタイムチャートである。
【図２４】短冊形状に画像データを切り出して処理した後、ブロック単位で処理する場合の説明に供する略線図である。
【図２５】図２４の処理による読出し完了信号の出力のタイミングを示す略線図である。
【図２６】垂直方向に短冊形状で画像データを切り出して処理する場合を示す略線図である。
【図２７】書込み完了信号と読出し完了信号との通知単位を異ならせた場合を示す略線図である。
【図２８】書込み完了信号と読出し完了信号との通知単位を異ならせて、連続する読出し完了信号の通知単位が重複する場合を示す略線図である。
【図２９】一定のピッチでブロックを順次移動させて、メモリに格納された画像データを一部のみ読出す場合を示す略線図である。
【図３０】ブロックをランダムに移動させて、メモリに格納された画像データを一部のみ読出す場合を示す略線図である。
【図３１】リングバッファの説明に供する略線図である。
【図３２】アドレスデータの説明に供する略線図である。
【図３３】アドレス変換処理によりリングバッファを構成する場合の説明に供する略線図である。
【図３４】水平方向のリングバッファに関して、アドレス変換処理によりリングバッファを構成する場合の説明に供する略線図である。
【図３５】本発明の実施例１３のデジタルスチルカメラの一部構成を示すブロック図である。
【図３６】図３５のアドレス空間を示す略線図である。
【図３７】図３６のアドレス空間における画像データの処理の説明に供する略線図である。
【図３８】図３７の処理におけるアドレス変換処理を示す略線図である。
【図３９】従来の画像処理の説明に供するブロック図である。
【符号の説明】
【０１５３】
２、２２、２４……メモリ、３、１２……画像処理部、４Ａ、４Ｂ、３８、４２、４５……ＤＭＡＣ、５……デジタルスチルカメラ、１０……カメラ信号処理部、２１、２３……メモリ制御部、３１……書込み部、３２……読出し部、３６……書込み制御部、３５、４２、４５……転送数カウント部、４１……読出し制御部、４６、４７……転送アドレス比較部
【図１】
2008172410.tif 000003
【図２】
2008172410.tif 000004
【図３】
2008172410.tif 000005
【図４】
2008172410.tif 000006
【図５】
2008172410.tif 000007
【図６】
2008172410.tif 000008
【図７】
2008172410.tif 000009
【図８】
2008172410.tif 000010
【図９】
2008172410.tif 000011
【図１０】
2008172410.tif 000012
【図１１】
2008172410.tif 000013
【図１２】
2008172410.tif 000014
【図１３】
2008172410.tif 000015
【図１４】
2008172410.tif 000016
【図１５】
2008172410.tif 000017
【図１６】
2008172410.tif 000018
【図１７】
2008172410.tif 000019
【図１８】
2008172410.tif 000020
【図１９】
2008172410.tif 000021
【図２０】
2008172410.tif 000022
【図２１】
2008172410.tif 000023
【図２２】
2008172410.tif 000024
【図２３】
2008172410.tif 000025
【図２４】
2008172410.tif 000026
【図２５】
2008172410.tif 000027
【図２６】
2008172410.tif 000028
【図２７】
2008172410.tif 000029
【図２８】
2008172410.tif 000030
【図２９】
2008172410.tif 000031
【図３０】
2008172410.tif 000032
【図３１】
2008172410.tif 000033
【図３２】
2008172410.tif 000034
【図３３】
2008172410.tif 000035
【図３４】
2008172410.tif 000036
【図３５】
2008172410.tif 000037
【図３６】
2008172410.tif 000038
【図３７】
2008172410.tif 000039
【図３８】
2008172410.tif 000040
【図３９】
2008172410.tif 000041