(57)【要約】【課題】本発明は、画像処理方法、画像処理装置、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用して、撮像結果等を復号化処理、画像処理、符号化処理する構成において、画像処理結果を一時格納するバッファメモリの容量を低減する。【解決手段】本発明は、画像処理単位により、順次入力符号化データを復号化処理、画像処理、符号化処理した後、符号化データを並べ直す。【選択図】        図１
2007158884.tif 000002
【特許請求の範囲】
【請求項１】
所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理方法において、
前記画像処理に供する画像処理単位による繰り返しの処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返し処理のステップと、
前記繰り返し処理のステップにより得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替えのステップとを有し、
前記繰り返し処理のステップは、
前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化のステップと、
前記画像処理単位により前記復号化のステップによる画像データを画像処理する画像処理のステップと、
前記画像処理のステップにより前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化のステップとを有する
ことを特徴とする画像処理方法。
【請求項２】
前記復号化のステップ及び符号化のステップは、
前記入力符号化データを復号化すると共に、前記画像データを符号化処理する符号化／復号化部を交互に使用して実行される
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記繰り返し処理のステップは、
前記符号化のステップで検出される所定のデータを、後の前記画像処理単位における符号化処理のステップで利用可能に記録して保持する情報記録のステップを有し、
前記画像処理方法は、
前記情報記録のステップによっては、後の前記画像処理単位における符号化処理のステップでは利用可能に保持することができない前記所定のデータを取得する事前処理のステップを有し、
前記所定のデータが、
直前の符号化処理単位との間の差分値により伝送することが必要なデータであり、
前記符号化のステップは、
前記情報記録のステップ、前記事前処理のステップで記録された前記所定のデータを基準にして前記符号化データを生成し、
前記事前処理のステップは、
前記事前処理のステップによる前記事前のデータに係る前記入力符号化データを復号化して画像データを出力する事前処理の復号化のステップと、
前記事前処理の復号化のステップによる画像データを画像処理する事前処理の画像処理のステップと、
前記事前処理の画像処理のステップによる画像データを符号化処理単位で符号化処理して、前記事前処理のステップによる前記事前のデータを検出する事前処理の符号化のステップとを有する
ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記所定のデータが、
前記符号化処理単位におけるＤＣ値のデータである
ことを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記出力符号化データは、
前記入力符号化データによる画像を回転させた画像のデータであり、
前記画像処理方法は、
前記繰り返し処理のステップにおいて、前記画像処理単位、前記符号化処理単位、又は前記画像処理単位及び前記符号化処理単位の中間の処理単位で、画像を回転させた後、前記並べ替えのステップにおける前記符号化データの並べ替えにより、前記入力符号化データによる画像を回転させる
ことを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記出力符号化データは、
前記入力符号化データによる画像の一部を切り出した画像のデータである
ことを特徴とする請求項１に記載の画像処理方法。
【請求項７】
前記符号化のステップは、
可変長符号化処理により前記符号化データを生成して、前記符号化処理単位毎の発生符号量を検出し、
前記並べ替えのステップは、
前記符号化のステップで検出される発生符号量に基づいて、前記符号化処理単位で前記符号化データを並べ替える
ことを特徴とする請求項１に記載の画像処理方法。
【請求項８】
所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理装置において、
前記画像処理に供する画像処理単位による繰り返しの処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返し処理部と、
前記繰り返し処理部により得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替え部とを有し、
前記繰り返し処理部は、
前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化部と、
前記画像処理単位により前記復号化部による画像データを画像処理する画像処理部と、
前記画像処理部により前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化部とを有する
ことを特徴とする画像処理装置。
【請求項９】
演算処理手段による実行により、所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理方法のプログラムにおいて、
前記画像処理に供する画像処理単位による繰り返しの処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返し処理のステップと、
前記繰り返し処理のステップにより得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替えのステップとを有し、
前記繰り返し処理のステップは、
前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化のステップと、
前記画像処理単位により前記復号化のステップによる画像データを画像処理する画像処理のステップと、
前記画像処理のステップにより前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化のステップとを有する
ことを特徴とする画像処理方法のプログラム。
【請求項１０】
演算処理手段による実行により、所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法のプログラムは、
前記画像処理に供する画像処理単位による繰り返しの処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返し処理のステップと、
前記繰り返し処理のステップにより得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替えのステップとを有し、
前記繰り返し処理のステップは、
前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化のステップと、
前記画像処理単位により前記復号化のステップによる画像データを画像処理する画像処理のステップと、
前記画像処理のステップにより前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化のステップとを有する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばデジタルスチルカメラに適用することができる。本発明は、画像処理単位により、順次入力符号化データを復号化処理、画像処理、符号化処理した後、符号化データを並べ替えることにより、撮像結果等を復号化処理、画像処理、符号化処理する構成において、画像処理結果を一時格納するバッファメモリの容量を低減することができるようにする。
【背景技術】
【０００２】
従来、デジタルスチルカメラ等の撮像装置は、例えばＪＰＥＧ（Joint Photographic Coding Experts Group ）等の手法により撮像結果を符号化処理し、その処理結果による符号化データを記録媒体に記録している。このような撮像装置は、ユーザーによる操作に応じて、記録媒体に記録した撮像結果を復号化して画像処理した後、この画像処理結果を改めて符号化処理して記録媒体に記録している。
【０００３】
ここでこのような画像処理は、画像の回転処理、リサイズと称される解像度の変換による画像の拡大縮小処理、トリミング処理等であり、画像処理に適したブロックサイズによる画像処理単位、画像処理順序により、記録媒体に記録された撮像結果を順次切り出して実行される。これに対してＪＰＥＧ等の符号化処理は、マクロブロックによる符号化処理単位を順次ラスタ走査順に符号化処理することがフォーマットにより規定されている。
【０００４】
これにより撮像装置では、画像処理した撮像結果を一旦バッファメモリに蓄積して１画面分まとめた後、符号化処理して記録媒体に記録している。
【０００５】
すなわち図１６は、リサイズ、トリミング処理により画像処理する場合について、この画像処理に係る一連の処理を示すフローチャートである。撮像装置は、ユーザーによる操作に応動してこの処理手順を開始してステップＳＰ１からステップＳＰ２に移り、記録媒体に記録した撮像結果を復号化し、画像処理に供するブロックサイズである画像処理単位の分、撮像結果による画像データを取得する。
【０００６】
また続くステップＳＰ３において、この取得した画像データをリサイズ処理等してバッファメモリに記録し、続くステップＳＰ４において、未処理部分が残っているか否か判断する。ここで肯定結果が得られると、撮像装置は、ステップＳＰ２に戻る。これによりこの場合、撮像装置は、ステップＳＰ２−ＳＰ３−ＳＰ４−ＳＰ２の処理手順を画像処理の順序により、画像処理単位で繰り返し、全ての画像処理単位について処理を完了すると、ステップＳＰ４で否定結果が得られることにより、ステップＳＰ５に移る。これにより撮像装置は、撮像結果を１画面分、画像処理してバッファメモリに蓄積した後、このステップＳＰ５において、バッファメモリに蓄積した画像処理結果を符号化処理して記録媒体に記録し、その後ステップＳＰ６に移ってこの処理手順を終了する。
【０００７】
これによりリサイズにより画像を縮小する場合により図１７に示すように、撮像装置は、例えば撮像結果による原画像を水平方向に３等分して形成される部分画像１、２、３による画像処理単位毎に、記録媒体に記録された撮像結果を画像処理する。またこの画像処理結果をバッファメモリに蓄積して保持し、このバッファメモリに１画面分の処理結果が蓄積されると、このバッファメモリに記録された処理結果を符号化処理単位により順次符号化して記録媒体に記録する。
【０００８】
このような符号化処理に関して、特開平１１−２９８８７８号公報には、ＭＰＥＧストリームを並べ替えてスクランブルを施す構成が開示されている。
【０００９】
ところでこのように画像処理した撮像結果をバッファメモリに１画面分、格納して符号化処理する場合、このバッファメモリには、画像処理結果による画像を１画面分保持するのに充分な大容量のメモリが必要となり、これにより画像処理結果を一時保持するバッファメモリが大容量化する問題がある。
【特許文献１】特開平１１−２９８８７８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は以上の点を考慮してなされたもので、撮像結果等を復号化処理、画像処理、符号化処理する構成において、画像処理結果を一時格納するバッファメモリの容量を低減することができる画像処理方法、画像処理装置、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【００１１】
かかる課題を解決するため請求項１の発明は、所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理方法に適用して、前記画像処理に供する画像処理単位による繰り返しの処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返し処理のステップと、前記繰り返し処理のステップにより得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替えのステップとを有し、前記繰り返し処理のステップは、前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化のステップと、前記画像処理単位により前記復号化のステップによる画像データを画像処理する画像処理のステップと、前記画像処理のステップにより前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化のステップとを有するようにする。
【００１２】
また請求項８の発明は、所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理装置に適用して、前記画像処理に供する画像処理単位による繰り返しの処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返し処理部と、前記繰り返し処理部により得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替え部とを有し、前記繰り返し処理部は、前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化部と、前記画像処理単位により前記復号化のステップによる画像データを画像処理する画像処理部と、前記画像処理のステップにより前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化部とを有するようにする。
【００１３】
また請求項９の発明は、演算処理手段による実行により、所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理方法のプログラムに適用して、前記画像処理に供する画像処理単位による繰り返し処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返しの処理のステップと、前記繰り返し処理のステップにより得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替えのステップとを有し、前記繰り返し処理のステップは、前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化のステップと、前記画像処理単位により前記復号化のステップによる画像データを画像処理する画像処理のステップと、前記画像処理のステップにより前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化のステップとを有するようにする。
【００１４】
また請求項１０の発明は、演算処理手段による実行により、所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記画像処理に供する画像処理単位による繰り返しの処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返し処理のステップと、前記繰り返し処理のステップによる得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替えのステップとを有し、前記繰り返し処理のステップは、前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化のステップと、前記画像処理単位により前記復号化のステップによる画像データを画像処理する画像処理のステップと、前記画像処理のステップにより前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化のステップとを有するようにする。
【００１５】
請求項１の構成により、所定フォーマットにより符号化処理された入力符号化データを復号して画像処理した後、符号化処理して出力符号化データを生成する画像処理方法に適用して、前記画像処理に供する画像処理単位による繰り返しの処理により、前記符号化データを復号化した後、画像処理、符号化処理して符号化データを出力する繰り返し処理のステップと、前記繰り返し処理のステップによる得られる前記符号化データを並べ替えて、前記出力符号化データのフォーマットで規定された１画面を符号化処理する順序により前記出力符号化データを生成する並べ替えのステップとを有し、前記繰り返し処理のステップは、前記画像処理単位により前記入力符号化データを復号して画像データを出力する復号化のステップと、前記画像処理単位により前記復号化のステップによる画像データを画像処理する画像処理のステップと、前記画像処理のステップにより前記画像処理単位で得られる画像データを符号化処理単位で符号化処理する符号化のステップとを有するようにすれば、符号化処理に供する画像処理結果を一時保持するバッファメモリにあっては、画像処理単位の分だけ、画像データを一時保持すれば良いことにより、その分、容量を低減することができ、これにより撮像結果等を復号化処理、画像処理、符号化処理する構成において、画像処理結果を一時格納するバッファメモリの容量を低減することができる。
【００１６】
これにより請求項８、請求項９、請求項１０の構成によれば、撮像結果等を復号化処理、画像処理、符号化処理する構成において、画像処理結果を一時格納するバッファメモリの容量を低減することができる画像処理装置、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１７】
本発明によれば、撮像結果等を復号化処理、画像処理、符号化処理する構成において、画像処理結果を一時格納するバッファメモリの容量を低減することができる。
【発明を実施するための最良の形態】
【００１８】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１９】
（１）実施例の構成
図２は、本発明の実施例に係るデジタルスチルカメラを示すブロック図である。このデジタルスチルカメラ１において、レンズ２は、中央処理ユニット３の制御によるズーム倍率、フォーカス、絞りにより入射光を集光し、続く撮像素子４の撮像面に被写体の光学像を形成する。
【００２０】
撮像素子４は、例えばＣＣＤ（Charge Coupled Device ）等により構成され、撮像面に形成された光学像による撮像結果を出力する。アナログディジタル変換部（Ａ／Ｄ）５は、この撮像素子４から出力される撮像結果をアナログディジタル変換処理し、画像データを出力する。
【００２１】
カメラ信号処理部６は、中央処理ユニット３の制御により、このアナログディジタル変換部５から出力される画像データをマトリックス演算処理、ホワイトバランス調整処理、ガンマ補正処理等し、輝度データ及び色差データによる画像データにより撮像結果を出力する。ディスプレイ７は、このカメラ信号処理部６から出力される画像データの処理により、撮像結果のモニタ画像を表示する。
【００２２】
画像処理部８は、カメラ信号処理部６から出力される画像データを符号化／復号化部９に出力する。また画像処理部８は、中央処理ユニット３の制御により動作を開始し、このカメラ信号処理部６から入力されて符号化／復号化部９に出力する画像データを画像処理して出力し、これにより撮像素子４より得られる撮像結果を画像処理して出力する。また同様の中央処理ユニット３の制御により、図示しないバッファメモリを介して符号化／復号化部９から画像データを入力し、この画像データを画像処理する。また入力時に使用したバッファメモリを介して、この画像処理結果による画像データを符号化／復号化部９に出力し、これにより記録媒体に記録した撮像結果を画像処理する。なおここでこの画像処理は、解像度を変換して画像を拡大縮小するリサイズの処理、画像を回転させる画像回転処理、画像を部分的に切り出すトリミング等の処理である。
【００２３】
符号化／復号化部９は、中央処理ユニット３の制御により、バッファメモリを介して画像処理部８から入力される画像データを、可変長符号化方式による符号化方法の１つであるＪＰＥＧの手法により符号化処理して符号化データを生成し、並べ替え部１０に出力する。またこれとは逆に並べ替え部１０から入力される符号化データを復号化し、その結果得られる画像データをバッファメモリを介して画像処理部８に出力する。これらの処理において符号化／復号化部９は、符号化処理単位であるマクロブロック毎に、発生符号量、マクロブロックで検出されるＤＣ値等を中央処理ユニット３に通知する。またＪＰＥＧの規定に従って連続するマクロブロックのＤＣ値を、直前のマクロブロックにおけるＤＣ値を基準にした差分値によりＤＣ係数に符号化処理するようにして、この基準となるＤＣ値を、中央処理ユニット３により指示されたＤＣ値に変更してＤＣ係数を符号化処理する。
【００２４】
並べ替え部１０は、メモリを有し、中央処理ユニット３の制御によるアドレス制御により、符号化／復号化部９から入力される符号化データを並べ替えてストレージ１１に出力し、またストレージ１１から得られる符号化データを符号化／復号化部９に出力する。この符号化データの並べ替えの処理において、並べ替え部１０は、中央処理ユニット３の指示により、並べ替えの処理に対応するように、スライススタートコード、ブロックコード等の各マクロブロックの位置を特定する位置情報等の、復号化処理に必要な制御コードを書き換える。
【００２５】
ストレージ１１は、例えばメモリカード、光ディスク、磁気ディスク等の記録媒体であり、並べ替え部１０から出力される符号化データを記録して保持し、また記録して保持した符号化データを並べ替え部１０に出力する。
【００２６】
これらによりこのデジタルスチルカメラ１では、撮像素子４により得られる撮像結果を符号化／復号化部９により符号化処理してストレージ１１に記録する。またこの記録の際に、ユーザーによる指示により画像処理部８で画像処理した後、符号化処理してストレージ１１に記録する。またこのようにして記録した撮像結果をストレージ１１から読み出して符号化／復号化部９により復号し、復号結果による画像データを画像処理部８で画像処理した後、符号化処理してストレージ１１に記録する。
【００２７】
中央処理ユニット３は、このデジタルスチルカメラ１の動作を制御する制御手段であり、ランダムアクセスメモリ（ＲＡＭ）１４にワークエリアを確保してリードオンリメモリ（ＲＯＭ）に記録した処理プログラムを実行することにより、キー１３の操作に応動して各部の動作を制御する。なおこれによりこの実施例において、このデジタルスチルカメラ１は、事前のインストールによりこの処理プログラムが提供されるものの、このような事前のインストールによる提供に代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
【００２８】
この一連の処理により中央処理ユニット３は、ユーザーによる操作に応動して、カメラ信号処理部６等の動作を制御し、これにより動画による撮像結果を撮像素子４により取得してディスプレイ７で表示する。またユーザーによるトリガスイッチの操作により、同様にカメラ信号処理部６等を制御し、動画による撮像結果に代えて静止画による撮像結果を取得して図示しないメモリに記録すると共に、ディスプレイ７で表示する。またこの状態でユーザーが撮像結果の保存を指示すると、画像処理部８、符号化／復号化部９、ストレージ１１等の制御によりこのメモリに保持した静止画による撮像結果を符号化処理してストレージ１１に記録する。この撮像結果の記録時、ユーザーが画像処理を指示している場合、画像処理部８における処理に適した画像処理単位、順序によりメモリに保持した撮像結果を順次部分的に切り出して画像処理すると共に、画像処理結果を順次符号化処理し、その結果得られる符号化データを、並べ替え部１０により１画面をまとめて符号化処理する際の順序に並べ直してストレージ１１に記録する。
【００２９】
これに対してこのようにしてストレージ１１に記録された撮像結果の編集がユーザーにより指示されると、ストレージ１１に記録された撮像結果を符号化／復号化部９により復号化して画像処理部８により画像処理し、またその処理結果を符号化／復号化部９により符号化処理してストレージ１１に記録する。このとき中央処理ユニット３は、画像処理部８における処理に適した画像処理単位毎に、画像処理部８における処理順序により、ストレージ１１に記録された撮像結果の復号化処理、画像処理、符号化処理を繰り返し、これらの繰り返しの処理により得られる符号化データを並べ替え部１０により１画面をまとめて符号化処理する際の順序に並べ直してストレージ１１に記録する。
【００３０】
図１は、このストレージ１１に記録された撮像結果の画像処理に係る中央処理ユニット３の処理手順を示すフローチャートである。中央処理ユニット３は、ユーザーによる操作に応動してこの処理手順を開始してステップＳＰ１１からステップＳＰ１２に移り、ストレージ１１、符号化／復号化部９の制御により、記録媒体に記録した撮像結果を、画像処理単位の分、復号化する。
【００３１】
ここでこの画像処理単位の分の復号化処理は、図３（Ａ）及び（Ｂ）に示すように、符号化／復号化部９において、マクロブロック単位で、ストレージ１１に記録された符号化データを順次処理して画像データを復号するようにして、この復号された画像データから、中央処理ユニット３により指示された領域ＡＲの画像データを選択的に出力することにより実行される。これにより中央処理ユニット３は、画像処理の順序により、順次、この選択的に出力する領域ＡＲを指定して画像処理単位の復号を符号化／復号化部９に指示する。
【００３２】
また続くステップＳＰ１３において、この画像データの画像処理を画像処理部８に指示し、処理結果をバッファメモリに記録する。また続くステップＳＰ１４において、このバッファメモリに記録した画像データの符号化処理を符号化／復号化部９に指示し、その結果得られる符号化データを並べ替え部１０のメモリに記録する。
【００３３】
続いて中央処理ユニット３は、ステップＳＰ１５に移り、ここで未処理部分が残っているか否か判断し、ここで肯定結果が得られると、ステップＳＰ１２に戻る。これによりこの場合、中央処理ユニット３は、ステップＳＰ１２−ＳＰ１３−ＳＰ１４−ＳＰ１５−ＳＰ１２の処理手順を、画像処理部８における処理順序により画像処理単位毎に繰り返し、全ての画像処理単位について処理を完了して並べ替え部１０のメモリに１画面部の符号化データが蓄積されると、ステップＳＰ１５で否定結果が得られることにより、ステップＳＰ１６に移る。
【００３４】
ここで中央処理ユニット３は、並べ替え部１０の制御により、並べ替え部１０に保持した１画面分の符号化データを、１画面をまとめて符号化処理する際の順序に並べ直してストレージ１１に記録する。
【００３５】
これにより図１７との対比によりリサイズにより画像を縮小する場合を図４に示すように、部分画像１、２、３による画像処理単位毎に、復号化、リサイズ（縮小）、符号化処理を繰り返し、１画面分の処理を完了すると、符号化データを並べ直して記録する。
【００３６】
これらにより中央処理ユニット３は、ユーザーにより拡大、縮小が指示された場合には、この一連の処理を繰り返すように全体の動作を制御する。また画像を切り出すトリミングの処理をユーザーが指示した場合、中央処理ユニット３は、ユーザーにより指示された領域についてのみ、これら一連の処理を実行するように全体の動作を制御する。
【００３７】
またこの図４との対比により、画像処理により撮像結果を回転、拡大する場合には、図５に示すように、部分画像１、２、３による画像処理単位毎に、復号化、回転、リサイズ（拡大）、符号化処理を繰り返し、１画面分の処理を完了すると、符号化データを並べ直して記録する。なおこの場合、図５との対比により図６に示すように、回転とリサイズの処理を入れ換えるようにしてもよい。
【００３８】
中央処理ユニット３は、これらの処理において、符号化時、符号化／復号化部９に入力する画像データによる画像処理単位が、符号化処理単位であるマクロブロックの１個分又は複数個分となるように、復号化時における画像処理単位の大きさを設定し、これにより無駄な処理を低減する。またこれらの画像処理において、例えば解像度の変換処理は、垂直方向及び水平方向のフィルタリング処理により実行されることにより、この場合、中央処理ユニット３は、このフィルタリング処理におけるブロック歪みを防止するために、隣接する画像処理単位間で、フィルタリング処理に供するタップ数の１／２のサンプリング数だけ、重複した領域が形成されるように画像処理単位を設定して一連の処理を指示する。
【００３９】
これにより例えば符号化処理における画像処理単位が水平方向及び垂直方向に各２個ずつの計４個のマクロブロックである場合であって、画像処理が水平方向及び垂直方向にタップ数が８タップによるフィルタリング処理により水平方向及び垂直方向にそれぞれ解像度を１／ｎ倍に低減する縮小処理の場合、画像処理部８に入力される画像データの画像処理単位は、水平方向及び垂直方向に各２ｎ個によるマクロブロックに、水平方向左右、垂直方向上下にそれぞれ４サンプリングづつ画像データを付け足した領域となる。
【００４０】
なお必ずしも符号化／復号化部９に入力する画像データの画像処理単位が、マクロブロックの１個分又は複数個分となるように、復号時における画像処理単位の大きさを設定する必要は無く、このように符号化／復号化部９に入力する画像データの画像処理単位が、マクロブロックの１個分又は複数個分とは異なる場合には、この１個分又は複数個分より余分な分が隣接する画像処理単位に含まれるようにし、この隣接する画像処理単位の符号化処理により得られる符号化データを採用すれば良い。
【００４１】
これらによりこの実施例では、画像処理に供する画像処理単位、画像処理順序で、復号化処理、画像処理、符号化処理を繰り返した後、１画面分の符号化データを並べ直して記録することにより、画像処理結果を一時保持するバッファメモリを小容量化する。なおこれらにより画像処理部８における画像処理によっては、画像処理部８に入力する画像データにおける画像処理単位と、画像処理部８から出力される画像データに係る画像処理単位とは大きさが異なることになるが、以下においては、説明の簡略化のために、これらの画像処理単位は等しいものとして、図面上、マクロブロックの表記を太線により囲って各画像処理単位を示す。
【００４２】
ここで図７（Ａ）は、このような画像処理単位の画像処理の順序による符号化処理の説明に供する平面図である。この場合に、９個のマクロブロック１〜３、７〜９、１３〜１５による第１の画像処理単位ＡＲ１を画像処理により生成した後、残るマクロブロック４〜６、１０〜１２、１６〜１８による第２の画像処理単位ＡＲ２を画像処理により生成したとすると、符号化処理は、第１の画像処理単位ＡＲ１、第２の画像処理単位ＡＲ２を順次符号化処理することになり、矢印により示すように、各画像処理単位ＡＲ１、ＡＲ２のマクロブロックをそれぞれラスタ走査する順序により符号化処理して符号化データを生成することになる。
【００４３】
これに対して図７（Ａ）との対比により図７（Ｂ）に示すように、これら画像処理単位ＡＲ１、ＡＲ２による１つの画像を符号化処理する場合、各マクロブロックを示す数字の順序により、この１つの画像のマクロブロックをラスタ走査する順序で符号化データを生成することになる。
【００４４】
これによりこの実施例では、この場合、図７（Ａ）に示す順序により得られる符号化データを、並べ替え部１０により、図７（Ｂ）に示す順序に並べ直して出力することになる。ここでＪＰＥＧによる符号化処理では、直前マクロブロックのＤＣ値を前置保持し、続くマクロブロックでは、この前置保持したＤＣ値との差分値により、ＤＣ値を符号化処理してＤＣ係数を生成しており、これによりこの図７（Ａ）に示す例において、マクロブロック７、１３のＤＣ値は、それぞれマクロブロック３、９のＤＣ値と差分値により符号化される。また同様に、マクロブロック４、１０、１６では、マクロブロック１５、６、１２のＤＣ値と差分値によりＤＣ値が符号化される。
【００４５】
これに対して画像処理単位ＡＲ１、ＡＲ２による１つの画像を符号化処理する場合、マクロブロック７、１３は、水平方向の走査終了端である右端のマクロブロック６、１２のＤＣ値との差分値によりＤＣ値が符号化され、また第２の画像処理単位ＡＲ２の水平方向への走査開始端側、マクロブロック４、１０、１６では、第１の画像処理単位ＡＲ１の水平方向への走査終了端側、マクロブロック３、９、１５のＤＣ値との差分値によりＤＣ値が符号化される。
【００４６】
これによりこの場合、単に画像処理の順序により得られるマクロブロック単位の符号化データを１画面まとめた符号化処理の順序により並べ直し、さらには制御コードを設定し直しただけでは、正しく復号することが困難になる。
【００４７】
このためこの場合、中央処理ユニット３は、画像処理単位のマクロブロックをラスタ走査の順序により符号化処理する際に、このラスタ走査における各水平方向の走査終了端のマクロブロックで、符号化／復号化部９で検出されるＤＣ値を取得して記録し、隣接するマクロブロックにおける符号化処理の際に、前置保持したＤＣ値に代えてこの記録したＤＣ値を符号化／復号化部９にセットして符号化処理を指示する。なおここでこの隣接するマクロブロックは、並べ替え部１０で並べ替えた後において、隣接するマクロブロックである。
【００４８】
これにより中央処理ユニット３は、図７の例では、マクロブロック１〜３、７〜９、１３〜１５による第１の画像処理単位ＡＲ１を符号化処理する際に、それぞれ水平方向の走査終了端のマクロブロック３、９、１５の符号化処理において、符号化／復号化部９で検出されるＤＣ値を記録して保持する。また続く第２の画像処理単位ＡＲ２を符号化処理する場合、記録して保持したマクロブロック３、９、１５のＤＣ値を符号化／復号化部９にそれぞれセットして、水平方向への走査開始端のマクロブロック４、１０、１６の符号化処理を実行する。なお図８に、マクロブロック７、８、９におけるこの一連の処理を模式的に示す。
【００４９】
これにより図８との対比により図９に示すように、このマクロブロック７〜１２については、マクロブロック７、８、９による符号化データ（図９（Ａ））と、マクロブロック１０、１１、１２による符号化データ（図９（Ｂ））とを各マクロブロックの符号長により接続して、１画面による符号化データを生成する（図９（Ｃ））。
【００５０】
なおここで後述するように、このデジタルスチルカメラ１における画像処理には、復号化された画像を１８０度回転させる処理もあることにより、このようにＤＣ値を記録して保持するマクロブロックは、各水平方向の走査における走査終了端のマクロブロックだけでなく、水平走査開始端側のマクロブロックである場合もある。なおこれらの処理において、中央処理ユニット３は、画像処理単位で区切りコードを設定しないように、またスタッフィングビットを挿入しないように符号化／復号化部９の動作を制御する。
【００５１】
ところでこのように順次画像処理単位で符号化処理してＤＣ値を記録するようにしても、図７の例における走査開始のマクロブロック１を除く、水平方向の走査開始端のマクロブロック７、１３については、ＤＣ値の符号化基準であるマクロブロック６、１２のＤＣ値を符号化処理前に取得できないことになる。これにより中央処理ユニット３は、このように順次画像処理単位で符号化処理してＤＣ値を記録するようにして、このＤＣ値を用意できないマクロブロックについては、さらなる事前の復号化処理、画像処理、符号化処理によりＤＣ値を検出して保持する。
【００５２】
すなわち中央処理ユニット３は、画像処理単位による処理を開始する前に、図７に示す右端のマクロブロック６、１２、１８を復号化処理、画像処理、符号化処理するように各部の動作を制御し、この一連の処理における符号化処理において、マクロブロック６、１２、１８のＤＣ値を検出して保持する。なおこの場合、この事前の符号化処理は、単にＤＣ値を検出するためだけの処理であり、これによりこの符号化処理により得られる符号化データは何ら利用することなく廃棄する。
【００５３】
これにより図１０（Ａ）に示すように、それぞれ画像処理単位がマクロブロックＡ１〜Ａ６、Ｂ１〜Ｂ６、Ｃ１〜Ｃ６による３つの画像処理単位により画像処理する場合、中央処理ユニット３は、矢印により示すように、各画像処理単位毎に、ラスタ走査の順序により順次ストレージ１１に記録された符号化データを復号して画像データを生成した後、この画像データを画像処理して符号化処理し、これにより図１０（Ｂ）に示すように、この画像処理の順序により順次マクロブロックＡ１〜Ａ６、Ｂ１〜Ｂ６、Ｃ１〜Ｃ６の符号化データを生成する。
【００５４】
また図１０（Ｂ）との対比により並べ替えを矢印により表して図１０（Ｃ）に示すように、並べ替え部１０によりこの符号化データを並べ替え、図１０（Ｄ）により示すように、このマクロブロックＡ１〜Ａ６、Ｂ１〜Ｂ６、Ｃ１〜Ｃ６による１画面をまとめて符号化処理する順序により、ストレージ１１に記録する。またこの図１０（Ｃ）において、四角印により囲った符号のマクロブロックＡ３、Ｂ３、Ａ６、Ｂ６、……については、符号化処理の際にＤＣ値を検出して保持し、丸印により囲った符号のマクロブロックＢ１、Ｃ１、Ａ４、Ｂ４、……である並べ替え部１０から出力される符号化データにおいて隣接するマクロブロックを符号化処理する際に、この記録して保持したＤＣ値を基準にして符号化処理するように、符号化／復号化部９の動作を制御する。
【００５５】
またこのような連続した画像処理単位による符号化処理では、ＤＣ値を準備できないマクロブロックＣ３については、事前の処理によりＤＣ値のみ取得して保持し、対応するマクロブロックＡ４では、この事前の処理により取得したＤＣ値を符号化／復号化部９にセットして符号化処理を実行する。
【００５６】
図１１は、このＤＣ値の処理に係る中央処理ユニット３の処理手順を示すフローチャートである。中央処理ユニット３は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、画像処理単位による繰り返しの符号化処理ではＤＣ値を検出できないマクロブロック（ＭＣＵ）について、ストレージ１１、符号化／復号化部９の制御により符号化データを復号して画像データを生成し、この画像データを画像処理部８により画像処理する。また処理結果による画像データを符号化／復号化部９により符号化処理し、これにより画像処理単位による繰り返しの符号化処理ではＤＣ値を用意できないマクロブロックのＤＣ値を事前に検出する。なおこの図１１に示す各処理の記述は、理解を容易とするために、図７及び図１０に示す画像処理単位の設定による場合を示す。
【００５７】
続いて中央処理ユニット３は、順次、画像処理単位で復号化処理、画像処理して画像データをバッファメモリに格納する。この続く処理において、中央処理ユニット３は、ステップＳＰ２３において、画像処理結果を格納するバッファメモリから、ラスタ走査の順序により１マクロブロック分の画像データを符号化／復号化部９に入力し、続くステップＳＰ２４において、ディスクリートコサイン変換処理（ＤＣＴ）し、また続くステップＳＰ２５でディスクリートコサイン変換処理により得られる係数データを量子化処理する。また続くステップＳＰ２６において、処理中のマクロブロックが、画像処理単位の水平方向の走査開始端か否か判断し、ここで肯定結果が得られると、ステップＳＰ２６からステップＳＰ２７に移り、ステップＳＰ３０の処理でＤＣ差分値の計算基準である前置保持によるＤＣ値を、記録して保持したＤＣ値に置き換えた後、ステップＳＰ２８に移る。これに対してステップＳＰ２６で否定結果が得られると、ステップＳＰ２６から直接ステップＳＰ２８に移る。
【００５８】
このステップＳＰ２８において、中央処理ユニット３は、処理中のマクロブロックが、画像処理単位の水平方向の走査終了端か否か判断し、ここで肯定結果が得られると、ステップＳＰ２９に移り、ステップＳＰ２５で検出されたＤＣ値を記録した後、ステップＳＰ３０に移る。またステップＳＰ２８で否定結果が得られると、ステップＳＰ２８から直接ステップＳＰ３０に移る。
【００５９】
このステップＳＰ３０において、中央処理ユニット３は、ステップＳＰ２５で検出したＤＣ値と、前置保持によるＤＣ値、符号化／復号化部９に設定したＤＣ値との差分値によりＤＣ値に係る係数データを生成する。また続くステップＳＰ３１において、このステップＳＰ３０で計算した係数データと、ステップＳＰ２５で量子化したＡＣ値に係る係数データとをハフマン符号化処理する。また続くステップＳＰ３２において、中央処理ユニット３は、全てのマクロブロックについて処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ３２からステップＳＰ２３に戻るのに対し、ステップＳＰ３２で肯定結果が得られると、ステップＳＰ３２からステップＳＰ３３に移ってこの処理手順を終了する。
【００６０】
これに対して図１２は、画像処理により１８０度画像を回転させる場合の一連の処理を示す略線図である。この場合、処理対象の画像を、符号９ＯＵＴにより示すように、マクロブロックＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４による４つの画像処理単位により示す。この場合、中央処理ユニット３は、各画像処理単位で画像を１８０度回転させて画像処理、符号化処理した後、並べ直して出力するように全体の動作を制御する。
【００６１】
すなわち中央処理ユニット３は、矢印により示すように、マクロブロックＡ１〜Ａ４による画像処理単位、マクロブロックＣ１〜Ｃ４による画像処理単位、マクロブロックＢ１〜Ｂ４による画像処理単位、マクロブロックＤ１〜Ｄ４による画像処理単位の順序で、符号化データを復号化して画像データを生成する。中央処理ユニット３は、この順序により符号化／復号化部９から出力される復号結果による画像データをバッファメモリに一時格納し、このバッファメモリのアドレス制御により図１２において符号８ＩＮにより示すように、各画像処理単位毎に、それぞれ画像を１８０度回転させて画像処理部８に入力する。なおこの場合、画像処理部８から出力される画像処理結果をバッファメモリに記録して出力する際のアドレス制御により、画像処理単位毎に画像を回転させるようにしてもよい。なおこの図１２においては、各マクロブロックに付した符号を１８０度回転させて記載することにより、原画像に対して１８０度回転した状態を示す。
【００６２】
中央処理ユニット３は、この各画像処理単位で１８０度回転した画像データを画像処理した後、その処理結果による画像データを符号化／復号化部９により符号化処理し、これにより符号１０ＩＮにより示す順序により符号化データを生成する。これによりこの場合、符号化データは、各画像処理単位のマクロブロックをそれぞれラスタ走査する順序により生成されることになる。
【００６３】
中央処理ユニット３は、これにより符号１０ＯＵＴにより示すように、原画像を１８０度回転させた画像上で、符号化データがラスタ走査順により連続するように、続く並べ替え部１０で、符号化／復号化部９による符号化データを並べ直して出力する。
【００６４】
これらの処理においても、中央処理ユニット３は、連続する画像処理単位の符号化処理でＤＣ値を記録して保持し、後で処理する画像処理単位の符号化処理で、この記録して保持したＤＣ値を符号化／復号化部９にセットし、これにより正しく符号化データを復号化できるようにする。
【００６５】
またこのような連続する画像処理単位の符号化処理では、ＤＣ値を準備できないマクロブロックについては、事前の処理によりＤＣ値のみ取得して保持し、対応するマクロブロックでは、この事前の処理により取得したＤＣ値を符号化／復号化部９にセットして符号化処理を実行する。なおこの図１２に示す例では、マクロブロックＤ２、Ｂ４、Ｂ２、Ｃ４、Ｃ２、Ａ４、Ａ２でＤＣ値をセットすることが必要になるが、これらのうちのマクロブロックＢ２、Ｂ４、Ｄ２では、連続する画像処理単位の符号化処理において、処理基準のマクロブロックＣ３、Ｃ１、Ａ３のＤＣ値を事前に準備することができる。しかしながらマクロブロックＡ２、Ａ４、Ｃ２、Ｃ４については、この連続する画像処理単位の符号化処理では、処理基準のＤＣ値を準備できないことになり、これによりこの場合、中央処理ユニット３は、これらマクロブロックＡ２、Ａ４、Ｃ２、Ｃ４に隣接する走査開始端側のマクロブロックＢ１、Ｂ３、Ｄ１、Ｄ３については、事前の処理によりＤＣ値のみ取得して保持し、このＤＣ値をマクロブロックＡ２、Ａ４、Ｃ２、Ｃ４を符号化処理する際に符号化／復号化部９にセットする。
【００６６】
なおこの場合、符号Ａにより示すように、各画像処理単位で符号化データを並べ替えた後、各画像処理単位を並べ替えるようにして、並べ替え部１０におけるアドレス制御を簡略化するようにしてもよい。
【００６７】
なおこのように画像処理単位で画像を回転させて画像処理、符号化処理した後、並べ直す処理に代えて、図１２との対比により図１３に示すように、各マクロブロック毎に画像を回転させて画像処理、符号化処理した後、並べ直すようにしてもよい。
【００６８】
すなわちこの場合、中央処理ユニット３は、各画像処理単位をラスタ走査の順序により復号して画像データをバッファメモリに格納し、このバッファメモリのアドレス制御により、マクロブロック毎に画像を１８０度回転させて、画像処理部８に画像データを入力する。また画像処理部８の出力データを順次符号化／復号化部９により符号化処理する。なおこの場合も、画像処理部８から出力される画像処理結果をバッファメモリに記録して出力する際のアドレス制御により、各マクロブロックの画像を回転させるようにしてもよい。またこのようにして順次得られる符号化データを記録して保持し、並べ替え部１０により並べ替えて出力する。
【００６９】
この場合にあっても、中央処理ユニット３は、連続する画像処理単位の符号化処理において、さらには事前の処理において、マクロブロックのＤＣ値を記録して保持し、このＤＣ値を符号化／復号化部９にセットして符号化処理を実行する。
【００７０】
なおこの場合、１つの画像処理単位の水平方向に隣接するマクロブロックにおいて、符号化時と並べ替え部１０からの出力時とで、マクロブロックを水平方向に走査する向きが回転により逆転することになる。これによりこの場合、中央処理ユニット３は、これら隣接するマクロブロックの処理において、この走査方向の逆転に対応可能に、事前の処理によりマクロブロックのＤＣ値を取得して保持し、この保持したＤＣ値により各マクロブロックを符号化処理する。
【００７１】
またこのような画像処理単位又はマクロブロック単位で、画像を１８０度回転させた後、画像処理、符号化処理、並べ替え処理する代わりに、図１２、図１３との対比により図１４に示すように、画像処理単位とマクロブロックとの中間の単位により画像を１８０度回転させた後、画像処理、符号化処理、並べ替え処理してもよい。
【００７２】
すなわち図１４の例では、マクロブロックＡ１〜Ａ８、Ｂ１〜Ｂ８、Ｃ１〜Ｃ８、Ｄ１〜Ｄ８によりそれぞれ画像処理単位を形成して、矢印により示すように、これら画像処理単位をラスタ走査の順序により順次画像処理する。このとき中央処理ユニット３は、復号結果による画像データを記録して出力するバッファメモリのアドレス制御により、各画像処理単位を水平方向に分割して形成される領域毎に、各領域の画像を１８０度回転させて画像処理部８に入力する。これによりマクロブロックＡ１〜Ａ８による画像処理単位では、マクロブロックＡ１、Ａ２、Ａ５、Ａ６による領域と、マクロブロックＡ３、Ａ４、Ａ７、Ａ８による領域とをそれぞれ１８０度回転させて、復号した画像データを画像処理部８に入力する。
【００７３】
またこのようにして各領域毎に１８０度回転させた画像データにより画像処理して順次符号化処理し、その結果得られる符号化データを並べ替え部１０により並び直して出力する。このときこのようにして並べ替え部１０より出力される各マクロブロックの符号化データは、１８０度の回転に供した各領域で、この並べ替え部１０より出力される符号化データにおける水平方向の走査開始側のマクロブロックが、単に連続したマクロブロックの符号化処理では、正しくＤＣ値を符号化できなくなる。具体的に、マクロブロックＤ４、Ｂ８、Ｂ４、Ｄ６、Ｄ２、Ｂ６、Ｂ２、Ｃ８、Ｃ４、Ａ８、Ａ４、Ｃ６、Ｃ２、Ａ６、Ａ２で正しくＤＣ値を符号化できなくなる。これによりこの場合、中央処理ユニット３は、これらのマクロブロックのうちの、マクロブロックＤ４、Ｂ８、Ｂ４については、連続した画像処理単位における符号化処理で各マクロブロックのＤＣ値を検出して記録し、この記録したＤＣ値を符号化／復号化部９にセットして符号化処理する。また残るマクロブロックＤ６、Ｄ２、Ｂ６、Ｂ２、Ｃ８、Ｃ４、Ａ８、Ａ４、Ｃ６、Ｃ２、Ａ６、Ａ２については、隣接するマクロブロックを事前に処理してＤＣ値を検出し、この検出したＤＣ値により符号化処理する。
【００７４】
なおここで図１５は、この図１４の各部における符号化データの順序を示す図である。この場合も、符号Ａにより示すように、画像処理単位毎に符号化データを並べ直した後、正しい順序に並べ直すようにしてもよい。
【００７５】
（２）実施例の動作
以上の構成において、このデジタルスチルカメラ１では（図１）、ユーザーによる操作に応動して撮像素子４で静止画による撮像結果が取得され、この撮像結果がカメラ信号処理部６で処理された後、符号化／復号化部９でＪＰＥＧの手法により符号化処理されてストレージ１１に記録され、これにより所望する撮像結果がストレージ１１に記録される。またこのストレージ１１に記録された撮像結果の画像処理がユーザーにより指示されると、ユーザーにより指示された撮像結果がストレージ１１から再生されて符号化／復号化部９により復号されて画像データが生成され、この画像データが画像処理部８により画像処理される。またこの画像処理結果による画像データが符号化／復号化部９により符号化処理されてストレージ１１に記録される。これにより画像処理結果をバッファメモリに１画面分蓄積して符号化処理する場合には、図１７について上述したように、このバッファメモリの容量が大容量化する。
【００７６】
これによりこの実施例では、画像処理部８における画像処理単位の分だけ、ストレージ１１に記録された符号化データが符号化／復号化部９により復号化されて画像処理部８で画像処理される。また画像処理した画像データが符号化／復号化部９により符号化処理され、その処理結果による符号化データが並べ替え部１０に保持される（図５、図６）。デジタルスチルカメラ１では、この画像処理単位による復号化、画像処理、符号化処理が画像処理部８における画像処理の順序により繰り返され、１画面分の処理を完了すると、並べ替え部１０において、符号化データが並べ替えられて、１画面をまとめて符号化処理した順序によりストレージ１１に符号化データが記録される。
【００７７】
これによりこのデジタルスチルカメラ１では、画像処理結果を記録するバッファメモリについては、画像処理単位の分の画像データを記録するだけの容量で足り、これによりこのバッファメモリの容量を小容量化することができる。また小容量化した分、消費電力を低減することができ、さらには画像処理に要する時間を短縮し、またバッテリによる動作時間を延長することができる。
【００７８】
またこのようにして画像処理単位で復号化処理、画像処理、符号化処理する場合には、符号化処理結果を一時格納するバッファメモリを、画像処理結果を一時格納するバッファメモリにより兼用することができ、その分構成を簡略化することができる。また符号化／復号化部９の動作を時分割により符号化処理と復号化とで切り換えて、一連の処理を実行することができ、その分、構成を簡略化することができる。
【００７９】
しかしながら単に符号化データを並べ直し、また各マクロブロックの位置を特定する位置情報等を並べ替えに対応するように設定し直しても、ＪＰＥＧでは、マクロブロックのＤＣ値を直前マクロブロックのＤＣ値を基準にした差分値の形式により符号化することにより、ＤＣ係数は、誤った値に保持されることになる（図７）。
【００８０】
これによりこのデジタルスチルカメラ１では、画像処理単位で一連の処理を実行するようにして、符号化処理の際に検出されるＤＣ値を記録して保持し、後の画像処理単位における符号化処理で利用する。さらにこのようにしても事前に用意できないマクロブロックのＤＣ値については、これら一連の処理の繰り返しの前の事前の処理により、該当するマクロブロックを復号化、画像処理、符号化してＤＣ値が検出され、このＤＣ値が利用される（図８〜図１１）。
【００８１】
これによりこのデジタルスチルカメラ１では、画像処理単位で一連の処理を実行して符号化データを並べ直すようにして、１画像をまとめて符号化処理したと同一の符号化データを生成することができる。
【００８２】
また画像を１８０度回転させる処理においても、画像処理単位、マクロブロック単位、又はこれらの中間の単位により、画像を回転させた後、１画面分の画像の回転に対応するように符号化データを並べ直して符号化データを生成することができ、これにより画像を回転させる場合でも、画像処理結果を一時格納するバッファメモリの容量を小容量化することができる。
【００８３】
ところでこのようにして可変長符号化方式により符号化データを生成する場合、１つのマクロブロックにおける符号量が種々に変化することにより、並べ替え部１０における並べ替えの処理が煩雑になる恐れがある。これによりこのデジタルスチルカメラ１では、符号化／復号化部９よりマクロブロック毎の符号量が検出され、この符号量による中央処理ユニット３の制御により、並べ替え部１０において、符号化データが並べ替えられ、これにより簡易かつ確実に符号化データを並べ替えることができる。
【００８４】
（３）実施例の効果
以上の構成によれば、画像処理単位により、順次ストレージから得られる入力符号化データを復号して画像処理、符号化処理した後、符号化データを並べ直すことにより、撮像結果等を復号化処理、画像処理、符号化処理する構成において、画像処理結果を一時格納するバッファメモリの容量を低減することができる。
【００８５】
また符号化データを復号化すると共に、画像データを符号化処理する符号化／復号化部を時分割により交互に使用して復号化、符号化の処理を実行することにより、その分、構成を簡略化することができる。
【００８６】
また連続する画像処理単位の符号化処理で検出されるＤＣ値を、後の画像処理単位における符号化処理で利用可能に記録して保持する共に、この連続する画像処理単位では準備できないＤＣ値を、事前の処理による復号化、画像処理、符号化により検出して保持し、これら保持したＤＣ値を基準にして後の画像処理単位を符号化処理することにより、画像処理単位で一連の処理を実行して符号化データを並べ直すようにして、１画面をまとめて符号化処理したと同一の符号化データを生成することができる。
【００８７】
また画像処理単位、符号化処理単位、又はこれらの中間の処理単位で、画像を回転させた後、符号化データの並べ替えにより、画像を回転させることにより、画像処理結果を一時格納するバッファメモリの容量を小容量化して画像を回転することができる。
【００８８】
また符号化処理単位毎に発生符号量を検出し、この検出結果に基づいて符号化処理単位毎で符号化データを並べ直すことにより、可変長符号化処理により画像データを符号化処理する場合に、簡易かつ確実に符号化データを並べ直すことができる。
【実施例２】
【００８９】
なお上述の実施例においては、拡大、縮小、回転等による画像処理に本発明を適用する場合について述べたが、本発明はこれに限らず、白黒反転等の各種エフェクトに係る画像処理、さらには歪み補正、色収差補正、ノイズリダクション等、種々の画像処理に広く適用することができる。
【００９０】
また上述の実施例においては、直前のマクロブロックとの間の差分値の形式により伝送することが必要なデータであるＤＣ値について、記録して後の符号化処理で利用する場合について述べたが、本発明はこれに限らず、要は、直前のマクロブロックとの間の差分データの形式により伝送することが必要な種々のデータの処理に上述の処理を適用することができ、これによりＪＰＥＧ以外の種々のフォーマットにより符号化データを生成する場合にも広く適用することができる。
【００９１】
また上述の実施例においては、スタッフィングビットと区切りコードとを挿入しないようにして、画像処理単位毎に、画像処理結果を符号化処理する場合について述べたが、本発明はこれに限らず、スタッフィングビット及び又は区切りコードを挿入するようにして、並べ替え部における並べ替え時、スタッフィングビット、区切りコードを削除するようにしてもよい。なお区切りコードを設けた場合、直後のマクロブロックでは、ＤＣ値がそのままＤＣ係数に符号化処理されることになる。これによりこの場合、ＤＣ係数の処理が別途必要になるが、例えば記録して保持したＤＣ値によりダミーのマクロブロックを作成し、このダミーのマクロブロックとの連続により符号化データを生成した後、ダミーのマクロブロックによる符号化データを削除する等により実行することができる。因みに、このダミーのマクロブロックは、並べ直した符号化データにおいて、処理対象のマクロブロックの直前のマクロブロックの実際の画像データを適用するようにしてもよい。
【００９２】
また上述の実施例においては、ＪＰＥＧによる静止画を処理する場合について述べたが、本発明はこれに限らず、例えばＭＰＥＧ（Moving Picture Experts Group）等、同様の符号化処理単位による符号化処理に広く適用することができる。
【００９３】
また上述の実施例においては、デジタルスチルカメラに本発明を適用する場合について述べたが、本発明はこれに限らず、種々の画像処理装置、パーソナルコンピュータにおける画像処理プログラム、ＰＤＡ(Personal Digital Assistants) 、画像送信装置、携帯端末、携帯電話等に広く適用することができる。
【産業上の利用可能性】
【００９４】
本発明は、例えばデジタルスチルカメラに適用することができる。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施例に係るデジタルスチルカメラにおける中央処理ユニットの処理手順を示すフローチャートである。
【図２】本発明の実施例に係るデジタルスチルカメラを示すブロック図である。
【図３】図２のデジタルスチルカメラにおける画像処理単位毎の復号化処理の説明に供する略線図である。
【図４】図２のデジタルスチルカメラにおける画像処理の説明に供する略線図である。
【図５】図２のデジタルスチルカメラにおける画像回転による画像処理の説明に供する略線図である。
【図６】図５とは異なる例による画像処理の説明に供する略線図である。
【図７】符号化データの並べ替えの処理の説明に供する略線図である。
【図８】ＤＣ値の処理の説明に供する略線図である。
【図９】マクロブロック毎の符号化データの並べ替えの処理の説明に供する略線図である。
【図１０】他の例による符号化データの並べ替えの処理の説明に供する略線図である。
【図１１】符号化データの並べ替えの処理に係る中央処理ユニットの処理手順を示すフローチャートである。
【図１２】画像処理単位で画像を回転させる際の処理の説明に供する略線図である。
【図１３】符号化処理単位で画像を回転させる際の処理の説明に供する略線図である。
【図１４】画像処理単位と符号化処理単位との中間の処理単位で回転させる際の処理の説明に供する略線図である。
【図１５】図１４の処理におけるマクロブロックの並びを示す図表である。
【図１６】従来の画像処理の説明に供するフローチャートである。
【図１７】図１６の処理の説明に供する略線図である。
【符号の説明】
【００９６】
１……デジタルスチルカメラ、３……中央処理ユニット、４……撮像素子、６……カメラ信号処理部、８……画像処理部、９……符号化／復号化部、１０……並べ替え部、１１……ストレージ
【図１】
2007158884.tif 000003
【図２】
2007158884.tif 000004
【図３】
2007158884.tif 000005
【図４】
2007158884.tif 000006
【図５】
2007158884.tif 000007
【図６】
2007158884.tif 000008
【図７】
2007158884.tif 000009
【図８】
2007158884.tif 000010
【図９】
2007158884.tif 000011
【図１０】
2007158884.tif 000012
【図１１】
2007158884.tif 000013
【図１２】
2007158884.tif 000014
【図１３】
2007158884.tif 000015
【図１４】
2007158884.tif 000016
【図１５】
2007158884.tif 000017
【図１６】
2007158884.tif 000018
【図１７】
2007158884.tif 000019