(57)【要約】【課題】本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディジタルスチルカメラに適用して、従来に比して符号化処理された画像データを表示等する際の処理時間を短縮し、画像データの処理に必要な帯域、消費電力を低減する。【解決手段】  本発明は、１画面を分割して形成される独立復号化単位毎に独立して復号可能に、符号化データＤ１を独立復号可能符号化データＤ２に変換して記憶部２１に格納した後、１つ又は複数の独立復号化単位による処理ブロック単位で、画像データＤ３を復号、処理する。【選択図】        図１
2009038782.tif 000002
【特許請求の範囲】
【請求項１】
可変長の符号化データから画像データを復号して処理する画像処理装置において、
前記符号化データによる１画面を分割した独立復号化単位毎に、独立して前記符号化データによる画像データに復号可能に、前記符号化データを独立復号可能符号化データに変換する符号変換部と、
前記符号変換部から出力される前記独立復号可能符号化データを格納する記憶部と、
前記独立復号化単位以上の大きさの処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する復号部と、
前記復号部で復号された画像データを前記処理ブロック単位で処理する画像処理部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記符号変換部は、
前記独立復号可能符号化データにおける前記独立復号化単位の開始位置情報を出力して前記記憶部に格納し、
前記復号部は、
前記開始位置情報に基づいて、前記処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記符号変換部は、
前記符号化データに区切りコードを設定すると共に、前記区切りコードの設定に対応するように前記符号化データの符号を置き換えて前記独立復号可能符号化データを生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記符号化データが静止画像の符号化データであり、
前記区切りコードが、ＤＣ差分による符号化処理の開始位置を示すリスタートマーカーである
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理部は、
前記画像データを所定タップ数のフィルタによりフィルタリング処理して前記画像データを処理し、
前記処理ブロックは、
前記フィルタリング処理に最低必要なサンプル数を、前記独立復号化単位で切り上げた幅以上、隣接する処理ブロックが重なり合って、前記隣接する処理ブロックにおける処理で繰り返し画像データが処理される重複処理領域が形成されるように設定された
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記重複処理領域の幅が、前記独立復号化処理単位の１個以上の幅となるように設定された
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記復号部は、
前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する処理を、複数フレーム繰り返し、
前記画像処理部は、
前記複数フレームで前記画像データを処理する特性を徐々に切り換えて、前記復号部で復号された画像データを処理する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像処理部の処理が、フィルタリング処理を必要としない処理であり、
隣接する前記処理ブロックで重なり合う領域が発生しないように、前記処理ブロックが設定された
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記記憶手段が、前記独立復号可能符号化データを順次循環的に格納するメモリである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記符号化データが、前記独立復号化単位とは異なる大きさの復号化単位毎に、独立して画像データを復号可能な符号化データである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記符号変換部は、
前記符号化データから画像データを復号する前処理の復号化部と、
前記前処理の復号化部で復号された画像データを画像処理する前処理の画像処理部と、
前記前処理の画像処理部で処理された前記画像データを符号化処理して前記独立復号可能符号化データを生成する前処理の符号化部とを有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記前処理の画像処理部は、
所定の前処理の処理ブロック単位で、前記前処理の復号化部から出力される画像データを選択的に入力して処理し、
前記符号変換部は、
前記前処理の画像処理部における前記前処理の処理ブロック単位の処理に応じた順序による前記前記独立復号可能符号化データを、ラスタ走査順に前記独立復号単位が連続する順序に並べ替える並べ替え部を有する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記前処理の画像処理部は、
所定の前処理の処理ブロック単位で、前記前処理の復号化部から出力される画像データを選択的に入力して処理し、
前記前処理の符号化部は、
前記前処理の画像処理部で処理された前記画像データを符号化処理して、前記独立復号化単位毎に、独立して画像データを復号困難な中間処理の符号化データを生成した後、前記中間処理の符号化データを前記独立復号可能符号化データに変換する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
可変長の符号化データから画像データを復号して処理する画像処理方法において、
前記符号化データによる１画面を分割した独立復号化単位毎に、独立して前記符号化データによる画像データに復号可能に、前記符号化データを独立復号可能符号化データに変換する符号変換ステップと、
前記符号変換ステップから出力される前記独立復号可能符号化データを記憶部に格納する記憶ステップと、
前記独立復号化単位以上の大きさの処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する復号ステップと、
前記復号ステップで復号された画像データを前記処理ブロック単位で処理する画像処理ステップとを備える
ことを特徴とする画像処理方法。
【請求項１５】
可変長の符号化データから画像データを復号して処理する画像処理方法のプログラムにおいて、
前記符号化データによる１画面を分割した独立復号化単位毎に、独立して前記符号化データによる画像データに復号可能に、前記符号化データを独立復号可能符号化データに変換する符号変換ステップと、
前記符号変換ステップから出力される前記独立復号可能符号化データを記憶部に格納する記憶ステップと、
前記独立復号化単位以上の大きさの処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する復号ステップと、
前記復号ステップで復号された画像データを前記処理ブロック単位で処理する画像処理ステップとを備える
ことを特徴とする画像処理方法のプログラム。
【請求項１６】
可変長の符号化データから画像データを復号して処理する画像処理方法のプログラムを記録した記録媒体において、
前記プログラムは、
前記符号化データによる１画面を分割した独立復号化単位毎に、独立して前記符号化データによる画像データに復号可能に、前記符号化データを独立復号可能符号化データに変換する符号変換ステップと、
前記符号変換ステップから出力される前記独立復号可能符号化データを記憶部に格納する記憶ステップと、
前記独立復号化単位以上の大きさの処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する復号ステップと、
前記復号ステップで復号された画像データを前記処理ブロック単位で処理する画像処理ステップとを備える
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディジタルスチルカメラに適用することができる。本発明は、１画面を分割して形成される独立復号化単位毎にそれぞれ独立して復号可能に、符号化データを独立復号可能符号化データに変換して記憶部に格納した後、独立復号化単位以上の大きさによる処理ブロック単位で、画像データを復号、処理することにより、符号化処理された画像データを表示等する際の処理時間を従来に比して短縮し、画像データの処理に必要な帯域、消費電力を低減する。
【背景技術】
【０００２】
従来、ディジタルスチルカメラは、撮像素子から得られた画像データをＪＰＥＧ（Joint Photographic Experts Group ）の手法により符号化処理して符号化データを生成し、この符号化データを記録媒体に記録している。またディジタルスチルカメラは、ユーザーの操作により、この記録媒体に記録した符号化データを再生して画像データを復号した後、表示に適した解像度にリサイズして表示している。
【０００３】
このようなリサイズ等の処理に関して、例えば特開２００７−１５８８８４号公報には、記録媒体に記録した符号化データを画像処理して記録し直す場合等において、画像処理単位で符号化データを復号化処理、画像処理、符号化処理した後、並べ直し、画像処理結果を一時格納するバッファメモリの容量を小容量化する方法が提案されている。
【０００４】
ところで従来のディジタルスチルカメラは、記録媒体に記録された符号化データを復号して表示する場合に、処理に時間を要する問題があり、また処理に十分な帯域を要し、消費電力が増大する問題があった。
【０００５】
具体的に図３０は、従来のディジタルスチルカメラにおいて、画像データを復号して表示する場合の説明に供する略線図である。この図３０の例は、符号化画像により示す１０〔Ｍｐｉｘｅｌ〕、４〔ＭＢ〕の符号化データＤＡ１が記録媒体１に格納されている場合である。この場合、ディジタルスチルカメラは、この４〔ＭＢ〕の符号化データＤＡ１を記録媒体１から復号部２に転送して画像データＤＡ２を復号し、復号画像により示す復号した画像データＤＡ２をメモリ３に格納する。またこのメモリ３に格納した画像データＤＡ２を画像処理部４に入力し、表示部に適した解像度にリサイズする。また処理結果画像により示すリサイズした画像データＤＡ３をメモリ３に格納し、このメモリ３に格納した画像データを表示部で表示する。
【０００６】
ここで記録媒体１に格納された符号化データを復号部２で処理して２０〔ＭＢ〕の画像データＤＡ２が復号されたとする。また画像処理部４において、この２０〔ＭＢ〕の画像データＤＡ２の画素数を１／１０に低減して、１〔Ｍｐｉｘｅｌ〕、２〔ＭＢ〕による画像データＤＡ３を生成するものとする。この場合、記録媒体１から符号化データＤＡ１を読み出して画像データＤＡ３をメモリ３に格納するまで、全部で４６〔ＭＢ〕のデータを転送することが必要となる。その結果、ディジタルスチルカメラは、画像データの処理に十分な帯域が必要になり、消費電力が増大することになる。またメモリ３をアクセスする回数が増大し、処理に時間を要することになる。
【０００７】
この問題を解決する１つの方法として、復号部２で復号された画像データＤＡ２を直接画像処理部４に入力して処理する方法も考えられるが、この方法の場合、画像処理部４に複数ライン分の遅延回路を設けることが必要になり、画像処理部４の構成が著しく複雑になる。
【特許文献１】特開２００７−１５８８８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の点を考慮してなされたもので、従来に比して符号化処理された画像データを表示等する際の処理時間を短縮し、画像データの処理に必要な帯域、消費電力を低減することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため請求項１の発明は、可変長の符号化データから画像データを復号して処理する画像処理装置に適用して、前記符号化データによる１画面を分割した独立復号化単位毎に、独立して前記符号化データによる画像データに復号可能に、前記符号化データを独立復号可能符号化データに変換する符号変換部と、前記符号変換部から出力される前記独立復号可能符号化データを格納する記憶部と、前記独立復号化単位以上の大きさの処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する復号部と、前記復号部で復号された画像データを前記処理ブロック単位で処理する画像処理部とを備えるようにする。
【００１０】
また請求項１５の発明は、可変長の符号化データから画像データを復号して処理する画像処理方法に適用して、前記符号化データによる１画面を分割した独立復号化単位毎に、独立して前記符号化データによる画像データに復号可能に、前記符号化データを独立復号可能符号化データに変換する符号変換ステップと、前記符号変換ステップから出力される前記独立復号可能符号化データを記憶部に格納する記憶ステップと、前記独立復号化単位以上の大きさの処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する復号ステップと、前記復号ステップで復号された画像データを前記処理ブロック単位で処理する画像処理ステップとを備えるようにする。
【００１１】
また請求項１６の発明は、可変長の符号化データから画像データを復号して処理する画像処理方法のプログラムに適用して、前記符号化データによる１画面を分割した独立復号化単位毎に、独立して前記符号化データによる画像データに復号可能に、前記符号化データを独立復号可能符号化データに変換する符号変換ステップと、前記符号変換ステップから出力される前記独立復号可能符号化データを記憶部に格納する記憶ステップと、前記独立復号化単位以上の大きさの処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する復号ステップと、前記復号ステップで復号された画像データを前記処理ブロック単位で処理する画像処理ステップとを備えるようにする。
【００１２】
また請求項１７の発明は、可変長の符号化データから画像データを復号して処理する画像処理方法のプログラムを記録した記録媒体に適用して、前記プログラムは、前記符号化データによる１画面を分割した独立復号化単位毎に、独立して前記符号化データによる画像データに復号可能に、前記符号化データを独立復号可能符号化データに変換する符号変換ステップと、前記符号変換ステップから出力される前記独立復号可能符号化データを記憶部に格納する記憶ステップと、前記独立復号化単位以上の大きさの処理ブロック単位で、前記記憶部に格納された前記独立復号可能符号化データを読み出して前記画像データを復号する復号ステップと、前記復号ステップで復号された画像データを前記処理ブロック単位で処理する画像処理ステップとを備えるようにする。
【００１３】
請求項１、請求項１５、請求項１６、又は請求項１７の構成によれば、復号化した画像データに代えて、復号した画像データに比してデータ量の少ない独立復号可能符号化データを記憶手段に保持して、画像処理の処理ブロックに対応する独立復号化単位の独立復号可能符号化データを選択的に記憶部から読み出して画像処理することができる。従って復号化した画像データを記憶手段に記憶する場合に比して、記憶手段の容量を少なくすることができ、また記憶手段からのデータ量を低減して、処理時間を短縮し、画像データの処理に必要な帯域、消費電力を低減することができる。
【発明の効果】
【００１４】
本発明によれば、従来に比して符号化処理された画像データを表示等する際の処理時間を短縮し、画像データの処理に必要な帯域、消費電力を低減することができる。
【発明を実施するための最良の形態】
【００１５】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１６】
（１）全体構成
図２は、本発明の実施例１のディジタルスチルカメラを示すブロック図である。このディジタルスチルカメラ１１は、図示しない撮像部により所望の被写体を撮像して画像データを取得する。ディジタルスチルカメラ１１は、この取得した画像データを図示しない符号化部によりＪＰＥＧの手法で符号化処理して符号化データＤ１を生成する。ディジタルスチルカメラ１１は、この符号化データＤ１を記録媒体１３に記録する。なおここで記録媒体１３は、光ディスク、ハードディスク、メモリカード等である。ディジタルスチルカメラ１１は、ユーザーの操作に応動して、この記録媒体１３に記録した符号化データＤ１を復号してディスプレイ１４で表示する。
【００１７】
ここで制御部１５は、中央処理ユニット（ＣＰＵ）１６の制御により、符号化部からバスＢＵＳに出力される符号化データＤ１を記録媒体１３に記録する。また記録媒体１３に記録された符号化データＤ１を再生してバスＢＵＳに出力する。
【００１８】
符号変換部１７は、中央処理ユニット１６の制御により、記録媒体１３から再生されてバスＢＵＳに出力される符号化データＤ１を取得する。さらに符号化データＤ１による１画面を分割して形成される所定ブロック単位で、各ブロックを個々に独立して復号可能に、この取得した符号化データＤ１をデータ変換して独立復号可能符号化データＤ２を生成する。符号変換部１７は、バスＢＵＳを介して、生成した独立復号可能符号化データＤ２をランダムアクセスメモリ２１に格納する。以下、この個々に独立して復号可能なブロックを独立復号化単位と呼び、１つ又は複数のＭＣＵ（Minimum Code Unit ）により構成される。
【００１９】
復号部１２は、画像処理部１９における処理に応じて、バスＢＵＳを介して、ランダムアクセスメモリ２１から独立復号可能符号化データＤ２を取得する。また取得した独立復号可能符号化データＤ２を処理して画像データＤ３に復号する。復号部１２は、この復号した画像データＤ３を図示しないバッファメモリを介して画像処理部１９に出力する。
【００２０】
画像処理部１９は、中央処理ユニット１６の制御により、復号部１２から出力される画像データＤ３を入力する。画像処理部１９は、この画像データＤ３をリサイズ処理し、この画像データＤ３をディスプレイ１４の解像度に対応する画像データＤ４に変換して出力する。
【００２１】
表示部２０は、画像処理部１９から出力される画像データＤ４によりディスプレイ１４を駆動し、この画像データＤ４をディスプレイ１４で表示する。ディスプレイ１４は、例えば液晶表示装置により構成される。
【００２２】
中央処理ユニット１６は、ランダムアクセスメモリ（ＲＡＭ）２１にワークエリアを確保してリードオンリメモリ（ＲＯＭ）２２に格納されたプログラムを実行し、キー２３の操作に応動してこのディジタルスチルカメラ１１の各部の動作を制御する。
【００２３】
ランダムアクセスメモリ（ＲＡＭ）２１は、中央処理ユニット１６のワークエリアを構成すると共に、バスＢＵＳに出力される符号化データＤＡ１、独立復号可能符号化データＤ２等を一時格納するバッファを構成する。
【００２４】
（２）符号変換部１７、復号部１２、画像処理部１９の詳細構成
このディジタルスチルカメラ１１において、画像処理部１９は、処理ブロック単位で、復号部１２から出力される画像データＤ３をフィルタリング処理してリサイズの処理を実行する。またこの画像処理部１９の処理ブロック単位の処理に対応して、復号部１２は、画像処理部１９で処理する処理ブロックの画像データＤ３のみ選択的に復号して画像処理部１９に出力する。符号変換部１７は、これら復号部１２、画像処理部１９の処理に先立ち、１画面分、符号化データＤ１を独立復号可能符号化データＤ２に変換してランダムアクセスメモリ２１に格納する。ここでこの処理ブロックは、符号化データＤ１による１画面に設定された処理単位のブロックであり、水平方向及び垂直方向にそれぞれ１つ又は複数の独立復号化処理単位で形成される。
【００２５】
ここで図３（Ａ）に示すように、ＪＰＥＧでは、符号化処理単位であるＭＣＵ単位で画像データを直交変換処理し、その結果得られる係数データを量子化処理、可変長符号化処理して符号化データＤ１を生成する。またＪＰＥＧでは、ラスタ走査の順序で順次ＭＣＵを処理し、直交変換処理して得られる係数データのうち、直流成分の係数データについては、いわゆるＤＣ差分により符号化データＤ１を生成する。ここでＤＣ差分は、直前で処理したＭＣＵにおける直流成分の係数値との差分値である。従ってＪＰＥＧの符号化データＤ１では、図４の独立復号不可能符号化画像において矢印で復号順序を示すように、符号化処理の順序で順次ＭＣＵを復号化する必要があり、所望のＭＣＵのみを選択的に処理したのでは、元の画像データを復号することができない。
【００２６】
そこで符号変換部１７は、図３（Ｂ）に示すように、連続する符号化データＤ１における独立復号化単位の区切りに区切りコードを設定すると共に、この区切りコードの設定に対応するように、続くＭＣＵに設けられている直流成分の係数データを変更し、符号化データＤ１を独立復号可能符号化データＤ２に変換する。ここで区切りコードは、直前の符号化処理単位を復号しなくても、続く符号化処理単位が復号可能であることを示すコードである。上述したようにＪＰＥＧでは、いわゆるＤＣ差分により直流成分の係数データを符号化処理していることから、この実施例では、このＤＣ差分による処理の開始位置を示すリスタートマーカーがこの区切りコードに適用される。
【００２７】
ここでこの実施例では、独立復号化単位が１又は複数のＭＣＵで構成されることから、またＪＰＥＧの符号化データでは、ラスタ走査順に順次ＭＣＵが処理されていることから、独立復号化単位が１つのＭＣＵに設定されている場合、リスタートマーカーはＭＣＵ毎に設定される。また独立復号化単位が水平方向にのみ連続する複数のＭＣＵにより構成される場合、リスタートマーカーは、少なくとも独立復号化単位のラスタ走査終了端のＭＣＵが終了すると設定される。また独立復号化単位が、垂直方向及び水平方向に連続する複数のＭＣＵにより構成される場合には、リスタートマーカーは、この独立復号化単位において水平方向に連続する各ラインの、ラスタ走査終了端のＭＣＵが終了すると設定される。
【００２８】
符号変換部１７は、図５（Ａ）及び（Ｂ）に示すように、符号化データＤ１を記録媒体１３から順次読み出し、直流成分の係数データＤＣ−Ａ、ＤＣ−Ｂ、ＤＣ−Ｃ、ＤＣ−Ｄ、ＤＣ−Ｅのみ順次選択的に復号する。また独立復号化単位に応じて、復号した直流成分の係数データＤＣ−Ｃ、ＤＣ−Ｅを量子化処理、可変長符号化処理し、ＤＣ差分によらない直流成分の符号化データＤＣ−Ｃ２、ＤＣ−Ｅ２を生成する。符号変換部１７は、この生成した直流成分の符号化データＤＣ−Ｃ２、ＤＣ−Ｅ２を、この生成元のＤＣ差分の係数データＤＣ−Ｃ、ＤＣ−Ｅと置き換える（図５（Ｂ））。また図５（Ｃ）に示すように、この係数データを置き換えたＭＣＵの先頭にリスタートマーカーＲＳＴを設定し、独立復号可能符号化データＤ２を生成する。従って図５の例では、ＭＣＵ−Ａ及びＭＣＵ−Ｂ、ＭＣＵ−Ｃ及びＭＣＵ−Ｄによりそれぞれ独立復号化単位が作成される。
【００２９】
従って図４において独立復号可能画像により示すように、独立復号可能符号化データＤ２は、独立復号化単位毎に、独立に復号することが可能となる。なお図４は、１つのＭＣＵを独立符号化単位に設定した場合を示すものである。
【００３０】
さらに符号変換部１７は、独立復号可能符号化データＤ２のビット数をカウントし、区切りコード設定時のカウント値により、独立復号化処理単位の開始位置を示す独立復号開始位置情報ＤＳを生成する。ここでこの独立復号開始位置情報ＤＳは、図４及び図５に示すように、独立復号可能符号化データＤ２の先頭からの開始位置情報としてもよく、１つのリスタートマーカーＲＳＴから続くリスタートマーカーＲＳＴまでの符号長としてもよく、これらの双方としてもよい。またこれらの場合に、リスタートマーカーＲＳＴのビット量を前後、何れの独立復号化処理単位に含めるようにしてもよい。なおリスタートマーカーの挿入を省略して、独立復号開始位置情報のみ設けるようにしてもよい。この場合独立復号開始位置情報はビット単位となる。
【００３１】
図１に示すように、符号変換部１７は、復号部１２、画像処理部１９における処理の前に、１画面分の符号化データＤ１を独立復号可能符号化データＤ２に変換し、変換した独立復号可能符号化データＤ２を独立復号開始位置情報ＤＳと共にメモリ２１に格納する。従ってこの図１の例では、１０〔Ｍｐｉｘｅｌ〕、４〔ＭＢ〕の符号化データＤＡ１が１０〔Ｍｐｉｘｅｌ〕、４．２〔ＭＢ〕の独立復号可能符号化データＤ２に変換され、この独立復号可能符号化データＤ２が３００〔ＫＢ〕の独立復号開始位置情報ＤＳと共にメモリ２１に格納される。
【００３２】
復号部１２は、中央処理ユニット１６の制御により、図６に示すように、メモリ２１に格納された独立復号開始位置情報ＤＳに基づいて、処理対象の処理ブロックを構成する独立復号可能単位の独立復号可能符号化データＤ２を順次メモリ２１から入力する。復号部１２は、この入力した独立復号可能符号化データＤ２から画像データＤ３を復号し、図示しないバッファメモリを介して画像処理部１９に出力する。
【００３３】
なおこの図６は、図７に示すように、符号化データＤ１による１画面の画像を水平方向及び垂直方向にそれぞれ３等分して独立復号可能単位Ａ〜Ｉを設定し、各独立復号可能単位Ａ〜Ｉが垂直方向に２つのＭＣＵで作成されているとした場合に、独立復号可能単位Ｅの独立復号可能符号化データＤ２を処理する場合である。この図６では独立復号可能符号化データＤ２の各独立復号可能単位Ａ〜Ｉのデータ量を各独立復号可能単位Ａ〜Ｉを示すブロックの横方向の大きさにより示す。
【００３４】
画像処理部１９は、この画像データＤ３をリサイズして画像データＤ４を生成し、この画像データＤ４をメモリ２１に格納する。すなわち画像処理部１９は、２次元のＦＩＲ（Finite Impulse Response ）フィルタにより画像データＤ３をフィルタリング処理してリサイズの処理を実行する。画像処理部１９は、処理ブロックの水平方向の長さ分だけ、順次入力される画像データを順次遅延させる遅延回路が、フィルタの垂直方向のタップ数に対応する数だけ直列接続されて、この遅延回路の直列接続回路が２次元のフィルタの入力段に設けられる。画像処理部１９は、処理ブロック内において、画像データＤ３をラスタ走査の順序でこの遅延回路の直列回路に順次入力して転送しながら、各遅延回路の出力を２次元のフィルタに順次入力してフィルタリング処理し、処理ブロック単位でリサイズの処理を実行する。なお、遅延回路の直列回路は、バッファメモリにより構成してもよい。
【００３５】
（３）独立復号可能単位
ここで画像処理部１９において、画像データをフィルタリング処理する場合、隣接したブロックにおいて、重複した画像データを処理することが必要になる。すなわち図８（Ａ）に示すように、例えば１画面を水平方向に３等分して作成された中央の領域Ａをリサイズした後、隣接する右側の領域Ｂをリサイズする場合、矢印により示す境界に近接する領域Ａの画像データＤ３を改めてフィルタリング処理することが必要になる。従ってこの図８（Ａ）の場合、図８（Ｂ）に示すように、これら領域Ａ及びＢの境界部分では、フィルタリング処理するタップ数に応じた領域ａ及びｂの画像データＤ３を重複してフィルタリング処理することが必要になる。以下、この領域ａ及びｂを重複処理領域と呼ぶ。
【００３６】
独立復号可能単位は、この重複処理領域を繰り返し処理可能に、この重複処理領域を独立して復号可能な大きさに設定される。
【００３７】
ここで図９（Ａ）〜（Ｄ）に示すように、画像処理部１９の処理ブロックを、水平方向に１個、垂直方向に４個の独立復号可能単位によるブロックＡＡ及びＡＢと仮定し、このブロックＡＡ及びＡＢを画像処理部１９で順次フィルタリング処理するものと仮定する。なおこの図９（Ａ）では、独立復号可能単位の１つをハッチングにより示す。また以下においては、水平方向についてのみフィルタリング処理を考察するものの、重複処理領域に関しては、垂直方向に隣接する処理ブロック間でも発生し、以下に説明する水平方向の場合と同様のことが言える。
【００３８】
ここで図９（Ａ）に示すように、左側のブロックＡＡを画像処理部１９でフィルタリング処理すると、図９（Ｂ）に示すように、右側のブロックＡＢとの境界側では、フィルタリング処理に供するタップ数に応じたサンプル数ｔだけ、正常にフィルタリング処理できない領域が発生する。また図９（Ｃ）に示すように、続いて右側のブロックＡＢをフィルタリング処理すると、図９（Ｄ）に示すように、左側のブロックとの境界側では、同様に、フィルタリング処理に供するタップ数に応じたサンプル数ｔだけ、正常にフィルタリング処理できない領域が発生する。
【００３９】
その結果、図９（Ｅ）に示すように、この場合、これらブロックＡＡ及びＡＢの境界を間に挟んで、それぞれ所定サンプル数だけ、正常にフィルタリング処理できない領域が発生する。この場合、これらブロックＡＡ及びＡＢの大きさによるブロックＣを処理ブロックに設定すれば、図９（Ｆ）に示すように、この正常に処理できない領域を正常に処理することができる。しかしながらこの場合、画像処理部１９の入力段に設けられる遅延回路又はバッファメモリの構成が大型化する。なお遅延回路、バッファメモリの大型化を許容できる場合には、この図９（Ｅ）に示すように、処理ブロック、独立復号化単位を設定するようにしてもよい。
【００４０】
そこでこの実施例では、図９との対比により図１０（Ａ）において、符号ＢＬＡ及びＢＬＢにより示すように、重複処理部分を独立して処理可能に独立符号化処理単位を設定し、重複処理部分を両側のブロックとあわせて複数回処理するように処理ブロックを設定する。具体的に、この図１０（Ａ）の水平方向の処理を示す例では、符号ｗで示す重複処理部分に１個の独立符号化処理単位を設定する。またこの重複部分の右側及び左側の処理ブロックのブロック幅ＷＢＬを独立符号化処理単位の２個分の幅とする。従ってこの図１０（Ａ）の例では、処理ブロックＢＬＡ、ＢＬＢ、ＢＬＣを順次復号部１２で復号しながら、画像処理部１９で順次リサイズ処理する。
【００４１】
なおここで図１０（Ａ）との対比により図１０（Ｂ）に示すように、重複処理領域に２個以上の独立符号化処理単位を設定して、重複処理領域を独立して処理可能としてもよい。
【００４２】
なお独立復号化単位の幅をＷとおき、フィルタリング処理のタップ数をＴ、出力サンプル間隔を入力サンプル間隔に換算した幅をＳとおくと、重複処理領域の幅ｗの最小値は、次式で表すことができ、重複処理領域の幅ｗは、フィルタリング処理に最低必要なサンプル数を、独立復号化単位で切り上げた幅以上とすることが必要である。重複処理領域の幅ｗが、この（１）による値より小さい場合、ディジタルスチルカメラ１１では、フィルタリング処理に必要な余分なサンプル数を画像処理部１９に入力することが困難になり、画質が劣化することになる。ここでｃｅｉｌは、括弧内を切り上げて整数化する関数である。
【００４３】
【数１】
2009038782.tif 000003
【００４４】
なおこの（１）式より、処理ブロックの幅ＷＢＬの１画像の処理で必要な最大幅の最小値は、次式で表すことができ、処理ブロックの幅ＷＢＬは、フィルタリング処理に最低必要な幅を独立復号化単位で切り上げた幅に、独立復号化単位を１つ以上加算した重複幅とすることが必要である。ここで（２）式の右辺は、（１）式の右辺に独立復号化単位の幅Ｗを加算したものである。従って処理ブロックの幅は、重複処理領域に設定した独立復号化単位の幅に、独立復号化単位の１個以上を加算した値とすることが必要である。
【００４５】
【数２】
2009038782.tif 000004
【００４６】
（４）実施例の動作
以上の構成において、このディジタルスチルカメラ１１（図２）では、図示しない撮像部で得られた撮像結果の画像データが符号化部で符号化処理され、その結果得られる符号化データＤ１が制御部１５により記録媒体１３に記録される。またユーザーが記録媒体１３に記録された撮像結果のモニタを指示すると、この記録媒体１３に記録された符号化データＤ１が読み出されて復号部１２で復号された後、画像処理部１９でリサイズされてディスプレイ１４で表示される。
【００４７】
このディスプレイ１４による画像データの表示において、従来と同様に、符号化データＤ１を全て処理して元の画像データを復号した後、リサイズしていたのでは（図３０）、メモリの容量が大容量化し、また処理に時間を要し、画像データの処理に必要な帯域、消費電力が増大することになる。
【００４８】
そこでこの実施例では、画像処理部１９において、符号化データＤ１による１画面に設定された処理ブロック単位でリサイズの処理を実行するようにして、画像処理部１９で画像処理する処理ブロック毎に、復号部１２で画像データＤ３が復号される。またこの処理ブロック毎の復号を可能とするために、この処理ブロックを構成する独立復号化単位毎に復号可能に、事前に、符号変換部１７において、符号化データＤ１が独立復号可能符号化データＤ２に変換されてメモリ２１に格納される。またこの独立復号可能符号化データＤ２の生成元の符号化データＤ１が可変長の符号化データであることから、独立復号可能符号化データＤ２において各独立復号化単位の開始位置を示す独立復号開始位置情報ＤＳが検出され、この独立復号開始位置情報ＤＳがメモリ２１に格納される。またこのメモリ２１に格納された独立復号開始位置情報ＤＳに基づいて、処理ブロック単位で、独立復号可能符号化データＤ２から画像データＤ３が復号される。
【００４９】
その結果、図３０との対比により図１に示すように、この実施例では、復号した画像データＤＡ２に代えて、独立復号可能符号化データＤ２及び独立復号開始位置情報ＤＳをメモリ２１に格納すれば良いことにより、メモリ２１の容量を小容量化することができる。またメモリ２１のアクセス頻度を低減することができ、処理時間を短縮し、さらには画像データの処理に必要な帯域、消費電力を低減することができる。図１の例では、従来、全体で４６〔ＭＢ〕必要であったデータ転送量を１５〔ＭＢ〕とすることができ、従来に比して格段的に処理速度を向上し、処理に必要な帯域、消費電力を低減することができる。
【００５０】
より具体的に、ディジタルスチルカメラ１１において、符号化データＤ１は、符号化処理単位であるＭＣＵの１個又は複数個による独立復号化単位で、リスタートマーカーによる区切りコードが設定される。またＤＣ差分の係数データが置き換えられて独立復号可能符号化データＤ２が生成され（図３及び図５）、この独立復号可能符号化データＤ２が１画面分、メモリ２１に格納される（図４）。
【００５１】
ディジタルスチルカメラ１１では、メモリ２１に記録された独立復号開始位置情報ＤＳに基づいて、処理ブロックを構成する符号化処理単位の独立復号可能符号化データＤ２が、メモリ２１から読み出されて順次画像データＤ３が復号される。またこの復号された画像データが画像処理部１９で順次リサイズ処理される。
【００５２】
この一連の画像データの処理において、ディジタルスチルカメラ１１では、フィルタリング処理に最低必要なサンプル数を、独立復号化単位で切り上げた幅以上、隣接する処理ブロックが重なり合って重複処理領域を形成するように、連続する処理ブロックが設定される。その結果、ディジタルスチルカメラ１１では、この重複処理領域については、各処理ブロックの処理において、繰り返し画像データＤ３が復号されてフィルタリング処理されることになり、画像処理部１９のフィルタリング処理に必要な余分なサンプル数が確保され、フィルタリング処理による画質劣化が防止される。
【００５３】
またディジタルスチルカメラ１１では、この重複処理領域を独立して復号可能に、重複処理領域に独立復号化単位が１個以上設定されて、重複処理領域を繰り返し復号する際に、無駄に画像データを復号化しないように設定される。その結果、ディジタルスチルカメラ１１では、フィルタリング処理に必要なサンプル数を確保して画像データＤ３をフィルタリング処理する場合に、極力、画像データＤ３を無駄に復号しないように設定され、効率良く画像データを処理することができる。
【００５４】
（５）実施例の効果
以上の構成によれば、１画面を分割して形成される独立復号化単位毎に独立して復号可能に、符号化データを独立復号可能符号化データに変換してメモリに格納した後、１つ又は複数の独立復号化単位による処理ブロック単位で、画像データを復号、処理することにより、従来に比して符号化処理された画像データを表示等する際の処理時間を短縮し、画像データの処理に必要な帯域、消費電力を低減することができる。
【００５５】
また独立復号可能符号化データにおける独立復号化単位の開始位置の情報、及び又は各独立復号化単位のデータ長による情報による独立復号化単位の開始位置情報をメモリに記録して保持し、この開始位置情報に基づいて、処理ブロック単位で、メモリに格納された独立復号可能符号化データを処理することにより、独立復号化単位毎に独立して復号可能な可変長の独立復号可能符号化データを処理ブロック単位でメモリから読み出して処理することができる。
【００５６】
また符号化データに区切りコードを設定すると共に、この区切りコードの設定に対応するように符号化データの符号を置き換えて独立復号可能符号化データを生成することにより、ＪＰＥＧ方式等による符号化データを独立復号可能符号化データに変換することができる。
【００５７】
より具体的には、ＤＣ差分による符号化処理の開始位置を示すリスタートマーカーにより区切りコードを設定することにより、ＪＰＥＧ方式による符号化データを独立復号可能符号化データに変換することができる。
【００５８】
また所定タップ数のフィルタによりフィルタリング処理して画像データを処理する場合に、このフィルタリング処理に最低必要な余分のサンプル数を、独立復号化単位で切り上げた幅以上、隣接する処理ブロックが重なり合って重複処理領域が形成されるように処理ブロックを設定することにより、フィルタリング処理に最低必要なサンプル数を確保してフィルタリングの処理を実行することができ、処理結果における画質劣化を確実に防止することができる。
【００５９】
またこの重複処理領域の幅が、独立復号化処理単位の１個以上の幅となるように設定することにより、この重複処理領域を独立して繰り返し復号することができ、重複部分を各処理ブロックで繰り返し処理してフィルタリング処理に最低必要なサンプル数を確保する場合に、余分な画像データの処理を低減することができる。
【実施例２】
【００６０】
図１１は、図１との対比により本発明の実施例２のディジタルスチルカメラの構成を示すブロック図である。この実施例２のディジタルスチルカメラ３１は、この図１１に示す復号部１２、画像処理部１９の構成が異なる点を除いて、実施例１のディジタルスチルカメラ１１と同一に構成される。
【００６１】
ここでこのディジタルスチルカメラ３１において、復号部１２、画像処理部１９は、メモリ２１に格納された独立復号可能符号化データＤ２の復号処理、画像処理を繰り返し、ディスプレイ１４に特殊効果の画像を表示する。ここでこの特殊効果の画像は、この復号部１２、画像処理部１９における繰り返しの処理に対応して徐々に変化する画像であり、動きのある画像である。具体的に、この特殊効果の処理は、例えば図１２に示すように符号化データＤ１による画像を徐々に拡大、縮小して表示する処理、図１３に示すように符号化データＤ１による画像を徐々にズーミングする処理、図１４に示すように、ワイプして符号化データＤ１Ａによる画像から符号化データＤ１Ｂによる画像に表示を切り換える処理、符号化データによる画像を徐々にぼかす処理等である。
【００６２】
このディジタルスチルカメラ３１は、ユーザーがこれら特殊効果による表示を指示すると、符号変換部１７により独立復号可能符号化データＤ２を生成してメモリ２１に格納する。また画像処理部１９の処理ブロック単位で、このメモリ２１に格納した独立復号可能符号化データＤ２を復号部１２で読み出して復号し、画像処理部１９で画像処理してメモリ２１に格納する。ディジタルスチルカメラ３１では、ユーザーの選択した特殊効果に応じて画像処理部１９における処理が徐々に切り換えられて、復号部１２、画像処理部１９の処理が複数フレーム繰り返され、また処理結果の画像データＤ４がメモリ２１に上書き保存される。
【００６３】
具体的に、拡大、縮小処理、ズーミング処理、ぼかす処理等では、徐々に画像処理部１９におけるフィルタ係数が切り換えられて、独立復号可能符号化データＤ２が繰り返し処理される。
【００６４】
これに対してワイプの処理では、図１５に示すように、事前の処理として、ワイプ開始時に表示する符号化データＤ１Ａを独立復号可能符号化データＤ２に変換してメモリ２１に格納する。またこの独立復号可能符号化データＤ２から画像データＤ３を復号して画像処理部１９でリサイズし、処理結果の画像データＤ４をメモリ２１に格納してディスプレイ１４で表示する。また続いてワイプにより表示する符号化データＤ１Ｂを独立復号可能符号化データＤ２に変換してメモリ２１に格納する。
【００６５】
これらの事前の処理の後、ワイプの開始により、メモリ２１に格納した符号化データＤ１Ｂによる独立復号可能符号化データＤ２を使用して画像データＤ３の復号、リサイズ処理を繰り返し、画像処理して得られる画像データをメモリ２１に上書き保存する。なおこの画像データＤ３の復号、リサイズ処理の繰り返しでは、ワイプにより表示が変化する部分の処理ブロックのみを選択的に処理するようにして、処理を簡略化することができる。
【００６６】
この実施例のように、画像処理部の特性を徐々に切り換えて、復号部及び画像処理部の処理を繰り返して動きのある画像を表示する場合に、従来に比して一段と画像データの処理に要する帯域、消費電力を低減して、特殊効果の画像を表示することができる。
【実施例３】
【００６７】
ところで画像処理部１９における処理には、フィルタリング処理を伴わない処理もある。具体的には、例えば何らリサイズすることなくディスプレイ１４に画像を表示した状態で、実施例２について上述したようにワイプにより表示を切り換える場合、画像処理部１９では、フィルタリング処理することなく、ワイプの処理に対応するメモリ２１への上書き処理だけ実行することになる。従ってこの場合、フィルタリング処理の場合に必要な余分な画像データを復号する処理を省略することができる。
【００６８】
そこでこの実施例では、処理ブロックの設定を画像処理部１９における処理に応じて切り換え、フィルタリング処理の場合には、上述の実施例１と同様に処理ブロック、独立復号化単位を設定する。これに対してフィルタリング処理が必要ない場合、図１０（Ａ）との対比により図１６（Ａ）に示すように、重複処理領域が発生しないように処理ブロックを設定する。なおこの場合、この処理ブロックの設定の切り換えに対応するように、独立復号化単位の設定を切り換えるようにしてもよい。また図１０（Ｂ）との対比により図１６（Ｂ）に示すように、処理ブロックの大きさは必要に応じて種々に設定することができる。
【００６９】
この実施例のように、画像データの処理にフィルタリング処理を必要としない場合には、隣接する処理ブロックが重なり合わないように処理ブロックを設定することにより、一段と無駄な画像データの処理を省略して、画像データの処理に要する帯域、消費電力を低減することができる。
【実施例４】
【００７０】
図１７は、図４との対比により本発明の実施例４のディジタルスチルカメラの構成を示すブロック図である。この実施例４のディジタルスチルカメラ４１は、この図１７に示す構成が異なる点を除いて、上述の実施例１のディジタルスチルカメラ１１と同一に構成される。
【００７１】
このディジタルスチルカメラ４１において、符号変換部４７は、記録媒体１３に記録された符号化データＤ１を読み出して独立復号可能符号化データＤ２、独立復号開始位置情報ＤＳを生成し、メモリ２１の所定領域２１Ａに格納する。また復号部４２は、このメモリ２１に格納した独立復号可能符号化データＤ２を処理ブロック単位で処理し、画像データＤ３を画像処理部１９に出力する。
【００７２】
符号変換部４７及び復号部４２は、この所定領域２１Ａをリングバッファとして使用して符号化データＤ１を順次処理する。
【００７３】
すなわち符号変換部４７及び復号部４２は、相互に処理の進行状況を通知し合い、符号変換部４７は、復号部４２からの進行状況の通知により、領域２１Ａにおける空き領域を監視する。符号変換部４７は、この監視結果に基づいて、領域２１Ａにおいて、直前で独立復号可能符号化データＤ２の書込みを中止した箇所からの空き領域が所定値以上となると、一定データ量だけ、直前で書込みを中止した箇所から独立復号可能符号化データＤ２を領域２１Ａに格納する。またこの独立復号可能符号化データＤ２の格納に対応するように、独立復号開始位置情報ＤＳをメモリ２１に格納する。またメモリ２１に格納した独立復号化単位を復号部４２に通知して処理の進行状況を通知する。
【００７４】
これに対して復号部４２は、符号変換部４７からの進行状況の通知により、領域２１Ａへの独立復号可能符号化データＤ２、独立復号開始位置情報ＤＳの格納を監視し、領域２１Ａに格納された独立復号可能符号化データＤ２の処理ブロック単位の読み出しが可能となると、読出しが可能となった処理ブロックについて、独立復号可能符号化データＤ２を読み出して処理する。また処理の完了した独立復号化単位を符号変換部４７に通知して進行状況を通知する。なおこの独立復号化単位による進行状況の通知に代えて、データ量により処理の進行状況を通知してもよい。
【００７５】
この実施例では、メモリをリングバッファとして使用することにより、一段とメモリの容量を少容量化することができる。
【実施例５】
【００７６】
図１８は、図４との対比により本発明の実施例５のディジタルスチルカメラの構成を示すブロック図である。この実施例５のディジタルスチルカメラ５１は、この図１７に示す符号変換部１７の構成が異なる点を除いて、上述の各実施例のディジタルスチルカメラと同一に構成される。
【００７７】
この実施例では、記録媒体１３に記録された符号化データＤ１が独立復号可能符号化データである場合に、この符号化データＤ１に設定された独立復号化単位の大きさを、実施例１〜４で上述した画像処理部１９の処理ブロックに適した大きさに変更して独立復号可能符号化データＤ２を生成する。なおここで記録媒体１３に記録された符号化データＤ１が独立復号可能符号化データである場合は、例えば、撮像系で取得された画像データを符号化部で符号化して符号化データを生成する際に、一定の周期で区切りコードを設定してＤＣ差分による符号化処理をリセットする場合、又は一旦、画像処理のためにメモリ２１に記録した独立復号可能符号化データをバックアップ用のために記録媒体１３に記録して保持する場合等である。
【００７８】
この場合、符号変換部１７は、実施例１について上述したと同様に符号化データＤ１を処理して独立復号可能符号化データＤ２、独立復号開始位置情報ＤＳを生成し、これら独立復号可能符号化データＤ２、独立復号開始位置情報ＤＳをメモリ２１に格納する。
【００７９】
この実施例のように、独立復号化単位の大きさを変更して独立復号可能符号化データを生成するようにしても、上述の実施例と同様の効果を得ることができる。
【実施例６】
【００８０】
図１９は、図１８との対比により本発明の実施例６のディジタルスチルカメラの構成を示すブロック図である。この実施例５のディジタルスチルカメラ６１は、この図１９に示す符号変換部１７の構成が異なる点を除いて、上述の各実施例のディジタルスチルカメラと同一に構成される。
【００８１】
この実施例は、記録媒体１３に記録された符号化データＤ１が独立復号可能符号化データに変換されている場合であり、かつこの符号化データＤ１の独立復号化単位が画像処理部１９における処理ブロックに対応する大きさの場合である。ディジタルスチルカメラ６１は、符号変換部１７で独立復号開始位置情報ＤＳのみ生成してメモリ２１に格納する。
【００８２】
また復号部１２は、このメモリ２１の記録に対応して、メモリ２１に記録された独立復号開始位置情報ＤＳに基づいて記録媒体１３をアクセスし、処理ブロック単位で画像データＤ３を復号する。なおこの画像データＤ３に係る処理が、実施例２について上述した特殊効果の処理等の場合には、記録媒体１３に記録された独立復号可能符号化データによる符号化データＤ１をメモリ２１に全て転送して保持した後、復号部１２で処理するようにしてもよい。
【００８３】
この実施例のように、処理対象の符号化データが独立復号可能符号化データに変換されている場合には、単に独立復号開始位置情報のみ検出して処理するようにしても、上述の実施例と同様の効果を得ることができる。
【実施例７】
【００８４】
図２０は、図１との対比により本発明の実施例７のディジタルスチルカメラの構成を示すブロック図である。この実施例７のディジタルスチルカメラ７１は、この図２０に示す符号変換部７７に関する構成が異なる点を除いて、上述の各実施例のディジタルスチルカメラと同一に構成される。
【００８５】
ここでこのディジタルスチルカメラ７１において、符号変換部７７には、復号部７７Ａで復号した画像データを処理する画像処理部７７Ｂが設けられる。このディジタルスチルカメラ７１は、この符号変換部７７に内蔵の画像処理部７７Ｂと画像処理部１９とで処理を分担して符号化データＤ１を画像処理する。なおここでこの処理の分担は、例えばリサイズ等のフィルタリング処理と、実施例２について上述したワイプの処理に係るメモリ２１への上書き処理とをそれぞれ画像処理部７７Ｂと画像処理部１９とで分担する場合である。なお以下においては、適宜、画像処理部７７Ｂにおける画像処理を前処理と呼ぶ。
【００８６】
ここで図２１（Ａ）及び（Ｂ）に示すように、復号部７７Ａは、中央処理ユニット１６の制御により、符号化データＤ１を繰り返し記録媒体１３から読み出して画像データを復号化し、この復号化した画像データを画像処理部７７Ｂに出力する。画像処理部７７Ｂは、この復号部７７Ａから出力される画像データを前処理の処理ブロック単位で選択的に入力して画像処理し、その処理結果の画像データを出力する。なおここでこの前処理の処理ブロックは、独立復号化単位の１個又は複数個である。
【００８７】
ここでこの実施例において、前処理の処理ブロックは、例えば図２１（Ａ）及び（Ｂ）に示すように、１画面を水平方向に２等分して作成されているものとする。なおこの図２１において、独立復号化単位を数字１〜１６で示す。また上述したように画像処理部７７Ｂでフィルタリングする場合は処理ブロックを重複させる必要があるが、ここでは簡単のため重複させないものとする。復号部７７Ａは、この図２１の例の場合、始めに１画面分、画像データを復号して順次画像処理部７７Ｂに出力する。画像処理部７７Ｂは、この復号部７７Ａから出力される１画面分の画像データから左側の前処理の処理ブロックＭＢＬＡの画像データを選択的に入力して画像処理し、処理結果の画像データを符号化部７７Ｃに出力する。続いて復号部７７Ａは、１画面分、画像データを復号して順次画像処理部７７Ｂに出力し、画像処理部７７Ｂは、この１画面分の画像データから右側の前処理の処理ブロックＭＢＬＢの画像データを選択的に入力して画像処理し、処理結果の画像データを符号化部７７Ｃに出力する。
【００８８】
符号化部７７Ｃは、画像処理部７７Ｂから出力される処理結果の画像データを順次符号化処理して独立復号可能符号化データＤ２Ａを生成し、この生成した独立復号可能符号化データＤ２Ａを生成順にメモリ２１に格納する。またこの独立復号可能符号化データＤ２Ａの独立復号開始位置情報ＤＳＡを生成し、生成順にメモリ２１に格納する。従ってこの場合、図２１との対比により図２２に示すように、独立復号可能符号化データＤ２Ａは、左側処理ブロックＭＢＬＡの独立復号化単位のデータが連続した後、続いて右側処理ブロックＭＢＬＢの独立復号化単位のデータが連続してメモリ２１に格納される。なお図２２は、独立復号開始位置情報ＤＳＡに符号長を適用した場合である。
【００８９】
復号部１２は、このメモリ２１に格納された独立復号開始位置情報ＤＳＡに基づいて、画像処理部１９の処理ブロック単位で、メモリ２１に格納された独立復号可能符号化データＤ２Ａを読み出して画像データを復号し、画像処理部１９に出力する。
【００９０】
この実施例のように、符号化データを独立復号可能符号化データに変換する際に、画像処理を実行するようにして、画像処理を分担すれば、後段の画像処理部における繰り返しの処理を省略することができ、全体の処理を簡略化することができる。すなわち実施例２の構成では、後段の画像処理部１９でリサイズ処理、ワイプに係る処理を繰り返すことが必要であるものの、この実施例によれば、前処理で１回リサイズ処理するだけで、後段の画像処理部１９での繰り返しのリサイズ処理を省略することができ、全体の処理を簡略化することができる。また前処理で画像縮小する場合は画像データが減少するので、メモリ量とバス帯域、消費電力の削減を図ることができる。なお画像処理部７７Ｂから符号化部７７Ｃへ図示しないバッファを介して直接転送する場合は、画像処理部７７Ｂの処理ブロックは処理後、符号化部７７Ｃの符号化単位となることが望ましい。
【実施例８】
【００９１】
図２３は、図２０との対比により本発明の実施例８のディジタルスチルカメラの構成を示すブロック図である。この実施例８のディジタルスチルカメラ８１は、この図２３に示す符号変換部８７に関する構成が異なる点を除いて、実施例７のディジタルスチルカメラ７１と同一に構成される。
【００９２】
この符号変換部８７は、符号並べ替え部８７Ｄが設けられる点を除いて、ディジタルスチルカメラ８１の符号変換部７７と同一に構成される。ここで符号並べ替え部８７Ｄは、図２４に示すように、ラスタ走査の順序で独立復号化単位が連続するように、メモリ２１に格納した独立復号可能符号化データＤ２Ａ、独立復号開始位置情報ＤＳＡを並べ替えて独立復号可能符号化データＤ２、独立復号開始位置情報ＤＳを生成し、この独立復号可能符号化データＤ２、独立復号開始位置情報ＤＳをメモリ２１に格納する。
【００９３】
この実施例のように、符号化データを独立復号可能符号化データに変換する際に、画像処理を実行するようにして、前処理の処理ブロック単位で連続する独立復号可能符号化データをラスタ走査の順序で独立復号化単位が連続するように並べ替えることにより、独立復号可能符号化データをアクセスする処理を簡略化することができる。
【実施例９】
【００９４】
図２５は、図２３との対比により本発明の実施例９のディジタルスチルカメラの構成を示すブロック図である。この実施例９のディジタルスチルカメラ９１は、この図２５に示す符号変換部９７に関する構成が異なる点を除いて、実施例８のディジタルスチルカメラ８１と同一に構成される。
【００９５】
この符号変換部９７は、符号化部７７Ｃ及び符号並べ替え部８７Ｄに代えて、符号化部９７Ｃ及び符号変換部９７Ｄが設けられる点を除いて、ディジタルスチルカメラ８１の符号変換部８７と同一に構成される。従ってこの符号変換部９７は、復号部７７Ａで順次画像データが復号され、この復号された画像データが続く画像処理部７７Ｂで処理ブロック単位で画像処理される。符号化部９７Ｃは、通常のＪＰＥＧの手法により、画像処理部７７Ｂから出力される画像データを符号化処理して中間処理の符号化データＤ１Ａを生成し、この中間処理の符号化データＤ１Ａをメモリ２１に格納する。
【００９６】
符号変換部９７Ｄは、この中間処理の符号化データＤ１Ａを独立復号化可能符号化データＤ２に変換してメモリ２１に格納する。またこのときラスタ走査の順序により順次、独立復号化単位が連続するように、独立復号化単位を並べ替えて独立復号可能符号化データＤ２を生成する。
【００９７】
この実施例のように、画像処理した画像データを通常の符号化データによりメモリに記録した後、独立復号可能符号化データに変換するようにして、この独立復号可能符号化データに変換すると同時に独立復号化単位を並べ替えるようにしても、実施例８と同様の効果を得ることができる。
【実施例１０】
【００９８】
図２６、図２７、図２８は、それぞれ図２０、図２３、図２５との対比により本発明の他の実施例のディジタルスチルカメラの構成を示すブロック図である。これら図２６、図２７、図２８のディジタルスチルカメラ１０１、１１１、１２１は、それぞれこれら図２６、図２７、図２８の符号変換部１０７、１１７、１２７に関する構成が異なる点を除いて、対応する実施例７、８、９のディジタルスチルカメラ７１、８１、９１と同一に構成される。
【００９９】
ここでこれら図２６、図２７、図２８の符号変換部１０７、１１７、１２７は、復号部７７Ａに代えて、符号変換部１０７Ａ、復号部１０７Ｂが設けられる点を除いて、対応するディジタルスチルカメラ７１、８１、９１の符号変換部７７、８７、９７と同一に構成される。
【０１００】
この符号変換部１０７、１１７、１２７は、この符号変換部１０７Ａにより符号化データＤ１を独立復号可能符号化データＤ２Ｂに変換してメモリ２１に格納する。また独立復号可能符号化データＤ２Ｂの独立復号開始位置情報ＤＳＢを生成してメモリ２１に格納する。
【０１０１】
復号部１０７Ｂは、独立復号開始位置情報ＤＳＢに基づいて、画像処理部７７Ｂの処理に係る前処理の処理ブロック単位で、メモリ２１に格納した独立復号可能符号化データＤ２Ｂを読み出して画像データを復号し、この復号した画像データを画像処理部７７Ｂに出力する。
【０１０２】
この実施例では、符号化データを独立復号可能符号化データに変換する際に画像処理する場合に、事前に、独立復号可能符号化データに変換して画像処理することにより、一段と簡易な処理により画像処理することができる。
【実施例１１】
【０１０３】
なお上述の実施例においては、１画面を水平方向及び垂直方向に分割して独立復号化単位を設定する場合について述べたが、本発明はこれに限らず、画像処理部の構成に応じて水平方向又は垂直方向への分割を省略して独立復号化単位を設定するようにしてもよい。
【０１０４】
また上述の実施例においては、１画面中で独立復号化単位を一定の大きさとする場合について述べたが、本発明はこれに限らず、例えば処理ブロックにおける重複処理領域とそれ以外の領域とで大きさを可変する場合等、１画面中で独立復号化単位の大きさを可変するようにしてもよい。このようにすれば、独立復号化単位の数を低減して一段とメモリの容量を小容量化することができる。
【０１０５】
また上述の実施例においては、独立復号化単位の１個又は複数個により処理ブロックを形成する場合について述べたが、本発明はこれに限らず、要は処理ブロックの大きさは独立復号化単位の大きさ以上とすれば、画像処理部の処理ブロックに対応する独立復号化単位をメモリから読み出して画像データを復号することができ、例えば処理ブロックの境界を跨ぐように独立復号化単位を設定するようにしてもよい。なおこのように処理ブロックの境界を跨ぐように独立復号化単位を設定した場合、独立符号化処理単位で画像データを復号して余分に得られる画像データを画像処理部における処理の前又は後で捨て去るようにしてもよい。
【０１０６】
また上述の実施例においては、本発明をＪＰＥＧ方式による静止画像の処理に適用する場合について述べたが、本発明はこれに限らず、ＪＰＥＧ方式以外の各種符号化処理による静止画像の処理に広く適用することができる。
【０１０７】
また上述の実施例においては、本発明を静止画像の処理に適用する場合について述べたが、本発明はこれに限らず、動画像の処理にも広く適用することができる。この場合、図２９に示すように、例えばＭＰＥＧ（Moving Picture Experts Group）方式の符号化データを処理する場合には、区切りコードにスライスコードを適用すると共に、このスライスコードの設定に対応するようにＤＣ差分による符号化処理を中止して、独立復号可能符号化データを生成することができる。
【０１０８】
また上述の実施例においては、本発明をディジタルスチルカメラに適用するについて述べたが、本発明はこれに限らず、各種画像表示装置、各種画像編集装置、携帯電話等の画像表示機能を有する各種情報処理装置等に広く適用することができる。また得られる画像サイズを変えて表示と同様の処理を行い、得られた画像を周知の各種符号化方式で符号化することにより画像の編集を行う場合等に適用することもできる。
【０１０９】
また上述の実施例においては、本発明をハードウエアにより構成する場合について述べたが、本発明はこれに限らず、ソフトウエアにより構成することもできる。この場合、例えばコンピュータの画像処理プログラム等に適用することができ、この画像処理プログラム等については、インターネット等のネットワークを介したダウンロードにより提供してもよく、さらには光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよい。
【産業上の利用可能性】
【０１１０】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディジタルスチルカメラに適用することができる。
【図面の簡単な説明】
【０１１１】
【図１】本発明の実施例１のディジタルスチルカメラにおける画像データの処理の説明に供する略線図である。
【図２】本発明の実施例１のディジタルスチルカメラを示すブロック図である。
【図３】符号化データの説明に供する略線図である。
【図４】図２のディジタルスチルカメラにおける前処理部の動作の説明に供する略線図である。
【図５】独立復号可能符号化データの生成処理の説明に供する略線図である。
【図６】図２のディジタルスチルカメラにおける復号部、画像処理部の動作の説明に供する略線図である。
【図７】独立復号化単位の説明に供する略線図である。
【図８】重複処理領域を示す略線図である。
【図９】重複処理領域と独立復号化単位との関係の説明に供する略線図である。
【図１０】重複処理領域と独立復号化単位との関係を示す略線図である。
【図１１】図１との対比により本発明の実施例２のディジタルスチルカメラの構成を示すブロック図である。
【図１２】図１１のディジタルスチルカメラにおける拡大縮小の処理を示す略線図である。
【図１３】図１１のディジタルスチルカメラにおけるズームの処理を示す略線図である。
【図１４】図１１のディジタルスチルカメラにおけるワイプの処理を示す略線図である。
【図１５】図１１のディジタルスチルカメラにおける画像処理の説明に供する略線図である。
【図１６】フィルタリング処理を要しない場合の、重複処理領域と独立復号化単位との関係を示す略線図である。
【図１７】本発明の実施例４のディジタルスチルカメラの構成を示すブロック図である。
【図１８】本発明の実施例５のディジタルスチルカメラの構成を示すブロック図である。
【図１９】本発明の実施例６のディジタルスチルカメラの構成を示すブロック図である。
【図２０】本発明の実施例７のディジタルスチルカメラの構成を示すブロック図である。
【図２１】図２０のディジタルスチルカメラにおける画像変換処理の説明に供する図表である。
【図２２】図２０のディジタルスチルカメラにおける独立復号可能符号化データの説明に供する図表である。
【図２３】本発明の実施例８のディジタルスチルカメラの構成を示すブロック図である。
【図２４】図２３のディジタルスチルカメラにおける並べ替えの説明に供する略線図である。
【図２５】本発明の実施例９のディジタルスチルカメラの構成を示すブロック図である。
【図２６】本発明の他の実施例によるディジタルスチルカメラの構成を示すブロック図である。
【図２７】図２６の例とは異なる本発明の他の実施例によるディジタルスチルカメラの構成を示すブロック図である。
【図２８】図２６、図２７の例とは異なる本発明の他の実施例によるディジタルスチルカメラの構成を示すブロック図である。
【図２９】動画像の符号化データの説明に供する略線図である。
【図３０】従来の符号化データの処理の説明に供する略線図である。
【符号の説明】
【０１１２】
１、１３……記録媒体、２、１２、４２、７７Ａ、１０７Ｂ……復号部、３、２１……メモリ、４、１９、７７Ｂ……画像処理部、１１、３１、４１、５１、６１、７１、８１、９１、１０１、１１１、１２１……ディジタルスチルカメラ、１４……ディスプレイ、１７、４７、７７、８７、９７、９７Ｄ、１０７、１０７Ａ……符号変換部、７７Ｃ、９７Ｃ……符号化部、８７Ｄ……符号並べ替え部
【図１】
2009038782.tif 000005
【図２】
2009038782.tif 000006
【図３】
2009038782.tif 000007
【図４】
2009038782.tif 000008
【図５】
2009038782.tif 000009
【図６】
2009038782.tif 000010
【図７】
2009038782.tif 000011
【図８】
2009038782.tif 000012
【図９】
2009038782.tif 000013
【図１０】
2009038782.tif 000014
【図１１】
2009038782.tif 000015
【図１２】
2009038782.tif 000016
【図１３】
2009038782.tif 000017
【図１４】
2009038782.tif 000018
【図１５】
2009038782.tif 000019
【図１６】
2009038782.tif 000020
【図１７】
2009038782.tif 000021
【図１８】
2009038782.tif 000022
【図１９】
2009038782.tif 000023
【図２０】
2009038782.tif 000024
【図２１】
2009038782.tif 000025
【図２２】
2009038782.tif 000026
【図２３】
2009038782.tif 000027
【図２４】
2009038782.tif 000028
【図２５】
2009038782.tif 000029
【図２６】
2009038782.tif 000030
【図２７】
2009038782.tif 000031
【図２８】
2009038782.tif 000032
【図２９】
2009038782.tif 000033
【図３０】
2009038782.tif 000034