(57)【特許請求の範囲】
【請求項１】
記録媒体に記録された圧縮画像データ及びこの圧縮画像データの伸張後の元画像データ容量とを読み出す読み出し手段と、
前記読み出し手段により読み出された圧縮画像データを伸張した画像データを記憶するフレームメモリと、
このフレームメモリの空き容量が前記元画像データの容量よりも小さく、且つ、前記元画像データの容量が最大制限容量及び最小制限容量の範囲内にある場合には、伸張後の画像データ容量が前記フレームメモリの空き容量よりも小さくなる縦圧縮数と横圧縮数とを設定する圧縮数設定手段と、
前記圧縮画像データを複数部分毎に伸張して元画像データの部分画像を生成する伸張手段と、
前記伸張手段で伸張された元画像データの部分画像データを、前記圧縮数設定手段で設定された縦圧縮数及び横圧縮数に基づいて縮小した新たな部分画像データに変換するサイズ縮小手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記サイズ縮小手段は、
前記伸張された元画像データの部分画像データの所定の領域毎に、複数の画素データを加算平均して新たな画素データを求め、その領域毎に求めた画素データから新たな部分画像データを生成する加算平均処理手段、
前記伸張された元画像データの部分画像データの所定の領域毎に、複数の画素データを重み付け加算平均して新たな画素データを求め、その領域毎に求めた画素データから新たな部分画像データを生成するフィルタ補間処理手段、
前記伸張された元画像データの部分画像データの所定の複数の画素データを抽出して新たな部分画像データを生成する間引き処理手段
の内少なくとも１の手段を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記新たな部分画像データから構成される、元画像データが縮小された縮小画像データの容量、この縮小画像データを再生表示するための処理時間の内少なくとも１つの値に基づいて、前記縮小画像データの容量が前記フレームメモリの空き容量以下になるように、前記サイズ縮小手段に対して縮小方法を設定する設定手段を備えたことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記新たな部分画像データから構成される、元画像データが縮小された縮小画像データを表示手段に表示可能なサイズの画像データに変換する第２のサイズ縮小手段を備えたことを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記元画像データのデータ容量が所定の条件を充足しないと判断されたときは、前記読み出し手段により読み出された圧縮画像データの伸張処理を行わない旨を表示する表示手段を備えたことを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号を記録再生する装置に関し、特にデジタル画像信号を記録再生する装置に関する。
【０００２】
【従来の技術】
近年、デジタルカメラなどの撮像装置に使用されている撮像素子の画素数は飛躍的に増大し、取り扱われる画像データ量も非常に大きなものとなってきている。このため、画像データを取り扱う際の処理時間が問題となってきている。
【０００３】
この例として、従来技術による画像データの記憶再生動作について説明する。
【０００４】
図９は、撮像装置のシステム構成を示す概略のブロック図である。
【０００５】
撮像レンズ系１を通過した被写体の画像は、撮像素子２で電気信号に変換され、デジタルプロセス部３においてデジタル画像信号に変換されて補間等の処理が施される。そして、この画像データは圧縮伸張部４において、例えばＪＰＥＧ方式によって符号化処理されて圧縮され、インターフェース（Ｉ／Ｆ）５を介して、例えば、外部メモリである着脱可能なメモリカード６に記憶される。
【０００６】
画像再生時は、メモリカード６に記憶されたデータは、インターフェース（Ｉ／Ｆ）５を介して読み出され、圧縮伸張部４で元の画像データに伸張された後、リサイズ処理部７において画像を表示するためのサイズに縮小される。そして、この縮小された画像データは表示用フレームメモリ８に格納されて、液晶モニタなどの画像表示部９に表示される。
【０００７】
そして、この記憶再生動作はシステムコントローラ１０によって制御され管理されており、前述の画像データはＢＵＳ回線１１を介して前述の各ブロック間で授受が行われように構成されている。また、この撮像装置にはフレームメモリ１２が設けられており、一時的な画像データ記憶などの高速な作業バッファとして使用されている。
【０００８】
【発明が解決しようとする課題】
このように、ＪＰＥＧ圧縮データを再生する場合は、元の画像データに復元するため全画素のデータについて伸張を行なった後、更に画像表示部９に表示するためビデオサイズに縮小している。
【０００９】
図１０は、再生時の画像データのフローを示す図である。
【００１０】
本図は再生動作に係る画像データ１５のサイズの変化と転送ルートを、圧縮された画像データ１５が４Ｍｂｙｔｅのときを例として示している。
【００１１】
ここで示すように伸張後の画像データ１６のサイズが８Ｍｂｙｔｅと大きい場合には、ＢＵＳ回線１１によるデータ転送時間、伸張のための処理時間、リサイズ時間などの処理時間が大きくなるだけでなく、この結果としてＢＵＳ回線１１のトラフィックの混雑を招き撮像装置の応答性能の低下を招くことになる。
【００１２】
さらに、伸張された画像データ１６を格納するためのフレームメモリ１２も大容量のメモリが必要とされることとなり、例えば、画素が４Ｍの撮像装置で撮影した画像を、フレームメモリ容量の制限から、画素が１．３Ｍの撮像装置で再生することができないといった不具合が生ずることになる。
【００１３】
本発明は、係る事情に鑑みてなされたものであって、圧縮された画像データを読み出して再生する際に、その処理時間を短縮することができ、フレームメモリ容量の制限を受けることの無い画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記課題を解決するための本発明は、記録媒体に記録された圧縮画像データ及びこの圧縮画像データの伸張後の元画像データ容量とを読み出す読み出し手段と、読み出し手段により読み出された圧縮画像データを伸張した画像データを記憶するフレームメモリと、このフレームメモリの空き容量が元画像データの容量よりも小さく、且つ、元画像データの容量が最大制限容量及び最小制限容量の範囲内にある場合には、伸張後の画像データ容量がフレームメモリの空き容量よりも小さくなる縦圧縮数と横圧縮数とを設定する圧縮数設定手段と、圧縮画像データを複数部分毎に伸張して元画像データの部分画像を生成する伸張手段と、伸張手段で伸張された元画像データの部分画像データを、圧縮数設定手段で設定された縦圧縮数及び横圧縮数に基づいて縮小した新たな部分画像データに変換するサイズ縮小手段と、を備えた画像処理装置である。
【００１５】
また本発明は、上記記載の発明である画像処理装置において、サイズ縮小手段は、伸張された元画像データの部分画像データの所定の領域毎に、複数の画素データを加算平均して新たな画素データを求め、その領域毎に求めた画素データから新たな部分画像データを生成する加算平均処理手段、伸張された元画像データの部分画像データの所定の領域毎に、複数の画素データを重み付け加算平均して新たな画素データを求め、その領域毎に求めた画素データから新たな部分画像データを生成するフィルタ補間処理手段、伸張された元画像データの部分画像データの所定の複数の画素データを抽出して新たな部分画像データを生成する間引き処理手段の内少なくとも１の手段を備えた画像処理装置である。
【００１８】
また本発明は、上記記載の発明である画像処理装置において、新たな部分画像データから構成される、元画像データが縮小された縮小画像データの容量、この縮小画像データを再生表示するための処理時間の内少なくとも１つの値に基づいて、縮小画像データの容量がフレームメモリの空き容量以下になるように、サイズ縮小手段に対して縮小方法を設定する設定手段を備えた画像処理装置である。
【００１９】
また本発明は、上記記載の発明である画像処理装置において、新たな部分画像データから構成される、元画像データが縮小された縮小画像データを表示手段に表示可能なサイズの画像データに変換する第２のサイズ縮小手段を備えた画像処理装置である。
【００２０】
また本発明は、上記記載の発明である画像処理装置において、元画像データのデータ容量が所定の条件を充足しないと判断されたときは、読み出し手段により読み出された圧縮画像データの伸張処理を行わない旨を表示する表示手段を備えた画像処理装置である。
【００２１】
【発明の実施の形態】
図１は、本発明の画像処理装置の画像伸張機能の構成を示すブロック図である。
【００２２】
本画像伸張機能は、圧縮画像データを伸張する伸張部２０、この伸張部２０の動作を管理し制御するシステムコントローラ１０、伸張された画像データを一時的に格納するためのフレームメモリ１２及びシステムコントローラ１０に各設定値あるいは動作モードを設定入力するための操作モード設定部１３によって構成されている。
【００２３】
そして伸張部２０は、画像データの授受を行うためのインターフェースであるＤＭＡ２１、ＪＰＥＧ方式により圧縮されたデータを伸張して元の画像データに復元するための画像伸張部２２、この画像データのサイズを縮小するサイズ縮小部２３及び画像データの伸張処理を行うための一時作業領域であって伸張部２０の内部に設けられている作業バッファ２４で構成されている。
【００２４】
尚、本伸張部２０の構成に際し、前述の圧縮伸張部４のように圧縮機能を備えて構成しても良い。本実施例のように伸張機能単独で構成することは設計事項に過ぎず、本発明が適用される対象に応じて最適な形態で構成すれば良い。
【００２５】
次に、伸張部２０の動作について説明する。
【００２６】
この画像処理装置に画像再生指示が入力されたときは、システムコントローラ１０が図示していないメモリカード６から圧縮された画像データを読み出し、ＤＭＡ２１を介して画像伸張部２２にそのデータを転送する。
【００２７】
画像伸張部２２は、例えばＪＰＥＧ方式で圧縮された画像データを複数の小部分毎に伸張する。そしてその小部分を伸張して８×８ｂｙｔｅの画像データにして作業バッファ２４に格納し、サイズ縮小部２３を起動する。サイズ縮小部２３は以下に示す処理を、画像伸張部２２から小部分の８×８ｂｙｔｅの画像データを渡される都度繰り返す。
【００２８】
図２は、サイズ縮小部２３の概略の手順を示すフロー図である。
【００２９】
サイズ縮小部２３は縮小動作を開始するに際して、システムコントローラ１０によって設定されている、縦圧縮数（ｎ）と横圧縮数（ｍ）を読み出す（Ｓ１）。
【００３０】
これらの圧縮数はいずれも、この画像処理装置の操作者によって予め操作モード設定部１３を介して設定されているもので、システムコントローラ１０が伸張処理を行う際に伸張部２０に対して縮小方法として設定しているデータで、ｎ、ｍはいずれも１以上の値である。
【００３１】
続いて、サイズ縮小部２３は、システムコントローラ１０によって設定されている動作モードを読み出す（Ｓ２）。
【００３２】
この動作モードも、この画像処理装置の操作者によって予め操作モード設定部１３を介して設定されているもので、システムコントローラ１０が伸張処理を行う際に伸張部２０に対して縮小方法として設定しているデータである。本画像処理装置では、加算平均処理、フィルタ補間、間引き処理の３つの動作モードが規定されている。
【００３３】
以上の準備の後、サイズ縮小部２３は作業バッファ２４から伸張後の画像データを取り出し（Ｓ３）、設定された動作モードに従った処理を施す。
【００３４】
先ず、動作モードが加算平均処理である場合は、取り出した画像データの領域毎の平均値を算出して縮小する（Ｓ５）。
【００３５】
図３は、加算平均処理の動作を説明する図である。
【００３６】
図３の（１）は、取り出した画像データ３０の構成を示している。この画像データ３０は縦（行）方向に８分割され、横（列）方向に８分割された６４個の画素で構成されている。
【００３７】
加算平均処理は、画像データ３０に基づいて、縦分割数を８／ｎ、横分割数を８／ｍとした新たな縮小画像データを作成するものである。
【００３８】
図３の（２）は、ｎ＝１、ｍ＝２の場合の加算平均処理結果の画像データ３１を示している。この処理では、画像データ３０の２つの列（１と２、３と４、５と６、７と８）のそれぞれの行の画素データを加算して平均値を求め、それを新たな列（１、２、３、４）のデータとしたものである。
【００３９】
図３の（３）は、ｎ＝２、ｍ＝１の場合の加算平均処理結果の画像データ３２を示している。この処理では、画像データ３０の２つの行（１と２、３と４、５と６、７と８）のそれぞれの列の画素データを加算して平均値を求め、それを新たな行（１、２、３、４）のデータとしたものである。
【００４０】
図３の（４）は、ｎ＝２、ｍ＝２の場合の加算平均処理結果の画像データ３３を示している。この処理では、画像データ３０の行及び列をそれぞれ４分割し、このようにして区分された１６個の小領域ごとに、その領域に含まれる４個の画素データを加算して平均値を求め、それを新たな画像データ３３の画素データとしたものである。
【００４１】
このように加算平均処理を適用することで、簡便な操作で効率的に縮小画像を作成することができる。
【００４２】
動作モードがフィルタ補間処理である場合は、取り出した画像データにフィルタ補間処理を施して縮小する（Ｓ７）。
【００４３】
図４は、フィルタ補間処理の動作を説明する図である。
【００４４】
このフィルタ補間処理は前述の加算平均処理を一般化したもので、ｎ、ｍで分割される小領域の各画素に対応して重み付け係数を設定して、所謂重み付け平均値を算出する。
【００４５】
例えば、図４に示すｉ行ｊ列の領域について各行列要素毎に重み付け係数であるαｉｊを設定し、画素データｇｉｊとの間で式（１）に示す重み付け平均値ＡＶを算出して、その値をその分割された領域の画素データとするものである。
【００４６】
ＡＶ  ＝    ΣΣ（αｉｊ×ｇｉｊ）／ΣΣαｉｊ              ・・・（１）
ここで、αｉｊは任意の実数値をとるものとし、この値を適当に選定することによって、例えば差分、微分などのバリエーションのある値を算出することができる。
【００４７】
このようにフィルタ補間処理を適用することによって、よりその画像の画質に適した状態での縮小操作を行うことができる。
【００４８】
動作モードが間引き処理である場合は、取り出した画像データに間引き処理を施して縮小する（Ｓ８）。
【００４９】
図５は、間引き処理の動作を説明する図である。
【００５０】
本実施例では、間引き処理は、縦方向ｎ行毎、横方向ｍ列毎の画素データを抽出して新たな画像データを構成するものである。
【００５１】
図５の（１）では、ｎ＝２、ｍ＝２の間引き動作を示しており、元画像データ３０から選択された斜線を付した画素データによって、図５の（３）に示す新たな画像データ３５が構成されている。
【００５２】
尚、画素の選択について、図５の（２）に示すように間引き開始位置を適宜変更するように構成することは通常の創作能力の範囲内の対応である。
【００５３】
このようにして動作モードに対応して縮小した画像データを作成し、そのデータをフレームメモリ１２にＤＭＡ２１を介して転送する（Ｓ９）。
【００５４】
以上のように構成すれば、伸張部２０の出側において画像データが１／ｎｍに縮小されるため、フレームメモリ１２の必要容量が１／ｎｍとなり、またＢＵＳ回線１に流れるデータ量も１／ｎｍに減少することができ、伸張処理の効率化とフレームメモリ１２の制限緩和が期待されるだけでなく、図示していないリサイズ処理部での処理の効率化も期待できる。
【００５５】
尚、本実施例では３つの動作モードの単独の処理内容について説明したが、本発明はこの実施の形態に限定されるものではなく、これらの動作モードを適宜組み合わせて処理するように構成してもよい。
【００５６】
図６は、本発明の画像処理装置の動作を示すフロー図である。
【００５７】
この実施形態は、前述の縦圧縮数（ｎ）と横圧縮数（ｍ）が画像処理装置の操作者によって設定されていない場合であっても、画像処理装置が適切な値を自ら選定して縮小処理を行うものである。
【００５８】
システムコントローラ１０は、図示していないメモリカードから圧縮される前の元の画像データの容量（Ａ）を読み出す（Ｓ２０）。
【００５９】
図７は、メモリカードに記憶されている圧縮画像ファイル４０の構造を示す図である。
【００６０】
圧縮画像ファイル４０はヘッダデータ、圧縮された元画像データ、圧縮されたサムネイル画像データとで構成されており、このヘッダデータには元画像データの容量、圧縮画像データの容量等の情報が記録されている。そこで、システムコントローラ１０は該当した圧縮画像ファイル４０を検索してそのヘッダデータから元の画像データの容量（Ａ）を取り出す。
【００６１】
続いて、システムコントローラ１０は、フレームメモリ１２の空き容量（Ｂ）を読み出し（Ｓ２１）、この画像データ容量（Ａ）とメモリ空き容量（Ｂ）に基づいて以下に示す管理制御を行う。
【００６２】
先ず、準備処理として縦圧縮数（ｎ）と横圧縮数（ｍ）に初期値としてそれぞれ１を設定する。
【００６３】
次に、元画像データ容量（Ａ）の大きさを調べ、それが最大制限値ＭＡＸよりも大きい場合（Ｓ２３）は、この画像処理装置の処理能力を超えるものであるため、その画像のサムネイル画像データを読み出して伸張して、制限値を超える旨の警告と共に図示していない画像表示部９に表示する（Ｓ２４）。
【００６４】
画像データ容量（Ａ）の大きさが最小制限値ＭＩＮよりも小さい場合（Ｓ２５）は、この画像処理装置の処理には不適当であるため、その画像のサムネイルデータを読み出して、制限値を超える旨の警告と共に図示していない画像表示部９に表示する（Ｓ２４）。
【００６５】
画像データ容量（Ａ）の大きさが所定の範囲内にある場合には、縦圧縮数（ｎ）と横圧縮数（ｍ）を用いた式（２）に基づいて、サイズ縮小部２３によって縮小された画像のデータ容量（Ｃ）を求める。
【００６６】
Ｃ  ＝  Ａ  ／（ｎ×ｍ）                        ・・・（２）
縮小された画像のデータ容量（Ｃ）がメモリ空き容量（Ｂ）よりも大きい場合（Ｓ２６）は更に縮小する必要があるため、所定のアルゴリズムに従ってｎ、ｍを変更し（Ｓ２７）、ステップＳ２５から処理を進める。
【００６７】
縮小された画像のデータ容量（Ｃ）がメモリ空き容量（Ｂ）よりも小さい場合（Ｓ２６）には、縮小された画像のデータ量あるいはそのデータを処理するための処理時間が所定の範囲にあるかどうかを調べる（Ｓ２８）。これは、縮小された画像のデータ量（Ｃ）がメモリの空き容量（Ｂ）以下であったとしても、ＢＵＳ回線１のトラフィックの混雑や、以降の画像再生に係る処理時間の増加を発生させる場合には、その縮小条件は不適当として不採用とするものである。
【００６８】
尚、この判定の条件である縮小された画像のデータ容量、データを処理するための処理時間については、いずれの条件を優先して適用するかを画像処理装置の操作者が例えば操作モード設定部１３を介して設定することができるように構成する。
【００６９】
即ち、画像のデータ容量を判定条件とする容量優先モード、データ処理時間を判定条件とする処理時間優先モード、画像のデータ容量とデータ処理時間とを共に判定条件とする容量・処理時間制限モードを設定するように構成する。
【００７０】
図８は、判定条件の内容を示す図である。
【００７１】
操作者は前述のデータ容量優先モード、処理時間優先モード、容量・処理時間制限モードの何れかを設定することができる。
【００７２】
以下のステップは、容量・処理時間制限モードでの判定条件に従った動作について説明する。
【００７３】
この判定条件が充たされない場合（Ｓ２８）は、所定のアルゴリズムに従ってｎ、ｍを変更し（Ｓ２７）、ステップＳ２５から処理を進める。
【００７４】
この判定条件が充たされた場合（Ｓ２８）は、ここで決定された縦圧縮数（ｎ）と横圧縮数（ｍ）を伸張部２０に対して設定して（Ｓ２９）、前述の要領でサイズ縮小部２３を動作させて画像データの伸張処理を実行させる（Ｓ３０）。
【００７５】
以上のように、縦圧縮数（ｎ）と横圧縮数（ｍ）が画像処理装置の操作者によって設定されていない場合であっても、画像処理装置が適切な値を自ら選定して縮小処理を行うことができる。
【００７６】
そしてシステムコントローラ１０は、このような縮小処理でサイズ縮小された画像データを図示していない画像表示部に表示させるが、縮小された画像サイズが画像表示部に表示するにはまだ大きい場合には、図示していないリサイズ処理部において更に表示可能なサイズに縮小して画像表示部に表示させる（Ｓ３１）。
【００７７】
尚、本発明において所要の効果を得るためには、縦圧縮数（ｎ）と横圧縮数（ｍ）は１以上の正整数であれば良いが、これらの値を２ｎ（ｎ＝０、１、２、３・・・）になるように設定すれば画像処理装置を複雑にせずに構成することができる。
【００７８】
【発明の効果】
以上説明したように本発明によれば、圧縮された画像データを読み出して再生する際に、その処理時間を短縮することができ、フレームメモリ容量の制限を受けることを回避することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の画像伸張機能の構成を示すブロック図。
【図２】サイズ縮小部の概略の手順を示すフロー図。
【図３】加算平均処理の動作を説明する図。
【図４】フィルタ補間処理の動作を説明する図。
【図５】間引き処理の動作を説明する図。
【図６】本発明の画像処理装置の動作を示すフロー図。
【図７】メモリカードに記憶されている圧縮画像ファイルの構造を示す図。
【図８】判定条件の内容を示す図。
【図９】撮像装置のシステム構成を示す概略のブロック図。
【図１０】再生時の画像データのフローを示す図。
【符号の説明】
１０…システムコントローラ
１１…ＢＵＳ回線
１２…フレームメモリ
２０…伸張部
２２…画像伸張部
２３…サイズ縮小部
３０…画像データ
４０…圧縮画像ファイル
【図１】
0004823453.tif 000002
【図２】
0004823453.tif 000003
【図３】
0004823453.tif 000004
【図４】
0004823453.tif 000005
【図５】
0004823453.tif 000006
【図６】
0004823453.tif 000007
【図７】
0004823453.tif 000008
【図８】
0004823453.tif 000009
【図９】
0004823453.tif 000010
【図１０】
0004823453.tif 000011