(57)【要約】【課題】電子ズームを用いて画像を記録する際、拡大されない領域については切り捨てられていた。【解決手段】電子ズームによる拡大処理が有効な場合であっても、拡大されない領域について切り捨てることなく圧縮符号化を行う。さらに、ズーム倍率に応じて、異なる圧縮符号化処理モードを適応的に選択して用いる。【選択図】  図２
2004214985.tif 000002
【特許請求の範囲】
【請求項１】
所定サイズを有する画像を表す画像データを圧縮符号化する画像処理装置であって、
指定された拡大率に応じて、前記画像内の、再生時に拡大処理すべき拡大領域を決定する拡大領域決定手段と、
前記画像を、前記拡大領域と、それ以外の非拡大領域とで圧縮率を異ならせて圧縮符号化する圧縮手段とを有し、
前記圧縮手段が、前記拡大率に応じて、前記圧縮符号化方法を変更することを特徴とする画像処理装置。
【請求項２】
前記圧縮手段が、前記画像を、前記拡大領域と少なくとも１つの前記非拡大領域に分割し、分割した領域毎に前記圧縮符号化を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記圧縮手段が、前記拡大領域の圧縮率が前記非拡大領域の圧縮率よりも小さくなるように前記圧縮符号化を行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記圧縮手段が、ＪＰＥＧ２０００方式により前記圧縮符号化を行い、前記拡大率が第１の範囲に存在する場合には、前記拡大領域と前記非拡大領域に対する量子化ステップ及び目標ビットレートの少なくとも一方を変更することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記圧縮手段が、前記拡大率が前記第１の範囲より大きい第２の範囲に存在する場合には、前記拡大領域をＲＯＩとした圧縮符号化を行うことを特徴とする請求項４記載の画像処理装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の画像処理装置により圧縮符号化された画像データを再生する画像再生装置であって、
拡大再生の指定がなされているか否かを検出する検出手段と、
拡大再生が指定されていない場合には、前記拡大領域の含まれる画像データについて、前記拡大領域及び非拡大領域の両方を復号化して再生し、拡大再生が指定されている場合には、前記拡大領域の含まれる画像データについて、前記拡大領域のみを前記所定の画像サイズに拡大して再生する再生手段を有することを特徴とする画像再生装置。
【請求項７】
前記再生手段が、前記拡大領域の拡大を、離散ウェーブレット逆変換を用いて行うことを特徴とする請求項６記載の画像再生装置。
【請求項８】
前記再生手段が、前記拡大領域をＬＬサブバンドとし、前記拡大領域と同じ大きさを有する空の画像を他のサブバンドとして付加した後、離散ウェーブレット逆変換を行うことで前記拡大領域の拡大画像を得ることを特徴とする請求項７記載の画像再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、静止画像または動画像を撮像し、撮像した画像を圧縮符号化する画像処理技術に関する。
【０００２】
【従来の技術】
従来、静止画像を撮影して画像処理を行ったのちに磁気記憶媒体、半導体記憶媒体、あるいは光ディスクに記録するデジタル（スチル）カメラが市販されている。また、動画像を撮影して画像処理を行ったのちに磁気記憶媒体、半導体記憶媒体あるいは光ディスクに記録するデジタルビデオカメラも市販されている。これらデジタルカメラやデジタルビデオカメラの中には、ズームレンズを用いる所謂光学ズーム機能ではなく、撮像画像を画像処理で拡大する電子ズーム（デジタルズーム）機能を有するものがある。
【０００３】
電子ズーム機能は、レンズを通して入射した光を電気信号に変換する撮像素子によって既に撮像された所定画素の撮像画像のうち、所定の矩形領域を撮像画像の画像サイズに画像処理にて拡大する機能である。電子ズーム機能は、レンズを駆動して撮像画像を拡大する光学ズームと組み合わせることで、光学ズームで不足するズーム倍率を補うことができる。図８は撮像画像における電子ズーム領域を示した模式図である。
【０００４】
ただし、電子ズーム機能（画像処理による拡大機能）で拡大された画像は、通常、画像処理前の画像より画質が悪くなってしまう。これは、拡大画像の元となる矩形領域に含まれる画素から補間画素を生成することによって拡大処理しているためである。
【０００５】
ところで、デジタルカメラやデジタルビデオカメラをはじめとして、画像再生機能を有する装置の中には、再生時に画像の任意の部分領域を拡大して表示する再生ズーム機能を有するものがある。この再生ズーム機能は、ユーザが選択した画像の部分領域を、上記電子ズームと同様の画像処理にて拡大し、拡大した部分領域を内蔵もしくは外部ディスプレイやテレビ等、所望の表示媒体へ出力するものである。
【０００６】
また、デジタルカメラやデジタルビデオカメラでは、画像を記録する際に画像圧縮を行い、画像のデータ量を削減している。こうした画像圧縮において、撮像画像の任意の領域とその他の領域とで異なる圧縮特性を持たせる技術が知られている（例えば特許文献１参照）。特許文献１で提案されている画像データ符号化装置は、はじめに画像データを複数の画像領域に分割し、ブロック毎に直交変換を行いその変換係数の統計量を算出する。そして、算出した統計量に応じてブロック毎にビット数の割り当てや量子化ステップ数などの圧縮特性を制御することで、決められた情報量のもとで量子化誤差を抑制したビット割り当てを行う。
【０００７】
その他の周知技術として、近年に規格化された画像圧縮規格の１つである、ＩＳＯ／ＩＥＣ  １５４４４−１規格に記述されているＪＰＥＧ２０００方式の規格において、所定領域に他の領域より符号量を多く割り当てるＲＯＩ（ｒｅｇｉｏｎｓ  ｏｆ  ｉｎｔｅｒｅｓｔ）という技術が規定されている。所定領域をＲＯＩで処理すれば、ＲＯＩ領域を非ＲＯＩ領域より高品位にすることができる。具体的には、符号量を多く割り当てる所定領域の量子化後のビットを入力画像のｂｉｔ  ｄｅｐｔｈだけＭＳＢ側にシフトする。このシフト処理はＭａｘｓｈｉｆｔと呼ばれている。
【０００８】
ここでＪＰＥＧ２０００方式のＲＯＩについて詳しく説明するために、ＪＰＥＧ２０００方式を用いた画像の符号化方法について概略を説明する。符号化は処理の順にＤＣレベルシフト、コンポーネント変換、ＤＷＴ変換（Ｄｉｓｃｒｅｔｅ  ｗａｖｅｒｅｔ  ｔｒａｎｓｆｅｒ）、量子化、コードブロック分割、係数ビットモデリング、算術符号化、符号順序制御とに分けることができる。
【０００９】
１）ＤＣレベルシフト
入力された画像のデータにおいて符号の有無を検出し、符号なしのデータの場合に下記のオフセット値をデータより減算する。
オフセット値＝２（ｂｉｔ  ｄｅｐｔｈ−１）    −（式１）
【００１０】
２）コンポーネント変換
コンポーネント変換は入力されたコンポーネントが３つ以上の場合にのみ行う処理である。
コンポーネント変換では、画像データのコンポーネント番号の０〜２のみに色空間変換を施して、画像データを輝度成分と色差成分とに分離させる。
【００１１】
３）ＤＷＴ変換
ＤＷＴ変換では、コンポーネント変換された画像データに所定のＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ）とＨＰＦ（Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）演算を施す。２次元ＤＷＴ変換によりＤＷＴ係数に変換された画像データの模式図を図９に示す。
【００１２】
この処理で画像データは、はじめに縦方向にフィルタリングを施されて、縦方向における低周波成分と高周波成分とに分解される。次に、分解された画像データの低周波成分と高周波成分は、横方向にフィルタリングを施されて、下記の４つの成分に分解される。
ＬＬ成分（縦方向の低周波成分における横方向の低周波成分）
ＨＬ成分（縦方向の低周波成分における横方向の高周波成分）
ＬＨ成分（縦方向の高周波成分における横方向の低周波成分）
ＨＨ成分（縦方向の高周波成分における横方向の高周波成分）
【００１３】
ＤＷＴ変換は、ＬＬ成分についてさら階層的に上記のフィルタリングを施し、上述の４成分に分解する動作を所定回数行う。この分解する動作の回数を分解レベル数と呼ぶ。図９において、ＤＷＴ変換の分解レベル数は２である。図９では、各成分の分解レベルを下付き文字で記している。
【００１４】
４）量子化
量子化処理は、ＤＷＴ変換でＬＬ，ＨＬ，ＬＨ，ＨＨ各成分に分割された画像データを、各成分ごとに所定の量子化ステップで量子化する。量子化ステップの指定は、各成分で任意に量子化ステップを定める方法か、あるいは分解レベル０におけるＬＬ成分の量子化ステップから他の成分の量子化ステップを定める方法のいずれかで指定される。
【００１５】
入力画像の一部にＲＯＩを設定した場合は、図１０に示すように、画像データのｂｉｔ  ｄｅｐｔｈ分だけビットシフト（Ｍａｘｓｈｉｆｔ）する。Ｍａｘｓｈｉｆｔ法はＲＯＩである画像データのビットをＭＳＢ側にｂｉｔ  ｄｅｐｔｈだけビットシフトする方法である。一般的に、このようにＲＯＩである画像データは、後述の算術符号化における符号量調整時に、符号が切り捨てられない傾向がある。
【００１６】
ＪＰＥＧ２０００方式の拡張部であるＩＳＯ／ＩＥＣ  １５４４４−２規格では、ＲＯＩのＭａｘｓｈｉｆｔ法でシフトするビットの桁数を任意に設定することができると規定されている。実際のビットをＭＳＢ側にｂｉｔ  ｄｅｐｔｈだけビットシフトする代わりに、実際のビットをＭＳＢ側にビットシフトする桁数を任意に設定してもよい。このような構成にすることで、ＲＯＩ設定時におけるＲＯＩでない画像領域に割り当てる符号量を調整することができる。
【００１７】
５）コードブロック分割
量子化された画像データはコードブロックと呼ばれるブロックに分割される。コードブロックの縦幅、横幅は、２のべき乗で指定することができる。
【００１８】
６）係数ビットモデリング
係数ビットモデリングでは、量子化された画像データを算術符号化する符号列に並び替える処理を行う。この処理はビットプレーン毎に３つの処理パスを用いる。この処理と同時に、各符号に対するｃｏｎｔｅｘｔを生成する。
【００１９】
７）算術符号化
算術符号化は、符号の出現確率を元にして、入力された符号にＭＱ−Ｃｏｄｅｒと呼ばれる符号化を行う。符号化の出現確率は、係数ビットモデリングで求められたｃｏｎｔｅｘｔより決められる。符号化処理は、係数ビットモデリングで出力されたパス毎に、処理の打ち切りを行うことができる。これにより、出力する符号の量を目標とするビットレートに収めることができる。
【００２０】
８）符号順序制御
符号順序制御では、スケーラブルに復号できるように、複数の解像度レベルやＳ／Ｎレベル、区分領域毎に符号順序の並び替えを行う。
【００２１】
以上、ＪＰＥＧ２０００方式を用いた画像の符号化方法について説明したが、上述の方式におけるＲＯＩは、ＲＯＩと設定した画像領域の符号を算術符号化の際にできるだけ切り捨てられなくするためのものである。一般的に、ＲＯＩを設定した画像データは、算術符号化の際にＲＯＩ以外の領域の下位ビットから切り捨てられる傾向がある。このようにして、ＲＯＩを設定した領域はデータが切り捨てられずに残り、ＲＯＩに設定した画像領域のデータはＲＯＩでない画像領域のデータより多くの符号量を有する傾向にある。
【００２２】
ところで、近年に規格化された動画の画像圧縮規格の１つに、ＩＳＯ／ＩＥＣ１５４４４−３規格に記述されているＭｏｔｉｏｎ  ＪＰＥＧ２０００方式がある。Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式において、ＪＰＥＧ２０００画像を含む画像や音声、時間やこれらに付随する情報を包含する技術が規定されている。Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式のデータはＪＰＥＧ２０００方式の画像を複数枚含むことができ、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式のデータに各々のＪＰＥＧ２０００方式の画像に関する時間情報を与えることで、ＪＰＥＧ２０００画像を動画像として再生することができる。
【００２３】
【特許文献１】
特開平４−３４５３６９号公報
【００２４】
【発明が解決しようとする課題】
上述のように、電子ズーム機能は、撮像装置に用いた場合、光学ズームで不足するズーム倍率を補うことができ、また画像再生装置に用いた場合には任意の領域を拡大再生可能とする有用な技術であるが、ズーム倍率に応じた画像劣化が生じてしまう。
【００２５】
また、電子ズーム機能を用いて撮像した場合、電子ズームする画像領域以外の画像領域を記録することなく、電子ズームする画像領域のみを画面サイズに拡大して記録してしまう。このため、撮像装置で記録された画像データを表示媒体に再生する再生装置は、撮像装置の電子ズームを利用して記録した画像データを再生するときに、電子ズームした画像領域以外の領域を再生することができない。したがって、ユーザが電子ズームした画像領域以外の領域を撮影後に見る必要が生じた場合でも、ユーザは電子ズームした画像領域以外の領域を見ることができない。
【００２６】
さらに、例えば従来技術の電子ズームと、特許文献１或いはＪＰＥＧ２０００のＲＯＩを組み合わせて、電子ズーム領域を分割して処理することで高画質化を図ることも考えたとしても、変動する電子ズーム倍率に追従させて、画像領域の拡大や縮小を行うことまではできない。
特にＲＯＩの場合は、電子ズームする画像領域が大きくなるにつれて電子ズームする画像領域の画質は低下してしまう。これは、ＪＰＥＧ２０００方式のＲＯＩがビットシフトによって画質劣化を防いでいるためである。すなわち、ＲＯＩのビットシフトによって、ＲＯＩの画像を形成するビットは上位ビットへ移り、ＲＯＩでない画像を形成するビットは下位に留まる。
【００２７】
一般的に、符号量を調整するとき、下位ビットになるにつれて切り捨てられやすくなるので、ＲＯＩでない画像の画質の方が劣化しやすくなる。ところが、ＲＯＩの領域が大きくなるとＲＯＩでない画像領域が小さくなり、切り捨てられるべき情報量はＲＯＩでない画像領域を切り捨てるだけでは足りなくなる。したがって、ＲＯＩの情報量も切り捨てられるようになり、結局はＲＯＩの画質も劣化してしまう。
そこで、電子ズームする画像領域の画質劣化を防ぎつつ、電子ズームする画像領域を大きくしたい場合は、画像圧縮で目標とするビットレートを十分高くしなければならなくなり、ビットレートの調節が必要となってしまう。
【００２８】
本発明は上記問題点を鑑みてなされたものであり、電子ズーム機能を用いて画像の一部領域を拡大した場合であっても、他の領域について記録可能とすることを第１の目的とする。
また、電子ズームの倍率が広範囲に渡った場合においても、電子ズームする画像領域の画質は高品位に保ち、かつ電子ズームしない画像領域の画質とのバランスを保ちながら画像圧縮可能とすることを第２の目的とする。
さらに、再生時に電子ズームを行う場合、画像の拡大処理を容易に実現することを第３の目的とする。
【００２９】
【課題を解決するための手段】
上述の目的を達成するため、本発明の画像処理装置は、所定サイズを有する画像を表す画像データを圧縮符号化する画像処理装置であって、指定された拡大率に応じて、画像内の、再生時に拡大処理すべき拡大領域を決定する拡大領域決定手段と、画像を、拡大領域と、それ以外の非拡大領域とで圧縮率を異ならせて圧縮符号化する圧縮手段とを有し、圧縮手段が、拡大率に応じて、圧縮符号化方法を変更することを特徴とする。
【００３０】
【発明の実施の形態】
本発明による画像処理装置は、所定サイズを有する画像を表す画像データを圧縮符号化する画像処理装置であって、指定された拡大率に応じて、画像内の、再生時に拡大処理すべき拡大領域を決定する拡大領域決定部と、画像を、拡大領域と、それ以外の非拡大領域とで圧縮率を異ならせて圧縮符号化する圧縮部とを有し、圧縮部が、拡大率に応じて、圧縮符号化方法を変更することを特徴とする。
【００３１】
また、このような画像処理装置で生成された画像データを好適に再生可能な本発明による画像再生装置は、本発明の画像処理装置により圧縮符号化された画像データを再生する画像再生装置であって、拡大再生の指定がなされているか否かを検出する検出部と、拡大再生が指定されていない場合には、拡大領域の含まれる画像データについて、拡大領域及び非拡大領域の両方を復号化して再生し、拡大再生が指定されている場合には、拡大領域の含まれる画像データについて、拡大領域のみを所定の画像サイズに拡大して再生する再生部を有することを特徴とする。
【００３２】
このような本発明は、具体的に願書に添付する図面に示す構成及び処理において、以下の実施形態と対応して実現できる。
【００３３】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
図１は本発明の画像処理装置の一実施形態としての撮像装置の構成を示すブロック図である。
同図において、ＣＰＵ１０１は撮像装置１００の全回路の動作を制御する。また、操作部１１８は撮像装置１００のユーザインターフェースであり、撮影動作や記録動作の命令、電子ズームのＯＮ／ＯＦＦ、電子ズームの倍率などを指示入力するボタンやメニューから構成される。撮像回路１０５はレンズ１０３と絞り１０４を通じて入射された光をアナログ画像信号に変換し、信号の電圧のゲインとオフセットの調節や信号のガンマ補正を行う。さらに撮像回路１０５は、アナログ画像信号をＡ／Ｄ変換してＲ、Ｇ、Ｂ計３つのコンポーネントを含むデジタル画像データに変換する。メモリバッファ１０６は撮像回路１０５から出力されたデジタル画像データを一時記憶し、ＣＰＵ１０１からの命令に応じてＢｕｓ１０２を通じて画像分割回路１０７あるいはＤＣレベルシフト・コンポーネント変換回路１０８へ転送する。画像分割回路１０７は、メモリバッファ１０６からデジタル画像データを入力し、デジタル画像データをＣＰＵ１０１から入力された画像領域の縦幅、横幅に基づいて複数の区分画像データに分割する。
【００３４】
ここで、ＣＰＵ１０１が電子ズーム範囲を指定するための演算について説明する。電子ズーム倍率をｘとし、オリジナル画像の縦幅ｏｈ、横幅ｏｗとすると、電子ズームで拡大される画像領域の縦幅ｅｈ、横幅ｅｗは次の式で与えられる。
ｅｈ＝ｏｈ／ｘ
ｅｗ＝ｏｗ／ｘ    −（式２）
【００３５】
図５はＣＰＵ１０１により算出された、電子ズームで拡大される画像領域を示す模式図である。本実施形態において、ＣＰＵ１０１はオリジナル画像の中心と電子ズームで拡大される画像領域の中心が一致するように拡大領域を指定するが、これに限らず、電子ズームで拡大される画像領域の中心を任意に設定してもよい。このような構成にすることでオリジナル画像の中心以外に被写体が存在する場合に、該被写体へ電子ズームすることができるようになる。
【００３６】
引き続き図１の構成を説明していくと、ＤＣレベルシフト・コンポーネント変換回路１０８はメモリバッファ１０６あるいは画像分割回路１０７より転送された画像データにＪＰＥＧ２０００方式のＤＣレベルシフトとコンポーネント変換とを施す。
【００３７】
ＤＷＴ回路１０９はＤＣレベルシフト・コンポーネント変換回路１０８より出力された画像データに２次元ＤＷＴ変換を行い、図９に示すような周波数成分ごとに分割された係数の帯域を生成する。量子化回路１１０はＤＷＴ回路１０９より出力された画像データのＤＷＴ係数を所定の量子化ステップで量子化する。ＲＯＩ回路１１１は、メモリバッファ１０６からデジタル画像データを入力し、ＣＰＵ１０１で算出された電子ズームで拡大される画像領域の縦幅、横幅に基づいて、ＲＯＩ設定する。具体的には、ＲＯＩにする領域をＪＰＥＧ２０００方式のＭａｘｓｈｉｆｔ法に基づいてビットシフトする。
【００３８】
コードブロック分割・係数ビットモデリング回路１１２は、画像データにコードブロック分割と係数ビットモデリングを施す。コードブロック分割は、操作部１１８より入力されたコードブロックサイズに従って、量子化回路１１０あるいはＲＯＩ回路１１１から出力された画像データを分割する。コードブロックに分割された画像データは、ＭＳＢからＬＳＢにかけてビットプレーン毎に所定の３つのパス処理を行う。コードブロック分割・係数ビットモデリング回路１１２は、３つの処理パスによって処理された符号と、その符号のｃｏｎｔｅｘｔを出力する。
【００３９】
算術符号化回路１１３は、コードブロック分割・係数ビットモデリング回路１１２から出力された符号とその各符号に対応したｃｏｎｔｅｘｔを用いて、ＭＱ−Ｃｏｄｅｒと呼ばれる算術符号化を行い、画像データを圧縮する。算術符号化回路１１３は、画像データを目標ビットレートに収めるため、符号化処理を途中で打ち切る。この処理の打ち切りによって、コードブロック分割・係数ビットモデリング回路１１２にてＭＳＢからＬＳＢへ順に出力された画像データは下位ビットの情報に相当する符号を切り捨てられ、上位ビットの情報に相当する符号のみが算術符号化回路１１３から出力される。ＲＯＩ回路１１１にてＲＯＩである画像領域のデータにＭａｘｓｈｉｆｔを行った場合は、ＲＯＩでない画像領域の情報に相当する符号がＲＯＩである画像領域の情報に相当する符号より先に切り捨てられる傾向にある。
【００４０】
符号順序制御回路１１４は、スケーラブルに復号できるように、複数の解像度レベルやＳ／Ｎレベル、部分領域毎に分けたデータを、ＪＰＥＧ２０００方式でＰａｃｋｅｔと呼ばれる画像の出力符号データの最小区分毎に符号順序の並び替えを行う。
【００４１】
ズーム情報付加回路１１６は、撮像された画像が再生時に電子ズームして表示されるべき画像であることを示すため、ＪＰＥＧ２０００方式に圧縮された画像データにコメントマーカーセグメントを付加する。コメントマーカーセグメントとは、ＪＰＥＧ２０００方式で規定されているマーカーセグメントの１つであり、圧縮画像データに任意のコメントを記述するものである。ズーム情報付加回路１１６は、コメントマーカーセグメントに、ズーム情報として電子ズームする領域の左上端の座標と領域の縦幅および横幅に関する情報を記す。
【００４２】
本実施形態に係る撮像装置１００にて記録された画像データを再生する不図示の再生装置は、コメントマーカーセグメントに記述されている電子ズーム領域を拡大して表示する機能と、撮像装置１００により付加されたズーム情報を検知する機能を有することにより、撮像装置１００でズーム情報を付加された画像データを再生するときには、コメントマーカーセグメント内のズーム情報を検出したら、該ズーム情報に基づく領域を拡大処理して表示することができる。
【００４３】
ズーム情報付加回路１１６から出力された画像の符号化データは記録媒体１１７に記録される。記録媒体１１７は磁気記憶媒体、半導体記憶媒体あるいは光ディスクなどであるが、これに限らずデジタル信号あるいは符号を記録できるあらゆる媒体を想定している。
【００４４】
なお、本実施形態においてはＪＰＥＧ２０００方式で画像データを記録する構成について言及しているが、ＪＰＥＧ２０００方式の画像データを含むＭｏｔｉｏｎ  ＪＰＥＧ２０００方式を用いて動画像を記録する構成であっても良いことは言うまでもない。
【００４５】
Ｉ／Ｆ１１５は、ＲＣＡピンプラグやＢＮＣ、ＤＶ端子、ＵＳＢ端子、ＩＥＥＥ１３９４端子をはじめとする外部機器との有線接続の端子や、あるいはＩＥＥＥ８０２．１１やＢｌｕｅｔｏｏｔｈ、ＩｒＤＡをはじめとする無線接続の端子を想定している。
【００４６】
次に、上記構成を有する撮像装置に係る動作の詳細について説明する。
本実施形態の撮像装置１００は操作部１１８から入力される電子ズームの倍率に応じて２つの処理モードを有する。電子ズームの倍率に応じて撮像装置１００の処理モードを切り替える動作について図２に示すフローチャートに従って説明する。
【００４７】
ステップＳ２０１において、操作部１１８から電子ズームの倍率の変更命令が入力されると、ＣＰＵ１０１は入力されたズーム倍率ｘと所定値ｔ（ｔ＞１）との大小を比較する。
【００４８】
１＜ｘ＜ｔの場合はステップＳ２０２へ進み、撮像装置１００は撮像した画像データを第１の処理モードで処理する。ｔ≦ｘの場合はステップＳ２０３へ進み、撮像装置１００は撮像した画像データを第２の処理モードで処理する。具体的には、第１の処理モードは電子ズームで拡大する画像領域の圧縮率が他の領域よりも小さくなるように圧縮を行う処理モードであり、第２の処理モードは、電子ズームで拡大する画像領域をＲＯＩに設定することで、圧縮による画質劣化をその他の領域（ＲＯＩ以外の領域）に集中させ、電子ズームで拡大する画像領域の画質劣化を最小限に抑える圧縮処理を行う処理モードである。
【００４９】
ここで、所定値（ｔ）について補足する。図１９に示した、ある画像に対するＲＯＩの効果を説明する為の図からわかるとおり、ＲＯＩとしての効果が得られるのは、その大きさが画面に対して凡そ２０％程度までである。このような場合、本実施形態では、電子ズームの画像領域が画面全体の２０％以下ではＲＯＩをつかった第２の処理モード、それ以上なら第１の処理モードで処理を行うものとする。その際、上記の割合からＣＰＵ１０１が倍率を計算し、所定値（ｔ）を算出するものとする。なお、上述した２０％という値は一例であって、ＲＯＩの効果は画像によって変化し得るので、画像に応じてその割合を変更するようにしても良い。また、統計的に求めた値を固定値として用いることも可能である。
【００５０】
なお、図２においては１回のモード選択に必要な処理のみを示しているが、実際には撮像中に随時図２の処理が実行され、その時々のズーム倍率に応じて第１又は第２の処理モードの一方が動的に選択される。
【００５１】
次に、撮像装置１００が有する２つの処理モードの動作について説明する。
操作部１１８から入力される電子ズームの倍率により、ＣＰＵ１０１が第１の処理モードを選択したときの動作について、図３に示すフローチャートに従って説明する。
【００５２】
（第１の処理モード）
操作部１１８から１＜ｘ＜ｔ（ｔは所定値）なる電子ズーム倍率ｘが入力された場合は、ＣＰＵ１０１で第１の処理モードが選択される。このモードは、倍率が所定値よりも小さく、拡大領域の大きさが比較的大きいため、拡大領域をＲＯＩとして指定すると、上述の理由でＲＯＩ自体の画質低下が懸念されるような状態における処理を行うモードである。
【００５３】
第１の処理モードでは、はじめにステップＳ３０１において、撮像回路１０５が、レンズ１０３と絞り１０４を通った光を撮像し、デジタル画像データとして出力する。
次に、ステップＳ３０２において、撮像回路１０５から出力されたデジタル画像データをメモリバッファ１０６へ一時記憶する。
【００５４】
次に、ステップＳ３０３において、ＣＰＵ１０１は操作部１１８から入力された電子ズームの倍率ｘに基づいて電子ズームの拡大領域の縦幅、横幅を上述の（式２）を用いて算出する。図５はＣＰＵ１０１により算出された電子ズームの拡大領域を示す。ＣＰＵ１０１は拡大領域の縦幅ｅｈ、横幅ｅｗに関する情報を画像分割回路１０７に伝送する。なお、拡大領域の中心がオリジナル画像の中心と一致しない場合は、拡大領域の左上位置の座標等の基準座標も合わせて伝送する。
【００５５】
次に、ステップＳ３０４において、ＣＰＵ１０１はメモリバッファ１０６から出力されたデジタル画像データをＢｕｓ１０２を通じて画像分割回路１０７へ転送する。画像分割回路１０７はＣＰＵ１０１から入力された電子ズームの拡大領域に関する情報に基づいて、入力されたデジタル画像データを図６における破線で示す境界で計９つに区分されたＴｉｌｅ画像に分割する。うち一つのＴｉｌｅは電子ズームを行う画像領域に相当している。
【００５６】
ここで、Ｔｉｌｅ分割とは、ＪＰＥＧ２０００で規定されている、画像を複数の領域（Ｔｉｌｅ）に分割して、分割された画像領域毎に独立して処理を行う技術である。分割された画像領域は他の画像領域から独立して処理を行えるため、Ｔｉｌｅ分割を利用すればＴｉｌｅで分割される画像領域毎に異なる符号量で符号化することもでき、その結果として特定領域の画質を他の領域より高品位することができる。
【００５７】
画像分割回路１０７は分割されたＴｉｌｅ画像データ毎にＣＰＵ１０１からの命令に応じて出力する。図７はＴｉｌｅ分割されたデジタル画像データを示す概念図である。
【００５８】
以降、ステップＳ３０５〜ステップＳ３１１においては、ステップＳ３０４で得たＴｉｌｅ画像データ毎に全ての区分画像データを処理し終えるまで繰り返し処理を行う。さらにＣＰＵ１０１は、電子ズームで拡大するＴｉｌｅ画像データと電子ズームで拡大しないＴｉｌｅ画像データとで、後述のステップＳ３０７における量子化ステップや後述のステップＳ３０９における目標ビットレートに異なる値を設定する。
【００５９】
ステップＳ３０４に引き続き、ステップＳ３０５において、ＣＰＵ１０１は画像分割回路１０７で分割されたＴｉｌｅ画像データのうちの１つをＢｕｓ１０２を通じてＤＣレベルシフト・コンポーネント変換回路１０８へ転送する。ＤＣレベルシフト・コンポーネント変換回路１０８は入力されたＴｉｌｅ画像データにＪＰＥＧ２０００方式のＤＣレベルシフトとコンポーネント変換を施して出力する。
【００６０】
次に、ステップＳ３０６において、ＣＰＵ１０１はＤＣレベルオフセット・コンポーネント変換回路１０８より出力されたＴｉｌｅ画像データをＢｕｓ１０２を通じてＤＷＴ回路１０９へ転送する。ＤＷＴ回路１０９は入力されたＴｉｌｅ画像データにＪＰＥＧ２０００方式のＤＷＴ変換を施して、変換されたＴｉｌｅ画像データをＴｉｌｅ画像のＤＷＴ係数として出力する。
【００６１】
次に、ステップＳ３０７において、ＣＰＵ１０１はＤＷＴ回路１０９より出力されたＴｉｌｅ画像のＤＷＴ係数をＢｕｓ１０２を通じて量子化回路１１０へ転送する。量子化回路１１０は入力されたＴｉｌｅ画像のＤＷＴ係数にＪＰＥＧ２０００方式の量子化を行って、量子化されたＤＷＴ係数を量子化係数として出力する。
【００６２】
量子化回路１１０が電子ズームで拡大表示するＴｉｌｅ画像データを処理している場合、量子化回路における量子化ステップは、電子ズームで拡大表示しないＴｉｌｅ画像データの量子化ステップより小さい値にするとよい。このように動作させることで、電子ズームで拡大表示するＴｉｌｅ画像データの圧縮率を低くする（画質の劣化を抑制する）ことができる。
【００６３】
次に、ステップＳ３０８において、ＣＰＵ１０１は量子化回路１１０より出力された画像の量子化係数をＢｕｓ１０２を通じてコードブロック分割・係数ビットモデリング回路１１２へ転送する。コードブロック分割・係数ビットモデリング回路１１３は入力された画像の量子化係数にＪＰＥＧ２０００方式のコードブロック分割と係数ビットモデリングとを施して、処理された符号列とその各符号に対応したｃｏｎｔｅｘｔを出力する。
【００６４】
次に、ステップＳ３０９において、ＣＰＵ１０１はコードブロック分割・係数ビットモデリング回路１１２より出力された符号列とその各符号に対応したｃｏｎｔｅｘｔをＢｕｓ１０２を通じて算術符号化回路１１３へ転送する。算術符号化回路１１３は、入力された符号列にＪＰＥＧ２０００方式の算術符号化を施して、符号化された符号列を圧縮符号データとして出力する。算術符号化回路１１３は、符号化したデータの符号量がＣＰＵ１０１が設定した目標ビットレートに応じて、符号化処理を途中で打ち切る。
【００６５】
次に、ステップＳ３１０において、ＣＰＵ１０１はステップＳ３０４で分割したＴｉｌｅ画像のうち、ステップＳ３０５〜ステップＳ３０９の処理を終えているＴｉｌｅ画像と該処理を終えていないＴｉｌｅ画像とを認識して、ステップＳ３１１へ進む。
【００６６】
次に、ステップＳ３１１において、ＣＰＵは全てのＴｉｌｅ画像にステップＳ３０５〜ステップＳ３０９の処理を施したかどうかを判断する。もし、全てのＴｉｌｅ画像に処理を施した場合はステップＳ３１２に進む。もし、処理を施していないＴｉｌｅ画像が存在する場合はステップＳ３０５へ進んで処理を施していないＴｉｌｅ画像の処理を行う。
【００６７】
全てのＴｉｌｅ画像に処理を施した場合は、ステップＳ３１２において、ＣＰＵ１０１は算術符号化回路１１３より出力された全てのＴｉｌｅ画像の圧縮符号データをＢｕｓ１０２を通じて符号順序制御回路１１４へ転送する。符号順序制御回路１１４は入力された全てのＴｉｌｅ画像の圧縮符号データをＪＰＥＧ２０００方式のＰａｃｋｅｔと呼ばれるデータ単位に分割する。その後、符号順序制御回路１１４でＰａｃｋｅｔの順序を入れ替えて、ＪＰＥＧ２０００画像データを生成する。さらに符号順序制御回路１１４はＪＰＥＧ２０００画像データにＪＰＥＧ２０００方式の画像データとして必要な、ヘッダーと呼ばれる画像の属性情報などのビット情報を付加する。処理された画像の圧縮符号データはＪＰＥＧ２０００画像データとして出力する。
【００６８】
次に、ステップＳ３１３において、ＣＰＵ１０１は符号順序制御回路１１４より出力されたＪＰＥＧ２０００画像データをＢｕｓ１０２を通じてズーム情報付加回路１１６へ転送する。ズーム情報付加回路１１６は入力されたＪＰＥＧ２０００画像データにＪＰＥＧ２０００方式のコメントマーカーセグメントを付加する。その後、ズーム情報付加回路１１６はコメントマーカーセグメントに電子ズームする領域の左上端の座標と該領域の縦幅および横幅に関する情報を記録して出力する。
【００６９】
次に、ステップＳ３１４において、ＣＰＵ１０１はズーム情報付加回路１１６より出力されたＪＰＥＧ２０００画像データをＢｕｓ１０２を通じて記録媒体１１７へ転送する。記録媒体１１７は入力されたＪＰＥＧ２０００画像データを記録する。
【００７０】
以上の動作を行うことにより、撮像装置は第１の処理モードが設定されているときに、画像を撮像し、撮像した画像をＪＰＥＧ２０００方式の画像データに変換し、さらに電子ズームで拡大する画像領域に他の画像領域と異なる圧縮率で圧縮し、所定の記録媒体に記録あるいは所定のＩ／Ｆを通じて外部装置に伝送することができる。
【００７１】
（第２の処理モード）
次に、操作部１１８から入力される電子ズームの倍率により、ＣＰＵ１０１が第２の処理モードを選択したときの動作について、図４に示すフローチャートに従って説明する。
【００７２】
操作部１１８からｔ≦ｘ（ｔは所定値）なる電子ズーム倍率ｘが入力された場合は、ＣＰＵ１０１で第２の処理モードが選択される。このモードは、所定値よりも倍率が大きく（すなわち、拡大領域が小さく）、拡大領域をＲＯＩとして指定しても、ＲＯＩ自体の画質低下が発生しないと考えられる状態での処理を行うモードである。
【００７３】
第１の処理モードと同様、はじめにステップＳ４０１において、撮像回路１０５がレンズ１０３と絞り１０４を通った光を撮像し、デジタル画像データとして出力する。
次に、ステップＳ４０２において、撮像回路１０５から出力されたデジタル画像データをメモリバッファ１０６へ一時記憶する。
【００７４】
次に、ステップＳ４０３において、ＣＰＵ１０１はメモリバッファ１０６に一時記憶されているデジタル画像データをＢｕｓ１０２を通じてＤＣレベルシフト・コンポーネント変換回路１０８へ転送する。ＤＣレベルシフト・コンポーネント変換回路１０８は入力されたデジタル画像データにＪＰＥＧ２０００方式のＤＣレベルシフトとコンポーネント変換とを施して出力する。
【００７５】
次に、ステップＳ４０４において、ＣＰＵ１０１はＤＣレベルシフト・コンポーネント変換回路１０８より出力されたデジタル画像データをＢｕｓ１０２を通じてＤＷＴ回路へ転送する。ＤＷＴ回路１０９は入力されたデジタル画像データにＪＰＥＧ２０００方式のＤＷＴ処理を施して、変換されたデジタル画像データをＤＷＴ係数として出力する。
【００７６】
次に、ステップＳ４０５において、ＣＰＵ１０１はＤＷＴ回路１０９より出力された画像のＤＷＴ係数をＢｕｓ１０２を通じて量子化回路１１０へ転送する。量子化回路１１０は入力された画像のＤＷＴ係数にＪＰＥＧ２０００方式の量子化を行って、量子化されたＤＷＴ係数を量子化係数として出力する。
【００７７】
次に、ステップＳ４０６において、ＣＰＵ１０１は操作部１１８から入力された電子ズームの倍率ｘに基づいて電子ズームの拡大領域に関する情報として、拡大領域にあわせて設定するＲＯＩの縦幅、横幅を上述の（式２）を用いて算出する。図５はＣＰＵ１０１により算出された電子ズームの拡大領域を示す。ＣＰＵ１０１は算出されたＲＯＩの縦幅、横幅に関する情報をＢｕｓ１０２を通じてＲＯＩ回路１１１へ転送する。なお、ＲＯＩの中心がオリジナル画像の中心と一致しない場合は、拡大領域の左上位置の座標等の基準座標も合わせて伝送する。
【００７８】
次に、ステップＳ４０７において、ＣＰＵ１０１は量子化回路１１０より出力された画像の量子化係数をＢｕｓ１０２を通じてＲＯＩ回路１１１へ転送する。ＲＯＩ回路１１１は、量子化係数のうち、ステップＳ４０６でＣＰＵ１０１から転送されたＲＯＩに該当する量子化係数にＪＰＥＧ２０００方式のＲＯＩ  Ｍａｘｓｈｉｆｔ処理を施して出力する。
【００７９】
次に、ステップＳ４０８において、ＣＰＵ１０１はＲＯＩ回路１１１から出力された画像の量子化係数をＢｕｓ１０２を通じてコードブロック分割・係数ビットモデリング回路１１２へ転送する。コードブロック分割・係数ビットモデリング回路１１３は入力された画像の量子化係数にＪＰＥＧ２０００方式のコードブロック分割と係数ビットモデリングとを施して、処理された符号とその各符号に対応したｃｏｎｔｅｘｔを出力する。
【００８０】
次に、ステップＳ４０９において、ＣＰＵ１０１はコードブロック分割・係数ビットモデリング回路１１２より出力された符号列とその各符号に対応したｃｏｎｔｅｘｔをＢｕｓ１０２を通じて算術符号化回路１１３へ転送する。算術符号化回路１１３は入力された符号列にＪＰＥＧ２０００方式の算術符号化を施して、符号化された符号列を圧縮符号データとして出力する。算術符号化回路は、符号化したデータの符号量がＣＰＵ１０１の設定した目標ビットレートに応じて、符号化処理を途中で打ち切る。
【００８１】
次に、ステップＳ４１０において、ＣＰＵ１０１は算術符号化回路１１３より出力された画像の圧縮符号データをＢｕｓ１０２を通じて符号順序制御回路１１４へ転送する。符号順序制御回路１１４は入力された画像の圧縮符号データに上述のＪＰＥＧ２０００方式のＰａｃｋｅｔと呼ばれるデータ単位に分割する。さらに符号順序制御回路１１４でＰａｃｋｅｔの順序を入れ替えて、ＪＰＥＧ２０００画像データを生成する。さらに符号順序回路１１４はＪＰＥＧ２０００画像データにＪＰＥＧ２０００方式の画像データとして必要なヘッダーと呼ばれる画像の属性情報などを含むビット情報を付加する。処理された画像の圧縮符号データはＪＰＥＧ２０００画像データとして出力する。
【００８２】
次に、ステップＳ４１１において、ＣＰＵ１０１は符号順序制御回路１１４より出力されたＪＰＥＧ２０００画像データをＢｕｓ１０２を通じてズーム情報付加回路１１６へ転送する。ズーム情報付加回路１１６は入力されたＪＰＥＧ２００画像データにＪＰＥＧ２０００方式のコメントマーカーセグメントを付加する。その後、ズーム情報付加回路１１６はコメントマーカーセグメントに電子ズームする領域の左上端の座標と、領域の縦幅および横幅に関する情報を記録して出力する。
【００８３】
次に、ステップＳ４１２において、ＣＰＵ１０１はズーム情報付加回路１１６より出力されたＪＰＥＧ２０００画像データを記録媒体１１７へ転送する。記録媒体１１８は入力されたＪＰＥＧ２０００画像データを記録する。
【００８４】
以上の動作を行うことにより、撮像装置は第２の処理モードが設定されているときに、画像を撮像し、撮像した画像をＪＰＥＧ２０００方式の画像データに変換し、さらに圧縮による画質劣化を電子ズームで拡大する画像領域以外の領域に集中させる圧縮処理を行い、所定の記録媒体あるいは所定のＩ／Ｆを通じて外部装置に伝送することができる。
【００８５】
■（画像再生装置及び拡大処理）
次に、本発明の実施形態に係る撮像装置により撮影された画像データを再生するための画像再生装置と、画像の拡大処理について説明する。
【００８６】
本発明の撮像装置により撮影された画像データを再生する画像再生装置は、圧縮符号化された画像データを復号するための回路（ソフトウェアによって実現されるものを含む）を有し、この回路を用いて画像データを復号する。画像再生装置では電子ズーム再生のＯＮ／ＯＦＦが選択可能であり、電子ズーム再生がＯＮの場合、画像データに記録された電子ズームに関する情報を読み出し、これに従って、復号された画像データに電子ズームの処理を行う。これらの判断や処理の後、画像再生装置は画像データを所定の画像表示手段に出力する。
【００８７】
この際、電子ズーム処理の方法としては、任意の方法が採用できる。例えば、図１１に示すように、拡大領域の画像データ９０１に、電子ズームの拡大率に応じて決まる画素数を追加する処理９０２（アップサンプリング。通常、値０のデータを挿入）を行い、その後、これにローパスフィルタ９０３を用いて帯域制限することにより、拡大されたサイズの画像データ９０４を得ることが可能である。
【００８８】
あるいは、本実施形態による撮像装置が記録するような、ＪＰＥＧ２０００方式で圧縮されている画像データを再生可能な装置においては、ＪＰＥＧ２０００方式の復号化で行う、ＤＷＴ変換の逆変換（逆ＤＷＴ変換）を利用して拡大画像を得ることも可能である。
【００８９】
（逆ＤＷＴ変換を用いた拡大処理１）
図１２を用いて、逆ＤＷＴ変換を利用した拡大画像の生成方法について説明する。
図１２で、拡大領域である元画像１２０１（Ｏｒｉｇｉｎａｌ  Ｉｍａｇｅ）に対して、同じ画像サイズで、画素の値がすべて０の画像データ（０画像）を３つ（１２０２，１２０３，１２０４）用意する。そして、元画像をＬＬサブバンドのデータ、３つの０画像をそれぞれ、ＨＬ，ＬＨ，ＨＨサブバンドのデータとして、サブバンド分割されたウェーブレット変換係数１２０５とみなす。これについて、逆ＤＷＴ変換（Ｉ−ＤＷＴ）を行う。結果、出力として、元画像のサイズを、縦横２倍にした拡大画像１２０６が得られる。
【００９０】
この方法では、逆ＤＷＴ変換は、通常の復号化処理で行う逆ＤＷＴ変換と同一の方法で行うことができる。従って、拡大処理のために新たなローパスフィルタを用意する必要は無い。
【００９１】
また、一般的なＤＷＴ変換またはサブバンド変換の場合では、逆変換のフィルタのゲインによっては、元画像のゲインの調節を行う必要がある。この場合は、図示していないが、元画像（拡大領域の画像）のデータに、一定値を乗算する処理を加えれば良い。特に、上述の実施形態に係る撮像装置のように、ＪＰＥＧ２０００方式で規定されているウェーブレット変換を使用する場合、元画像をＬＬサブバンドの係数として、ゲインの調整無しに使用できる。すなわち、逆変換のゲインが１であるから、ゲイン調整のための乗算処理は必要無い。
画像をさらに大きく、４倍、８倍と拡大するには、上記の処理を繰り返し行えば良い。
【００９２】
（逆ＤＷＴ変換を用いた拡大処理２）
図１３及び図１４を用いて、逆ＤＷＴ変換を利用した拡大画像の別の生成方法について説明する。
本方法では、元画像から拡大画像を得る前に、一旦元画像を１／４サイズの画像に分割する。すなわち、図１３に示す様に、元画像２０１を、縦１／２、横１／２に分割し（２０２）、それぞれを独立した画像データとして、Ｑ＿０からＱ＿３（２０３から２０６）を作成する。この分割した画像Ｑ＿０からＱ＿３について、図１２で説明した拡大処理をそれぞれ行い、合成して拡大画像を作成する。
【００９３】
すなわち、図１４において、Ｑ＿０からＱ＿３（２０３から２０６）の画像に、それぞれ同サイズの３つの０画像を挿入して、ＤＷＴ変換係数を作成する（３０５から３０８）。これに、逆ＤＷＴ変換を行って、中間の拡大画像Ｍ＿０からＭ＿３（３０９から３１２）を作成する。これらを集めて（３１３）、一枚の画像として結合することで、最終的に元画像を縦、横２倍した拡大画像３１４が得られる。
【００９４】
本方法では、元画像をあらかじめ１／４サイズの画像に分割することにより、逆ＤＷＴ変換を行って作成する中間画像までは、画像サイズあるいは係数のサイズが、元画像のサイズまたは元画像を圧縮する際に作成されるＤＷＴ変換の係数のサイズを超えることは無い。すなわち、元々の圧縮伸張処理のためのＤＷＴ変換に用意したメモリサイズを超えることなく、拡大処理を行うことができる。そのため、符号化時に使用したＤＷＴ変換回路（ＤＷＴ回路１０９）がそのまま使用できる。
【００９５】
元画像の分割処理については、ＪＰＥＧ２０００方式の場合、画像分割回路１０７で行うタイル分割処理と同様に行うことができるため、これについても、新たな回路の追加は必要無い。
【００９６】
なお、元画像の縦横の画素数が奇数である場合、一方が偶数、他方が奇数となるように分割すればよい。例えば拡大領域が４８５ｘ７１９画素のデータである場合、Ｑ＿０を２４３ｘ３６０、Ｑ＿１を２４３ｘ３５９、Ｑ＿２を２４２ｘ３６０及びＱ＿３を２４２ｘ３５９として分割すれば良い。これもＪＰＥＧ２０００方式のタイル分割で、４８５ｘ７１９画素のデータを、２４３ｘ３６０サイズのタイルに分割する場合の端数の処理と同じである。
【００９７】
（逆ＤＷＴ変換を用いた拡大処理３）
図１５及び図１６を用いて、逆ＤＷＴ変換を利用した更に別の拡大画像の生成方法について説明する。
本方法は、上述の第２の方法において元画像を分割するサイズをより細分化し、拡大画像の中間画像での利用を配慮したものである。
【００９８】
これは、例えば図１７に示す様に、撮像装置６０１から、ラインプリンタ６０２へ画像データを転送する場合等に利用できる。すなわち、ラインプリンタ６０２で画像印刷する場合に必要な画像データは、全画像でなく、プリンタ・ヘッダの印刷範囲に対応した数ライン分のストライプ・データがあれば、印刷可能な場合がある。そこで、本方法では、拡大画像をストライプ毎に生成するものである。
【００９９】
図１５に本方法での画像分割を模式的に示す。分割数を幾つにするかは任意に設定可能であり、図１５に示したものは単なる一例である。ただし、印刷装置にストライプデータとして出力する場合には、印刷装置側がストライプデータとして取り扱いできる大きさの拡大画像が得られるように分割数を決定することが好ましい。
【０１００】
図１５の例では、元画像４０１を縦４列、横６列の合計２４の画像４０２に分割している。このうち、水平方向にまとまった小画像、すなわちＲ＿０、Ｒ＿１、Ｒ＿２及びＲ＿３（４０３，４０４，４０５及び４０６）について、まず拡大処理を行う。この様子を図１６に示す。すなわち、上述の第２の方法と同様に、個別の小画像Ｒ＿０、Ｒ＿１、Ｒ＿２及びＲ＿３（４０３，４０４，４０５及び４０６）について、それぞれ拡大処理を行い、中間画像Ｍ＿０、Ｍ＿１、Ｍ＿２及びＭ＿３（５０５，５０６，５０７及び５０８）を作成し、これを合成して（５０９）、ストライプ画像５１０を作る。
【０１０１】
このストライプ画像５１０は、ラインプリンタの印刷に適した形態になっているので、これをこのままプリンタ側に送り、印刷することが可能となる。従って、ストライプ画像を作成した段階で、この画像データ出力し、使用していたメモリ空間を開放することができる。そのため、比較的大きな画像データを拡大する場合でも、部分的に拡大した画像を作成し、それを随時出力することで、大きなメモリ空間を使用することなく、拡大画像を作成することができる。
【０１０２】
（逆ＤＷＴ変換を用いた拡大処理４）
図１８を用いて、逆ＤＷＴ変換を利用した更に別の拡大画像の生成方法について説明する。
本方法では、ＤＷＴ変換が一次元の変換から構成されることに鑑み、水平または垂直方向のみへの画像拡大を行うものである。
【０１０３】
まず、元画像１７０１に対して、同じ画像サイズの０画像１７０２を１つ用意する。そして、元画像を水平Ｌサブバンド、０画像を水平ＨサブバンドのＤＷＴ変換係数１７０３とみなす。これに一次元逆ＤＷＴ変換を行う。結果、出力として、元画像のサイズを、水平方向に２倍した片方向拡大画像１７０４が得られる。
このように、ＤＷＴ変換が一次元の変換から構成されている場合、画像の片方向変倍は、簡単に行うことができる。
【０１０４】
逆ＤＷＴ変換を用いた拡大処理は、例えば上述の撮像装置など、ＤＷＴ変換を用いて画像を符号化して記録する装置において、ＤＷＴ変換時に使用する回路をそのまま利用することができるため、再生電子ズーム機能を実現する際に特に有用である。
【０１０５】
【他の実施形態】
上述の実施形態においては、レンズや絞り、撮像回路といった撮像するための構成を有する撮像装置についてのみ説明したが、記録時に電子ズーム機能を用いることが可能であれば、例えば予め他の装置で記録された画像信号を受信して記録を行う、撮像するための構成を持たない画像記録装置に対しても本願発明は適用可能である。また、同様に、記録媒体も本発明には必須でなく、上述の方法で生成した圧縮画像データを他の記録機器で記録するように構成することも可能である。また、動画に限らず、静止画の記録時においても同様に適用可能である。
【０１０６】
また、上述の実施形態においては、１つの機器から構成される撮像装置についてのみ説明したが、と同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【０１０７】
尚、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態で説明した１つ以上のフローチャートに対応したプログラム）を、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【０１０８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１０９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１１０】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１１１】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【０１１２】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【０１１３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１１５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１１６】
【発明の効果】
以上説明したように、本発明によれば、電子ズーム機能を有効にして映像を記録する場合であっても、電子ズームで拡大される画像領域以外の領域を記録するため、再生時に電子ズーム機能を無効にすると、電子ズームで拡大されない領域の画像も見ることができ、利便性を向上させることができる。
【０１１７】
また、記録時に指定された電子ズームの倍率に応じて、拡大領域の拡大時における画質劣化を抑制するための圧縮方法を切り替えて使用することにより、電子ズームの倍率が広範囲に渡った場合においても、電子ズームする画像領域の画質と電子ズームしない画像領域の画質とのバランスを保った画像圧縮手段を提供することができる。
【０１１８】
さらに、再生時の電子ズーム機能を実現するための画像拡大処理に、逆ＤＷＴ変換を用いることにより、ＤＷＴ変換による圧縮記録を行う装置で電子ズーム再生を行う場合に、圧縮用の回路をそのまま利用して拡大画像を得ることが可能である。
【図面の簡単な説明】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係る撮像装置において、電子ズームを用いた画像記録を行う際の処理モード選択動作を示すフローチャートである。
【図３】本発明の実施形態に係る撮像装置の第１の処理モードにおける記録動作を示すフローチャートである。
【図４】本発明の実施形態に係る撮像装置の第２の処理モードにおける記録動作を示すフローチャートである。
【図５】本発明の実施形態に係る撮像装置において、電子ズームで拡大される画像領域を説明する模式図である。
【図６】図５の画像領域をＴｉｌｅ分割する境界の例を示す模式図である。
【図７】図６の境界で画像をＴｉｌｅ分割した状態を示す模式図である。
【図８】従来の電子ズーム機能を説明するための模式図である。
【図９】ＤＷＴ変換を説明するための模式図である。
【図１０】ＪＰＥＧ２０００方式におけるＲＯＩの処理を説明するための模式図である。
【図１１】アップサンプリングとローパスフィルタを用いた画像拡大処理を説明する図である。
【図１２】本発明における、逆ＤＷＴ変換を用いた画像拡大処理の第１の例を説明する図である。
【図１３】本発明における、逆ＤＷＴ変換を用いた画像拡大処理の第２の例を説明する図である。
【図１４】本発明における、逆ＤＷＴ変換を用いた画像拡大処理の第２の例を説明する図である。
【図１５】本発明における、逆ＤＷＴ変換を用いた画像拡大処理の第３の例を説明する図である。
【図１６】本発明における、逆ＤＷＴ変換を用いた画像拡大処理の第３の例を説明する図である。
【図１７】ラインプリンタへのストライプデータ出力を示す模式図である。
【図１８】本発明における、逆ＤＷＴ変換を用いた画像拡大処理の第４の例を説明する図である。
【図１９】本発明の実施形態に係る撮像装置で処理モードの切り替えに用いる所定値ｔについて説明するための図である。
【符号の説明】
１０２    Ｂｕｓ
１０３    レンズ
１０４    絞り
７０１    ＲＯＩでない領域のビットの様態
７０２    ＲＯＩの領域のビットをＭＳＢ側へｂｉｔ  ｄｅｐｔｈだけシフトさせた様態
【図１】
2004214985.tif 000003
【図２】
2004214985.tif 000004
【図３】
2004214985.tif 000005
【図４】
2004214985.tif 000006
【図５】
2004214985.tif 000007
【図６】
2004214985.tif 000008
【図７】
2004214985.tif 000009
【図８】
2004214985.tif 000010
【図９】
2004214985.tif 000011
【図１０】
2004214985.tif 000012
【図１１】
2004214985.tif 000013
【図１２】
2004214985.tif 000014
【図１３】
2004214985.tif 000015
【図１４】
2004214985.tif 000016
【図１５】
2004214985.tif 000017
【図１６】
2004214985.tif 000018
【図１７】
2004214985.tif 000019
【図１８】
2004214985.tif 000020
【図１９】
2004214985.tif 000021