(57)【特許請求の範囲】
【請求項１】
画像を周波数分解して変換係数に変換する変換手段と、
前記変換手段により変換された前記変換係数を、「前記画像上の選択領域」および「それ以外の非選択領域」に領域区分する区分手段と、
前記選択領域に対し前記非選択領域よりも優先的に情報量を割り当てて、前記変換係数を符号化する符号化手段と、
前記選択領域のビット配分率を調整して、前記非選択領域のビット配分率をコントロールする領域調整手段と、を備え、
前記領域調整手段は、目標値として予め与えられる、
（１）前記画像全体のビット配分率、
（２）前記選択領域の面積、
（３）「前記選択領域のビット配分率」と「非選択領域のビット配分率」との比、
に基づいて、
γroi＝γtotal・Ｋ／［１＋（Ｋ−１）Ａroi］
（ただし、γtotalは前記画面全体のビット配分率、γroiは前記選択領域のビット配分率、Ａroiは前記画面全体に占める前記選択領域の面積比率、Ｋは「前記選択領域のビット配分率」と「前記非選択領域のビット配分率」との比）
からなる概算式に前記目標値を代入して解き、前記選択領域のビット配分率を決定することを特徴とする画像符号化装置。
【請求項２】
請求項１に記載の画像符号化装置において、
前記領域調整手段は、予め定められる上限値および下限値の少なくとも一方で、前記選択領域のビット配分率の調整値を制限する
ことを特徴とする画像符号化装置。
【請求項３】
請求項１または請求項２に記載の画像符号化装置において、
前記画像上の合焦領域を検出し、前記合焦領域に基づいて前記画像上の選択領域を決定する領域調整手段を更に備えたことを特徴とする画像符号化装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像符号化装置において、
前記画像上の合焦領域を検出し、前記合焦領域の方向に前記選択領域を変位させる領域調整手段を更に備えたことを特徴とする画像符号化装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の画像符号化装置において、
画像上の選択領域の指示入力を受け付け、前記指示入力に応じて前記選択領域を設定する領域調整手段を更に備えたことを特徴とする画像符号化装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の画像符号化装置において、
前記領域調整手段は、前記非選択領域に対して空間周波数のローパス処理を施し、高能率符号化によって非選択領域に発生するノイズを軽減する
ことを特徴とする画像符号化装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の画像符号化装置と、
被写体を撮像して画像データを生成する撮像手段とを備え、
前記画像符号化装置は、前記撮像手段により生成される前記画像データを符号化する
ことを特徴とする電子カメラ。
【請求項８】
コンピュータを、請求項１ないし請求項６のいずれか１項に記載の前記変換手段、前記区分手段、前記符号化手段、および前記領域調整手段として機能させるための画像符号化プログラムを記録した
ことを特徴とする機械読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を圧縮符号化する画像符号化装置に関する。
本発明は、その画像符号化装置を具備した電子カメラに関する。
本発明は、コンピュータ上で画像符号化装置を実現するための画像符号化プログラム、およびその記録媒体に関する。
【０００２】
【従来の技術】
１９９９年１２月、ＪＰＥＧ２０００の符号化アルゴリズムの委員会案（ＣＤ：Committee Draft）が作成され、核となる主要な技術内容が凍結された。
以下、このＪＰＥＧ２０００の符号化処理について概略説明する。
【０００３】
（１）色座標変換
入力画像は、必要に応じて色座標変換が施される。
【０００４】
（２）ウェーブレット変換
画像は、縦横２方向に離散ウェーブレット変換が施され、複数のサブバンド（ＬＬ，ＬＨ，ＨＬ，ＨＨ）に帯域分割される。この内、最低周波数域のＬＬバンドは、再帰的に離散ウェーブレット変換が繰り返し施される。
【０００５】
（３）量子化
ウェーブレット変換係数は、サブバンドごとに量子化される。なお、ロッシー／ロスレスの統一処理においては、量子化ステップがとりあえず「１」に設定される。この場合、ロッシー圧縮では、後工程において下位Ｎビットプレーンの廃棄が行われる。この廃棄処理は、量子化ステップ「２のＮ乗」と等価な処理となる。
【０００６】
（４）ビットモデリング
量子化後のウェーブレット変換係数を各サブバンド内で固定サイズ（例えば６４×６４）の符号化ブロックに分割する。各符号ブロック内の変換係数は、サインビットと絶対値に分けられた後、絶対値は、自然２進数のビットプレーンに振り分けられる。このように構築されたビットプレーンは、上位ビットプレーンから順に、３通りの符号化パス（Significance pass，Refinement pass，Cleanup pass）を通して符号化される。なお、サインビットについては、対応する絶対値の最上位ビットがビットプレーンに現れた直後に符号化が行われる。
【０００７】
（５）ＲＯＩ（Region Of Interest）符号化
画像上の選択領域に優先的に情報量を割り当て、選択領域の復号化画質を高める機能である。具体的には、選択領域に位置する量子化後の変換係数をＳビットシフトアップした上で、上述したビットモデリングを実施する。その結果、選択領域は、上位ビットプレーンにシフトされ、非選択領域のどのビットよりも優先的に符号化がなされる。
なお、マックスシフト法では、ビットシフト数Ｓを非選択領域の最上位ビットの桁数よりも大きく設定する。そのため、選択領域の非ゼロの変換係数は、必ず「２のＳ乗」以上の値をとる。そこで、復号化時は、「２のＳ乗」以上の量子化値を選択的にシフトダウンすることにより、選択領域の変換係数を容易に再現する。
【０００８】
（６）算術符号化
【０００９】
（７）ビットストリーム形成
各符号化ブロックのデータを４つの軸（ビットプレーンの重要度、空間解像度、ブロック位置、色成分）の組み合わせに従って並べることで、ＳＮＲプログレッシブ、空間解像度プログレッシブなどを実現する。
例えば、ＳＮＲプログレッシブの場合には、各符号化ブロックを符号化パスごとに分割し、分割データをＳＮＲ向上の寄与度の高い順に分類して、複数のレイヤーを構築する。これらのレイヤーを上位から順に並べることにより、ＳＮＲプログレッシブのビットストリームが形成される。このビットストリームを、適当なファイルサイズで打ち切ることにより、固定長圧縮が実現する。
【００１０】
以上のような符号化手順により、ＪＰＥＧ２０００の圧縮画像ファイルが生成される。
なお、最新のＪＰＥＧ２０００については、ＪＰＥＧ委員会によってインターネット公開された最終委員会案（http://www.jpeg.org/fcd15444-1.zip）を参照することによって、より正確に知ることができる。さらに、２００１年３月に予定される国際規格の承認後においては、ＩＳＯやＩＴＵ−Ｔその他の規格組織を通して、より詳細かつ正確な国際規格を知ることができる。
【００１１】
【発明が解決しようとする課題】
上述したように、ＪＰＥＧ２０００ではＲＯＩ符号化の処理内容について規定されている。しかし、選択領域の領域指定については、特に規定されず、利用者側の判断に任せられている。そのため、ＲＯＩ符号化の具体的な実現にあたって、より適切な領域指定の確立が求められている。
【００１２】
特に、電子カメラでは、圧縮符号量をほぼ一定とする固定長圧縮が通常行われる。このような固定長圧縮では、選択領域に情報量を優先的に割り当てることにより、非選択領域の情報量が削減される。そのため、無計画な領域指定によっては、非選択領域が顕著に画質低下するなどの弊害を招く。
【００１３】
そこで、本発明の目的は、選択領域の領域指定を適正に行うことである。
また、本発明の他の目的は、固定長圧縮において、選択領域／非選択領域の画質バランスを適正化することである。
【００１４】
【課題を解決するための手段】
上述した課題を解決するため、各請求項に記載の発明は、下記のような構成要件を備える。
【００２０】
《請求項１》
請求項１に記載の画像符号化装置は、画像を周波数分解して変換係数に変換する変換手段と、変換手段により変換された変換係数を、「画像上の選択領域」および「それ以外の非選択領域」に領域区分する区分手段と、選択領域に対し非選択領域よりも優先的に情報量を割り当てて、変換係数を符号化する符号化手段と、選択領域のビット配分率を調整して非選択領域のビット配分率をコントロールする領域調整手段とを備える。
領域調整手段は、目標値として予め与えられる、
（１）画像全体のビット配分率、
（２）選択領域の面積、
（３）「選択領域のビット配分率」と「非選択領域のビット配分率」との比、
に基づいて、
γroi＝γtotal・Ｋ／［１＋（Ｋ−１）Ａroi］
（ただし、γtotalは画面全体のビット配分率、γroiは選択領域のビット配分率、Ａroiは画面全体に占める選択領域の面積比率、Ｋは「選択領域のビット配分率」と「非選択領域のビット配分率」との比）
からなる概算式に目標値を代入して解き、選択領域のビット配分率を決定することを特徴とする。
【００２４】
《請求項２》
請求項２に記載の画像符号化装置は、請求項１に記載の画像符号化装置において、領域調整手段は、予め定められる上限値および下限値の少なくとも一方で、選択領域のビット配分率の調整値を制限することを特徴とする。
【００２７】
《請求項３》
請求項３に記載の画像符号化装置は、請求項１または請求項２に記載の画像符号化装置において、前記画像上の合焦領域を検出し、前記合焦領域に基づいて前記画像上の選択領域を決定する領域調整手段を更に備えたことを特徴とする。
【００２８】
《請求項４》
請求項４に記載の画像符号化装置は、請求項１ないし請求項３のいずれか１項に記載の画像符号化装置において、前記画像上の合焦領域を検出し、前記合焦領域の方向に前記選択領域を変位させる領域調整手段を更に備えたことを特徴とする。
【００２９】
《請求項５》
請求項５に記載の画像符号化装置は、請求項１ないし請求項４のいずれか１項に記載の画像符号化装置において、画像上の選択領域の指示入力を受け付け、前記指示入力に応じて前記選択領域を設定する領域調整手段を更に備えたことを特徴とする。
【００３０】
《請求項６》
請求項６に記載の画像符号化装置は、請求項１ないし請求項５のいずれか１項に記載の画像符号化装置において、前記領域調整手段は、前記非選択領域に対して空間周波数のローパス処理を施し、高能率符号化によって非選択領域に発生するノイズを軽減することを特徴とする。
【００３１】
《請求項７》
請求項７に記載の電子カメラは、請求項１ないし請求項６のいずれか１項に記載の画像符号化装置と、被写体を撮像して画像データを生成する撮像手段とを備え、前記画像符号化装置は、前記撮像手段により生成される前記画像データを符号化することを特徴とする。
【００３２】
《請求項８》
請求項８に記載の記録媒体には、コンピュータを、請求項１ないし請求項６のいずれか１項に記載の変換手段、区分手段、符号化手段、および領域調整手段として機能させるための画像符号化プログラムが記録される。
【００３３】
【発明の実施の形態】
以下、図面に基づいて本発明に係る一実施形態を説明する。
【００３４】
《第１の実施形態》
図１は、第１の実施形態の電子カメラ１１の構成を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。この撮影レンズ１２は、焦点制御部１２ａによって自動焦点制御がなされ、撮像素子１３の撮像面に被写体像を結像する。撮像素子１３は、この被写体像を光電変換し、画像信号として出力する。この画像信号は、Ａ／Ｄ変換部１４を介してデジタル化された後、画像処理部１５に与えられる。画像処理部１５は、この画像信号に対して階調変換、黒レベル補正、および色補間処理などの画像処理を施す。この画像処理後の画像信号は、電子カメラ１１内の画像符号化装置２０に与えられる。この画像符号化装置２０は、ＪＰＥＧ２０００で規定される圧縮符号化を画像信号に施し、圧縮済みの画像ファイルを出力する。記録部１６は、この画像ファイルを取得し、メモリカードなどの記録媒体に保存する。
【００３５】
さらに、上述した画像符号化装置２０は、下記のような構成要件から構成される。
（１）色変換部２１
（２）ウェーブレット変換部２２
（３）量子化部２３
（４）ビットプレーン構築部２４
（５）算術符号化部２５
（６）フォーマット部２６
（７）ＲＯＩ設定部２７・・ＲＯＩ符号化の選択領域を示すマスク画像が設定される。ビットプレーン構築部２４は、このマスク画像を参照して変換係数を選択領域／非選択領域に区分する。さらに、ビットプレーン構築部２４は、選択領域に区分された変換係数をシフトアップすることで、情報量を優先的に割り当てる。
（８）ＲＯＩ指定スイッチ２８・・選択領域の位置や範囲をユーザー入力するためのスイッチ。具体的には、十字キーや視線入力装置などの位置入力機構と、範囲選択の切り替えスイッチなどから構成される。
（９）ＲＯＩ調整部２９・・「ＲＯＩ調整部２８の入力値」や「目標値入力」に従って選択領域を決定し、ＲＯＩ設定部２７にマスク画像を設定する。なお、ＲＯＩ調整部２８は、焦点制御部１２ａから合焦領域の位置情報を取得して、合焦領域がなるべく含まれるように選択領域の位置を調整する。
【００３６】
（第１の実施形態の動作説明）
図２は、第１の実施形態における画像符号化装置２０の動作を説明する流れ図である。以下、図２に示す動作ステップに沿って、第１の実施形態の動作を具体的に説明する。
【００３７】
［ステップＳ０］  色変換部２１は、画像処理部１５から画像信号を取得し、必要に応じて色座標変換を施し、ＹＣｂＣｒなどの色成分に変換する。
【００３８】
［ステップＳ１］  ウェーブレット変換部２２は、色座標変換後の画像信号に対して再帰的にウェーブレット変換を施し、変換係数を得る。
【００３９】
［ステップＳ２］  量子化部２３は、必要に応じて、変換係数を量子化する。
【００４０】
［ステップＳ３］  電子カメラ１１は、記録モードの画質選択（ファイン，ベーシックなど）に応じて、下記の目標値を決定し、ＲＯＩ調整部２９に与える。
γtotal：画像全体のビット配分率
γroi：選択領域のビット配分率
なお、γtotalは、圧縮後の目標ファイルサイズを画像の全面積（例えば、総画素数）で割った値でよい。また、γroiは、過去の良好な画像圧縮結果から統計的に推定される値でよい。
【００４１】
［ステップＳ４］  さらに、電子カメラ１１は、記録モードの画質選択に応じて下記の値を決定し、ＲＯＩ調整部２９に与える。
γnotroi_min：非選択領域において最低限保証するビット配分率
【００４２】
［ステップＳ５］  ＲＯＩ調整部２９は、ＲＯＩ指定スイッチ２８のユーザー入力を介して、選択領域の位置と範囲を取得する。ＲＯＩ調整部２９は、このユーザー入力に基づいて、選択領域の面積比率Ａroi_userを算出する。
【００４３】
［ステップＳ６］  ＲＯＩ調整部２９は、下記の概略式に基づいて、非選択領域のビット配分率γnotroiを予測する。
γnotroi＝（γtotal−γroi・Ａroi_user）／（１−Ａroi_user）・・・［式２］
【００４４】
［ステップＳ７］  ＲＯＩ調整部２９は、予測値γnotroiが、保証値γnotroi_minを下回るか否かを判定する。
この判定結果から、面積比率Ａroi_userで保証値γnotroi_minを十分保証できると判断すると（図２に示すＮＯ側）、ＲＯＩ調整部２９はステップＳ１０に動作を移行する。
一方、この判定結果から、面積比率Ａroi_userでは保証値γnotroi_minを保証できないと判断すると（図２に示すＹＥＳ側）、ＲＯＩ調整部２９はステップＳ８に動作を移行する。
【００４５】
［ステップＳ８］  ＲＯＩ調整部２９は、保証値γnotroi_minを、非選択領域のビット配分率γnotroiに設定し、目標値とする。
【００４６】
［ステップＳ９］  ＲＯＩ調整部２９は、下記の概略式に目標値を代入し、面積比率Ａroiを決定する。
Ａroi＝（γtotal-γnotroi）／（γroi-γnotroi） ・・・［式３］
このように面積比率Ａroiを決定した後、ＲＯＩ調整部２９はステップＳ１１に動作を移行する。
【００４７】
［ステップＳ１０］  ＲＯＩ調整部２９は、面積比率Ａroi_userを面積比率Ａroiにそのまま設定する。なお、ここでの動作は、面積比率Ａroi_userを上限として、面積比率Ａroiを制限するという動作に該当する。そのため、使用者は、関心対象の全体が含まれるように、最大限の選択領域をユーザー入力しておくことが好ましい。
【００４８】
［ステップＳ１１］  ＲＯＩ調整部２９は、焦点制御部１２ａから焦点検出エリアの選択位置を取得する。ＲＯＩ調整部２９は、この取得情報に基づいて合焦領域を検出し、図３に示すように、この合焦領域の方向へ選択領域を変位させる。
【００４９】
［ステップＳ１２］  ＲＯＩ調整部２９は、ここまでで決定された選択領域の位置および面積比率Ａroiに基づいて、マスク画像を生成する。ＲＯＩ調整部２９は、このマスク画像をＲＯＩ設定部２７に設定する。
ビットプレーン構築部２４は、ＲＯＩ設定部２７のマスク画像を参照して、変換係数を領域区分し、選択領域に優先的に情報量を割り当ててビットプレーン符号化を行う。算術符号化部２５は、ビットプレーン符号化後のデータに算術符号化を施す。
【００５０】
［ステップＳ１３］  フォーマット部２６は、算術符号化済みのデータを、ＳＮＲプログレッシブに従って配列し、ビットストリームを生成する。なお、フォーマット部２６は、目標のファイルサイズでビットストリームを打ち切る。
上述した一連の動作により、ＪＰＥＧ２０００に準拠した画像符号化が完了する。
【００５１】
（第１の実施形態の効果など）
以上説明したように、第１の実施形態では、選択領域の面積比率Ａroiを、
（１）画像全体のビット配分率γtotal、
（２）選択領域のビット配分率γroi、
（３）非選択領域のビット配分率γnotroi、
（４）ユーザー指定の面積比率Ａroi_user
に基づいて調整する。
【００５２】
その結果、選択領域の面積が適正に調整操作され、選択領域／非選択領域の画質バランスを良好に保った圧縮画像ファイルを生成することができる。
さらに、第１の実施形態では、選択領域の位置を、合焦領域の位置に基づいて決定する。その結果、合焦領域という画像上の重要な領域を含むように、ＲＯＩ符号化を行うことが可能となり、さらに良好な圧縮画像ファイルを生成することが可能になる。
次に、別の実施形態について説明する。
【００５３】
《第２の実施形態》
なお、第２の実施形態の構成は、第１の実施形態の構成（図１）と同様である。そのため、ここでは図１をそのまま参照し、構成説明を省略する。
図４は、第２の実施形態における画像符号化装置２０の動作を説明する流れ図である。以下、図４に示すステップ動作に沿って、動作説明を行う。
【００５４】
［ステップＳ０〜Ｓ２］  第１の実施形態と同じ。
【００５５】
［ステップＳ２０］  電子カメラ１１は、記録モードの画質選択（ファイン，ベーシックなど）に応じて下記の目標値を決定し、ＲＯＩ調整部２９に与える。
γtotal：画像全体のビット配分率
γnotroi：非選択領域のビット配分率
なお、γtotalは、圧縮後の目標ファイルサイズを画像の全面積（例えば、総画素数）で割った値でよい。また、γnotroiは、過去の良好な画像圧縮結果から統計的に推定される値でよい。
【００５６】
［ステップＳ２１］  さらに、電子カメラ１１は、記録モードの画質選択に応じて、下記の値を決定し、ＲＯＩ調整部２９に与える。
γroi_max：選択領域のビット配分率の上限値
なお、このγroi_maxも、過去の良好な画像圧縮結果から統計的に推定される値でよい。
【００５７】
［ステップＳ２２］  ＲＯＩ調整部２９は、ＲＯＩ指定スイッチ２８のユーザー入力を介して、選択領域の位置と範囲を取得する。ＲＯＩ調整部２９は、この選択領域の範囲に基づいて選択領域の面積比率Ａroiを計算して、目標値に設定する。
【００５８】
［ステップＳ２３］  ＲＯＩ調整部２９は、下記の概略式に目標値を代入して、選択領域のビット配分率γroiを算出する。
γroi＝［γtotal−γnotroi・（１−Ａroi）］／Ａroi ・・・［式４］
【００５９】
［ステップＳ２４］  ＲＯＩ調整部２９は、ビット配分率γroiが、上限値γroi_max未満か否かを判定する。ここで、ビット配分率γroiが上限値γroi_maxを超えている場合、ＲＯＩ調整部２９は、ビット配分率γroiが過大であり、選択領域／非選択領域の画質バランスを崩すものであると判断して、ステップＳ２５に動作を移行する。
一方、ビット配分率γroiが上限値γroi_max未満の場合、ＲＯＩ調整部２９は、ビット配分率γroiが適正であると判断して、ステップＳ２６に動作を移行する。
【００６０】
［ステップＳ２５］  ＲＯＩ調整部２９は、ビット配分率γroiを上限値γroi_maxで制限する。
【００６１】
［ステップＳ２６］  ＲＯＩ調整部２９は、焦点制御部１２ａから焦点検出エリアの選択位置を取得する。ＲＯＩ調整部２９は、この取得情報に基づいて合焦領域を検出し、図３に示すように、この合焦領域の方向へ選択領域を変位させる。
【００６２】
［ステップＳ２７］  ＲＯＩ調整部２９は、ここまでで決定された選択領域の位置および面積比率Ａroiに基づいて、マスク画像を生成する。ＲＯＩ調整部２９は、このマスク画像をＲＯＩ設定部２７に設定する。
ビットプレーン構築部２４は、ＲＯＩ設定部２７のマスク画像を参照して、変換係数を領域区分し、選択領域に優先的に情報量を割り当ててビットプレーン符号化を行う。算術符号化部２５は、ビットプレーン符号化後のデータに算術符号化を施す。
【００６３】
［ステップＳ２８］  フォーマット部２６は、算術符号化済みのデータを、ＳＮＲプログレッシブに従って配列し、ビットストリームを生成する。
このとき、フォーマット部２６は、選択領域のビットストリームが、下式の符号量Ｑroiを超えた段階で、選択領域のビットストリームを打ち切る。
Ｑroi＝γroi×Ａroi×（画像全体の総画素数）    ・・［式５］
さらに、フォーマット部２６は、ビットストリーム全体を、目標のファイルサイズを超えた段階で打ち切る。
上述した一連の動作により、ＪＰＥＧ２０００に準拠した画像符号化が完了する。
【００６４】
（第２の実施形態の効果など）
以上説明したように、第２の実施形態では、選択領域のビット配分率γroiを、
（１）画像全体のビット配分率γtotal、
（２）ユーザー指定による選択領域の面積比率Ａroi、
（３）非選択領域のビット配分率γnotroi、
に基づいて調整する。
【００６５】
その結果、選択領域のビット配分率が適正に調整操作され、選択領域／非選択領域の画質バランスを良好に保った圧縮画像ファイルを生成することができる。
さらに、第２の実施形態では、選択領域の位置を、合焦領域の位置に基づいて決定する。その結果、合焦領域という画像上の重要な領域を含むように、ＲＯＩ符号化を行うことが可能となり、さらに良好な圧縮画像ファイルを生成することが可能になる。
次に、別の実施形態について説明する。
【００６６】
《第３の実施形態》
なお、第３の実施形態の構成は、第１の実施形態の構成（図１）と同様である。そのため、ここでは図１をそのまま参照し、構成説明を省略する。
図５は、第３の実施形態における画像符号化装置２０の動作を説明する流れ図である。以下、図５に示すステップ動作に沿って、動作説明を行う。
【００６７】
［ステップＳ０〜Ｓ２］  第１の実施形態と同じ。
【００６８】
［ステップＳ３０］  電子カメラ１１は、記録モードの画質選択（ファイン，ベーシックなど）に応じて下記の目標値を決定し、ＲＯＩ調整部２９に与える。
γtotal：画像全体のビット配分率
Ｋ：両領域のビット配分率の比（γroi/γnotroiに相当する）
なお、γtotalは、圧縮後の目標ファイルサイズを画像の全面積（例えば、総画素数）で割った値でよい。また、Ｋは、過去の良好な画像圧縮結果から統計的に推定される値でよい。
【００６９】
［ステップＳ３１］  ＲＯＩ調整部２９は、ＲＯＩ指定スイッチ２８のユーザー入力を介して、選択領域の位置と範囲を取得する。ＲＯＩ調整部２９は、この選択領域の範囲に基づいて選択領域の面積比率Ａroiを計算して、目標値に設定する。
【００７０】
［ステップＳ３２］  ＲＯＩ調整部２９は、下記の概略式に目標値を代入して、選択領域のビット配分率γroiを算出する。
γroi＝γtotal・Ｋ／［１＋（Ｋ−１）Ａroi］    ・・・［式６］
【００７１】
［ステップＳ３３］  ＲＯＩ調整部２９は、ビット配分率γroiを、上限値および下限値で制限する。なお、この上限値および下限値は、過去の良好な画像圧縮結果から統計的に推定される値でよい。
【００７２】
［ステップＳ３４］  ＲＯＩ調整部２９は、焦点制御部１２ａから焦点検出エリアの選択位置を取得する。ＲＯＩ調整部２９は、この取得情報に基づいて合焦領域を検出し、図３に示すように、この合焦領域の方向へ選択領域を変位させる。
【００７３】
［ステップＳ３５］  ＲＯＩ調整部２９は、ここまでで決定された選択領域の位置および面積比率Ａroiに基づいて、マスク画像を生成する。ＲＯＩ調整部２９は、このマスク画像をＲＯＩ設定部２７に設定する。
ビットプレーン構築部２４は、ＲＯＩ設定部２７のマスク画像を参照して、変換係数を領域区分し、選択領域に優先的に情報量を割り当ててビットプレーン符号化を行う。算術符号化部２５は、ビットプレーン符号化後のデータに算術符号化を施す。
【００７４】
［ステップＳ３６］  フォーマット部２６は、算術符号化済みのデータを、ＳＮＲプログレッシブに従って配列し、ビットストリームを生成する。
このとき、フォーマット部２６は、選択領域のビットストリームが、下式の符号量Ｑroiを超えた段階で、選択領域のビットストリームを打ち切る。
Ｑroi＝γroi×Ａroi×（画像全体の総画素数）    ・・［式７］
さらに、フォーマット部２６は、ビットストリーム全体を、目標のファイルサイズを超えた段階で打ち切る。
上述した一連の動作により、ＪＰＥＧ２０００に準拠した画像符号化が完了する。
【００７５】
（第３の実施形態の効果など）
以上説明したように、第３の実施形態では、選択領域のビット配分率γroiを、
（１）画像全体のビット配分率γtotal、
（２）ユーザー指定による選択領域の面積比率Ａroi、
（３）両領域のビット配分率の比Ｋ、
に基づいて調整する。
【００７６】
その結果、選択領域のビット配分率が適正に調整操作され、選択領域／非選択領域の画質バランスを良好に保った圧縮画像ファイルを生成することができる。
特に、第３の実施形態では、「両領域のビット配分率の比Ｋ」を目標値に採用する。この比Ｋは、両領域の画質バランスを直接的に表す値である。したがって、この比Ｋを目標値に採用することにより、両領域の画質バランスを直接的にコントロールすることが可能になる。
【００７７】
さらに、第３の実施形態では、選択領域の位置を、合焦領域の位置に基づいて決定する。その結果、合焦領域という画像上の重要な領域を含むように、ＲＯＩ符号化を行うことが可能となり、さらに良好な圧縮画像ファイルを生成することが可能になる。
次に、別の実施形態について説明する。
【００７８】
《第４の実施形態》
なお、第４の実施形態の構成は、第１の実施形態の構成（図１）と同様である。そのため、ここでは図１をそのまま参照し、構成説明を省略する。
また、第４の実施形態の動作上の特徴点は、図６および図７に示すように、選択領域のビット配分率を多段階に変更する点である。それ以外の動作については、上述した第１〜３の実施形態と同様であるため、ここでの動作説明を省略する。
以下、このような動作上の特徴点について詳しく説明する。
【００７９】
◎ビット配分率の多段階変更について
第４の実施形態では、図６および図７に示すように、選択領域内に最重要領域を設ける。この最重要領域は、選択領域内においても特に優先して情報量を割り当てる領域である。一方、選択領域の周辺は、非選択領域との差異が目立たないよう、選択領域内でも控えめに情報量が割り当てられる。
その結果、選択領域の周辺部から最重要領域にかけて、ビット配分率を多段階に変更する。
【００８０】
◎多段階変更の実現手段について
このようなビット配分率の多段階変更は、次の動作により実現される。
まず、ＲＯＩ調整部２９が、選択領域の調整操作を行う。ＲＯＩ調整部２９は、この調整操作の結果に基づいて、多段階のビット配分率を画素単位に示す多値のマスク画像を生成し、ＲＯＩ設定部２７に設定する。
【００８１】
次に、下記の少なくとも一つの手段によって、ビット配分率の多段階変更が具体的に実行される。
・量子化部２３が、マスク画像を参照しながら多段階の量子化ステップを決定し、変換係数を多段階に量子化する。
・ビットプレーン構築部２４が、マスク画像を参照しながら多段階のビットシフト数を決定し、変換係数を多段階にシフトアップする。
・フォーマット部２６が、マスク画像の参照値（ビット配分率）に合わせて、ビットストリームを多段階に打ち切る。
なお、フォーマット部２６は、上述した多値のマスク画像を、圧縮画像ファイル内に含める。その結果、このマスク画像は、圧縮画像ファイルの復号化時にも使用できる。
【００８２】
◎選択領域の粗調整
このような多段階のビット配分率を、位置（ｘ，ｙ）におけるビット配分率Ｗ（ｘ，ｙ）の形で表記すると、選択領域の平均ビット配分率γroi_aveは、
【数１】
0004686854.tif 000002
となる。したがって、上述した第１〜３の実施形態において、ビット配分率γroiに代えて、この平均ビット配分率γroi_aveを使用することにより、第１〜３の実施形態と同様にして、選択領域の粗調整を行うことができる。
【００８３】
◎選択領域の調整操作の細かなバリエーション
さらに、ＲＯＩ調整部２９は、ビット配分率の自由度を活用して、次のような細かなバリエーションを選択領域の調整に加える。
【００８４】
［Ａ］  ＲＯＩ調整部２９は、選択領域の面積調整にあたり、選択領域および最重要領域を一定比率で面積調整する（図６Ａ参照）。この場合、ビット配分率の増加の傾きも併せて調整される。このような面積調整は、選択領域に割り当てる情報量を大きく調整する場合に、好適な調整操作である。
【００８５】
［Ｂ］  ＲＯＩ調整部２９は、選択領域の面積調整にあたり、最重要領域の面積は不変とし、かつ選択領域の面積を調整する（図６Ｂ参照）。この場合、ビット配分率の増加の傾きも併せて調整される。このような面積調整は、最重要領域が被写体の大きさに合わせて設定されるなど、最重要領域を変更できない場合に、好適な調整操作である。
【００８６】
［Ｃ］  ＲＯＩ調整部２９は、選択領域の面積調整にあたり、選択領域の面積を不変とし、かつ最重要領域の面積を調整する（図６Ｃ参照）。この場合、ビット配分率の増加の傾きも併せて調整される。このような面積調整は、選択領域が被写体の大きさに合わせて設定されるなど、選択領域を変更できない場合に、好適な調整操作である。
【００８７】
［Ｄ］  ＲＯＩ調整部２９は、選択領域の面積調整にあたり、ビット配分率の傾きを一定に保ちつつ、選択領域および最重要領域を一緒に面積調整する（図６Ｄ参照）。この場合、ビット配分率の傾きは一定に保たれるので、選択領域と非選択領域の境界を目立たせたくない場合に、好適な調整操作である。
【００８８】
［Ｅ］  ＲＯＩ調整部２９は、ビット配分率の調整にあたり、ビット配分率の傾きを一定に保ちつつ、最重要領域の最高ビット配分率を調整する。このとき、選択領域の面積が結果的に調整される。この場合、ビット配分率の傾きは一定に保たれるので、選択領域と非選択領域の境界を目立たせたくない場合に、好適な調整操作である。
【００８９】
［Ｆ］  ＲＯＩ調整部２９は、ビット配分率の調整にあたり、選択領域の面積を一定に保ちつつ、最重要領域の最高ビット配分率を調整する。このとき、ビット配分率の傾きが一緒に調整される。このようなビット配分率の調整は、選択領域が被写体の大きさに合わせて設定されるなど、選択領域を変更できない場合に、好適な調整操作である。
さらに、上述した面積の調整Ａ〜Ｄと、ビット配分率の調整Ｅ〜Ｆとを組み合わせて実施することにより、選択領域の調整操作に一段と具体的かつ多様なバリエーションを与えることが可能になる。
【００９０】
《実施形態の補足事項》
なお、上述した第１〜３の実施形態では、ウェーブレット変換を用いて画像を変換係数に変換している。しかしながら、本発明は、これに限定されるものではない。一般的には、周波数分解を用いて画像を変換係数に変換すればよい。
例えば、離散コサイン変換、離散フーリエ変換、アダマール変換、カールネン・レーベ変換などの直交変換を用いることができる。このような直交変換の場合には、直交変換の最小処理ブロックを単位として、選択領域／非選択領域を区分することが好ましい。
【００９１】
また、サブバンド分解により画像を変換係数に変換してもよい。このようなサブバンド分解としては、ウェーブレット変換の他に、例えば、ピラミッド階層符号化などがある。
【００９２】
なお、上述した第１〜３の実施形態では、選択領域のビット配分率を、ビットストリームの打ち切りにより制御している。しかしながら、本発明は、これに限定されるものではない。例えば、量子化部２３が、選択領域の量子化ステップを調整することにより、選択領域のビット配分率を制御してもよい。また、ビットプレーン構築部２４が、選択領域のビットシフト数を調整することにより、選択領域のビット配分率を制御してもよい。
【００９３】
また，上述した実施形態において、
（１）画像全体のビット配分率γtotal、
（２）選択領域のビット配分率γroi、
（３）両領域のビット配分率の比Ｋ、
を目標値として、選択領域の面積比率Ａroiを調整してもよい。
【００９４】
さらに、下式に、これらの目標値を代入することによって、選択領域の面積比率Ａroiを決定してもよい。
Ａroi＝（Ｋ・γtotal／γroi−１）／（Ｋ−１）    ・・・［式９］
また、上述した実施形態において、上限値および下限値の少なくとも一方に従って、面積比率Ａroiを制限してもよい。このような上限値や下限値としては、過去の良好な画像圧縮結果から統計的に推定される値を選べばよい。このような制限により、面積比率Ａroiが偏った値に設定されるおそれが無くなり、ＲＯＩ領域の面積を一段と適正に調整することが可能になる。
【００９５】
さらに、上述した実施形態において、上限値および下限値の少なくとも一方に従って、ビット配分率γroiを制限してもよい。このような上限値や下限値としては、過去の良好な画像圧縮結果から統計的に推定される値を選べばよい。このような制限により、ビット配分率γroiが偏った値に設定されるおそれが無くなり、ビット配分率γroiを一段と適正に調整することが可能になる。
【００９６】
また、上述した実施形態では、焦点検出エリアの選択に基づいて合焦領域を検出している。しかしながら、本発明は、これに限定されるものではない。例えば、画像のコントラスト検出や空間周波数分析により、画像上の合焦領域を検出してもよい。
さらに、上述した実施形態では、合焦領域の方向に選択領域を変位している。この場合には、ユーザー指定および合焦領域の双方を加味しながら選択領域の位置を柔軟に決定できるという利点がある。しかしながら、本発明は、これに限定されるものではない。例えば、合焦領域を中心にして選択領域の位置を設定してもよい。また、合焦領域を最大限含むように選択領域の位置や範囲を調整してもよい。
【００９７】
また、上述した実施形態では、選択領域のユーザー指定を重視しながらも、目標値などに従って選択領域を適宜に変更している。この場合には、ユーザー指定および目標値の双方を加味して、選択領域を巧みに調整操作できるという利点がある。しかしながら、本発明は、これに限定されるものではない。例えば、ユーザー指定に従って選択領域をそのまま設定する動作モードを設けてもよい。また、画像情報に基づいて選択領域を設定する動作モードを設けてもよい。
【００９８】
なお、上述した第１〜４の実施形態において、非選択領域に対して空間周波数ローパス処理を施すようにしてもよい。例えば、ＲＯＩ調整部２９は、画像の周波数分解（ステップＳ０〜Ｓ２）に先行して選択領域を決定する。次に、ＲＯＩ調整部２９は、周波数分解前の画像から非選択領域を選別し、その非選択領域にガウスぼかし等の空間周波数ローパス処理を施す。この場合のローパス特性としては、高能率符号化において喪失する高域の信号成分を予め抑制するものが好ましい。このような処理により、高能率符号化に際して生じる画質劣化が少なくなり、復号化画像のノイズを目立たなくすることができる。
【００９９】
さらに、上述した実施形態では、画像符号化装置２０を搭載した電子カメラ１１について説明した。しかしながら、本発明は、これに限定されるものではない。本発明は、画像符号化全般に使用可能な技術である。
例えば、コンピュータに、上述した実施形態の動作を実行させるための画像符号化プログラムを作成することも可能である。この画像符号化プログラムを記録媒体に記録することにより、記録媒体を得ることができる。
【０１００】
なお、上述した実施形態により、プログラムやその記録媒体に関する発明の実施行為が限定されるものではない。例えば、通信回線を介してプログラムを配送し、相手先のコンピュータのシステムメモリやハードディスクなどにプログラムを記録してもよい。このようなプログラム配送によって、プログラムの配送元は、プログラムやその記録媒体を、相手先の地に製造することができる。また、このようなプログラム配送により、配送元はプログラムやその記録媒体を相手先に譲渡することができる。さらに、プログラムが配送可能であることを通信回線を介して公表したり、プログラム格納場所の情報を提供するサービスを行うこともできる。
【０１０１】
【発明の効果】
第１の発明では、選択領域の領域指定にあたって、選択領域の面積を調整操作する。固定長圧縮においては、このような面積調整により、非選択領域に配分する情報量をコントロールすることができる。その結果、選択領域／非選択領域の画質バランスを所望の状態にコントロールすることが可能になる。
【０１０２】
第２の発明では、目標値として予め与えられる「画像全体のビット配分率」、「選択領域のビット配分率」、「非選択領域のビット配分率」に基づいて選択領域の面積を調整する。したがって、選択領域の面積をむやみに調整操作することなく、選択領域の面積を迅速に決定できる。
【０１０３】
第３の発明では、目標値として予め与えられる「画像全体のビット配分率」、「選択領域のビット配分率」、「両領域のビット配分率の比」に基づいて選択領域の面積を調整する。したがって、選択領域の面積をむやみに調整操作することなく、選択領域の面積を迅速に決定できる。
【０１０４】
第４の発明では、［式１］に目標値を代入することにより、選択領域の面積を簡易に決定することができる。
【０１０５】
第５の発明では、選択領域の面積に上限または下限を設けて調整操作を行う。したがって、選択領域が荒唐無稽な面積に調整されるなどのおそれがなくなる。
例えば、非選択領域に含まれる画像情報量がもともと少なく、選択領域の面積をいくら狭めても、非選択領域のビット配分率が有効に上がらないケースが想定される。この場合、選択領域の面積に下限を設けることにより、選択領域の面積が不必要に狭くなるという事態を回避できる。
また例えば、画像全体の画像情報量がもともと少なく、選択領域の面積をいくら拡大しても、非選択領域のビット配分率が有効に下がらないケースも想定される。この場合、選択領域の面積に上限を設けることにより、選択領域の面積が不必要に拡大されるという事態を回避できる。
【０１０６】
第６の発明では、選択領域の領域指定にあたって、選択領域のビット配分率を調整操作する。固定長圧縮においては、このような調整により、非選択領域のビット配分率をコントロールすることができる。その結果、選択領域／非選択領域の画質バランスを所望の状態にコントロールすることが可能になる。
【０１０７】
第７の発明では、目標値として予め与えられる「画像全体のビット配分率」、「選択領域の面積」、「非選択領域のビット配分率」に基づいて選択領域のビット配分率を調整設定する。したがって、選択領域のビット配分率をむやみに調整操作することなく、選択領域のビット配分率を迅速に決定できる。
【０１０８】
第８の発明では、目標値として予め与えられる「画像全体のビット配分率」、「選択領域の面積」、「両領域のビット配分率の比」に基づいて選択領域のビット配分率を調整設定する。したがって、選択領域のビット配分率をむやみに調整操作することなく、選択領域のビット配分率を迅速に決定できる。
【０１０９】
第９の発明では、［式１］に目標値を代入することにより、選択領域のビット配分率を簡易に決定することができる。
【０１１０】
第１０の発明では、選択領域のビット配分率に上限または下限を設けて調整操作を行う。したがって、選択領域が荒唐無稽なビット配分率に調整されるなどのおそれがなくなる。
例えば、非選択領域に含まれる画像情報量がもともと少なく、選択領域のビット配分率をいくら下げても、非選択領域のビット配分率が有効に上がらないケースが想定される。この場合、選択領域のビット配分率に下限を設けることにより、選択領域のビット配分率が不必要に低くなるという事態を回避できる。
また例えば、選択領域に含まれる画像情報量がもともと少なく、選択領域のビット配分率を高く設定しても、選択領域のビット配分率が現実に上がらないケースも想定される。この場合、選択領域のビット配分率に上限を設けることにより、選択領域のビット配分率が不必要に高く設定されるという事態を回避できる。
【０１１１】
第１１の発明では、選択領域の領域指定にあたって、選択領域に割り当てる情報量の増加の傾きを調整操作する。固定長圧縮においては、このような調整により、非選択領域に配分される情報量がコントロールされる。その結果、選択領域／非選択領域の画質バランスを所望の状態にコントロールすることが可能になる。
【０１１２】
第１２の発明では、選択領域の指定にあたって、選択領域に割り当てるビット配分率の最高値を調整操作する。固定長圧縮においては、このような調整により、非選択領域に配分される情報量がコントロールされる。その結果、選択領域／非選択領域の画質バランスを所望の状態にコントロールすることが可能になる。
【０１１３】
第１３の発明では、画像上の合焦領域に基づいて選択領域を決定する。したがって、合焦領域という使用者の重大関心に合わせて、選択領域を適切に領域指定することが可能になる。
【０１１４】
第１４の発明では、選択領域の領域指定にあたって、画像上の合焦領域の方向に選択領域を変位させる。その結果、選択領域は、合焦領域という使用者の重大関心に近づくように巧みに調整される。
【０１１５】
第１５の発明では、使用者からの指示入力に従って、選択領域を指定する。したがって、使用者は、所望する位置、大きさ、または形状に合わせて、選択領域を自由自在に設定することが可能になる。
【０１１６】
第１６の発明では、非選択領域に対して空間周波数ローパス処理を施す。例えば、符号化前の非選択領域に対して空間周波数ローパス処理を施した場合、非選択領域の高能率符号化によって喪失する高域信号成分が予め少なくなり、非選択領域の画像劣化を目立たなくすることができる。
【０１１７】
第１７の発明では、第１の発明ないし第１６の発明のいずれか１項に記載の画像符号化装置を具備した電子カメラを構成することが可能になる。
【０１１８】
第１８の発明では、コンピュータ上において、第１の発明ないし第１６の発明のいずれか１項に記載の画像符号化装置を実現することが可能になる。
【図面の簡単な説明】
【図１】電子カメラ１１の構成を示すブロック図である。
【図２】第１の実施形態における画像符号化装置２０の動作を説明する流れ図である。
【図３】合焦領域に基づく選択領域の変位を説明する図である。
【図４】第２の実施形態における画像符号化装置２０の動作を説明する流れ図である。
【図５】第３の実施形態における画像符号化装置２０の動作を説明する流れ図である。
【図６】第４の実施形態における選択領域の調整操作を示す説明図である。
【図７】第４の実施形態における選択領域の調整操作を示す説明図である。
【符号の説明】
１１  電子カメラ
１２  撮影レンズ
１２ａ  焦点制御部
１３  撮像素子
１４  Ａ／Ｄ変換部
１５  画像処理部
１６  記録部
２０  画像符号化装置
２１  色変換部
２２  ウェーブレット変換部
２３  量子化部
２４  ビットプレーン構築部
２５  算術符号化部
２６  フォーマット部
２７  ＲＯＩ設定部
２８  ＲＯＩ指定スイッチ
２９  ＲＯＩ調整部
【図１】
0004686854.tif 000003
【図２】
0004686854.tif 000004
【図３】
0004686854.tif 000005
【図４】
0004686854.tif 000006
【図５】
0004686854.tif 000007
【図６】
0004686854.tif 000008
【図７】
0004686854.tif 000009