(57)【要約】【課題】静止している又は動きベクトルが小さいオブジェクトや、画像の中央部以外の領域をも関心領域として抽出可能な画像強調装置を得る。【解決手段】画像処理モジュール２２は、画像データに対して記憶色補正を行った後、記憶色補正が行われた画素の位置情報と、記憶色補正が行われた各画素毎の適応レベル（補正レベル）に関する情報とを、メモリインタフェース２６を介してＳＤＲＡＭ７に格納する。マスク信号生成モジュール２３は、ＳＤＲＡＭ７に格納された上記位置情報を参照することにより、画像データのうち記憶色補正が行われた領域を、関心領域として抽出する。また、マスク信号生成モジュール２３は、ＳＤＲＡＭ７に格納された上記補正レベルに関する情報を参照することにより、記憶色補正の補正レベルが高い（即ち補正量が大きい）関心領域ほど、優先度を高く設定する。【選択図】図１
2006279397.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データから複数の関心領域を抽出する関心領域抽出部と、
各々の前記関心領域に対して優先度を設定する優先度設定部と、
前記優先度が高い前記関心領域ほど多くの符号量を割り当てるように符号量を制御する符号量制御部と
を備える、画像強調装置。
【請求項２】
前記関心領域抽出部は、前記画像データから特定の色及び特定のオブジェクトの少なくとも一方を抽出することにより、前記関心領域を抽出する、請求項１に記載の画像強調装置。
【請求項３】
前記画像データに対して記憶色補正を行う画像処理部をさらに備え、
前記関心領域抽出部は、前記画像データのうち前記記憶色補正が行われた領域を前記関心領域として抽出し、
前記優先度設定部は、前記記憶色補正の適応レベルが高い前記関心領域ほど前記優先度を高く設定する、請求項２に記載の画像強調装置。
【請求項４】
前記画像データに対して輪郭強調処理を行う画像処理部をさらに備え、
前記関心領域抽出部は、前記画像データのうち前記輪郭強調処理が行われた領域を前記関心領域として抽出し、
前記優先度設定部は、前記輪郭強調処理の適応レベルが高い前記関心領域ほど前記優先度を高く設定する、請求項２に記載の画像強調装置。
【請求項５】
前記画像データに対してノイズリダクション処理を行う画像処理部をさらに備え、
前記関心領域抽出部は、前記画像データのうち前記ノイズリダクション処理が行われた領域を非関心領域として抽出する、請求項２に記載の画像強調装置。
【請求項６】
前記画像データは、撮影モードが選択可能なカメラによって撮影された画像のデータであり、
前記関心領域抽出部は、前記撮影モード毎に予め設定された前記特定の色及び前記特定のオブジェクトの少なくとも一方を、前記関心領域として抽出する、請求項２に記載の画像強調装置。
【請求項７】
ウェーブレット変換によって前記画像データを高域成分と低域成分とに再帰的に帯域分割することにより、解像度が異なる複数のサブバンドを生成するウェーブレット変換部をさらに備え、
前記画像データは、プレビュー機能及び画像保存機能を有するカメラによって撮影された画像のデータであり、
前記符号量制御部は、
プレビュー時には、プレビュー表示に必要な解像度の第１のサブバンドに関してのみ、前記符号量の割り当て制御を行い、
画像保存時には、前記第１のサブバンドよりも高解像度の第２のサブバンドに関して、前記符号量の割り当て制御を行う、請求項１〜６のいずれか一つに記載の画像強調装置。
【請求項８】
前記カメラは、画像保存時に保存画像のデータサイズを選択する機能を有しており、
前記符号量制御部は、画像保存時に、選択された前記データサイズに対応する前記第２のサブバンドに関してのみ、前記符号量の割り当て制御を行う、請求項７に記載の画像強調装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから抽出された関心領域に多くの符号量を割り当てることにより画像の一部を強調する、画像強調装置に関する。
【背景技術】
【０００２】
画像、特に多値画像は非常に多くの情報を含んでいるため、画像を蓄積又は伝送する際には、蓄積又は伝送すべきデータ量が膨大になる。従って、データ量を削減すべく、画像の持つ冗長性を除いたり、画質の劣化が視覚的に認識し難い程度に画像の内容を変更する等の、高能率符号化が行われる。
【０００３】
一方で、画像全体を均一に高能率符号化したのでは、画像内で重要度の高い領域についても画質が低下してしまう。従って、画像内で重要度の低い領域のみを対象として高能率符号化を行うことにより、重要度の高い領域についての画質の低下を回避しつつ、全体のデータ量を削減することが望まれる。
【０００４】
画像データの次世代の高能率符号化方式として、ＩＳＯ（国際標準化機構）やＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって、ＪＰＥＧ２０００（Joint Photographic Experts Group 2000）方式が策定されている。ＪＰＥＧ２０００方式は、現在の主流であるＪＰＥＧ（Joint Photographic Experts Group）方式と比べて優れた機能を有するものであり、直交変換としてＤＷＴ（離散ウェーブレット変換；Discrete Wavelet Transform）を採用し、エントロピー符号化に、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と称する方法を採用する点に特徴がある。
【０００５】
図９は、ＪＰＥＧ２０００方式に基づいた画像の圧縮符号化を行う圧縮符号化装置１００の概略構成を示す機能ブロック図である。以下、図９を参照しつつ、ＪＰＥＧ２０００方式の圧縮符号化手順について概説する。
【０００６】
圧縮符号化装置１００に入力された画像信号は、ＤＣレベルシフト部１０２において必要に応じてＤＣレベル変換を施された後、色空間変換部１０３に入力される。色空間変換部１０３は、ＤＣレベルシフト部１０２から入力された画像信号に対して、色空間を変換する処理を行う。例えば、色空間変換部１０３に入力されたＲＧＢ信号が、ＹＣｂＣｒ信号（輝度信号Ｙと色差信号Ｃｂ，Ｃｒとから成る信号）に変換される。
【０００７】
タイリング部１０４は、色空間変換部１０３から入力された画像信号を、「タイル」と称される矩形状の複数の領域成分に分割する。ＤＷＴ部１０５は、タイリング部１０４から入力された画像信号に対して、タイル単位で整数型又は実数型のＤＷＴを施し、その結果得られる変換係数を出力する。ＤＷＴでは、垂直方向及び水平方向の各方向に関して、２次元画像信号を高域成分（高周波数成分）と低域成分（低周波数成分）とに分割する１次元フィルタが適用される。ＪＰＥＧ２０００の基本方式では、垂直方向及び水平方向の双方とも低域側に分割された帯域成分のみを再帰的に帯域分割していく、オクターブ分割方式が採用されている。また、再帰的な帯域分割を行った回数は、分解レベル（decomposition level）と称される。
【０００８】
図１０は、オクターブ分割方式に従って、分解レベルが３次であるＤＷＴが施された２次元画像１２０を示す模式図である。分解レベル１では、２次元画像１２０は、垂直方向と水平方向とに前述の１次元フィルタを順次適用することで、ＨＨ１，ＨＬ１，ＬＨ１，及びＬＬ１（図示せず）の４つの帯域成分に分割される。ここで、「Ｈ」は高域成分を、「Ｌ」は低域成分をそれぞれ示している。例えば、ＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとから成る帯域成分である。その表記法を一般化して、「ＸＹｎ」（Ｘ，ＹはＨ，Ｌの何れか；ｎは１以上の整数）は、分解レベルｎにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとから成る帯域成分を指すものとする。分解レベル２では、低域成分ＬＬ１が、ＨＨ２，ＨＬ２，ＬＨ２，及びＬＬ２（図示せず）に帯域分割される。さらに、分解レベル３では、低域成分ＬＬ２が、ＨＨ３，ＨＬ３，ＬＨ３，及びＬＬ３に帯域分割される。図１０には分解レベルが３次であるＤＷＴの例を示したが、ＪＰＥＧ２０００方式では、一般に、３次〜８次程度の分解レベルが採用される。
【０００９】
図９を参照して、量子化部１０６は、ＤＷＴ部１０５から入力された変換係数を、必要に応じてスカラー量子化する。また、量子化部１０６は、ＲＯＩ部１０７から入力された信号に基づいて、画像内で重要度の高い関心領域（ＲＯＩ；Region Of Interest）の画質を優先させるためのビットシフト処理を行う機能も有している。なお、可逆（ロスレス）変換を行う場合には、量子化部１０６でのスカラー量子化は行われない。ＪＰＥＧ２０００方式では、量子化部１０６でのスカラー量子化と、後述するポスト量子化（truncation）との２種類の量子化手段が用意されている。
【００１０】
関心領域を抽出する手法として、下記特許文献１，２には、複数枚の画像を比較することにより、動きベクトルが大きいオブジェクトを関心領域として抽出する技術が開示されている。また、画像の中央部が重要であることを前提として、画像の中央部のタイルを関心領域として抽出するという単純な方法もある。さらに、様々なオブジェクトに関する複数のテンプレートを準備しておき、撮影された画像とテンプレートとをマッチングすることにより、撮影された画像内にテンプレートに一致するオブジェクトが存在すれば、そのオブジェクトを関心領域として抽出する方法もある。
【００１１】
ＲＯＩの代表的な利用方法には、ＪＰＥＧ２０００のオプション機能としてのＭａｘ−ｓｈｉｆｔ法がある。
【００１２】
Ｍａｘ−ｓｈｉｆｔ法は、ＲＯＩ部分を任意の形で指定し、その部分を高画質に圧縮する一方、非ＲＯＩ部分を低画質に圧縮するものである。具体的には、まず、原画像に対してウェーブレット変換を行ってウェーブレット係数の分布を得た後、これらの分布の中で、非ＲＯＩ部分に相当する係数分布の最も大きなウェーブレット係数の値Ｖｍを求めておく。そして、Ｓ＞＝ｍａｘ（Ｖｍ）となるようなビット数Ｓを求め、ＲＯＩ部分のウェーブレット係数のみを、増大する方向へＳビットだけシフトさせる。例えば、Ｖｍの値が十進数で「２５５」（即ち、二進数で「１１１１１１１１」）である場合には、Ｓ＝８ビットであり、またＶｍの値が十進数で「１２８」（即ち、二進数で「１０００００００」）である場合にも同様にＳ＝８ビットであるため、この場合にはＲＯＩ部分のウェーブレット係数を、増大する方向へＳ＝８ビットだけシフトさせることになる。これにより、ＲＯＩ部分については非ＲＯＩ部分に比べて圧縮率を低く設定でき、ＲＯＩ部分について高画質の圧縮データを得ることが可能となる。
【００１３】
量子化部１０６から出力された変換係数は、上述のＥＢＣＯＴに従って、係数ビットモデリング部１０８と算術符号化部１０９とによって、ブロックベースのエントロピー符号化を施され、その後、符号量制御部１１０でレートを制御される。具体的に、係数ビットモデリング部１０８は、入力された変換係数の帯域成分を、１６×１６、３２×３２、又は６４×６４程度の、「コードブロック」と称する複数の領域に分割し、さらに、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。
【００１４】
図１１は、複数のコードブロック１２１に分割された２次元画像１２０を示す模式図である。また、図１２は、コードブロック１２１を構成するｎ枚のビットプレーン１２２0〜１２２n-1（ｎ：自然数）を示す模式図である。図１２に示すように、コードブロック１２１内の１点の変換係数の２進値１２３が「０１１・・・０」である場合、この２進値１２３を構成する各ビットが、それぞれビットプレーン１２２n-1，１２２n-2，１２２n-3，・・・，１２２0に属するように分解される。ビットプレーン１２２n-1は、変換係数の最上位ビット（ＭＳＢ）のみから成る最上位ビットプレーンを表しており、ビットプレーン１２２0は、変換係数の最下位ビット（ＬＳＢ）のみから成る最下位ビットプレーンを表している。
【００１５】
また、係数ビットモデリング部１０８は、各ビットプレーン１２２k（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（context）判定を行い、図１３に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン１２２kを３種類の符号化パス、即ち、ＳＩＧパス（SIGnificance propagation pass），ＭＲパス（Magnitude Refinement pass），及びＣＬパス（CLeanup pass）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＥＢＣＯＴで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないと分かっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、あるいはゼロである可能性がある状態のことを意味する。
【００１６】
係数ビットモデリング部１０８は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）、及びＣＬパス（ＳＩＧパス，ＭＲパスに該当しない残りの係数情報の符号化パス）の３種類の符号化パスを用いて、ビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
【００１７】
図１４は、レート（符号量；Ｒ）と歪み（Ｄ）の関係を表すＲ−Ｄ曲線を示す図である。図１４において、Ｒ1はビットプレーン符号化前のレートを示し、Ｒ2はビットプレーン符号化後のレートを示し、Ｄ1はビットプレーン符号化前の歪みを示し、Ｄ2はビットプレーン符号化後の歪みを示している。また、Ａ，Ｂ，Ｃは、上述の符号化パスを表すラベルである。効率的な符号化を行うためには、開始点Ｐ1（Ｒ1，Ｄ1）から終了点Ｐ2（Ｒ2，Ｄ2）へ向かう経路のうち、凸曲線のＣ−Ｂ−Ａの経路よりも、凹曲線のＡ−Ｂ−Ｃの経路を採用するのが好ましい。このような凹曲線を実現するには、最上位ビットプレーンから最下位ビットプレーンに向けて符号化すればよいことが知られている。
【００１８】
図９を参照して、算術符号化部１０９は、ＭＱコーダを用いて、係数ビットモデリング部１０８から入力された係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。なお、係数ビットモデリング部１０８から入力された係数列の一部を算術符号化させないバイパス処理を行うモードもある。
【００１９】
符号量制御部１１０は、算術符号化部１０９から入力された符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことにより、最終符号量を制御する。ビットストリーム生成部１１１は、符号量制御部１１０から入力された符号列と、付加情報（ヘッダ情報、レイヤー構成、スケーラビリティ情報、量子化テーブル等）とを多重化したビットストリームを生成し、圧縮画像として出力する。
【００２０】
【特許文献１】特開２００４−２００７３９号公報
【特許文献２】特開２００１−１１９６９６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２１】
上記の通り、関心領域を抽出する手法としては、動きベクトルが大きいオブジェクトを抽出する方法、画像の中央部を関心領域として抽出する方法、オブジェクトのテンプレートマッチングを行う方法がある。
【００２２】
しかし、動きベクトルが大きいオブジェクトを関心領域として抽出する方法によると、静止しているオブジェクトや動きベクトルが小さいオブジェクト（例えば植物や風景等）を関心領域として抽出することが困難であるという問題がある。しかも、動きベクトルを求めるためには少なくとも２枚の連続画像を比較する必要があるため、回路規模の増大や処理の複雑化を招くという問題がある。
【００２３】
また、画像の中央部を関心領域として抽出する方法によると、重要度の高い被写体が中央部のタイルに含まれていない場合には、その被写体を関心領域として抽出することができないという問題がある。
【００２４】
さらに、オブジェクトのテンプレートマッチングを行う方法によると、様々なオブジェクトに関する膨大な量のテンプレートデータを予めメモリに格納しておく必要があるため、回路規模が増大するという問題がある。
【００２５】
本発明はかかる問題を解決するために成されたものであり、回路規模の増大や処理の複雑化を回避しつつも、静止している又は動きベクトルが小さいオブジェクトや、画像の中央部以外の領域をも関心領域として抽出可能な画像強調装置を得ることを目的とする。
【課題を解決するための手段】
【００２６】
第１の発明に係る画像強調装置は、入力された画像データ内に複数の関心領域を設定する関心領域設定部と、各々の前記関心領域に対して優先度を設定する優先度設定部と、前記優先度が高い前記関心領域ほど多くの符号量を割り当てる符号量設定部とを備える。
【００２７】
第２の発明に係る画像強調装置は、第１の発明に係る画像強調装置において特に、前記関心領域設定部は、前記画像データから特定の色及び特定のオブジェクトの少なくとも一方を抽出することにより、前記関心領域を設定することを特徴とする。
【００２８】
第３の発明に係る画像強調装置は、第２の発明に係る画像強調装置において特に、前記画像データに対して記憶色補正を行う画像処理部をさらに備え、前記関心領域設定部は、前記画像データのうち前記記憶色補正が行われた領域を前記関心領域として設定し、前記優先度設定部は、前記記憶色補正の適応レベルが高い前記関心領域ほど前記優先度を高く設定することを特徴とする。
【００２９】
第４の発明に係る画像強調装置は、第２の発明に係る画像強調装置において特に、前記画像データに対して輪郭強調処理を行う画像処理部をさらに備え、前記関心領域設定部は、前記画像データのうち前記輪郭強調処理が行われた領域を前記関心領域として設定し、前記優先度設定部は、前記輪郭強調処理の適応レベルが高い前記関心領域ほど前記優先度を高く設定することを特徴とする。
【００３０】
第５の発明に係る画像強調装置は、第２の発明に係る画像強調装置において特に、前記画像データに対してノイズリダクション処理を行う画像処理部をさらに備え、前記関心領域設定部は、前記画像データのうち前記ノイズリダクション処理が行われた領域を非関心領域として設定することを特徴とする。
【００３１】
第６の発明に係る画像強調装置は、第２の発明に係る画像強調装置において特に、前記画像データは、撮影モードが選択可能なカメラによって撮影された画像のデータであり、前記関心領域設定部は、前記撮影モード毎に予め設定された前記特定の色及び前記特定のオブジェクトの少なくとも一方を前記画像データから抽出して、前記関心領域として設定することを特徴とする。
【００３２】
第７の発明に係る画像強調装置は、第１〜第６のいずれか一つの発明に係る画像強調装置において特に、ウェーブレット変換によって前記画像データを高域成分と低域成分とに再帰的に帯域分割することにより、解像度が異なる複数のサブバンドを生成するウェーブレット変換部をさらに備え、前記画像データは、プレビュー機能及び画像保存機能を有するカメラによって撮影された画像のデータであり、前記符号量制御部は、プレビュー時には、プレビュー表示に必要な解像度の第１のサブバンドに関してのみ、前記符号量の割り当て制御を行い、画像保存時には、前記第１のサブバンドよりも高解像度の第２のサブバンドに関して、前記符号量の割り当て制御を行うことを特徴とする。
【００３３】
第８の発明に係る画像強調装置は、第７の発明に係る画像強調装置において特に、前記カメラは、画像保存時に保存画像のデータサイズを選択する機能を有しており、前記符号量制御部は、画像保存時に、選択された前記データサイズに対応する前記第２のサブバンドに関してのみ、前記符号量の割り当て制御を行うことを特徴とする。
【発明の効果】
【００３４】
第１の発明に係る画像強調装置によれば、優先度の高い関心領域の画質を維持したまま圧縮符号化を行うことが可能となり、結果として、画像全体としては圧縮符号化を行いつつも、関心領域に対応する部分の画像を強調することができる。
【００３５】
第２の発明に係る画像強調装置によれば、静止しているオブジェクトや動きベクトルが小さいオブジェクトをも関心領域として抽出することが可能であり、しかも、回路規模の増大や処理の複雑化を招くこともない。また、重要度の高い被写体が中央部のタイルに含まれていない場合であっても、その被写体を関心領域として抽出することが可能である。さらに、様々なオブジェクトに関する膨大な量のテンプレートデータを予めメモリに格納しておく必要がないため、回路規模の増大を回避することができる。
【００３６】
第３の発明に係る画像強調装置によれば、色のずれが観察者に違和感を与えやすい記憶色部分、特に、記憶色補正の補正レベルが高く画像データの中でもとりわけ重要と思われる部分を、鮮明に強調することができる。
【００３７】
第４の発明に係る画像強調装置によれば、観察者によって注目されやすい被写体の輪郭部分、特に、輪郭強調処理の適応レベルが高く画像データの中でもとりわけ重要と思われる部分を、鮮明に強調することができる。
【００３８】
第５の発明に係る画像強調装置によれば、ノイズが関心領域として設定されることはないため、ノイズが強調されてしまうという事態を予め回避することができる。
【００３９】
第６の発明に係る画像強調装置によれば、撮影モード毎に撮影者が撮影目的としている被写体（例えば人物モードにおける人物）を、鮮明に強調することができる。
【００４０】
第７の発明に係る画像強調装置によれば、必要以上の無駄な処理が行われることを回避できるため、プレビュー表示のための処理時間の短縮化を図ることができる。
【００４１】
第８の発明に係る画像強調装置によれば、必要以上の無駄な処理が行われることを回避することができ、処理時間の短縮化を図ることができるとともに、ユーザの利用用途に応じた画像圧縮ファイルを作成することができる。
【発明を実施するための最良の形態】
【００４２】
以下、本発明に係る画像強調装置を、ディジタルカメラ機能付きの携帯電話機に適用する場合を例にとり、本発明の実施の形態について説明する。
【００４３】
図１は、本発明の実施の形態に係る携帯電話機１の構成を示すブロック図である。図１に示すように、携帯電話機１は、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子２と、撮像素子２に接続されたＡ／Ｄ変換器３と、携帯電話機としてのユーザインタフェースや通話機能を制御するメインモジュール４と、メインモジュール４に接続され、ユーザが操作可能な操作ボタン５と、液晶ディスプレイ等の表示装置６と、ＳＤＲＡＭ７及びフラッシュメモリ８と、Ａ／Ｄ変換器３、メインモジュール４、表示装置６、ＳＤＲＡＭ７、及びフラッシュメモリ８にそれぞれ接続された画像処理ユニット９と、画像処理ユニット９に接続された画像圧縮伸張ユニット１０とを備えている。
【００４４】
メインモジュール４は、メインモジュール４の動作を制御するためのＣＰＵ２０を有している。画像処理ユニット９は、センサ信号処理モジュール２１と、画像処理モジュール２２と、マスク信号生成モジュール２３と、画像処理ユニット９全体の動作を制御するためのＣＰＵ２４と、表示装置６に接続された表示装置インタフェース２５と、ＳＤＲＡＭ７に接続されたメモリインタフェース２６と、フラッシュメモリ８に接続されたメモリインタフェース２７とを有している。画像圧縮伸張ユニット１０は、画像圧縮モジュール２８と画像伸張モジュール２９とを有している。
【００４５】
撮像素子２から出力された画像信号は、Ａ／Ｄ変換器３によってディジタルデータである画像データに変換された後、画像処理ユニット９に入力される。センサ信号処理モジュール２１は、Ａ／Ｄ変換器３から入力された画像データに対して、ホワイトバランス調整や黒レベル補正等の前処理を行う。画像処理モジュール２２は、センサ信号処理モジュール２１から入力された画像データに対して、画素補間、色調補正、記憶色補正、輪郭強調、ノイズリダクション等の各種の画像処理を行う。
【００４６】
図２は、マスク信号生成モジュール２３が有する機能を概略的に示す機能ブロック図である。図２に示すように、マスク信号生成モジュール２３は、図１に示した画像処理モジュール２２から出力された画像データから複数の関心領域を抽出する関心領域抽出部３０と、抽出された各々の関心領域に対して優先度を設定する優先度設定部３１とを有しており、関心領域と優先度とが規定されたマスク信号を生成して出力する。なお、マスク信号生成モジュール２３を省略して、マスク信号生成モジュール２３が有する機能を、図１に示したＣＰＵ２４に持たせてもよい。
【００４７】
以下、図１，２を参照して、関心領域の抽出と優先度の設定について説明する。
【００４８】
＜第１の手法＞
上記の通り、画像処理モジュール２２は記憶色補正を行う機能を有している。記憶色補正とは、画像内に存在する特定の色（例えば肌色、青色、緑色等）を、人間が綺麗だと記憶している色（記憶色）に補正する処理である。記憶色補正の方式としては、３次元ルックアップテーブル参照方式やマトリックス演算方式等が知られているが、本実施の形態においては任意の方式を採用することができる。記憶色補正の処理自体は周知であるため、ここでの詳細な説明は省略する。
【００４９】
画像処理モジュール２２は、入力された画像データに対して記憶色補正を行った後、記憶色補正が行われた画素の位置情報と、記憶色補正が行われた各画素毎の適応レベル（補正レベル）に関する情報とを、メモリインタフェース２６を介してＳＤＲＡＭ７に格納する。関心領域抽出部３０は、ＳＤＲＡＭ７に格納された上記位置情報を参照することにより、画像データのうち記憶色補正が行われた領域を、関心領域として抽出する。また、優先度設定部３１は、ＳＤＲＡＭ７に格納された上記補正レベルに関する情報を参照することにより、記憶色補正の補正レベルが高い（即ち補正量が大きい）関心領域ほど、優先度を高く設定する。なお、優先度の設定は、ユーザが操作ボタン５を用いて手動で行うこともできる。マスク信号生成モジュール２３は、関心領域抽出部３０によって抽出された関心領域と、優先度設定部３１によって設定された優先度とを用いて、マスク信号を生成する。
【００５０】
図３は、画像処理モジュール２２によって記憶色補正が行われた画像の一例を示す図であり、図４は、図３に示した画像に対応して生成されたマスク信号の一例を示す図である。図４では、記憶色補正が行われた複数の領域を、補正レベルに応じて４段階に分類した例を示している。最も濃い色が付された領域は、記憶色補正の補正レベルが最も高い関心領域ＲＯＩ１であり、最も薄い色が付された領域は、補正レベルが最も低い関心領域ＲＯＩ４である。着色されていない領域（非ＲＯＩ）は、記憶色補正が行われていない非関心領域である。
【００５１】
第１の手法によれば、関心領域抽出部３０は、画像データのうち画像処理モジュール２２によって記憶色補正が行われた領域を関心領域として抽出し、優先度設定部３１は、記憶色補正の補正レベルが高い関心領域ほど優先度を高く設定する。従って、色のずれが観察者に違和感を与えやすい記憶色部分、特に、記憶色補正の補正レベルが高く画像データの中でもとりわけ重要と思われる部分を、後述の画像圧縮モジュール２８による画像強調処理によって鮮明に強調することができる。
【００５２】
＜第２の手法＞
上記の通り、画像処理モジュール２２は輪郭強調処理（シャープネス処理）を行う機能を有している。輪郭強調処理は、画像データ内の濃度の変化点を輪郭として抽出し、輪郭部分の画像データを補正することによって、輪郭を強調する処理である。輪郭強調処理としては様々な処理方式等が知られており、様々なシャープネスフィルタが存在するが、本実施の形態においては任意の処理方式を採用することができる。輪郭強調の処理自体は周知であるため、ここでの詳細な説明は省略する。
【００５３】
画像処理モジュール２２は、入力された画像データに対して輪郭強調処理を行った後、輪郭強調処理が行われた画素の位置情報と、輪郭強調処理が行われた各画素毎の適応レベル（各画素の画像データの補正量）に関する情報とを、メモリインタフェース２６を介してＳＤＲＡＭ７に格納する。関心領域抽出部３０は、ＳＤＲＡＭ７に格納された上記位置情報を参照することにより、画像データのうち輪郭強調処理が行われた領域を、関心領域として抽出する。また、優先度設定部３１は、ＳＤＲＡＭ７に格納された上記適応レベルに関する情報を参照することにより、輪郭強調処理の適応レベルが高い（即ち補正量が大きい）関心領域ほど、優先度を高く設定する。なお、優先度の設定は、ユーザが操作ボタン５を用いて手動で行うこともできる。マスク信号生成モジュール２３は、関心領域抽出部３０によって抽出された関心領域と、優先度設定部３１によって設定された優先度とを用いて、マスク信号を生成する。
【００５４】
第２の手法によれば、関心領域抽出部３０は、画像データのうち画像処理モジュール２２によって輪郭強調処理が行われた領域を関心領域として抽出し、優先度設定部３１は、輪郭強調処理の適応レベルが高い関心領域ほど優先度を高く設定する。従って、観察者によって注目されやすい被写体の輪郭部分、特に、輪郭強調処理の適応レベルが高く画像データの中でもとりわけ重要と思われる部分を、後述の画像圧縮モジュール２８による画像強調処理によって鮮明に強調することができる。また、輪郭強調処理が行われた領域を関心領域として抽出することにより、画像圧縮モジュール２８による圧縮符号化処理の際に、輪郭として強調したい箇所の符号量が少なく割り当てられて輪郭がぼけてしまうという事態を回避することができる。
【００５５】
なお、輪郭強調処理の実行の有無とは無関係に、関心領域抽出部３０は画像データ内の高周波成分を関心領域として抽出し、優先度設定部３１は周波数が高い領域ほど優先度を高く、周波数が低い領域ほど優先度を低く設定することも可能である。
【００５６】
＜第３の手法＞
上記の通り、画像処理モジュール２２はノイズリダクション処理を行う機能を有している。ノイズリダクション処理とは、注目画素とその周辺画素との画素レベルの相関を解析することによって、注目画素がノイズであるか否かを判定し、ノイズであると判定された場合には、ノイズ除去フィルタを用いて注目画素の画素レベルを補正することにより、ノイズを除去する処理である。ノイズの判定方法としては様々な方式があり、ノイズ除去フィルタにも様々な方式のフィルタ（平均化フィルタやメディアンフィルタ等）が存在するが、本実施の形態においては任意の方式を採用することができる。ノイズリダクションの処理自体は周知であるため、ここでの詳細な説明は省略する。
【００５７】
画像処理モジュール２２は、入力された画像データに対してノイズリダクション処理を行った後、ノイズリダクション処理が行われた画素の位置情報を、メモリインタフェース２６を介してＳＤＲＡＭ７に格納する。関心領域抽出部３０は、ＳＤＲＡＭ７に格納された上記位置情報を参照することにより、画像データのうちノイズリダクション処理が行われた領域を、非関心領域として抽出する。関心領域の抽出は、上記第１，第２又は下記第３，第４の手法等を用いることができる。
【００５８】
なお、画像処理モジュール２２ではノイズの位置の検出と各位置ごとのノイズレベルの検出とを行い、ノイズ除去フィルタを用いたノイズ除去処理は行わず、画像圧縮モジュール２８においてノイズの除去を行うことも可能である。つまり、ノイズの位置及びレベルをマスク信号として画像圧縮モジュール２８に通知し、画像圧縮モジュール２８の符号量制御部１１０（図５参照）において符号量を割り当てる際に、ノイズレベルが高い画素ほど符号量を多く削ることによって、実質的にノイズを除去することができる。この場合も、ノイズ除去フィルタを用いてノイズを除去する場合と同様の効果を得ることができる。
【００５９】
第３の手法によれば、関心領域抽出部３０は、画像データのうち画像処理モジュール２２によってノイズリダクション処理が行われた領域を非関心領域として抽出する。従って、ノイズが関心領域として設定されることはないため、画像圧縮モジュール２８の画像強調処理によってノイズが強調されてしまうという事態を予め回避することができる。
【００６０】
なお、ノイズリダクション処理の実行の有無とは無関係に、関心領域抽出部３０は、画像データ内の低周波成分を非関心領域として抽出することも可能である。
【００６１】
＜第４の手法＞
本実施の形態に係るディジタルカメラ機能付きの携帯電話機では、図１に示した操作ボタン５をユーザが操作することによって、人物モード、風景モード、夜景モード、植物モード等の撮影モードを任意に選択可能である。どの撮影モードが選択されているかについての情報は、メインモジュール４のＣＰＵ２０から画像処理ユニット９のＣＰＵ２４に通知される。
【００６２】
また、関心領域として抽出すべき色及びオブジェクトの一方又は双方が、各撮影モード毎に予め定められており、その対応関係がフラッシュメモリ８等の不揮発性メモリに記憶されている。また、抽出すべき色又はオブジェクトが複数である場合に、どの色又はオブジェクトを優先させるかという情報が、各撮影モード毎に予め定められており、同じくフラッシュメモリ８に記憶されている。
【００６３】
色に関しては、人物モードの場合は顔の肌色や髪の黒色・茶色等が、風景モードの場合は空の青色や夕焼けの赤色等が、夜景モードの場合は星や光の白色等が、植物モードの場合は花びらの赤色・黄色・白色や葉の緑色等が、それぞれ関心領域として抽出すべき色として設定されている。オブジェクトに関しては、例えば、人物モードの場合は、全身、上半身、又は顔の輪郭等が、植物モードの場合は各種の花びらや葉の輪郭等が、それぞれ関心領域として抽出すべきオブジェクトとして設定されている。
【００６４】
優先度に関しては、例えば、人物モードにおいて肌色と黒色とが関心領域として抽出すべき色として設定されている場合に、黒色よりも肌色を優先させる旨が、人物モードに関する優先度情報として設定されている。
【００６５】
関心領域抽出部３０は、フラッシュメモリ８に格納されているこれらの情報と、ＣＰＵ２４から通知された撮影モードに関する情報とに基づいて、画像処理モジュール２２から出力された画像データから、選択されている撮影モードに応じて関心領域を抽出する。また、優先度設定部３１は、フラッシュメモリ８に格納されている優先度情報に基づいて、関心領域抽出部３０によって抽出された複数の関心領域に対して優先度を設定する。なお、優先度の設定は、ユーザが操作ボタン５を操作することにより、手動で行うことも可能である。
【００６６】
画像データからのオブジェクトの抽出手法としては、２値化による抽出や輪郭検出による抽出等の様々な手法が知られているが、本実施の形態においては任意の抽出手法を採用することができる。
【００６７】
人物モードにおいて人間の顔を抽出する場合を例として、原画像内で部分画像を走査することにより、原画像の中で肌色のヒストグラムが最大となる箇所を検出し、その検出された箇所で部分画像を順次拡大することによって人間の顔を抽出する方法（本願出願人による特願２００３−２０１１０６号参照）を用いることができる。あるいは、同じく人物モードにおいて人間の顔を抽出する場合を例として、原画像をLog-Polar変換した画像と、予め準備した人間の顔のテンプレート画像をLog-Polar変換し、それを繰り返した繰り返しパターン画像とのマッチングを行うことにより、原画像から人間の顔を抽出する方法（本願出願人による特開２００４−３１０２４３号公報参照）を用いることができる。あるいは、抽出の精度を高めるために、一つの原画像に対してこれら二つの方法による抽出を実施し、二つの方法でいずれも抽出されたオブジェクトを、人間の顔として抽出してもよい。
【００６８】
第４の手法によれば、関心領域抽出部３０は、撮影モード毎に予め設定された特定の色及び特定のオブジェクトの少なくとも一方を、関心領域として抽出する。従って、撮影モード毎に撮影者が撮影目的としている被写体（例えば人物モードにおける人物）を、画像圧縮モジュール２８の画像強調処理によって強調することが可能となる。
【００６９】
＜第５の手法＞
上記第１〜第４の手法では、関心領域の抽出と優先度の設定とをいずれも自動で行う例について説明したが、これらの抽出及び設定は、ユーザの手動で行うことも可能である。自動で行うか手動で行うかは、ユーザが操作ボタン５を用いて選択することができる。
【００７０】
図１を参照して、画像保存前のプレビューモードでは、表示装置６の表示画面上にはプレビュー画像が表示されている。この状態で、矩形や楕円形等のカーソルをプレビュー画像に重ねて表示し、ユーザが操作ボタン５を操作してカーソルを移動させることによって、関心領域として設定すべき範囲を指定する。その指定された範囲はＯＳＤ（オンスクリーンディスプレイ）で表示画面上に表示され、ユーザは、関心領域として設定したい被写体がその範囲内に収まるように撮影を行う。複数の関心領域を設定することも可能であり、その場合はユーザが操作ボタン５を操作することによって、各々の関心領域に対して優先度（優先順位）を設定する。あるいは、関心領域として設定すべき範囲が指定された順に、高い優先順位を自動的に付与してもよい。
【００７１】
なお、操作ボタン５を用いたユーザの選択により、本発明に係る画像強調機能がオフされた状態で撮影を行うことも可能である。撮影された画像は、フラッシュメモリ８又は外部メモリカード等に保存される。保存画像を再生する再生モードでは、表示装置６の表示画面上には保存画像が表示されている。この状態で、上記と同様のカーソルを保存画像に重ねて表示し、カーソルを移動させることによって、関心領域として設定すべき範囲を指定することもできる。また、上記と同様に複数の関心領域を設定することも可能であり、各々の関心領域に対して優先順位を手動又は自動で設定することも可能である。
【００７２】
第５の手法によれば、関心領域の設定及び優先度の設定を、ユーザの手動で行うことができる。そのため、上記第１〜第４の手法による自動抽出・自動設定では満足のいく画像強調効果が得られない場合等に手動設定に切り替えることによって、ユーザの意図する画像を得ることができる。
【００７３】
さて次に、図１に示した画像圧縮モジュール２８について説明する。
【００７４】
図５は、画像圧縮モジュール２８の構成を示すブロック図である。図５に示すように、画像圧縮モジュール２８は、ＤＣレベルシフト部１０２、色空間変換部１０３、タイリング部１０４、ＤＷＴ部１０５、量子化部１０６、ＲＯＩ部５１、係数ビットモデリング部１０８、算術符号化部（エントロピー符号化部）１０９、符号量制御部１１０、画質制御部５２、及びビットストリーム生成部１１１を備えている。なお、画像圧縮モジュール２８を構成する各処理部の全部又は一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【００７５】
図１に示した画像処理モジュール２２から画像圧縮モジュール２８に入力された画像データは、ＤＣレベルシフト部１０２において必要に応じてＤＣレベル変換を施された後、、色空間変換部１０３に入力される。色空間変換部１０３は、ＤＣレベルシフト部１０２から入力された画像データに対して、色空間を変換する処理を行う。ＪＰＥＧ２０００方式によれば、色空間変換として、可逆変換用のＲＣＴ（Reversible Component Transformation）と、非可逆変換用のＩＣＴ（Irreversible Component Transformation）とが用意されており、いずれか一方を適宜に選択することができる。これにより、入力されたＲＧＢ信号がＹＣｂＣｒ信号又はＹＵＶ信号に変換される。
【００７６】
タイリング部１０４は、色空間変換部１０３から入力された画像データを、「タイル」と称される矩形状の複数の領域成分に分割する。なお、必ずしも画像データをタイルに分割する必要はなく、色空間変換部１０３から出力された１フレーム分の画像データを、そのままＤＷＴ部１０５に入力してもよい。
【００７７】
ＤＷＴ部１０５は、タイリング部１０４から入力された画像データに対して、タイル単位で整数型又は実数型のＤＷＴを施す。これにより、上述したオクターブ分割方式に従って、画像データが高域成分と低域成分とに再帰的に帯域分割される。その結果、図１０に示したように、解像度が異なる複数の帯域成分（サブバンド）の変換係数が生成される。具体的には、実数型ＤＷＴであれば、９×７タップ、５×３タップ、又は７×５タップ等のフィルタが使用され、整数型ＤＷＴであれば、５×３タップ又は１３×７タップ等のフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、あるいは、畳み込み演算よりも効率的なリフティング構成（Lifting scheme）で実行してもよい。
【００７８】
量子化部１０６は、ＤＷＴ部１０５から入力された変換係数を、画質制御部５２によって決定される量子化ステップサイズΔbに従って、スカラー量子化する。画質制御部５２及び量子化部１０６による量子化の方法については後述する。量子化部１０６から出力された変換係数ＱＤは、係数ビットモデリング部１０８と算術符号化部１０９とによって、ブロックベースのエントロピー符号化を施され、その後、符号量制御部１１０でレートを制御される。
【００７９】
係数ビットモデリング部１０８は、入力された変換係数ＱＤの帯域成分を、１６×１６、３２×３２、又は６４×６４程度のコードブロックに分割し、さらに、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。その結果、各コードブロックは、図１２に示したような複数のビットプレーン１２２0〜１２２n-1に分解される。
【００８０】
算術符号化部１０９は、係数ビットモデリング部１０８から入力された符号化データＢＤに対して、算術符号化を実行する。なお、算術符号化の代わりに、他の方式のエントロピー符号化を採用しても構わない。
【００８１】
符号量制御部１１０は、画質制御部５２からの指示に基づいて、算術符号化部１０９から入力された符号化データＡＤのレートを制御する。具体的に、符号量制御部１１０は、目標符号量（最終的な圧縮画像の符号量）に合わせて、符号化データＡＤを、帯域成分単位あるいはビットプレーン単位、パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する。符号量制御部１１０におけるレート制御の詳細については後述する。
【００８２】
ビットストリーム生成部１１１は、符号量制御部１１０から入力された符号化データＣＤと付加情報（ヘッダ情報、レイヤー構成、スケーラビリティ情報、量子化テーブル等）とを多重化したビットストリームを生成し、圧縮画像データとして、図１に示した画像処理ユニット９に入力する。
【００８３】
＜量子化＞
次に、図５に示した画質制御部５２及び量子化部１０６によって実現される量子化の処理内容について簡単に説明する。
【００８４】
画質制御部５２は、外部から供給される目標画質情報（高画質、標準画質、低画質、解像度情報等）に基づいて、ＤＷＴ部１０５から入力された変換係数を量子化部１０６で量子化する際の量子化ステップサイズΔbを決定する機能を有している。以下、量子化ステップサイズΔbの決定方法について説明する。
【００８５】
ＤＷＴ部１０５によって、原画像が図１０に示したように、「ＸＹｎ」（Ｘ，Ｙは高域成分Ｈ及び低域成分Ｌのいずれか。ｎは分解レベル。）のサブバンド（帯域成分）に分割されたときに、各サブバンドの量子化に用いる量子化ステップサイズΔbが、下記の式（１）のように設定される。
【００８６】
【数１】
2006279397.tif 000003
【００８７】
ここで、Ｑpは、目標画質情報に従って入力される量子化パラメータであり、高画質であるほど小さな値となる。また、Ｑbは、各サブバンドにおける量子化係数である。
【００８８】
Ｑbは、合成フィルタ係数のノルムとして、次式（２）で表される。
【００８９】
【数２】
2006279397.tif 000004
【００９０】
ここで、サブバンドｂの重み係数Ｇbは、合成フィルタ係数の内積である。
【００９１】
上述した方法のほか、人間の視覚特性を考慮して量子化ステップサイズΔbを決定することもできる。その方法は以下の通りである。
【００９２】
上述した非特許文献１のChapter 16には、ＣＳＦ（Contrast Sensitivity Function of human visual system）に基づいた重み付けＷＭＳＥ（Weighted Mean Squared Error；WMSE）が記載されている。これを利用して、圧縮符号化後の画像データに対する人間の視覚評価を改善するために、上式（２）を次式（３）に修正する。
【００９３】
【数３】
2006279397.tif 000005
【００９４】
ここで、上式（３）中、Ｗb[i]csfは、サブバンドｂ[ｉ]の”energy weighting factor”と呼ばれており、Ｗb[i]csfの推奨数値は、「ISO/IEC JTC 1/SC 29/WG1(ITU-T SG8) N2406, “JPEG 2000 Part 1 FDIS (includes COR 1, COR 2, and DCOR3),”4 December 2001」の文献（以下、非特許文献２と呼ぶ。）に記載されている。図１５〜図１７に、非特許文献２に記載される”energy weighting factor”の数値を示す。
【００９５】
図１５〜図１７中の”level”および”Lev”は分解レベルを、”Comp”は輝度成分Ｙと色差成分Ｃｂ，Ｃｒをそれぞれ示しており、”Viewing distance （視距離）”が1000, 1700, 2000, 3000, 4000の例が示されている。また、”Viewing distance 1000”，”Viewing distance 1700”，”Viewing distance 2000”，”Viewing distance 3000”，”Viewing distance 4000”は、それぞれ、100dpi, 170dpi, 200dpi, 300dpi, 400dpiのディスプレイまたは印刷物を１０インチ離れて見たときの視距離を意味する。
【００９６】
画質制御部５２では、このようにして量子化ステップサイズΔbを求め、これを量子化部１０６に通知する。そして、量子化部１０６では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。
【００９７】
但し、量子化ステップサイズΔbの値が１より小さい場合には、１以上の値となるまで２の累乗を乗算し、１以上の値となった量子化ステップサイズΔbが採用される。例えば、式（１）により求めた量子化ステップサイズΔbの値が０．４７１６３であった場合は、実際に画像データを量子化するときには、この値に２2が乗算された量子化ステップサイズΔb＝１．８８６５２を用いて量子化が行われる。
【００９８】
＜ＲＯＩ部分の設定＞
図５に示したＲＯＩ部５１は、図１に示したマスク信号生成モジュール２３から入力されたマスク信号をウェーブレット平面へ展開し、ウェーブレット平面上のＲＯＩ部分に係る設定情報を符号量制御部１１０に入力する。
【００９９】
ここで、ＲＯＩ部分の展開は、ＤＷＴを施してウェーブレット平面に展開した画像データを所定の大きさの矩形領域に分割したコードブロック毎に行う。具体的には、例えば、各サブバンドを縦３２画素×横３２画素というように所定の大きさのコードブロックに分割し、コードブロック毎に、ＲＯＩ部分であるか否かと、ＲＯＩ部分である場合にはその優先度とが割り当てられて、ウェーブレット平面上に展開される。なお、優先度が異なる複数のＲＯＩ部分が一つのコードブロック内に含まれる場合には、当該コードブロックは、優先度の高いＲＯＩマスクに属するものとして取り扱われる。
【０１００】
その結果、例えば図４に示したマスク信号に対応して、図６に示すウェーブレット平面が展開されることとなる。このようにして設定されたＲＯＩ部分に係る設定情報が、符号量制御部１１０に入力される。
【０１０１】
＜並び替え及びビットシフト＞
図５に示した符号量制御部１１０は、画質制御部５２から通知された量子化ステップサイズΔbに基づいて、算術符号化部１０９から入力された符号化データＡＤの並べ替え及びビットシフトの処理を行う。
【０１０２】
まず、目標画質として所定の量子化パラメータＱpの値が指定されると、この値に基づいて、画質制御部５２が、上述したように量子化ステップサイズΔbを算出し、これを符号量制御部１１０に通知する。そして、符号量制御部１１０は、量子化後のデータを、量子化ステップサイズΔbの大きさに従って、その値が小さい順（昇順）に並べ替える。
【０１０３】
上述したように１以上になるよう変換された量子化ステップサイズΔbを利用して量子化されたデータについては、変換後の量子化ステップサイズΔbに基づいて並べ替えを行うが、このとき、量子化ステップサイズΔbを変換するときに乗算した２の累乗の指数に対応するビット数だけ、データを左方向にビットシフトする処理を行う。
【０１０４】
また、符号量制御部１１０は、並べ替えとビットシフトの処理とが施された符号化列を、ＲＯＩ部５１から通知されたＲＯＩ部分の設定情報（図６）に基づいて、ＲＯＩ部分のデータと非ＲＯＩ部分のデータとに分ける。つまり、符号量制御部１１０は、ＲＯＩ部５１から通知されたＲＯＩ部分の設定情報（図６）に基づいて、図７に示すように、４つのＲＯＩ部分（ＲＯＩ１〜ＲＯＩ４）のデータと非ＲＯＩ部分のデータとに分離する。
【０１０５】
次に、符号量制御部１１０は、ＲＯＩ部分（ＲＯＩ１〜ＲＯＩ４）の各データを所定のビット数分だけ左方向へビットシフトする。このとき、優先度が異なる複数のＲＯＩ部分が設定されており、その優先度に応じて、優先度が高いほどシフト量を大きく設定する。例えば図７では、非ＲＯＩ部分のデータに対して、最も優先度の低いＲＯＩ部分（ＲＯＩ４）は１ビット、次に優先度が高いＲＯＩ部分（ＲＯＩ３）は２ビット、次に優先度が高いＲＯＩ部分（ＲＯＩ２）は３ビット、最も優先度の高いＲＯＩ部分（ＲＯＩ１）は４ビット、それぞれ左方向へビットシフトされている。
【０１０６】
なお、ＲＯＩ部分（ＲＯＩ１〜ＲＯＩ４）のデータのシフト量は、予め設定された所定のビット数分であってもよいし、目標とする圧縮符号化後の画像データの画質等に応じて任意の値に変更する態様であっても構わない。また、ＲＯＩ部分（ＲＯＩ１〜ＲＯＩ４）のデータ及び非ＲＯＩ部分のデータは、図７に示すように優先度の高い部分のデータから順に並べる態様に限るものではなく、例えば優先度の低い部分のデータから順に並べる態様等であっても構わない。
【０１０７】
＜符号量制御＞
続いて符号量制御部１１０は、図７に示すように並び替え及びビットシフトが施された符号列に対して、全体のデータ容量が目標符号量である所定の容量に収まるように、データの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図７に示した非ＲＯＩ部分の符号列４０のＶＨＬ４の番号０のビットデータから下方向へ順に削除してゆく。そして、ＹＨＨ１の番号０までのビットデータを切り捨てれば全体のデータ容量が所定の容量に収まるとすれば、該当する部分のデータを切り捨てる。このとき、ＹＨＨ１の番号０のデータまで切り捨てても、全体のデータ容量が所定のデータ容量に収まらないときは、続いて、ＲＯＩ部分（ＲＯＩ４）のＶＨＬ４の番号０のビットデータから下方向へ順に削除してゆく。ビットデータの削除は、右側に位置するビットから順に、全体のデータ容量が目標符号量に収まるまで続けられる。
【０１０８】
なお、ビットデータ（ビットプレーン）は、図１３に示したように、ＳＩＧパス，ＭＲパス，ＣＬパスに分解できる。符号量制御部１１０によるレート制御は、ビットプレーン単位で行う態様に限らず、パス単位で行う態様であっても構わない。
【０１０９】
また、符号量制御部１１０に入力される段階で、符号化データＡＤの全体容量が既に利用者が意図する目標符号量以下になっていれば、上述したレート制御は行う必要はない。
【０１１０】
このように、符号量制御部１１０におけるレート制御では、ＲＯＩ部分の設定情報に基づいて並べ替え及びビットシフトが行われた各サブバンドのビットデータが、非ＲＯＩ部分、優先度の低いＲＯＩ部分、及び優先度の高いＲＯＩ部分の順に削除される。そのため、結果として、優先度が高い関心領域ほど多くの符号量が割り当てられるように符号量が制御されるため、優先度の高い関心領域の画質を維持したまま圧縮符号化を行うことが可能となる。換言すれば、画像全体としては圧縮符号化を行いつつも、関心領域に対応する部分の画像を強調することができる。
【０１１１】
＜ユーザの操作シーケンス＞
図８は、本実施の形態に係るディジタルカメラ機能付き携帯電話機を用いてユーザが撮影を行う際の、操作シーケンスを示すフローチャートである。以下、図１，５，８を参照して、操作シーケンスを説明する。
【０１１２】
上述した通り、プレビューモードでは、表示装置６の表示画面上にはプレビュー画像が表示されている。この状態で、ステップＳ１においてユーザが撮影ボタンを押すと、次にステップＳ２において、センサ信号処理モジュール２１によって上記の前処理が行われ、次にステップＳ３において、画像処理モジュール２２によって上記の各種の画像処理が行われる。
【０１１３】
次にステップＳ４において、画像強調機能がオンに設定されているかオフに設定されているかが判定される。ここで、本実施の形態に係る携帯電話機では、ユーザが操作ボタン５を操作することによって、撮影画像を保存する前に画像強調処理を実行するか否かを予め選択することができる。
【０１１４】
画像強調機能がオンされている場合（ステップＳ４の判定結果が「ＯＮ」の場合）は、次にステップＳ５において、撮影モードが設定されているか否かが判定される。ここで、本実施の形態に係る携帯電話機では、ユーザが操作ボタン５を操作することによって、撮影モード（人物モード、風景モード、夜景モード、植物モード）を予め選択することができる。
【０１１５】
撮影モードが設定されている場合（ステップＳ５の判定結果が「ＯＮ」の場合）は、次にステップＳ６において、上述した第４の手法に従い、設定されている撮影モードに応じて撮影画像の中から複数の関心領域が自動抽出される。次にステップＳ７において、抽出された複数の関心領域の各々について、上記の通り自動又は手動で優先度の設定が行われる。これにより、マスク信号生成モジュール２３によってマスク信号が生成され、生成されたマスク信号は画像圧縮モジュール２８に入力される。
【０１１６】
その後、画像圧縮モジュール２８による圧縮符号化処理が実行される。このとき、表示装置６へ表示するための必要最小限の解像度のサブバンド（例えば図６の領域Ｒ１）のみを対象として、ＲＯＩ部５１によるマスク信号のウェーブレット平面への展開や、符号量制御部１１０によるレート制御が行われる。このように、プレビュー表示の際には、プレビュー表示のために必要な解像度のサブバンドのみを対象としてマスク信号のウェーブレット平面への展開やレート制御を行うことにより、必要以上の無駄な処理が行われることを回避でき、プレビュー表示のための処理時間の短縮化を図ることができる。
【０１１７】
次にステップＳ８において、画像強調処理が施された撮影画像が、表示装置６の表示画面上にプレビュー表示される。次にステップＳ９において、その画像を保存するか否かの指示を要求するメッセージが、併せて表示画面上に表示される。
【０１１８】
ユーザが操作ボタン５を操作して画像の保存を指示しなかった場合（ステップＳ９の判定結果が「やり直し」の場合）は、ステップＳ５に戻る。一方、ユーザが操作ボタン５を操作して画像の保存を指示した場合（ステップＳ９の判定結果が「完了」の場合）は、次にステップＳ１０において、ＪＰＥＧ２０００方式の画像ファイルが作成される。具体的には、保存画像のデータサイズに応じた解像度のサブバンドを対象として、マスク信号のウェーブレット平面への展開やレート制御が改めて実行される。ここで、本実施の形態に係る携帯電話機では、操作ボタン５を用いたユーザの選択によって、画像保存時に保存画像のデータサイズを選択することができる。例えば、表示装置６の表示画面上での閲覧用途、電子メールを利用した送信用途、パーソナルコンピュータ（ＰＣ）の表示画面上での閲覧用途、プリンタを用いた印刷用途等の様々な用途に合わせて、保存画像のデータサイズを選択することができる。一例として、ＰＣの表示画面上での閲覧用途で画像を保存する場合には、それに応じた解像度のサブバンド（例えば図６の領域Ｒ２）のみを対象として、改めて処理が実行される。他の例として、プリンタを用いた印刷用途で画像を保存する場合には、それに応じた解像度のサブバンド（例えば図６の領域Ｒ３）を対象として、改めて処理が実行される。
【０１１９】
このように、撮影画像を保存する際に、ユーザの選択による保存画像のデータサイズに応じた解像度のサブバンドのみを対象として、マスク信号のウェーブレット平面への展開やレート制御を行うことにより、必要以上の無駄な処理が行われることを回避することができ、処理時間の短縮化を図ることができるとともに、利用用途に応じたＪＰＥＧ２０００ファイルを作成することができる。
【０１２０】
撮影画像の保存が完了することによって、処理が終了する（ステップＳ１１）。
【０１２１】
ステップＳ５において、撮影モードが設定されていない場合（ステップＳ５の判定結果が「ＯＦＦ」の場合）は、次にステップＳ１２において、手動調節モード（ユーザ調節モード）に設定されているか自動調節モードに設定されているかが判定される。ここで、手動調節モード又は自動調節モードの選択は、ユーザが操作ボタン５を操作することによって予め設定可能である。
【０１２２】
ユーザ調節モードに設定されている場合は、上述した第５の手法に従い、ユーザが撮影画像の中から複数の関心領域を手動で設定（ステップＳ１３）した後、複数の関心領域の各々について優先度を手動で設定する（ステップＳ１４）。その後、ステップＳ８に引き続く。
【０１２３】
自動調節モードに設定されている場合は、上述した第１〜第３の手法に従い、画像処理モジュール２２における信号処理の結果に基づいて、複数の関心領域が自動抽出され（ステップＳ１５）、その後、上記の通り自動又は手動で優先度の設定が行われる（ステップＳ１６）。その後、ステップＳ８に引き続く。
【０１２４】
ステップＳ４において、画像強調機能がオフされている場合（ステップＳ４の判定結果が「ＯＦＦ」の場合）は、次にステップＳ１７において、画像圧縮モジュール２８における画像強調処理が実施されることなく、撮影画像が保存される。
【０１２５】
次にステップＳ１８において再生モードが開始され、ステップＳ１９において再生画像が選択されると、次にステップＳ２０において、手動調節モード（ユーザ調節モード）に設定されているか自動調節モードに設定されているかが判定される。上記と同様に、手動調節モード又は自動調節モードの選択は、ユーザが操作ボタン５を操作することによって予め設定可能である。
【０１２６】
ユーザ調節モードに設定されている場合は、上述した第５の手法に従い、ユーザが再生画像の中から複数の関心領域を手動で設定（ステップＳ２１）した後、複数の関心領域の各々について優先度を手動で設定する（ステップＳ２２）。次にステップＳ２３において、上記ステップＳ８と同様に、画像強調処理が施された再生画像が、表示装置６の表示画面上にプレビュー表示される。次にステップＳ２４において、その画像を保存するか否かの指示を要求するメッセージが、併せて表示画面上に表示される。
【０１２７】
ユーザが操作ボタン５を操作して画像の保存を指示しなかった場合（ステップＳ２４の判定結果が「やり直し」の場合）は、ステップＳ２０に戻る。一方、ユーザが操作ボタン５を操作して画像の保存を指示した場合（ステップＳ２４の判定結果が「完了」の場合）は、次にステップＳ２５において、上記ステップＳ１０と同様にＪＰＥＧ２０００方式の画像ファイルが作成され、画像の保存が完了することにより処理が終了する（ステップＳ２６）。
【０１２８】
ステップＳ２０において自動調節モードに設定されている場合は、上述した第１〜第３の手法に従い、画像処理モジュール２２における信号処理の結果に基づいて、複数の関心領域が自動抽出され（ステップＳ２７）、その後、上記の通り自動又は手動で優先度の設定が行われる（ステップＳ２８）。その後、ステップＳ２３に引き続く。
【０１２９】
このように本実施の形態に係るディジタルカメラ機能付き携帯電話機によれば、マスク信号生成モジュール２３は、入力された画像データから複数の関心領域を抽出する関心領域抽出部３０と、各々の関心領域３０に対して優先度を設定する優先度設定部３１とを有している。そして、画像圧縮モジュール２８が有する符号量制御部１１０は、優先度が高い関心領域ほど多くの符号量が割り当てられるように符号量を制御する。従って、優先度の高い関心領域の画質を維持したまま圧縮符号化を行うことが可能となり、結果として、画像全体としては圧縮符号化を行いつつも、関心領域に対応する部分の画像を強調することができる。
【０１３０】
また、上述の第１〜第５の手法で説明した通り、関心領域抽出部３０は、画像データから特定の色及び特定のオブジェクトの少なくとも一方を抽出することによって、関心領域を抽出する。従って、動きベクトルが大きいオブジェクトを関心領域として抽出する従来の手法とは異なり、静止しているオブジェクトや動きベクトルが小さいオブジェクトをも関心領域として抽出することが可能であり、しかも、少なくとも２枚の連続画像を比較する必要もないため、回路規模の増大や処理の複雑化を招くこともない。また、画像の中央部を関心領域として抽出する従来の手法とは異なり、重要度の高い被写体が中央部のタイルに含まれていない場合であっても、その被写体を関心領域として抽出することが可能である。さらに、オブジェクトのテンプレートマッチングを行う従来の手法とは異なり、様々なオブジェクトに関する膨大な量のテンプレートデータを予めメモリに格納しておく必要がないため、回路規模が増大することを回避することができる。
【図面の簡単な説明】
【０１３１】
【図１】本発明の実施の形態に係るディジタルカメラ機能付きの携帯電話機の構成を示すブロック図である。
【図２】マスク信号生成モジュールが有する機能を概略的に示す機能ブロック図である。
【図３】画像処理モジュールによって記憶色補正が行われた画像の一例を示す図である。
【図４】図３に示した画像に対応して生成されたマスク信号の一例を示す図である。
【図５】画像圧縮モジュールの構成を示すブロック図である。
【図６】マスク信号をウェーブレット平面に展開した状態を示す図である。
【図７】ＲＯＩ設定情報に基づく符号列の並べ替え及びビットシフトの処理を示す図である。
【図８】本発明の実施の形態に係るディジタルカメラ機能付き携帯電話機を用いてユーザが撮影を行う際の、操作シーケンスを示すフローチャートである。
【図９】ＪＰＥＧ２０００方式に基づいた画像の圧縮符号化を行う圧縮符号化装置の概略構成を示す機能ブロック図である。
【図１０】オクターブ分割方式に従って、分解レベルが３次であるＤＷＴが施された２次元画像を示す模式図である。
【図１１】複数のコードブロックに分割された２次元画像を示す模式図である。
【図１２】コードブロックを構成するｎ枚のビットプレーンを示す模式図である。
【図１３】３種類の符号化パスを示す模式図である。
【図１４】レートと歪みとの関係を表すＲ−Ｄ曲線を示す図である。
【図１５】Energy weighting factorの数値テーブルを示す図である。
【図１６】Energy weighting factorの数値テーブルを示す図である。
【図１７】Energy weighting factorの数値テーブルを示す図である。
【符号の説明】
【０１３２】
２２  画像処理モジュール
２３  マスク信号生成モジュール
２８  画像圧縮モジュール
３０  関心領域抽出部
３１  優先度設定部
５１  ＲＯＩ部
１１０  符号量制御部
【図１】
2006279397.tif 000006
【図２】
2006279397.tif 000007
【図３】
2006279397.tif 000008
【図４】
2006279397.tif 000009
【図５】
2006279397.tif 000010
【図６】
2006279397.tif 000011
【図７】
2006279397.tif 000012
【図８】
2006279397.tif 000013
【図９】
2006279397.tif 000014
【図１０】
2006279397.tif 000015
【図１１】
2006279397.tif 000016
【図１２】
2006279397.tif 000017
【図１３】
2006279397.tif 000018
【図１４】
2006279397.tif 000019
【図１５】
2006279397.tif 000020
【図１６】
2006279397.tif 000021
【図１７】
2006279397.tif 000022