(57)【要約】【課題】  画像を複数の領域で画質が異なるように符号化する際に、ユーザがリアルタイムに複数の領域の画質を認識することが可能な画像処理装置及び撮像装置を提供する。【解決手段】  カメラ１００が撮像モード時に、画像変換部１２４は、ＣＣＤ１１０で取り込んだ画像（原画像）に対し、ＲＯＩ領域設定部１２３及び画質設定部１２４にて設定された各領域の画質レベルが視覚的に認識できるように画像変換を行い、表示装置１４０に表示させるためのスルー画像をリアルタイムに作成する。そして、スイッチＳＷ１を介して画像変換部１２４で生成されたスルー画像が表示回路１２７に送られ、表示装置１４０に表示される。【選択図】  図１
2006074114.tif 000002
【特許請求の範囲】
【請求項１】
画像内を複数の領域に設定する領域設定部と、
画像データを、前記領域設定部にて設定された各領域毎に画質を異ならせて符号化する符号化部と、
前記画像データに対して所定の処理を施すことにより画像データの変換を行い、この変換の度合いは、前記符号化手段によって符号化する各領域の画質レベルに応じて、各領域毎に決定される画像変換部と、
前記画像変換部によって変換された画像データをディスプレイ上に表示させる表示部と、
を具備することを特徴とした画像処理装置。
【請求項２】
前記画像変換部は、前記画質レベルが高い領域ほど、前記変換の度合いを小さくし、前記画質レベルが低い領域ほど、前記変換の度合いを大きくすることを特徴とした請求項１に記載の画像処理装置。
【請求項３】
前記所定の処理は、前記画像データに対し、前記変換の度合いに応じて決められたフィルタ係数を用いてフィルタリングすることにより、前記画像データの変換を行うことを特徴とした請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定の処理は、前記変換の度合いに応じて決められた係数を前記画像データに乗算するにより、前記画像データの変換を行うことを特徴とした請求項１又は２に記載の画像処理装置。
【請求項５】
前記所定の処理は、前記画像データのうち、前記変換の度合いに応じて決められた割合で、特定の画素の画像データを一定の値に置換することにより、前記画像データの変換を行うことを特徴とした請求項１又は２に記載の画像処理装置。
【請求項６】
前記符号化部によって得られた符号化データを復号する復号部と、
前記符号化部にて符号化を行うときは前記画像変換部によって変換された画像データを選択して前記表示部に入力し、前記復号部にて前記符号化データを復号するときは前記復号部によって復号された画像データを選択して前記表示部に入力する選択部と、
を更に具備し、
前記表示部は、前記復号された画像データが入力されたとき、この画像データをディスプレイ上に表示させることを特徴とした請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記画像内の注目するオブジェクトの動きを検出する動き検出部を更に備え、
前記領域設定部は、前記オブジェクトの動きにこのオブジェクトを含む領域を追従せしめることを特徴とした請求項１〜６のいずれかに記載の画像処理装置。
【請求項８】
前記複数の領域の位置、大きさ、及び画質のうち少なくとも一つを設定するための設定部を更に具備することを特徴とした請求項１〜７のいずれかに記載の画像処理装置。
【請求項９】
前記画像変換部は、各領域の画質が異なるように画像データを変換することを特徴とした請求項１〜８のいずれかに記載の画像処理装置。
【請求項１０】
前記画像変換部は、各領域の色彩が異なるように画像データを変換することを特徴とした請求項１〜８のいずれかに記載の画像処理装置。
【請求項１１】
前記画像変換部は、各領域の輝度が異なるように画像データを変換することを特徴とした請求項１〜８のいずれかに記載の画像処理装置。
【請求項１２】
前記画像変換部は、前記画像に対し網掛けを行う工程を含み、各領域の網掛けの濃淡が異なるように画像データを変換することを特徴とした請求項１〜８のいずれかに記載の画像処理装置。
【請求項１３】
画像を取り込む撮像部と、
画像内を複数の領域に設定する領域設定部と、
前記撮像部から出力された画像データを、前記領域設定部にて設定された各領域毎に画質を異ならせて符号化する符号化部と、
前記撮像部から出力された画像データに対して所定の処理を施すことにより画像データの変換を行い、この変換の度合いは、前記符号化手段によって符号化する各領域の画質レベルに応じて、各領域毎に決定される画像変換部と、
前記画像変換部によって変換された画像データをディスプレイ上に表示させる表示部と、
を具備することを特徴とした撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び撮像装置に関し、特に領域毎に異なる画質で符号化することができる画像処理装置及び撮像装置に関する。
【背景技術】
【０００２】
ＩＳＯ／ＩＴＵ−Ｔにおいて、静止画像の圧縮符号化の標準技術であるＪＰＥＧ（Joint Photographic Expert Group）の後継として、離散ウェーブレット変換（ＤＷＴ）を用いたＪＰＥＧ２０００の標準化が行われている。ＪＰＥＧ２０００では、低ビットレート符号化からロスレス圧縮まで広範囲の画質を高性能で符号化することができ、画質を徐々に高めるスケーラビリティ機能も実現が容易である。また、ＪＰＥＧ２０００には、従来のＪＰＥＧ標準にはなかった多様な機能が用意されている。
【０００３】
ＪＰＥＧ２０００の機能の一つとして、画像の注目領域（Region of Interest;ＲＯＩ）を他の領域よりも優先して符号化し、伝送するＲＯＩ符号化が規格化されている。ＲＯＩ符号化により、符号化レートに上限がある場合に、注目領域の再生画質を優先的に高品質にすることができる他、符号化ストリームを順に復号する際に、注目領域を早期に高品質で再生することができるようになる。
【０００４】
特許文献１は、画像データ内の複数のＲＯＩ領域を自動認識する技術を開示する。この特許文献１では、その段落番号００６０〜００６１に記載されているように、撮影前の段階において、自動認識したＲＯＩ領域を撮像部で撮像された画像と重ね合わせて表示部に表示し、ユーザが表示されたＲＯＩ候補の取捨選択を行ったり、ＲＯＩ領域の拡大／縮小を行ったりすることができる。
【特許文献１】特開２００４−７２６５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１は、表示部に表示されるのはＲＯＩ領域の範囲だけであり、ＲＯＩ領域とそれ以外の領域との画質の差まで認識することはできない。したがって、ユーザが、撮影前若しくは撮影中に、それぞれの領域の画質を表示部で確認しながら、その画質を調整することは不可能である。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、画像を複数の領域で画質が異なるように符号化する際に、ユーザがリアルタイムに複数の領域の画質を認識することが可能な画像処理装置及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様は画像処理装置に関する。この装置は、画像内を複数の領域に設定する領域設定部と、画像データを、前記領域設定部にて設定された各領域毎に画質を異ならせて符号化する符号化部と、前記画像データに対して所定の処理を施すことにより画像データの変換を行い、この変換の度合いは、前記符号化手段によって符号化する各領域の画質レベルに応じて、各領域毎に決定される画像変換部と、前記画像変換部によって変換された画像データをディスプレイ上に表示させる表示部と、を具備することを特徴とする。
【０００８】
ここで、画像に対して施す所定の処理は、画像の各画素がもつ画像データ（ＲＧＢデータ、或いは輝度・色差データなど）に対して、元の画像データとは異なる新たな画像データに変換する処理のことを指し、例えば、フィルタリング、係数の乗算、若しくは一定の値への置換などがある。
【０００９】
また、変換の度合いとは、生成された画像データが元の画素データと比較してどの程度異なるかを表すものであり、上述の所定の処理において、変換の度合いの大小を決定するパラメータを調整することにより、各領域の変換の度合いを決定する。このパラメータは、例えばフィルタリングの場合はフィルタ係数の大きさ、乗算処理の場合は乗算係数の大きさ、一定の値に置換する場合は置換する画素の割合を指す。変換の度合いは、画質レベルが高い領域ほど小さく、画質レベルが低い領域ほど大きくなるように決定してもよい。
【００１０】
この態様によれば、符号化部とは別に画像変換部を備えており、符号化部で複数の領域毎に画質を異ならせて画像を符号化するときに、この画像変換部によって、符号化データの各領域の画質レベルを視覚的に認識可能な画像を、簡易的な方法でかつリアルタイムに生成することができる。そして、ユーザは、画像変換部によって生成された画像を、表示装置を介して見ることができ、符号化によって得られる複数の領域の画質レベルを即座に確認することが可能である。
【００１１】
この態様において、前記符号化部によって得られた符号化データを復号する復号部と、前記符号化部にて符号化を行うときは前記画像変換部によって変換された画像データを選択して前記表示部に入力し、前記復号部にて前記符号化データを復号するときは前記復号部によって復号された画像データを選択して前記表示部に入力する選択部と、を更に具備し、前記表示部は、前記復号された画像データが入力されたときこの画像データをディスプレイ上に表示させてもよい。これにより、符号化データを復号した画像も表示装置を介して見ることができるので、ユーザは、実際の符号化データの画質も確認することが可能である。
【００１２】
この態様において、前記画像内の注目するオブジェクトの動きを検出する動き検出部を更に備え、前記領域設定部は、前記オブジェクトの動きにこのオブジェクトを含む領域を追従せしめてもよい。これにより、表示装置に表示された画像によって、自動追従された領域の位置などがリアルタイムに確認することが可能である。
【００１３】
この態様において、使用者（ユーザ）が前記複数の領域の位置、大きさ、及び画質のうち少なくとも一つを設定する入力部を更に備えてもよい。これにより、ユーザが表示装置に表示された画像を確認しながら、各領域の位置、大きさ、画質を調整することが可能となる。
【００１４】
この態様において、前記画像変換部は、各領域の画質が異なるように画像データを変換してもよい。この画像変換部では、符号化で求められるほど厳密な画質の調整は必要なく、簡単な処理で各領域の画質を異ならせることができるうえ、画質変換部で得られた画像は、符号化によって得られた画像と近い。したがって、この画質変換部にて簡単な処理で得られた画像を表示装置に表示することにより、ユーザは符号化された画像の各領域の画質レベルをリアルタイムに認識することができるとともに、復号したときの画像イメージをも把握することができる。
【００１５】
この態様において、前記画像変換部は、各領域の色彩が異なるように画像データを変換してもよい。これによれば、符号化した際の各領域の画質レベルの違いが色彩の差異によって表示されるため、表示される画像はすべての領域においてはっきりと表示される。したがって、ユーザは符号化された画像の各領域の画質レベルを認識できるとともに、画像全体に映っている内容をすべての領域で把握することができる。
【００１６】
この態様において、前記画像変換部は、各領域の輝度が異なるように画像データを変換してもよい。人間の目は輝度の変化に敏感であり、わずかな輝度の違いも認識することができる。したがって、表示装置が低解像度であったり、色が出力されないモノクロのものである場合でも、各領域の輝度を異ならせた画像を表示装置に表示すれば、符号化した際の各領域の画質レベルを容易に把握可能となる。
【００１７】
この態様において、前記画像変換部は、前記画像に対し網掛けを行う工程を含み、各領域の網掛けの濃淡が異なるように画像データを変換してもよい。網掛けの工程は、一定の画素間隔ごとに画像データを置換すれば実現できるので、容易に実装可能である。したがって、低いコストでユーザは符号化された画像の各領域の画質レベルを認識可能な画像処理装置を実現できる。
【００１８】
本発明の別の態様は、撮像装置に関する。この装置は、画像を取り込む撮像部と、画像内を複数の領域に設定する領域設定部と、前記撮像部から出力された画像データを、前記領域設定部にて設定された各領域毎に画質を異ならせて符号化する符号化部と、前記撮像部から出力された画像データに対して所定の処理を施すことにより画像データの変換を行い、この変換の度合いは、前記符号化手段によって符号化する各領域の画質レベルに応じて、各領域毎に決定される画像変換部と、前記画像変換部によって変換された画像データをディスプレイ上に表示させる表示部と、を具備することを特徴とする。
【００１９】
この態様によれば、ユーザは、撮影前若しくは撮影中に、表示装置によって画像内の複数の領域がどのような画質レベルで符号化されるかを、リアルタイムに認識することが可能である。
【００２０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００２１】
本発明によれば、画像を複数の領域で画質が異なるように符号化する際に、ユーザが、リアルタイムに複数の領域の画質を認識することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の好適な実施形態１〜６を基に説明する。これらの実施形態は、デジタルカメラに関する。
【００２３】
（実施形態１）
図１は実施形態１に係るデジタルカメラ１００の構成図である。デジタルカメラ１００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２４】
デジタルカメラ１００は、画像を取り込むＣＣＤ１１０、ＣＣＤ１１０で取り込んだ画像に対し所定の処理を施し、符号化画像データと表示用画像データを生成する画像処理回路１２０、符号化画像データを記録する記録装置１６０、表示用画像データを表示する表示装置１４０により構成される。
【００２５】
記録装置１６０は、デジタルカメラ１００に内蔵された半導体メモリやハードディスクによって実現できる。また脱着可能な記録媒体と、この記録媒体を挿入できるスロット、及び記録媒体へのアクセスを制御する回路によって構成してもよい。脱着可能な記録媒体としては、例えば、半導体メモリやハードディスク、光ディスク、光磁気ディスクなどがある。
【００２６】
表示装置１４０は、デジタルカメラ１００に備えられた液晶ディスプレイによって構成される。また、外部のモニタとケーブルで接続することによって表示装置１４０を構成してもよい。
【００２７】
画像処理回路１２０は、信号処理部１２１、フレームバッファ１２２、ＲＯＩ領域設定部１２３、画像変換部１２４、符号化部１２５、復号部１２６、スイッチＳＷ１、表示回路１２７、画質設定部１２８、及び制御部１３０によって構成されている。
【００２８】
信号処理部１２１は、ＣＣＤ１１０の出力信号から画像信号を取り出し、デジタル信号に変換後、画素欠陥補正や、ホワイトバランス補正、ガンマ補正などの補正を行う。フレームバッファ１２２は、ＳＤＲＡＭなどの大容量半導体メモリによって構成され、信号処理部１２１によって補正された画像データを記録する。このフレームバッファ１２２は、１フレーム若しくは数フレーム分の画像データを蓄積することが可能である。
【００２９】
ＲＯＩ領域設定部１２３は、原画像上の注目領域を選択し、注目領域の位置を示すＲＯＩ位置情報を画像変換部１２４と符号化部１２５に与える。ＲＯＩ位置情報は、注目領域が矩形で選択される場合は、矩形領域の左上隅の画素の座標値と矩形領域の縦横の画素数で与えられる。
【００３０】
注目領域は、ユーザが原画像上の特定の領域を指定することによって選択されてもよく、原画像の中心領域など予め定まった領域が選択されてもよい。また、人物や文字が写っている領域などの重要領域が注目領域として自動的に抽出されてもよい。自動的に抽出する方法としては、例えば、原画像をオブジェクトと背景とに分離し、各オブジェクト毎に特徴点を抽出して、そのオブジェクトに人物や文字が写っているか否かを判定する方法がある。もしくは、原画像を複数のブロックに分割し、ブロック毎に動きベクトルを求め、あるブロックの動きベクトルが他のブロックの動きベクトルと異なっている場合、そのブロックを注目領域として自動的に抽出してもよい。
【００３１】
ＲＯＩ領域設定部１２３は、原画像上の複数の注目領域を選択し、各注目領域の位置を示すＲＯＩ位置情報を画像変換部１２４と符号化部１２５に与えることもできる。複数の注目領域には重なりがあってもよく、注目領域の内部に非注目領域が含まれてもよい。
【００３２】
ＲＯＩ領域設定部１２３は、複数の領域間で画質の優先度を設定し、この情報を画質設定部１２８に与える。たとえば、複数の注目領域として、画像の中心部および中心部の周辺が選択され、それ以外の外周部が非注目領域とされた場合、画像の中心部は、高画質で再生されるように優先度を高く設定し、中心部の周辺は、標準画質で再生されるように優先度を低く設定する。別の例として、複数の注目領域として、文字が写っている領域と人物の顔が写っている領域が選択された場合、文字の領域は最高画質となるように優先度を最も高く設定し、顔の領域は高画質になるように優先度をその次に設定し、それ以外の領域は標準画質となるように非注目領域とする。プライバシーを保護する目的で、人物の顔が写っている領域が低画質となるように、低い優先度を設定したり、非注目領域に設定してもよい。
【００３３】
図２は、原画像８０に複数の注目領域が設けられた場合の優先度の設定例を説明する図である。同図のように、原画像１に２つの注目領域８１、８３が設定された場合、ＲＯＩ領域設定部１２３は、たとえば、第１の注目領域８１（以下、ＲＯＩ１とする）、第２の注目領域８３（以下、ＲＯＩ２とする）、それ以外の非注目領域（以下、非ＲＯＩと呼ぶ）の順に優先度が低くなるように優先順位を設定する。
【００３４】
ＲＯＩ領域設定部１２３で設定した「画質の優先度」は、各領域の画質の相対的な関係を表すのに対し、画質設定部１２８では、画質の絶対的なレベルを決定する。画質設定部１２８は、ＲＯＩ領域設定部１２３から得た各領域の画質の優先度をもとに、各領域の画質レベルを決定し、この情報を画像変換部１２４と符号化部１２５に与える。また、各領域の画質レベルは、後述の符号化部１２５から得られる符号量によって、調整することができる。すなわち、符号量が目標値よりも大きくなった場合は、画像全体の画質レベルを下げたり、優先度の低い領域の画質を下げたりすることによって、符号量を低減する。一方、符号量が目標値よりも小さい場合は、画像全体の画質レベルを上げたり、優先度の高い領域の画質を上げる等によって、符号量を増加させる。このとき、画質レベルは、画質の優先度にしたがって、その相対的な関係が崩れないように調整される。
【００３５】
符号化部１２５は、フレームバッファ１２２より入力された画像データ（以下、原画像と言う）を、一例としてＩＳＯ／ＩＴＵ−Ｔで標準化された画像圧縮方式であるＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１：２００１）により圧縮符号化する。符号化部１２５に入力される画像は、動画像のフレームである。符号化部１２５は、動画像の各フレームをＪＰＥＧ２０００方式で連続的に符号化し、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−３：２００２）で標準化されたフォーマットに従って、動画像の符号化ストリームを生成することができる。
【００３６】
図３は、符号化部１２５の構成図を示したものである。ウェーブレット変換部１０は、原画像をサブバンド分割して、各サブバンド画像のウェーブレット変換係数を計算し、階層化されたウェーブレット変換係数を生成する。
【００３７】
ウェーブレット変換部１０は、原画像のｘ、ｙそれぞれの方向においてローパスフィルタおよびハイパスフィルタを適用し、４つの周波数サブバンドへ分割してウェーブレット変換する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。
【００３８】
ウェーブレット変換部１０は、こうして得られたサブバンドのうち、ＬＬサブバンドに対して再度フィルタリング処理を行って、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割してウェーブレット変換する。ウェーブレット変換部１０は、このフィルタリングを所定の回数行って、原画像をサブバンド画像に階層化し、各サブバンドのウェーブレット変換係数を出力する。量子化部１２は、ウェーブレット変換部１０から出力されたウェーブレット変換係数を所定の量子化幅で量子化する。
【００３９】
ＲＯＩマスク生成部２０は、ＲＯＩ領域設定部１２３から出力されたＲＯＩ位置情報をもとに、注目領域に対応するウェーブレット変換係数すなわちＲＯＩ変換係数を特定するためのＲＯＩマスクを生成する。
【００４０】
図４（ａ）〜（ｃ）は、ＲＯＩマスク生成部２０により生成されるＲＯＩマスクを説明する図である。図４（ａ）のように、ＲＯＩ領域設定部１２３により原画像８０上に注目領域９０が選択されたとする。ＲＯＩマスク生成部２０は、原画像８０上に選択された注目領域９０を復元するために必要なウェーブレット変換係数を各サブバンドにおいて特定する。
【００４１】
図４（ｂ）は、原画像８０を１回だけウェーブレット変換することにより得られる第１階層の変換画像８２を示す。第１階層の変換画像８２は、第１レベルの４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１から構成される。ＲＯＩマスク生成部２０は、原画像８０の注目領域９０を復元するために必要な第１階層の変換画像８２上のウェーブレット変換係数、すなわちＲＯＩ変換係数９１〜９４を第１レベルの各サブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１において特定する。
【００４２】
図４（ｃ）は、図４（ｂ）の変換画像８２の最低周波数成分のサブバンドＬＬ１をさらにウェーブレット変換することにより得られる第２階層の変換画像８４を示す。第２階層の変換画像８４は、同図のように、第１レベルの３つのサブバンドＨＬ１、ＬＨ１、ＨＨ１の他、第２レベルの４つのサブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２を含む。ＲＯＩマスク生成部２０は、第１階層の変換画像８２のサブバンドＬＬ１におけるＲＯＩ変換係数９１を復元するために必要な第２階層の変換画像８４上のウェーブレット変換係数、すなわちＲＯＩ変換係数９５〜９８を第２レベルの各サブバンドＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２において特定する。
【００４３】
同様にして、ウェーブレット変換の回数だけ注目領域９０に対応するＲＯＩ変換係数を各階層において再帰的に特定していくことにより、最終階層の変換画像において、注目領域９０を復元するために必要なＲＯＩ変換係数をすべて特定することができる。ＲＯＩマスク生成部２０は、この最終的に特定されたＲＯＩ変換係数の位置を最終階層の変換画像上で特定するためのＲＯＩマスクを生成する。たとえば、ウェーブレット変換を２回だけ行う場合には、図４（ｃ）において斜線で示した７個のＲＯＩ変換係数９２〜９８の位置を特定することのできるＲＯＩマスクが生成される。
【００４４】
零置換ビット数決定部１９は、画質決定部１２８にて設定された画質レベルに基づいて、非注目領域に対応するウェーブレット変換係数すなわち非ＲＯＩ変換係数のビット列において零置換する下位ビット数Ｓ０と、複数の注目領域の各々に対応するウェーブレット変換係数すなわちＲＯＩ変換係数のビット列において零置換する下位ビット数Ｓｉ（ｉ＝１，・・・，Ｎ；Ｎは注目領域の数）を決める。
【００４５】
図２の例では、零置換ビット数決定部１９は、たとえば原画像のウェーブレット変換係数が７ビットプレーンからなるとき、第１優先の注目領域ＲＯＩ１については零置換ビット数Ｓ１を０に、第２優先の注目領域ＲＯＩ２については零置換ビット数Ｓ２を２に、非注目領域については零置換ビット数Ｓ０を４に設定する。すなわち、優先度が低いほど、零置換ビット数を大きくとる。
【００４６】
下位ビット零置換部２４は、ＲＯＩマスク生成部２０により生成された各注目領域に対するＲＯＩマスクを参照して、ＲＯＩマスクによってマスクされない非ＲＯＩ変換係数のビット列において最下位ビットから数えてＳ０ビットだけを零に置換するとともに、ＲＯＩマスクによってマスクされたＲＯＩ変換係数のビット列においても最下位ビットから数えてＳｉビットだけを零に置換する。
【００４７】
図５（ａ）〜（ｃ）は、下位ビット零置換部２４により原画像のウェーブレット変換係数６０の下位ビットが零置換される様子を説明する図である。図５（ａ）は、量子化部１２による量子化後のウェーブレット変換係数６０を示し、７ビットプレーンを含み、ＲＯＩ変換係数は斜線で示されている。この図は、図２の２つの注目領域ＲＯＩ１、ＲＯＩ２を含む原画像８０の例において、Ｐ１−Ｐ２の線上の画素に対応するウェーブレット変換係数のビット列を図示したものである。
【００４８】
図５（ｂ）に示すように、下位ビット零置換部２４は、ＲＯＩマスクによりマスクされていない非ＲＯＩ変換係数のＬＳＢ側のＳ０ビットを零に置換する。この例では、Ｓ０＝４であり、符号６４で示すように、非ＲＯＩ変換係数のＬＳＢ側の４ビットが零に置換されている。さらに、下位ビット零置換部２４は、ＲＯＩマスクによりマスクされたＲＯＩ変換係数のＬＳＢ側のＳｉビットを零に置換する。この例では、２つの注目領域ＲＯＩ１、ＲＯＩ２が設定されており、それぞれの零置換ビット数Ｓ１、Ｓ２は、Ｓ１＝０、Ｓ２＝２であり、符号６６で示すように、ＲＯＩ２に対応するＲＯＩ変換係数のＬＳＢ側の２ビットが零に置換されている。このようにして、下位ビット零置換部２４によって零置換されたウェーブレット変換係数６２が得られる。
【００４９】
図３のエントロピー符号化部１４は、図５（ｃ）の矢印に示すように、ＲＯＩ変換係数と零置換された非ＲＯＩ変換係数を含むウェーブレット変換係数６２を上位ビットプレーンから順にスキャンしながらエントロピー符号化する。
【００５０】
符号化データ生成部１６は、エントロピー符号化されたデータを量子化幅等の符号化パラメータとともにストリーム化して、符号化画像データとして出力する。また、ストリーム化したときの符号量を積算し、画質設定部１２８へ与える。
【００５１】
符号化画像データは、記録装置１６０に記録される。また、この符号化画像データは、再生時の画質の異なる複数の領域を含むものであり、復号部１２６によって記録装置１６０から読み出され、復号されて、表示装置１４０の画面上で再生される。
【００５２】
図１の画像変換部１２４は、画像の高周波成分を除去するフィルタを備えており、フレームバッファ１２２より入力された画像データ（原画像）に対し、ＲＯＩ領域設定部１２３及び画質設定部１２４によって設定された各領域の画質が異なるように、フィルタ処理をリアルタイムに行う。画像変換部１２４は、カメラ１００が撮像モード時に、ＣＣＤ１１０で取り込んだ画像を表示装置１４０に表示させるためのスルー画像（ＣＣＤ１１０で取り込んだ、圧縮・伸張されない画像）を作成するためのもので、符号化部１２５と独立して動作する。ここで、撮像モードとは、表示装置１４０にスルー画像を表示し、ユーザがそれを確認しながら、被写体の大きさや撮像条件を決定して、シャッターボタンを押すことにより、画像を符号化部１２５で圧縮し、記録部１３０に記録するモードのことである。また、動画撮像時においても、表示装置には撮像中のスルー画像が表示装置１４０に表示される。
【００５３】
仮に、撮像モードにおいて、複数の領域で画質を異ならせて符号化したデータを再度復号し、復号して得られた画像を表示させることによって、それぞれの領域の画質を確認することも可能であるが、符号化及び復号による処理時間が大きいため、リアルタイム性が失われる。また、撮影前において、それぞれの領域の画質を確認するためだけに符号化及び復号を行うことは甚だ無駄になってしまう。これに対し本実施形態は、撮像モード時に、画像変換部１２４によって、各領域の画質を異ならせた画像をリアルタイムに生成し、この画像を表示装置に表示することによって、それぞれの領域の画質レベルを即座に確認することが可能としている。
【００５４】
画像変換部１２４の構成図を図６に示す。画像変換部１２４は、フィルタ部３０、領域判定部３１、及びフィルタ係数決定部３２を備えている。フィルタ部３０は、入力された原画像の各画素に対してフィルタ処理を行い、スルー画像を生成する。図７（ａ）は、フィルタ部３０の例を示したものである。このフィルタは、原画像の水平方向に並んだｎ個の画素ＯＰ１〜ＯＰｎから、スルー画像の画素ＴＰｍを求める。すなわち、原画像の画素ＯＰ１〜ＯＰｎそれぞれに対し、フィルタ係数ａ１〜ａｎを乗算し、それらの結果を加算することによって、スルー画像の画素ＴＰｍを算出するローパスフィルタである。
【００５５】
フィルタ部３０で使用するフィルタ係数は以下の方法で決定される。フィルタ部３０は、フィルタ処理を行う画素の座標位置を領域判定部３１に送る。領域判定部３１は、フィルタ部３０からフィルタ処理を行う画素の座標位置情報を受け取ると、ＲＯＩ領域設定部１２３が出力したＲＯＩ位置情報と比較して、フィルタ処理を行う画素が注目領域に位置するか否か、また注目領域が複数存在する場合は、どの注目領域に位置するのかを判定し、その結果をフィルタ係数決定部３２へ出力する。
【００５６】
フィルタ係数決定部３２は、領域判定部３１の結果と画質設定部１２８が出力した各領域の画質レベルから、フィルタ処理を行う画素が属する領域の画質レベルを特定し、画質レベルに対応したフィルタ係数をフィルタ部３０に出力する。画質レベルとフィルタ係数の対応は、テーブルによってフィルタ係数決定部３２に格納されている。例えばフィルタ部３０が図７（ａ）によって構成されている場合、図７（ｂ）のようなテーブルがフィルタ係数決定部３２に存在する。このテーブルではｉ個の画質レベルに対して、フィルタ係数ａ１〜ａｎが定められている。フィルタ係数決定部３２は、特定したフィルタ処理を行う画素が属する領域の画質に対応したフィルタ係数ａ１〜ａｎを、フィルタ部３０に対して出力する。なお、テーブルにはすべての画質レベルに対してフィルタ係数を用意する必要はなく、代表的な画質レベルに対してのみフィルタ係数を用意してもよい。この場合、テーブルにない画質レベルに対しては、その画質レベルに近いフィルタ係数をフィルタ部３０に対して出力する。
【００５７】
図７では、水平方向の画素にローパスフィルタを施す例を示したが、同様な構成のローパスフィルタを垂直方向の画素に対して施してもよい。また、水平・垂直の両方に対してローパスフィルタを施してもよい。この場合、ローパスフィルタを施す画素数ｎは水平方向と垂直方向で異なってもよい。解像度レベルとフィルタ係数の対応テーブルは水平方向のローパスフィルタと垂直方向のローパスフィルタで別々に持たしてもよいし、同じテーブルを用いてそれぞれのフィルタ係数を決定してもよい。
【００５８】
また、ローパスフィルタを施す前に、原画像の各画素データに対し、下位ビットをゼロに置換する処理を施してもよい。これにより、符号化画像データを復号したときの画像と近い画像が、画像変換部１２４によって生成可能となる。ゼロに置換するビット数は、フィルタ係数決定部３２のテーブルに、フィルタ係数と合わせて格納される。
【００５９】
以上のようにして、画像変換部１２４は、ＲＯＩ領域設定部１２３が設定した領域ごとに、画質を異ならせた画像を生成することが可能である。
【００６０】
図１の表示回路１２７は、表示装置１４０に対して表示対象となる画像を、表示装置１４０の仕様に合わせて出力する。例えば、表示回路１２７は、画素数変換工程を備えており、この工程で、表示対象の画像を表示装置１４０の画素数にあうように拡大・縮小を行う。そして、拡大・縮小された画像の各画素データを、表示装置１４０の駆動信号とともに、表示装置１４０に出力する。表示装置１４０は、表示回路１２７からの駆動信号と画素データをもとに、ディスプレイに画像を表示する。この表示回路１２７と表示装置１４０が、本発明の「表示部」の一例である。
【００６１】
図１のデジタルカメラ１００には、表示回路１２７の前にスイッチＳＷ１が備えられている。このスイッチＳＷ１には、画像変換部１２４で生成されたスルー画像と、復号部１２６で生成された復号画像とが入力され、スイッチＳＷ１の接続状態により、どちらかの画像が表示回路１２７へと出力される。
【００６２】
このスイッチＳＷ１の接続状態は、制御部１３０によって制御される。例えば、デジタルカメラ１００が撮像モードのとき、すなわち、符号化部１２５で符号化を行うときは、スイッチＳＷ１は画像変換部１２４で生成されたスルー画像に接続され、スルー画像が表示回路１２７へ出力される。また、デジタルカメラ１００が再生モードのとき、すなわち、復号部１２６によって符号化画像データが復号されるときは、スイッチＳＷ１は復号部１２６で復号された画像に接続され、復号画像が表示回路１２７へ出力される。
【００６３】
以上の構成によれば、符号化部１２５で符号化を行うときに、画像変換部１２４は、ＲＯＩ領域設定部１２３で設定した各領域の画質を異ならせた画像をリアルタイムに生成し、この画像を表示装置１４０の表示させることができる。したがって、ユーザは、複数領域の画質を異ならせて符号化し、それを復号したときの画像イメージ、特に各領域がどのような画質レベルで符号化されるかを、表示装置に表示された画像からリアルタイムに認識することが可能になる、という効果を有する。
【００６４】
（実施形態２）
図８は、実施形態２に係るデジタルカメラ１００の構成図である。この構成は、図１に示したデジタルカメラ１００の構成と類似しているので、本実施形態に特徴的な点のみ説明し、それ以外の説明は割愛する。
【００６５】
図８のデジタルカメラ１００には、入力装置１５０が備えられている。この入力装置１５０は、撮影モード時に、ユーザがＲＯＩ領域の位置や大きさ、画質の優先度などをデジタルカメラ１００に対し入力することができる。ＲＯＩ領域設定部１２３は、入力装置１５０に入力されたＲＯＩ領域の位置や大きさにしたがって、ＲＯＩ領域を設定し、その位置情報を画像変換部１２４及び符合化部１２５へ送る。入力装置１５０によってＲＯＩ領域が複数入力された場合は、それぞれの領域の位置情報を画像変換部１２４及び符合化部１２５へ送る。また、ＲＯＩ領域設定部１２３は、入力装置１５０に入力された各ＲＯＩ領域の画質の優先度にしたがって、各領域の優先度を設定し、その情報を画質設定部１２８へ送る。
【００６６】
また、入力装置１５０は、ユーザが表示装置１４０に表示された、各領域の位置、大きさ、画質レベルを確認しながら、入力装置１５０によってそれぞれを調整することが可能である。このとき、入力装置１５０に新たに入力された各領域の位置、大きさ、及び画質の優先度はＲＯＩ領域設定部に反映される。また、入力装置１５０は、画質の優先度を変えることなく、各領域の画質レベルを調整することもできる。この画質レベルは、直接画質設定部１２８に反映される。
【００６７】
図９は、図８のデジタルカメラ１００における、ＲＯＩ領域の位置、大きさ、画質の設定及び調整を行う際のフローチャートを示したものである。デジタルカメラ１００が撮像モードに設定されると（Ｓ１０）、ユーザは入力装置からＲＯＩ領域の位置、大きさ、及び画質の優先度を設定することができる（Ｓ１１）。これらが設定されると、各領域の位置、大きさ、及び画質設定部１２８で適宜きめられた画質レベルがリアルタイムに表示装置１４０に表示される（Ｓ１２）。ユーザは、表示装置１４０に表示された画像を確認し（Ｓ１３）、ＲＯＩ領域の位置、大きさ、画質の優先度、及び画質レベルを変更したい場合は、Ｓ１１に戻ってこれらを調整する。また、問題なければ、ユーザは入力装置に備えられたシャッターボタンを押すことにより、設定されたＲＯＩ領域の条件にしたがって、画像を符号化部１２５で符号化し、記録装置１６０に記録する（Ｓ１４）。なお、Ｓ１１でユーザが特にＲＯＩ領域を設定しなければ、表示装置１４０には画像内が均一の画質になるように画像が表示され、また符合化部１２５では、画像内が均一の画質となるように画像を符号化する。
【００６８】
以上のような構成によれば、表示装置１４０にリアルタイムに表示された画像によって、ユーザが符号化によって得られる画質の異なる領域の位置や大きさ、画質レベルを確認し、即座に調整することができるので、ユーザの利便性が向上する。
【００６９】
（実施形態３）
図１０は、実施形態３に係るデジタルカメラ１００の構成図である。この構成は、図２に示したデジタルカメラ１００の構成と類似しているので、本実施形態に特徴的な点のみ説明し、それ以外の説明は割愛する。
【００７０】
図１０のデジタルカメラ１００は、動き検出部１２９が備えられている。これにより、動画撮影時に、一旦設定されたＲＯＩ領域がオブジェクトの動きにあわせて追尾され、自動で設定される。動き検出部１２９は、指定されたオブジェクトの位置を検出し、ＲＯＩ領域設定部１２３に出力する。オブジェクトの指定は、ユーザがしてもよいし、ユーザが指定したＲＯＩ領域の中から動き検出部１２９が自動で認識してもよい。また、画像の全体から自動で認識してもよい。このオブジェクトの指定は、複数であってもよい。
【００７１】
動画像の場合、オブジェクトの位置は、動きベクトルで表すことができる。以下、動きベクトル検出方法の具体例を説明する。第１に、動き検出部１２９は、ＳＲＡＭやＳＤＲＡＭ等のメモリを備え、オブジェクトの指定時にそのフレーム内にて指定されたオブジェクトの画像を、参照画像として当該メモリに保存する。参照画像は、指定位置を含む所定の大きさのブロックを保存するとよい。動き検出部１２９は、参照画像と現フレームの画像とを比較することにより、動きベクトルを検出する。動きベクトルの算出には、ウェーブレット変換係数の高周波成分を用いて、オブジェクトの輪郭成分を特定して行うことができる。また、量子化後のウェーブレット変換係数のＭＳＢ（Most Significant Bit）ビットプレーン、もしくはＭＳＢ側から複数のビットプレーンを用いてもよい。
【００７２】
第２に、動き検出部１２９は、現フレームと、前の、例えば直前のフレームとを比較して、オブジェクトの動きベクトルを検出する。第３に、フレーム画像ではなく、ウェーブレット変換後のウェーブレット変換係数を比較して、動きベクトルを検出する。ウェーブレット変換係数は、ＬＬサブバンド、ＨＬサブバンド、ＬＨサブバンド、およびＨＨサブバンドのいずれを用いてもよい。また、現フレームとの比較対象は、指定時に登録された参照画像でもよいし、前の、例えば直前のフレームから登録された参照画像であってもよい。
【００７３】
第４に、動き検出部１２９は、複数のウェーブレット変換係数を用いて、オブジェクトの動きベクトルを検出する。例えば、ＨＬサブバンド、ＬＨサブバンド、およびＨＨサブバンドごとに動きベクトルを検出し、それら３つの動きベクトルの平均を取ったり、その中から前フレームの動きベクトルに最も近いものを選択したりすることができる。これにより、オブジェクトの動き検出精度を高めることができる。
【００７４】
なお、図１０において動き検出部１２９の入力は、フレームバッファ１２２に蓄積された画像としたが、上述のように、動き検出部１２９はウェーブレット変換係数を用いて動きベクトルを算出してもよく、この場合は、図３に示す符号化部１２５のウェーブレット変換部１０の出力を動き検出部１２９の入力としてもよい。
【００７５】
また、ユーザは、画像内においてこのような動きベクトルを検出する範囲を予め動き検出部１２９に指定してもよい。例えば、コンビニエンスストア等の店舗の監視カメラに本画像符号化装置を適用する場合、レジから一定の範囲に入った人物等のオブジェクトを注目し、そこから出たオブジェクトの動きを注目しないといった処理が可能になる。
【００７６】
ＲＯＩ領域設定部１２３は、動き検出部１２９からオブジェクトの動きベクトル等の位置情報を取得し、それに対応させてＲＯＩ領域を移動させる。動き検出部１２９の検出方法により、初期設定のＲＯＩ領域の位置からの移動量、または直前のフレームからの移動量を算出し、現フレームのＲＯＩ領域の位置を決定する。
【００７７】
画像変換部１２４は、ＲＯＩ領域設定部１２３のＲＯＩ領域の位置情報、及び画質設定部１２８の画質レベルに従って、各領域の画質が異なるように画像変換を行う。また、符号化部１２５も同様に、ＲＯＩ領域設定部１２３のＲＯＩ領域の位置情報、及び画質設定部１２８の画質レベルに従って、各領域の画質が異なるように符号化する。そして、デジタルカメラ１００が撮像モードのとき、すなわち、符号化部１２５で符号化を行うときは、画像変換部１２４で生成されたスルー画像がリアルタイムに表示回路１２７へ出力される。
【００７８】
図１１は、図１０のデジタルカメラ１００におけるＲＯＩ領域の位置、大きさ、画質の設定及び調整を行う際のフローチャートを示したものである。デジタルカメラ１００が撮像モードに設定されると（Ｓ２０）、ユーザは、入力装置１５０を介してＲＯＩ領域の位置、大きさ、および画質の優先度を入力し、これらを初期値としてＲＯＩ領域設定部１２３に設定する（Ｓ２１）。なお、ユーザがオブジェクトを指定した場合、もしくは動き検出部１２９が自動認識した場合、ＲＯＩ領域設定部１２３がそのオブジェクトを含む所定の範囲をＲＯＩ領域に自動設定してもよい。
【００７９】
ＲＯＩ領域の形は、矩形、丸、その他の複雑な形であってもよい。ＲＯＩ領域自体の形は、固定が原則であるが、画像の中心部分と周辺部分とで領域の形を可変させてもよいし、ユーザ操作により動的に可変してもよい。また、ＲＯＩ領域は複数設定されてもよい。
【００８０】
ＲＯＩ領域の位置、大きさ、及び画質の優先度が設定されると、各領域の位置、大きさ、及び画質設定部１２８で適宜きめられた画質レベルが、リアルタイムに表示装置１４０に表示される（Ｓ２２）。ユーザは、表示装置１４０に表示された画像を確認し（Ｓ２３）、ＲＯＩ領域の位置、大きさ、画質の優先度、及び実施形態２と同様の方法で画質レベルを変更したい場合は、Ｓ２１に戻ってこれらを調整する。また、問題なければ、ユーザは入力装置に備えられたシャッターボタンを押すことにより、動画像の撮影を開始する（Ｓ２４）。
【００８１】
動画像の撮影が開始されると、動き検出部１２９によってＲＯＩ領域が追尾され、ＲＯＩ領域設定部１２３にてＲＯＩ領域の位置や大きさが自動設定される。また、実施形態１に記載した方法によって、符号化部１２５から出力された符号量から、各領域の画質レベルが画質設定部１２８にて自動設定される（Ｓ２５）。そして、これら各領域の位置、大きさ、及び画質レベルを反映したスルー画像が表示される（Ｓ２６）とともに、同じく各領域の位置、大きさ、及び画質レベルを反映して符号化部１２５で符号化が行われ、記録装置１６０に記録される（Ｓ２７）。ユーザは動画撮影中においても、Ｓ２６で表示された画像を確認し、ＲＯＩ領域の位置、大きさ、画質の優先度、及び画質レベルの設定を変更することができる（Ｓ２８）。また、Ｓ２８では撮影を終了する支持も受け付ける。撮影の終了は、シャッターボタンを再び押すことによって認識することができる。
【００８２】
Ｓ２８でユーザの設定変更がない場合、Ｓ２５に戻り、デジタルカメラ１００は、ＲＯＩ領域の位置、大きさ、画質レベルを自動設定する。また、Ｓ２８でユーザの設定変更があった場合、それが撮影終了の支持か否かを判定する（Ｓ２９）。撮影終了の支持であった場合は、撮影を終了する（Ｓ３０）。撮影終了の支持でない場合は、ユーザから設定変更されたＲＯＩ領域の位置、大きさ、画質の優先度、若しくは画質レベルをＲＯＩ領域設定部１２３、或いは画質設定部１２８に反映させ、Ｓ２６に戻る。
【００８３】
以上、このような構成によれば、次のような効果を有する。
（１）動画撮影時のように、連続して符号化を行うような場合あっても、画像変換部１２４によって各領域の位置、大きさ、画質レベルを反映させたスルー画像をリアルタイムに生成し、表示装置１４０にて見ることができるので、ユーザが常に符号化された動画像の各領域の位置、大きさ、画質レベルを即座に把握することができる。この効果は、ＲＯＩ領域を追尾し、その位置や大きさ、及び画質レベルを自動設定するような場合に、自動設定された結果を即座に把握できるため、特に有効である。
（２）動画撮影のような、連続して符号化を行う場合でも、ユーザが符号化によって得られる画質の異なる領域の位置や大きさ、画質レベルを確認し、即座に設定変更することができ、更にこれらの変更がリアルタイムにスルー画像に反映されるので、ユーザの利便性が向上する。
【００８４】
（実施形態４）
実施形態４に係るデジタルカメラ１００は図１と同じ構成を持つが、画像変換部１２４の働きが異なる。本実施形態における画像変換部１２４は、画像が持つ輝度データを各画素毎に変換する工程を備えており、フレームバッファ１２２より入力された画像データ（原画像）に対し、ＲＯＩ領域設定部１２３によって設定された各領域の画質が異なるように、輝度変換を行う。
【００８５】
画像変換部１２４の構成図を図１２（ａ）に示す。画像変換部１２４は、輝度変換部３３、領域判定部３１、及び輝度変換係数決定部３４を備えている。輝度変換部３３は、入力された原画像の各画素に対して輝度変換を行い、スルー画像を生成する。輝度変換は以下の式によって行う。
【００８６】
ＴＰＹ（ｘ、ｙ）＝ａＹ（ｘ、ｙ）・ＯＰＹ（ｘ、ｙ）  ・・・（１）
ここで、ＯＰＹは原画像の輝度データ、ＴＰＹはスルー画像の輝度データであり、（ｘ、ｙ）はそれぞれの画像における画素位置を表している。また、ａＹ（ｘ、ｙ）は、原画像の画素（ｘ、ｙ）における輝度変換係数である。
【００８７】
この輝度変換係数ａＹ（ｘ、ｙ）は以下の方法で決定される。輝度変換部３３は、輝度変換を行う画素の座標位置（ｘ、ｙ）を領域判定部３１に送る。領域判定部３１は、輝度変換部３３から画素の座標位置情報を受け取ると、ＲＯＩ領域設定部１２３が出力したＲＯＩ位置情報と比較して、輝度変換を行う画素が注目領域に位置するか否か、また注目領域が複数存在する場合は、どの注目領域に位置するのかを判定し、その結果を輝度変換係数決定部３４へ出力する。
【００８８】
輝度変換係数決定部３４は、領域判定部３１の結果と画質設定部１２８が出力した各領域の画質レベルから、輝度変換を行う画素が属する領域の画質レベルを特定し、画質レベルに対応した輝度変換係数ａＹ（ｘ、ｙ）を輝度変換部３３に出力する。画質レベルと輝度変換係数の対応は、テーブルによって輝度変換係数決定部３４に格納されている。図１２（ｂ）は、画質レベルと輝度変換係数の対応を示したテーブルの一例である。このテーブルではｉ個の画質レベルに対して、輝度変換係数が定められている。高画質に対応した画質レベルほど輝度変換係数として１に近い値が、低画質に対応した画質レベルほど輝度変換係数として０に近い値がテーブルに格納されている。これにより、高画質な領域の輝度レベルは、原画像に近いレベルに保たれ、低画質な領域の輝度レベルは小さく抑えられる。したがって、画像変換部１４０によって出力されるスルー画像は、画質レベルが低い領域ほど暗い画像となる。
【００８９】
なお、テーブルにはすべての画質レベルに対して輝度変換係数を用意する必要はなく、代表的な画質レベルに対してのみ輝度変換係数を用意してもよい。この場合、テーブルにない画質レベルに対しては、その画質レベルに近い輝度変換係数を輝度変換部３３に対して出力する。
【００９０】
以上の構成によれば、符号化部１２５で符号化を行うときに、画像変換部１２４は、簡単な構成によって、ＲＯＩ領域設定部１２３で設定した各領域の画質レベルを、輝度レベルの明暗で表した画像をリアルタイムに生成し、この画像を表示装置１４０の表示させることができる。したがって、ユーザは、複数領域の画質を異ならせて符号化した画像において、各領域がどのような画質レベルで符号化されるかを、表示装置に表示された画像からリアルタイムに認識することが可能になる、という効果を有する。さらに、人間の目は輝度の変化に敏感であるため、各領域の輝度を異ならせた画像を表示装置に表示すれば、符号化した際の各領域の画質レベルを容易に把握することができる。
【００９１】
（実施形態５）
実施形態５に係るデジタルカメラ１００は図１と同じ構成を持つが、画像変換部１２４の働きが異なる。本実施形態における画像変換部１２４は、画像が持つ色差データを各画素毎に変換する工程を備えており、フレームバッファ１２２より入力された画像データ（原画像）に対し、ＲＯＩ領域設定部１２３によって設定された各領域の画質が異なるように、色変換を行う。
【００９２】
本実施形態における画像変換部１２４の構成図を図１３（ａ）に示す。画像変換部１２４は、色変換部３５、領域判定部３１、及び色変換係数決定部３６を備えている。色変換部３５は、入力された原画像の各画素が持つ色差データに対して、色変換係数を乗算することにより色変換を行い、スルー画像を生成する。色変換は以下の式によって行う。
【００９３】
ＴＰＣ（ｘ、ｙ）＝ａＣ（ｘ、ｙ）・ＯＰＣ（ｘ、ｙ）  ・・・（２）
ここで、ＯＰＣは原画像の色差データ、ＴＰＣはスルー画像の色差データであり、（ｘ、ｙ）はそれぞれの画像における画素位置を表している。また、それぞれの色差データが取りうる値の範囲は、ともに−１２８〜１２７である。ａＣ（ｘ、ｙ）は、原画像の画素（ｘ、ｙ）における色変換係数である。
【００９４】
この色変換係数ａＣ（ｘ、ｙ）は以下の方法で決定される。色変換部３５は、色変換を行う画素の座標位置（ｘ、ｙ）を領域判定部３１に送る。領域判定部３１は、色変換部３５から画素の座標位置情報を受け取ると、ＲＯＩ領域設定部１２３が出力したＲＯＩ位置情報と比較して、色変換を行う画素が注目領域に位置するか否か、また注目領域が複数存在する場合は、どの注目領域に位置するのかを判定し、その結果を色変換係数決定部３６へ出力する。
【００９５】
色変換係数決定部３６は、領域判定部３１の結果と画質設定部１２８が出力した各領域の画質レベルから、色変換を行う画素が属する領域の画質レベルを特定し、画質レベルに対応した色変換係数ａＣ（ｘ、ｙ）を色変換部３５に出力する。画質レベルと色変換係数の対応は、テーブルによって色変換係数決定部３４に格納されている。図１３（ｂ）は、画質レベルと色変換係数の対応を示したテーブルの一例である。このテーブルではｉ個の画質レベルに対して、色変換係数が定められている。高画質に対応した画質レベルほど色変換係数として１に近い値が、低画質に対応した画質レベルほど色変換係数として０に近い値がテーブルに格納されている。これにより、高画質な領域の色レベルは、原画像に近いレベルに保たれ、低画質な領域の色レベルは小さく抑えられる。したがって、画像変換部１４０によって出力されるスルー画像は、画質レベルが低い領域ほど色のない、すなわち白黒に近い画像となり、画質レベルの差異が容易に認識できる。
【００９６】
なお、テーブルにはすべての画質レベルに対して色変換係数を用意する必要はなく、代表的な画質レベルに対してのみ色変換係数を用意してもよい。この場合、テーブルにない画質レベルに対しては、その画質レベルに近い色変換係数を色変換部３５に対して出力する。
【００９７】
また、色差データにはＣｂ，Ｃｒの２種類存在するが、画質レベルと色変換係数の対応を示したテーブルは、それぞれ同じものを使用してもよいし、異なるテーブルを用意して使用してもよい。また、色差データＣｂ，Ｃｒのどちらか一方のみを色（２）による変換を行い、もう一方の色差データは原画像のデータをそのままスルー画像のデータとして出力しても良い。
【００９８】
以上の構成によれば、符号化部１２５で符号化を行うときに、画像変換部１２４は、簡単な構成によって、ＲＯＩ領域設定部１２３で設定した各領域の画質レベルを、色レベルの違いで表した画像をリアルタイムに生成し、この画像を表示装置１４０の表示させることができる。また、符号化した際の各領域の画質レベルの違いが色彩の差異によって表示されるため、表示される画像はすべての領域においてはっきりと表示される。したがって、ユーザは符号化された画像の各領域の画質レベルをリアルタイムに認識できるとともに、画像全体に映っている内容をすべての領域で把握することができる、という効果を有する。
【００９９】
（実施形態６）
実施形態６に係るデジタルカメラ１００は図１と同じ構成を持つが、画像変換部１２４の働きが異なる。本実施形態における画像変換部１２４は、画像に対して網掛けを行う工程を備えており、フレームバッファ１２２より入力された画像データ（原画像）に対し、ＲＯＩ領域設定部１２３によって設定された各領域の画質が異なるように、網掛け処理を行う。網掛け処理は、一定の割合で、画素データを黒レベル若しくは灰色レベルに置換することである。
【０１００】
本実施形態における画像変換部１２４の構成図を図１４に示す。画像変換部１２４は、黒データ置換部３７、領域判定部３１、及び網掛け判定部３８を備えている。黒データ置換部３７は、入力された原画像の各画素のうち、後述の網掛け判定部３８によって指定された画素に対して、画素値を黒データに置換する。すなわち、黒データに置換対象の画素データを輝度、色差ともに零に置換する。それ以外のデータは、原画像の画素値をそのままスルー画像として出力する。
【０１０１】
黒データに置換する画素は以下の方法で決定される。黒データ置換部３７は、処理対象となる画素の座標位置を領域判定部３１に送る。領域判定部３１は、黒データ置換部３５から画素の座標位置情報を受け取ると、ＲＯＩ領域設定部１２３が出力したＲＯＩ位置情報と比較して、処理対象の画素が注目領域に位置するか否か、また注目領域が複数存在する場合は、どの注目領域に位置するのかを判定し、その結果を網掛け判定部３８へ出力する。
【０１０２】
網掛け判定部３８は、領域判定部３１の結果と画質設定部１２８が出力した各領域の画質レベルから、処理対象の画素が属する領域の画質レベルを特定する。網掛け判定部３８は、この画質レベルに対応して、処理対象の画素が属する領域における、黒データに置換する画素の割合を決定する。そして、網掛け判定部３８は、決定された黒データに置換する画素の割合に応じて、処理対象の画素を黒レベルに置換するか否かを判定し、この情報を黒レベル置換部３７へ送る。
【０１０３】
画質レベルと黒データに置換する画素の割合の対応は、テーブルによって網掛け判定部３８に格納されている。このテーブルでは複数の画質レベルに対して、黒データに置換する画素の割合が定められている。高画質に対応した画質レベルほど黒データに置換する画素の割合は零に近く、さらに最高画質レベルでは、その割合は零である。この場合、高画質の領域において、原画像の各画素がほぼそのままスルー画像として出力されることになる。一方、低画質に対応した画質レベルほど、黒データに置換する画素の割合は１に近い値になるように、テーブルに格納されている。これにより、低画質の領域に属する多くの画素が、黒レベルに置換される。したがって、画像変換部１４０によって出力されるスルー画像は、画質レベルが低い領域ほど網掛けの濃度が濃い画像となる。
【０１０４】
なお、テーブルにはすべての画質レベルに対して黒データに置換する画素の割合を用意する必要はなく、代表的な画質レベルに対してのみその割合を用意してもよい。この場合、テーブルにない画質レベルに対しては、その画質レベルに近い割合を設定する。
【０１０５】
以上の構成によれば、符号化部１２５で符号化を行うときに、画像変換部１２４は、ＲＯＩ領域設定部１２３で設定した各領域の画質レベルを、網掛けの濃度の違いで表した画像をリアルタイムに生成し、この画像を表示装置１４０の表示させることができる。したがって、ユーザが、複数領域の画質を異ならせて符号化した画像において、各領域がどのような画質レベルで符号化されるかを、表示装置に表示された画像からリアルタイムに認識できる、という効果を有する。また、網掛けの工程は、一定の画素間隔ごとに画像データを置換すれば実現できるので、簡単な構成で容易に実装可能である。
【０１０６】
なお、この実施形態では、画像変換部１２４は、一定の割合で原画像の画素を黒データに置換したが、黒データではなく、ある一定の色のデータ（例えば灰色データ）に置換してもよい。
【０１０７】
以上、本発明を実施形態をもとに説明した。これらの実施形態は例示であり、それらの各構成要素の組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１０８】
例えば、本発明の実施形態として、画像変換部１２４において、画質変換、輝度変換、色変換、及び網掛けによって画像変換を行う例示し、それぞれについて異なった構成を示したが、それぞれ専用の構成をもつのではなく、図７に示すようなフィルタを１つ搭載し、フィルタの係数を変更することによって、画質変換、輝度変換、色変換、及び網掛けをできるようにしてもよい。
【０１０９】
この場合、図７のフィルタによって画質変換を行う際は、実施形態１にて記載した通りにフィルタ係数を設定すればよい。輝度変換を行うときは、輝度データに対して、フィルタ係数ａｍに図１２（ｂ）のテーブルに示された輝度変換係数を設定し、そのほかのフィルタ係数はすべて０にする。また、色差データはフィルタを通さずに出力する、若しくは、フィルタ係数ａｍを１、その他の係数を０に設定する。
【０１１０】
色変換を行うときは、輝度変換のときとは逆に、色差データに対して、フィルタ係数ａｍに図１３（ｂ）のテーブルに示された色変換係数を設定し、そのほかのフィルタ係数はすべて０にする。また、輝度データはフィルタを通さずに出力する、若しくは、フィルタ係数ａｍを１、その他の係数を０に設定する。
【０１１１】
網掛けを行うときは、原画像の画素を黒データに置換する際は、すべてのフィルタ係数を０に設定し、それ以外のときは、フィルタ係数ａｍを１に、その他の係数を０に設定することにより、網掛けを実現できる。
【０１１２】
この構成により、表示装置に表示するスルー画像において、各領域の画質レベルを表現する方法を、画質・輝度・色・網掛けの濃淡のどれにするか、ユーザの意思で選択することができ、よりユーザの利便性が向上する。
【０１１３】
また、本発明の実施形態では、符号化部がＪＰＥＧ２０００方式で画像を符号化する例を示したが、これに限らず、２つ以上の複数の領域を異なる画質で符号化する方式であればよい。
【０１１４】
また、本発明の実施形態では、注目領域を設定し、これ以外の領域を非注目領域として画質を異ならせて符号化するデジタルカメラの例を示したが、これに限るものではなく、例えば非注目領域を設定するようなデジタルカメラも本発明の範疇である。また、注目領域、非注目領域といった区別をせずに、画像を優先度に応じた複数の領域に分けてもよい。上記の実施の形態では、非注目領域と複数の注目領域に優先順位をつけているため、実質的には、非注目領域と注目領域とは優先度の違いがあるにすぎないと捉えることもでき、非注目領域と注目領域の区別をなくして、優先度別に領域を分けた場合でも、同様の処理が可能である。
【０１１５】
さらに、本発明の実施形態では、すべてデジタルカメラについて説明したが、これに限るものではない。例えば、一旦記録装置に記録された画像に対し、注目領域を設定して符号化するような画像処理装置に対しても、本発明に含まれる。
【図面の簡単な説明】
【０１１６】
【図１】実施形態１に係るデジタルカメラの構成図である。
【図２】原画像に複数の注目領域が設けられた場合の優先度の設定例を説明する図である。
【図３】実施形態１に係る符号化部の構成図である。
【図４】原画像の注目領域に対応するウェーブレット変換係数を特定するためのマスクを説明する図である。
【図５】原画像のウェーブレット変換係数の下位ビットが零置換される様子を説明する図である。
【図６】実施形態１に係る画像変換部の構成図である。
【図７】実施形態１に係るフィルタ部の構成図と、画質レベルとフィルタ係数の対応関係を示すテーブルである。
【図８】実施形態２に係るデジタルカメラの構成図である。
【図９】実施形態２に係るデジタルカメラにおいて、表示画像を見ながらＲＯＩ領域の位置、大きさ、画質等の設定を行うフローチャートである。
【図１０】実施形態３に係るデジタルカメラの構成図である。
【図１１】実施形態３に係るデジタルカメラにおいて、表示画像を見ながらＲＯＩ領域の位置、大きさ、画質等の設定を行うフローチャートである。
【図１２】実施形態４に係る画像変換部の構成図と、画質レベルと輝度変換係数の対応関係を示すテーブルである。
【図１３】実施形態５に係る画像変換部の構成図と、画質レベルと色変換係数の対応関係を示すテーブルである。
【図１４】実施形態６に係る画像変換部の構成図である。
【符号の説明】
【０１１７】
３０  フィルタ部
３１  領域判定部
３２  フィルタ係数決定部
３３  輝度変換部
３４  輝度変換係数決定部
３５  色変換部
３６  色変換係数決定部
３７  黒データ置換部
３８  網掛け判定部
１００  デジタルカメラ
１１０  ＣＣＤ
１２０  画像処理回路
１２３  ＲＯＩ領域設定部
１２４  画像変換部
１２５  符号化部
１２６  復号部
１２７  表示回路
１２８  画質設定部
１２９  動き検出部
１３０  記録装置
１４０  表示装置
１５０  入力装置
【図１】
2006074114.tif 000003
【図２】
2006074114.tif 000004
【図３】
2006074114.tif 000005
【図４】
2006074114.tif 000006
【図５】
2006074114.tif 000007
【図６】
2006074114.tif 000008
【図７】
2006074114.tif 000009
【図８】
2006074114.tif 000010
【図９】
2006074114.tif 000011
【図１０】
2006074114.tif 000012
【図１１】
2006074114.tif 000013
【図１２】
2006074114.tif 000014
【図１３】
2006074114.tif 000015
【図１４】
2006074114.tif 000016