(57)【特許請求の範囲】
【請求項１】
撮影された画像全体を一体に扱う方法によってフィルタリング処理を施す空間フィルタと、
前記空間フィルタの処理結果をもとに前記画像を圧縮符号化する符号化部と、
前記空間フィルタの処理において検出された前記画像の高周波成分の量にもとづいて前記画像の撮影状態を判定する判定部と、を含み、
前記画像は複数枚連続撮影されたものであり、前記判定部は、それらの画像のうち高周波成分が最も多いものを好適な撮影状態において撮影された好適な画像とみなすことを特徴とする画像符号化装置。
【請求項２】
前記好適な画像を選択してメモリへ保存する記録制御部をさらに含むことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記判定部により高周波成分の量が所定量よりも少ないと判定された画像について、前記符号化部による圧縮符号化の処理が省かれることを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
前記判定部は、前記複数枚連続撮影された画像の中で高周波成分の分布に所定量を上回る変化があったとき、シーンチェンジがあったと判定することを特徴とする請求項１〜３のいずれかに記載の画像符号化装置。
【請求項５】
前記判定部は、シーンチェンジが検出された場合には、シーンチェンジをまたいで複数枚連続撮影された画像のうち高周波成分が最も多いものを最良画像であるとの判定が行われないようにすることを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記判定部は、前記画像の重要領域の高周波成分をもとに前記画像の撮影状態を判定することを特徴とする請求項１から５のいずれかに記載の画像符号化装置。
【請求項７】
前記空間フィルタは、前記画像に二次元ウェーブレット変換を施すフィルタであり、前記判定部は、この空間フィルタによって前記画像から生成されたＨＬ、ＬＨ、ＨＨの少なくともひとつのサブバンドのウェーブレット変換係数に注目して前記撮影状態を判定することを特徴とする請求項１から６のいずれかに記載の画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像符号化技術、とくに符号化の過程で画像の撮影状態を判定する装置および方法に関する。
【０００２】
【従来の技術】
近年、ＰＣ（パーソナルコンピュータ）を代表とする各種情報機器の普及、デジタルカメラやカラープリンタなどの大衆化、インターネット人口の爆発的な増加などにより、一般人の日常生活にデジタル画像の文化が深く浸透した。こうした状況下、静止画像、動画像については、それぞれＪＰＥＧ（Joint Photographic Expert Group）、ＭＰＥＧ（Motion Picture Expert Group）などの符号化圧縮技術が標準化され、ＣＤ−ＲＯＭなどの記録媒体や、ネットワークまたは放送波などの伝送媒体を通じた画像の配信および再生の利便性が改善されてきた。
【０００３】
ＪＰＥＧの系列においては、高画質化の要求に応えるとともに、圧縮効率のさらなる向上を目指して、離散ウェーブレット変換（ＤＷＴ）を用いたＪＰＥＧ２０００の標準化が進められている。離散ウェーブレット変換は、ＪＰＥＧにおいて採用された、ブロック単位で画像をフィルタリングする離散コサイン変換（ＤＣＴ）を置き換えるものであり、ＪＰＥＧ２０００における画像の圧縮符号化の性能面で中心的な役割を果たす。またＭＰＥＧにおいても、テクスチャ圧縮に同様のウェーブレット変換を用いることが検討されている。
【０００４】
【発明が解決しようとする課題】
デジタルカメラやデジタルビデオカメラは、小形化、多機能化し、使い勝手が格段に向上してきているが、その反面、カメラ本体の軽量化や光学ズームの高倍率化により、撮影に不慣れな一般ユーザにとっては、撮影時に手ぶれの影響が生じやすくなる状況が生まれている。またＣＣＤの高密度化により、画像の解像度が飛躍的に上がっているが、手ぶれの影響があるとせっかくの高解像度を十分に生かし切れず、製品性能の追求に意味がなくなってしまう。
【０００５】
また監視カメラのように長時間連続で動画を撮影する場合、画像データが大容量の記録装置に記録されるが、ピンぼけなど撮影状態が不良な動画フレームを保存すると、記録領域が無駄になる。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、手ぶれやピンぼけなどの撮影状態を判定することのできる画像符号化技術を提供することにある。別の目的は、できるだけ余分な計算コストをかけずに撮影状態を判定することのできる画像符号化技術を提供することにある。
【０００７】
【課題を解決するための手段】
本発明のある態様は画像符号化装置に関する。この装置は、撮影された画像全体を一体に扱う方法によってフィルタリング処理を施す空間フィルタと、前記空間フィルタの処理結果をもとに前記画像を圧縮符号化する符号化部と、前記空間フィルタの処理において検出された前記画像の高周波成分の量にもとづいて前記画像の撮影状態を判定する判定部とを含む。画像を圧縮符号化するために行われるフィルタリング処理の過程で、画像の高周波成分の量が検出され、手ぶれやピンぼけなどの撮影状態が判定される。このフィルタリング処理は、画像全体を一体に扱って処理するものであり、たとえば離散ウェーブレット変換のように画像全体を空間周波数に変換するものである。画像全体をフィルタリングする離散ウェーブレット変換では、ブロック単位で離散コサイン変換を行う場合と違い、ブロックノイズが生じないため、画像の空間周波数領域での特性を正確に評価して、画像のエッジを高い精度で検出することができる。
【０００８】
前記画像は比較的短い時間間隔で複数枚連続撮影されたものであり、前記判定部は、それらの画像のうち高周波成分が最も多いものを好適な撮影状態において撮影された好適な画像とみなしてもよい。前記好適な画像を選択してメモリへ保存する記録制御部をさらに含んでもよい。この連続撮影と好適な画像の選択は自動的に行われてもよく、あるいは明示的に好適な画像の選択モードが設けられてユーザからそのモードの選択を受けつけた場合に行われてもよい。
【０００９】
前記判定部により高周波成分の量が所定量よりも少ないと判定された画像について、前記符号化部による圧縮符号化の処理が省かれてもよい。この目的のため前記判定部は圧縮符号化を行う場合に符号化指示信号を前記符号化部に与えてもよい。この所定量は、手ぶれやピンぼけがない画像に通常含まれる高周波成分の量であり、撮影される画像に応じて相対的に決められてもよく、撮影される画像の種類や撮影条件によって適応的に変化させてもよい。また連続撮影される場合には、複数の画像のうち、高周波成分が他と比べて少ない画像については圧縮符号化の処理を行わないようにしてもよい。
【００１０】
前記画像は複数枚連続撮影されたものであり、前記判定部は、それらの画像の中で高周波成分の分布に所定量を上回る変化があったとき、シーンチェンジがあったと判定してもよい。複数枚連続撮影された画像のうち高周波成分が最も多いものを最良画像であると判定する場合、シーンチェンジが検出された場合には、シーンチェンジをまたいでその判定が行われないようにしてもよい。またシーンチェンジがあった画像を選択してメモリへ保存する記録制御部をさらに含んでもよい。
【００１１】
前記判定部は、前記画像の重要領域の高周波成分をもとに前記画像の撮影状態を判定してもよい。画像の重要領域は、たとえば画像の中心領域や人物が写っている領域など、撮影目的に応じて異なる画像の注目領域である。
【００１２】
前記空間フィルタは、前記画像に二次元ウェーブレット変換を施すフィルタであり、前記判定部は、この空間フィルタによって前記画像から生成されたＨＬ、ＬＨ、ＨＨの少なくともひとつのサブバンドのウェーブレット変換係数に注目して前記撮影状態を判定してもよい。前記判定部は、ウェーブレット変換係数の絶対値の最大値を評価して、その最大値が所定量を超えた場合に、手ぶれやピンぼけのない良好な撮影状態であると判定してもよい。また前記サブバンド内でウェーブレット変換係数の絶対値が所定量を超えているサンプル数を計算し、そのサンプル数の大小により撮影状態を判定してもよい。
【００１３】
本発明の別の態様は画像符号化方法に関する。この方法は、撮影された画像全体に二次元ウェーブレット変換を施す工程と、前記二次元ウェーブレット変換の結果をもとに前記画像を圧縮符号化する工程と、前記二次元ウェーブレット変換において検出された画像の高周波成分の量にもとづいて前記画像の撮影状態を判定する工程とを含む。
【００１４】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００１５】
【発明の実施の形態】
実施の形態１
図１は、実施の形態１に係る画像符号化装置１０の構成図である。画像符号化装置１０は、ＪＰＥＧ２０００により画像データを符号化する。ＪＰＥＧ２０００の仕様は、規格書「ISO/IEC 15444-1: JPEG 2000 image coding system, JPEG 2000 final committee draft, 18 August 2000」に記載されている。画像符号化装置１０の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１６】
画像符号化装置１０は、ウェーブレット変換器１４、フレームバッファ１６、判定部１７、量子化器１８、ビットプレーン符号化器２０、算術符号化器２２、およびストリーム生成器２４を含む。符号化処理の開始にあたり、原画像ＯＩ（Original Image）がフレームバッファ１６に読み込まれるが、これは撮像部８からフレームバッファ１６に直接入力されてもよいし、メモリを介して入力されてもよい。
【００１７】
フレームバッファ１６に読み込まれた原画像ＯＩは、ウェーブレット変換器１４により、階層化される。ＪＰＥＧ２０００におけるウェーブレット変換器１４は、Daubechiesフィルタを利用する。図２にも示すとおり、このフィルタは画像のｘ、ｙそれぞれの方向において同時にローパスフィルタおよびハイパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち画像サイズが１／４のサブバンド画像が得られる。
【００１８】
ウェーブレット変換器１４は、こうして得られたサブバンドのうち、ＬＬサブバンドに対して再度フィルタリング処理を行い、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割する。フィルタリングは所定の回数行われ、最後のフィルタリングで生じたＬＬサブバンドが原画像ＯＩにおいて最もＤＣ成分に近い画像として取得される。以下、同一階層の各サブバンド、すなわち同じ回数フィルタリングを施して得られた４つのサブバンドのうちＬＬサブバンドは低周波成分、それ以外のＨＬ、ＬＨ、ＨＨサブバンドは高周波成分を含み、これらのサブバンドよりもさらに高周波成分を含む画像が、ひとつ前のフィルタリング処理で得られた４つのサブバンドとして続く。
【００１９】
判定部１７は、ウェーブレット変換器１４により生成されるＨＬ、ＬＨ、ＨＨサブバンドの係数を監視して、原画像ＯＩに含まれる高周波成分の量を評価し、原画像ＯＩの撮影状態を判定する。高周波成分が十分な量あれば、原画像ＯＩの撮影状態は良好であると判定し、そうでない場合は、手ぶれやピンぼけなどの原因により撮影状態が良好でないと判定する。判定部１７は、撮影状態が良好である場合、符号化指示信号１１を量子化器１８に送る。撮影状態が良好でない場合は、撮り直し指示信号１２を撮影部８に送る。
【００２０】
量子化器１８は、判定部１７から符号化指示信号１１が与えられた場合に限り、フレームバッファ１６に格納されたウェーブレット変換器１４による変換画像を読み出して処理を開始する。以下、詳述はしないが、符号化指示信号１１が与えられた場合、ウェーブレット変換器１４によって階層化された画像が低周波成分から順に量子化器１８、ビットプレーン符号化器２０、算術符号化器２２、ストリーム生成器２４により処理されて、最終的な符号化画像データＣＩ（Coded Image）が出力される。
【００２１】
図２は、ウェーブレット変換器１４による原画像ＯＩの変換過程を説明する図である。原画像ＯＩは、ウェーブレット変換器１４における初回のフィルタリングにより、４つのサブバンドＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１を含む第１階層の画像ＷＩ１に変換される。この画像ＷＩ１の左上のサブバンドＬＬ１に対してさらにフィルタリングが行われ、同様に４つのサブバンドが生成され、図２の場合、最終的に第３階層の画像ＷＩ３が生成される。判定部１７により撮影状態が良好であると判定された場合、この第３階層の画像ＷＩ３は、量子化器１８以下の処理を受ける。判定部１７は、図２の第１階層の画像ＷＩ１の３つのサブバンドＨＬ１、ＬＨ１、およびＨＨ１の係数を監視し、原画像ＯＩの撮影状態を判定する。最終的な第３階層の画像ＷＩ３が生成されるまで待たずに、原画像ＯＩの撮影状態を判定することができるため、判定部１７が第１階層の画像ＷＩ１において撮影状態が良好でないと判定した時点で、ウェーブレット変換器１４はそれ以降の階層のフィルタリング処理を中止してもよい。
【００２２】
また撮影状態を判定する場合、画像の中心領域や人物の写っている領域など、その画像の重要領域について高周波成分を評価してもよい。図３は、中心領域の高周波成分を評価する場合を説明する図である。図２の第３階層の画像ＷＩ３の３つのサブバンドＨＬ１、ＬＨ１、およびＨＨ１のそれぞれについて、中心領域３０、３２、および３４が抽出されてその係数が評価される。画像の重要領域は必ずしも中心領域となるとは限らない。たとえば監視カメラの撮影画像の場合、画像の上部や下部、特定の領域などが重要領域となることもある。
【００２３】
図４は、以上の構成による画像符号化装置１０の画像符号化手順のフローチャートである。原画像ＯＩが撮影される（Ｓ１０）。原画像ＯＩはフレームバッファ１６に取り込まれ、ウェーブレット変換器１４により変換される（Ｓ１２）。判定部１７は、ウェーブレット変換後の第１階層の４つのサブバンドのうち、高周波成分を含む３つのサブバンドＨＬ１、ＬＨ１、およびＨＨ１の係数を監視し、それぞれの絶対値の最大値を計算する（Ｓ１４）。
【００２４】
判定部１７は、得られた最大値と所定の閾値を比較し（Ｓ１６）、最大値が所定の閾値以上であれば（Ｓ１６のＹ）、撮影状態が良好であると判定し、符号化指示信号１１を量子化器１８に送る。これによりウェーブレット変換された画像についてそれ以降の符号化処理が行われる（Ｓ１８）。最大値が所定の閾値に満たない場合（Ｓ１６のＮ）、ステップＳ１０に戻って、原画像ＯＩの撮り直しが行われる。
【００２５】
ステップＳ１４およびＳ１６の高周波成分の評価方法にはいくつかのバリエーションがある。３つのサブバンドＨＬ１、ＬＨ１、およびＨＨ１のすべてについて係数を評価する代わりに、これらのサブバンドの少なくとも一つについて係数を評価してもよい。たとえばＨＨ１のみの係数を評価したり、ＨＬ１とＬＨ１の２つの係数を評価してもよい。またサブバンド内で係数の絶対値が所定量を超えているサンプル数を計算し、そのサンプル数の大小により撮影状態の良否を判定してもよい。
【００２６】
実施の形態２
図５は、実施の形態２に係る画像符号化装置１０の構成図である。実施の形態２では、撮像部８により連続撮影された原画像ＯＩ１〜ＯＩｎがフレームバッファ１６に入力される。この連続撮影は、デジタルカメラの連写撮影のように、比較的短時間の間になされてもよく、監視カメラのように長時間にわたってなされるものであってもよい。以下、実施の形態１とは異なる構成と動作について説明する。
【００２７】
フレームバッファ１６に格納された原画像ＯＩ１〜ＯＩｎはそれぞれウェーブレット変換器１４により変換される。変換された画像はそれぞれ量子化器１８、ビットプレーン符号化器２０、算術符号化器２２、ストリーム生成器２４により処理される。ストリーム生成器２４により最終的に複数の原画像ＯＩ１〜ＯＩｎに対応する複数の符号化画像データＣＩ１〜ＣＩｎが生成され、それぞれメモリ２５に格納される。
【００２８】
判定部１７は、複数の原画像ＯＩ１〜ＯＩｎのそれぞれについて、実施の形態１と同様に高周波成分を含むサブバンドのウェーブレット係数にもとづいて撮影状態の判定を行い、複数の原画像ＯＩ１〜ＯＩｎから高周波成分が最も多い画像を最良画像として選択して、その画像の記録指示信号１３を記録制御部２６に送る。記録制御部２６は、記録指示信号１３にもとづいてメモリ２５から指定された画像についての符号化画像データをメモリ２５から読み出して、記録部２８に記録する。
【００２９】
判定部１７は、複数の原画像ＯＩ１〜ＯＩｎ間で高周波成分を含むサブバンドのウェーブレット係数の値の分布の変化を評価し、所定量を上回る変化があった場合に、シーンチェンジがあったと判定してもよい。これはシーンが変わると、画像の低周波成分にはあまり変化がなくても、高周波成分の分布は大きく変わるという知見にもとづいている。シーンチェンジがあったと判定された場合は、シーンチェンジをまたいで、複数の原画像ＯＩ１〜ＯＩｎから前述のように高周波成分の最も多い画像を最良画像と判定して記録することは意味がないため、そのような判定は行わない。
【００３０】
判定部１７は、シーンチェンジのあった画像を選んで、その画像の記録指示信号１３を記録制御部２６に送ってもよい。これによりたとえば監視カメラでは平常時には変化のない画像が連続撮影されているが、異常時にシーンチェンジが検出され、異常時の画像のみを記録部２８に記録することが可能となる。
【００３１】
図６は、以上の構成による画像符号化装置１０の画像符号化手順のフローチャートである。画像が連続撮影される（Ｓ２０）。連続撮影された画像の各フレームはウェーブレット変換器１４により変換される（Ｓ２２）。ウェーブレット変換された各フレームは符号化処理がなされ、それぞれの最終的な符号化画像データがメモリ２５に格納される（Ｓ２４）。判定部１７は、ウェーブレット変換係数により各フレームの高周波成分の量を評価する（Ｓ２６）。判定部１７は、高周波成分の最も多いフレームを最良のフレームとして選択する（Ｓ２８）。記録制御部２６は判定部１７により選択された最良のフレームに対応する符号化画像データをメモリ２５から読み出し、記録部２８に記録する（Ｓ３０）。
【００３２】
図７は、シーンチェンジを判定する場合の画像符号化手順のフローチャートである。ステップＳ４０、Ｓ４２、Ｓ４４は、それぞれ図６のステップＳ２０、Ｓ２２、Ｓ２４と同じであり、連続撮影された画像の各フレームは符号化されてメモリ２５に格納される。判定部１７は、各フレームのウェーブレット変換係数にもとづいて高周波成分の分布を評価し（Ｓ４６）、連続したフレーム間で高周波成分の分布に大きな変化があるかどうかを調べることで、シーンチェンジの有無を判定する（Ｓ４８）。シーンチェンジがあったと判定された場合（Ｓ４８のＹ）、記録制御部２６はシーンチェンジのあったフレームに対応する符号化画像データをメモリ２５から読み出し、記録部２８に記録し（Ｓ５０）、ステップＳ４０に戻り、画像の連続撮影を繰り返す。シーンチェンジがなかったと判定された場合（Ｓ４８のＮ）、画像のフレームを記録することなく、ステップＳ４０に戻り、画像の連続撮影を繰り返す。
【００３３】
以上述べたように、実施の形態によれば、画像の圧縮符号化のために行われるウェーブレット変換の途中経過を用いて、高周波成分の量を評価し、手ぶれ、ピンぼけ、シーンチェンジなどの撮影状態を判定することができる。ウェーブレット変換は、画像を圧縮符号化して記録するためにもともと必要な処理であり、その処理の途中結果を用いて、撮影状態を判定するため、余分な計算コストがかからない。また撮影状態が良好でない場合は、ウェーブレット変換以降の符号化処理を中止して、計算コストを抑えることができる。
【００３４】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。
【００３５】
実施の形態２では、連続撮影した複数の画像をそれぞれ符号化し、その中から最良と判定された画像やシーンチェンジがあったと判定された画像を選択して記録した。この記録すべき画像の判定はウェーブレット変換の時点で行われるため、実施の形態１と同様の方法により、最良画像やシーンチェンジがあった画像についてのみ、それ以降の符号化処理を行い、それ以外の画像については符号化処理を行わないようにしてもよい。
【００３６】
実施の形態２において、画像の連続撮影はユーザが意識しない間に行われて、連続撮影された画像から最良画像が自動的に選択されて記録されてもよい。あるいは明示的に最良画像選択モードが設けられてユーザからそのモードの選択を受けつけた場合に、連続撮影と最良画像の選択が行われてもよい。
【００３７】
またいずれの実施の形態でも画像の符号化のための空間フィルタリングとしてウェーブレット変換を説明したが、画像全体の高周波成分を検出しうるフィルタリングなら他の空間周波数変換を用いてもよい。
【００３８】
これらの実施の形態の画像符号化装置は、デジタルカメラ、デジタルビデオカメラ、監視カメラなどの画像処理部に組み込んで、静止画や動画を撮影して記録することができる他、いわゆるＷｅｂカメラのように、リモートで撮影された画像をインターネット経由でＷｅｂページ上にリアルタイム表示する場合にも適用することができる。その場合、画像符号化装置は、リモートサイトにおいて撮影画像を圧縮符号化するために用いられ、圧縮符号化された画像データはネットワーク経由で配信され、受信側のコンピュータで復号されて表示される。
【発明の効果】
本発明によれば、画像の符号化の過程で効率よく画像の撮影状態を判定することができる。
【図面の簡単な説明】
【図１】  実施の形態１に係る画像符号化装置の構成図である。
【図２】  図１のウェーブレット変換器による原画像の変換過程を説明する図である。
【図３】  画像の高周波成分の評価にあたって、中心領域が切り出される様子を説明する図である。
【図４】  図１の画像符号化装置による画像符号化手順のフローチャートである。
【図５】  実施の形態２に係る画像符号化装置の構成図である。
【図６】  図５の画像符号化装置による画像符号化手順のフローチャートである。
【図７】  図５の画像符号化装置による別の画像符号化手順のフローチャートである。
【符号の説明】
８  撮像部、  １０  画像符号化装置、  １４  ウェーブレット変換器、  １６  フレームバッファ、  １７  判定部、  １８  量子化器、  ２０  ビットプレーン符号化器、  ２２  算術符号化器、  ２４  ストリーム生成器、  ２５  メモリ、  ２６  記録制御部、  ２８  記録部。
【図１】
0003789836.tif 000002
【図２】
0003789836.tif 000003
【図３】
0003789836.tif 000004
【図４】
0003789836.tif 000005
【図５】
0003789836.tif 000006
【図６】
0003789836.tif 000007
【図７】
0003789836.tif 000008