(57)【要約】【課題】入力画像の画質を保持しながら、画像データの圧縮効率を向上させた画像符号化装置及び画像符号化方法を提供する。【解決手段】画像データを符号化する画像符号化装置であって、符号化対象の画像データに対して、互いに異なる加工処理を行う複数の画像加工手段と、複数の画像加工手段で得られたそれぞれの加工後の画像データを符号化する符号化手段と、複数の画像加工手段で得られたそれぞれの加工後の画像データの、符号化対象の画像データに対する誤差を算出する算出手段と、算出手段で算出したそれぞれの誤差と、符号化データの符号量とに基づいて、複数の画像加工手段の１つを特定する特定手段と、特定手段で特定された画像加工手段を示す情報と、当該特定された画像加工手段による加工後の画像データの符号化データとを、符号化対象の画像データの最終の符号化データとして出力する出力手段と、を備える。【選択図】図２
2011087199.tif 000002
【特許請求の範囲】
【請求項１】
画像データを符号化する画像符号化装置であって、
符号化対象の画像データに対して、互いに異なる加工処理を行う複数の画像加工手段と、
前記複数の画像加工手段で得られたそれぞれの加工後の画像データを符号化する符号化手段と、
前記複数の画像加工手段で得られたそれぞれの加工後の画像データの、前記符号化対象の画像データに対する誤差を算出する算出手段と、
前記算出手段で算出したそれぞれの誤差と、前記符号化データの符号量とに基づいて、前記複数の画像加工手段の１つを特定する特定手段と、
前記特定手段で特定された画像加工手段を示す情報と、当該特定された画像加工手段による加工後の画像データの符号化データとを、前記符号化対象の画像データの最終の符号化データとして出力する出力手段と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記特定手段は、前記誤差及び前記符号量のそれぞれを座標軸とする座標平面上において、前記座標平面の原点と、前記誤差及び前記符号量から規定されるそれぞれの点との間の距離が最小となる画像加工手段を特定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記特定手段は、前記誤差、前記符号量の少なくともいずれかが最小である画像加工手段を特定することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
画像データを符号化する画像符号化方法であって、
符号化対象の画像データに対して、互いに異なる加工処理を行う複数の画像加工工程と、
前記複数の画像加工工程で得られたそれぞれの加工後の画像データを符号化する符号化工程と、
前記複数の画像加工工程で得られたそれぞれの加工後の画像データの、前記符号化対象の画像データに対する誤差を算出する算出工程と、
前記算出工程で算出したそれぞれの誤差と、前記符号化データの符号量とに基づいて、前記複数の画像加工工程の１つを特定する特定工程と、
前記特定工程で特定された画像加工工程を示す情報と、当該特定された画像加工工程による加工後の画像データの符号化データとを、前記符号化対象の画像データの最終の符号化データとして出力する出力工程と、
を有することを特徴とする画像符号化方法。
【請求項５】
コンピュータを請求項１乃至３のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
画像符号化技術として、入力画像を複数のサブデータ列に分割し、分割されたサブデータ列毎に符号化処理を行い、符号化処理された画像データと、入力画像と符号化処理された画像との差分データとをメモリに記憶することで完全な復号化処理を可能とする技術がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４０５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、完全な復号化処理を可能とするために、符号化処理された画像データと、差分データとをメモリに蓄積する必要があるため、画像データの圧縮効率を低下させる要因となっていた。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、入力画像の画質を保持しながら、画像データの圧縮効率を向上させた画像符号化装置及び画像符号化方法を提供するものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像符号化装置は、画像データを符号化する画像符号化装置であって、符号化対象の画像データに対して、互いに異なる加工処理を行う複数の画像加工手段と、前記複数の画像加工手段で得られたそれぞれの加工後の画像データを符号化する符号化手段と、前記複数の画像加工手段で得られたそれぞれの加工後の画像データの、前記符号化対象の画像データに対する誤差を算出する算出手段と、前記算出手段で算出したそれぞれの誤差と、前記符号化データの符号量とに基づいて、前記複数の画像加工手段の１つを特定する特定手段と、前記特定手段で特定された画像加工手段を示す情報と、当該特定された画像加工手段による加工後の画像データの符号化データとを、前記符号化対象の画像データの最終の符号化データとして出力する出力手段と、を備える。
【発明の効果】
【０００７】
本発明によれば、入力画像の画質を保持しながら、画像データの圧縮効率を向上させた画像符号化装置及び画像符号化方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置１００の構成を示す図である。
【図２】画像符号化装置２００の機能的構成を示すブロック図である。
【図３】評価部２０１の処理の一例を示す図である。
【図４】符号化対象画像決定部２０２の処理の一例を示す図である。
【図５】画像復号化装置３００の機能的構成を示すブロック図である。
【図６】画像符号化装置２００の処理手順を示す図である。
【図７】画像復号化装置３００の処理手順を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の好適な実施形態について図面を参照して説明する。
【００１０】
［撮像装置１００の構成（図１）］
本実施形態では、デジタルカメラ等の撮像装置１００を想定して以下説明する。撮像装置１００は、後述する符号１０１〜１１３の構成を備える。なお、撮像装置１００の構成は、ここで述べるもの以外にも存在するが、本発明を実施するための必須の構成ではないため、説明を省略する。
【００１１】
撮像部１０１は、被写体の光量を検知するものであり、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッタ、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ及びセンサ等（例えば、ＣＭＯＳやＣＣＤ等）を備える。
【００１２】
Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換するものである。信号処理部１０３は、上記デジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理等を行い、デジタル画像データを生成する。Ｄ／Ａ変換部１０４は、上記デジタル画像データに対してアナログ変換を行う。エンコーダ部１０５は、上記デジタル画像データをＪＰＥＧやＭＰＥＧ等のファイルフォーマットに変換する処理を行う。
【００１３】
メディアインターフェース１０６は、ＰＣやその他の種々のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。
【００１４】
ＣＰＵ１０７は、各構成の処理全てに関わり、ＲＯＭ１０８やＲＡＭ１０９に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８及びＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ１０７に提供する。
【００１５】
撮像系制御部１１０は、各レンズのフォーカスを合わせる、シャッタを開く、絞りを調節する等のように、ＣＰＵ１０７からの指示に従って撮像部１０１の制御を行う。操作部１１１は、ユーザが操作するためのボタンやモードダイヤル等が該当し、これらを介して入力されたユーザ指示を受け取る。キャラクタージェネレーション部１１２は、文字やグラフィック等を生成する。
【００１６】
表示部１１３は、液晶ディスプレイ等を代表とする表示装置であり、キャラクタージェネレーション部１１２やＤ／Ａ変換部１０４から受け取った撮影画像や文字の表示を行う。また、表示部１１３は、タッチスクリーン機能を有していても良い。この場合には、表示部１１３が操作部１１１として機能することとなる。
【００１７】
［画像符号化装置２００の構成（図２）］
本発明に係る画像符号化装置２００は、上述のエンコーダ部１０５によって実現される。画像符号化装置２００は、評価部２０１（画像加工手段、算出手段）、符号化対象画像決定部２０２（特定手段）、符号化部２０３（符号化手段）、ＭＵＸ２０４（出力手段、マルチプレクサとも呼ばれる）を備える。
【００１８】
評価部２０１は、入力画像Ｉに対して予め定めた複数の加工（劣化）処理を行い、加工後の画像データをＪＰＥＧ方式で圧縮した場合の符号化データの符号量、及び分離した画像データから得られる復元画像の原画像に対する忠実度を算出する。加工処理した結果をＤ＿ｉとする。予め定めた複数の加工処理としては、ローパス処理、縮小処理、０．５画素シフトによる複数の画像生成処理を含む処理を想定している。
【００１９】
評価部２０１は、例えば、図３で示すように、加工処理を行う互いに異なる処理内容の５つの処理ブロックを有する。処理ブロックＤ＿０は、入力画像Ｉに対して加工処理を行うことなく、入力画像Ｉと同一の画像データＩｄ＿０を出力する。処理ブロックＤ＿１は、入力画像Ｉに対してローパス処理のみを行った画像データＩｄ＿１を出力する。処理ブロックＤ＿２は、入力画像Ｉに対してローパス処理及び０．５倍処理を行った画像データＩｄ＿２を出力する。処理ブロックＤ＿３は、入力画像Ｉに対してローパス処理を行った画像データＩｄ＿３１と、ローパス処理を行った画像データに対して、更に０．５画素シフト処理を行った画像データＩｄ＿３２との２つの画像データを出力する。処理ブロックＤ＿４は、入力画像Ｉに対してローパス処理及び縮小処理を行った画像データＩｄ＿４１と、ローパス処理及び縮小処理を行った画像データに対して、更に０．５画素シフト処理を行った画像データＩｄ＿４２との２つの画像データを出力する。それぞれの処理ブロックを経た画像データをＩｄ＿ｉ（ｉ＝０〜４）とする。なお、ここでいう複数の処理ブロックは、説明の便宜上設けたものであって、１つのブロックであってもよい。
【００２０】
係る加工処理の後、Ｉｄ＿ｉにはＪＰＥＧ方式で画像圧縮処理が施され、圧縮されたそれぞれの画像データに対応する符号量Ｃｄ＿ｉが算出される。また、Ｉｄ＿ｉとＤ＿ｉを用いて原画像を逆推定し、得られたそれぞれの推定画像Ｒｄ＿ｉと入力画像Ｉとを比較し、それぞれの二乗平均平方根（ＲＭＳ：Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅ）を算出する。算出結果をＰｄ＿ｉとする。この逆推定は、逆フィルタで構成してもよいし、複数の画像データに基づいて原画像を推定する場合、公知の超解像処理を用いてもよい。
【００２１】
符号化対象画像決定部２０２は、評価部２０１から出力される符号量Ｃｄ＿ｉ及び忠実度Ｐｄ＿ｉに基づいて、符号化対象の劣化画像と、分割するために用いたパラメータを決定する。符号化部２０３は、画像をＪＰＥＧ方式で画像圧縮する。ＭＵＸ２０４は、画像の符号化ストリームと、画像を分割するために必要なパラメータを１つのストリームに結合する。
【００２２】
符号化対象画像決定部２０２は、例えば、図４で示すように、誤差（ＲＭＳ）及び符号量のそれぞれを座標軸とする座標平面上に、それぞれの誤差及び符号量をプロットして、誤差（ＲＭＳの算出結果Ｐｄ＿ｉ）及び符号量Ｃｄ＿ｉが共に最小となる処理ブロックを特定する。本実施形態では、Ｉｄ＿２の誤差及び符号量が最小であるため、符号化対象の画像データとして決定する。
【００２３】
なお、誤差及び符号量が共に最小となる処理ブロックを特定するものでなくても、例えば、座標平面の原点と、誤差及び符号量から規定されるそれぞれの点との間の距離が最小となる処理ブロックを特定するようにしてもよいし、誤差、符号量のうち、いずれか優先する方の値が最小である処理ブロックを特定するようにしてもよい。
【００２４】
符号化部２０３は、Ｉｄ＿２をＪＰＥＧ方式で符号化し、符号化ストリームＳｔを生成する。ＭＵＸ２０４は、特定された処理ブロックを示す情報と、その特定された処理ブロックによる加工後の画像データの符号化データとを、符号化対象の画像データの最終の符号化データとして出力する。ＭＵＸ２０４は、本実施形態では、Ｉｄ＿２の劣化モデルであるＤ＿２と符号化ストリームＳｔを１つのストリームＳに結合する。
【００２５】
［画像復号化装置３００の構成（図５）］
本発明に係る画像復号化装置３００は、上述のエンコーダ部１０５によって実現される。画像復号化装置３００は、生成したストリームＳを復号化する装置であり、分離部３０１、テクスチャ復号化部３０２、逆推定部３０３を備える。
【００２６】
分離部３０１は、ストリームＳからテクスチャに関するＪＰＥＧ方式の符号化ストリームＳｔと、劣化パラメータＤｉとを分離する。テクスチャ復号化部３０２は、テクスチャに関する符号化ストリームＳｔをＪＰＥＧ方式で復号することで復号化画像Ｔａｒｇｅｔ＿Ｃｄを生成して出力する。逆推定部３０３は、復号化画像Ｔａｒｇｅｔ＿Ｃｄと劣化パラメータＤｉに基づいて原画像を推定する。
【００２７】
［画像符号化装置２００の処理手順（図６）］
まず、符号化対象画像決定部２０２が、劣化パラメータＤ＿ｉ（ｉ＝１〜ｎ）を設定する（Ｓ１）。次に、入力画像Ｉに対して劣化パラメータＤ＿ｉを用いた加工処理を施し、劣化画像Ｉｄ＿ｉを生成する（Ｓ２）。その後、劣化画像Ｉｄ＿ｉにＪＰＥＧ方式で符号化処理を施し、それぞれの符号量Ｃｄ＿ｉを生成する（Ｓ３）。ここで、劣化画像Ｉｄ＿ｉに基づいて原画像を推定し、推定画像Ｒｄ＿ｉを生成する（Ｓ４）。次に、推定画像の忠実度を計算するため、入力画像Ｉと推定画像Ｒｄ＿ｉとの間で二乗平均平方根ＲＭＳを算出する（Ｓ５）。この算出結果をＰｄ＿ｉとする。
【００２８】
次に、最小符号量Ｍｉｎ＿Ｃｄを初期化する（Ｓ６）。初期化結果をＣｄ＿０とする。ここから符号化対象の画像データの選択処理を開始する。まず、カウンタｊを０に初期化し（Ｓ７）、ｊに１を加算する（Ｓ８）。そして、ｊ＜ｎであるか否かを判定する（Ｓ９）。ｊ＜ｎである場合、予め設定した閾値Ｔｈ（例えば、Ｔｈ＝１）と二乗平均平方根であるＰｄ＿ｊとを比較し、Ｔｈ＞Ｐｄ＿ｊであるか否かを判定する（Ｓ１０）。Ｔｈ＜＝Ｐｄ＿ｊである場合には、原画像と乖離があることを示すため、ステップＳ８に戻って次の符号化対象の画像データの判定を行う。一方、Ｔｈ＞Ｐｄ＿ｊである場合には、更にＭｉｎ＿ＣｄとＣｄ＿ｊとを比較し、Ｍｉｎ＿Ｃｄ＞Ｃｄ＿ｊであるか否かを判定する（Ｓ１１）。Ｍｉｎ＿Ｃｄ＜＝Ｃｄ＿ｊである場合には、符号量が過大であることを示すため、ステップＳ８に戻って次の符号化対象の画像データの判定を行う。一方、Ｍｉｎ＿Ｃｄ＞Ｃｄ＿ｊである場合には、Ｍｉｎ＿ＣｄをＣｄ＿ｊに更新し（Ｓ１２）、ステップＳ８へ戻って次の符号化対象の画像データの判定を行う。
【００２９】
そして、ステップＳ９において、ｊ＞＝ｎであると判定された場合には、Ｒｄ＿ｊを符号化し、符号化ストリームＳｔを生成する（Ｓ１３）。そして、Ｄ＿ｊと符号化ストリームＳｔを１つのストリームＳに結合し（Ｓ１４）、符号化処理を終了する。
【００３０】
［画像復号化装置３００の処理手順（図７）］
まず、ストリームＳからテクスチャ用ストリームＴａｒｇｅｔ＿Ｃｄと劣化パラメータＤｉとを分離する（Ｓ２１）。そして、テクスチャ用ストリームＴａｒｇｅｔ＿ＣｄをＪＰＥＧ方式で復号化し、復号化画像Ｓｔを得る（Ｓ２２）。最後に、復号化画像Ｓｔ及び劣化パラメータＤｉに基づいて、原画像を逆推定する（Ｓ２３）。この逆推定は、逆フィルタ、超解像処理等を用いることとする。ただし、画像符号化装置２００と同じ処理手順で逆推定すると高画質の画像を得ることができる。
【００３１】
以上説明した通り、本実施形態によれば、限られた蓄積メディア、伝送路の帯域により多くの画像を蓄積・伝送可能となる。
【００３２】
なお、本実施形態では、評価部２０１、符号化部２０３でＪＰＥＧ方式を用いたが、符号化方式はどのような方式でも同様の効果を得ることができる。また、本実施形態では、推定画像Ｒｄ＿ｉと入力画像Ｉとを比較し、それぞれの二乗平均平方根を相関値としたが、絶対誤差等他の指標を用いても同様の効果を得ることができる。
【００３３】
更に、符号化対象画像決定部２０２の符号化対象の画像データを選択する方法は、符号量が最小でなくても縮小画像を伝送した方が良い場合、例えば転送レートやバッファの容量が小さく、単位処理で扱える画像サイズが小さい場合は優先的に２つに分割して符号化しても構わない。また、本実施形態では、１つの画像の符号化について説明したが、画像を連続的に入力することにより動画像へ適用可能であることは言うまでもない。
【００３４】
なお、上記各実施形態は、本発明の一例に過ぎず、本発明の技術的範囲は、上記実施形態に限定されるものではない。また、本発明の構成要素は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等）を備えたシステムに適用しても、１つの機器のみを備えた装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００３５】
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011087199.tif 000003
【図２】
2011087199.tif 000004
【図５】
2011087199.tif 000005
【図６】
2011087199.tif 000006
【図７】
2011087199.tif 000007
【図３】
2011087199.tif 000008
【図４】
2011087199.tif 000009