(57)【要約】【課題】圧縮処理にかかる負荷を軽減し、回路規模を小さくする。【解決手段】入力された画像データを圧縮符号化する画像符号化装置であって、データを記憶するためのバッファメモリ１５と、前記画像データに基づいて量子化幅を決定する量子化幅決定部４１と、量子化幅決定部４１により決定された前記量子化幅が閾値以下である場合に、当該量子化幅が決定された前記画像データを当該量子化幅で量子化し、量子化した画像データを符号化し、符号化した画像データを前記バッファメモリに記憶させる符号化部４２と、量子化幅決定部４１により決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、符号化した画像データをバッファメモリ１５に記憶させる可逆圧縮部２３とを備える。【選択図】図５
2009038740.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データを圧縮符号化する画像符号化装置であって、
データを記憶するためのバッファメモリと、
前記画像データに基づいて量子化幅を決定する量子化幅決定手段と、
前記量子化幅決定手段により決定された前記量子化幅が閾値以下である場合に、当該量子化幅が決定された前記画像データを当該量子化幅で量子化し、量子化した画像データを符号化し、符号化した画像データを前記バッファメモリに記憶させる第１符号化手段と、
前記量子化幅決定手段により決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、符号化した画像データを前記バッファメモリに記憶させる第２符号化手段とを備える
ことを特徴とする画像符号化装置。
【請求項２】
さらに、
前記画像データに含まれる同じ色成分に対応する複数の画素値のうち、近傍に位置する画素の画素値の差分値を算出する画素差分値算出手段を備え、
前記量子化幅決定手段は、前記画素差分値算出手段により算出された前記差分値に応じて量子化幅を決定する
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記閾値は１である
ことを特徴とする請求項１または請求項２に記載の画像符号化装置。
【請求項４】
さらに、前記バッファメモリが記憶している第１符号化手段と第２符号化手段とにより符号化された画像データを前記バッファメモリから読み出すとともに、外部の記憶手段に格納する外部記憶格納手段を備える
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像符号化装置。
【請求項５】
入力された画像データを圧縮符号化し、バッファメモリに格納する画像符号化方法であって、
前記画像データに基づいて量子化幅を決定する量子化幅決定ステップと、
前記量子化幅決定ステップにおいて決定された前記量子化幅が閾値以下である場合に、当該量子化幅で量子化し、量子化した画像データを符号化し、前記バッファメモリに格納する第１符号化ステップと、
前記量子化幅決定ステップにおいて決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、前記バッファメモリに格納する第２符号化ステップとを含む
ことを特徴とする画像符号化方法。
【請求項６】
入力された画像データを圧縮符号化するプログラムであって、
前記画像データに基づいて量子化幅を決定する量子化幅決定ステップと、
前記量子化幅決定ステップにおいて決定された前記量子化幅が閾値以下である場合に、当該量子化幅で量子化し、量子化した画像データを符号化し、前記バッファメモリに格納する第１符号化ステップと、
前記量子化幅決定ステップにおいて決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、前記バッファメモリに格納する第２符号化ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項７】
入力された画像データを圧縮符号化し、バッファメモリに格納する集積回路であって、
前記画像データに基づいて量子化幅を決定する量子化幅決定手段と、
前記量子化幅決定手段により決定された前記量子化幅が閾値以下である場合に、当該量子化幅が決定された前記画像データを当該量子化幅で量子化し、量子化した画像データを符号化し、前記バッファメモリに格納する第１符号化手段と、
前記量子化幅決定手段により決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、前記バッファメモリに格納する第２符合化手段とを備える
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ、カメラ付き携帯電話、ムービーカメラ等の撮像センサを利用するカメラ機器において高画素化が進んでいる。高画素の画像情報はデータ量の増加を伴う。そして、データ量の増加は画像情報を記憶保持するバッファメモリの消費の増加や、画像情報の情報処理に掛かる負荷の増加やバッファメモリへのアクセスなどに伴う消費電力の増加などの要因となる。バッファメモリの消費、画像処理の処理負荷、消費電力などを抑制するために、画像情報を圧縮する技術が利用されている。
【０００３】
一般に、画像情報の圧縮には、可逆圧縮方法と不可逆圧縮方法とがある。
「可逆圧縮方法」とは、圧縮符号化された画像情報から圧縮前の画像情報を完全に復元できる圧縮方法であり、例えば、エントロピー符号化、ハフマン符号化、算術符号化等がある。
【０００４】
「非可逆圧縮方法」とは、圧縮符号化された画像情報から圧縮前の画像情報を完全には復元できない画像圧縮方法であり、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）形式に符号化する方法がある。
【０００５】
可逆圧縮方法では、復元画像の画質が原画像の画質と同一に保たれ、画質が劣化しないという利点があり、非可逆圧縮方法に比べて圧縮効率が悪く、バッファメモリの使用効率が悪いという欠点がある。また、非可逆圧縮方法では、可逆圧縮方法に比べて圧縮効率が良く、バッファメモリの使用効率が良いという利点があり、復元画像の画質が原画像の画質に比べると劣化するという欠点がある。
【０００６】
近時、デジタルスチルカメラなどのユーザが、撮影した画像情報をできるだけ忠実に再現するために、ＲＡＷデータをパーソナルコンピュータ（以下、「ＰＣ」という。）で現像処理することが増えてきている。高画素化によりＲＡＷデータのデータ量も増加してきており、ＲＡＷデータを格納するためのバッファメモリを効率的に利用するために、ＲＡＷデータの圧縮符号化に非可逆圧縮方法が利用されることがある。
【０００７】
ここで、「ＲＡＷデータ」とは、１画素１色の画素値を有する画像データのことであり、撮像センサから出力されたアナログデータに対してＡＤ（アナログデジタル）変換処理が施されたデジタルデータ、または、さらに有効撮像領域の切り出し処理、ガンマ補正処理、必要に応じて画素値の順序を並び替える処理、欠損画素値の置き換え処理の少なくともいずれか１つが施されたデジタルデータである。
【０００８】
また、「現像処理」とは、撮影した画像をモニタに表示させたり、紙に印刷したりすることによりユーザが認識可能な状態にするまでにＲＡＷデータに対して施される処理のことであり、例えば、ＲＡＷデータから各画素の画素値を補間生成する処理、ホワイトバランスの調整、ノイズの抑制処理、偽色抑制処理等である。
【０００９】
ＲＡＷデータを圧縮するため、例えば、ＲＡＷデータ中のある画素とその近傍に位置する同色の画素との画素値の差分値（以下、「画素差分値」という。）を算出し、算出した画素差分値を量子化する時に丸められる桁数である量子化幅を決定し、量子化幅で丸める技術が提案されている（例えば、特許文献１を参照）。すなわち、量子化幅とは、画素差分値を２進数で表現した場合に、量子化する時に丸められる桁数である。
【００１０】
また、特許文献１に記載の技術のようにＲＡＷデータを非可逆圧縮すると画質が劣化することが多い。そのため、特許文献１に記載の技術では、撮影した画像情報をできるだけ忠実に再現しようとするユーザの要望に応えることができない。
【００１１】
そこで、可逆性を確保しながらバッファメモリを効率的に使用するための技術として、図１２に示す画像符号化装置が提案されている。
【００１２】
図１２は、従来の画像符号化装置が備える構成を示すブロック図である。
本図に示す画像符号化装置は、非可逆圧縮部１と、伸張部２と、差分値算出部３と、可逆圧縮部４と、バッファメモリ５とを備える。
【００１３】
非可逆圧縮部１は、入力される画像データを非可逆な圧縮方式で圧縮符号化する。
伸張部２は、非可逆圧縮部１により圧縮符号化された非可逆画像データを伸張する。
【００１４】
差分値算出部３は、入力される画像データと伸張部２により伸張された伸張画像データとに含まれる各画素の画素値の差分値を算出する。
【００１５】
可逆圧縮部４は、差分値算出部により算出された差分値を示す差分値データ可逆な圧縮方式で圧縮符号化する。
【００１６】
バッファメモリ５は、非可逆圧縮部１により圧縮符号化された非可逆画像データと可逆圧縮部４により圧縮された可逆差分値データとを記憶している。
【００１７】
このように、非可逆画像データを生成し、元の画像データと非可逆画像データを伸張したデータとの差分値である差分値データを可逆的に圧縮符号化した可逆差分値データを生成し、非可逆画像データと可逆差分値データとをバッファメモリに格納する（例えば、特許文献２および特許文献３を参照）。
【特許文献１】特開２００７−３６５６６号公報
【特許文献２】特開平４−１０１２７８号公報
【特許文献３】特開平１０−２９０４６０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、従来の画像符号化装置は、画像データを取得してからバッファメモリに格納するまでの処理が多く、そのため処理負荷が大きくなり、回路規模が大きくなるという問題がある。
【００１９】
すなわち、従来は、可逆性を確保するために差分値データを算出する。そして、差分値データの算出のために、生成した非可逆画像データを伸張する。伸張されたデータは、可逆性を確保するためだけに算出されるデータであって、最終的な出力データとして必要なものではない。最終的な出力データではないデータの生成処理は、削減したい余分な処理である。
【００２０】
このような余分な処理を含むことは、処理負荷の増大につながる。また、回路規模が大きくなり、消費電力が増すなどの問題の原因にもなる。しかも、伸張処理の場合、処理負荷が大きいため、これらの問題は深刻になる。
【００２１】
本発明は、上記の問題を解決するためになされたもので、画質の劣化を抑えながら、圧縮処理にかかる負荷を軽減し、回路規模を小さくすることが可能な画像処理装置の提供を目的とする。
【課題を解決するための手段】
【００２２】
上記目的を達成するために、本発明に係る画像処理装置は、入力された画像データを圧縮符号化する画像符号化装置であって、データを記憶するためのバッファメモリと、前記画像データに基づいて量子化幅を決定する量子化幅決定手段と、前記量子化幅決定手段により決定された前記量子化幅が閾値以下である場合に、当該量子化幅が決定された前記画像データを当該量子化幅で量子化し、量子化した画像データを符号化し、符号化した画像データを前記バッファメモリに記憶させる第１符号化手段と、前記量子化幅決定手段により決定された前記量子化幅が閾値より大きい場合に、当該量子化幅が決定された前記画像データを可逆な方式で符号化し、符号化した画像データを前記バッファメモリに記憶させる第２符号化手段とを備える。
【００２３】
このように、量子化幅決定手段は、第１符号化手段および第２符号化手段による符号化の前に画素間の差分から量子化幅を決定する。そして、決定した量子化幅に応じて、第１符号化手段で符号化するか、第２符号化手段で符号化するかが判断される。そのため、この判断にかかる処理負荷が非常に小さく、処理負荷の低減が可能になる。
【００２４】
また、バッファメモリには、第１符号化手段で符号化された画像データと、第１符号化手段で符号化されなかったデータのみを第２符号化手段で符号化した画像データとが記憶される。そのため、バッファメモリに記憶される画像データから元の画像データを復元することができ、すなわち、結果として可逆符号化されたデータが格納されることになる。また、第１符号化手段は非可逆符号化をするため、その利点である圧縮効率の良さを享受する。したがって、可逆性を確保しながら、バッファメモリの効率的な使用が可能になる。
【００２５】
量子化幅が閾値より大きい画像データについて、可逆圧縮手段によって可逆な方式で圧縮された可逆画像データが記憶される。量子化幅が大きい程、符号化手段で符号化された画像データを復号して得られる画像は、原画像より劣化している。このようなデータを可逆な方式で圧縮することで、バッファメモリに記憶されているデータを伸張して得られる画像の高画質化を図ることが可能になる。
【００２６】
さらに、非可逆な方式での圧縮の方が、可逆な方式での圧縮よりも効率がよい。したがって、非可逆な方式で圧縮効率を向上させることができ、バッファメモリの効率的な使用が可能になる。
【００２７】
さらに好ましくは、さらに、前記画像データに含まれる同じ色成分に対応する複数の画素値のうち、近傍に位置する画素の画素値の差分値を算出する画素差分値算出手段を備え、前記量子化幅決定手段は、前記画素差分値算出手段により算出された前記差分値を予め定められた桁数で表現するための量子化幅を決定する。
【００２８】
このように、同じ色成分に対応する複数の画素値のうち、最も近くに位置する画素値の差分値に基づいて量子化幅を決定する。一般に、近くに位置する同じ色成分に対応する画素値は近い値であることが多い。そのため、差分値は小さくなることが多く、少ない桁数で表現することができる。したがって、画像データが示す画像を少ないデータ量で表現することが可能になる。
【００２９】
さらに好ましくは、前記閾値は１である。
非可逆な方式で圧縮された画像データであっても、量子化幅が１で量子化された画像データである場合、丸められた情報がないため、それを伸張することにより元の画像データを完全に復元することができる。そのため、非可逆な方式により圧縮する場合に量子化幅が１より大きくなる画像データについては可逆な方式で圧縮された画像データをバッファメモリに記憶させ、かつ、量子化幅が１で非可逆な方式により圧縮された画像データをバッファメモリに記憶させることによって、バッファメモリに記憶させた画像データから元の画像データを完全に復元することが可能になる。
【００３０】
さらに好ましくは、さらに、前記バッファメモリが記憶している第１符号化手段と第２符号化手段とにより符号化された画像データを前記バッファメモリから読み出すとともに、外部の記憶手段に格納する外部記憶格納手段を備える。
【００３１】
このように、バッファメモリが記憶している非可逆画像データと可逆画像データとは、外部の記憶手段に転送される。これにより、バッファメモリに記憶領域を確保することが可能になる。
【００３２】
なお、本発明は、このような手段を備える画像符号化装置として実現することができるだけでなく、その方法や集積回路として実現することもできる。
【発明の効果】
【００３３】
本発明によると、バッファメモリの消費を抑えながら高画質な画像を復元できる圧縮画像データを生成することが可能になる。
【発明を実施するための最良の形態】
【００３４】
以下に、図面を参照しながら、本発明に係る画像処理装置の実施の形態について説明する。
【００３５】
図１は、本発明の実施の形態に係る画像符号化装置をデジタルスチルカメラに適用した場合の構成例を示すブロック図である。
【００３６】
デジタルスチルカメラ１０は、撮像レンズ１１と、撮像センサ１２と、ＡＤ（Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ）変換部１３と、デジタル信号処理部１４と、バッファメモリ１５と、記録部１６と、表示部１７と、レンズ制御部１８と、センサ制御部１９とを備える。
【００３７】
撮像センサ１２は、被写体を撮像レンズ１１を介して撮像し、撮像した画像に含まれる特定の色成分の強度に応じたアナログ信号を出力する光電変換素子である。
【００３８】
ＡＤ変換部１３は、撮像センサ１２から出力されたアナログ信号をデジタル化し、デジタルデータを出力する処理部である。
【００３９】
デジタル信号処理部１４は、ＡＤ変換部１３から出力されたデジタルデータを処理し、ＲＡＷデータが圧縮されたデータやＪＰＥＧで圧縮されたデータなど各種方式の処理が施された画像データ（以下、これらを総称する場合に「各種画像データ」という。）を出力する処理部である。
【００４０】
バッファメモリ１５は、デジタル信号処理部１４から出力される各種画像データを一時的に記憶する。バッファメモリ１５は、デジタル信号処理部１４によりアクセスされ、比較的高速で読み書き可能なメモリである。
【００４１】
記録部１６は、バッファメモリ１５に記憶されている各種画像データのうち、予め定められた一部を長期的に記憶する。記録部１６は、デジタル信号処理部１４によりアクセスされ、比較的大容量の記憶媒体である。
【００４２】
表示部１７は、デジタル信号処理部１４により処理されたデータが示す画像などを表示する液晶モニタなどである。
【００４３】
レンズ制御部１８は、デジタル信号処理部１４から各種画像データの一部を取得し、レンズを制御する処理部および駆動部であり、ピント合わせなどをする。
【００４４】
センサ制御部１９は、デジタル信号処理部１４から各種画像データの一部を取得し、撮像センサ１２を制御する処理部であり、撮像センサ１２の感度などを制御する。
【００４５】
図２は、デジタル信号処理部１４の詳細な構成を示すブロック図である。
デジタル信号処理回路１４は、前処理部２１と、非可逆圧縮部２２と、可逆圧縮部２３と、伸張部２４と、信号処理部２５と、ＪＰＥＧ処理部２６と、表示処理部２７と、ＩＦ（インタフェース）処理部２８とを備える。
【００４６】
前処理部２１は、ＡＤ変換部１３から出力されるデジタルデータを取得し、取得したデジタルデータに前処理を施すことにより、画像データとしてのＲＡＷデータを生成する処理部である。
【００４７】
ここでの前処理には、例えば、有効撮像領域の切り出し処理、ガンマ補正処理、必要に応じて入力画素の順序を並び替える処理、撮像センサ１２の欠損画素に対する画素値の置き換え処理等が挙げられる。
【００４８】
図３は、前処理部２１から出力されるＲＡＷデータの構成を示す図である。
ＲＡＷデータは、１画素１色の画素値を有する画像データである。
【００４９】
本実施の形態のＲＡＷデータは、ベイヤ配列構造の色フィルタを有する撮像センサ１２により撮像・出力されたアナログ信号に、ＡＤ変換部１３によるＡＤ変換処理および前処理部２１による前処理を施したデータである。
【００５０】
本実施の形態のＲＡＷデータの各画素には図３に示すようにベイヤ配列構造の色成分の画素値が対応付けられる。例えば、ベイヤ配列構造は、緑（Ｇ）、赤（Ｒ）および青（Ｂ）の色成分の配列構造であり、奇数行目では1列目から順に緑と赤とが繰り返され、偶数行目では1列目から順に青と緑とが繰り返される構造を備える。
【００５１】
本図は、例えば、１行目について、1列目から順に、画素３１は緑（Ｇ）の画素値が対応付けられており、その値がＧ11であることを示し、画素３２は赤（Ｒ）の画素値が対応付けられており、その値がＲ11であることを示し、画素３３は緑（Ｇ）の画素値が対応付けられており、その値がＧ12であることを示し、画素３４は赤（Ｒ）の画素値が対応付けられており、その値がＲ12であることを示し、画素３５は緑（Ｇ）の画素値が対応付けられており、その値がＧ13であることを示す。
【００５２】
前処理部２１は、このような配列構造で各画素に色成分が対応付けられたＲＡＷデータをラスタスキャンの順序で出力する。
【００５３】
ここから、再び図２を参照して、デジタル信号処理部１４について説明する。
非可逆圧縮部２２は、前処理部２１により生成された画像データとしてのＲＡＷデータを取得し、取得したＲＡＷデータに含まれる複数の画素値に基づいて量子化幅を決定し、決定した量子化幅を用いる量子化を含む非可逆な方式で前記画像データを圧縮する処理部であり、さらに、圧縮した画像データの全てをバッファメモリ１５に格納する。
【００５４】
第２符号化手段である可逆圧縮部２３は、非可逆圧縮部２２により決定された量子化幅が閾値より大きい場合に、その量子化幅が決定された複数の画素値を取得し、取得した複数の画素値を可逆な方式で圧縮する処理部であり、さらに、圧縮した画像データの全てをバッファメモリ１５に格納する。
【００５５】
ここで、非可逆圧縮部２２および可逆圧縮部２３によりバッファメモリ１５に格納された圧縮された画像データ（以下、「圧縮ＲＡＷデータ」という。）の構造について図４を参照して説明する。
【００５６】
図４は、バッファメモリ１５ａに格納される圧縮ＲＡＷデータの構造の例を示す図である。
【００５７】
本図は、２つの画像に対応する圧縮ＲＡＷデータが格納されている例を示しており、各圧縮ＲＡＷデータ１０１ａ（１０２ａ）は、非可逆圧縮部２２により非可逆方式で圧縮されたＲＡＷデータ１０３ａ（１０５ａ）と閾値より大きい量子化幅が決定された画素の画素値が可逆方式で圧縮されたＲＡＷデータ１０４ａ（１０６ａ）とを含む。
【００５８】
ここから、再び図２を参照して、デジタル信号処理部１４について説明する。
伸張部２４は、非可逆圧縮部２２および可逆圧縮部２３により圧縮された画像データをバッファメモリ１５から読み出し、伸張する処理部である。これにより、ＲＡＷデータが復元される。
【００５９】
信号処理部２５は、伸張部２４により復元されたＲＡＷデータを取得し、各画素に対応付けられていないＲＧＢの各色成分の輝度値を補間により生成し、輝度・色差系の画像データを生成し、生成した輝度・色差系の画像データをバッファメモリ１５に格納する。
【００６０】
ＪＰＥＧ処理部２６は、信号処理部２５により生成された輝度・色差系の画像データをバッファメモリ１５から読み出し、輝度・色差系の画像データをＪＥＰＧ形式に圧縮する処理部である。ＪＰＥＧ処理部２６は、ＪＰＥＧ形式の画像データをバッファメモリ１５に格納する。
【００６１】
表示処理部２７は、表示部１７に表示させるために、バッファメモリ１５から読み出した画像データの変換処理と出力タイミングの同期処理が行われる。
【００６２】
ＩＦ（インタフェース）処理部２８は、バッファメモリ１５に記憶されている各種画像データのうち、例えば図示しない入力部によりユーザが指定する種類の画像データを読み出し、記録部１６などの出力先に応じた変換処理を施し、記録部１６に格納する。すなわち、ＩＦ（インタフェース）処理部２８は、外部記憶格納手段の一例である。
【００６３】
なお、出力先は、図示しないＰＣ（パーソナルコンピュータ）やプリンタなどでもよく、この場合ＩＦ処理部２８は、出力タイミングの同期処理を実行する。
【００６４】
また、ＩＦ処理部２８は、記録部１６からデータを読み出し、表示処理部２７に対して出力することができるようにデータの入力を制御する。
【００６５】
図５は、非可逆圧縮部２２の詳細な構成を示すブロック図である。
非可逆圧縮部２２は、画素差分値算出部４０と、量子化幅決定部４１と、符号化部４２とを有する。
【００６６】
画素差分値算出部４０は、画像データとしてのＲＡＷデータに含まれる同じ色成分に対応する複数の画素値のうち、最も近くに位置する画素の画素値の差分値を算出する処理部である。
【００６７】
量子化幅決定部４１は、画素差分値算出部４０により算出された差分値を予め定めた桁数で表現するための量子化幅を決定する処理部である。
【００６８】
第１符号化手段である符号化部４２は、量子化幅決定部４１により決定された量子化幅で量子化し、量子化された画像データを符号化する処理部である。
【００６９】
以上が、本実施の形態に係るデジタルスチルカメラ１０の構成である。
次に、図６を参照してデジタルスチルカメラ１０が実行する処理について説明する。
【００７０】
図６は、デジタルスチルカメラ１０が実行する処理の流れを示す図である。
撮像センサ１２は、被写体を撮像し、アナログ信号を出力する（Ｓ１）。
【００７１】
ＡＤ変換部１３は、撮像センサ１２から出力されたアナログ信号をデジタル化し、デジタルデータを出力する（Ｓ２）。
【００７２】
前処理部２１は、ＡＤ変換部１３から出力されるデジタルデータを取得し、取得したデジタルデータに前処理を施すことにより、画像データとしてのＲＡＷデータを生成する（Ｓ３）。
【００７３】
非可逆圧縮部２２と可逆圧縮部２３とは、ともに前処理部２１からＲＡＷデータを取得する（Ｓ４）。
【００７４】
画素差分値算出部４０は、ＲＡＷデータに含まれる同じ色成分に対応する複数の画素値のうち、近傍に位置する画素の画素値の差分値（以下、「画素差分値」ともいう。）を算出する（Ｓ５）。
【００７５】
本実施の形態では、上記の同じ色成分に対応する複数の画素値のうち、近傍に位置する画素の一例として、同じ色成分に対応する複数の画素値のうち、行の一定方向に最も近くに位置する画素を用いる。すなわち、画素差分値算出部４０は、同じ色成分に対応する複数の画素値のうち、基準となる画素の画素値とその画素に対して一定方向に最も近い画素の画素値との差分値を算出する。例えば、画素差分値算出部４０が図３に示すＲＡＷデータを取得した場合、一定方向を右方向とすると、画素３３は、画素３１を基準として最も近い画素となる。また、同様に、画素３５は、画素３３を基準として最も近い画素となる。
【００７６】
なお、上記の近傍に位置する画素は、行の一定方向に最も近くに位置する画素に限られない。近傍に位置する画素は、一定の距離の範囲内に位置する画素であればよく、例えば、列の一定方向に最も近くに位置する画素であってもよく、行または列の一定方向に一定の距離だけ離れて位置する画素であってもよい。
【００７７】
ここで、図７は、同じ色成分の輝度値を有する隣接する２つの画素の画素値の第１の具体例を示す図であり、画素３１と画素３３との画素値の具体例を示す図である。
【００７８】
図７のハッチングを施された棒５１に示すように画素３１の画素値であるＧ11が４０００、棒５２に示すように画素３３の画素値であるＧ12が３９９０である場合、画素差分値算出部４０は、画素差分値５３として「−１０」（１０進数で表記）を算出する。
【００７９】
また、図８は、同じ色成分の輝度値を有する隣接する２つの画素の画素値の第２の具体例を示す図であり、画素３３と画素３５との画素値の具体例を示す図である。
【００８０】
図８のハッチングを施された、図７と同様の棒５２に示すように画素３３の画素値であるＧ12が３９９０、棒５４に示すように画素３５の画素値であるＧ13が４２３５である場合、画素差分値算出部４０は、画素差分値５５として「２４５」（１０進数で表記）を算出する。
【００８１】
量子化幅決定部４１は、画素差分値算出部４０により算出された差分値を予め定めた桁数で表現するための量子化幅を決定する（Ｓ６）。
【００８２】
ここで、量子化幅決定部４１による量子化幅の一般的な決定方法について説明する。量子化幅を決定する際に、差分値を表現する予め定めた桁数をｎビットとする。
【００８３】
図３に示す配列をもつ画像データとしてのＲＡＷデータの各画素値は、（ｎ＋ｋ）ビットで表される。また、ＲＡＷデータは、ラスタスキャンの順に１行目ではＧ11、Ｒ11、Ｇ12の順で、次の行ではＢ21、Ｇ21、Ｂ22の順に前処理部２１から非可逆圧縮部２２に出力される。
【００８４】
また、ある時刻ｔに前処理部２１から出力され、非可逆圧縮部２２での処理対象となる画素（以下、「処理対象画素」という。）の画素値をＩＮ（ｔ）により表す。また、処理対象画素と同じ色成分である画素のうち、処理対象画素の直前に処理された画素（以下、「直前画素」という。）の画素値をＩＮ（ｔ−１）により表す。さらに、これらの差分値をδにより表す。
【００８５】
例えば、処理対象画素の画素値ＩＮ（ｔ）がＧ12である場合、直近画素の画素値ＩＮ（ｔ―１）はＧ12である。また、差分値δのとりうる範囲は、（式１）により表される。
【００８６】
【数１】
2009038740.tif 000003
【００８７】
差分値δが（式２）により表される場合、差分値をｎビットで表現できる。
【００８８】
【数２】
2009038740.tif 000004
【００８９】
この場合、ｎビットで表現される差分値は量子化幅を「２0」とすることによって、（ｎ＋ｋ）ビットで表された元の画素値ＩＮ（ｔ）は、（ｎ＋ｋ）ビットの直前画素の画素値ＩＮ（ｔ−１）を用いて、（式３）で誤差なく表すことができる。
【００９０】
【数３】
2009038740.tif 000005
【００９１】
また、差分値量δが（式２）で示す範囲に収まらない場合、ｎビットで差分値δを表現するには量子化幅を２0より大きくする必要がある。
【００９２】
例えば、量子化幅を２1として表現できる差分値δは、（式４）により表される。
【００９３】
【数４】
2009038740.tif 000006
【００９４】
（式４）に示すように量子化幅は元画像に対して２1倍となるため、画素値は丸められることになる。すなわち、差分値量δが量子化幅２0で表現できる範囲にあれば元画像に復元することができ、それよりも大きくなると画素値は丸められるので必ずしも元画像に復元することはできない。
【００９５】
このような量子化幅決定部４１による量子化幅の決定方法について、本実施の形態の具体例により説明する。
【００９６】
本実施の形態では、差分値を２進数表記の８桁で表現するための量子化幅を決定する。
例えば、図７の画素差分値５３に示すように、１０進数表記の「−１０」は２進数表記で「１０００＿１０１０」であり、８桁で表現できる。そのため、量子化幅は「２0（＝１）」と決定される。
【００９７】
また例えば、図８の画素差分値５５に示すように、１０進数表記の「２４５」は２進数表記で「０＿１１１１＿０１０１」であり、８桁で表現できない。１０進数表記の「２４５」を２進数で表現するには９桁必要になる。１０進数表記の「２４５」を８桁で表現するために、最下位の１桁を丸める。したがって、量子化幅は「２1」と決定される。
【００９８】
なお、量子化幅を「２1」として丸められると、「０＿１１１１＿０１０１」は「０１１１＿１０１０」となり、これを１０進数表記に戻すと「２４４」になる。元の差分値である「２４５」とは「１」だけの誤差が生じる。
【００９９】
図９は、１０進数表記の整数が、量子化幅「２0」で２進数表記された場合と量子化幅「２1」で２進数表記された場合との対応関係を示す図である。
【０１００】
例えば、１０進数表記の「２４４」は量子化幅「２0」の２進数表記で「０＿１１１１＿０１００」であること、１０進数表記の「２４５」は量子化幅「２0」の２進数表記で「０＿１１１１＿０１０１」であることを示す。
【０１０１】
このように、量子化幅を大きくすることにより、所定桁数の２進数で表記できる１０進数表記での値の幅は広くなるが、その幅に含まれる１０進数表記での値は１つの２進数表記の値に対応付けられる。そのため、「２0」より大きい量子化幅での量子化を含む方式で圧縮された画像データは非可逆となり、量子化幅が大きいほど、その量子化幅で圧縮された画像データから復元される画像と元の画像との誤差は大きくなる。
【０１０２】
これに対して、量子化幅が「２0」である場合、その量子化幅で圧縮された画像データから復元される画像は元の画像と同一である。すなわち、その量子化幅で圧縮された画像データから元の画像への可逆性が確保される。
【０１０３】
ここから、図６を参照して、デジタルスチルカメラ１０が実行する処理の続きを説明する。
【０１０４】
量子化幅決定部４１は、決定した量子化幅が閾値以下であるか否かを判断する（Ｓ７）。
【０１０５】
本実施の形態での閾値は「２0（＝１）」とする。また、量子化幅は、２のべき乗で表されるため、取りうる最小の値が「１」である。そのため、実施の形態では、量子化幅が「２0（＝１）」であるか否かを判断することは、量子化幅が閾値である「２0（＝１）」以下であるか否かを判断することと同じである。
【０１０６】
量子化幅が「２0」と等しいと判断された場合（Ｓ７でＹｅｓ）、符号化部４２は、差分値を量子化幅決定部４１により決定された量子化幅で量子化し、量子化された画像データを符号化することにより、差分値の符号化データを生成する（Ｓ８）。
【０１０７】
ここでの符号化部４２が実行する処理は、非可逆方式での符号化であるが、量子化幅が「２0（＝１）」と決定された差分値を対象としているため、符号化部４２により符号化された符号化データから元の画像データを完全に復元することができる。
【０１０８】
符号化部４２は、差分値の符号化データを非可逆方式での圧縮ＲＡＷデータの一部としてバッファメモリ１５に格納し（Ｓ９）、処理を終了する。
【０１０９】
また、量子化幅が「２0」と等しくないと判断された場合（Ｓ７でＮｏ）、量子化幅決定部４１は、可逆圧縮部２３に符号化指示を出力する（Ｓ１０）。
【０１１０】
ここで、符号化指示とは、可逆圧縮部２３に画像データの符号化処理を実行させる指示を含むデータである。例えば、可逆圧縮部２３が符号化する画素の位置を特定する情報などが含まれる。
【０１１１】
ここから、非可逆圧縮部２２と可逆圧縮部２３とは並行して処理を実行する。
まず、並行処理のうち、非可逆圧縮部２２が実行する処理について説明する。
【０１１２】
非可逆圧縮部２２の符号化部４２は、差分値を量子化幅決定部４１により決定された量子化幅で量子化し、量子化された画像データを符号化することにより、差分値が圧縮された符号化データを生成する（Ｓ１１）。
【０１１３】
符号化部４２は、差分値の符号化データを非可逆方式での圧縮ＲＡＷデータの一部としてバッファメモリ１５に格納し（Ｓ１２）、処理を終了する。
【０１１４】
以上が、並行処理のうち、非可逆圧縮部２２が実行する処理である。ここで生成される符号化データは、量子化幅が「２0」と等しくない差分値を量子化・符号化したデータであるため、符号化データから元の画像データを完全に復元することはできない。このような符号化データをバッファメモリ１５に格納することにより、非可逆圧縮部２２は量子化幅により処理を実行するか否かを判断することなく順次符号化データを生成し、格納することができるため、その判断にかかる負荷を軽減することが可能になる。
【０１１５】
次に、並行処理のうち、可逆圧縮部２３が実行する処理について説明する。
可逆圧縮部２３は、量子化幅決定部４１から符号化指示を取得する（Ｓ１３）。
【０１１６】
可逆圧縮部２３は、画像データのうち、取得した符号化指示に含まれる情報により示される位置の画素の画素値を可逆方式で符号化することにより、可逆方式で圧縮された符号化データを生成する（Ｓ１４）。
【０１１７】
可逆圧縮部２３は、可逆方式で圧縮された符号化データをバッファメモリ１５に格納し（Ｓ１５）、処理を終了する。
【０１１８】
以上が、並行処理のうち、可逆圧縮部２３が実行する処理である。
以上の処理をＲＡＷデータに含まれる全ての画素に対して実行することにより、バッファメモリ１５には、非可逆方式での圧縮ＲＡＷデータのみが格納されるか、または、図４に示すように非可逆方式での圧縮ＲＡＷデータ１０３ａ（１０５ａ）および可逆方式での圧縮ＲＡＷデータ１０４ａ（１０６ａ）が格納される。
【０１１９】
非可逆方式での圧縮ＲＡＷデータのみの場合であっても、量子化幅を「２0（＝１）」として量子化されているため、符号化データから元のＲＡＷデータを完全に復元できる。
【０１２０】
また、量子化幅が「２0（＝１）」でない差分値が含まれる場合には、非可逆方式での圧縮ＲＡＷデータ１０３ａ（１０５ａ）および可逆方式での圧縮ＲＡＷデータ１０４ａ（１０６ａ）が含まれることとなり、これら圧縮ＲＡＷデータから元のＲＡＷデータを完全に復元できる。
【０１２１】
本実施の形態において、例えば画素３１のように基準となる画素の画素値は、可逆な方式で圧縮されバッファメモリ１５に格納される。
【０１２２】
このように、第１符号化手段である符号化部４２を有する非可逆圧縮部２２での非可逆な方式での処理中に決定される量子化幅により、非可逆な方式での圧縮と可逆な方式での圧縮とを切り替える。このとき、両方式のいずれにより圧縮するかを切り替える量子化幅の閾値を小さく設定することにより、圧縮された画像データからより元の画像データに近い画像データを復元できる。さらに、量子化幅が１の場合にのみ、非可逆な方式で圧縮すると、圧縮した画像データから元の画像データを完全に復元することができ、可逆性が確保される。
【０１２３】
また、量子化幅の決定は、非可逆な方式での圧縮処理において通常実行される処理である。そのため、特に処理を追加することなく、非可逆な方式での圧縮と可逆な方式での圧縮とを切り替えることができ、圧縮した画像データから復元される画像データの画質を向上させながら、処理負荷を軽減することが可能になる。
【０１２４】
さらに、可逆な圧縮方式だけでなく、非可逆な圧縮方式をも利用するため、可逆な圧縮方式のみで圧縮する場合よりも効率的な圧縮が可能になり、バッファメモリの効率的な使用が可能になる。
【０１２５】
以上、本発明の実施の形態に係る画像符号化装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１２６】
例えば、実施の形態では２つの画素ごとに量子化幅を決定したが、複数の画素をグループとしてグループごとに共通の量子化幅を決定し、決定された量子化幅が閾値以下である場合にそのグループに属する画素に対しては決定された量子化幅を用いる量子化および符号化を実行し、決定された量子化幅が閾値よりも大きい場合にそのグループに属する画素に対しては可逆な方式で圧縮されてもよい。
【０１２７】
これにより、同一数量の画素を含む画像データの場合、グループに含まれる画素数を増やすことにより量子化幅を決定する回数を減少させることができ、処理の効率を向上させることが可能になる。
【０１２８】
例えば、可逆圧縮部２３は、非可逆圧縮部２２を介して自身が圧縮するＲＡＷデータを取得してもよい。
【０１２９】
例えば、可逆圧縮部２３は、非可逆圧縮部２２から符号化指示とともに、符号化する差分値を取得し、取得した差分値を可逆圧縮してもよい。
【０１３０】
例えば、非可逆圧縮部２２は、すべての画像データを圧縮符号化するのではなく、量子化幅が閾値以下である場合のみに、その量子化幅が決定された画像データをその量子化幅を用いる方式で圧縮符号化してもよい。
【０１３１】
この場合、画像符号化装置１００が備える構成は、図２および図５に示す画像符号化装置１００および非可逆圧縮部２２が備える構成と同一である。
【０１３２】
図１０は、一変形例において画像符号化装置１００が実行する処理の流れを示す図である。
【０１３３】
本変形例の画像符号化装置が実行する処理は、実施の形態の画像符号化装置１００が実行する処理とは量子化幅が閾値より大きい場合に（Ｓ７でＮｏ）、非可逆な方式での符号処理（Ｓ１１）およびその圧縮ＲＡＷデータの格納処理（Ｓ１２）を実行しない点が異なり、それ以外は、実施の形態における画像符号化装置１００が実行する処理と同一である。
【０１３４】
本図に示す撮像処理（Ｓ２１）から量子化幅決定部４１による量子化幅判断処理（Ｓ２７）までは、実施の形態の図６に示す撮像処理（Ｓ１）から量子化幅決定処理（Ｓ７）までの処理と同一である。
【０１３５】
また、量子化幅が閾値以下である場合に（Ｓ２７でＹｅｓ）実行される非可逆方式での符号化処理（Ｓ２８）および圧縮ＲＡＷデータ格納処理（Ｓ２９）は、それぞれ実施の形態の図６に示す非可逆方式での符号化処理（Ｓ８）および圧縮ＲＡＷデータ格納処理（Ｓ９）と同一である。
【０１３６】
さらに、量子化幅が閾値より大きい場合に（Ｓ２７でＮｏ）実行される符号化指示出力処理（Ｓ３０）および符号化指示取得処理（Ｓ３１）から圧縮ＲＡＷデータ格納処理（Ｓ３３）までは、それぞれ実施の形態の図６に示す符号化指示出力処理（Ｓ１０）および符号化指示取得処理（Ｓ１３）から圧縮ＲＡＷデータ格納処理（Ｓ１５）までと同一である。
【０１３７】
このように、本変形例の画像符号化装置が実行する処理は、図６に示す実施の形態の画像符号化装置１００が実行する処理のそれぞれと対応するため、各処理の詳細な説明は省略する。
【０１３８】
図１１は、一変形例においてバッファメモリ１５ｂに格納される圧縮ＲＡＷデータの構造を示す図である。
【０１３９】
本図は、２つの画像に対応する圧縮ＲＡＷデータが格納されている例を示しており、各圧縮ＲＡＷデータ１０１ｂ（１０２ｂ）は、ハッチングが施されていない非可逆圧縮部２２により非可逆方式で圧縮されたＲＡＷデータ１０３ｂ（１０５ｂ）と、ハッチングが施された閾値より大きい量子化幅が決定された画素の画素値が可逆方式で圧縮されたＲＡＷデータ１０４ｂ（１０６ｂ）とを含む。
【０１４０】
このように、本変形例では、実施の形態と異なり量子化幅が閾値より大きい画像データに対応する圧縮ＲＡＷデータがバッファメモリ１５ｂに重複して格納されない。そのため、各圧縮ＲＡＷデータの情報量を小さくすることができ、バッファメモリ１５ｂの消費をより抑えることが可能になる。
【産業上の利用可能性】
【０１４１】
本発明は、画像データを符号化する画像符号化装置に適用できる。
【図面の簡単な説明】
【０１４２】
【図１】本発明の実施の形態に係る画像符号化装置をデジタルスチルカメラに適用した場合の構成例を示すブロック図である。
【図２】デジタル信号処理部の詳細な構成を示すブロック図である。
【図３】前処理部から出力されるＲＡＷデータの構成を示す図である。
【図４】バッファメモリに格納される圧縮ＲＡＷデータの構造の例を示す図である。
【図５】非可逆圧縮処理部の詳細な構成を示すブロック図である。
【図６】デジタルスチルカメラが実行する処理の流れを示す図である。
【図７】同じ色成分の輝度値を有する隣接する２つの画素の画素値の第１の具体例を示す図である。
【図８】同じ色成分の輝度値を有する隣接する２つの画素の画素値の第２の具体例を示す図である。
【図９】１０進数表記の整数が、量子化幅「２0」で２進数表記された場合と量子化幅「２1」で２進数表記された場合との対応関係を示す図である。
【図１０】一変形例において画像符号化装置１００が実行する処理の流れを示す図である。
【図１１】一変形例においてバッファメモリに格納される圧縮ＲＡＷデータの構造を示す図である。
【図１２】従来の画像符号化装置が備える構成を示すブロック図である。
【符号の説明】
【０１４３】
１０  デジタルスチルカメラ
１１  撮像レンズ
１２  撮像センサ
１３  ＡＤ変換部
１４  デジタル信号処理部
１５  バッファメモリ
１６  記録部
１７  表示部
１８  レンズ制御部
１９  センサ制御部
２１  前処理部
２２  非可逆圧縮部
２３  可逆圧縮部
２４  伸張部
２５  信号処理部
２６  ＪＰＥＧ処理部
２７  表示処理部
２８  ＩＦ処理部
４０  画素差分値算出部
４１  量子化幅決定部
４２  符号化部
【図１】
2009038740.tif 000007
【図２】
2009038740.tif 000008
【図３】
2009038740.tif 000009
【図４】
2009038740.tif 000010
【図５】
2009038740.tif 000011
【図６】
2009038740.tif 000012
【図７】
2009038740.tif 000013
【図８】
2009038740.tif 000014
【図９】
2009038740.tif 000015
【図１０】
2009038740.tif 000016
【図１１】
2009038740.tif 000017
【図１２】
2009038740.tif 000018