(57)【要約】【課題】  画質の悪化を感じさせることなく高い圧縮率で画像を符号化する。【解決手段】  被写体の撮影画像を、互いに優先順位の異なる複数の領域に分割し、優先順位に従って、各領域に符号量を設定する。このとき、被写体を撮影するための設定内容に関する情報（撮影情報）を予め取得しておき、該撮影情報を考慮しながら、画像を複数の領域に分割する。撮影情報には、被写体を撮影するための設定内容が反映されているから、かかる情報に基づいて画像を分割することで、被写体に応じて適切に領域を設定することができる。このため、被写体が写っている部分では高い画質を維持したまま、画像を符号化することが可能となる。また、符号量の設定に際しても、撮影情報を考慮することとしても良い。【選択図】        図１
2005277742.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮影した画像を符号化する画像符号化装置であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する撮影情報取得手段と、
前記被写体の撮影画像を、互いに優先順位の異なる複数の領域に分割する画像分割手段と、
前記各々の領域に、前記優先順位に応じて符号量を設定する符号量設定手段と、
前記各々の領域の画像を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する画像符号化手段と
を備え、
前記画像分割手段は、前記取得した撮影情報に基づいて、前記撮影画像を複数の領域に分割する手段であることを特徴とする画像符号化装置。
【請求項２】
請求項１記載の画像符号化装置であって、
前記符号量設定手段は、前記取得した撮影情報に基づいて、前記各々の領域に符号量を設定する手段であることを特徴とする画像符号化装置。    
【請求項３】
請求項１または請求項２記載の画像符号化装置であって、
前記符号量設定手段は、前記画像を構成する複数の階層毎に、前記各々の領域の符号量を設定する手段である画像符号化装置。
【請求項４】
被写体像を撮影した画像を符号化する画像符号化装置であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する撮影情報取得手段と、
前記画像を構成する複数の階層の各々に、前記取得した撮影情報に基づいて符号量を設定する符号量設定手段と、
前記画像の各階層を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する画像符号化手段と
を備える画像符号化装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像符号化装置であって、
前記撮影情報取得手段は、少なくとも、前記撮影画像中での前記被写体位置に関する情報を、前記撮影情報として取得する手段であることを特徴とする画像符号化装置。
【請求項６】
請求項５記載の画像符号化装置であって、
前記撮影情報取得手段は、前記被写体像を撮影したシーンモードに関する情報も、前記撮影情報として取得する手段であることを特徴とする画像符号化装置。
【請求項７】
請求項５記載の画像符号化装置であって、
前記撮影情報取得手段は、前記被写体像の撮影に用いられた絞り値に関する情報も、前記撮影情報として取得する手段であることを特徴とする画像符号化装置。
【請求項８】
請求項５記載の画像符号化装置であって、
前記撮影情報取得手段は、前記被写体像の撮影に用いられた測光方式に関する情報も、前記撮影情報として取得する手段であることを特徴とする画像符号化装置。
【請求項９】
請求項１ないし請求項４のいずれかに記載の画像符号化装置であって、
前記撮影情報取得手段は、少なくとも、前記被写体像の撮影に用いられた絞り値に関する情報と、該撮影に用いられた測光方式に関する情報とを、前記撮影情報として取得する手段であることを特徴とする画像符号化装置。
【請求項１０】
請求項１ないし請求項４のいずれかに記載の画像符号化装置であって、
前記撮影情報取得手段は、少なくとも、前記被写体像を撮影したシーンモードに関する情報と、該撮影に用いられた測光方式に関する情報とを、前記撮影情報として取得する手段であることを特徴とする画像符号化装置。
【請求項１１】
被写体像を撮影した画像を符号化する画像符号化方法であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する第１の工程と、
前記被写体の撮影画像を、互いに優先順位の異なる複数の領域に分割する第２の工程と、
前記各々の領域に、前記優先順位に応じて符号量を設定する第３の工程と、
前記各々の領域の画像を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する第４の工程と
を備え、
前記第２の工程は、前記取得した撮影情報に基づいて、前記撮影画像を複数の領域に分割する工程であることを特徴とする画像の符号化方法。
【請求項１２】
請求項１１記載の画像符号化方法であって、
前記第３の工程は、前記取得した撮影情報に基づいて、前記各々の領域に符号量を設定する工程であることを特徴とする画像の符号化方法。
【請求項１３】
被写体像を撮影した画像を符号化する画像符号化方法であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する工程（Ａ）と、
前記画像を構成する複数の階層の各々に、前記取得した撮影情報に基づいて符号量を設定する工程（Ｂ）と、
前記画像の各階層を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する工程（Ｃ）と
を備える画像符号化方法。
【請求項１４】
被写体像を撮影した画像を符号化する方法を、コンピュータを用いて実現するためのプログラムであって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する第１の機能と、
前記被写体の撮影画像を、互いに優先順位の異なる複数の領域に分割する第２の機能と、
前記各々の領域に、前記優先順位に応じて符号量を設定する第３の機能と、
前記各々の領域の画像を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する第４の機能と
を実現するとともに、
前記第２の機能は、前記取得した撮影情報に基づいて、前記撮影画像を複数の領域に分割する機能であることを特徴とするプログラム。
【請求項１５】
請求項１４記載のプログラムであって、
前記第３の機能は、前記取得した撮影情報に基づいて、前記各々の領域に符号量を設定する機能であることを特徴とするプログラム。
【請求項１６】
被写体像を撮影した画像を符号化する方法を、コンピュータを用いて実現するためのプログラムであって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する機能（Ａ）と、
前記画像を構成する複数の階層の各々に、前記取得した撮影情報に基づいて符号量を設定する機能（Ｂ）と、
前記画像の各階層を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する機能（Ｃ）と
を実現するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の画像を撮影して、得られた画像を符号化する技術に関する。
【背景技術】
【０００２】
コンピュータなどに代表される電子関連技術の進歩に伴って、今日では、画像を電子データの形態で取り扱うことが多くなっている。こうした電子データの形態を有する画像（いわゆる画像データ）は、文字などを表すデータに比べてデータ量が大きくなるため、画像の保存に多くの記憶容量が必要になったり、あるいは転送に時間がかかってしまう傾向にある。そこで、画像を一旦符号化して圧縮することで、データ量を小さくした状態で取り扱われることが多い。静止画像を符号化する方法としては、いわゆるＪＰＥＧと呼ばれる規格が広く使用されており、その発展型であるＪＰＥＧ２０００と呼ばれる規格も使われるようになっている。
【０００３】
ＪＰＥＧ方式を用いて画像を符号化する場合、復元時に要求される画質によって画像の圧縮率は異なったものとなる。すなわち、復元時に高い画質が要求されないのであれば、圧縮率を高くして画像のデータ量を小さくすることができるが、復元時に高い画質が要求される場合は、画質の劣化を抑制するために圧縮率を低めに抑制する必要が生じる。このように、復元時の画質との兼ね合いではあるものの、圧縮率を種々に設定可能という特性を利用して、圧縮後のデータ量が一定となるように画像の圧縮率を変更する技術が提案されている（例えば、特許文献１）。
【０００４】
【特許文献１】特許第３４２７４５４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、画像の圧縮率を変更すると、これに伴って画像全体の画質が影響を受けてしまうという問題があった。例えば、いわゆるポートレートモードで撮影した画像では、画像の中央付近に人物などの主要被写体が存在し、その他の部分は背景画像となることが多いが、圧縮率を高くすると、背景画像だけでなく主要被写体の復元画質も一様に低下してしまうという問題があった。
【０００６】
この発明は、従来技術における上述した課題を解決するためになされたものであり、画像の撮影情報を利用して画像の符号化を行うことで、高い圧縮率で圧縮した画像でも画質の悪化を感じさせることなく適切に復元可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００７】
上述した課題の少なくとも一部を解決するために、本願発明の第１の画像符号化装置は次の構成を採用した。すなわち、
被写体像を撮影した画像を符号化する画像符号化装置であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する撮影情報取得手段と、
前記被写体の撮影画像を、互いに優先順位の異なる複数の領域に分割する画像分割手段と、
前記各々の領域に、前記優先順位に応じて符号量を設定する符号量設定手段と、
前記各々の領域の画像を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する画像符号化手段と
を備え、
前記画像分割手段は、前記取得した撮影情報に基づいて、前記撮影画像を複数の領域に分割する手段であることを特徴とする。
【０００８】
また、上記の画像符号化装置に対応する本発明の第１の画像符号化方法は、
被写体像を撮影した画像を符号化する画像符号化方法であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する第１の工程と、
前記被写体の撮影画像を、互いに優先順位の異なる複数の領域に分割する第２の工程と、
前記各々の領域に、前記優先順位に応じて符号量を設定する第３の工程と、
前記各々の領域の画像を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する第４の工程と
を備え、
前記第２の工程は、前記取得した撮影情報に基づいて、前記撮影画像を複数の領域に分割する工程であることを特徴とする。
【０００９】
かかる本発明の第１の画像符号化装置および第１の画像符号化方法においては、被写体を撮影するための設定内容に関する情報たる撮影情報を取得し、得られた撮影情報に基づいて、画像を複数の領域に分割する。撮影情報としては、例えば、被写体位置、被写体領域、レンズ絞り値、シーンモード、測光方式、画像サイズ、被写体距離、フレーム枠などの設定を取得することができる。また、画像を分割することで生成された各領域には、異なる優先順位が設定されている。そして、かかる優先順位に応じて各領域に符号量を設定した後、画像を符号化する。
【００１０】
こうすれば、優先順位の高い領域ほど高い画質を維持したまま、画像を符号化することができる。また、撮影情報は、被写体を撮影するための設定内容が反映されているから、画像を分割するに際して、撮影情報に基づいて分割してやることで、被写体に応じて適切に領域を設定することができる。このため、被写体が写っている部分では高い画質を維持したまま、画像を符号化することが可能となる。
【００１１】
こうした第１の画像符号化装置および第１の画像符号化方法では、取得した撮影情報に基づいて、各領域の符号量を設定することとしてもよい。
【００１２】
こうすれば、主要な被写体の写っている領域には比較的多くの符号量を設定し、その他の領域には比較的少ない符号量を設定することで、被写体部分の画質は維持したまま、背景部分の画像を大きく圧縮することができ、その結果、画質の劣化を感じさせることなく、高い圧縮率で画像を符号化することが可能となる。
【００１３】
また、各領域に符号量を設定するに際しては、画像を構成する複数の階層毎に符号量を設定することとしてもよい。
【００１４】
こうすれば、各々の階層に含まれる各領域に符号量を設定することができるので、符号量設定の自由度が高くなり、その結果、撮影情報に応じて各領域の符号量を適切に設定することが可能となる。
【００１５】
また、従来技術が有する前述した課題の少なくとも一部を解決するために、本願発明の第２の画像符号化装置は次の構成を採用した。すなわち、
被写体像を撮影した画像を符号化する画像符号化装置であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する撮影情報取得手段と、
前記画像を構成する複数の階層の各々に、前記取得した撮影情報に基づいて符号量を設定する符号量設定手段と、
前記画像の各階層を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する画像符号化手段と
を備えることを要旨とする。
【００１６】
更に、上記の画像符号化装置に対応する本願発明の第２の画像符号化方法は、
被写体像を撮影した画像を符号化する画像符号化方法であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する工程（Ａ）と、
前記画像を構成する複数の階層の各々に、前記取得した撮影情報に基づいて符号量を設定する工程（Ｂ）と、
前記画像の各階層を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する工程（Ｃ）と
を備えることを要旨とする。
【００１７】
かかる本発明の第２の画像符号化装置および第２の画像符号化方法においても、被写体を撮影するための設定内容に関する情報たる撮影情報を取得し、撮影情報に基づいて、画像を構成する各階層の符号量を設定する。次いで、設定された符号量に従って、各階層を符号化することにより、画像を符号化する。
【００１８】
画質に対する影響は画像の階層によって異なっていることから、各階層の符号量を撮影情報に基づいて設定しておけば、符号量を効率よく割り当てることができ、延いては、高い画質を維持したまま、画像を符号化することが可能となる。
【００１９】
また、上述した各種の画像符号化装置においては、撮影情報として、少なくとも、撮影画像中での被写体位置に関する情報を取得することとしてもよい。
【００２０】
画像中での被写体位置が分かれば、被写体位置を考慮して画像を適切に分割し、あるいは各領域に適切に符号量を設定することができる。その結果、被写体が写っている部分の画質を維持して符号化することで、画質の悪化を感じさせることなく高い圧縮率で画像を符号化することが可能となる。
【００２１】
このとき、撮影情報として、被写体位置に加えて、シーンモードに関する設定内容も取得することとしても良い。
【００２２】
シーンモードに関する撮影情報が分かれば、これを考慮することで、画像の分割や符号量の設定を適切に実施することができる。例えばポートレートモードで撮影されている場合は、画像の中央付近に広い範囲で主要被写体が写っており、その他の部分には背景が写っていることが多いから、主要被写体が写っていると思われる領域を広く設定する。あるいは、背景が写っていると思われる領域には、比較的少ない符号量を設定する。こうすれば、画像を適切に符号化することが可能となり、延いては、画質の悪化を感じさせることなく、画像を高い圧縮率で画像を符号化することができる。
【００２３】
あるいは、撮影情報として、被写体位置に加えて、撮影時の絞り値に関する設定も取得することとしても良い。
【００２４】
例えば、絞りを開放して撮影された画像では、焦点の合っていない部分はぼやけた画像が得られる。従って、絞りが開放されているほど、領域間に大きな格差が付くように符号量を設定してやれば、撮影画像に応じて適切に符号量を設定することができる。また、このとき、絞りが開放されるほど、符号量を多く設定する領域を小さくすることとしても良い。このように、被写体位置に加えて絞りも考慮することにより、領域あるいは符号量を適切に設定して、画質の悪化を感じさせることなく、画像を高い圧縮率で画像を符号化することが可能となる。
【００２５】
更には、被写体位置に加えて、測光方式に関する設定も、撮影情報として取得することとしても良い。
【００２６】
例えば、中央重点測光で撮影された画像は、画像の中央付近に主要な被写体が写っていることが多い。また、分割測光で撮影された画像は、画像の広い範囲に主要な被写体が分布して写っていることが多い。そこで、被写体位置に加えて測光方式も考慮してやれば、領域あるいは符号量を適切に設定し、延いては、画質の悪化を感じさせることなく、高い圧縮質で画像を符号化することができる。
【００２７】
また、こうした本願発明の各種画像符号化装置においては、撮影情報として、少なくとも絞り値の設定と、測光方式に関する設定とを取得することとしてもよい。
【００２８】
こうすれば、例えば、画像の分割に際しては主に測光方式を使用し、符号量の設定に際しては主に絞り値を用いることにより、画像を適切に分割して、各領域に適切に符号量を設定することが可能となる。
【００２９】
あるいは、撮影情報として、少なくともシーンモードに関する設定と、測光方式に関する設定とを取得することとしても良い。
【００３０】
これらの撮影情報は、いずれも主要な被写体が画像中に写っている領域の広さに関連することが多い傾向にある。そこで、これらの情報の組合せに応じて、主要被写体の写っている領域の広さに予め序列を設定しておけば、かかる序列に従って適切に領域を設定することが可能となる。
【００３１】
更に、本発明は、上述した各種の画像符号化方法を実現するためのプログラムをコンピュータに読み込ませることで、コンピュータを用いて実現することも可能である。従って本願発明は、次のようなプログラムあるいは該プログラムを記録した記録媒体として把握することも可能である。すなわち、上述した第１の画像符号化方法に対応する本発明の第１のプログラムは、
被写体像を撮影した画像を符号化する方法を、コンピュータを用いて実現するためのプログラムであって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する第１の機能と、
前記被写体の撮影画像を、互いに優先順位の異なる複数の領域に分割する第２の機能と、
前記各々の領域に、前記優先順位に応じて符号量を設定する第３の機能と、
前記各々の領域の画像を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する第４の機能と
を実現するとともに、
前記第２の機能は、前記取得した撮影情報に基づいて、前記撮影画像を複数の領域に分割する機能であることを特徴とする。
【００３２】
かかる第１のプログラムに対応する第１の記録媒体は、
被写体像を撮影した画像を符号化するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する第１の機能と、
前記被写体の撮影画像を、互いに優先順位の異なる複数の領域に分割する第２の機能と、
前記各々の領域に、前記優先順位に応じて符号量を設定する第３の機能と、
前記各々の領域の画像を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する第４の機能と
をコンピュータを用いて実現するプログラムを記憶しているとともに、
前記第２の機能は、前記取得した撮影情報に基づいて、前記撮影画像を複数の領域に分割する機能であることを特徴とする。
【００３３】
尚、こうしたプログラムにおいては、取得した撮影情報に基づいて、各々の領域に符号量を設定することとしてもよい。
【００３４】
また、上述した第２の画像符号化方法に対応する本発明の第２のプログラムは、
被写体像を撮影した画像を符号化する方法を、コンピュータを用いて実現するためのプログラムであって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する機能（Ａ）と、
前記画像を構成する複数の階層の各々に、前記取得した撮影情報に基づいて符号量を設定する機能（Ｂ）と、
前記画像の各階層を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する機能（Ｃ）と
を実現することを要旨とする。
【００３５】
かかる第２のプログラムに対応する第２の記録媒体は、
被写体像を撮影した画像を符号化するプログラムを、コンピュータで読み取り可能に記録した記録媒体であって、
前記被写体を撮影するための設定内容に関する情報たる撮影情報を取得する機能（Ａ）と、
前記画像を構成する複数の階層の各々に、前記取得した撮影情報に基づいて符号量を設定する機能（Ｂ）と、
前記画像の各階層を前記設定された符号量に従って符号化することにより、前記撮影画像を符号化する機能（Ｃ）と
をコンピュータを用いて実現するプログラムを記憶していることを要旨とする。
【００３６】
これらプログラム、あるいは記録媒体に記録されているプログラムをコンピュータに読み込ませ、各種機能を実現させれば、画質の悪化を感じさせることなく、高い圧縮率で画像を符号化することが可能となる。
【発明を実施するための最良の形態】
【００３７】
以下では、上述した本願発明の内容を明確にするために、次のような順序に従って実施例を説明する。
Ａ．本実施例の画像符号化技術の概要：
Ｂ．装置構成：
Ｃ．画像符号化処理：
Ｄ．変形例：
【００３８】
Ａ．本実施例の画像符号化技術の概要  ：
実施例の詳細な説明に入る前に、本実施例において画像を符号化する技術の概要について簡単に説明しておく。図１は、デジタルカメラなどで撮影した画像に、本実施例の符号化を施して、画像ファイルを生成する処理の大まかな流れを示すブロック図である。図示するように、本実施例の画像符号化技術では、デジタルカメラなどで撮影した画像データを画像符号化装置１０に供給し、画像の符号化を行うことによって画像ファイルを生成する。ここで、画像データは画素毎に階調値が設定されたいわゆる階調データである。供給される画像がカラー画像の場合は、通常、Ｒ，Ｇ，Ｂの各色成分毎に階調データが供給される。あるいは、それぞれ輝度成分と、彩度成分と、色差成分とを表す階調データが供給されることもある。供給される画像がモノクロ画像の場合には、輝度成分を表す階調データが供給される。
【００３９】
尚、画像符号化装置１０は、デジタルカメラなどの画像を撮影した機器の内部に組み込まれており、デジタルカメラからは符号化された画像ファイルが出力されるようにすることができる。あるいは、画像符号化装置１０を、デジタルカメラなどとは別体に設けられたコンピュータ上に構成し、デジタルカメラなどから画像データを供給してコンピュータ上で符号化処理を行って、画像ファイルを生成することも可能である。
【００４０】
本実施例の画像符号化技術では、画像データに加えて、撮影情報も画像符号化装置１０に供給する。ここで撮影情報とは、被写体を撮影するためのデジタルカメラなどの設定内容に関する情報であって、例えば、被写体の位置やレンズの絞り値、測光方式などの情報である。また、撮影情報以外の各種情報、例えば、撮影の日付や時刻、撮影者などの情報も、画像情報として画像符号化装置１０に供給することも可能である。
【００４１】
本実施例の画像符号化装置１０は、その機能に着目すると、各種データ取得モジュールや、画像分割モジュール、符号量設定モジュール、符号化モジュールなどの各種モジュールに分けて把握することができる。各種データ取得モジュールは、画像データに加えて撮影情報を取得する。画像データとともに画像情報が供給される場合は、この画像情報も各種データ取得モジュールによって取得される。画像分割モジュールは、取得した画像を分割して複数の領域を生成する。画像の分割に際しては、画像データとともに取得した撮影情報を利用することにより、画像を適切に分割するとともに、各領域に優先順位を設定する。次いで、符号量設定モジュールでは、画像を分割することで生成された複数の領域に、各領域の優先順位に応じて符号量を設定する。符号化モジュールは、こうして設定された符号量に従って各領域の符号化を行った後、得られた符号化画像に画像情報や撮影情報を添付して、画像ファイルとして出力する。
【００４２】
このようにして画像を符号化してやれば、優先順位の低い領域は圧縮率を高くし、逆に優先順位の高い領域では圧縮率を低くすることで、画像全体としては高い圧縮率で圧縮した場合でも、画質の悪化を感じさせることなく適切に画像を復元することが可能となる。以下では、こうした画像の符号化技術について、実施例に基づき説明する。
【００４３】
Ｂ．装置構成  ：
図２は、いわゆるデジタルカメラを例に用いて、画像符号化装置の構成を示した説明図である。もちろん、デジタルカメラに限らず、カラースキャナや、デジタルビデオカメラなどの他の画像機器を用いて画像符号化装置を構成することも可能である。また、いわゆるパーソナルコンピュータなどの画像処理装置上で画像の符号化を行うことにより、実質的に画像符号化装置を構成することとしても良い。
【００４４】
デジタルカメラ１００には、図示されているように、レンズおよびレンズの駆動機構などによって主に構成される光学系１０２と、ＣＣＤ（Ｃharge Ｃoupled Ｄevice）などによって主に構成される画像取得回路１０４と、光学系１０２から画像取得回路１０４に入射する光量を調整する絞り機構１０６と、ＤＳＰ（Ｄegital Ｓignal Ｐrocessor）などによって主に構成される画像処理回路１０８と、ＣＰＵなどによって主に構成される制御回路１１０と、ＲＯＭやＲＡＭなどによって主に構成される記憶回路１１２と、専用のＬＳＩによって主に構成される画像出力回路１１４と、制御回路１１０に対して種々の設定を行う十字カーソル１１８などが搭載されている。
【００４５】
このようなデジタルカメラ１００で画像を撮影する場合には、光学系１０２によって画像取得回路１０４のＣＣＤ上に画像を結像させる。ＣＣＤの受光面には、光を電荷に変換する微細な検出素子が一面に埋め込まれており、画像を結像させると、各検出素子はそれぞれの位置での光強度に応じて電荷を発生させる。画像取得回路１０４は、ＣＣＤの各検出素子で発生している電荷量を検出することによって、画像データを生成する。
【００４６】
画像データは、画像処理回路１０８に送られて所定の解析が施された後、制御回路１１０で絞り量やピントなどが調整され、調整結果が光学系１０２や絞り機構１０４の設定に反映される。こうした操作を繰り返し、最終的に得られた画像データに対して、今度は符号化処理が行われる。符号化処理は、制御回路１１０の制御の元で、画像処理回路１０８によって実行される。符号化を行うための各種プログラムやデータは、記憶回路１１２に予め記憶されている。こうして得られた符号化画像は、画像出力回路１１４に供給されて画像ファイルとしてメモリカードなどの記録素子１１６に書き込まれる。あるいは、ケーブルなどを介して、外部に出力することも可能である。また、コンピュータ上で画像符号化処理を行う場合には、符号化する前の画像データを、画像出力回路１１４を介して記録素子１１６に書き込んだり、あるいは外部に出力することも可能である。
【００４７】
Ｃ．画像符号化処理  ：
次に、上述したデジタルカメラ１００内で行われる画像符号化処理について説明する。図３は、画像符号化処理の流れを示すフローチャートである。以下、フローチャートに従って説明する。
【００４８】
画像符号化処理を開始すると、先ず初めに、撮影情報および画像データの読み込みを行う（ステップＳ１００）。図２に示したデジタルカメラ１００では、画像データは画像取得回路１０４から読み込まれる。また、撮影情報は、デジタルカメラ１００全体の制御を司っている制御回路１１０から読み込まれる。前述したように撮影情報とは、被写体を撮影するための各種設定内容に関する情報であって、本実施例では以下のような情報を取得する。
【００４９】
図４は、本実施例の画像符号化処理で取得する撮影情報と、その内容を示した説明図である。例えば、撮影情報として「被写体位置」を取得する場合は、画像上での被写体の位置（すなわち焦点位置）と被写体が写っている領域の幅および高さに関するデータを、制御回路１１０から取得する。「レンズ絞り値」としては、絞り機構１０４に設定した絞り値を取得する。「シーンモード」としては、画像が標準的なものか、風景を撮影したものか、人物を撮影したものか、夜景を撮影したものかに関する設定を取得する。「測光方式」としては、中央重点測光、スポット測光、分割測光のいずれの方式で測光されたかに関する設定を取得する。「画像サイズ」としては、撮影画像の幅および高さに関するデータを取得する。「被写体距離」としては、被写体までの距離に関するデータを取得する。また、フレーム枠を用いて画像を撮影する場合には、使用するフレーム枠に関する設定を「フレーム枠」として取得する。図３に示した画像符号化処理のステップＳ１００においては、図４に示すような撮影情報の中から、画像を撮影するために実際に設定された事項に関するデータを、制御回路１１０から取得する。
【００５０】
次いで、読み込んだ画像を、取得した撮影情報に基づいて分割することで、互いに優先順位が異なる複数の領域を生成する処理を行う（ステップＳ１０２）。各撮影情報には予め優先度が設定されており、複数種類の撮影情報が読み込まれている場合は、これら優先度に従って各撮影情報を考慮しながら、複数の領域が生成される。図４では、図中の上方に表示された撮影情報ほど優先度の高い情報となっている。例えば、撮影情報として「被写体位置」と「シーンモード」とが取得されている場合は、被写体位置の情報を主にしつつシーンモードに関する情報も加味しながら、画像を分割して複数の領域が設定されることになる。尚、撮影情報の優先順位は、十字カーソル１１８等を用いて制御回路１１０に予め設定しておくことも可能である。
【００５１】
図５は、被写体位置に基づいて画像を分割し、複数の領域を設定している様子を概念的に示した説明図である。被写体位置による画像分割では、被写体が写っている領域が領域１に設定され、その外側に領域２、更にその外側に領域３、残余の領域が領域４に設定される。ここで領域２は、領域１を基準として定数倍（例えば１．５倍）の大きさに設定され、領域３は領域２を基準として、その定数倍に設定することができる。もちろん、例えば十字カーソル１１８を用いて制御回路１１０に設定することで、領域毎に大きさを修正可能としても良い。あるいは、被写体の写っている領域（領域１）から画像の外縁までの間隔が各領域の境界で等分されるように、それぞれの領域を設定することとしても良い。また、ここでは、画像は４つの領域に分割されるものとして説明するが、画像を分割して生成する領域は４つに限られるものではなく、より多くの領域を設定したり、逆に少ない領域を設定しても良い。更には、画像の撮影に先だって、制御回路１１０に十字カーソル１１８などを用いて予め設定しておくこととしても良い。また、最も単純な例としては、画像を分割することなく、単一の領域と扱うことも可能である。
【００５２】
図６は、絞り値に基づいて画像を分割し、複数の領域を設定している様子を概念的に示した説明図である。絞り値による画像分割では、画像中央の一定範囲の領域が領域１に設定される。そして、領域１を中心として、外側に広がるように、領域２、領域３とそれぞれ設定され、残余の領域が領域４に設定される。
【００５３】
図７は、シーンモードに基づいて画像を分割している様子を概念的に示した説明図である。例えば、シーンモードがポートレートモードに設定されている場合、画像の中央付近の広い領域で、主に人物などの被写体が撮影されていることが多い。そこで、ポートレートモードで撮影された画像は、中央の広い範囲に領域１を設定し、その外側に領域２，領域３，領域４を設定する。
【００５４】
図８は、画像サイズに基づいて画像を分割している様子を概念的に示した説明図である。この場合は、画像の幅と高さとの比率が、Ｌ版（幅１２７ｍｍ×高さ８９ｍｍ）、３：２、４：３に最も近いサイズを最下位領域（領域４）に設定し、最も遠いサイズを最上位領域（領域１）に設定する。例えば、画像の幅と高さとの比が、１．６：１であるとする。高さを１としたときに、Ｌ版は幅と高さの比が１．４３：１になっている。また、３：２のサイズでは１．５：１になっており、４：３のサイズでは１．３：１となっている。このことから、画像に最も近いサイズは３：２であり、画像に最も遠いサイズは４：３、その中間のサイズがＬ版となる。そこで、図８に示すように、画像に最も遠いサイズである、４：３の領域を領域１に設定し、Ｌ版の領域を領域２に設定し、３：２の領域を領域３に、残余の領域を領域４に設定する。
【００５５】
図９は、フレーム枠に基づいて画像を分割している様子を概念的に示した説明図である。この場合は、画像の外形が、ハート型や星型などの選択されたフレームの形状に切り取られている。そこで、画像部分の領域（フレーム形状の内部）を領域１に設定し、フレーム形状の外側の領域を領域２に設定する。
【００５６】
また、撮影情報として「測光モード」に関する設定が取得されている場合は、次のようにして画像を分割する。例えば、測光モードが中央重点測光方式であった場合は、画像の中央に被写体が写っていると考えられるから、図６を用いて説明した絞り値による場合と分割と同様にして画像を分割すればよい。測光モードがスポット測光方式や分割測光方式であった場合は、図１を用いて前述した被写体位置による場合と同様にして画像を分割すればよい。
【００５７】
更に、撮影情報として「被写体距離」に関する情報が取得されている場合は、次のようにして画像を分割すればよい。例えば、マクロ撮影時のように、被写体距離が短い（被写体が近い）ときには画像の中央付近の広い範囲に被写体が写っていることが多い。従って、図７を用いて説明したように、ポートレートモードによる場合と同様にして画像を分割すればよい。
【００５８】
更に、複数の撮影情報が取得されている場合には、次のようにして画像を分割する。例えば、「シーンモード」としてポートレートモードである旨が取得され、尚かつ「被写体位置」が取得されている場合は、優先度の高い方の撮影情報である「被写体位置」を主として、図５に示したように画像を分割する。次いで、ポートレートモードで撮影されている画像は、画像中央の広い範囲には人物などの被写体が写っていると考えられるから、これを考慮して領域１の範囲を広めに設定してやる。
【００５９】
また、「被写体位置」に加えて「被写体距離」も取得されている場合は、優先度の高い情報である「被写体位置」に基づいて、図５に示したように画像を分割する。次いで、被写体距離を考慮して、例えば被写体までの距離が近い場合は、画像の比較的広い範囲に被写体が写っていると考えられるから、領域１の範囲を大きめに設定してやる。
【００６０】
図３のステップＳ１０２では、以上のようにして、撮影情報に基づいて画像を分割することにより、複数の領域を設定する処理を行う。
【００６１】
本実施例の画像符号化処理では、こうして設定した領域毎に圧縮率を制御する。こうした制御を効果的に行うために、画像を構成する複数のレイヤーについて、領域毎に適切な符号量を設定しておき、設定された符号量となるように画像の符号化を行う。例えば、画像が領域１〜領域４の４つの領域に分割されている場合は、画像を構成する４つのレイヤーのそれぞれについて各領域に符号量を設定しておき、設定された符号量に従って画像を符号化する。
【００６２】
こうした処理を行うために、図３に示した画像符号化処理では画像を複数の領域に分割すると、画像を構成するレイヤーを１つ選択して（ステップＳ１０４）、選択したレイヤーの各領域に符号量を設定する（ステップＳ１０６）。符号量の設定に際しては、画像全体としての最終的な目標圧縮率に基づいて、レイヤー毎に割り当てる符号量を決定し、その上で、レイヤー内の各領域での符号量を算出する。ここで、レイヤー内の各領域にどのような比率で符号量を割り当てるかは、予め設定しておく。
【００６３】
図１０は、レイヤー毎に各領域に割り当てられる符号量の比率が設定されている様子を例示した説明図である。図１０では、画像は４つのレイヤーから構成されており、各レイヤー毎に４つの領域が設定されている場合について示している。図示した例では、レイヤー１は、領域１に割り当てられる符号量を１とすると、領域２には０．６、領域３および領域４には０．２の比率で符号量が設定される。また、レイヤー２については、領域２に最も高い比率で符号量が割り当てられる設定になっている。レイヤー２の領域２の符号量を１とすると、レイヤー２の領域１には０．６、レイヤー２の領域３には０．８、レイヤー２の領域４には０．４の割合で符号量が設定される。このように、レイヤー１については領域１が最も高い比率で符号量が設定され、レイヤー２については領域２が最も高い比率で符号量が設定される。しかし、レイヤー全体に割り当てられる符号量は、レイヤー２よりもレイヤー１の方が多く設定されていることから、結局、領域１の方が領域２よりも多くの符号量が割り当てられることになる。同様にして、領域２の方が領域３よりも多くの符号量が割り当てられることになり、領域３の方が領域４よりも多くの符号量が割り当てられることになる。
【００６４】
図３のステップＳ１０６では、ステップＳ１０４で選択したレイヤーに割り当てられている符号量が、そのレイヤー内の各領域に、図１０に示した比率で分配されるように、各領域の符号量を設定する処理を行う。
【００６５】
こうして１つのレイヤー内の各領域に符号量を設定したら、画像を構成する全レイヤーについて処理を終了したか否かを判断する（ステップＳ１０８）。未処理のレイヤーが残っている場合は（ステップＳ１０８：ｎｏ）、ステップＳ１０４に戻って新たなレイヤーを選択した後、上述した一連の処理を繰り返す。こうした操作を繰り返して全レイヤー内の領域に符号量を設定し終えたら（ステップＳ１０８：ｙｅｓ）、設定した符号量に従って画像符号化を実施して（ステップＳ１１０）、得られた符号化画像を、撮影情報あるいは画像情報とともに画像ファイルに記憶する（ステップＳ１１２）。
【００６６】
尚、以上の説明では、レイヤー内の各領域には図１０に示した比率で割り当てられるものとしたが、予め複数の比率を設定しておき、これらを切り換えて使用することとしても良い。図１１は、レイヤー毎の各領域に異なる比率で符号量が設定されている様子を例示した説明図である。図１０に例示した設定では、領域間で割り当てられる符号量の比率が大きく異なる設定となっており、領域１から領域２、領域３、領域４の順で、割り当てられる符号量の比率が急激に低下していた。このため、ポートレートモードで撮影した画像や、被写体位置を指定して撮影した画像のように、領域１に主要被写体が集中して存在している画像に適した設定となっている。
【００６７】
これに対して、図１１の設定では、領域間の比率はあまり異ならない設定となっている。従って、風景画像のように画像全体が主要被写体である場合に適した設定である。このように、レイヤー内の各領域に割り振る符号量の比率の設定を、予め複数組用意しておき、撮影情報に応じて適切な設定を使い分けることとしても良い。
【００６８】
図１２は、こうして得られた符号化画像と、各領域に割り当てられた符号量を概念的に示した説明図である。原画像としては図５に示した画像を使用し、図１０に示した比率で符号量を設定して符号化処理を行った場合を示している。また、レイヤー毎に割り当てられる符号量は、レイヤー１からレイヤー２、レイヤー３、レイヤー４と、下位のレイヤーに行くに従って、少なくなるように設定されている。そして、レイヤー内の各領域に割り当てられる符号量は、図１０に示した比率となっている。この結果、主要被写体が写っている領域１に最も多くの符号量が割り当てられ、そして、外側に行くに従って、領域２、領域３、領域４と、割り当てられる符号量が少なくなっていく。
【００６９】
図１３は、原画像として図７に示した画像を用いて、図１０に示した比率で符号量を設定して符号化処理を行った場合を示している。この場合も、主要被写体が写っている領域１に最も多くの符号量が割り当てられており、領域２、領域３、領域４と、外側に行くに従って割り当てられる符号量が少なくなっていく。このように符号量が割り当てられているので、主要被写体が写っている領域１では、高い画質を維持したまま画像を符号化することができ、領域１以外の部分、すなわち背景が写った領域では、主要被写体から離れるに連れて画質が低下していくことになる。この結果、画像全体としては、画質の低下を意識させることなく、高い圧縮率で画像を符号化することが可能となる。
【００７０】
Ｄ．変形例  ：
以上に説明した実施例では、複数の撮影情報を取得した場合に、優先順位の高い撮影情報を主に用いて画像を分割し、優先順位の低い情報によって画像の分割を修正するものとした。しかし、複数の撮影情報が取得された場合に、これを利用する方法としてはこうした方法に限られるものではない。以下では、こうした変形例について説明する。
【００７１】
（１） 第１の変形例  ：
撮影情報として「被写体位置」および「シーンモード」が取得された場合は、優先順位の高い情報である被写体位置を用いて画像を分割し、優先順位の低い情報であるシーンモードを用いて、符号量を設定しても良い。
【００７２】
例えば、「シーンモード」がポートレートモードで撮影された画像の場合、一般的には、画像のほぼ中央に被写体が写っていると考えられる。しかし、ポートレートモードで撮影されていながら、尚且つ被写体位置が設定されている場合は、先ず、被写体位置を中心として画像を分割することにより、複数の領域を生成する。次いで、図１０に例示したように、各領域間の差が比較的大きくなるように符号量を設定する。一方、「シーンモード」が風景モードで撮影されている場合は、被写体位置を中心として画像を分割するとともに、各領域に設定される符号量は、図１１に例示したように領域間の差が比較的少なくなるように設定する。こうすれば、ポートレートモードで撮影された画像のように、画像が主要被写体と背景とから構成されている場合でも、あるいは風景画像のように主要被写体が画像の広い範囲に亘って分布している場合でも、画質の悪化を感じさせることなく高い圧縮率で画像を符号化することが可能となる。
【００７３】
（２）第２の変形例  ：
撮影情報として「被写体位置」と「絞り値」とが取得された場合は、優先順位の高い情報である被写体位置を用いて画像を分割し、優先順位の低い情報である絞り値を用いて、符号量を設定しても良い。
【００７４】
例えば、絞りを開放して撮影すると、焦点の合っている部分はくっきりと写るが、焦点が合っていない部分はぼけた画像が得られる。逆に、絞りを絞って撮影すると、焦点が合っていない部分でも比較的ぼけない画像が得られる。このことから、被写体位置と絞り値とを取得した場合は、先ず、被写体位置を用いて複数の領域を設定し、そして、絞り値が小さい場合（絞りを開放して撮影した場合）は、図１０に例示したように、各領域間の差が比較的大きくなるように、各領域の符号量を設定する。逆に、絞り値が大きい場合（絞りを絞って撮影した場合）は、図１１に例示したように領域間の差が比較的少なくなるように符号量を設定する。このようにして領域および符号量を設定しても、画像に応じて適切に符号量を設定することができ、延いては、画質の悪化を感じさせることなく高い圧縮率で画像を符号化することが可能である。
【００７５】
（３）３の変形例  ：
撮影情報として、「被写体位置」と「測光方式」とを取得した場合は、次のようにしても良い。先ず、被写体位置の情報を用いて画像を分割することにより、複数の領域を生成する。次いで、測光方式が中央重点測光であった場合は、被写体位置の領域と画像中央の領域とに多くの符号量を割り当てる。その一方で、他の領域には、割り当てる符号量を比較的少なく設定する。一方、分割測光であった場合は、画像中で被写体が写っている領域が大きいと考えられることから、各領域の符号量の差が比較的少なくなるように符号量を設定する。このとき、被写体位置の領域が広くなるように画像を分割しても良い。
【００７６】
こうしても、画像に応じて適切に符号量を設定することで、画質の悪化を感じさせることなく高い圧縮率で画像を符号化することができる。
【００７７】
（４）第４の変形例  ：
撮影情報として「絞り値」と「測光方式」とが取得された場合には、測光方式の情報を用いて複数の領域を設定した後、各領域に割り当てられる符号量は、絞り値の情報を用いて設定することとしても良い。例えば、分割測光方式で撮影された画像は、中央重点測光で撮影された画像よりも、画像中で広い範囲に主要被写体が写っていると考えられる。そこで、分割測光の場合は中央順点測光の場合よりも、最上位領域（領域１）を広く設定する。そして、絞り値が小さくなるほど、図１０に例示したように、領域間の差が大きくなるように各領域に符号量を設定しても良い。
【００７８】
（５）第５の変形例  ：
撮影情報として「シーンモード」と「測光方式」とが取得された場合は、次のようにしても良い。先ず、画像を分割するに際して、最上位領域（領域１）の大きさが、「風景モード」が一番大きく、次いで「分割測光」、「ポートレートモード」、「中央重点測光」の順で次第に小さくなるように画像を分割する。次いで、各領域間に符号量を割り当てるに際しては、符号量の格差が、「ポートレートモード」が最も大きく、次いで「中央重点測光」、「分割測光」、「風景モード」の順で次第に格差が小さくなるように、符号量を設定する。こうしても、画像に応じて適切に符号量を設定することで、画質の悪化を感じさせることなく高い圧縮率で画像を符号化することができる。
【００７９】
以上、各種の実施例について説明してきたが、本発明は上記すべての実施例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
【図面の簡単な説明】
【００８０】
【図１】デジタルカメラなどで撮影した画像に本実施例の符号化を施して画像ファイルを生成する処理の大まかな流れを示すブロック図である。
【図２】デジタルカメラを例に用いて画像符号化装置の構成を示した説明図である。
【図３】画像符号化処理の流れを示すフローチャートである。
【図４】本実施例の画像符号化処理で取得する撮影情報とその内容を示した説明図である。
【図５】被写体位置に基づいて画像を分割し複数の領域を設定している様子を概念的に示した説明図である。
【図６】絞り値に基づいて画像を分割し複数の領域を設定している様子を概念的に示した説明図である。
【図７】シーンモードに基づいて画像を分割している様子を概念的に示した説明図である。
【図８】画像サイズに基づいて画像を分割している様子を概念的に示した説明図である。
【図９】フレーム枠に基づいて画像を分割している様子を概念的に示した説明図である。
【図１０】レイヤー毎に各領域に割り当てられる符号量の比率が設定されている様子を例示した説明図である。
【図１１】レイヤー毎の各領域に異なる比率で符号量が設定されている様子を例示した説明図である。
【図１２】撮影情報として被写体位置を取得した画像を例に用いて、符号化画像と各領域に割り当てられた符号量とを概念的に示した説明図である。
【図１３】撮影情報としてシーンモードを取得した画像を例に用いて、符号化画像と各領域に割り当てられた符号量を概念的に示した説明図である。
【符号の説明】
【００８１】
１０…画像符号化装置、    １００…デジタルカメラ、    １０２…光学系
１０４…画像取得回路、    １０６…絞り機構、    １０８…画像処理回路
１１０…制御回路、    １１２…記憶回路、    １１４…画像出力回路
１１６…記録素子、    １１８…十字カーソル
【図１】
2005277742.tif 000003
【図２】
2005277742.tif 000004
【図３】
2005277742.tif 000005
【図４】
2005277742.tif 000006
【図５】
2005277742.tif 000007
【図６】
2005277742.tif 000008
【図７】
2005277742.tif 000009
【図８】
2005277742.tif 000010
【図９】
2005277742.tif 000011
【図１０】
2005277742.tif 000012
【図１１】
2005277742.tif 000013
【図１２】
2005277742.tif 000014
【図１３】
2005277742.tif 000015