(57)【要約】【課題】画像における画質と圧縮効率とに対するさらなる向上の両立を実現する画像符号化装置、画像処理装置、画像符号化方法、画像処理方法、そのプログラム、および記録媒体を提供する。【解決手段】属性情報検出部１５は、属性情報を検出する。制御部１０は、属性情報を基に圧縮率を決定する。輪郭抽出部１９は、Ａ／Ｄ変換部１８から入力されたデジタル輝度信号における急激な変化点を検出し、輪郭抽出データを制御部１０に入力する。制御部１０は、入力された輪郭抽出データに基づいて、画像内の被写体像の領域を検出する。圧縮処理部２２は、圧縮率情報に応じて、画像信号データに既知のデータ圧縮処理を施す。【選択図】        図１
2004172674.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して得られた画像信号を入力する入力手段と、
前記入力手段により入力された画像信号による入力画像における前記被写体像の被写体領域を判別する判別手段と、
前記判別手段により判別された被写体領域の大きさを算出する被写体領域算出手段と、
前記入力画像の全体画像の大きさに対する前記算出された被写体領域の大きさの割合を算出する割合算出手段と、
前記割合算出手段により算出された割合に基づいて、前記入力された画像信号の圧縮率を決定する圧縮率決定手段と、
前記圧縮率決定手段により決定された圧縮率に基づいて、前記入力手段により入力された画像信号を圧縮処理する圧縮手段と、
を有することを特徴とする画像符号化装置。
【請求項２】
前記圧縮率決定手段は、
前記割合算出手段により算出された全体画像の大きさに対する被写体の大きさの割合が一定以上である場合、前記判別手段によって判別された被写体領域よりも前記被写体領域以外の他の領域を高い圧縮率で符号化することを決定することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記割合算出手段により算出された全体画像の大きさに対する被写体の大きさの割合が一定以下である場合、前記入力画像の被写界深度を算出する被写界深度算出手段を有し、
前記圧縮率決定手段は、
前記割合算出手段により算出された全体画像の大きさに対する被写体の大きさの割合が一定以下である場合、前記被写界深度算出手段により算出された被写界深度に基づいて、圧縮率を決定することを特徴とする請求項１または２記載の画像符号化装置。
【請求項４】
前記圧縮率決定手段は、
前記被写界深度が所定の値以上の場合、前記入力画像の全領域を同じ圧縮率で圧縮符号化し、前記被写界深度が前記所定の値未満の場合、前記被写体領域よりも前記他の領域を高い圧縮率で圧縮符号化することを決定することを特徴とする請求項３記載の画像符号化装置。
【請求項５】
前記判別手段により判別された前記被写体領域を示す被写体領域判別情報を記録媒体に記録する記録手段を有することを特徴とする請求項１から４のいずれか１項に記載の画像符号化装置。
【請求項６】
撮像後に圧縮された画像信号と、該画像信号による画像上の被写体像の被写体領域を示す被写体判別情報と、前記画像信号の撮像条件を示す属性情報と、を取り込む情報取得手段と、
前記圧縮された画像信号に対して伸長処理を行う伸長手段と、
前記属性情報が所定の条件を満たすか否かを判定する属性情報判定手段と、
前記属性情報判定手段により前記属性情報が条件を満たすと判定された場合、前記被写体判別情報に基づいて、前記画像信号の画像における被写体領域を判別する被写体領域判別手段と、
前記伸長手段による伸長処理後の画像信号の画像における前記被写体領域に平滑化処理を行う平滑化手段と、
を有することを特徴とする画像処理装置。
【請求項７】
前記情報取得手段は、
前記属性情報として、前記画像信号の撮像時の焦点距離、被写体距離、およびＦナンバーを取得し、
前記属性情報判定手段は、
前記焦点距離が所定値より大きいこと、前記被写体距離が所定値より小さいこと、および前記Ｆナンバーが所定値より小さいことのうち少なくとも１つの条件を満たすか否かを判定することを特徴とする請求項６記載の画像処理装置。
【請求項８】
画像を撮像後に符号化する画像符号化装置を用いる画像符号化方法であって、
前記画像符号化装置が、被写体像を撮像して得た画像信号を入力する入力工程と、
前記画像符号化装置が、前記入力工程により入力した画像信号による入力画像における前記被写体像の被写体領域を判別する判別工程と、
前記画像符号化装置が、前記判別工程により判別した被写体領域の大きさを算出する被写体領域算出工程と、
前記画像符号化装置が、前記入力画像の全体画像の大きさに対する前記算出した被写体領域の大きさの割合を算出する割合算出工程と、
前記画像符号化装置が、前記割合算出工程により算出した割合に基づいて、前記入力した画像信号の圧縮率を決定する圧縮率決定工程と、
前記画像符号化装置が、前記圧縮率決定工程により決定した圧縮率に基づいて、前記入力工程により入力した画像信号を圧縮処理する圧縮工程と、
を有することを特徴とする画像符号化方法。
【請求項９】
撮像後に圧縮された画像信号に対して伸長処理を行う画像処理装置を用いる画像処理方法であって、
前記画像処理装置が、撮像後に圧縮された画像信号と、該画像信号による画像上の被写体像の被写体領域を示す被写体判別情報と、前記画像信号の撮像条件を示す属性情報と、を取り込む情報取得工程と、
前記画像処理装置が、前記圧縮された画像信号に対して伸長処理を行う伸長工程と、
前記画像処理装置が、前記属性情報が所定の条件を満たすか否かを判定する属性情報判定工程と、
前記画像処理装置が、前記属性情報判定工程により前記属性情報が条件を満たすと判定した場合、前記被写体判別情報に基づいて、前記画像信号の画像における被写体領域を判別する被写体領域判別工程と、
前記伸長工程による伸長処理後の画像信号の画像における前記被写体領域に平滑化処理を行う平滑化工程と、
を有することを特徴とする画像処理方法。
【請求項１０】
被写体像を撮像して得られた画像信号を入力する入力処理と、
前記入力処理により入力された画像信号による入力画像における前記被写体像の被写体領域を判別する判別処理と、
前記判別処理により判別された被写体領域の大きさを算出する被写体領域算出処理と、
前記入力画像の全体画像の大きさに対する前記算出された被写体領域の大きさの割合を算出する割合算出処理と、
前記割合算出処理により算出された割合に基づいて、前記入力された画像信号の圧縮率を決定する圧縮率決定処理と、
前記圧縮率決定処理により決定された圧縮率に基づいて、前記入力処理により入力された画像信号を圧縮処理する圧縮処理と、
をコンピュータに実行させるためのプログラム。
【請求項１１】
撮像後に圧縮された画像信号と、該画像信号による画像上の被写体像の被写体領域を示す被写体判別情報と、前記画像信号の撮像条件を示す属性情報と、を取り込む情報取得処理と、
前記圧縮された画像信号に対して伸長処理を行う伸長処理と、
前記属性情報が所定の条件を満たすか否かを判定する属性情報判定処理と、
前記属性情報判定処理により前記属性情報が条件を満たすと判定された場合、前記被写体判別情報に基づいて、前記画像信号の画像における被写体領域を判別する被写体領域判別処理と、
前記伸長処理による伸長処理後の画像信号の画像における前記被写体領域に平滑化処理を行う平滑化処理と、
をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１０または請求項１１記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置、画像処理装置、画像符号化方法、画像処理方法、そのプログラム、および記録媒体に関し、特に、アプリケーションプログラムまたはプリンタドライバ等のデバイスドライバ、その他カラー画像を扱う機器に応用可能な画像符号化装置、画像処理装置、画像符号化方法、画像処理方法、そのプログラム、および記録媒体に関する。
【０００２】
【従来の技術】
一般に画像データはデータ量が膨大になるので、圧縮符号化をして記録される。代表的な画像圧縮符号化方法は、変換符号化を使用するＪＰＥＧ方式である。ＪＰＥＧ方式では、画像が本来持っている近隣画素間の相関を除去するために離散コサイン変換（ＤＣＴ）等の直交変換を行った後、得られた変換係数を量子化し、ハフマン符号化などの可変長符号化を行う。
【０００３】
従来、処理を簡易にするために、画像領域の特性（被写体領域か、被写体領域以外の領域）を考慮しないで、一律な圧縮率で符号化を行っていた。しかしながら、画像領域の特性を考慮しない一律な圧縮率での符号化は、圧縮率が高い場合に、重要とされる領域の画質が保持できなくなるという問題が生じる（同様に、その逆も生じる）。
【０００４】
そこで、特許第３１０９８５５号公報（特許文献１）が開示するところの電子カメラ、画像信号圧縮装置及びその方法では、符号化時、輪郭部を判別し、判別された輪郭部に囲まれた内部領域の画像信号を判別し、焦点距離と被写体距離に基づいて、内部領域の画像信号の圧縮率を他の領域より低くなるようにしていた。
【０００５】
また、特開２０００−１３６０８号公報（特許文献２）が開示するところの画像処理方法では、画像データにおいて、操作者により重要であると指定された領域からの距離に応じて圧縮率および伸長率を変化させて圧縮・伸長を行っていた。
【０００６】
【特許文献１】
特許第３１０９８５５号公報
【特許文献２】
特開２０００−１３６０８号公報
【０００７】
【発明が解決しようとする課題】
特許文献１では、焦点距離および被写体距離に基づいて、内部領域を他の領域より圧縮率を低くし、画質と圧縮効率を両立させていた。しかしながら、従来、画像全体に対する撮影者が撮りたいと意図した被写体領域の割合の大きさに応じて、背景領域（被写体領域以外の領域）の重要性を考慮に入れたより精度の高い圧縮率の制御方法に関しては提案されていなかった。
【０００８】
本発明は、上記問題点に鑑みてなされたものであり、被写体領域の大きさによって圧縮率を変化させて、画像における画質と圧縮効率とに対するさらなる向上の両立を実現する画像符号化装置、画像処理装置、画像符号化方法、画像処理方法、そのプログラム、および記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
かかる目的を達成するため、請求項１記載の発明は、被写体像を撮像して得られた画像信号を入力する入力手段と、入力手段により入力された画像信号による入力画像における被写体像の被写体領域を判別する判別手段と、判別手段により判別された被写体領域の大きさを算出する被写体領域算出手段と、入力画像の全体画像の大きさに対する算出された被写体領域の大きさの割合を算出する割合算出手段と、割合算出手段により算出された割合に基づいて、入力された画像信号の圧縮率を決定する圧縮率決定手段と、圧縮率決定手段により決定された圧縮率に基づいて、入力手段により入力された画像信号を圧縮処理する圧縮手段と、を有することを特徴とする。
【００１０】
請求項１に記載の発明によれば、被写体領域と被写体領域以外の領域の圧縮率を変化させることで、人間の視覚に合わせた圧縮率制御ができ、画質と圧縮効率を両立させることができる。
【００１１】
また、請求項２記載の発明によれば、請求項１記載の画像符号化装置において、圧縮率決定手段は、割合算出手段により算出された全体画像の大きさに対する被写体の大きさの割合が一定以上である場合、判別手段によって判別された被写体領域よりも被写体領域以外の他の領域を高い圧縮率で符号化することを決定することを特徴とする。
【００１２】
請求項２に記載の発明よれば、被写体領域よりも被写体領域以外の領域を高い圧縮率で符号化することで、被写体領域の画質を維持し、被写体領域以外の領域の圧縮効率を高めることができる。
【００１３】
また、請求項３記載の発明によれば、請求項１または２記載の画像符号化装置において、割合算出手段により算出された全体画像の大きさに対する被写体の大きさの割合が一定以下である場合、入力画像の被写界深度を算出する被写界深度算出手段を有し、圧縮率決定手段は、割合算出手段により算出された全体画像の大きさに対する被写体の大きさの割合が一定以下である場合、被写界深度算出手段により算出された被写界深度に基づいて、圧縮率を決定することを特徴とする。
【００１４】
請求項３に記載の発明によれば、被写界深度に基づいて圧縮率を制御することで、被写体領域以外の領域部分の画質と圧縮効率を両立させることができる。
【００１５】
また、請求項４記載の発明によれば、請求項３記載の画像符号化装置において、圧縮率決定手段は、被写界深度が所定の値以上の場合、入力画像の全領域を同じ圧縮率で圧縮符号化し、被写界深度が所定の値未満の場合、被写体領域よりも他の領域を高い圧縮率で圧縮符号化することを決定することを特徴とする。
【００１６】
請求項４に記載の発明によれば、被写界深度に基づいて、被写体領域と被写体領域以外の領域の圧縮率を変化させることで、より画質と圧縮効率を両立させることができる。
【００１７】
また、請求項５記載の発明によれば、請求項１から４のいずれか１項に記載の画像符号化装置において、判別手段により判別された被写体領域を示す被写体領域判別情報を記録媒体に記録する記録手段を有することを特徴とする。
【００１８】
請求項５に記載の発明によれば、記録しておくことによって、処理を簡易にすることができる。
【００１９】
また、請求項６記載の発明は、撮像後に圧縮された画像信号と、画像信号による画像上の被写体像の被写体領域を示す被写体判別情報と、画像信号の撮像条件を示す属性情報と、を取り込む情報取得手段と、圧縮された画像信号に対して伸長処理を行う伸長手段と、属性情報が所定の条件を満たすか否かを判定する属性情報判定手段と、属性情報判定手段により属性情報が条件を満たすと判定された場合、被写体判別情報に基づいて、画像信号の画像における被写体領域を判別する被写体領域判別手段と、伸長手段による伸長処理後の画像信号の画像における被写体領域に平滑化処理を行う平滑化手段と、を有することを特徴とする。
【００２０】
請求項６に記載の発明によれば、属性情報に基づいて検出した領域に平滑化を行うことで、画質改善することができる。
【００２１】
また、請求項７記載の発明によれば、請求項６記載の画像処理装置において、情報取得手段は、属性情報として、画像信号の撮像時の焦点距離、被写体距離、およびＦナンバーを取得し、属性情報判定手段は、焦点距離が所定値より大きいこと、被写体距離が所定値より小さいこと、およびＦナンバーが所定値より小さいことのうち少なくとも１つの条件を満たすか否かを判定することを特徴とする。
【００２２】
請求項７に記載の発明によれば、ボケ量の大きい領域を検出することで、画質改善することができる。
【００２３】
また、請求項８記載の発明は、画像を撮像後に符号化する画像符号化装置を用いる画像符号化方法であって、画像符号化装置が、被写体像を撮像して得た画像信号を入力する入力工程と、画像符号化装置が、入力工程により入力した画像信号による入力画像における被写体像の被写体領域を判別する判別工程と、画像符号化装置が、判別工程により判別した被写体領域の大きさを算出する被写体領域算出工程と、画像符号化装置が、入力画像の全体画像の大きさに対する算出した被写体領域の大きさの割合を算出する割合算出工程と、画像符号化装置が、割合算出工程により算出した割合に基づいて、入力した画像信号の圧縮率を決定する圧縮率決定工程と、画像符号化装置が、圧縮率決定工程により決定した圧縮率に基づいて、入力工程により入力した画像信号を圧縮処理する圧縮工程と、を有することを特徴とする。
【００２４】
請求項８に記載の発明によれば、被写体領域と被写体領域以外の領域の圧縮率を変化させることで、人間の視覚に合わせた圧縮率制御ができ、画質と圧縮効率を両立させることができる。
【００２５】
また、請求項９記載の発明は、撮像後に圧縮された画像信号に対して伸長処理を行う画像処理装置を用いる画像処理方法であって、画像処理装置が、撮像後に圧縮された画像信号と、画像信号による画像上の被写体像の被写体領域を示す被写体判別情報と、画像信号の撮像条件を示す属性情報と、を取り込む情報取得工程と、画像処理装置が、圧縮された画像信号に対して伸長処理を行う伸長工程と、画像処理装置が、属性情報が所定の条件を満たすか否かを判定する属性情報判定工程と、画像処理装置が、属性情報判定工程により属性情報が条件を満たすと判定した場合、被写体判別情報に基づいて、画像信号の画像における被写体領域を判別する被写体領域判別工程と、伸長工程による伸長処理後の画像信号の画像における被写体領域に平滑化処理を行う平滑化工程と、を有することを特徴とする。
【００２６】
請求項９に記載の発明によれば、属性情報に基づいて検出した領域に平滑化を行うことで、画質改善することができる。
【００２７】
また、請求項１０記載の発明は、被写体像を撮像して得られた画像信号を入力する入力処理と、入力処理により入力された画像信号による入力画像における被写体像の被写体領域を判別する判別処理と、判別処理により判別された被写体領域の大きさを算出する被写体領域算出処理と、入力画像の全体画像の大きさに対する算出された被写体領域の大きさの割合を算出する割合算出処理と、割合算出処理により算出された割合に基づいて、入力された画像信号の圧縮率を決定する圧縮率決定処理と、圧縮率決定処理により決定された圧縮率に基づいて、入力処理により入力された画像信号を圧縮処理する圧縮処理と、をコンピュータに実行させることを特徴とする。
【００２８】
請求項１０に記載の発明によれば、被写体領域と被写体領域以外の領域の圧縮率を変化させることで、人間の視覚に合わせた圧縮率制御ができ、画質と圧縮効率を両立させることができる。
【００２９】
また、請求項１１記載の発明は、撮像後に圧縮された画像信号と、画像信号による画像上の被写体像の被写体領域を示す被写体判別情報と、画像信号の撮像条件を示す属性情報と、を取り込む情報取得処理と、圧縮された画像信号に対して伸長処理を行う伸長処理と、属性情報が所定の条件を満たすか否かを判定する属性情報判定処理と、属性情報判定処理により属性情報が条件を満たすと判定された場合、被写体判別情報に基づいて、画像信号の画像における被写体領域を判別する被写体領域判別処理と、伸長処理による伸長処理後の画像信号の画像における被写体領域に平滑化処理を行う平滑化処理と、コンピュータに実行させることを特徴とする。
【００３０】
請求項１１に記載の発明によれば、属性情報に基づいて検出した領域に平滑化を行うことで、画質改善することができる。
【００３１】
また、請求項１２記載の発明は、請求項１０または請求項１１記載のプログラムを記録したことを特徴とする。
【００３２】
請求項１２に記載の発明によれば、画質と圧縮効率を両立させることを可能にするシステムを提供することができる。
【００３３】
【発明の実施の形態】
図１は、本発明の一実施形態における画像符号化装置のブロック図の例を示したものである。以下、図１を用いて、本実施形態における画像符号化装置の構成および動作について説明する。なお、画像符号化装置は、例えば電子カメラであるとしてもよい。
【００３４】
画像符号化装置は、制御部１０と、レンズ１１と、絞り１２と、ミラー光学系１３と、測光部１４と、属性情報検出部１５と、シャッター１６と、撮像部１７と、Ａ／Ｄ変換部１８と、輪郭抽出部１９と、信号処理部２０と、バッファメモリ２１と、圧縮処理部２２と、メモリカード２３とを有する。
【００３５】
制御部１０は、レンズ１１、絞り１２、ミラー光学系１３、測光部１４、属性情報検出部１５、シャッター１６、撮像部１７、Ａ／Ｄ変換部１８、輪郭抽出部１９、信号処理部２０、バッファメモリ２１、圧縮処理部２２、およびメモリカード２３と接続されており、その接続された部位を含む画像符号化装置の各部位の制御を行う。
【００３６】
レンズ１１は、被写体を撮像する部位である。絞り１２は、レンズ１１を介して入射した被写体からの光（被写体光）の光量を調整する。ミラー光学系１３は、絞り１２により光量が調節された被写体光を測光部１４、属性情報検出部１５、およびシャッター１６に導く。
【００３７】
測光部１４は、被写体光についての測光を行う。属性情報検出部１５は、入射した被写体光から被写体距離および焦点距離の情報を検出する。
【００３８】
シャッター１６は、色々な速度で開閉して光線を機械的に切る電子シャッターである。
【００３９】
撮像部１７は、ミラー光学系１３およびシャッター１６を介して入射した被写体光を電気信号（アナログ信号）に光電変換する。Ａ／Ｄ変換部１８は、アナログ信号をデジタル信号に変換する。輪郭抽出部１９は、Ａ／Ｄ変換部から出力され、デジタル化された輝度信号に基づいて、そのデジタル信号における急激な変化点を抽出する。
【００４０】
信号処理部２０は、デジタル信号にホワイトバランス補正、増幅、γ補正などの各処理を施す。バッファメモリ２１は、画像信号データを一時記憶する。圧縮処理部２２は、画像信号データに対し、既知のデータ圧縮処理を行う。メモリカード２３は、データ圧縮処理後の画像信号データを記録する記録媒体であって、画像符号化装置と脱着可能である。
【００４１】
以下、図１を用いて、本実施形態における画像符号化装置の動作を簡単に説明する。
【００４２】
まず、被写体光はレンズ１１を通り、絞り１２により適正光量に制御されてからミラー光学系１３、シャッター１６を介して撮像部１７上に結像される。被写体光は、撮像部１７により光電変換され、Ａ／Ｄ変換部１８によりデジタル信号に変換されて信号処理部２０に入力される。信号処理部２０は、このデジタル信号にホワイトバランス補正、増幅、γ補正等の一定の信号処理を施し、画像信号データを出力する。画像信号データはバッファメモリ２１内に一旦記憶される。
【００４３】
また、属性情報検出部１５は、ミラー光学系１３を介して入射した被写体光に基づいて、その被写体光に係る撮像条件である属性情報を検出する。属性情報とには、被写体距離、焦点距離、およびＦナンバーが含まれる。その検出された属性情報は、制御部１０に入力される。制御部１０は、その入力された情報を基に圧縮率を決定し、その決定された圧縮率を示す圧縮率情報を生成する。
【００４４】
また、Ａ／Ｄ変換部１８は、デジタル化した輝度信号を輪郭抽出部１９に入力する。輪郭抽出部１９は、入力されたデジタル輝度信号における急激な変化点を検出し、検出した輝度の変化点に係る情報（以下、輪郭抽出データ）を制御部１０に入力する。制御部１０は、入力された輪郭抽出データに基づいて、画像内の被写体像の領域を検出し、その検出した被写体の領域を示す被写体領域情報を生成する。
【００４５】
バッファメモリ２１に記憶された画像信号データはレリーズボタンの全押し動作により圧縮処理部２２に送出される。圧縮処理部２２は、制御部１０で決定された圧縮率（圧縮率情報）に応じて、画像信号データに既知のデータ圧縮処理を施す。圧縮処理部２２によりデータ圧縮処理が施された画像信号データは、メモリカード２３内のメモリに記憶される。
【００４６】
また、制御部１０は、属性情報、被写体領域情報、および圧縮率情報をメモリカード２３に渡す。メモリカード２３は、受け取った属性情報、被写体領域情報、および圧縮率情報を記憶する。
【００４７】
図２は、本発明の一実施形態における画像処理装置の構成を示すブロック図である。画像処理装置は、画像符号化装置によりメモリカード２３に記憶された画像信号データを再生するものである。以下、図２を用いて、本実施形態における画像処理装置の構成および動作について説明する。
【００４８】
画像処理装置は、制御部３０と、メモリカード２３と、属性情報検出部３１と、伸長処理部３２と、平滑化処理部３３と、バッファメモリ３４と、Ｄ／Ａ変換部３５と、プリンタ出力部３６とを有する。
【００４９】
制御部３０は、メモリカード２３、属性情報検出部３１、伸長処理部３２、平滑化処理部３３、バッファメモリ３４、Ｄ／Ａ変換部３５、およびプリンタ出力部３６と接続されており、その接続された部位を含む画像処理装置における各部位の制御を行う。
【００５０】
メモリカード２３は、脱着可能な記憶媒体であって、画像符号化装置において画像信号データ、属性情報、被写体領域情報、および圧縮率情報を記憶した後、画像符号化装置本体から脱離され、画像処理装置本体に接続されたものである。
【００５１】
属性情報検出部３１は、メモリカード２３に記憶された属性情報（被写体距離、焦点距離、およびＦナンバー）を読み出し、各画像の各領域におけるボケ量（ピントが合っていない程度を示す量）を検出する部位である。
【００５２】
伸長処理部３２は、メモリカード２３から読み出された属性情報、被写体領域情報、および圧縮率情報に基づいて、圧縮された画像信号データに対して周知技術によるデータ伸長処理を施す。
【００５３】
平滑化処理部３３は、メモリカード２３から読み出された属性情報に基づいて、伸長処理が施された画像信号データに対して平滑化処理を施す。
【００５４】
バッファメモリ３４は、平滑化処理部３３により平滑化された画像信号データを一時記憶する。
【００５５】
Ｄ／Ａ変換部３５は、バッファメモリ３４に一時記憶された画像信号データ（デジタル信号）をアナログ変換する。
【００５６】
プリンタ出力部３６は、アナログ変換された画像信号データを印刷出力する。
【００５７】
以下、図２を用いて、本実施形態における画像処理装置の動作について簡単に説明する。
【００５８】
まず、制御部３０は、画像符号化装置で記憶された画像信号の圧縮データ（画像信号データ）、圧縮率情報、属性情報、および被写体領域情報をメモリカード２３から読み出す。制御部３０は、その読み出したデータを伸長処理部３２に伝達する。
【００５９】
伸長処理部３２は、受け取った圧縮率情報、属性情報、および被写体領域情報に基づいて、メモリカード２３から読み出された画像信号データに対して伸長処理を施し、伸長処理後の画像信号データを平滑化処理部３３に渡す。
【００６０】
平滑化処理部３３は、制御部３０から属性情報を受け取る。平滑化処理部３３は、制御部３０から受け取った属性情報に基づいて、平滑化処理部３３から受け取った伸長処理後の画像信号データに対して平滑化処理を施す。
【００６１】
平滑化処理された画像信号データは、バッファメモリ３４に記憶される。バッファメモリ３４に記憶された画像信号データは、Ｄ／Ａ変換部３５によりアナログ信号に変換される。プリンタ出力部３６は、アナログ変換された画像信号データを受け取ると、その受け取った画像信号データの画像をプリント出力する。
【００６２】
図３は、本発明の一実施形態における画像符号化装置による処理の流れを示すフローチャートである。以下、図１を用い、図３に沿って、本実施形態における画像符号化装置による処理について説明する。
【００６３】
まず、画像符号化装置は、画像中の被写体領域を判別する（ステップＳ１０１）。Ａ／Ｄ変換部１８は、デジタル化した輝度信号を輪郭抽出部１９に入力する。輪郭抽出部１９は、入力されたデジタル輝度信号における急激な変化点を抽出する。輪郭抽出部１９は、抽出した変化点の情報（輪郭抽出データ）を制御部３０に伝達する。制御部１０は、輪郭抽出データに基づいて、画像中の被写体領域と被写体領域以外の領域とを判断する。
【００６４】
次に、制御部１０は、全画像領域に対する被写体領域の大きさの割合Ｓを算出する（ステップＳ１０２）。まず、制御部１０は、撮像部１７に結像した被写体の像を所定数の領域に分割する。本実施形態では、制御部１０は、一例として２４×２４画素ごとの単位領域に分割する。なお、上記の単位領域を構成する画素数は、上記の例に限定されないものとする。制御部１０は、輪郭抽出部１９により得られた輪郭抽出データに基づいて、全体画像における被写体の輪郭部分および輪郭の内側（被写体領域）を検出する。
【００６５】
ここで、制御部１０は、全体画像の大きさに対する被写体領域の大きさの割合Ｓを算出する。例えば、制御部１０は、全体画像の画素数および被写体領域の画素数に基づいて割合Ｓを算出するとしてよい。その場合、まず、制御部１０は、全体画像の画素数を検出する。次に、制御部１０は、被写体領域と判定された領域の数を加算し、１領域の画素数（ここでは２４×２４画素）を乗算して、被写体領域の大きさ（被写体領域の画素数）を算出する。そして、制御部１０は、被写体領域の大きさ（画素数）を全体画像の大きさ（画素数）で除算することによって、全体画像の大きさに対する被写体の大きさの割合Ｓを算出する。
【００６６】
制御部１０は、全体画像の大きさに対する被写体の大きさの割合Ｓ算出後、割合Ｓがある定数Ｔｈ＿ｓより大きいか否かを判定する（ステップＳ１０３）。
【００６７】
全体画像の大きさに対する被写体の大きさの割合Ｓが定数Ｔｈ＿ｓより大きいと判定された場合（ステップＳ１０３／Ｙｅｓ）、制御部１０は、被写体領域の圧縮率を低くし、被写体領域以外の領域の圧縮率を高くするように圧縮処理部２２を制御する（ステップＳ１０４）。例えば、制御部１０は、被写体領域の圧縮率を１／８、被写体領域以外の領域の圧縮率を１／１６として圧縮するように圧縮処理部２２を制御する。
【００６８】
全体画像の大きさに対する被写体の大きさの割合Ｓが定数Ｔｈ＿ｓより小さいと判定された場合（ステップＳ１０３／Ｎｏ）、制御部１０は、被写界深度を算出する。制御部１０は、撮像する際に検出した属性情報（被写体距離、焦点距離、およびＦナンバー）に基づいて被写界深度を算出する。なお、Ｆナンバーは焦点距離を絞り１２より検出された有効口径で割ることによって算出される。
【００６９】
図４は、本発明の一実施形態における被写界深度の算出方法について説明するための図である。図４において、「Ｌ」は被写界深度、「Ｄｌ」は被写体距離、「ｆ」は焦点距離、「Ｆｎｏ」はＦナンバー、「σ」は許容錯乱円の直径を示す。下記の式（１）は、被写界深度を算出するため式である。
【００７０】
Ｌ＝（σ・Ｆｎｏ・Ｄｌ＾２）／（ｆ＾２＋σ・Ｆｎｏ・Ｄｌ）
＋（σ・Ｆｎｏ・Ｄｌ＾２）／（ｆ＾２−σ・Ｆｎｏ・Ｄｌ）        …（１）
【００７１】
上記の式（１）に、被写体距離Ｄｌ、焦点距離ｆ、ＦナンバーＦｎｏを代入することによって、被写界深度が算出される。なお、許容錯乱円の直径σは使用される撮像素子のイメージサイズによって異なる。
【００７２】
被写界深度が大きい場合、画像全体では、ピントの合っている領域が広くなる（ボケ量が小さい）。その場合、被写体領域以外の領域であっても、圧縮率を高くしてしまうと画質劣化が目立ってしまう。従って、被写界深度Ｌが深い、すなわち、ある定数Ｔｈ＿ｌ以上である場合（ステップＳ１０５／Ｎｏ）、制御部１０は、画像全体を一律の圧縮率（例えば１／８）で圧縮するように圧縮処理部２２を制御する（ステップＳ１０６）。
【００７３】
被写界深度が小さい場合、画像全体では、ピントの合っている領域が狭くなる（ボケ量が大きい）。その場合、被写体領域以外の領域はそれ程細かく忠実に記録再生されなくても画質劣化が目立たない。従って、被写界深度Ｌが浅い、すなわち、ある定数Ｔｈ＿ｌ以下である場合（ステップＳ１０５／Ｙｅｓ）、制御部１０は、被写体領域の圧縮率を低くし、被写体領域以外の領域の圧縮率を高くするように圧縮処理部２２を制御する（ステップＳ１０４）。例えば、制御部１０は、被写体領域の圧縮率を１／８、被写体領域以外の領域の圧縮率を１／１６で圧縮するように圧縮処理部２２を制御する。
【００７４】
例えば、画像データが輝度Ｙコンポーネントと色差Ｃｂ、Ｃｒコンポーネントとで構成されている場合、制御部１０じゃ、それぞれのコンポーネントに対して、８×８画素ブロックごとに圧縮を行うように圧縮処理部２２を制御する。
【００７５】
なお、本実施例では、制御部１０は、被写体領域の大きさによって圧縮率を制御したが、シーン（夜景、風景、ポートレート等）に応じて、圧縮率を制御するようにしてもよい。例えば、夜景シーンなどでは、被写体領域以外の領域は特に鮮明ではない場合が多い。そこで、夜景シーンの被写体領域以外の領域は鮮明に写す必要のあるシーン等の被写体領域以外の領域よりも圧縮率を高くすることで、画質と圧縮効率とを両立させることができる。
【００７６】
制御部１０は、それぞれの領域の圧縮率を、全体画像の大きさに対する被写体の大きさの割合と被写界深度とによって決定する。圧縮処理部２２は、その決定された圧縮率情報に基づき、１画面をブロック毎にＤＣＴ変換を用いて周知の画像圧縮を行う。そして、圧縮された画像信号はメモリカード２３に記憶される。また、各領域に対応する圧縮率情報、属性情報、および被写体領域情報は、制御部１０よりメモリカード２３内のメモリ内に記憶される。
【００７７】
図５は、本発明の一実施形態における画像処理装置の処理の流れを示すフローチャートである。以下、図２を用い、図５に沿って、本実施形態における画像処理装置の処理について説明する。
【００７８】
まず、制御部３０は、メモリカード２３から画像信号の圧縮データ、各領域に対応する圧縮率情報、属性情報、および被写体領域情報を読み出す。
【００７９】
制御部３０は、画像信号の圧縮データ、各領域に対応する圧縮率情報、属性情報、および被写体領域情報を伸長処理部３２に伝達する。伸長処理部３２は、画像信号の圧縮データ、圧縮率情報、属性情報、および被写体領域情報に基づいて、周知である伸長処理を行う。
【００８０】
ボケ量の大きい画像であったとしても、その画像を高い圧縮率で符号化した場合、多少画質劣化の見られる可能性がある。そこで、ボケ量の特に大きい画像に関しては、伸長後のデータに平滑化処理を行うことで画質改善することができる。
【００８１】
ここで、メモリカード２３に記憶された属性情報（被写体距離、焦点距離、Ｆナンバー）に基づくことで、符号化時にボケ量の特に大きい被写体領域以外の領域について、高圧縮率とした画像をある程度判定することができる。そのため、ボケ量の特に大きい画像に対して、平滑化処理を行うことで画質改善することができる。
【００８２】
制御部３０は、メモリカード２３から読み出した属性情報を参照して、画像のボケ量の大きさを判定する。制御部３０は、ボケ量が大きい画像（ピントがそれほど合っていない画像）における被写体領域以外の領域を平滑化するように平滑化処理部３３を制御する。また、制御部３０は、ボケ量が小さい画像（ピントが合っている画像）に対しては平滑化処理を行わないように画像処理装置の各部位を制御する。
【００８３】
まず、属性情報検出部３１は、メモリカード２３から属性情報（被写体距離、焦点距離、およびＦナンバー）を読み出す。次に、属性情報検出部３１は、読み出した属性情報が次の３つの条件を満たすか否かを判定する（ステップＳ２０１）。
▲１▼被写体距離Ｄｌ＜Ｔｈ＿Ｄｌ
▲２▼焦点距離ｆ＞Ｔｈ＿ｆ
▲３▼ＦナンバーＦｎｏ＜Ｔｈ＿Ｆｎｏ
（Ｔｈ＿Ｄ、Ｔｈ＿ｆ、およびＴｈ＿Ｆｎｏはある定数）
【００８４】
属性情報検出部３１は、上記の属性情報に係る３つの条件の判定結果を制御部３０に渡す。
【００８５】
次に、制御部３０は、上記の属性情報に係る３つの条件（▲１▼、▲２▼、▲３▼）が成り立つ場合（ステップＳ２０１／Ｙｅｓ）、制御部３０は、メモリカード２３から読み出した被写体領域情報に基づいて、画像全体における被写体領域に該当する領域を判定する（ステップＳ２０２）。次に、制御部３０は、被写体領域以外の領域に平滑化処理を行うように平滑化処理部３３を制御する（ステップＳ２０３）。平滑化処理部３３により平滑化された画像信号は、バッファメモリ３４に記憶される。
【００８６】
制御部３０は、上記の属性情報に係る３つの条件（▲１▼、▲２▼、▲３▼）が成り立たない場合（ステップＳ２０１／Ｎｏ）、伸長された信号はそのままバッファメモリ３４に記憶される。
【００８７】
なお、上記３つの条件（▲１▼、▲２▼、▲３▼）全てを満たす場合、平滑化処理部３３は、被写体領域以外の領域に対して平滑化処理を施してもよいし、上記の３つの条件のうちどれか１つまたは２つを満たす場合、被写体領域以外の領域に対して平滑化処理を行ってもよい。
【００８８】
バッファメモリ３４に記憶された信号は、Ｄ／Ａ変換部３５に入力されてデジタル信号からアナログ信号に変換される。アナログ信号に変換された画像信号データは、プリンタ出力部３６によりプリント出力される。
【００８９】
一般に、全体画像の大きさに対する被写体領域の大きさの割合に関わらず、被写体領域以外の領域のボケ具合によって圧縮率を変化させていた。しかしながら、被写体領域以外の領域がボケているかボケていないかによって圧縮率を変化させるだけでは、圧縮効率を上げることと、画質を維持することの両方を満たすことができなかった。
【００９０】
そこで、本実施形態では、全体画像の大きさに対する被写体の大きさの割合が大きいと、被写体領域以外の領域は人間の目に入りにくいという特性を考慮に入れ、全体画像の大きさに対する被写体の大きさの割合が大きい場合、被写体領域よりも被写体領域以外の領域を高い圧縮率で符号化する。一方、本実施形態では、全体画像の大きさに対する被写体の大きさの割合が小さいと、被写体領域以外の領域は人間の目に入りやすいという特性を考慮に入れ、全体画像の大きさに対する被写体の大きさの割合が小さい場合、画像の被写界深度を算出し、被写界深度に基づいて被写体領域以外の領域における圧縮率を制御する。従って、被写体領域以外の領域の画質と圧縮効率を両立させることが可能となる。
【００９１】
また、本実施形態によれば、被写界深度が浅い場合、被写体領域よりも他の領域を高い圧縮率で圧縮符号化し、被写界深度が深い場合、画像全体を一律の圧縮率で圧縮符号化する。従って、画質と圧縮効率との両立を実現する圧縮符号化を可能とする。
【００９２】
また、本実施形態によれば、画像全体における被写体領域を判別し、その判別結果をメモリカード２３に記録する。従って、画像の平滑化処理などを簡易にすることが可能となる。
【００９３】
また、本実施形態によれば、メモリカード２３に記録された被写体領域判別情報を取り込み、画像データの属性情報（焦点距離、被写体距離、およびＦナンバーのうちの少なくとも１つ）に係る条件に基づいて、画像のボケ量を判定する。属性情報に係る条件より、画像データが所定以上のボケ量を有していると判定した場合、伸長後の画像データにおける被写体領域以外の領域に対して平滑化処理を行う。従って、画像データの画質を改善することが可能となる。
【００９４】
また、上記の処理は、画像符号化装置および画像処理装置が有するコンピュータプログラムにより実行されるが、上記のプログラムは、光記録媒体、磁気記録媒体、光磁気記録媒体、または半導体等の記録媒体に記録され、上記の記録媒体からロードされるようにしてもよいし、所定のネットワークを介して接続されている外部機器からロードされるようにしてもよい。
【００９５】
なお、上記の実施形態は本発明の好適な実施の一例であり、本発明の実施形態は、これに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形して実施することが可能となる。
【００９６】
【発明の効果】
以上説明したように、本発明では、全体画像の大きさに対する被写体の大きさの割合が大きいと、被写体領域以外の領域は人間の目に入りにくいという特性を考慮に入れ、全体画像の大きさに対する被写体の大きさの割合が大きい場合、被写体領域よりも被写体領域以外の領域を高い圧縮率で符号化する。一方、全体画像の大きさに対する被写体の大きさの割合が小さいと、被写体領域以外の領域は人間の目に入りやすいという特性を考慮に入れ、全体画像の大きさに対する被写体の大きさの割合が小さい場合、画像の被写界深度を算出し、被写界深度に基づいて被写体領域以外の領域における圧縮率を制御する。従って、被写体領域以外の領域の画質と圧縮効率を両立させることが可能となる。
【００９７】
また、本発明によれば、被写界深度が浅い場合、被写体領域よりも他の領域を高い圧縮率で圧縮符号化し、被写界深度が深い場合、画像全体を一律の圧縮率で圧縮符号化する。従って、画質と圧縮効率との両立を実現する圧縮符号化を可能とする。
【００９８】
また、本発明によれば、画像全体における被写体領域を判別し、その判別結果を記録媒体に記録する。従って、画像の平滑化処理などを簡易にすることが可能となる。
【００９９】
また、本発明によれば、被写体領域判別情報を取り込み、画像データの属性情報（焦点距離、被写体距離、およびＦナンバーのうちの少なくとも１つ）に係る条件に基づいて、画像のボケ量を判定する。属性情報に係る条件より、画像データが所定以上のボケ量を有していると判定した場合、伸長後の画像データにおける被写体領域以外の領域に対して平滑化処理を行う。従って、画像データの画質を改善することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態における画像符号化装置のブロック図の例を示したものである。
【図２】本発明の一実施形態における画像処理装置の構成を示すブロック図である。
【図３】本発明の一実施形態における画像符号化装置による処理の流れを示すフローチャートである。
【図４】本発明の一実施形態における被写界深度の算出方法について説明するための図である。
【図５】本発明の一実施形態における画像処理装置の処理の流れを示すフローチャートである。
【符号の説明】
１０、３０  制御部
１１  レンズ
１２  絞り
１３  ミラー光学系
１４  測光部
１５、３１  属性情報検出部
１６  シャッター
１７  撮像部
１８  Ａ／Ｄ変換部
１９  輪郭抽出部
２０  信号処理部
２１、３４  バッファメモリ
２２  圧縮処理部
２３  メモリカード
３２  伸長処理部
３３  平滑化処理部
３５  Ｄ／Ａ変換部
３６  プリンタ出力部
Ｄｌ  被写体距離
ｆ  焦点距離
Ｆｎｏ  Ｆナンバー
Ｌ  被写界深度
Ｔｈ＿Ｄｌ、Ｔｈ＿ｆ、Ｔｈ＿Ｆｎｏ、Ｔｈ＿ｌ  定数
σ  許容散乱円
【図１】
2004172674.tif 000003
【図２】
2004172674.tif 000004
【図３】
2004172674.tif 000005
【図４】
2004172674.tif 000006
【図５】
2004172674.tif 000007