(57)【要約】【課題】見た目の画質が劣化させることなく高い圧縮率を実現すること。【解決手段】画像を圧縮符号化する画像符号化装置であって、画像から、予め定められた周波数よりも高い空間周波数領域で予め定められた値より強い周波数成分を含む領域を検出する高周波成分検出部と、画像から、予め定められたオブジェクトを含む領域を検出するオブジェクト検出部と、高周波成分検出部が検出した領域とオブジェクト検出部が検出した領域とに基づいて決定された画像領域を、他の領域よりも低い圧縮率で圧縮する圧縮部とを備える。【選択図】図２
2013090078.tif 000002
【特許請求の範囲】
【請求項１】
画像を圧縮符号化する画像符号化装置であって、
前記画像から、予め定められた周波数よりも高い空間周波数領域で予め定められた値より強い周波数成分を含む領域を検出する高周波成分検出部と、
前記画像から、予め定められたオブジェクトを含む領域を検出するオブジェクト検出部と、
前記高周波成分検出部が検出した領域と前記オブジェクト検出部が検出した領域とに基づいて決定された画像領域を、他の領域よりも低い圧縮率で圧縮する圧縮部と
を備える画像符号化装置。
【請求項２】
前記オブジェクト検出部は、動物の頭部のオブジェクトを含む領域を検出する
請求項１に記載の画像符号化装置。
【請求項３】
前記オブジェクト検出部は、動物のヒゲのオブジェクトを含む領域を検出する
請求項１または２に記載の画像符号化装置。
【請求項４】
前記オブジェクト検出部は、動物の目、鼻および口の少なくともいずれかを含む予め定められたオブジェクトを含む領域を更に検出し、
前記圧縮部は更に、前記予め定められたオブジェクトを含む領域を、他の領域より低い圧縮率で圧縮する
請求項２または３に記載の画像符号化装置。
【請求項５】
前記オブジェクト検出部は、動物の頭部および体部のオブジェクトを含む領域を検出し、
前記圧縮部は、頭部よりも体部の圧縮率が高くなる圧縮率で圧縮する
請求項１から４のいずれか一項に記載の画像符号化装置。
【請求項６】
前記画像は、動画を構成する動画構成画像である
請求項１から５のいずれか一項に記載の画像符号化装置。
【請求項７】
前記動画におけるオブジェクトの動き量を特定する動き量特定部
をさらに備え、
前記圧縮部は、前記画像領域に含まれるオブジェクトの動き量がより大きい場合に、当該画像領域をより高い圧縮率で圧縮する
請求項６に記載の画像符号化装置。
【請求項８】
前記圧縮部は、前記動画において連続する前記画像間で圧縮率の差が予め定められた値以下となるよう、前記画像内の各領域の圧縮率を決定し、決定した圧縮率で前記画像内の各領域を圧縮する
請求項６または７に記載の画像符号化装置。
【請求項９】
前記圧縮部は、前記画像領域を、前記他の領域よりも小さいマクロブロックを単位として圧縮する
請求項１から８のいずれか一項に記載の画像符号化装置。
【請求項１０】
前記圧縮部は、前記画像領域を、前記他の領域よりも小さい量子化ステップで量子化する
請求項１から９のいずれか一項に記載の画像符号化装置。
【請求項１１】
前記画像の撮像時の焦点調節領域に関する情報を取得する焦点調節領域取得部
をさらに備え、
前記圧縮部は、前記焦点調節領域に関する情報を加味して前記圧縮率を定める
請求項１から１０のいずれか一項に記載の画像符号化装置。
【請求項１２】
前記圧縮部は、前記焦点調節領域と前記オブジェクトを含む領域の少なくとも一部の領域とに対して低い圧縮率を適用する
請求項１１に記載の画像符号化装置。
【請求項１３】
請求項１から１０のいずれか一項に記載の画像符号化装置と、
前記画像を撮像して前記画像符号化装置に出力する撮像部と
を備える撮像装置。
【請求項１４】
前記画像の撮像時の焦点調節領域を示す情報を、前記画像符号化装置に出力する焦点調節領域出力部
をさらに備え、
前記圧縮部は、前記焦点調節領域に関する情報を加味して前記圧縮率を定める
請求項１３に記載の撮像装置。
【請求項１５】
画像の圧縮符号化用の制御プログラムであって、コンピュータに、
前記画像から、予め定められた周波数よりも高い空間周波数領域で予め定められた値より強い周波数成分を含む領域を検出する高周波成分検出ステップと、
前記画像から、予め定められたオブジェクトを含む領域を検出するオブジェクト検出ステップと、
前記高周波成分検出ステップで検出された領域と前記オブジェクト検出ステップで検出された領域とに基づいて決定された画像領域を、他の領域よりも低い圧縮率で圧縮する圧縮ステップと
を備える制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、撮像装置および制御プログラムに関する。
【背景技術】
【０００２】
入力画像から顔領域を抽出して、入力画像全体に対する顔領域の面積比が相対的に小さい場合には顔領域における圧縮率の下げ幅を大きくなるように圧縮制御を行う動画像処理装置が知られている（例えば特許文献１）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−１９３４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
高周波成分が多いオブジェクトに対して圧縮率を大きく下げると、そのオブジェクトに符号量が多く消費されてしまうので、結果的に画面全体の画質が劣化してしまう場合がある。一方、高周波成分が多いオブジェクトに高い圧縮率を適用すると、そのディテールが圧縮によって失われてしまい、見た目の画質が悪化してしまう場合がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、画像を圧縮符号化する画像符号化装置であって、記画像から、予め定められた周波数よりも高い空間周波数領域で予め定められた値より強い周波数成分を含む領域を検出する高周波成分検出部と、画像から、予め定められたオブジェクトを含む領域を検出するオブジェクト検出部と、高周波成分検出部が検出した領域とオブジェクト検出部が検出した領域とに基づいて決定された画像領域を、他の領域よりも低い圧縮率で圧縮する圧縮部とを備える。
【０００５】
本発明の第２の態様においては、撮像装置であって、上記画像符号化装置と、画像を撮像して画像符号化装置に出力する撮像部とを備える。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係るカメラ１００のシステム構成図を示す図である。
【図２】低圧縮率を適用する画像領域の一例を示す図である。
【図３】画像処理部１０７による処理の一例を模式的に示す図である。
【図４】領域毎に圧縮条件を設定する処理フロー図を示す図である。
【図５】関心領域類毎に適用されるマクロブロックサイズの一例を示す図である。
【図６】動きがある場合に適用されるマクロブロックサイズの一例を示す図である。
【図７】動きに基づくマクロブロックサイズの制御例を示す図である。
【図８】焦点調節領域を加味して決定された関心領域の一例を示す図である。
【図９】焦点調節領域を加味して圧縮条件を設定する処理フロー図を示す図である。
【図１０】動画撮影時の処理フロー図を示す図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本実施形態に係るカメラ１００のシステム構成図を示す。カメラ１００は光学系１０１を備える。光学系１０１は、ズームレンズ、フォーカスレンズ等により構成される。被写体光は光軸に沿って光学系１０１に入射し、シャッタ１０２を通過して撮像素子１０３の受光面に被写体像として結像する。
【００１０】
撮像素子１０３は、被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１０３で光電変換された被写体像は、電荷として読み出されてアンプ部１０４でゲイン調整等がなされる。アンプ部１０４で増幅された信号は、アナログ信号としてＡ／Ｄ変換器１０５へ転送され、Ａ／Ｄ変換器１０５でデジタル信号に変換される。撮像素子１０３の電荷読み出し、シャッタ１０２の駆動等の制御は、システム制御部１１４の同期制御を受けたタイミング発生部１１２が供給するクロック信号により制御される。
【００１１】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、画像処理部１０７へ引き渡されて処理される。具体的には、Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、メモリ制御部１０６の制御により、内部メモリ１０８に一旦記憶される。内部メモリ１０８は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１０８は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部１０７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。したがって、内部メモリ１０８は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１０６は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。
【００１２】
画像処理部１０７は、設定されている撮影モード、ユーザからの指示に従って、画像データを規格化された画像フォーマットの画像データに変換する。例えば、カメラ１００の撮影モードの一部として静止画撮影モードおよび動画撮影モードを有しており、静止画撮影モードで静止画像としてＪＰＥＧファイルを生成する場合、画像処理部１０７は、色変換処理、ガンマ処理、ホワイトバランス補正等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、例えば動画撮影モードで動画像としてのＭＰＥＧファイル、Ｈ．２６４ファイルを生成する場合、画像処理部１０７は、生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化、量子化、エントロピー符号化等を施して圧縮処理を行う。
【００１３】
変換された画像データは再び内部メモリ１０８に保管される。画像処理部１０７によって処理された静止画像データ、動画像データは、システム制御部１１４の制御により、内部メモリ１０８から記録媒体ＩＦ１１１を介して、不揮発性メモリである記録媒体１２２に記録される。記録媒体１２２は、フラッシュメモリ等により構成される。記録媒体１２２は、カメラ１００の本体に対して着脱可能な不揮発性メモリであってよい。
【００１４】
画像処理部１０７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１０９の制御に従って、液晶パネル等で構成される表示部１１０に表示される。また、表示制御部１０９は、画像の表示と共に、もしくは画像を表示することなく、カメラ１００の各種設定に関する様々なメニュー項目を、表示部１１０に表示することができる。
【００１５】
カメラ１００は、上記の画像処理における各々の要素も含めて、システム制御部１１４により直接的または間接的に制御される。システム制御部１１４は、電気的に消去・記録可能な不揮発性メモリであるシステムメモリを有する。システムメモリは、ＥＥＰＲＯＭ（登録商標）等により構成される。システム制御部１１４が有するシステムメモリは、カメラ１００の動作時に必要な定数、変数、プログラム等を、カメラ１００の非動作時にも失われないよう記録している。システム制御部１１４は、定数、変数、プログラム等を適宜内部メモリ１０８に展開して、カメラ１００の制御に利用する。
【００１６】
カメラ１００は、ユーザからの操作を受け付ける操作部材１２０を備えている。システム制御部１１４は、操作部材１２０が操作されたことを検知する。システム制御部１１４は、検出された操作に応じた動作を実行する。例えば、操作部材１２０としてのレリーズスイッチが操作されたことを検知したときには、システム制御部１１４は、被写体像を光電変換して画像データを生成する一連の撮影動作を実行する。
【００１７】
光学系１０１は、レンズ制御部１１３によって制御される。レンズ制御部１１３は、例えば、ユーザの指示に応じてズームレンズを駆動し、被写体像の画角を変更する。また、レンズ制御部１１３は、ＡＦ情報に基づいてフォーカスレンズを駆動し、被写体像を撮像素子１０３の受光面上で合焦させる。レンズ制御部１１３は、操作部材１２０等を通じてユーザによって指定された被写体に対して、オートフォーカスの制御を実行してよい。また、レンズ制御部１１３は、画像処理部１０７が処理した画像データまたは測光センサの出力を解析して露出値を算出する。レンズ制御部１１３は、算出した露出値に従って、光学系１０１が有する絞りの制御信号を出力する。
【００１８】
図２は、低圧縮率を適用する画像領域の一例を示す。画像処理部１０７は、フレーム画像２００のうち高周波成分を含むオブジェクトの画像領域に低圧縮率を適用し、他の領域に高圧縮率を適用して、フレーム画像２００を圧縮符号化する。ここでは動物のオブジェクトに低圧縮率を適用するとして説明する。
【００１９】
画像処理部１０７は、生成されたフレーム画像２００に対して、動物のオブジェクトを抽出するオブジェクト抽出処理と空間周波数分析処理とを組み合わせて特定した動物のヒゲ、頭部および体部を含む領域に、低圧縮を適用する。例えば、動物のヒゲを含む画像領域２１０ａ、２１０ｂ、動物の頭部を含む画像領域２２０、および、動物の体部を含む画像領域２３０に、低圧縮率を適用する。本実施形態に係る説明において、画像領域２１０、画像領域２２０および画像領域２３０を関心領域と総称する。また、関心領域以外の領域を非関心領域と称する。ここで、関心領域とは、他の領域よりも低い圧縮率を適用する画像領域を便宜的に表す用語であり、ユーザ等が実際に関心を有しているか否かに関係しないことに注意すべきである。
【００２０】
画像処理部１０７は、これらの関心領域の中でも、ヒゲを含む画像領域２１０ａ、２１０ｂに最も低い圧縮率を適用する。また、頭部を含む画像領域２２０に、体部を含む画像領域２３０よりも低圧縮率を適用する。そして、画像領域２３０の少なくとも一部には、非関心領域より低い圧縮率を適用する。例えば、頭部から遠い画像領域２３０−２には、非関心領域と同じ圧縮率を適用し、頭部に近い画像領域２３０−１には、画像領域２２０に適用する圧縮率と非関心領域に適用する圧縮率との中間の圧縮率を適用する。このため、頭部よりも体部が高くなる圧縮率で圧縮することができる。本例では、体部の画像領域２３０を画像領域２３０−１および画像領域２３０−２の２つに分割したが、３以上の画像領域に分割して、頭部から遠い画像領域ほど段階的に高くなる圧縮率を適用してよい。
【００２１】
画像処理部１０７に係る処理によれば、オブジェクト抽出と空間周波数分析処理とを組み合わせて特定した画像領域に低圧縮率を適用する。画像データを圧縮符号化する場合、主として、高周波成分をより強く低減することで、画像データが不可逆に圧縮符号化される。ところが、例えば体毛を有する動物に対して高周波成分を強く低減すると、体毛等のディテールが失われる結果、主観画質が著しく悪化してしまう。しかしながら、本例のような圧縮符号化処理によれば、体毛を有する動物の画像領域に低圧縮率を適用し、主観画質に大きく影響を与えない非関心領域に高圧縮率を適用することができる。また、特にチャームポイントとなり得るヒゲの画像領域２１０に最も低い圧縮率を適用することができる。このため、高周波のディテールが失われることを未然に防ぎつつ、フレーム画像２００全体として比較的に高い圧縮率を確保することができる。
【００２２】
図３は、画像処理部１０７による処理の一例を模式的に示す。画像３１０は、動物の頭部が検出された様子を示す。画像処理部１０７は、動物の頭部の一例としての動物の顔を検出するオブジェクト検出処理により、動物の顔の候補領域をフレーム画像から検出する。本オブジェクト検出処理では、テンプレートマッチング処理、耳、目、口および鼻等の顔特徴点の解析処理、画像特徴量の解析処理等を用いることができる。画像特徴量の解析処理としては、Ｈａａｒ−ｌｉｋｅ特徴、ＨＯＧ特徴等の画像特徴量を用いた識別処理を例示することができる。
【００２３】
画像処理部１０７は、本オブジェクト抽出処理で検出された動物の顔の候補領域を含む予め定められた範囲の領域から、高周波成分を有する領域である高周波領域を検出する。具体的には、画像処理部１０７は、予め定められた周波数よりも高い空間周波数領域で、予め定められた値より強い周波数成分を含む領域を、高周波領域として検出する。画像処理部１０７は、動物の顔の候補領域の近傍領域から検出された高周波領域を、低圧縮率を適用すべき動物の顔領域３１２として検出する。例えば、動物の顔の候補領域および高周波領域のいずれにも属する画像領域を、低圧縮率を適用すべき顔領域３１２として検出する。
【００２４】
画像３２０は、体部が検出された様子を示す。画像処理部１０７は、体領域３２２を検出する。画像処理部１０７は、顔領域３１２から続く高周波領域のうち、顔領域３１２から抽出された色と類似する色を持つ領域を、体領域３２２として検出する。これにより、例えば動物が頭部および体部に同系色の体毛を有する場合、体部の領域をきちんと検出することができる。また、高周波成分を持つ芝生や木々のオブジェクトが動物のオブジェクトの背後にある場合でも、芝生や木々の領域を動物の体部として認識してしまうことを未然に防ぐことができる。空間周波数分析と色分析とを併用することで、動物の体部の領域を的確に検出することができる。色分析の他、輝度分析、画像特徴量による分析、動き解析など、種々の分析手法を組み合わせて、体領域３２２を検出したり、体の位置、体の向き等を検出してよい。
【００２５】
画像３３０は、動物のヒゲが検出された様子を示す。画像処理部１０７は、顔領域３１２の位置に基づいて、顔領域３１２の内部領域および近傍領域から、動物のヒゲ領域３３２ａ、３３２ｂを検出する。例えば、口および鼻の近傍領域から、ヒゲの領域を検出してよい。画像処理部１０７は、空間周波数成分の特徴にさらに基づいて、ヒゲの領域を検出してよい。例えば、特定方向に高周波成分が連続して検出された領域を、ヒゲの領域として検出してよい。このとき、ヒゲの向きが、顔の向きに基づいて推定されてよい。顔の向きは、目、口、鼻、耳などの特徴点から推定されてよく、顔領域３１２と体領域３２２との位置関係や体の向き等に基づき推定されてもよい。そして、推定されたヒゲの方向に高周波成分が連続して検出された領域を、ヒゲの領域として検出してよい。
【００２６】
画像３４０は、低圧縮率を適用すべき画像領域を設定した様子を示す。顔領域３１２を含む画像領域２２０、体領域３２２を含む画像領域２３０、ヒゲ領域３３２を含む画像領域２１０が、低圧縮率を適用すべき画像領域として設定される。
【００２７】
図４は、撮影により生成されたフレーム画像に対して領域毎に圧縮条件を設定する処理フロー図を示す。処理フロー４００は、内部メモリ１０８にフレーム画像としての画像データが記憶されたときに開始される。また、本フロー図においては、特に断わらない限り画像処理部１０７が主体となって動作する。
【００２８】
処理フローが開始されると、ステップＳ４０２で、オブジェクト検出により動物の頭部の領域を検出して、当該頭部の領域の周辺から高周波領域を検出する。続いて、ステップＳ４０４で、頭部の領域が高周波領域であるか否かを判断する。頭部の領域が高周波領域である場合、検出した頭部の領域を関心領域として決定する（ステップＳ４０６）。ここで、頭部の領域かつ高周波領域である領域を、関心領域として決定してよい。続いて、ステップＳ４０８で、体部を関心領域として検出する。続いて、ステップＳ４０６で決定した頭部の領域から、ヒゲの領域を関心領域として検出する（ステップＳ４１０）。ヒゲの領域が検出されなかった場合、目、口、鼻などの、ヒゲ以外の予め定められた１以上のオブジェクトを含む領域を、関心領域として検出する。ステップＳ４１２で、各関心領域について、圧縮符号化の単位領域であるマクロブロックのサイズを決定する。具体的には、関心領域に対して、他の領域よりも小さいマクロブロックを決定する。後述するように、マクロブロックサイズは、圧縮率を制御するパラメータの一例である。ステップＳ４０４において、頭部の領域が高周波領域でない場合、処理フロー４００は終了する。
【００２９】
図５は、各領域に適用されるマクロブロックサイズの一例をテーブル形式で示す。画像処理部１０７は、関心領域のそれぞれを、それぞれが含むオブジェクトの種類に対応するサイズのマクロブロックに分割して、分割したマクロブロック単位で圧縮符号化する。ここではＨ．２６４／ＡＶＣの動画圧縮規格で動画圧縮する場合を例に挙げて、関心領域毎に適用されるマクロブロックサイズの一例を説明する。
【００３０】
画像処理部１０７は、頭部のオブジェクトを含む関心領域を、８画素×８画素のマクロブロックに分割する。また、頭部の中でもチャームポイントとなり得るヒゲ、目、口および鼻のいずれかのオブジェクトを含む関心領域を、４画素×４画素のマクロブロックに分割する。また、体部のオブジェクトを含む関心領域の少なくとも一部を、１６画素×８画素または８画素×１６画素のマクロブロックに分割する。非関心領域は、１６画素×１６画素のマクロブロックに分割する。
【００３１】
本例によれば、非関心領域よりも関心領域が小サイズのマクロブロックに分割されるので、関心領域では圧縮により生じるブロックノイズを低減することができる。また、マクロブロックサイズを小さくすることで動きの検出精度を向上することができるので、関心領域で符号量が著しく増大することを未然に防ぐことができる場合がある。本例では、動画においてオブジェクトに動きがない場合のマクロブロックサイズを例示した。オブジェクトに動きがある場合のマクロブロックサイズについては後述する。
【００３２】
図６は、オブジェクトに動きがある場合に適用されるマクロブロックサイズの一例をテーブル形式で示す。オブジェクトに動きがある場合、画像処理部１０７は、頭部のオブジェクトを含む関心領域を、１６画素×８画素、８画素×１６画素または１６画素×１６画素のマクロブロックに分割する。また、ヒゲ、目、口および鼻のいずれかのオブジェクトを含む関心領域を、４画素×８画素、８画素×４画素または８画素×８画素のマクロブロックに分割する。また、体部のオブジェクトを含む関心領域を、１６画素×１６画素に分割する。非関心領域は、オブジェクトの動きの有無にかかわらず、１６画素×１６画素のマクロブロックに分割する。
【００３３】
マクロブロックのサイズは、動き量に応じて選択されてよい。例えば、動き量が大きいほど、大きいサイズのマクロブロックが選択されてよい。例えば、頭部のオブジェクトを含む関心領域に対して、動き量が予め定められた値より大きい場合に、１６画素×１６画素のマクロブロックを採用し、動き量が予め定められた値以下である場合に、１６画素×８画素または８画素×１６画素のマクロブロックを採用してよい。ヒゲ、目、口および鼻のいずれかのオブジェクトを含む関心領域に対して、動き量が予め定められた値より大きい場合に、８画素×８画素のマクロブロックを採用し、動き量が予め定められた値以下である場合に、４画素×８画素または８画素×４画素のマクロブロックを採用してよい。
【００３４】
本例によれば、動画の関心領域に含まれるオブジェクトの動き量がより大きい場合に、当該画像領域をより高い圧縮率で圧縮することができる。オブジェクトに動きがある場合、体毛は流れて撮影されるので、圧縮率を上げても見分けつきにくい。本例のように、オブジェクトに動きがある場合に、オブジェクトに動きがない場合と比較してマクロブロックサイズを大きくすることで、圧縮効率を向上させ発生する符号量を低減することができる。
【００３５】
図５および６に関連して説明したマクロブロックサイズに関するデータは、システム制御部１１４が有するシステムメモリ内に記録されていてよい。例えば、オブジェクトの種類に対応づけてマクロブロックのサイズが記録されていてよい。画像処理部１０７は、内部メモリ１０８に展開されたマクロブロックサイズに関するデータを用いて、マクロブロックサイズの決定に利用してよい。
【００３６】
図７は、オブジェクトの動きに基づくマクロブロックサイズの制御例を示す。本例において、フレーム画像７００−１まではオブジェクトの動きがなく、図５に例示したマクロブロックサイズが採用される。フレーム画像７００−２でオブジェクトに動きが検出され、動きがフレーム画像７００−ｍまで継続する場合、画像処理部１０７は、動き量に基づいて、頭部領域および体部領域のマクロブロックサイズを１６画素×１６画素とし、ヒゲの領域のマクロブロックサイズを８画素×８画素に決定する。しかし、フレーム画像７００−１から予め定められた数のフレーム画像にわたり、動きがない場合のマクロブロックサイズを選択して、マクロブロックサイズを変化させない。
【００３７】
画像処理部１０７は、予め定められた数のフレーム画像にわたりマクロブロックサイズを一定に維持した後、フレーム画像７００−ｎに対して、一段階大きくしたマクロブロックサイズを適用する。具体的には、頭部領域のマクロブロックサイズを１６画素×８画素とし、ヒゲの領域のマクロブロックサイズを８画素×４画素とし、体部領域のマクロブロックサイズを１６画素×１６画素に決定する。そして、再び、予め定められた数のフレーム画像にわたって、このマクロブロックサイズを維持する。
【００３８】
その後、画像処理部１０７は、予め定められた数のフレーム画像にわたりマクロブロックサイズを一定に維持した後、フレーム画像７００−ｍに対して、さらに一段階大きくしたマクロブロックサイズを適用する。具体的には、頭部領域のマクロブロックサイズを１６画素×１６画素とし、ヒゲの領域のマクロブロックサイズを８画素×８画素に決定する。体部領域のマクロブロックサイズは既に規格上最大のマクロブロックサイズに達しているので、１６画素×１６画素とする。
【００３９】
画像処理部１０７は、ＧＯＰ単位でマクロブロックサイズを変化させてよい。例えば、画像処理部１０７は、１つのＧＯＰ内において、同一画像領域ではマクロブロックサイズを一定とする。そして、マクロブロックのサイズを変化させる必要がある場合に、ＧＯＰ毎にマクロブロックのサイズを一段階ずつ変化させてよい。
【００４０】
本例のように、マクロブロックサイズを時間的に漸次に増大させるので、圧縮率がフリッカ状に変化したりするなど、圧縮率が短時間で急激に上下してしまうことを未然に防ぐことができる。このように、動画において連続する画像間で圧縮率の差が予め定められた値以下となるよう、画像内の各領域の圧縮率を決定し、決定した圧縮率で画像内の各領域を圧縮することができる。このため、圧縮率が短時間で変化することがないので、主観画質が悪化することを防ぐことができる。
【００４１】
図８は、焦点調節領域を加味して決定された関心領域の一例を示す。本例のフレーム画像８００において、画像処理部１０７は、図２等で例示した画像領域２１０、画像領域２２０および画像領域２３０の他に、他の領域よりも圧縮率を低くすべき関心領域８１０を設定する。画像領域２１０、画像領域２２０および画像領域２３０は、上記で説明したようなオブジェクト検出処理および空間周波数分析により決定されるので、ここでは説明を省略する。
【００４２】
フレーム画像８００は、焦点調節領域８０２に写り込んでいる被写体に対して焦点調節された状態で撮像して得られた画像データとする。画像処理部１０７は、システム制御部１１４から、焦点調節領域８０２に関連する情報を取得することによって、焦点調節領域８０２を特定することができる。画像処理部１０７は、焦点調節領域８０２を含む領域に対して空間周波数分析をすることで、関心領域８１０を決定する。なお、本例に係る説明では、画像領域２１０、画像領域２２０、画像領域２３０および関心領域８１０のいずれにも属さない領域を、便宜的に非関心領域と呼ぶ。
【００４３】
例えば、画像処理部１０７は、焦点調節領域８０２を含む予め定められた範囲の領域から高周波領域を検出することによって、関心領域８１０を設定する。具体的には、画像処理部１０７は、焦点調節領域８０２から続く高周波領域のうち、焦点調節領域８０２から抽出された色と類似する色を持つ領域を、関心領域８１０として検出する。そして、画像処理部１０７は、関心領域８１０に対して、他の領域よりも低い圧縮率を適用する。画像処理部１０７は、関心領域８１０を、焦点調節領域８０２を含む関心領域８１０−１と焦点調節領域８０２を含まない関心領域８１０−２とに分割してよい。そして、画像処理部１０７は、焦点調節領域８０２を含む関心領域８１０−１に、関心領域８１０−２よりも低い圧縮率を適用する。また、画像処理部１０７は、関心領域８１０−２に、非関心領域よりも低い圧縮率を適用してよい。
【００４４】
本例による処理によれば、例えばユーザが動物の尾部に対して焦点合わせをして撮像した場合、動物の尾部も関心領域として決定することができる。このため、動物の尾部の体毛のディテールが失われてしまうことを防ぐことができる。焦点調節領域に動物以外の被写体が写り込んでいる場合であっても、焦点合わせされた領域に高周波成分が含まれるときには、ユーザがその被写体のディテールを撮像しようとした可能性が極めて高い。圧縮処理でその被写体のディテールが失われてしまうと、主観画質が劣化してしまう。また、芝生に焦点合わせをして動物にボケ味を持たせようとした場合に、芝生の高周波成分を落としてしまうと、主観画質が劣化してしまう。本例のように、オブジェクト検出だけでなく焦点調節領域８０２を加味して関心領域および圧縮率を決定することで、ユーザの撮影意図を圧縮条件に適切に反映することができる。
【００４５】
図９は、焦点調節領域を加味して圧縮条件を設定する処理フロー図を示す。処理フローは、内部メモリ１０８にフレーム画像の画像データが記憶されたときに開始される。また、本フロー図においては、特に断わらない限り画像処理部１０７が主体となって動作する。
【００４６】
処理フローが開始されると、ステップＳ９０２で、焦点調節領域が動物の頭部の領域であるか否かを判断する。ステップＳ９０２で、焦点調節領域が動物の頭部の領域である場合は、ステップＳ９２０で、頭部領域に対する圧縮設定処理として、図４で説明した処理フロー４００を実行する。
【００４７】
焦点調節領域が動物の頭部の領域でない場合、焦点調節領域の周辺から高周波領域を検出する（ステップＳ９０４）。続いて、ステップＳ９０６で、焦点調節領域が高周波領域であるか否かを判断する。焦点調節領域が高周波領域である場合、焦点調節領域に類似する特徴を持つ高周波領域を、関心領域として決定する（ステップＳ９０８）。例えば、図８に関連して説明したように、焦点調節領域に含まれる色と類似する色を持つ高周波領域を、関心領域として決定してよい。続いて、ステップＳ９１０で、各関心領域についてマクロブロックサイズを決定する。例えば、図８に関連して説明したように、関心領域８１０を関心領域８１０−１および関心領域８１０−２に分割してそれぞれに異なるマクロブロックサイズを決定してよい。
【００４８】
ステップＳ９１０の後、ステップＳ９１２に進む。また、ステップＳ９０６において、焦点調節領域が高周波領域でない場合、ステップＳ９１２に進む。また、ステップＳ９２０の処理の後、ステップＳ９１２に進む。
【００４９】
ステップＳ９１２で、焦点調節領域以外の領域から動物の頭部を検出する。動物の頭部の検出処理については、図２、図３等に関連して説明したとおりである。ステップＳ９１４で、動物の頭部が検出されたか否かを判断する。動物の頭部が検出された場合、ステップＳ９１６で、頭部領域に対する圧縮設定処理として、図４で説明した処理フロー４００を実行する。続いて、ステップＳ９１８で、非関心領域についてマクロブロックサイズを決定する。ステップＳ９１４において、動物の頭部が検出されていない場合、ステップＳ９１８に進む。ステップＳ９１８におけるマクロブロックサイズの決定が完了すると、一連の圧縮条件の設定処理を終了する。
【００５０】
図１０は、動画撮影時の処理フロー図を示す。本処理フローは、動画撮影が指示されたときに開始される。また、本フロー図においては、特に断わらない限りシステム制御部１１４が主体となって動作する。
【００５１】
処理フローが開始されると、ステップＳ１００２で、焦点調節領域が変更されたか否かを判断する。焦点調節領域が変更された場合、ステップＳ１００４で、指定された領域で焦点調節を行い、ステップＳ１００６に進む。ステップＳ１００２で焦点調節領域が変更されていない場合、ステップＳ１００６に進む。
【００５２】
ステップＳ１００６で、動画を構成するフレーム画像群を撮影する。ここで、１ＧＯＰ分のフレーム画像群が撮像されてよい。撮影されたフレーム画像群は、画像データとして内部メモリ１０８に記憶される。ステップＳ１００８で、画像処理部１０７は、圧縮条件を設定する処理として、図９の処理フロー９００を実行する。続いて、ステップＳ１０１０で、画像処理部１０７は、内部メモリ１０８に記憶されたフレーム画像群を動画として圧縮符号化する。圧縮符号化後の動画は、内部メモリ１０８に記憶される。ステップＳ１０１２で、撮影終了の指示があったか否かを判断する。撮影終了の指示がない場合、ステップＳ１００２に進み、撮影終了の指示があるまで上記ステップの処理を実行する。撮影終了の指示があった場合、一連の動画撮影処理を終了する。
【００５３】
上記において、圧縮率を制御するための圧縮率制御パラメータとして、マクロブロックサイズを例示した。マクロブロックサイズ以外の圧縮率制御パラメータとしては、量子化スケールを例示することができる。圧縮率制御パラメータとして量子化スケールを採用する場合、画像処理部１０７は、他の領域よりも小さい量子化ステップで関心領域を量子化することができる。画像処理部１０７は、マクロブロックサイズおよび量子化スケールの両方を制御することで圧縮率を制御してよい。このように、マクロブロックサイズまたは量子化スケールの少なくとも一方の値を各関心領域および非関心領域に直接設定することで圧縮率を制御してよいが、関心領域および非関心領域にそれぞれ目標符号量を設定することで、圧縮率を制御してもよい。
【００５４】
上記において、オブジェクト検出処理で検出されたオブジェクト領域、または、焦点調節領域の近傍の領域から、高周波領域を検出するとした。高周波領域を検出する領域を、オブジェクト領域または焦点調節領域の近傍に限定することで、画像領域全体から高周波領域を検出する場合と比較して、演算量を低減することができる。しかし、高周波領域の検出を、特定の領域に限定せずに、独立に行うこともできる。そして、高周波領域と、オブジェクト領域または焦点調節領域とに基づいて、他の領域よりも低い圧縮率で圧縮する画像領域を決定することができる。すなわち、画像処理部１０７は、画像から、予め定められた周波数よりも高い空間周波数領域で予め定められた値より強い周波数成分を含む領域を検出する高周波成分検出部と、画像から、予め定められたオブジェクトを含む領域を検出するオブジェクト検出部と、高周波成分検出部が検出した領域とオブジェクトが検出した領域とに基づいて決定された画像領域を、他の領域よりも低い圧縮率で圧縮する圧縮部として、機能することができる。ここでいう空間周波数成分とは、画像データを空間周波数領域に変換して得られた強度成分そのものであってよいが、それには限られない。空間周波数成分とは、エッジ量のように、空間周波数を表す種々の指標を表す概念である。また、空間周波数分析では、オブジェクト検出処理で抽出対象となるオブジェクト毎に、空間周波数の分析条件を設定してもよい。例えば、オブジェクト検出の対象が犬、猫、ウサギ等の体毛を有する愛玩動物である場合、高周波成分のうち、特に体毛に特徴的な空間周波数成分を有する領域を、高周波領域として検出してよい。
【００５５】
また、上記において、動画を構成する動画構成画像としての複数のフレーム画像を圧縮する場合について説明した。しかし、動画構成画像とは、フレーム画像に限定されず、フィールド画像を含む概念である。また、動画の圧縮符号化に限らず、静止画を圧縮符号化する場合にも、関心領域毎に圧縮率を制御することができる。例えば、静止画の圧縮符号化において、量子化スケールを制御することで、静止画の関心領域を他の領域よりも低い圧縮率で圧縮することができる。
【００５６】
また、上記において、主として体毛を有する動物を例に挙げて説明した。上記の関心領域に設定され得る被写体としては、猫、犬、ウサギ等の愛玩動物に限られず、高周波成分を持つオブジェクトとして撮像される被写体であれば、どのような被写体であってもよい。例えば、人間が被写体である場合、髪の毛の領域を関心領域として設定することができる。また、被写体がクジャクである場合、クジャクの羽の領域を関心領域として設定することができる。被写体がアザラシである場合、アザラシのヒゲの領域を関心領域として設定することができる。また、被写体が花畑である場合、花弁または花冠の領域を関心領域として設定することができる。被写体が教会である場合、ステンドグラスの領域を関心領域として設定することができる。このように、動植物などの生物、工芸品など、種々の被写体に対して関心領域を設定することができる。
【００５７】
また、上記において、動物の目、鼻および口を含む領域を更に関心領域として検出するとして説明した。しかし、目、鼻および口の他、舌、肉球などの予め定められたオブジェクトの領域を関心領域として検出してよい。これらのオブジェクトは、体毛等と比較すると高周波成分を含まないが、チャームポイントとなり得る。このため、これらのオブジェクトを含む領域を、他の領域より低い圧縮率で圧縮することで、符号量を著しく増加させることなく主観画質を高めることができる。
【００５８】
上記実施形態で説明したカメラ１００は、レンズ交換式一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラおよびビデオカメラはもちろん、カメラ機能付きの携帯電話等に適用できる。上記の圧縮符号化はカメラ１００内の画像処理部１０７によって主として行われるとして説明した。しかし、当該圧縮符号化を、パーソナルコンピュータなどの電子情報処理装置が実行することができる。電子情報処理装置は、当該圧縮符号化の実行を制御する制御プログラムをロードして、読み込んだ制御プログラムに従って動作することにより、当該圧縮符号化を実行してよい。電子情報処理装置は、制御プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、制御プログラムをロードすることができる。
【００５９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６０】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６１】
１００  カメラ、１０１  光学系、１０２  シャッタ、１０３  撮像素子、１０４  アンプ部、１０５  Ａ／Ｄ変換器、１０６  メモリ制御部、１０７  画像処理部、１０８  内部メモリ、１０９  表示制御部、１１０  表示部、１１１  記録媒体ＩＦ、１１２  タイミング発生部、１１３  レンズ制御部、１１４  システム制御部、１２０  操作部材、１２２  記録媒体、２００  フレーム画像、２１０、２２０、２３０  画像領域、３１０、３２０、３３０  画像、３１２  顔領域、３２２  体領域、３３２  ヒゲ領域、３４０  画像、４００、９００  処理フロー、７００、８００  フレーム画像、８０２  焦点調節領域、８１０  関心領域
【図１】
2013090078.tif 000003
【図２】
2013090078.tif 000004
【図３】
2013090078.tif 000005
【図４】
2013090078.tif 000006
【図５】
2013090078.tif 000007
【図６】
2013090078.tif 000008
【図７】
2013090078.tif 000009
【図８】
2013090078.tif 000010
【図９】
2013090078.tif 000011
【図１０】
2013090078.tif 000012