(57)【要約】      （修正有）【課題】高解像度で符号化したい領域を高解像度で符号化することができる画像処理装置を提供する。【解決手段】カメラは、合焦座標情報及び各領域の距離情報に基づいて各領域に割り当てる符号量を設定し、画像データを構成する複数の領域の距離情報を取得し、画像データにおける合焦領域を特定し、決定された画像データの符号量のうち、各領域に割り当てる符号量を設定する。【選択図】図２
2017085354.tif 000002
【特許請求の範囲】
【請求項１】
決定された符号量に基づいて符号化処理を実行することにより、画像データを生成する画像処理装置であって、
前記画像データの符号量を決定する画像データ符号量決定手段と、
前記画像データを構成する複数の領域の距離情報を取得する領域距離取得手段と、
前記画像データにおける合焦領域を特定する合焦領域特定情報を取得する合焦領域特定情報取得手段と、
前記決定された画像データの符号量のうち、各前記領域に割り当てる符号量を設定する設定手段とを備え、
前記設定手段は、前記合焦領域特定情報及び各前記領域の距離情報に基づいて各前記領域に割り当てる符号量を設定することを特徴とする画像処理装置。
【請求項２】
前記設定手段は、前記合焦領域において、近い距離を示す距離情報を有する領域に大きい符号量を割り当て、遠い距離を示す距離情報を有する領域に小さい符号量を割り当てることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像データは、前記合焦領域を除く非合焦領域を含み、
前記設定手段は、前記非合焦領域に、前記遠い距離を示す距離情報を有する領域に割り当てられた符号量より小さい符号量を割り当てることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像データにおける主被写体の距離情報を取得する主被写体距離取得手段を更に備え、
前記設定手段は、前記合焦領域特定情報及び前記主被写体の距離情報に基づいて前記領域に割り当てる符号量を設定することを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記設定手段は、前記主被写体の距離情報と同じ距離情報の領域に大きい符号量を割り当て、前記主被写体の距離情報と異なる距離情報の領域に小さい符号量を割り当てることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像データは、前記合焦領域を除く非合焦領域を含み、
前記設定手段は、前記合焦領域に含まれる前記主被写体の距離情報と同じ距離情報の領域に、前記非合焦領域に含まれる前記主被写体の距離情報と同じ距離情報の領域に割り当てられる符号量より大きい符号量を割り当てることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記設定手段は、前記非合焦領域に含まれる前記主被写体の距離情報と異なる距離情報の領域に、前記合焦領域に含まれる前記主被写体の距離情報と異なる距離情報の領域に割り当てられる符号量より小さい符号量を割り当てることを特徴とする請求項６記載の画像処理装置。
【請求項８】
決定された符号量に基づいて符号化処理を実行することにより、画像データを生成する画像処理装置の制御方法であって、
前記画像データの符号量を決定する画像データ符号量決定ステップと、
前記画像データを構成する複数の領域の距離情報を取得する領域距離取得ステップと、
前記画像データにおける合焦領域を特定する合焦領域特定情報を取得する合焦領域特定情報取得ステップと、
前記決定された画像データの符号量のうち、各前記領域に割り当てる符号量を設定する設定ステップとを備え、
前記設定ステップは、前記合焦領域特定情報及び各前記領域の距離情報に基づいて各前記領域に割り当てる符号量を設定することを特徴とする画像処理装置の制御方法。
【請求項９】
決定された符号量に基づいて符号化処理を実行することにより、画像データを生成する画像処理装置の制御方法をコンピュータに実行させるプログラムであって、
前記画像処理装置の制御方法は、
前記画像データの符号量を決定する画像データ符号量決定ステップと、
前記画像データを構成する複数の領域の距離情報を取得する領域距離取得ステップと、
前記画像データにおける合焦領域を特定する合焦領域特定情報を取得する合焦領域特定情報取得ステップと、
前記決定された画像データの符号量のうち、各前記領域に割り当てる符号量を設定する設定ステップとを備え、
前記設定ステップは、前記合焦領域特定情報及び各前記領域の距離情報に基づいて各前記領域に割り当てる符号量を設定することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、並びにプログラムに関し、特に、画像の符号化処理を行う画像処理装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルカムコーダー等のデジタル方式を用いた撮像装置の普及に伴い、デジタル方式を用いた被写体の静止画像や動画像の撮影が広く行われている。特に、デジタル方式を用いたカメラは撮影された画像に基づいて画像処理を実行可能である。例えば、カメラは、各被写体の距離情報を取得し、ＤＦＤ法やステレオ法等を含む奥行推定手法を用い、取得された各被写体の距離情報に基づいて各被写体の奥行情報であるデプスマップを生成する。カメラは生成されたデプスマップに基づいて撮影された画像をユーザが所望する画像へ画像処理を施す（例えば、特許文献１参照）。
【０００３】
また、カメラは、撮影された画像から画像データを生成するために符号化処理を行い、生成された画像データは、例えば、カメラに設けられる格納部に格納される。符号化処理を行う際、カメラは当該符号化処理に用いられる画像データの符号量を設定する。設定された符号量が大きいと、高解像度の画像データを生成可能であるが、設定可能な符号量には限りがある。そのため、カメラは、画像データの解像度が必要以上に低下せず、且つ画像データの容量値が必要以上に大きくならない適切な符号量を符号化処理において設定する必要がある。適切な符号量を設定する技術として、画像データのうち当該画像データを占める一部の領域、例えば、カメラのピントが合う領域（以下、「合焦領域」という。）のみへ他の領域より大きい符号量を割り当てる技術が提案されている（例えば、特許文献２参照）。これにより、カメラは、画像データの容量値を必要以上に大きくすることなく、合焦領域に含まれる人物等を高解像度で符号化した画像データを生成可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１６８２２７号公報
【特許文献２】特開２００８−１９３５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、合焦領域には高解像度で符号化したい被写体（以下、「主被写体」という。）である人物の他に、高解像度で符号化する必要がない空等の背景も含まれる場合がある。しかしながら、特許文献２のカメラでは、合焦領域に含まれる主被写体を含む領域や背景が画一的に符号化されるため、合焦領域に大きい符号量を割り当てても、主被写体を含む領域を高解像度で符号化することができないことがある。一方、合焦領域以外の領域が主被写体を含む場合があるが、合焦領域に大きい符号量が割り当てられると、合焦領域以外の領域に割り当てられる符号量は小さくなる。その結果、主被写体を含む領域を高解像度で符号化することができない。すなわち、画像データの各領域へ適切な符号量を割り当てることができないために、高解像度で符号化したい領域を高解像度で符号化することができない場合がある。
【０００６】
本発明の目的は、高解像度で符号化したい領域を高解像度で符号化することができる画像処理装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、決定された符号量に基づいて符号化処理を実行することにより、画像データを生成する画像処理装置であって、前記画像データの符号量を決定する画像データ符号量決定手段と、前記画像データを構成する複数の領域の距離情報を取得する領域距離取得手段と、前記画像データにおける合焦領域を特定する合焦領域特定情報を取得する合焦領域特定情報取得手段と、前記決定された画像データの符号量のうち、各前記領域に割り当てる符号量を設定する設定手段とを備え、前記設定手段は、前記合焦領域特定情報及び各前記領域の距離情報に基づいて各前記領域に割り当てる符号量を設定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高解像度で符号化したい領域を高解像度で符号化することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施の形態に係る画像処理装置としてのカメラの構成を概略的に示すブロック図である。
【図２】図１のカメラで実行される量子化制御処理の手順を示すフローチャートである。
【図３】図２の量子化制御処理で用いられる各種データの一例を示し、図３（ａ）は撮影画像であり、図３（ｂ）は図３（ａ）の撮影画像に対応するデプスマップである。
【図４】本発明の第２の実施の形態に係るカメラの構成を概略的に示すブロック図である。
【図５】図４のカメラで実行される量子化マップ生成処理の手順を示すフローチャートである。
【図６】図４の量子化マップ生成処理で用いられる各種データの一例を示し、図６（ａ）は撮影画像であり、図６（ｂ）は図６（ａ）の撮影画像に対応する量子化マップである。
【図７】図４のカメラで実行される量子化制御処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の第１の実施の形態を図面を参照しながら詳述する。
【００１１】
本実施の形態では、画像処理装置としてのカメラに本発明を適用した場合について説明するが、本発明の適用先はカメラに限られず、符号化処理を実行可能な画像処理装置であれば本発明を適用することができる。
【００１２】
図１は、本発明の実施の形態に係る画像処理装置としてのカメラ１００の構成を概略的に示すブロック図である。
【００１３】
図１において、カメラ１００は、制御部１０１、撮像部１０２、直交変換部１０３、デプスマップ生成部１０４、量子化制御部１０５、量子化部１０６、エントロピー符号化部１０７、及び記録媒体１０８を備える。制御部１０１、撮像部１０２、直交変換部１０３、デプスマップ生成部１０４、量子化制御部１０５、量子化部１０６、及びエントロピー符号化部１０７の各構成要素は、システムバス１０９を介して互いに接続されている。記録媒体１０８はエントロピー符号化部１０７に接続されている。
【００１４】
制御部１０１はカメラ１００全体を統括的に制御する。撮像部１０２は図示しないレンズ光学系及び画素領域を備える。レンズ光学系は、光学レンズ、絞り等を備え、光学ズームが可能である。画素領域はレンズ光学系を透過した光をアナログ信号に光電変換する。画素領域には受光された光を画像形成用のアナログ信号に光電変換する複数の画像形成用画素が配置されている。また、画素領域には複数の画像形成用画素の他に、受光された光を像面位相差検出を行うためのアナログ信号に光電変換する複数の位相差検出用画素も配置され、位相差検出用画素は画素領域の全面又は一部に配置されている。撮像部１０２は、各画素によって光電変換されたアナログ信号をデジタル信号に変換し、該デジタル信号に基づいて各画素の特性を有する画像データを生成し、当該画像データを直交変換部１０３に送信する。また、撮像部１０２は、画像形成用画素によって光電変換されたアナログ信号及び位相差検出用画素によって光電変換されたアナログ信号の２種のアナログ信号をデプスマップ生成部１０４に夫々送信する。当該２種のアナログ信号の位相差によって画像データに含まれる各被写体までの距離情報が算出される。さらに、撮像部１０２は、生成された画像データのうち合焦領域を特定する座標情報（以下、「合焦座標情報」という。）（合焦領域特定情報）を量子化制御部１０５に送信する。
【００１５】
直交変換部１０３は、受信された画像データを、例えば、８画素×８画素に対応する大きさの複数の領域に分割し、分割された各領域に対して直交変換処理を行う。直交変換部１０３は直交変換された画像データを領域毎に量子化部１０６に夫々送信する。デプスマップ生成部１０４は、ＤＦＤ法やステレオ法等を用い、受信された上記２種のアナログ信号に基づいて画像データにおける各画素に対応する奥行き距離情報を算出する。デプスマップ生成部１０４は算出された奥行き距離情報に基づいて後述する図３（ｂ）のデプスマップ３０１を生成する。デプスマップ３０１では、距離が近い場合には奥行き距離情報として小さい値が設定され、距離が遠い場合には奥行き距離情報として大きい値が設定される。デプスマップ生成部１０４は生成されたデプスマップ３０１を量子化制御部１０５に送信する。量子化制御部１０５は、制御部１０１で設定された圧縮率に基づいて画像データの総符号量を決定し、決定された画像データの総符号量を画像データの各領域に割り当てるための量子化ステップ値を領域毎に設定する。また、量子化制御部１０５は、設定された量子化ステップ値を調整するためのゲイン値を算出する。量子化部１０６は、直交変換された画像データ及び設定された量子化ステップ値に基づいて量子化処理を行い、直交変換された画像データに対して領域毎に圧縮処理を施す。また、量子化部１０６は量子化された画像データをエントロピー符号化部１０７に送信する。エントロピー符号化部１０７は量子化された画像データに符号化処理を行う。これにより、カメラ１００は決定された総符号量に基づく符号化処理を画像データに施す。符号化された画像データは記録媒体１０８に格納される。エントロピー符号化部１０７は符号化された画像データのデータ量を量子化制御部１０５に送信する。記録媒体１０８は不揮発性メモリ等で構成される記録メディアである。
【００１６】
図２は、図１のカメラ１００で実行される量子化制御処理の手順を示すフローチャートである。
【００１７】
図２の処理は、制御部１０１がシステムバス１０９に接続された各構成要素を制御することによって実行される。図２の処理は、図３（ａ）に示す撮影画像３００に対応する画像データに量子化制御処理を行う場合を前提とし、図３（ｂ）に示すデプスマップ３０１が予め生成されていることを前提とする。なお、デプスマップ３０１は、図３（ｂ）に示すように、近い距離を示す奥行き距離情報が設定されている領域（例えば、図３（ｂ）の領域３０２）を白で示す。また、デプスマップ３０１は遠い距離を示す奥行き距離情報が設定されている領域（例えば、図３（ｂ）の領域３０６）を黒で示し、中間の距離を示す奥行き距離情報が設定されている領域（例えば、図３（ｂ）の領域３０３〜３０５）を灰色で示す。
【００１８】
ここで、カメラ１００は、画像データの解像度が必要以上に低下せず、且つ画像データの容量値が必要以上に大きくならない適切な符号量を符号化処理において設定する必要がある。適切な符号量を設定する際、例えば、画像データのうち合焦領域のみへ他の領域より大きい符号量を割り当てることが考えられるが、合焦領域には高解像度で符号化したい主被写体である人物の他に、高解像度で符号化する必要がない空等の背景も含まれる場合がある。従来のカメラでは、合焦領域に含まれる主被写体を含む領域や背景が画一的に符号化されるため、合焦領域に大きい符号量を割り当てても、主被写体を含む領域を高解像度で符号化することができないことがある。一方、合焦領域以外の領域が主被写体を含む場合があるが、合焦領域に大きい符号量が割り当てられると、合焦領域以外の領域に割り当てられる符号量は小さくなる。その結果、主被写体を含む領域を高解像度で符号化することができない。すなわち、画像データの各領域へ適切な符号量を割り当てることができないために、高解像度で符号化したい領域を高解像度で符号化することができない場合がある。
【００１９】
これに対応して、本実施の形態では、合焦座標情報及び画像データの各領域の奥行き距離情報に基づいて各領域に割り当てる符号量が設定される。
【００２０】
図２において、まず、制御部１０１は予め設定された圧縮率に基づいて画像データの総符号量を決定する（ステップＳ２０１）（画像データ符号量決定手段）。次いで、制御部１０１は、設定された画像データの総符号量を当該画像データの各領域に割り当てるための量子化ステップ値を領域毎に設定する（ステップＳ２０２）（設定手段）。次いで、制御部１０１は、合焦座標情報を取得し（合焦領域特定情報取得手段）、取得された合焦座標情報に基づいて画像データの各領域、例えば、領域Ａが合焦領域であるか否かを判別する（ステップＳ２０３）。ステップＳ２０３では、領域Ａが合焦座標情報で特定される領域に含まれる場合、制御部１０１は領域Ａが合焦領域であると判別する。一方、領域Ａが合焦座標情報で特定される領域に含まれない場合、制御部１０１は領域Ａが合焦領域ではない非合焦領域であると判別する。
【００２１】
ステップＳ２０３の判別の結果、領域Ａが合焦領域であるとき、制御部１０１は、図３（ｂ）のデプスマップ３０１を取得し（領域距離取得手段）、デプスマップ３０１から領域Ａに対応する奥行き距離情報（以下、「領域Ａ距離情報」という。）を取得する。デプスマップは画素単位の奥行き距離情報を含み、制御部１０１は、領域Ａ（例えば、８画素×８画素）に含まれる各画素の奥行き距離情報の平均値を領域Ａ距離情報として取得する。なお、本実施の形態では、領域Ａに含まれる各画素の奥行き距離情報の最大値及び最小値のいずれかが領域Ａ距離情報として用いられてもよい。その後、制御部１０１は、取得された領域Ａ距離情報が予め設定された設定値Ｔｈ０より小さいか否かを判別する（ステップＳ２０４）。ここで、近い距離を示す奥行き距離情報を有する領域には主被写体が含まれることが多いため、通常、近い距離を示す奥行き距離情報を有する領域が高解像度で符号化したい領域となる。そのため、本実施の形態では、近い距離を示す奥行き距離情報を有する領域を特定するために、設定値Ｔｈ０、及び後述する設定値Ｔｈ１，Ｔｈ２を用いる。設定値Ｔｈ０〜設定値Ｔｈ２はカメラ１００に予め設定されている値である。なお、本実施の形態では、設定値Ｔｈ０〜設定値Ｔｈ２はユーザの操作によって設定を行ってもよい。設定値Ｔｈ０は、複数の領域のうち、最も大きい符号量を割り当てたい領域、つまり、最も高解像度で符号化したい領域を特定するための設定値である。
【００２２】
ステップＳ２０４の判別の結果、領域Ａ距離情報が設定値Ｔｈ０より小さいとき（例えば、図３（ｂ）の領域３０２）、制御部１０１は領域Ａが最も大きい符号量を割り当てたい領域であると判断する。制御部１０１は領域Ａに対応する量子化ステップ値を調整するためのゲイン値としてゲイン値ｇ０を設定する（ステップＳ２０５）（設定手段）。ゲイン値ｇ０は、領域Ａに最も大きい符号量を割り当てるように量子化ステップ値を調整するゲイン値であり、例えば、ゲイン値ｇ０として０．６が設定される。次いで、制御部１０１はステップＳ２０６の処理に進む。
【００２３】
ステップＳ２０４の判別の結果、領域Ａ距離情報が設定値Ｔｈ０以上であるとき、制御部１０１は、領域Ａ距離情報が設定値Ｔｈ１より小さいか否かを判別する（ステップＳ２０７）。設定値Ｔｈ１は、複数の領域のうち、設定値Ｔｈ０に対応する領域の次に大きい符号量を割り当てたい領域（以下、「Ｔｈ１対応領域」という。）を特定するための設定値であり、設定値Ｔｈ１には設定値Ｔｈ０より大きい値が設定される。
【００２４】
ステップＳ２０７の判別の結果、領域Ａ距離情報が設定値Ｔｈ１より小さいとき（例えば、図３（ｂ）の領域３０３）、制御部１０１は、領域ＡがＴｈ１対応領域であると判断し、上記ゲイン値としてゲイン値ｇ１を設定する（ステップＳ２０８）（設定手段）。ゲイン値ｇ１は、設定値Ｔｈ０に対応する領域の次に大きい符号量を割り当てるように量子化ステップ値を調整するゲイン値であり、例えば、ゲイン値ｇ１として０．８が設定される。次いで、制御部１０１はステップＳ２０６の処理に進む。
【００２５】
ステップＳ２０７の判別の結果、領域Ａ距離情報が設定値Ｔｈ１以上であるとき、制御部１０１は、領域Ａ距離情報が設定値Ｔｈ２より小さいか否かを判別する（ステップＳ２０９）。設定値Ｔｈ２は、複数の領域のうち、Ｔｈ１対応領域の次に大きい符号量を割り当てたい領域（以下、「Ｔｈ２対応領域」という。）を特定するための設定値であり、設定値Ｔｈ２には設定値Ｔｈ１より大きい値が設定される。
【００２６】
ステップＳ２０９の判別の結果、領域Ａ距離情報が設定値Ｔｈ２より小さいとき（例えば、図３（ｂ）の領域３０４）、制御部１０１は、領域ＡがＴｈ２対応領域であると判断し、上記ゲイン値としてゲイン値ｇ２を設定する（ステップＳ２１０）（設定手段）。ゲイン値ｇ２は、Ｔｈ１対応領域の次に大きい符号量を割り当てるように量子化ステップ値を調整するゲイン値であり、例えば、ゲイン値ｇ２として１．１が設定される。次いで、制御部１０１はステップＳ２０６の処理に進む。
【００２７】
ステップＳ２０９の判別の結果、領域Ａ距離情報が設定値Ｔｈ２以上であるとき（例えば、図３（ｂ）の領域３０５）、制御部１０１は、領域ＡがＴｈ２対応領域でないと判断し、上記ゲイン値としてゲイン値ｇ３を設定する（ステップＳ２１１）（設定手段）。ゲイン値ｇ３は、Ｔｈ２対応領域の次に大きい符号量を割り当てるように量子化ステップ値を調整するゲイン値であり、例えば、ゲイン値ｇ３として１．２が設定される。すなわち、本実施の形態では、領域Ａが合焦領域であっても、領域Ａ距離情報が小さい場合、つまり、近い距離を示す奥行き距離情報を有する場合、領域Ａには大きい符号量が割り当てられる。一方、領域Ａ距離情報が大きい場合、つまり、遠い距離を示す奥行き情報を有する場合、領域Ａには小さい符号量が割り当てられる。次いで、制御部１０１はステップＳ２０６の処理に進む。
【００２８】
ステップＳ２０３の判別の結果、領域Ａが非合焦領域であるとき（例えば、図３（ｂ）の領域３０６）、制御部１０１は、上記ゲイン値としてゲイン値ｇ４を設定する（ステップＳ２１２）（設定手段）。ゲイン値ｇ４は、ゲイン値ｇ３が設定された領域より小さい符号量を割り当てるように量子化ステップ値を調整するゲイン値であり、例えば、ゲイン値ｇ４として１．３が設定される。すなわち、本実施の形態では、非合焦領域に、合焦領域において遠い距離を示す奥行き距離情報を有する領域（例えば、図３（ｂ）の領域３０５）に割り当てられた符号量より小さい符号量が割り当てられる。次いで、制御部１０１は、設定されたゲイン値をステップＳ２０２で設定された量子化ステップ値に乗算して当該量子化ステップ値を変更する（ステップＳ２０６）。次いで、制御部１０１は、変更された量子化ステップ値に基づいて領域Ａの量子化処理を行い（ステップＳ２１３）、画像データの領域Ａを圧縮する。制御部１０１は、画像データの領域Ａ以外の他の領域に対してもステップＳ２０３〜Ｓ２１３と同様の処理を行い、各領域のゲイン値を設定し、当該ゲイン値を乗算して変更された量子化ステップ値に基づいて各領域の量子化処理を行う。次いで、制御部１０１は画像データの全ての領域の量子化処理が完了したか否かを判別する（ステップＳ２１４）。
【００２９】
ステップＳ２１４の判別の結果、画像データのいずれかの領域の量子化処理が完了しないとき、制御部１０１はステップＳ２０２の処理に戻る。一方、ステップＳ２１４の判別の結果、画像データの全ての領域の量子化処理が完了したとき、制御部１０１は、本処理を終了する。
【００３０】
上述した図２の処理によれば、合焦座標情報及び各領域の奥行き距離情報に基づいて各領域に割り当てる符号量が設定される。これにより、例えば、合焦領域であっても、高解像度で符号化したい被写体を含む領域の距離情報と同じ距離情報の領域へ大きい符号量を割り当てることができる。その結果、高解像度で符号化したい領域を高解像度で符号化することができる。
【００３１】
また、上述した図２の処理では、合焦領域において、近い距離を示す奥行き距離情報を有する領域に大きい符号量が割り当てられ、遠い距離を示す奥行き距離情報を有する領域に小さい符号量が割り当てられる。ここで、近い距離を示す奥行き距離情報を有する領域は高解像度で符号化したい領域となるので、近い距離を示す奥行き距離情報を有する領域に大きい符号量が割り当てられることにより、高解像度で符号化したい領域を確実に高解像度で符号化することができる。
【００３２】
さらに、上述した図２の処理では、非合焦領域に、合焦領域において遠い距離を示す奥行き距離情報を有する領域に割り当てられた符号量より小さい符号量が割り当てられる。これにより、相対的に合焦領域へ大きい符号量を割り当てることができる。合焦領域は通常、高解像度で符号化したい領域である。したがって、相対的に合焦領域へ大きい符号量を割り当てることにより、高解像度で符号化したい領域を確実に高解像度で符号化することができる。
【００３３】
次に、本発明の第２の実施の形態について説明する。
【００３４】
本発明の第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであり、高解像度で符号化したい主被写体の奥行き距離情報を算出する点で本発明の第１の実施の形態と異なるため、以下、重複した構成、作用については説明を省略し、異なる構成、作用についての説明を行う。
【００３５】
図４は、本発明の第２の実施の形態に係るカメラ４００の構成を概略的に示すブロック図である。
【００３６】
図４において、カメラ４００は、図１の制御部１０１、量子化部１０６、エントロピー符号化部１０７、及び記録媒体１０８の他に、撮像部４０１、顔検出部４０２、デプスマップ生成部４０３、及び主被写体距離算出部４０４を備える。さらに、カメラ４００は量子化マップ生成部４０５、直交変換部４０６、量子化制御部４０７、及びメモリ部４０８を備える。制御部１０１、量子化部１０６、エントロピー符号化部１０７、撮像部４０１、顔検出部４０２、デプスマップ生成部４０３、主被写体距離算出部４０４、量子化マップ生成部４０５、直交変換部４０６、量子化制御部４０７、及びメモリ部４０８の各構成要素はシステムバス４０９を介して互いに接続されている。
【００３７】
撮像部４０１は、図１の撮像部１０２と同様の構成を有し、生成された画像データをメモリ部４０８及び顔検出部４０２に送信する。顔検出部４０２は、受信された画像データから顔を含む領域を検出し、検出された領域を特定する座標情報（以下、「顔座標情報」という。）をメモリ部４０８に格納する。本実施の形態では、顔検出部４０２によって検出された領域を主被写体領域とする。デプスマップ生成部４０３は、図１のデプスマップ生成部１０４と同様の構成を有し、生成されたデプスマップ３０１をメモリ部４０８に格納する。主被写体距離算出部４０４はメモリ部４０８に格納された顔座標情報及びデプスマップに基づいて主被写体領域の奥行き距離情報（以下、「主被写体の距離情報」という。）を算出する。具体的に、主被写体距離算出部４０４はデプスマップから顔座標情報で特定される領域の奥行き距離情報を取得する。また、主被写体距離算出部４０４は、取得された領域の奥行き距離情報の平均値及び制御部１０１で設定された所定のレンジに基づいて主被写体の距離情報を算出する。すなわち、本実施の形態における主被写体の距離情報は、制御部１０１で設定された所定のレンジを有する。主被写体距離算出部４０４は算出された主被写体の距離情報を量子化マップ生成部４０５に送信する。
【００３８】
量子化マップ生成部４０５は主被写体距離算出部４０４から主被写体の距離情報を取得し、メモリ部４０８から合焦座標情報を取得する。量子化マップ生成部４０５は、取得された主被写体の距離情報及び合焦座標情報に基づいて画像データの各領域を後述するカテゴリ１〜カテゴリ４のいずれかに分類する。また、量子化マップ生成部４０５は画像データに対応する後述する図６（ｂ）の量子化マップ６０１を生成し、生成された量子化マップ６０１をメモリ部４０８に格納する。直交変換部４０６は、図１の直交変換部１０３と同様の構成を有し、メモリ部４０８から画像データを取得し、取得された画像データに基づいて直交変換処理を行う。量子化制御部４０７は、図１の量子化制御部１０５と同様の構成を有し、メモリ部４０８から量子化マップ６０１を取得し、取得された量子化マップ６０１に基づいて画像データの各領域の量子化ステップ値のゲイン値を算出する。メモリ部４０８は各種データを格納する。
【００３９】
図５は、図４のカメラ４００で実行される量子化マップ生成処理の手順を示すフローチャートである。
【００４０】
図５の処理は、図４の制御部１０１がシステムバス４０９に接続された各構成要素を制御することによって実行され、図６（ａ）に示す撮影画像６００に対応する図６（ｂ）の量子化マップ６０１を生成する場合を前提とする。
【００４１】
図５において、まず、制御部１０１は主被写体距離算出部４０４で算出された主被写体の距離情報を取得する（主被写体距離取得手段）。その後、制御部１０１は画像データの各領域、例えば、領域Ａの距離情報が主被写体の距離情報と同じであるか否かを判別する（ステップＳ５０１）。
【００４２】
ステップＳ５０１の判別の結果、領域Ａの距離情報が主被写体の距離情報と同じであるとき、制御部１０１は、メモリ部４０８から取得した合焦座標情報に基づいて領域Ａが合焦領域であるか否かを判別する（ステップＳ５０２）。
【００４３】
ステップＳ５０２の判別の結果、領域Ａが合焦領域であるとき、制御部１０１は、主被写体の距離情報と同じ奥行き距離情報の領域であって且つ合焦領域であることを示すカテゴリ１を領域Ａのカテゴリ情報として設定する（ステップＳ５０３）。次いで、制御部１０１はステップＳ５０４の処理に進む。一方、ステップＳ５０２の判別の結果、領域Ａが非合焦領域であるとき、制御部１０１は、主被写体の距離情報と同じ奥行き距離情報の領域であって且つ非合焦領域であることを示すカテゴリ２を領域Ａのカテゴリ情報として設定する（ステップＳ５０３）。次いで、制御部１０１はステップＳ５０４の処理に進む。
【００４４】
ステップＳ５０１の判別の結果、領域Ａの距離情報が主被写体の距離情報と異なるとき、制御部１０１は、メモリ部４０８から取得した合焦座標情報に基づいて領域Ａが合焦領域であるか否かを判別する（ステップＳ５０６）。
【００４５】
ステップＳ５０６の判別の結果、領域Ａが合焦領域であるとき、制御部１０１は、主被写体の距離情報と異なる奥行き距離情報の領域であって且つ合焦領域であることを示すカテゴリ３を領域Ａのカテゴリ情報として設定する（ステップＳ５０７）。次いで、制御部１０１はステップＳ５０４の処理に進む。一方、ステップＳ５０６の判別の結果、領域Ａが非合焦領域であるとき、制御部１０１は主被写体の距離情報と異なる奥行き距離情報の領域であって且つ非合焦領域であることを示すカテゴリ４を領域Ａのカテゴリ情報として設定する（ステップＳ５０８）。次いで、制御部１０１は設定されたカテゴリ情報をメモリ部４０８に格納する（ステップＳ５０４）。制御部１０１は、画像データの領域Ａ以外の他の領域に対してもステップＳ５０１〜Ｓ５０８，Ｓ５０４と同様の処理を行い、各領域のカテゴリ情報を設定し、各カテゴリ情報をメモリ部４０８に格納する。次いで、制御部１０１は画像データの全ての領域にカテゴリ情報が設定されたか否かを判別する（ステップＳ５０９）。
【００４６】
ステップＳ５０９の判別の結果、画像データのいずれかの領域にカテゴリ情報が設定されていないとき、制御部１０１はステップＳ５０１の処理に戻る。一方、ステップＳ５０９の判別の結果、画像データの全ての領域にカテゴリ情報が設定されているとき、制御部１０１は、設定されたカテゴリ情報に基づいて各領域のカテゴリ情報を含む図６（ｂ）の量子化マップ６０１を生成する（ステップＳ５１０）。その後、制御部１０１はステップＳ５１０の処理を実行した後に本処理を終了する。
【００４７】
図７は、図４のカメラ４００で実行される量子化制御処理の手順を示すフローチャートである。
【００４８】
図７の処理は、図４の制御部１０１がシステムバス４０９に接続された各構成要素を制御することによって実行される。
【００４９】
図７において、まず、制御部１０１は図２のステップＳ２０１及びＳ２０２と同様の処理を行う。次いで、制御部１０１は、メモリ部４０８から量子化マップ６０１を取得し、量子化マップから領域Ａのカテゴリ情報を取得し（ステップＳ７０１）、取得されたカテゴリ情報がカテゴリ１であるか否かを判別する（ステップＳ７０２）。
【００５０】
ステップＳ７０２の判別の結果、取得されたカテゴリ情報がカテゴリ１であるとき、制御部１０１は、領域Ａのゲイン値として、図２のステップＳ２０５で用いられるゲイン値ｇ０を設定する（ステップＳ７０３）（設定手段）。次いで、制御部１０１は図２のステップＳ２０６以降の処理を行う。一方、ステップＳ７０２の判別の結果、取得されたカテゴリ情報がカテゴリ１でないとき、制御部１０１は取得されたカテゴリ情報がカテゴリ２であるか否かを判別する（ステップＳ７０４）。
【００５１】
ステップＳ７０４の判別の結果、取得されたカテゴリ情報がカテゴリ２であるとき、制御部１０１は領域Ａのカテゴリ情報として、図２のステップＳ２０８で用いられるゲイン値ｇ１を設定する（ステップＳ７０５）（設定手段）。すなわち、本実施の形態では、合焦領域に含まれる主被写体の距離情報と同じ奥行き距離情報の領域（例えば、図６（ｂ）の領域６０２）に、非合焦領域に含まれる主被写体の距離情報と同じ奥行き距離情報の領域（例えば、図６（ｂ）の領域６０３）に割り当てられる符号量より大きい符号量が割り当てられる。次いで、制御部１０１は図２のステップＳ２０６以降の処理を行う。
【００５２】
ステップＳ７０４の判別の結果、取得されたカテゴリ情報がカテゴリ２でないとき、制御部１０１は取得されたカテゴリ情報がカテゴリ３であるか否かを判別する（ステップＳ７０６）。
【００５３】
ステップＳ７０６の判別の結果、取得されたカテゴリ情報がカテゴリ３であるとき、制御部１０１は領域Ａのカテゴリ情報として、図２のステップＳ２１０で用いられるゲイン値ｇ２を設定する（ステップＳ７０７）（設定手段）。次いで、制御部１０１は図２のステップＳ２０６以降の処理を行う。一方、ステップＳ７０６の判別の結果、取得されたカテゴリ情報がカテゴリ３でないとき、制御部１０１は領域Ａのカテゴリ情報として、図２のステップＳ２１１で用いられるゲイン値ｇ３を設定する（ステップＳ７０８）（設定手段）。すなわち、本実施の形態では、主被写体の距離情報と同じ奥行き距離情報の領域（例えば、図６（ｂ）の領域６０２，６０３）に大きい符号量が割り当てられる。一方、主被写体の距離情報と異なる奥行き距離情報の領域（例えば、図６（ｂ）の領域６０４，６０５）に小さい符号量が割り当てられる。また、本実施の形態では、非合焦領域に含まれる主被写体の距離情報と異なる奥行き距離情報の領域（例えば、図６（ｂ）の領域６０５）に、合焦領域に含まれる主被写体の距離情報と異なる奥行き距離情報の領域（例えば、図６（ｂ）の領域６０４）に割り当てられる符号量より小さい符号量が割り当てられる。次いで、制御部１０１は、図２のステップＳ２０６以降の処理を行って本処理を終了する。
【００５４】
上述した図５及び図７の処理では、画像データにおける主被写体の距離情報が取得され、合焦座標情報及び主被写体の距離情報に基づいて各領域に割り当てる符号量が設定される。これにより、合焦領域であっても、主被写体の距離情報と同じ奥行き距離情報の領域へ特に大きい符号量を割り当てることができる。その結果、主被写体を含む領域をより高解像度で符号化することができる。
【００５５】
また、上述した図５及び図７の処理では、主被写体の距離情報と同じ奥行き距離情報の領域に大きい符号量が割り当てられ、主被写体の距離情報と異なる奥行き距離情報の領域に小さい符号量が割り当てられる。これにより、主被写体の距離情報と同じ奥行き距離情報の領域へ相対的に大きい符号量を割り当てることができる。
【００５６】
さらに、上述した図５及び図７の処理では、合焦領域に含まれる主被写体の距離情報と同じ奥行き距離情報の領域に、非合焦領域に含まれる主被写体の距離情報と同じ奥行き距離情報の領域に割り当てられる符号量より大きい符号量が割り当てられる。合焦領域に含まれる主被写体の距離情報と同じ奥行き距離情報の領域は、非合焦領域に含まれる主被写体の距離情報と同じ奥行き距離情報の領域よりも高解像度で符号化したい領域である。したがって、合焦領域に含まれる主被写体の距離情報と同じ奥行き距離情報の領域へ大きい符号量を割り当てることにより、高解像度で符号化したい領域をさらに確実に高解像度で符号化することができる。
【００５７】
上述した図５及び図７の処理では、非合焦領域に含まれる主被写体の距離情報と異なる奥行き距離情報の領域に、合焦領域に含まれる主被写体の距離情報と異なる奥行き距離情報の領域に割り当てられる符号量より小さい符号量が割り当てられる。これにより、相対的に合焦領域に含まれる主被写体の距離情報と異なる奥行き距離情報の領域へ大きい符号量を割り当てることができる。合焦領域に含まれる主被写体の距離情報と異なる奥行き距離情報の領域は、高解像度で符号化したい領域である。したがって、相対的に合焦領域に含まれる主被写体の距離情報と異なる奥行き距離情報の領域へ大きい符号量を割り当てることにより、高解像度で符号化したい領域を確実に高解像度で符号化することができる。
【００５８】
本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１００  カメラ
１０１  制御部
１０５，４０７  量子化制御部
【図１】
2017085354.tif 000003
【図２】
2017085354.tif 000004
【図３】
2017085354.tif 000005
【図４】
2017085354.tif 000006
【図５】
2017085354.tif 000007
【図６】
2017085354.tif 000008
【図７】
2017085354.tif 000009