(57)【要約】【課題】撮像画像の奥行を強調する意図を反映させて撮像画像に対して奥行の強調処理を実行することができる画像処理装置および画像処理方法を提供する。【解決手段】実施形態の画像処理装置は、画像処理部と、制御部と、を備える。画像処理部は、撮像画像の奥行を強調する画像処理を行う。制御部は、撮像画像の撮像条件を取得し、この取得した撮像条件が所定の奥行強調条件を満たした場合に、画像処理部による撮像画像の奥行の強調量を上げさせるよう制御する。【選択図】図１
2014128001.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像の奥行を強調する画像処理を行う画像処理部と、
前記撮像画像の撮像条件を取得し、この取得した前記撮像条件が所定の奥行強調条件を満たした場合に、前記画像処理部による前記撮像画像の奥行の強調量を上げさせるよう制御する制御部と、
を備えた画像処理装置。
【請求項２】
前記所定の奥行強調条件は、前記撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードであることであり、
前記制御部は、前記撮像画像を撮像時の撮像モードを前記撮像条件として取得し、前記撮像モードが風景またはポートレートを撮像するモードである場合、前記強調量を上げさせるよう制御する請求項１に記載の画像処理装置。
【請求項３】
前記所定の奥行強調条件は、前記撮像画像の撮像時のレンズの絞り値が所定の絞り値より小さいことであり、
前記制御部は、前記撮像画像を撮像時のレンズの絞り値を前記撮像条件として取得し、取得した前記絞り値が前記所定の絞り値よりも小さい場合、前記強調量を上げさせるよう制御する請求項１または２に記載の画像処理装置。
【請求項４】
前記所定の奥行強調条件は、前記撮像画像の撮像時の露光モードが絞り優先モードであることであり、
前記制御部は、取得した前記絞り値が前記所定の絞り値よりも小さい場合、前記撮像画像の撮像時の露光モードを前記撮像条件として取得し、取得した前記露光モードが前記絞り優先モードである場合、前記強調量を上げさせるよう制御する請求項１から３のいずれか一に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記撮像画像が含む近景画像の高周波成分の増幅率と、前記撮像画像が含む遠景画像の高周波成分の増幅率との差によって、前記撮像画像の奥行を強調する画像処理を行い、
前記制御部は、前記撮像画像が含む近景画像の高周波成分の増幅率と、前記撮像画像が含む遠景画像の高周波成分の増幅率との差を大きくすることにより、前記強調量を上げさせるよう制御する請求項１から４のいずれか一に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記撮像画像が含む近景画像を増幅する空間周波数の最大値と、前記撮像画像が含む遠景画像を増幅する空間周波数の最大値との差によって、前記撮像画像の奥行を強調する画像処理を行い、
前記制御部は、前記撮像画像が含む近景画像を増幅する空間周波数の最大値と、前記撮像画像が含む遠景画像を増幅する空間周波数の最大値との差を大きくすることにより、前記強調量を上げさせるよう制御する請求項１から４のいずれか一に記載の画像処理装置。
【請求項７】
前記画像処理部は、前記撮像画像が含む近景画像のノイズ量と、前記撮像画像が含む遠景画像のノイズ量との差によって、前記撮像画像の奥行を強調する画像処理を行い、
前記制御部は、前記撮像画像が含む近景画像のノイズ量と、前記撮像画像が含む遠景画像のノイズ量との差を大きくすることにより、前記強調量を上げさせるよう制御する請求項１から４のいずれか一に記載の画像処理装置。
【請求項８】
画像処理装置で実行される画像処理方法であって、
画像処理部が、撮像画像の奥行を強調する画像処理を行う過程と、
制御部が、前記撮像画像の撮像条件を取得し、この取得した前記撮像条件が所定の奥行強調条件を満たした場合に、前記画像処理部による前記撮像画像の奥行の強調量を上げさせるよう制御する過程と、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
入力された画像に含まれる画像領域毎（例えば、人物画像と背景画像）に当該画像領域の奥行情報を取得し、取得した奥行情報に基づいて、入力された画像に含まれる各画像領域の奥行を強調する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−６３９８７号公報
【特許文献２】特開２０１０−２４５８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、奥行を強調する画像が、カメラの撮像により得られた撮像画像である場合、撮像画像の撮像時における奥行を強調するユーザの意図を反映させて撮像画像に対して奥行の強調処理を実施させたいという要望がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、撮像画像の撮像時における奥行を強調するユーザの意図を反映させて撮像画像に対して奥行の強調処理を実行することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態の画像処理装置は、画像処理部と、制御部と、を備える。画像処理部は、撮像画像の奥行を強調する画像処理を行う。制御部は、撮像画像の撮像条件を取得し、この取得した撮像条件が所定の奥行強調条件を満たした場合に、画像処理部による撮像画像の奥行の強調量を上げさせるよう制御する。
【図面の簡単な説明】
【０００７】
【図１】図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。
【図２】図２は、本実施形態にかかる画像処理装置における撮像画像の奥行の強調量を制御する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本実施形態にかかる画像処理装置および画像処理方法について説明する。
【０００９】
図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。本実施形態にかかる画像処理装置１０は、画像取得部１０１と、奥行取得部１０２と、画像処理部１０３と、強調量制御部１０５とを備えている。
【００１０】
画像取得部１０１は、被写体の撮像により得られた撮像画像を取得する。本実施形態では、画像取得部１０１は、カメラなどの撮像部２０１の撮像により得られた撮像画像を取得する。撮像部２０１には、撮像画像を撮像時の各種の撮像条件が設定可能である。
【００１１】
本実施形態では、撮像条件には、撮像部２０１に設定可能な撮像モードのうち風景またはポートレートを撮像する撮像モード、撮像部２０１のレンズの絞り値（Ｆ値）、撮像部２０１が有する撮像素子の感度であるＩＳＯ感度、撮像部２０１のシャッター速度（露光時間）、撮像部２０１に設定可能な露光モード（予め設定されたＦ値に応じてシャッター速度が設定される絞り優先モードなど）が含まれる。
【００１２】
奥行取得部１０２は、画像取得部１０１により取得した撮像画像の奥行情報を取得する。本実施形態では、奥行取得部１０２は、画像取得部１０１により取得した撮像画像を構成する各画素の奥行の値を表す奥行情報を取得する。奥行情報は、撮像部２０１と、当該撮像部２０１により撮像する撮像対象（被写体）との距離が近くなるに従い小さい値を表す。
【００１３】
画像処理部１０３は、画像取得部１０１により取得した撮像画像に画像処理を施す。本実施形態では、画像処理部１０３は、奥行取得部１０２により取得した奥行情報に従って、画像取得部１０１により取得した撮像画像の奥行を強調する画像処理を行う奥行強調部１０４を備えている。
【００１４】
本実施形態では、奥行強調部１０４は、奥行取得部１０２により取得した奥行情報が表す値の大小に応じて、撮像画像に実行する奥行の強調処理を変える。
【００１５】
例えば、奥行強調部１０４は、取得した奥行情報が表す値が小さいほど、撮像画像の高周波成分の増幅率を高くして（言い換えると、撮像画像が含む近景画像の高周波成分の増幅率と、撮像画像が含む遠景画像の高周波成分の増幅率とに差を設けて）、撮像画像のうち手前の被写体の画像（近景画像）を鮮鋭な画像とし、撮影画像のうち撮像部２０１から遠い被写体の画像（遠景画像）を鮮鋭感が抑えられた画像とすることにより、撮像画像の奥行を強調する画像処理を行う。
【００１６】
また、奥行強調部１０４は、取得した奥行情報が表す値が小さいほど、撮像画像が含む近景画像を増幅する空間周波数の最大値を大きくして（言い換えると、撮像画像が含む近景画像を増幅する空間周波数の最大値と、撮像画像が含む遠景画像を増幅する空間周波数の最大値とに差を設けて）、近景画像を鮮鋭な画像とし、遠景画像を鮮鋭感が抑えられた画像とすることにより、撮像画像の奥行を強調する画像処理を行う。
【００１７】
さらに、奥行強調部１０４は、取得した奥行情報が表す値が大きくなるほど、撮像画像に含まれるノイズ除去の強さを強くして、すなわち、撮像画像に含まれるノイズ量を減らして(言い換えると、撮像画像が含む近景画像のノイズ量と、撮像画像が含む遠景画像のノイズ量とに差を設けて）、遠景画像をぼやかした画像とすることにより、撮像画像の奥行を強調する画像処理を行うこともできる。
【００１８】
強調量制御部１０５は、画像取得部１０１により取得した撮像画像の撮像条件を取得し、この取得した撮像条件に基づいて、奥行強調部１０４による奥行の強調量を制御する。本実施形態では、強調量制御部１０５は、撮像画像の撮像時における撮像部２０１の撮像モード、Ｆ値、ＩＳＯ感度、露光モード、露光時間などを撮像条件として取得する。
【００１９】
そして、強調量制御部１０５は、取得した撮像条件が所定の奥行強調条件を満たしている場合に、奥行強調部１０４による奥行の強調量を上げるよう制御する。ここで、所定の奥行強調条件とは、撮像部２０１に設定可能な撮像条件のうち、撮像部２０１のユーザが撮像画像の奥行を強調することを意図して設定した撮像条件である。本実施形態では、所定の奥行強調条件は、撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードであること、撮像画像の撮像時のレンズのＦ値が所定のＦ値よりも小さいこと、撮像画像の撮像時の露光モードが絞り優先モードであること、などである。所定のＦ値は、撮像画像の被写界深度を浅くすることにより奥行を強調することを意図してユーザが任意に設定可能な値である。
【００２０】
次に、図２を用いて、本実施形態にかかる画像処理装置１による撮像画像の奥行の強調量を制御する処理について詳細に説明する。図２は、本実施形態にかかる画像処理装置における撮像画像の奥行の強調量を制御する処理の流れを示すフローチャートである。
【００２１】
撮像部２０１の撮像により得られた撮像画像が入力されると、強調量制御部１０５は、入力された撮像画像のExif画像ファイルのExifタグから、撮像モードを撮像条件として取得する。Exifタグには、撮像部２０１により被写体を撮像した撮像モードが風景または人物（ポートレート）を撮像するモードであるか否かを表すScene  Capture  Typeタグが含まれる。そこで、強調量制御部１０５は、入力された撮像画像のExif画像ファイルのExifタグが含むScene  Capture  Typeタグを参照して、撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードであるか否かを判断する（ステップＳ２０１）。
【００２２】
そして、撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードである場合（ステップＳ２０１：Ｙｅｓ）、強調量制御部１０５は、撮像画像の奥行の強調量が上がるように、奥行強調部１０４による奥行の強調処理を制御する（ステップＳ２０４）。
【００２３】
撮像画像の撮像時の撮像モードが風景を撮像するモードである場合、被写体（風景）の広がりを撮像画像において表現すること（言い換えると、撮像画像の奥行を強調すること）を意図しているため、強調量制御部１０５は、撮像画像の奥行の強調量が上げられるように制御する。また、撮像画像の撮像時の撮像モードがポートレートを撮像するモードである場合、撮像画像が含む近景画像（人物の画像）の重要性を表現すること（言い換えると、撮像画像の奥行を強調すること）を意図しているため、強調量制御部１０５は、撮像画像の奥行の強調量が上げられるように制御する。
【００２４】
本実施形態では、強調量制御部１０５は、奥行き強調部１０４による近景画像および遠景画像それぞれの高周波成分の増幅を制御して、撮像画像が含む近景画像の高周波成分の増幅率と、撮像画像が含む遠景画像の高周波成分の増幅率との差を大きくすることにより、奥行の強調量を上げさせるよう制御する。これにより、撮像画像が含む近景画像をより鮮鋭な画像とし、撮影画像が含む遠景画像はより鮮鋭感が抑えられた画像となり、撮像画像の奥行がより強調される。
【００２５】
または、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれの空間周波数の増幅を制御して、撮像画像が含む近景画像を増幅する空間周波数の最大値と、撮像画像が含む遠景画像を増幅する空間周波数の最大値との差が大きくすることにより、奥行の強調量を上げさせるよう制御しても良い。これにより、撮像画像が含む近景画像をより鮮鋭な画像とし、撮影画像が含む遠景画像がより鮮鋭感は抑えられた画像となり、撮像画像の奥行がより強調される。
【００２６】
または、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれに対するノイズ除去の強さを制御して、撮像画像が含む近景画像のノイズ量と、撮像画像が含む遠景画像のノイズ量との差が大きくすることにより、奥行の強調量を上げさせるよう制御しても良い。これにより、撮影画像が含む遠景画像がよりぼやけた画像となり、撮像画像の奥行がより強調される。
【００２７】
一方、撮像画像の撮像時の撮像モードが風景またはポートレートを撮像するモードではなかった場合（ステップＳ２０１：Ｎｏ）、強調量制御部１０５は、Exif画像ファイルのExifタグから、撮像画像の撮像時のレンズのＦ値を取得する。そして、強調量制御部１０５は、取得したＦ値が所定のＦ値よりも小さいか否かを判断する（ステップＳ２０２）。
【００２８】
また、本実施形態では、強調量制御部１０５は、撮像画像の奥行の強調量が上がるように強調処理を制御する場合、当該撮像画像の奥行の強調量が、予め設定された強調量の最大値である最大強調量Ｖｍａｘになるように、強調処理を制御するものとする。
【００２９】
ここで、取得したＦ値が所定のＦ値よりも大きい場合（ステップＳ２０２：Ｎｏ）、強調量制御部１０５は、撮像画像の被写界深度が深く当該撮像画像が奥行を強調することを意図して撮像されていないため、撮像画像の奥行の強調量が下がるように、奥行強調部１０４により奥行の強調処理を制御する（ステップＳ２０５）。本実施形態では、強調量制御部１０５は、撮像画像の奥行の強調量が下がるように奥行強調部１０４を制御しているが、これに限定するものではなく、撮像画像の奥行の強調量を下げなくても良い。
【００３０】
本実施形態では、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれの高周波成分の増幅を制御して、撮像画像が含む近景画像の高周波成分の増幅率と、撮像画像が含む遠景画像の高周波成分の増幅率との差を小さくすることにより、奥行の強調量が下がるように制御する。または、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれの空間周波数の増幅を制御して、撮像画像が含む近景画像を増幅する空間周波数の最大値と、撮像画像が含む遠景画像を増幅する空間周波数の最大値との差を小さくすることにより、奥行の強調量が下がるように制御しても良い。または、強調量制御部１０５は、奥行強調部１０４による近景画像および遠景画像それぞれに対するノイズ除去の強さを制御して、撮像画像が含む近景画像のノイズ量と、撮像画像が含む遠景画像のノイズ量との差を小さくすることにより、奥行の強調量が下がるように制御しても良い。
【００３１】
また、本実施形態では、強調量制御部１０５は、撮像画像の奥行の強調量が下がるように強調処理を制御する場合、当該撮像画像の奥行の強調量が、予め設定された強調量の最小値であって最大強調量Ｖｍａｘより小さい最小強調量Ｖｍｉｎになるように、強調処理を制御する。
【００３２】
取得したＦ値が所定のＦ値より小さい場合（ステップＳ２０２：Ｙｅｓ）、強調量制御部１０５は、Exif画像ファイルのExifタグから、露光モードを取得する。そして、強調量制御部１０５は、取得した露光モードが絞り優先モードである場合には、撮像画像の遠景画像のぼかしを意図して被写界深度を浅くしていると判断して（ステップＳ２０３：Ｙｅｓ）、撮像画像の奥行の強調量が上がるように、奥行強調部１０４による奥行の強調処理を制御する（ステップＳ２０４）。
【００３３】
露光モードが絞り優先モードである場合、撮像画像の撮像時のレンズのＦ値にはユーザが任意に設定したＦ値が設定されるため、当該任意に設定したＦ値が所定のＦ値よりも大きい場合には、ユーザが被写界深度を浅くした（すなわち、撮像画像の奥行を強調した）撮像画像を得ることを意図してＦ値を小さくしたと考えられる。そのため、強調量制御部１０５は、取得したＦ値が所定のＦ値より小さくかつ露光モードが絞り優先モードである場合には、遠景画像のぼかしを意図して被写界深度を浅くしていると判断する。
【００３４】
本実施形態では、強調量制御部１０５は、取得したＦ値および露光モードに従って、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断しているが、これに限定するものではない。例えば、強調量制御部１０５は、取得したＦ値に加えて、ＩＳＯ感度および露光時間等を用いて、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断しても良い。具体的には、強調量制御部１０５は、取得したＦ値が所定のＦ値よりも小さくかつ取得したＩＳＯ感度が高い（若しくは、取得した露光時間が長い）場合には、撮像部２０１の光学系に入射する入射光量を増やして撮像画像の黒つぶれを防止するためにＦ値を小さくしていると判断する（すなわち、遠景画像のぼかしを意図して被写界深度を浅くしていないと判断する）。
【００３５】
また、本実施形態では、強調量制御部１０５は、取得したＦ値および露光モード（または、ＩＳＯ感度、露光時間など）に基づいて、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断しているが、取得したＦ値のみに基づいて、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断しても良い。すなわち、強調量制御部１０５は、取得したＦ値が所定のＦ値より小さい場合には、遠景画像のぼかしを意図して被写界深度を浅くしているか否かを判断して、撮像画像の奥行の強調量が上がるように奥行強調部１０４を制御する。
【００３６】
また、強調量制御部１０５は、取得した露光モードが絞り優先モード以外である場合には、撮像画像の遠景画像のぼかしを意図して被写界深度を浅くしていない（すなわち、撮像画像の黒つぶれを避けるためにＦ値を小さくしている）と判断して（ステップＳ２０３：Ｎｏ）、撮像画像の奥行の強調量が下がるように、奥行強調部１０４による奥行の強調処理を制御する（ステップＳ２０５）。
【００３７】
本実施形態では、強調量制御部１０５は、取得した撮像条件が所定の奥行強調条件を満たしているか否かに応じて、撮像画像の奥行の強調量を、最大強調量Ｖｍａｘまたは最小強調量Ｖｍｉｎに切り替えているが、これに限定するものではない。
【００３８】
例えば、強調量制御部１０５は、奥行強調部１０４により奥行を強調する強調対象の撮像画像の撮像条件が所定の奥行強調条件を満たしているか否かに関わらず、当該撮像画像の撮像条件に基づいて、奥行強調部１０４による奥行の強調を制御しても良い。具体的には、強調量制御部１０５は、当該撮像画像の撮像条件を用いて、奥行強調量１０４による奥行の強調量を決定し、当該決定した強調量に従って、奥行強調部１０４による奥行の強調量を制御する。ここで、撮像画像の撮像条件を用いて強調量Ｖを決定する方法の一例について説明する。
【００３９】
強調量制御部１０５は、Exifタグから取得した撮像条件（撮像モード、露光モード、Ｆ値、ＩＳＯ感度、露光時間）を用いて、式（１）に従って算出した強調量Ｖ０を、奥行の強調量Ｖに決定する。
V0=A*Vmode0+B*(C+Vmode1)*Vf-D*Viso-E*Vt・・・（１）
Vmode：撮像モードが風景またはポートレートを撮像するモードである場合には「１」、それ以外は「０」となる
Vmode1：露光モードが絞り優先の場合には「１」、それ以外は「０」となる
Vf：Ｆ値
Viso：ＩＳＯ感度
Vt：露光時間
A〜E：定数
【００４０】
そして、強調量制御部１０５は、式（１）により算出した強調量Ｖ０が最大強調量Ｖｍａｘより大きい場合には、最大強調量Ｖｍａｘを奥行の強調量Ｖに決定する。
【００４１】
一方、強調量制御部１０５は、強調量Ｖ０が最小強調量Ｖｍｉｎより小さい場合には、最小強調量Ｖｍｉｎを奥行の強調量Ｖに決定する。そして、強調量制御部１０５は、強調量Ｖ０が最大強調量Ｖｍａｘ以下かつ最小強調量Ｖｍｉｎ以上である場合には、強調量Ｖ０を強調量Ｖに決定する。
【００４２】
また、強調量制御部１０５は、取得した撮像条件が所定の奥行強調条件を満たした場合には、当該撮像条件の撮像条件に基づいて奥行強調部１０４による奥行の強調を制御し、取得した撮像条件が所定の奥行強調条件を満たしていない場合には、奥行強調部１０４による奥行の強調を制御しないようにしても良い。
【００４３】
このように本実施形態の画像処理装置１によれば、撮像画像の撮像条件を取得し、この取得した撮像条件が所定の奥行強調条件を満たした場合に、画像処理部１０３（奥行強調部１０４）による撮像画像の奥行の強調量を上げさせるよう制御することにより、撮像画像の撮像時における奥行を強調するユーザの意図を反映させて撮像画像に対して奥行の強調処理を実施することができる。
【００４４】
本実施形態の画像処理装置１０で実行されるプログラムは、ＲＯＭ（Read  Only  Memory）等に予め組み込まれて提供される。
【００４５】
本実施形態の画像処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ(Digital  Versatile  Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４６】
さらに、本実施形態の画像処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００４７】
本実施形態の画像処理装置１０で実行されるプログラムは、上述した各部（画像取得部１０１、奥行取得部１０２、画像処理部１０３、奥行強調部１０４、強調量制御部１０５など）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ画像取得部１０１、奥行取得部１０２、画像処理部１０３、奥行強調部１０４、強調量制御部１０５が主記憶装置上に生成されるようになっている。
【００４８】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４９】
１０・・・画像処理装置、１０１・・・画像取得部、１０２・・・奥行取得部、１０３・・・画像処理部、１０４・・・奥行強調部、１０５・・・強調量制御部、２０１・・・撮像部。
【図１】
2014128001.tif 000003
【図２】
2014128001.tif 000004