(57)【要約】【課題】背景画像を拡大すること、望遠レンズによる遠近感圧縮効果を画像処理で実現する。【解決手段】入力画像内の主被写体を検出し、主被写体領域以外の背景画像における背景主要領域を決定し、背景画像を拡大し、主被写体領域の画像と拡大した前記背景画像とを合成する。このとき、主被写体領域の中心と背景主要領域の中心と画像枠との位置関係を維持するように画像合成する。また背景画像の拡大は、主被写体領域と背景主要領域とが画像枠に収まるような拡大率で行われる。【選択図】図１
2017143354.tif 000002
【特許請求の範囲】
【請求項１】
画像枠を有する着目画像内の主被写体領域を検出する主被写体検出手段と、
前記主被写体領域を除く背景画像における背景主要領域を決定する主要背景決定手段と、
前記背景画像を拡大する背景拡大手段と、
前記主被写体領域の画像と拡大した前記背景画像とを、前記主被写体領域の中心と前記背景主要領域の中心との位置関係を維持するように合成した合成画像を生成する合成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記背景拡大手段により前記背景画像を拡大する拡大率は、前記背景主要領域の中心と前記画像枠との位置関係を維持しつつ、前記主被写体領域と前記背景主要領域とが前記画像枠に納まるような第１の拡大率であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記背景主要領域が決定できない場合には、前記背景拡大手段により前記背景画像を拡大する拡大率は所定値であり、前記背景主要領域を前記背景画像の全体とすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１の拡大率が所定値よりも小さい場合に前記主被写体領域と前記画像枠との間の余白を詰めるよう前記画像枠の位置を調整する調整手段を更に有し、
前記第１の拡大率が前記所定値よりも小さい場合には、前記背景拡大手段は、前記背景主要領域の中心と前記主被写体領域の中心との位置関係を維持しつつ前記調整手段による調整した後の前記画像枠内に前記主被写体領域と前記背景主要領域とが納まるような第２の拡大率で前記背景画像を拡大し、
前記合成手段による合成後に前記調整手段により前記画像枠の位置を調整することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
検出された前記主被写体領域および前記背景主要領域それぞれと前記着目画像の前記画像枠との間の余白の幅を算出する余白算出手段をさらに有し、
前記第１および第２の拡大率は、前記余白算出手段で算出された余白の幅に基づいて決定されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記主要背景決定手段は、自動で検出した前記背景主要領域、または、ユーザにより選択された領域のどちらかを前記背景主要領域と決定することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記主被写体検出手段により検出された前記主被写体領域および前記主要背景決定手段により決定された前記背景主要領域は、主被写体および主要な背景を内包する矩形であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記主要背景決定手段は、前記背景主要領域を自動で検出する場合、前記主被写体領域を除く前記背景画像の領域を検出範囲とすることを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記主被写体領域が前記着目画像内に検出されなかった場合には、前記着目画像に対する処理を行わないことを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
画像を撮影する撮影手段と、
前記合成画像を記録する記録手段とを更に有し、
前記着目画像は、前記撮影手段により撮影された画像であることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記背景画像に含まれた前記主被写体領域を補完する手段を更に有することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
所定の画像枠を有する着目画像内の主被写体領域を検出する主被写体検出工程と、
前記主被写体領域を除く背景画像における背景主要領域を決定する主要背景決定工程と、
前記背景画像を拡大する背景拡大工程と、
前記主被写体領域の画像と拡大した前記背景画像とを、前記主被写体領域の中心と前記背景主要領域の中心との位置関係を維持するように合成した合成画像を生成する合成工程と
を有することを特徴とする画像処理方法。
【請求項１３】
所定の画像枠を有する着目画像内の主被写体領域を検出する主被写体検出手段と、
前記主被写体領域を除く背景画像における背景主要領域を決定する主要背景決定手段と、
前記背景画像を拡大する背景拡大手段と、
前記主被写体領域の画像と拡大した前記背景画像とを、前記主被写体領域の中心と前記背景主要領域の中心との位置関係を維持するように合成した合成画像を生成する合成手段と
してコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば画像データの構図変更等を行う画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等で撮影された画像の構図を、画像処理により変更する技術が開示されている（例えば、特許文献１参照）。特許文献１の技術では、画像を撮影すると同時に被写体までの距離情報を取得し、ユーザによる画像変倍処理時の領域選択の容易化を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１４７１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１においてはユーザが変倍処理を行う領域の選択、変倍率の設定を行わなければならないため、依然として操作性においてユーザに煩わしさを与える。また、選択された領域の拡大中心が画像全体の中心となっている場合、ユーザが残したいと考えている被写体がフレームアウトしてしまい、拡大した領域の位置調整をすることになるなどの手間も発生する可能性がある。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであり、画像処理によって構図変更を実現する場合において、ユーザの操作を軽減しながらもユーザの要求に応じた構図の画像を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は以下の構成を有する。
【０００７】
画像枠を有する着目画像内の主被写体領域を検出する主被写体検出手段と、
前記主被写体領域を除く背景画像における背景主要領域を決定する主要背景決定手段と、
前記背景画像を拡大する背景拡大手段と、
前記主被写体領域の画像と拡大した前記背景画像とを、前記主被写体領域の中心と前記背景主要領域の中心との位置関係を維持するように合成した合成画像を生成する合成手段と
を有することを特徴とする画像処理装置。
【発明の効果】
【０００８】
本発明によれば、ユーザの操作を減らし、ユーザが意図して撮影した背景領域を考慮した構図変更画像が生成できる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１における画像処理装置１００の構成を示すブロック図である。
【図２】構図変更が効果的に作用する構図の画像例を示す図である。
【図３】実施形態１における背景拡大画像生成処理を示すフローチャートである。
【図４】実施形態１における背景拡大画像生成処理１を説明するためのイメージ図である。
【図５】実施形態１における背景拡大画像生成処理２を説明するためのイメージ図である。
【図６】顕著性マップの一例を示す図である。
【図７】実施形態２における撮像装置７００の構成を示すブロック図である。
【図８】実施形態２における背景拡大画像生成処理部７０５の構成を示すブロック図である。
【図９】実施形態２における背景拡大画像生成処理を示すフローチャートである。
【図１０】実施形態２における背景拡大画像生成処理を説明するためのイメージ図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
［実施形態１］
＜画像処理装置の構成＞
図１から図６を参照して、本発明の第１の実施形態に係る画像処理装置を説明する。本実施形態では、入力された画像データにおいて背景領域画像を拡大し、構図変更した背景拡大画像を生成する処理について説明する。図１は、本実施形態における画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、入力部１０１、主被写体検出部１０２、領域分離部１０３、背景主要領域決定部１０４、余白算出部１０５、拡大率決定部１０６、画像拡大部１０７、画像合成部１０８、および出力部１０９を備える。
【００１１】
入力部１０１は、ユーザに指定された画像データを読み込み、主被写体検出部１０２、領域分離部１０３、背景主要領域決定部１０４の各処理部に画像データを出力する。また、指定されたユーザが残したいと考えている背景領域の情報を、背景主要領域決定部１０４に出力する。
主被写体検出部１０２は、入力部１０１から入力される画像内（すなわち入力画像内または着目画像内）の主要な被写体を検出して主要な被写体を含む主被写体領域を決定し、領域分離部１０３、背景主要領域決定部１０４に主被写体領域情報を出力する。
領域分離部１０３は、主被写体検出部１０２から入力される主被写体領域情報に基づいて、入力部１０１から入力される画像を主被写体画像と背景画像とに分離する。主被写体画像は画像合成部１０８、背景画像は画像拡大部１０７に出力する。
背景主要領域決定部１０４は、入力部１０１から入力される指定領域情報と主被写体検出部１０２から入力される主被写体領域情報とに基づいて、入力部１０１から入力される画像の背景内の特定の領域を背景主要領域として決定し、余白算出部１０５に出力する。背景主要領域決定部は、主要背景決定部と呼ぶこともできる。
余白算出部１０５は、背景主要領域決定部１０４から入力される背景主要領域と入力画像（すなわち着目画像）の画像端との間隔（以下、余白と呼ぶ）を算出し、拡大率決定部１０６に出力する。
拡大率決定部１０６は、余白算出部１０５から入力される余白情報に基づいて、背景領域画像の拡大率を決定し、画像拡大部１０７に出力する。
画像拡大部１０７は、領域分離部１０３から入力される背景画像を拡大率決定部１０６から入力される拡大率に拡大し、画像合成部１０８に出力する。
画像合成部１０８は、領域分離部１０３から入力される主被写体画像と画像拡大部１０７から入力される拡大された背景画像を合成し、背景拡大画像を生成することで構図変更を行う。生成された背景拡大画像は出力部１０９に出力される。
【００１２】
以上、本実施形態における画像処理装置１００の構成について説明した。なお図１の各構成要素は、その全部又は一部をハードウェアにより実現してもよいし、プロセッサがプログラムを実行することにより実行してもよいし、その組み合わせにより実現してもよい。次に本発明による構図変更処理が特に効果的に作用する構図について説明する。
【００１３】
＜画像例＞
図２に示す画像例２００では、手前側に主要な被写体である人物２０１が存在し、その後方に風景等の背景２０２が存在する。人物を主被写体として撮影を行う場合、画像例２００のように人物と共に撮影したい背景が後方に存在するという構図が一般的に多く用いられる。また、主被写体である人物が構図の中心に存在しない場合、背景の中でも特にユーザが撮影したいと思っている領域が存在する場合が多い。画像例２００では、主被写体である人物２０１は構図中心２０４から少し左に存在し、その反対側にユーザが意図して撮影したと考えられる背景領域である、塔２０３が存在する。このような撮影が行われた場合、ユーザは高倍率ズームのカメラ、もしくは望遠レンズを所持していないと考えられ、本実施形態による望遠レンズで撮影したような背景拡大画像を提供することが有効となる。
【００１４】
＜背景拡大画像生成処理＞
次に、本実施形態における背景拡大画像生成処理について、図３から図６を用いて説明する。図３は、ユーザが意図して撮影した背景領域を考慮して背景領域拡大画像を生成する場合の動作フローを示すフローチャートである。また、図４、図５は背景拡大画像生成処理を表した処理のイメージ図であり、図６は視覚的に目立つ領域を表す顕著性マップを示す図である。以下で図３のフローチャートの各ステップの処理を図４から図６を参照して説明する。
【００１５】
背景拡大画像生成処理が開始すると、まずステップＳ３０１で主被写体検出部１０２が、
入力画像に対して顔検出や人体検出などの処理を行うことで、人物２０１を主被写体として検出する。次に、検出された主被写体情報に基づいて図４（ａ）に示すように主被写体を内包するように矩形で主被写体領域４０１を決定し、さらに主被写体領域中心４０２の座標を算出する。主被写体の検出および主被写体領域４０１の決定がなされると、ステップＳ３０２に進む。主被写体領域が入力画像内に検出されなかった場合には、これ以降の処理を行わなくともよい。
【００１６】
ステップＳ３０２では、領域分離部１０３が、検出された主被写体情報に基づいて入力画像から主被写体画像を切り出し、主被写体画像とそれ以外の背景画像に分離する。主被写体画像と背景画像が生成されるとステップＳ３０３に進む。
【００１７】
ステップＳ３０３では、背景主要領域決定部１０４が、ユーザによる残したい背景領域の指定があるか否かを判定している。ユーザにより選択された領域指定があると判定した場合、ステップＳ３０４に進む。一方、ユーザによる領域指定がないと判定した場合、ステップＳ３０５に進む。
【００１８】
ステップＳ３０４では、背景主要領域決定部１０４が、ユーザによる指定領域を内包する矩形で背景主要領域４０３を決定し、さらに背景主要領域中心４０４の座標を算出する。ステップＳ３０４で背景主要領域４０３の決定がなされると、ステップＳ３０７に進む。
【００１９】
ステップＳ３０５では、背景主要領域決定部１０４が入力画像に対して人間の視覚の仕組みに基づいた特徴抽出の結果をマップ化した図６に示すような顕著性マップ６００を生成し、この顕著性マップ６００に基づいて背景の主要領域を検出する。なお背景主要領域の検出範囲は、入力画像の画像枠内であって、主被写体を除く領域である。顕著性マップ６００の生成では、入力画像の各画素の色情報、輝度情報、エッジ情報などの所定の項目の各特徴量を計算した特徴量マップを生成する。特徴量マップの生成では、まず入力画像の解像度、１／２の解像度、１／４の解像度と言ったように、複数の異なる解像度の画像それぞれから各項目の特徴量を計算する。次に同じ項目の特徴量を、異なる解像度のマップ間で解像度の低いマップから順に一つ上の解像度のマップに合わせて解像度変換し、差分をとることで各特徴量マップを生成する。たとえば１／４の解像度の画像から得た特徴量であるエッジ情報を１／２の解像度に変換し、１／２の解像度の画像から得た特徴量との差分をとる。このように各特徴量のコントラスト度合が強い領域が表された特徴量マップを足し合わせ、１つのマップに統合することで顕著性マップ６００を生成する。顕著性マップ６００は各特徴量に基づいて視覚的に目立つとされる領域ほど値が大きく、グレースケール画像で生成した場合に、白い領域として表現する。なお、詳細は公知の技術であるため省略するものとする。背景主要領域決定部１０４は、最終的に生成した顕著性マップ６００の値が一定値以上の画素をグルーピングし、各グループの平均値が一番高い領域を囲うように矩形で背景主要領域４０３を決定し、さらに背景主要領域４０３の中心である背景主要領域中心４０４の座標を算出する。このとき、主被写体を除いた背景領域に対応する顕著性マップ６００の領域に対してのみ、背景主要領域４０３の検出を行う。背景主要領域４０３の決定がなされると、ステップＳ３０６で背景主要領域４０３が決定されたと判定され、ステップＳ３０７に進む。一方、図５（ａ）に示すように背景主要領域が検出されない、つまり顕著性マップの値が一定値以上の領域が存在しない場合は、背景主要領域中心を構図中心２０４とする。ステップＳ３０６で背景主要領域が検出されなかったと判定された場合は、ステップＳ３０９に進む。
【００２０】
ステップＳ３０７では、余白算出部１０５が、ステップＳ３０３で決定された背景主要領域４０３と入力画像の画像端との間の領域（以下、これを余白と呼ぶ。）の幅、例えば画素数を算出する。余白算出部１０５では、図４（ａ）に示す水平方向の余白ｂｓ＿ｘと垂直方向の余白ｂｓ＿ｙの２つの余白を算出する。余白は、縦方向については背景主要領域４０３の上下それぞれに、横方向については背景主要領域４０３の左右それぞれに生じる可能性がある。本例では、それぞれの方向について、主被写体領域から遠い方の辺における余白を、ｂｓ＿ｘ、ｂｓ＿ｙとして算出する。余白の算出がなされると、ステップＳ３０８に進む。
【００２１】
ステップＳ３０８では、拡大率決定部１０６がステップＳ３０７で算出された余白情報と背景主要領域４０３とに基づいて、背景画像の拡大率を算出する。拡大率の算出では、まず以下の式１、式２によって背景画像に対する水平方向の最大拡大率ｍ＿ｘ、垂直方向の最大拡大率ｍ＿ｙを求める。これらの拡大率は、後のステップＳ３１０において、背景主要領域中心４０４を基準として背景画像を拡大した際に、背景主要領域４０３が、横方向および縦方向それぞれについて画像の枠内（フレーム内）に納まるような水平方向の最大拡大率、および垂直方向の最大拡大率である。ここで画像枠のサイズは、画像が拡大されても入力画像のまま変更されず、「基準」とは、画像枠に対する位置関係が不変であることを示す。
ｍ＿ｘ＝（ｂｓ＿ｘ＋ｂａ＿ｘ）／ｂａ＿ｘ  ・・・（式１）
ｍ＿ｙ＝（ｂｓ＿ｙ＋ｂａ＿ｙ）／ｂａ＿ｙ  ・・・（式２）
上記の式において、ｂａ＿ｘは背景主要領域中心４０４から背景主要領域４０３の水平方向の領域端までの画素数、ｂａ＿ｙは背景主要領域中心４０４から背景主要領域４０３の垂直方向の領域端までの画素数を示す。次に求めた水平方向の最大拡大率ｍ＿ｘ、垂直方向の最大拡大率ｍ＿ｙを比較し、値の小さい方を背景画像の拡大率として決定する。これは値の大きい方の拡大率を背景画像の拡大率として決定してしまうと、拡大された背景画像において、背景主要領域４０３が入力画像の枠内に納まらないためである。ステップＳ３０８で背景画像の拡大率が決定されると、ステップＳ３１０に進む。
【００２２】
一方、ステップＳ３０９では、拡大率決定部１０６が望遠レンズで撮影したような遠近感圧縮効果を得られるように予め設定された拡大率（すなわち所定値）ｍ＿ｓを背景画像の拡大率として決定する。ステップＳ３０９で背景画像の拡大率が決定されると、ステップＳ３１０に進む。
【００２３】
ステップＳ３１０では、画像拡大部１０７がステップＳ３０８もしくはステップＳ３０９で決定された拡大率に基づいて、ステップＳ３０２で領域分離部１０３が出力した背景画像を拡大する。拡大は、画像枠のサイズを変えることなく背景主要領域中心４０４を基準として行われる。あるいは、背景画像を拡大し、拡大した背景画像を入力画像の画像枠でトリミングしてもよい。トリミングは、画像枠に対する背景主要領域中心４０４の位置が拡大の前後で変わらないように行われる。ステップＳ３１０で背景画像の拡大処理がなされると、ステップＳ３１１に進む。
【００２４】
ステップＳ３１１では、画像合成部１０８がステップＳ３１０で拡大された背景画像と、ステップＳ３０２で領域分離部１０３が出力した主被写体画像とを合成する。画像合成は、図４（ｂ）に示すように主被写体領域中心４０２と拡大した背景画像の背景主要領域中心４０４の位置関係が、処理の前後で変化しないように位置合わせを行って合成する。合成後の画像では、ステップＳ３０８で決定された拡大率によって背景主要領域４０３がフレーム内に納まるようになっている。また、ステップＳ３０３で背景主要領域４０３が検出されなかった場合は、背景全体が背景主要領域とみなされて、背景主要領域中心４０４は構図中心２０４となる。この場合にも、各領域中心の位置関係を維持したまま合成する。これによって図５（ｂ）のような合成画像が生成される。すなわち、合成画像の画像枠と主被写体領域中心４０２と背景主要領域中心４０４との位置関係が、入力画像におけるその位置関係と変わらないように合成は行われる。生成された合成画像は背景拡大画像として出力部１０９から出力され、背景拡大画像生成処理を終了する。
【００２５】
以上説明したように、主要な被写体とユーザが背景内の主要な領域を検出し、その位置関係を維持したまま背景拡大画像を生成する。こうすることで、ユーザの操作を減らし、ユーザが意図して撮影した背景領域を考慮した構図変更画像を生成することが可能である。また得られる画像も遠近圧縮効果が実現されたうえ、主要な被写体及び背景がフレーム内に納められたものとなる。
【００２６】
本実施形態では、一般に多く撮影される構図に基づいて主要な被写体が人物であるという前提で主被写体検出を行う例を示したが、これに限られるものではなく、別の方法を用いて主要な被写体を検出してもよい。例えばフォーカス面や距離情報などを組み合わせた方法で検出してもよい。また、背景の主要な領域を検出する際に顕著性マップを用いる例を示したが、これに限られるものではなく、別の方法を用いて主要な背景領域を検出してもよい。例えば特定の建物や物体らしさといった類似性を用いて検出するようにしてもよい。
【００２７】
またステップＳ３１１における前景画像（主被写体領域４０１）と拡大した背景画像との合成に際して、背景画像から除去された主被写体領域４０１の一部または全部が、合成される背景画像に含まれてしまう場合があり得る。そこで、ステップＳ３０２において背景画像を分離した際に、背景画像に含まれた主被写体領域４０１を他の画像で補完してもよい。主被写体領域４０１の補完は、例えば、補完のために用いる画像及び領域を操作者が予め指定しておき、指定された画像の指定された領域を主被写体領域４０１に合成するなどして行うことができる。境界部分には視覚的に顕著な境界線が生じる可能性があるので、重複する領域を確保してブレンディング処理を施す。或いは例えば、入力画像の主被写体領域４０１付近の画像をサンプリングして、それを主被写体領域４０１に張り付けることで補完してもよい。また例えば、インターネット上にアップされている画像中から、背景画像に類似する画像を検索し、発見された画像を用いて補完を行ってもよい。その場合には、発見した画像を、入力画像に合わせて変倍し、主被写体領域４０１に相当する部分を取り出して、背景画像の主被写体領域４０１に張り付ける。またインターネットの代わりに、保存されている画像群から、背景画像に類似する画像を検索してもよい。主被写体を除く背景のみを対象として撮影された画像が保存されている可能性もあるためである。
【００２８】
また、ステップＳ３０８で算出した拡大率が大きすぎることもあり得る。そこで、ステップＳ３０８では、ｍ＿ｘとｍ＿ｙだけでなく、予め設定された拡大率ｍ＿ｓも含めて比較し、最も小さい値を、背景画像の拡大率として決定しても良い。
【００２９】
［実施形態２］
図７から図１０を参照して、本発明の第２の実施形態に係る画像処理装置について説明する。本実施形態では、デジタルカメラ等の撮像装置に背景画像の拡大に係る発明を適用した例を説明する。撮像装置として構成することで、ユーザが撮影した写真に対して適宜構図変更した画像を提供することが可能となり、ユーザにとって視点の異なった新たな写真を提供することが期待される。
【００３０】
図７は本実施形態における撮像装置７００の構成を示すブロック図、図８は撮像装置７００内の背景拡大処理部７０５の構成を示すブロック図、図９は本実施形態における動作を示すフローチャート、図１０は本実施形態の背景拡大画像生成処理を表すイメージ図である。なお、実施形態１で既に説明を行った部分については同一の記号を振り、詳細な説明を省略するものとする。
【００３１】
＜撮像装置の構成＞
図７に示す撮像光学系７０１はフォーカスレンズを含んで構成される。撮像光学系７０１は被写体からの光を受け、複数のレンズ群および絞りを介して撮像素子７０２に光を導く。撮像光学系７０１に含まれるフォーカスレンズは不図示のレンズ駆動制御部からの駆動命令またはピントリングの回転動作に基づいて駆動し、ピントの位置を調節することが可能である。撮像光学系７０１を通過した光束は撮像素子７０２上に像を形成する。
【００３２】
撮像素子７０２は受光した光束を２次元に配置された光電変換部により電気信号に変換し、アナログ信号をＡ／Ｄ変換器７０３に出力する。Ａ／Ｄ変換器７０３は撮像素子７０２からのアナログ信号をデジタル信号に変換するための変換器である。Ａ／Ｄ変換器７０３は、変換したデジタル信号を画像処理部７０４に出力する。画像処理部７０４は、内部に後述する背景拡大画像生成処理部７０５を含む画像処理機能を有する回路及びプログラム群である。画像処理部７０４は、システム制御部７０６からの制御命令に基づいてＡ／Ｄ変換部７０３によって取得されるデジタル信号群に対して画像処理を行い、記録用および表示用の画像データを生成する。画像処理部７０４で行われる画像処理は、倍率色収差補正や歪み補正、ノイズリダクション処理やコーデック処理などの現像処理である。
【００３３】
システム制御部７０６はＣＰＵを含み、不図示のメモリに格納されている制御プログラムに従ってシステム全体の動作制御を行う。また、システム制御部７０６は画像処理によって得られたデータや、撮像光学系７０１のレンズ位置情報の取得等の各ブロック間の信号の入出力も行う。操作部７０７は撮像装置７００に備えられた各種スイッチやダイヤルなどの操作部材であり、撮影者は操作部７０７を用いて撮影パラメータの設定や撮影動作などを制御することが可能である。操作部７０７による操作入力はシステム制御部７０６に出力される。表示部７０８はＬＣＤ等のディスプレイであり、システム制御部７０６から転送される撮影時の画像や記憶部７０９に記憶された画像データ、および各種設定画面などを表示する。記憶部７０９はＳＤカードやＣＦカードなどの記録媒体であり、システム制御部７０６を介して転送される画像データの記録や、記録データの読み出しを行う。以上、本実施形態における撮像装置７００の構成について説明した。
【００３４】
＜背景拡大画像生成部の構成＞
次に画像処理部７０４内の背景拡大画像生成部７０５の構成について、図８を用いて説明する。背景拡大画像生成部７０５は、実施形態１で説明した画像処理装置１００に画角調整部８０１を更に備えた構成となっている。入力部１０３は、ユーザが撮影を行い画像処理部７０４で現像された画像データを読み込み、主被写体検出部１０２、領域分離部１０３、背景主要領域決定部１０４の各処理部に画像データを出力する。主被写体検出部１０２は、入力部１０１から入力される画像内の主要な被写体を検出して主被写体領域を決定し、領域分離部１０３、背景主要領域決定部１０４、余白算出部に主被写体領域情報を出力する。余白算出部１０５は、背景主要領域決定部１０４から入力される背景主要領域と入力画像の画像端との余白、および主被写体検出部１０２から入力される主被写体領域と入力画像の画像端との余白を算出し、拡大率決定部１０６に出力する。拡大率決定部１０６は、余白算出部１０５から入力される余白情報に基づいて、背景領域画像の拡大率および画角調整量を決定し、画像拡大部１０７、画角調整部８０１に出力する。
【００３５】
画角調整部８０１は、画像合成部１０８から入力される合成後の画像に対して、最終的に出力する画像の画角調整を行い、背景領域拡大画像を出力部１０９に出力する。出力部１０９で出力された背景拡大画像は、システム制御部７０６を介して記憶部７０９に記録される。画角調整部８０１が行う画角調整とは、画像枠を、そのサイズを維持したまま上下又は左右又はその両方向についてシフトすることである。画角調整部８０１により調整しているのは、合成後の画像または拡大した背景画像のトリミングの範囲ということもでき、トリミング範囲調整部と呼ぶこともできる。以上、本実施形態における背景拡大画像生成部７０５の構成について説明した。
【００３６】
＜背景拡大画像生成処理＞
次に本実施形態における背景拡大画像生成処理を、図９および図１０を用いて説明する。図９（ａ）はユーザが撮影を行う度に、自動で背景拡大画像を生成する場合の動作フローを示すフローチャートであり、図９（ｂ）は図９（ａ）の画角調整を伴う背景画像拡大処理Ｓ９０３の詳細を示すフローチャートである。また、図１０は画角調整を伴う背景拡大画像生成処理を表した処理のイメージ図である。撮像装置７００は、操作部７０７によって背景拡大画像を自動で生成するモードに予め設定されている場合、ユーザが操作部７０７に含まれるシャッターボタンを押し、現像処理が完了すると以下の動作フローを実行する。
【００３７】
ステップＳ９０１では、ステップＳ３０１で主被写体検出部１０２によって撮影された画像内に主被写体が検出されたか否かを判定している。ステップＳ９０１で画像内に主被写体が検出されたと判定した場合は、ステップＳ３０２に進む。一方、画像内に主被写体が検出されなかったと判定した場合は、実施形態１で説明した画像例２００のような構図ではなく、風景写真などであると考えられ、背景拡大画像生成処理をする必要がないと判断し、処理を終了する。
【００３８】
ステップＳ３０２、Ｓ３０５〜Ｓ３０９では、実施形態１で説明した処理によって背景主要領域の検出を行い、背景画像の拡大率を決定する。ただし、ステップＳ３０７で余白算出部１０５は、背景主要領域４０３と入力画像の画像端との余白に加え、図１０（ａ）に示すように主被写体領域４０１と入力画像の画像端との水平方向の余白ｓｓ＿ｘと垂直方向の余白ｓｓ＿ｙを算出する。ここで、水平方向の余白ｓｓ＿ｘおよび垂直方向の余白ｓｓ＿ｙは、いずれも背景主要領域４０３から遠い側（すなわち背景主要領域の反対側）の余白とする。それというのは、余白ｓｓ＿ｘ，ｓｓ＿ｙは、背景主要領域の中心４０４を基準として背景を拡大した際に、入力画像と同じ画像枠に収まりきらない背景主要領域４０３の部分を画像枠内に収めるためのマージンとして利用されるためである。算出された各余白情報は、拡大率決定部１０６に出力される。なお、図１０（ａ）では主被写体領域４０１の位置の関係上、垂直方向の余白ｓｓ＿ｙはないため、矢印は図示していない。
【００３９】
ステップＳ９０２では、ステップＳ３０８で決定された背景画像の拡大率が、望遠レンズで撮影したような遠近感圧縮効果を得られるような予め設定された拡大率ｍ＿ｓよりも大きいか否かを判定している。ステップＳ３０８で決定された背景画像の拡大率が予め設定された拡大率ｍ＿ｓよりも大きい場合は、ステップＳ３１０に進む。一方、ステップＳ３０８で決定された背景画像の拡大率が予め設定された拡大率ｍ＿ｓよりも小さく、十分な遠近感圧縮効果を得られないと判定された場合は、ステップＳ９０３に進む。
【００４０】
ステップＳ３１０、Ｓ３１１では、実施形態１と同様にして背景画像を拡大した後に主被写体画像と拡大した背景画像の合成を行い、背景拡大画像生成処理を終了する。
【００４１】
ステップＳ９０３では、画角調整部８０１による画角調整を伴った背景画像の拡大および合成処理を行う。ステップＳ９０３のサブルーチンを図９（ｂ）のフローチャートに示す。また、ここでは図１０（ａ）に示す構図を例にして処理を説明する。例えば図１０（ａ）に示すような構図であった場合、背景主要領域４０３と画像端の水平方向の余白ｂｓ＿ｘが小さいために式１で求められる拡大率は小さくなり、図１０（ｂ）に示すように合成後の画像において遠近感圧縮効果が十分得ることができない。このような場合に、ステップＳ９０３の処理が実行される。ステップＳ９０３の詳細を、図９（ｂ）を参照して説明する。
【００４２】
＜画角調整を伴う背景拡大処理＞
ステップＳ９０４では、拡大率決定部１０６が図１０（ｃ）に示すように予め設定された拡大率ｍ＿ｓを背景画像の拡大率にした場合に、拡大率に制約を与えている水平方向に背景主要領域４０３が画像枠からはみ出す幅の画素数ａｖ＿ｘを算出する。はみ出す画素数ａｖ＿ｘは、以下の式で求められる。
ａｖ＿ｘ＝ｂｓ＿ｘ´−ｂｓ＿ｘ  ・・・（式３）
式３において、ｂｓ＿ｘ´は拡大率ｍ＿ｓを背景画像の拡大率にした場合に必要とされる背景主要領域４０３と画像端の水平方向の余白ｂｓ＿ｘであり、はみ出し量ａｖ＿ｘは余白の不足分として求められている。ｂｓ＿ｘ´は式１を以下のように変形することで求められる。
ｂｓ＿ｘ´＝（ｍ＿ｓ×ｂａ＿ｘ）−ｂａ＿ｘ  ・・・（式４）
ステップＳ９０４で背景画像の拡大率をｍ＿ｓとした場合に背景主要領域４０３が画像枠からはみ出す画素数ａｖ＿ｘが算出されると、ステップＳ９０５に進む。
【００４３】
ステップＳ９０５では、拡大率決定部１０６がステップＳ９０４で算出した背景主要領域４０３がはみ出す画素数ａｖ＿ｘが、ステップＳ３０７で算出された主被写体領域４０１と入力画像の画像端との水平方向の余白ｓｓ＿ｘよりも小さいか否かを判定する。はみ出す画素数ａｖ＿ｘが余白ｓｓ＿ｘよりも小さい場合は、ステップＳ９０６に進む。一方、はみ出す画素数ａｖ＿ｘが余白ｓｓ＿ｘよりも大きい場合は、ステップＳ９０７に進む。
【００４４】
ステップＳ９０６では、拡大率決定部１０６が、背景画像の拡大率を予め設定された拡大率ｍ＿ｓに、画角調整部８０１による画角調整方向を水平方向に、画角調整量をａｖ＿ｘにそれぞれ決定し、ステップＳ３１０に進む。画角調整量とは、拡大した背景画像上または合成画像上における画像枠の移動量であり、例えば画素数で表すことができる。画角調整方向は画像枠の移動方向である。
【００４５】
ステップＳ９０７では、拡大率決定部１０６が背景画像の拡大率を式１において、ｂｓ＿ｘを（ｂｓ＿ｘ＋ｓｓ＿ｘ）として算出した最大拡大率ｍ＿ｘに、画角調整部８０１による画角調整方向を水平方向、画角調整量をｓｓ＿ｘに決定し、ステップＳ３１０に進む。
【００４６】
ステップＳ３１０では、画像拡大部１０７が実施形態１と同様にして背景画像を拡大し、ステップＳ３１１では、画像合成部１０８が主被写体画像と拡大した背景画像の合成を行う。合成画像では、主被写体領域中心４０２と背景主要領域中心４０４と画像枠との位置関係は、入力画像における位置関係のまま維持されている。ただし、ここではこの後に画像枠を移動するため、画像枠は合成画像上における位置だけ決められ、トリミングは行わない。画像合成により合成画像が生成されると、ステップＳ９０８に進む。
【００４７】
ステップＳ９０８では、画角調整部８０１が拡大率決定部１０６によって決定された画角調整量方向および画角調整量に基づいて、合成画像の画角調整を行う。すなわち、ステップＳ９０６またはステップＳ９０７で決定された画角調整量および調整法方向に従って画像枠を移動し、移動後の画像枠で合成画像をトリミングして画像枠内の画像を生成された画像として保存する。画像枠の移動は、主被写体領域４０１と画像枠との間の余白を詰めるように行われる。ステップＳ９０６で決定された背景画像の拡大率と画角調整量に基づいて、図１０（ａ）の画像が処理された場合、図１０（ｄ）に示すような背景拡大画像が生成される。合成画像の画角調整がなされると、画角調整を伴う背景画像拡大処理および背景拡大画像生成処理を終了する。
【００４８】
以上説明したように、本発明を撮像装置として構成することで、ユーザが撮影した写真に対して適宜構図変更した画像を提供することが可能となり、ユーザにとって視点の異なった新たな写真を提供することが可能となる。また、構図の問題上、背景画像の拡大率が低く十分な遠近感圧縮効果を得られない場合には、画角調整すなわち画像枠内に収める範囲のシフトを行うことで可能な限り遠近感圧縮効果を高めた背景拡大画像の生成が可能となる。また、主被写体の検出の有無を判定することによって、風景写真などの主被写体が存在しない場合には主被写体検出以降の処理を行わないことで、処理負荷および消費電力を低減することが可能である。
【００４９】
本実施形態では、水平方向に対する画角調整を伴う背景画像の拡大処理を行う例を説明したが、本発明はこれに限られるものではなく、構図に応じて、上下方向に背景主要領域がはみ出す場合には垂直方向に対する画角調整を伴う背景画像の拡大処理を行ってもよい。また、主要な被写体である人物が１人しか存在しない例を説明したが、本発明はこれに限られるものではなく、例えば複数検出された主被写体をまとめて１つの主被写体領域として決定、もしくは複数の主被写体領域を決定してもよい。
【００５０】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
１００...画像処理装置、１０１...データ入力部、１０２...主被写体検出部、１０３...領域分離部、１０４...背景主要領域決定部、１０５...余白検出部、１０６...拡大率決定部、１０７...画像拡大部、１０８...画像合成部、１０９...データ出力部
【図１】
2017143354.tif 000003
【図２】
2017143354.tif 000004
【図３】
2017143354.tif 000005
【図４】
2017143354.tif 000006
【図５】
2017143354.tif 000007
【図６】
2017143354.tif 000008
【図７】
2017143354.tif 000009
【図８】
2017143354.tif 000010
【図９】
2017143354.tif 000011
【図１０】
2017143354.tif 000012