(57)【要約】      （修正有）【課題】撮影場所に制限されることなく、所望の背景画像とともに被写体を強調する。【解決手段】それぞれ異なる位置から同一の被写体とその背景とを撮像し複数の画像データを取得する。画像データに共通して含まれる共通画像の基準位置からの距離を画素ごとに推定し、被写体の少なくとも一部を含む前景画像と背景画像とに分離する基準となる距離の閾値を決定する。複数の画像データそれぞれについて、閾値に基づいて共通画像を前景画像と背景画像とに分離する。複数の画像データそれぞれについて、対応する背景画像の一部を含むように切り出した背景部分画像を生成し、複数の画像データのそれぞれを拡大した拡大背景部分画像を生成する。生成した複数の拡大背景部分画像の内部に含まれる前景画像による欠損画素の数が最も少ない拡大背景部分画像内の欠損画素を補間し、被写体の少なくとも一部を含む前景画像と背景欠損補間画像とに基づいて合成画像を生成する。【選択図】図１
2016063248.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる位置から同一の被写体とその背景とを撮像した複数の画像データを取得する画像取得部と、
前記複数の画像データのいずれにも含まれる共通画像の基準位置からの距離を画素ごとに推定する距離推定部と、
前記共通画像を、前記被写体の少なくとも一部を含む前景画像と背景画像とに分離する前記距離の閾値を決定する閾値決定部と、
前記複数の画像データのそれぞれについて、前記閾値に基づいて前記共通画像を前記前景画像と前記背景画像とに分離する複数の前景／背景分離部と、
前記複数の画像データのそれぞれについて、前記背景画像の一部を含むように切り出した背景部分画像を生成する複数の画像切り出し部と、
前記複数の画像データのそれぞれについて、前記背景部分画像を拡大した拡大背景部分画像を生成する複数の画像拡大部と、
対応する前景画像による欠損画素の数が最も少ない拡大背景部分画像内の前記欠損画素を補間した背景欠損補間画像を生成する背景欠損補間部と、
前記被写体の少なくとも一部を含む前記前景画像と前記背景欠損補間画像とに基づいて合成画像を生成する合成画像生成部と、を備える画像処理装置。
【請求項２】
前記閾値決定部における前記閾値の決定の仕方と、前記複数の画像切り出し部での対応する前記背景画像の切り出し位置と、前記複数の画像拡大部での対応する前記背景部分画像の拡大率と、の少なくとも一つを設定するユーザインタフェース部を備える請求項１に記載の画像処理装置。
【請求項３】
前記背景欠損補間画像をボケさせた背景ボケ画像を生成する背景ボケ生成部を備え、
前記合成画像生成部は、前記背景ボケ画像と前記前景画像とに基づいて前記合成画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記複数の前景／背景分離部のそれぞれは、対応する前記画像データについて、前記閾値に基づいて、前記共通画像から前記背景画像と、前記前景画像と、前記背景画像内に重複して含まれる前記前景画像の画素位置を示す前景マスク画像とを生成する請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
それぞれ異なる位置から同一の被写体とその背景とを撮像した複数の画像データを取得するステップと、
前記複数の画像データのいずれにも共通して含まれる共通画像の基準位置からの距離を画素ごとに推定するステップと、
前記共通画像を、前記被写体の少なくとも一部を含む前景画像と背景画像とに分離する基準となる前記距離の閾値を決定するステップと、
前記複数の画像データのそれぞれについて、前記閾値に基づいて前記共通画像を前記前景画像と前記背景画像とに分離するステップと、
前記複数の画像データのそれぞれについて、対応する前記背景画像の一部を含むように切り出した背景部分画像を生成するステップと、
前記複数の画像データのそれぞれについて、対応する前記背景部分画像を拡大した拡大背景部分画像を生成するステップと、
前記複数の画像拡大部で生成した複数の前記拡大背景部分画像の内部に含まれる前景画像による欠損画素の数が最も少ない拡大背景部分画像内の前記欠損画素を補間した背景欠損補間画像を生成するステップと、
前記被写体の少なくとも一部を含む前記前景画像と前記背景欠損補間画像とに基づいて合成画像を生成するステップと、を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
被写体をより強調して撮影したい場合には、カメラと被写体との距離を離した状態で望遠レンズを用いて被写体を撮影し、被写体の背景画像をボケさせることが有効である。
【０００３】
しかしながら、撮影環境によっては、カメラから被写体までの距離を十分に長く確保できない場合がありうる。また、カメラの設置場所の制限により、被写体の背景に写し込みたい背景画像を被写体とともに写せない場合もありうる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４９２４４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、撮影場所に制限されることなく、所望の背景画像とともに被写体を強調させて撮影可能な画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００６】
本実施形態によれば、それぞれ異なる位置から同一の被写体とその背景とを撮像した複数の画像データを取得する画像取得部と、前記複数の画像データのいずれにも共通して含まれる共通画像の基準位置からの距離を画素ごとに推定する距離推定部と、前記共通画像を、前記被写体の少なくとも一部を含む前景画像と背景画像とに分離する基準となる前記距離の閾値を決定する閾値決定部と、前記複数の画像データのそれぞれについて、前記閾値に基づいて前記共通画像を前記前景画像と前記背景画像とに分離する複数の前景／背景分離部と、前記複数の画像データのそれぞれについて、対応する前記背景画像の一部を含むように切り出した背景部分画像を生成する複数の画像切り出し部と、前記複数の画像データのそれぞれについて、対応する前記背景部分画像を拡大した拡大背景部分画像を生成する複数の画像拡大部と、前記複数の画像拡大部で生成した複数の前記拡大背景部分画像の内部に含まれる前景画像による欠損画素の数が最も少ない拡大背景部分画像内の前記欠損画素を補間した背景欠損補間画像を生成する背景欠損補間部と、前記被写体の少なくとも一部を含む前記前景画像と前記背景欠損補間画像とに基づいて合成画像を生成する合成画像生成部と、を備える画像処理装置が提供される。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態による画像処理装置１の概略構成を示すブロック図。
【図２】閾値決定の第２手法を説明する図。
【図３】閾値決定の第３手法を説明する図。
【図４】第１前景／背景分離部６と第２前景／背景分離部７の処理動作の一例を示すフローチャート。
【図５】（ａ）、（ｂ）および（ｃ）は第１画像切り出し部８における切り出し量と切り出し位置の具体例を示す図。
【図６】背景欠損補間部の処理動作の一例を示すフローチャート。
【図７】欠損画素の補間を説明する図。
【図８】ユーザインタフェース部が表示するＧＵＩ画面の一例を示す図。
【図９】（ａ）は各スライダを調整しない初期状態での合成画像を示す図、（ｂ）は撮影位置垂直方向調整スライダ３１を上に動かして生成した合成画像を示す図、（ｃ）は撮影位置水平方向調整スライダ３２を右に動かして生成した合成画像を示す図。
【図１０】第２の実施形態による画像処理装置１の概略構成を示すブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。以下の実施形態では、画像処理装置内の特徴的な構成および動作を中心に説明するが、画像処理装置には以下の説明で省略した構成および動作が存在しうる。ただし、これらの省略した構成および動作も本実施形態の範囲に含まれるものである。
【０００９】
図１は本発明の一実施形態による画像処理装置１の概略構成を示すブロック図である。図１の画像処理装置１は、第１の画像データを撮像する第１撮像部２と、第２の画像データを撮像する第２撮像部３と、距離推定部４と、閾値決定部５と、第１前景／背景分離部６と、第２前景／背景分離部７と、第１画像切り出し部８と、第２画像切り出し部９と、第１画像拡大部１０と、第２画像拡大部１１と、背景欠損補間部１２と、背景ボケ生成部１３と、合成画像生成部１４と、ユーザインタフェース部１５と、制御部１６とを備えている。
【００１０】
第１撮像部２および第２撮像部３は、互いに異なる特定の位置に設置されており、各位置から同一の被写体とその背景を同タイミングで撮像する。第１撮像部２および第２撮像部３は、ＣＭＯＳセンサやＣＣＤ（Charge Coupled Device）等のイメージセンサ・モジュールやデジタルカメラなどであり、その具体的な形態は問わない。
【００１１】
第１撮像部２および第２撮像部３は、撮像した画像データを取得して保存する機能を備えていてもよいし、あるいは、これら撮像部２，３で撮像した画像データを取得して保存する不図示の画像取得部や画像記憶部を別途に設けてもよい。以下の説明では、第１撮像部２および第２撮像部３が画像取得部を兼ねるものとする。
【００１２】
距離推定部４は、第１および第２の画像データのいずれにも含まれる共通画像の基準位置からの距離を画素ごとに推定する。基準位置とは、例えば、第１撮像部２の設置場所と第２撮像部３の設置場所との中間位置である。距離推定部４は、第１撮像部２と第２撮像部３の設置場所を予め把握しているものとする。よって、距離推定部４は基準位置も予め把握することができる。なお、２枚の画像データ中に共通画像が存在するか否かは、パターンマッチング等の公知の手法により検出可能である。第１撮像部２と第２撮像部３はともに、同一の被写体とその背景を撮像するため、共通画像の中には被写体画像も含まれている。
【００１３】
距離推定部４は、２枚の画像データに含まれる共通画像内の各画素について、例えばステレオ法を用いて、基準位置からの距離を推定する。距離推定部４で推定される距離は、例えば０〜２５５の範囲で数値化された値である。
【００１４】
なお、第１撮像部２および第２撮像部３は、例えばレーザ光を被写体に照射して、その反射光を受光して、被写体までの距離を推定することも可能である。反射光が所定時間内に受光されない場合は、背景画像と認識してもよい。このように、距離推定部４は、ステレオ法等のソフトウェア処理により距離を推定してもよいし、発光部と受光部を有するハードウェアで距離を推定してもよい。
【００１５】
閾値決定部５は、共通画像を、被写体を含む前景画像と背景画像とに分離する基準となる距離の閾値を決定する。閾値の決定手法としては、複数通りが考えられ、いずれを採用してもよい。例えば、代表的な閾値決定手法として、以下の第１〜第３手法がある。
【００１６】
第１手法は、距離推定部４で推定した各画素の距離の平均値を閾値とする手法である。
第２手法は、距離推定部４で推定した各画素の距離についてのヒストグラムを生成し、共通画像内の最遠方位置から近方側に所定割合の距離を閾値とする手法である。図２は第２手法を説明する図である。図２のヒストグラムは、横軸が距離、縦軸は同じ距離を取る画素数を表している。第２手法では、ヒストグラムの総面積のうち、最遠方位置から近方側のある距離までのヒストグラムの面積の割合が予め定めた所定割合（例えば、４０％）になるときの距離を閾値とする。
【００１７】
第３手法は、距離推定部４で推定した各画素の距離についてのヒストグラム上の複数のピーク点の距離同士の平均値を閾値とする手法である。図３は第３手法を説明する図である。図３のヒストグラムは、遠方側と近方側にそれぞれピーク点が存在する。そこで、これらピーク点の各距離の平均値を閾値とする。
【００１８】
第１前景／背景分離部６は、第１の画像データ中の共通画像内の各画素の距離が閾値以下であれば、その画素を前景とみなし、各画素の距離が閾値より大きければ、その画素を背景とみなす。これに基づき、第１前景／背景分離部６は、第１の画像データ中の共通画像を第１の前景画像と第１の背景画像に分離するとともに、第１の前景マスク画像を生成する。前景マスク画像とは、背景画像内に重複して存在する前景画像を０と１の２値の画素値で表現した画像である。例えば、前景マスク画像では、背景画像内に重複して存在する前景画像の画素位置の画素値は１、それ以外の画素値は０とする。
【００１９】
第２前景／背景分離部７は、第２の画像データ中の共通画像内の各画素の距離が閾値以下であれば、その画素を前景とみなし、各画素の距離が閾値より大きければ、その画素を背景とみなす。これに基づき、第２前景／背景分離部７は、第２の画像データ中の共通画像を第２の前景画像と第２の背景画像に分離するとともに、第２の前景マスク画像を生成する。
【００２０】
図４は第１前景／背景分離部６と第２前景／背景分離部７の処理の一例を示すフローチャートである。この処理は、距離推定部４で距離を推定した共通画像内の各画素について行われる。まず、対象画素の距離が閾値より大きいか否かを判定する（Ｓ１）。距離が閾値より大きいと判定される（Ｓ１−ＹＥＳ）と、前景画像内の対象画素の画素値を０とし、かつ背景画像内の対象画素の画素値を元の共通画像内の対象画素の画素値とし、かつ前景マスク画像内の対象画素の画素値を０とする（Ｓ２）。距離が閾値より小さいと判定される（Ｓ１−ＮＯ）と、前景画像内の対象画素の画素値を元の共通画像内の対象画素の画素値とし、かつ背景画像内の対象画素の画素値を０とし、かつ前景マスク画像内の対象画素の画素値を１とする（Ｓ３）。
【００２１】
このように、図４では、距離が閾値より大きい画素については、その画素値を背景画像に割り振り、距離が閾値以下の画素については、その画素値を前景画像に割り振る。また、前景マスク画像は、距離が閾値以下の場合のみ、１という画素値を有する。
【００２２】
第１画像切り出し部８は、第１の背景画像の一部を含むように切り出した第１の背景部分画像を生成する。第２画像切り出し部９は、第２の背景画像の一部を切り出した第２の背景部分画像を生成する。より具体的には、第１画像切り出し部８および第２画像切り出し部９は、制御部１６からの切り出し量と切り出し位置の情報に基づいて、背景画像の一部を切り出す。切り出し量は、“出力画像のサイズ×（１／第１画像拡大部１０における背景画像の拡大率）”で表され、縦方向の画素数と横方向の画素数である。切り出し位置は、背景画像中の特定位置（例えば左上隅の画素）の座標値である。
【００２３】
図５は第１画像切り出し部８における切り出し量と切り出し位置の具体例を示す図である。図５の例では、背景画像内の矩形領域２１を切り出す例を示しており、切り出し位置を矩形領域２１の左上隅としている。図５（ａ）の背景画像内の矩形領域２１を切り出したものが図５（ｂ）の背景部分画像２２である。図５（ａ）の斜線領域２３は前景画像（被写体画像）であり、図５（ｂ）の背景部分画像２２内に重複して存在する前景画像の画素位置では背景部分画像２２の画素値が欠損している。
【００２４】
また、第１画像切り出し部８および第２画像切り出し部９は、前景マスク画像についても、同一サイズで同一位置の矩形領域２１を切り出して、第１および第２の前景マスク部分画像を生成する。図５（ｃ）は図５（ａ）から前景マスク部分画像２４を切り出した例を示している。このように、前景マスク部分画像２４は、背景部分画像２２のうち、前景画像により欠損した画素を２値で表現した画像である。図５（ｃ）の斜線部の各画素値は１、それ以外の画素値は０である。
【００２５】
第１画像拡大部１０は、第１の背景部分画像と第１の前景マスク部分画像を所定の拡大率で拡大した第１の拡大背景部分画像と第１の拡大前景マスク部分画像を生成する。
【００２６】
同様に、第２画像拡大部１１は、第２の背景部分画像と第２の前景マスク部分画像を所定の拡大率で拡大した第２の拡大背景部分画像と第２の拡大前景マスク部分画像を生成する。
【００２７】
背景欠損補間部１２は、第１および第２の拡大背景部分画像の内部に含まれる被写体による欠損画素の数が少ない拡大背景部分画像内の欠損画素を補間した背景欠損補間画像を生成する。
【００２８】
より詳細には、背景欠損補間部１２は、図６のフローチャートに基づいて、背景欠損補間画像を生成する。
【００２９】
まず、背景欠損補間部１２は、第１および第２の拡大前景マスク部分画像のうち、マスク領域が少ない方の拡大前景マスク部分画像を選択する（Ｓ１１）。ここでは、拡大前景マスク部分画像内の画素値が１である画素数が少ない方を選択する。そして、選択した拡大前景マスク部分画像に対応する拡大背景部分画像を選択する。
【００３０】
次に、背景欠損補間部１２は、選択した拡大前景マスク部分画像中の画素値が１の各画素を対象として、対応する拡大背景部分画像の欠損画素を補間する処理を行う。
【００３１】
具体的には、まず、拡大背景部分画像内の対象とする欠損画素位置に最も近い位置にある非欠損画素位置を求める（Ｓ１２）。次に、対象とする欠損画素位置から、求めた非欠損画素位置までのベクトルを算出する（Ｓ１３）。次に、図７に示すように、算出したベクトルを２倍したベクトルを生成し、欠損画素位置から２倍のベクトルで参照される位置の画素が非欠損画素か否かを判定する（Ｓ１４）。画素が非欠損画素でなければ（Ｓ１４−ＮＯ）、Ｓ１２で求めた非欠損画素位置の隣の画素位置を選択して、この画素位置までのベクトルを算出し（Ｓ１５）、Ｓ１４に戻る。
【００３２】
画素が非欠損画素と判定されると（Ｓ１４−ＹＥＳ）、その画素値を、対象とする欠損画素位置の画素値とする（Ｓ１６）。以上の処理を、すべての欠損画素位置について行う（Ｓ１７）。
【００３３】
背景ボケ生成部１３は、制御部１６から受け取ったボケ量と距離推定部４で推定した距離情報とに基づいて、背景欠損補間画像をボケさせた背景ボケ画像を生成する。
【００３４】
より具体的には、背景ボケ生成部１３は、各画素の距離値に基づいて、ボケ強度を決定する。例えば、背景欠損補間画像の画素ごとに、距離推定部４で推定した距離と閾値決定部５で決定した閾値との差分を検出し、この差分を焦点位置からの距離とみなして、ボケ強度を計算する。より具体的には、検出した差分を、背景欠損補間画像内の各画素における距離の最大値と閾値との差分で割った値をボケ付加量の係数とする。
【００３５】
次に、レンズＰＳＦモデルに基づいてボケを生成する手法や、ガウス分布によるボケ生成の手法を用いるとともに、上述したボケ強度に基づいて、背景欠損補間画像内の各画素を距離に応じてボケさせた画像を生成する。
【００３６】
合成画像生成部１４は、被写体を含む前景画像と背景ボケ画像とを合成した合成画像を生成する。このとき、拡大前景マスク部分画像内の画素値が０の画素については、背景ボケ画像の画素値を０とする。これにより、視点位置と圧縮効果を調整した合成画像が得られる。
【００３７】
ユーザインタフェース部１５は、圧縮効果調整と、撮影位置垂直方向調整と、撮影位置水平方向調整と、背景ボケ量調整と、前景／背景位置決定方法設定とを行う。ユーザインタフェース部１５は、例えば図８に示すようなＧＵＩ画面３０を表示し、このＧＵＩ画面３０上でユーザが圧縮効果調整と、撮影位置垂直方向調整と、撮影位置水平方向調整と、背景ボケ量調整と、前景／背景位置決定方法設定とを行えるようにしている。ここで、圧縮効果調整とは、背景画像の拡大率の調整である。
【００３８】
より詳細には、図８のＧＵＩ画面３０には、撮影位置垂直方向調整スライダ３１と、撮影位置水平方向調整スライダ３２と、圧縮効果調整スライダ３３と、背景ボケ量調整スライダ３４と、前景／背景位置決定方法設定ボタン３５と、撮影ボタン３６とが設けられている。ユーザは、これらスライダ３１〜３４およびボタン３５，３６を、マウスやタッチセンサ等の指示部材により操作することができる。各スライダ３１〜３４は、スライダの指示位置を変更することで、調整量を任意に変更することができる。
【００３９】
撮影位置垂直方向調整スライダ３１は、上下方向の仮想的な撮影位置を変更するためのものである。撮影位置水平方向調整スライダ３２は、左右方向の仮想的な撮影位置を変更するためのものである。圧縮効果調整スライダ３３は、圧縮効果の効き具合を調整するためのものである。背景ボケ量調整スライダ３４は、背景のボケ量を調整するためのものである。前景／背景位置決定方法設定ボタン３５は、閾値決定部５での閾値を決定するためのものである。例えば、閾値の決定手法として複数の手法がある場合には、各手法を選択するための別個のボタンを設けてもよいし、一つのボタンを押すたびに、異なる手法が順繰りに選択されるようにしてもよい。撮影ボタン３６は、各スライダとボタンで選択した条件に基づいて、合成画像を生成することを指示するためのものである。
【００４０】
図９（ａ）は各スライダを調整しない初期状態での合成画像を示す図、図９（ｂ）は撮影位置垂直方向調整スライダ３１を上に動かして生成した合成画像を示す図、図９（ｃ）は撮影位置水平方向調整スライダ３２を右に動かして生成した合成画像を示す図である。このように、第１撮像部２と第２撮像部３で撮像をやり直さなくても、一度撮像した画像を利用して、任意の撮影位置で、かつ任意の拡大率で、合成画像を生成できる。また、撮影位置垂直方向調整スライダ３１と撮影位置水平方向調整スライダ３２により、合成画像内の被写体（前景画像）の位置を調整できる。さらに、背景ボケ量調整スライダ３４により、合成画像内の背景画像のボケ量を調整できる。また、圧縮効果調整スライダ３３により、合成画像内の背景画像の拡大率を調整できる。
【００４１】
なお、ユーザインタフェース部１５が生成するＧＵＩ画面３０は、図８に限定されるものではなく、種々のＧＵＩ画面が適用可能である。また、ＧＵＩ画面３０上で各調整を行う代わりに、各調整を行うためのボタン等が設けられたコントローラをユーザに操作させて、各調整を行ってもよいし、音声認識機能を利用してユーザの音声で各調整を行うようにしてもよい。
【００４２】
制御部１６は、ユーザインタフェース部１５での各種設定情報を取得して、閾値決定部５、第１画像切り出し部８、第２画像切り出し部９、第１画像拡大部１０、第２画像拡大部１１、および背景欠損補間部１２を制御する。
【００４３】
より具体的には、制御部１６は、前景／背景位置決定方法設定ボタン３５の操作情報に基づいて、閾値決定部５における閾値の決定手法を決定する。また、制御部１６は、撮影位置垂直方向調整スライダ３１と撮影位置水平方向調整スライダ３２の調整情報に基づいて、第１画像切り出し部８および第２画像切り出し部９における背景画像の切り出し位置を設定するとともに、圧縮効果調整スライダ３３の調整情報に基づいて、背景画像の切り出し量を設定する。また、制御部１６は、背景ボケ量調整スライダ３４の調整情報に基づいて、背景ボケ生成部１３におけるボケ量を設定する。さらに、制御部１６は、撮影ボタン３６が操作されると、合成画像部が生成した合成画像を記憶部に記憶する処理を行う。
【００４４】
このように、第１の実施形態では、第１撮像部２と第２撮像部３にて撮像した２枚の画像データに共通して映り込んだ被写体とその背景を含む共通画像を前景画像と背景画像に分離し、背景画像を任意の位置およびサイズに切り出して、切り出した背景画像を任意の拡大率で拡大して前景画像と合成した合成画像を生成する。そのため、第１撮像部２および第２撮像部３と被写体との距離を十分に取れなくても、被写体を含む前景画像をより強調させるような合成画像を生成できる。特に、背景画像を任意のボケ量でボケさせることができるため、被写体との距離を十分に離して望遠レンズを用いて撮影した場合と同様の効果を持たせることができる。
【００４５】
また、ユーザインタフェース部１５にて、背景画像内の被写体の位置や背景画像の拡大率などを調整できるため、撮像をやり直さなくても、任意の画角で被写体およびその背景を含む合成画像を生成できる。このように、本実施形態によれば、いったん撮像した画像データを有効に利用して、圧縮効果の異なる複数の合成画像を生成できる。
【００４６】
第１の実施形態では、背景欠損補間画像を生成した後に、背景ボケ生成部１３にてボケさせる処理を行ったが、背景画像をボケさせることは必ずしも必須ではないため、省略してもよい。以降に説明する他の実施形態においても同様である。
【００４７】
（第２の実施形態）
第１の実施形態では、画像処理装置１内に第１撮像部２と第２撮像部３を設けて、これら撮像部で撮像された２枚の画像データを用いて合成画像を生成する例を説明したが、第１撮像部２と第２撮像部３は必須ではない。
【００４８】
図１０は第２の実施形態による画像処理装置１の概略構成を示すブロック図である。図１０の画像処理装置１は、図１の第１撮像部２と第２撮像部３が省略されている代わりに、画像取得部１７を備えている。画像取得部１７は、画像処理装置１とは別個に設けられる不図示の１つ以上の撮像装置にて撮像された２枚の画像データを取得する。２枚の画像データは、同一の被写体とその背景とを異なる撮影方向および画角から撮影したものであり、被写体を含む共通画像を含んでいる。撮像装置の撮像時の設置場所は予め既知であるか、複数の画像データから画像間の撮影位置を推定するカメラ位置推定手法などにより推定されている、または、加速度センサにより２枚の画像を取得したタイミングでの位置が推定されている等、画像間の位置関係は把握されている。距離推定部４は、２枚の画像データとこれら位置情報に基づいて、第１の実施形態と同様に、共通画像内の画素ごとに距離を推定する。閾値決定部５以降の処理動作は、第１の実施形態と同様である。
【００４９】
図１０では省略しているが、画像取得部１７で取得した画像データを保存する画像記憶部を画像取得部１７の内部あるいは別個に設けてもよい。例えば、画像記憶部に同一の被写体およびその背景を撮像した２枚以上の画像データを保存しておき、その中から任意の２枚の画像データを画像取得部１７で取得して、合成画像を生成してもよい。
【００５０】
このように、第２の実施形態では、画像処理装置１に撮像装置は含まず、２枚の画像データを取得して合成画像を生成するため、画像処理装置１内のハードウェア構成を簡略化できるとともに、すでに撮像された画像データを有効活用して、被写体を強調させた任意の合成画像を生成できる。
【００５１】
（第３の実施形態）
第１および第２の実施形態では、２枚の画像データを用いて合成画像を生成する例を説明したが、３枚以上の画像データを用いて合成画像を生成してもよい。例えばｎ枚（ｎは３以上の整数）の画像データを用いる場合、各画像データに対して、前景／背景分離部と、画像切り出し部と、画像拡大部とが設けられる。ｎ枚の画像データのそれぞれから拡大背景部分画像と拡大前景マスク部分画像を生成するまでは、第１の実施形態と同様である。
【００５２】
まず、背景欠損補間部１２は、ｎ個の拡大前景マスク部分画像のうち、マスク画素が最小（画素値が１の画素数が最小）の拡大前景マスク部分画像を選択するとともに、対応する拡大背景部分画像を選択する。
【００５３】
次に、選択した拡大前景マスク部分画像内の欠損画素（画素値が１の画素）に対応する画素値が０の拡大前景マスク部分画像が存在する場合には、その拡大前景マスク部分画像に対応する拡大背景部分画像を用いて、欠損画素の画素値を補間する。補間の具体的な手法は、第１の実施形態の背景欠損補間部１２と同様である。
【００５４】
このように、第３の実施形態では、３枚以上の画像データを用いて合成画像を生成するため、拡大背景部分画像内に存在する欠損画素を精度よく補間することができる。
【００５５】
本実施形態の画像処理装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００５６】
また、画像処理装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００５７】
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【００５８】
１  画像処理装置、２  第１撮像部、３  第２撮像部、４  距離推定部、５  閾値決定部、６  第１前景／背景分離部、７  第２前景／背景分離部、８  第１画像切り出し部、９  第２画像切り出し部、１０  第１画像拡大部、１１  第２画像拡大部、１２  背景欠損補間部、１３背景ボケ生成部、１４  合成画像生成部、１５  ユーザインタフェース部、１６  制御部
【図１】
2016063248.tif 000003
【図２】
2016063248.tif 000004
【図３】
2016063248.tif 000005
【図４】
2016063248.tif 000006
【図５】
2016063248.tif 000007
【図６】
2016063248.tif 000008
【図７】
2016063248.tif 000009
【図８】
2016063248.tif 000010
【図９】
2016063248.tif 000011
【図１０】
2016063248.tif 000012