(57)【要約】【課題】所望の人物以外の人物が写り込んでいない合成画像を生成する画像生成装置を提供する。【解決手段】背景画像に被写体画像を合成して合成画像を生成する画像生成装置であって、複数の背景画像を格納する背景画像格納部と、被写体画像を格納する被写体画像格納部と、撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像から、被写体画像格納部が格納する被写体画像に類似する被写体領域画像を抽出する被写体画像抽出部と、背景画像格納部が格納する複数の背景画像から、撮像画像に類似する背景画像を選択する背景画像選択部と、背景画像選択部が選択した背景画像に、被写体画像抽出部が抽出した被写体領域画像を合成して、合成画像を生成する画像合成部とを備える。【選択図】図２
2005079776.tif 000002
【特許請求の範囲】
【請求項１】
背景画像に被写体画像を合成して合成画像を生成する画像生成装置であって、
複数の背景画像を格納する背景画像格納部と、
被写体画像を格納する被写体画像格納部と、
撮像された撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部が取得した前記撮像画像から、前記被写体画像格納部が格納する前記被写体画像に類似する被写体領域画像を抽出する被写体画像抽出部と、
前記背景画像格納部が格納する前記複数の背景画像から、前記撮像画像に類似する背景画像を選択する背景画像選択部と、
前記背景画像選択部が選択した前記背景画像に、前記被写体画像抽出部が抽出した前記被写体領域画像を合成して、合成画像を生成する画像合成部と
を備える画像生成装置。
【請求項２】
前記被写体画像格納部は、複数の前記被写体画像のそれぞれを被写体画像識別情報に対応づけて格納しており、
前記撮像画像取得部は、前記撮像画像とともに被写体画像識別情報を取得し、
前記被写体画像抽出部は、前記撮像画像取得部が取得した前記被写体画像識別情報に対応づけて前記被写体画像格納部が格納する前記被写体画像に類似する前記被写体領域画像を抽出する請求項１に記載の画像生成装置。
【請求項３】
前記背景画像格納部は、同一の背景が撮像された複数の前記背景画像を、前記複数の背景画像のそれぞれが撮像されたときの露出値又はホワイトバランス値に対応づけて格納しており、
前記撮像画像取得部は、前記撮像画像とともに前記撮像画像が撮像されたときの露出値又はホワイトバランス値を取得し、
前記背景画像選択部は、前記撮像画像に類似する前記複数の背景画像から、前記撮像画像取得部が取得した前記露出値又は前記ホワイトバランス値に最も近い前記露出値又は前記ホワイトバランス値に対応づけて前記背景画像格納部が格納する前記背景画像を選択する請求項１に記載の画像生成装置。
【請求項４】
露出値及びホワイトバランス値の少なくとも一方が略同一となるように、前記背景画像選択部が選択した前記背景画像、及び前記被写体画像抽出部が抽出した前記被写体領域画像の少なくとも一方を補正する画像補正部をさらに備え、
前記画像合成部は、前記画像補正部が少なくとも一方を補正した、前記背景画像と前記被写体領域画像とを合成して、前記合成画像を生成する請求項１に記載の画像生成装置。
【請求項５】
前記背景画像格納部は、同一の背景が撮像された複数の前記背景画像を、前記複数の背景画像のそれぞれが撮像された日時に対応づけて格納しており、
前記撮像画像取得部は、前記撮像画像とともに前記撮像画像が撮像された日時を取得し、
前記背景画像選択部は、前記撮像画像に類似する前記複数の背景画像から、前記撮像画像取得部が取得した前記日時の太陽の位置に最も近い太陽の位置の前記日時に対応づけて前記背景画像格納部が格納する前記背景画像を選択する請求項１に記載の画像生成装置。
【請求項６】
背景画像に被写体画像を合成して合成画像を生成する画像生成方法であって、
撮像された撮像画像を取得する撮像画像取得段階と、
前記撮像画像取得段階において取得された前記撮像画像から、被写体画像格納部が格納する被写体画像に類似する被写体領域画像を抽出する被写体領域画像抽出段階と、
背景画像格納部が格納する複数の背景画像から、前記撮像画像に類似する背景画像を選択する背景画像選択段階と、
前記背景画像選択段階において選択された前記背景画像に、前記被写体領域画像抽出段階において抽出された前記被写体領域画像を合成して、合成画像を生成する画像合成段階と
を備える画像生成方法。
【請求項７】
背景画像に被写体画像を合成して合成画像を生成する画像生成装置用のプログラムであって、前記画像生成装置を、
複数の背景画像を格納する背景画像格納部、
被写体画像を格納する被写体画像格納部、
撮像された撮像画像を取得する撮像画像取得部、
前記撮像画像取得部が取得した前記撮像画像から、前記被写体画像格納部が格納する前記被写体画像に類似する被写体領域画像を抽出する被写体画像抽出部、
前記背景画像格納部が格納する前記複数の背景画像から、前記撮像画像に類似する背景画像を選択する背景画像選択部、
前記背景画像選択部が選択した前記背景画像に、前記被写体画像抽出部が抽出した前記被写体領域画像を合成して、合成画像を生成する画像合成部
として機能させるプログラム。
【請求項８】
複数の撮像画像を合成して背景画像を生成する画像生成装置であって、
同一の背景が撮像された複数の撮像画像を取得する撮像画像取得部と、
前記撮像画像取得部が取得した前記複数の撮像画像における部分領域毎の空間周波数分布を検出する空間周波数検出部と、
前記空間周波数検出部が検出した前記空間周波数分布に基づいて、空間周波数の高周波成分のレベルが予め定められたレベルより小さい前記部分領域を境界として、前記複数の撮像画像のそれぞれを前記背景の分割領域毎の分割画像に分割する画像分割部と、
前記画像分割部が分割した複数の前記分割画像のうち人物が写り込んでいない前記分割画像を、前記背景の前記分割領域毎に選択する分割画像選択部と、
前記分割画像選択部が選択した前記分割画像を合成して、前記背景の全体を含む背景画像を生成する背景画像生成部と
を備える画像生成装置。
【請求項９】
前記空間周波数検出部は、前記複数の撮像画像における前記部分領域毎に、ｘ方向及びｙ方向の空間周波数分布を検出し、
前記画像分割部は、前記ｘ方向及び前記ｙ方向のうちの、空間周波数の高周波成分のレベルが小さい方向を境界として、前記複数の撮像画像のそれぞれを前記分割画像に分割する請求項８に記載の画像生成装置。
【請求項１０】
前記分割画像選択部は、同一の前記分割領域についての複数の前記分割画像のうち、最もフォーカスが合っている前記分割画像を選択する請求項８に記載の画像生成装置。
【請求項１１】
露出値及びホワイトバランス値の少なくとも一方が略同一となるように、前記分割画像選択部が選択した前記複数の分割画像の少なくとも１つを補正する画像補正部をさらに備え、
前記背景画像生成部は、前記画像補正部が少なくとも１つを補正した、前記複数の分割画像を合成して、前記背景画像を生成する請求項８に記載の画像生成装置。
【請求項１２】
複数の撮像画像を合成して背景画像を生成する画像生成方法であって、
同一の背景が撮像された複数の撮像画像を取得する撮像画像取得段階と、
前記撮像画像取得段階において取得された前記複数の撮像画像における部分領域毎の空間周波数分布を検出する空間周波数検出段階と、
前記空間周波数検出段階において検出された前記空間周波数分布に基づいて、空間周波数の高周波成分のレベルが予め定められたレベルより小さい前記部分領域を境界として、前記複数の撮像画像のそれぞれを前記背景の分割領域毎の分割画像に分割する画像分割段階と、
前記画像分割段階において分割された複数の前記分割画像のうち人物が写り込んでいない前記分割画像を、前記背景の前記分割領域毎に選択する分割画像選択段階と、
前記分割画像選択段階において選択された前記分割画像を合成して、前記背景の全体を含む背景画像を生成する背景画像生成段階と
を備える画像生成方法。
【請求項１３】
複数の撮像画像を合成して背景画像を生成する画像生成装置用のプログラムであって、前記画像生成装置を、
同一の背景が撮像された複数の撮像画像を取得する撮像画像取得部、
前記撮像画像取得部が取得した前記複数の撮像画像における部分領域毎の空間周波数分布を検出する空間周波数検出部、
前記空間周波数検出部が検出した前記空間周波数分布に基づいて、空間周波数の高周波成分のレベルが予め定められたレベルより小さい前記部分領域を境界として、前記複数の撮像画像のそれぞれを前記背景の分割領域毎の分割画像に分割する画像分割部、
前記画像分割部が分割した複数の前記分割画像のうち人物が写り込んでいない前記分割画像を、前記背景の前記分割領域毎に選択する分割画像選択部、
前記分割画像選択部が選択した前記分割画像を合成して、前記背景の全体を含む背景画像を生成する背景画像生成部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法、及びプログラムに関する。特に本発明は、背景画像に被写体画像を合成して合成画像を生成する画像生成装置、複数の撮像画像を合成して背景画像を生成する画像生成装置、これらの画像生成装置における画像生成方法、及びこれらの画像生成装置用のプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラは画像の管理が便利で画像の取扱いが容易なことから、様々な分野において急速に普及している。そして、デジタルカメラで撮像された画像は、フィルムを用いて画像を記録するアナログカメラで撮像された画像に比べ、複数の画像を合成して合成画像を作成することが容易であり、画像を合成する方法として様々なものが知られている（例えば、特許文献１参照。）。
【特許文献１】特開２００１−３３３３２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
例えば遊園地や町中において、その風景に家族や友人だけが写っている写真を撮りたいことがある。しかしながら、遊園地や町中では、家族や友人以外のたくさんの人が家族や友人の周囲にいる場合が多く、家族や友人以外の人が写真に写り込んでしまう場合がある。そのため、家族や友人以外の人が写真に写り込まないように、人が通り過ぎるのを待って写真を撮ったり、家族や友人の周囲に人がいない瞬間を狙って写真を撮ったりすることがある。しかしながら、このような方法では、所望の写真を撮るために手間が掛り、また所望の写真を撮れない場合がある。
【０００４】
そこで本発明は、上記の課題を解決することができる画像生成装置、画像生成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態によると、背景画像に被写体画像を合成して合成画像を生成する画像生成装置であって、複数の背景画像を格納する背景画像格納部と、被写体画像を格納する被写体画像格納部と、撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像から、被写体画像格納部が格納する被写体画像に類似する被写体領域画像を抽出する被写体画像抽出部と、背景画像格納部が格納する複数の背景画像から、撮像画像に類似する背景画像を選択する背景画像選択部と、背景画像選択部が選択した背景画像に、被写体画像抽出部が抽出した被写体領域画像を合成して、合成画像を生成する画像合成部とを備える。
【０００６】
被写体画像格納部は、複数の被写体画像のそれぞれを被写体画像識別情報に対応づけて格納しており、撮像画像取得部は、撮像画像とともに被写体画像識別情報を取得し、被写体画像抽出部は、撮像画像取得部が取得した被写体画像識別情報に対応づけて被写体画像格納部が格納する被写体画像に類似する被写体領域画像を抽出してもよい。
【０００７】
背景画像格納部は、同一の背景が撮像された複数の背景画像を、複数の背景画像のそれぞれが撮像されたときの露出値又はホワイトバランス値に対応づけて格納しており、撮像画像取得部は、撮像画像とともに撮像画像が撮像されたときの露出値又はホワイトバランス値を取得し、背景画像選択部は、撮像画像に類似する複数の背景画像から、撮像画像取得部が取得した露出値又はホワイトバランス値に最も近い露出値又はホワイトバランス値に対応づけて背景画像格納部が格納する背景画像を選択してもよい。
【０００８】
露出値及びホワイトバランス値の少なくとも一方が略同一となるように、背景画像選択部が選択した背景画像、及び被写体画像抽出部が抽出した被写体領域画像の少なくとも一方を補正する画像補正部をさらに備え、画像合成部は、画像補正部が少なくとも一方を補正した、背景画像と被写体領域画像とを合成して、合成画像を生成してもよい。
【０００９】
背景画像格納部は、同一の背景が撮像された複数の背景画像を、複数の背景画像のそれぞれが撮像された日時に対応づけて格納しており、撮像画像取得部は、撮像画像とともに撮像画像が撮像された日時を取得し、背景画像選択部は、撮像画像に類似する複数の背景画像から、撮像画像取得部が取得した日時の太陽の位置に最も近い太陽の位置の日時に対応づけて背景画像格納部が格納する背景画像を選択してもよい。
【００１０】
本発明の第２の形態によると、背景画像に被写体画像を合成して合成画像を生成する画像生成方法であって、撮像された撮像画像を取得する撮像画像取得段階と、撮像画像取得段階において取得された撮像画像から、被写体画像格納部が格納する被写体画像に類似する被写体領域画像を抽出する被写体領域画像抽出段階と、背景画像格納部が格納する複数の背景画像から、撮像画像に類似する背景画像を選択する背景画像選択段階と、背景画像選択段階において選択された背景画像に、被写体領域画像抽出段階において抽出された被写体領域画像を合成して、合成画像を生成する画像合成段階とを備える。
【００１１】
本発明の第３の形態によると、背景画像に被写体画像を合成して合成画像を生成する画像生成装置用のプログラムであって、画像生成装置を、複数の背景画像を格納する背景画像格納部、被写体画像を格納する被写体画像格納部、撮像された撮像画像を取得する撮像画像取得部、撮像画像取得部が取得した撮像画像から、被写体画像格納部が格納する被写体画像に類似する被写体領域画像を抽出する被写体画像抽出部、背景画像格納部が格納する複数の背景画像から、撮像画像に類似する背景画像を選択する背景画像選択部、背景画像選択部が選択した背景画像に、被写体画像抽出部が抽出した被写体領域画像を合成して、合成画像を生成する画像合成部として機能させる。
【００１２】
本発明の第４の形態によると、複数の撮像画像を合成して背景画像を生成する画像生成装置であって、同一の背景が撮像された複数の撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した複数の撮像画像における部分領域毎の空間周波数分布を検出する空間周波数検出部と、空間周波数検出部が検出した空間周波数分布に基づいて、空間周波数の高周波成分のレベルが予め定められたレベルより小さい部分領域を境界として、複数の撮像画像のそれぞれを背景の分割領域毎の分割画像に分割する画像分割部と、画像分割部が分割した複数の分割画像のうち人物が写り込んでいない分割画像を、背景の分割領域毎に選択する分割画像選択部と、分割画像選択部が選択した分割画像を合成して、背景の全体を含む背景画像を生成する背景画像生成部とを備える。分割画像選択部は、同一の分割領域についての複数の分割画像のうち、最もフォーカスが合っている分割画像を選択してもよい。
【００１３】
空間周波数検出部は、複数の撮像画像における部分領域毎に、ｘ方向及びｙ方向の空間周波数分布を検出し、画像分割部は、ｘ方向及びｙ方向のうちの、空間周波数の高周波成分のレベルが小さい方向を境界として、複数の撮像画像のそれぞれを分割画像に分割してもよい。露出値及びホワイトバランス値の少なくとも一方が略同一となるように、分割画像選択部が選択した複数の分割画像の少なくとも１つを補正する画像補正部をさらに備え、背景画像生成部は、画像補正部が少なくとも１つを補正した、複数の分割画像を合成して、背景画像を生成してもよい。
【００１４】
本発明の第５の形態によると、複数の撮像画像を合成して背景画像を生成する画像生成方法であって、同一の背景が撮像された複数の撮像画像を取得する撮像画像取得段階と、撮像画像取得段階において取得された複数の撮像画像における部分領域毎の空間周波数分布を検出する空間周波数検出段階と、空間周波数検出段階において検出された空間周波数分布に基づいて、空間周波数の高周波成分のレベルが予め定められたレベルより小さい部分領域を境界として、複数の撮像画像のそれぞれを背景の分割領域毎の分割画像に分割する画像分割段階と、画像分割段階において分割された複数の分割画像のうち人物が写り込んでいない分割画像を、背景の分割領域毎に選択する分割画像選択段階と、分割画像選択段階において選択された分割画像を合成して、背景の全体を含む背景画像を生成する背景画像生成段階とを備える。
【００１５】
本発明の第６の形態によると、複数の撮像画像を合成して背景画像を生成する画像生成装置用のプログラムであって、画像生成装置を、同一の背景が撮像された複数の撮像画像を取得する撮像画像取得部、撮像画像取得部が取得した複数の撮像画像における部分領域毎の空間周波数分布を検出する空間周波数検出部、空間周波数検出部が検出した空間周波数分布に基づいて、空間周波数の高周波成分のレベルが予め定められたレベルより小さい部分領域を境界として、複数の撮像画像のそれぞれを背景の分割領域毎の分割画像に分割する画像分割部、画像分割部が分割した複数の分割画像のうち人物が写り込んでいない分割画像を、背景の分割領域毎に選択する分割画像選択部、分割画像選択部が選択した分割画像を合成して、背景の全体を含む背景画像を生成する背景画像生成部として機能させる。
【００１６】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１７】
本発明によれば、所望の人物以外の人物が写り込んでいない合成画像を生成する画像生成装置、人物が写り込んでいない背景画像を生成する画像生成装置、これらの画像生成装置における画像生成方法、及びこれらの画像生成装置用のプログラムを提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
図１は、本発明の一実施形態に係る画像生成システム１００の全体構成の一例を示す。遊園地等において写真を撮る場合において、遊園地の風景に家族や友人だけが写っている写真を撮りたいことがあるが、遊園地では、家族や友人以外のたくさんの人が家族や友人の周囲にいる場合が多く、家族や友人以外の人が写真に写り込んでしまう。このような場合に、画像生成システム１００では、家族や友人の写真の背景を、予め用意された人が写っていない遊園地の風景の写真に置き換えることによって、遊園地の風景に家族や友人だけが写っている写真を生成する。しかしながら、遊園地のように人通りが多い場所では、人が写っていない遊園地の風景の写真を予め用意することが困難な場合がある。このような場合に、画像生成システム１００では、遊園地の同一の風景について人が写り込んでいる写真を複数撮り、複数の写真のそれぞれから人が写り込んでいない部分を抽出して組み合わせることによって、人が写り込んでいない遊園地の風景の全体の写真を生成する。
【００２０】
画像生成システム１００は、撮像装置１０２及び１０４、並びに画像生成装置１０６を備える。画像生成装置１０６は、撮像装置１０２が撮像した撮像画像から抽出した被写体画像を予め用意された背景画像に合成して合成画像を生成する合成画像生成部１０８と、撮像装置１０４が撮像した複数の撮像画像を合成して背景画像を生成する背景画像生成部１１０と、撮像装置１０２が撮像した撮像画像から抽出すべき被写体画像を格納する被写体画像格納部の一例である被写体画像データベース１１２と、撮像装置１０４が撮像した背景画像又は背景画像生成部１１０が生成した背景画像を格納する背景画像格納部の一例である背景画像データベース１１４とを備える。なお、本実施形態において、撮像装置１０２又は１０４と画像生成装置１０６と個別の機器であり、画像生成装置１０６が撮像装置１０２又は１０４の外部に設けられるが、他の実施形態においては、撮像装置１０２又は１０４が画像生成装置１０６の機能と同一の機能を有してもよい。
【００２１】
被写体画像データベース１１２は、撮像装置１０４によって予め撮像された被写体画像を格納している。例えば、遊園地へ入場する際に、白い壁又はブルーバック等の単調な背景で入場者を撮像し、撮像した画像を被写体画像として被写体画像データベース１１２に格納する。背景画像データベース１１４は、撮像装置１０４によって予め撮像された背景画像、又は背景画像生成部１１０によって予め生成された背景画像を格納している。例えば、遊園地において入場者が撮影を行うことが多い場所の風景を予め撮像し、撮像した画像を背景画像として背景画像データベース１１４に格納する。また、人が写っていない風景を撮像することが困難な場合には、背景画像生成部１１０によって生成された背景画像を格納する。
【００２２】
合成画像生成部１０８は、撮像装置１０２によって撮像された撮像画像を取得し、取得した撮像画像から、被写体画像データベース１１２が格納する被写体画像を抽出する。そして、取得した撮像画像に類似する背景画像を背景画像データベース１１４から抽出し、抽出した背景画像に、撮像画像から抽出した被写体画像を合成して合成画像を生成する。このように、遊園地で撮像された写真から被写体画像で特定される入場者を抽出し、人が写っていない背景画像に重畳することにより、撮像した写真と同一の背景に被写体画像で特定される入場者だけが写っている写真を取得することができる。
【００２３】
背景画像生成部１１０は、撮像装置１０４によって同一の背景が撮像された複数の撮像画像を取得し、複数の撮像画像を背景の部分領域毎の分割画像に分割する。そして、複数の分割画像のうち人物が写り込んでいない分割画像を背景の部分領域毎に選択し、選択した分割画像を合成することにより、人物が写り込んでいない背景画像を生成する。このように、同一の背景を撮像した複数の写真から人物が写り込んでいない部分を組み合わせることにより、人物が写り込んでいない遊園地の風景の写真を取得することができる。
【００２４】
図２は、本実施形態に係る合成画像生成部１０８の機能構成の一例を示す。また、図３は、本実施形態に係る合成画像生成部１０８による画像生成方法の一例を示す。合成画像生成部１０８は、撮像画像取得部２００、被写体画像登録部２０２、背景画像選択部２０４、被写体画像抽出部２０６、画像補正部２０８、及び画像合成部２１０を備える。
【００２５】
撮像画像取得部２００は、撮像装置１０４によって予め撮像された、図３（ｂ）に示すような特定の被写体のみの画像である被写体画像３０４を取得する。そして、被写体画像登録部２０２は、被写体画像３０４を被写体画像データベース１１２に登録する。また、撮像画像取得部２００は、被写体画像３０４とともに被写体画像３０４を識別する被写体画像情報とともに取得してもよい。そして、被写体画像登録部２０２は、被写体画像３０４を被写体画像識別情報と対応づけて被写体画像データベース１１２に登録してもよい。そして、被写体画像データベース１１２は、撮像画像取得部２００が取得した複数の被写体画像３０４のそれぞれを被写体画像識別情報に対応づけて格納してもよい。
【００２６】
また、撮像画像取得部２００は、撮像装置１０２によって撮像された、図３（ａ）に示すような特定の被写体及び被写体の周囲を含む画像である撮像画像３００を取得する。また、撮像画像取得部２００は、撮像画像３００とともに被写体画像識別情報を取得してもよく、また撮像画像３００とともに撮像画像３００が撮像されたときの露出値又はホワイトバランス値を取得してもよく、また撮像画像３００とともに撮像画像３００が撮像された日時を取得してもよい。日時とは、季節、日付、時刻等を含む概念である。
【００２７】
そして、被写体画像抽出部２０６は、撮像画像取得部２００が取得した撮像画像３００から、被写体画像データベース１１２が格納する被写体画像３０４に類似する、図３（ｃ）に示すような特定の被写体の領域のみの画像である被写体領域画像３０２を抽出する。例えば、被写体画像抽出部２０６は、被写体画像３０４を撮像画像３００内で移動させながら、撮像画像３００と被写体画像３０４とのマッチングを行う。そして、撮像画像３００と被写体画像３０４とのマッチングの一致度が最も大きい領域を被写体領域画像３０２として抽出する。また、被写体画像抽出部２０６は、撮像画像取得部２００が取得した被写体画像識別情報に対応づけて被写体画像データベース１１２が格納する被写体画像３０４に類似する被写体領域画像３０２を抽出してもよい。被写体識別情報をインデックスとして選択した被写体画像３０４を用いて撮像画像３００から被写体領域画像３０２を抽出することによって、正確に所望の被写体領域画像３０２を抽出することができる。
【００２８】
背景画像選択部２０４は、背景画像データベース１１４が格納する複数の背景画像から、撮像画像３００又は撮像画像３００から被写体領域画像３０２を除いた画像に類似する、図３（ｄ）に示すような背景のみの画像である背景画像３０６を選択する。また、背景画像データベース１１４は、同一の背景が撮像された複数の背景画像を、複数の背景画像のそれぞれが撮像されたときの露出値又はホワイトバランス値に対応づけて格納していてもよい。そして、背景画像選択部２０４は、撮像画像３００又は撮像画像３００から被写体領域画像３０２を除いた画像に類似する複数の背景画像から、撮像画像取得部２００が撮像画像３００とともに取得した露出値又はホワイトバランス値に最も近い露出値又はホワイトバランス値に対応づけて背景画像データベース１１４が格納する背景画像３０６を選択してもよい。
【００２９】
また、背景画像選択部２０４は、同一の背景が撮像された複数の背景画像を、複数の背景画像のそれぞれが撮像された日時に対応づけて格納していてもよい。そして、背景画像選択部２０４は、撮像画像３００又は撮像画像３００から被写体領域画像３０２を除いた画像に類似する復数の背景画像から、撮像画像取得部２００が撮像画像３００とともに取得した日時の太陽の位置に最も近い太陽の位置の日時に対応づけて背景画像データベース１１４が格納する背景画像３０６を選択してもよい。具体的には、背景画像選択部２０４は、撮像画像取得部２００が撮像画像３００とともに取得した日時から当該日時における太陽の方角及び角度を算出し、また背景画像データベース１１４が背景画像に対応づけて格納する日時から当該日時における太陽の方角及び角度を算出する。そして、背景画像選択部２０４は、太陽の方角及び角度が、撮像画像３００の日時における太陽の位置に最も近い背景画像３０６を選択する。即ち、背景画像選択部２０４は、太陽の光の方向が、撮像画像３００が撮像されたときの太陽の光の方向と略同一である背景画像３０６を選択することが好ましい。
【００３０】
そして、画像合成部２１０は、背景画像選択部２０４が選択した背景画像３０６に、被写体画像抽出部２０６が抽出した被写体領域画像３０２を合成して、図３（ｅ）に示すような合成画像３０８を生成する。また、画像補正部２０８は、背景画像選択部２０４が選択した背景画像３０６と被写体画像抽出部２０６が抽出した被写体領域画像３０２との露出値及びホワイトバランス値の少なくとも一方が略同一となるように、背景画像３０６及び被写体領域画像３０２の少なくとも一方を補正してもよい。そして、画像合成部２１０は、画像補正部２０８が少なくとも一方を補正した、背景画像３０６と被写体領域画像３０２とを合成して、合成画像３０８を生成してもよい。
【００３１】
このように、撮像画像３００が撮像されたときの露出値やホワイトバランス値に合わせて背景画像３０６を選択することによって、撮像画像３００と差異の小さい合成画像３０８を生成することができる。また、撮像画像３００が撮像されたときの日時に合わせて背景画像を選択することによって、略同一の季節かつ略同一の日付の背景画像３０６を選択することができ、撮像画像３００と差異が小さい合成画像３０８を生成することができる。さらに、被写体領域画像３０２と背景画像３０６と露出値及びホワイトバランス値を一致させる補正をすることにより、違和感のない自然な合成画像３０８を生成することができる。
【００３２】
図４は、本実施形態に係る背景画像生成部１１０の機能構成の一例を示す。また、図５は、本実施形態に係る背景画像生成部１１０による画像生成方法の一例を示す。撮像画像取得部４００、空間周波数検出部４０２、画像分割部４０４、人物画像検出部４０６、分割画像選択部４０８、画像補正部４１０、及び背景画像生成部４１２を備える。
【００３３】
撮像画像取得部４００は、撮像装置１０４によって同一の背景が撮像された、図５（ａ）及び（ｂ）に示すような複数の撮像画像５００及び５０２を取得する。そして、空間周波数検出部４０２は、撮像画像取得部４００が取得した複数の撮像画像５００及び５０２における、図５（ｃ）及び（ｄ）に示すような部分領域５５０毎の空間周波数分布を検出する。また、空間周波数検出部４０２は、複数の撮像画像５００及び５０２における部分領域５５０毎に、ｘ方向及びｙ方向の空間周波数分布を検出してもよい。図５（ｃ）及び（ｄ）において、空間周波数の高周波数成分のレベルが予め定められたレベルより小さい部分領域５５０を斜線により示す。
【００３４】
画像分割部４０４は、空間周波数検出部４０２が検出した部分領域５５０毎の空間周波数分布に基づいて、図５（ｅ）及び（ｆ）に示すように、空間周波数の高周波成分のレベルが予め定められたレベルより小さい部分領域５５０を境界５５２として、複数の撮像画像５００及び５０２のそれぞれを、背景の分割領域毎の分割画像５０８ａ〜ｆに分割する。また、画像分割部４０４は、ｘ方向及びｙ方向のうちの、空間周波数の高周波成分のレベルが小さい方向を境界５５２として、複数の撮像画像５００及び５０２のそれぞれを分割画像５０８ａ〜ｆに分割してもよい。また、画像分割部４０４は、ｘ方向及びｙ方向のうちのいずれかの、空間周波数の高周波成分のレベルが予め定められたレベルより大きい部分領域５５０を境界５５２にできないと判断し、その他の部分領域５５０においてｘ方向の空間周波数分布とｙ方向の空間周波数分布との和において、高周波成分が予め定められたレベルより小さい部分領域５５０を境界５５２としてもよい。また、画像分割部４０４は、空間周波数の高周波成分のレベルが小さい方から予め定められた割合の部分領域５５０を境界として、複数の撮像画像５００及び５０２のそれぞれを分割画像５０８ａ〜ｆに分割してもよい。なお、本実施形態においては、複数の撮像画像５００及び５０２を同一の位置の境界５５２で分割しているが、複数の撮像画像５００及び５０２を異なる境界５５２で分割してもよい。
【００３５】
そして、人物画像検出部４０６は、画像分割部４０４が分割した複数の分割画像５０８ａ〜ｆに写り込んでいる人物を検出する。例えば、人物画像検出部４０６は、画像マッチング又は肌色検出により、複数の分割画像５０８ａ〜ｆに写り込んでいる人物を検出する。そして、分割画像選択部４０８は、画像分割部４０４が分割した複数の複数の分割画像５０８ａ〜ｆのうち人物が写り込んでいない分割画像５０８ｂ、ｄ、及びｆを、背景の分割領域毎に選択する。また、分割画像選択部４０８は、同一の分割領域について人物が写り込んでいない分割画像５０８が複数ある場合、同一の分割領域についての複数の分割画像５０８のうち、最もフォーカスが合っている分割画像５０８を選択してもよい。
【００３６】
そして、背景画像生成部４１２は、分割画像選択部４０８が選択した分割画像５０８ｂ、ｄ、及びｆを合成して、撮像画像５００及び５０２に含まれる背景の全体を含み、人物を含まない、図５（ｇ）に示すような背景画像５１０を生成する。また、画像補正部４１０は、分割画像選択部４０８が選択した複数の分割画像５０８ｂ、ｄ、及びｆの露出値及びホワイトバランス値の少なくとも一方が略同一となるように、複数の分割画像５０８ｂ、ｄ、及びｆの少なくとも１つを補正してもよい。そして、背景画像生成部４１２は、画像補正部４１０が少なくとも１つを補正した、複数の分割画像５０８を合成して、背景画像５１０を生成してもよい。
【００３７】
以上のように、複数の撮像画像５００及び５０２を空間周波数分布に基づいて分割することにより、複数の分割画像５０８ｂ、ｄ、及びｆを合成して背景画像５１０を生成した場合の複数の分割画像５０８ｂ、ｄ、及びｆの境界５５２を目立たなくすることができるので、違和感のない自然な背景画像５１０を生成することができる。また、人物が写り込んでいない分割画像５０８ｂ、ｄ、及びｆを選択して合成することにより、人物が写り込んでいない背景画像を撮像することが困難な場所の、人物が写り込んでいない背景画像５１０を生成することができる。
【００３８】
図６は、本実施形態に係る画像生成装置１０６のハードウェア構成の一例を示す。画像生成装置１０６は、ホストコントローラ１０８２により相互に接続されるＣＰＵ１０００、ＲＡＭ１０２０、グラフィックコントローラ１０７５、及び表示装置１０８０を有するＣＰＵ周辺部と、入出力コントローラ１０８４によりホストコントローラ１０８２に接続される通信インターフェイス１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を有する入出力部と、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、フレキシブルディスクドライブ１０５０、及び入出力チップ１０７０を有するレガシー入出力部とを備える。
【００３９】
ホストコントローラ１０８２は、高い転送レートでＲＡＭ１０２０をアクセスするＣＰＵ１０００及びグラフィックコントローラ１０７５をＲＡＭ１０２０と接続する。ＣＰＵ１０００は、ＲＯＭ１０１０及びＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１０７５は、ＣＰＵ１０００等がＲＡＭ１０２０内に設けたフレームバッファ上に生成する画像データを取得し、表示装置１０８０上に表示させる。これに代えて、グラフィックコントローラ１０７５は、ＣＰＵ１０００等が生成する画像データを格納するフレームバッファを、内部に含んでもよい。
【００４０】
入出力コントローラ１０８４は、比較的高速な入出力装置である通信インターフェイス１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０をホストコントローラ１０８２と接続する。通信インターフェイス１０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１０４０は、画像生成装置１０６が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１０６０は、ＣＤ−ＲＯＭ１０９５からプログラム又はデータを読み取り、ＲＡＭ１０２０を介して入出力チップ１０７０に提供する。
【００４１】
また、入出力コントローラ１０８４には、フレキシブルディスクドライブ１０５０や入出力チップ１０７０等の比較的低速な入出力装置と、ＲＯＭ１０１０とが接続される。ＲＯＭ１０１０は、画像生成装置１０６の起動時にＣＰＵ１０００が実行するブートプログラムや、画像生成装置１０６のハードウェアに依存するプログラム等を格納する。フレキシブルディスクドライブ１０５０は、フレキシブルディスク１０９０からプログラム又はデータを読み取り、ＲＡＭ１０２０を介して入出力チップ１０７０に提供する。入出力チップ１０７０は、フレキシブルディスク１０９０や、例えばパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して各種の入出力装置を接続する。
【００４２】
画像生成装置１０６に提供されるプログラムは、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、入出力チップ１０７０を介して画像生成装置１０６にインストールされ、画像生成装置１０６において実行される。
【００４３】
画像生成装置１０６にインストールされて実行されるプログラムは、画像生成装置１０６を、撮像画像取得部２００、被写体画像登録部２０２、背景画像選択部２０４、被写体画像抽出部２０６、画像補正部２０８、、画像合成部２１０、撮像画像取得部４００、空間周波数検出部４０２、画像分割部４０４、人物画像検出部４０６、分割画像選択部４０８、画像補正部４１０、背景画像生成部４１２、被写体画像データベース１１２、背景画像データベース１１４として機能させる。
【００４４】
以上に示したプログラム又はモジュールは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを画像生成装置１０６に提供してもよい。
【００４５】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００４６】
【図１】画像生成システム１００の全体構成の一例を示す図である。
【図２】合成画像生成部１０８の機能構成の一例を示す図である。
【図３】合成画像生成部１０８による画像生成方法の一例を示す図である。
【図４】背景画像生成部１１０の機能構成の一例を示す図である。
【図５】背景画像生成部１１０による画像生成方法の一例を示す図である。
【図６】画像生成装置１０６のハードウェア構成の一例を示す図である。
【符号の説明】
【００４７】
１００  画像生成システム
１０２  撮像装置
１０４  撮像装置
１０６  画像生成装置
１０８  合成画像生成部
１１０  背景画像生成部
１１２  被写体画像データベース
１１４  背景画像データベース
２００  撮像画像取得部
２０２  被写体画像登録部
２０４  背景画像選択部
２０６  被写体画像抽出部
２０８  画像補正部
２１０  画像合成部
３００  撮像画像
３０２  被写体領域画像
３０４  被写体画像
３０６  背景画像
３０８  合成画像
４００  撮像画像取得部
４０２  空間周波数検出部
４０４  画像分割部
４０６  人物画像検出部
４０８  分割画像選択部
４１０  画像補正部
４１２  背景画像生成部
５００  撮像画像
５０２  撮像画像
５０８  分割画像
５１０  背景画像
【図１】
2005079776.tif 000003
【図２】
2005079776.tif 000004
【図３】
2005079776.tif 000005
【図４】
2005079776.tif 000006
【図５】
2005079776.tif 000007
【図６】
2005079776.tif 000008