(57)【要約】【課題】撮像装置にて編集済みの合成画像データの背景を、いつでも負荷処理を低減させつつ簡易に再合成することができる撮像装置等を提供すること。【解決手段】データ管理システム１は、一次合成画像処理を実行する際には、生成したトライマップデータを用いて特定した境界領域に対して前景画像の画素情報と背景画像の画素情報とに基づいて、αブレンディングの画像処理を実行し、前景画像を、境界領域の画像を調整しつつ、一次合成画像処理を実行するとともに、当該一次合成画像処理後に再度背景用画像を差し替える再合成画像処理を実行する際に、一次合成画像処理において生成されたトライマップデータをそのまま利用することが可能な構成を有している。【選択図】図１
2016072892.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して生成した撮像画像を撮像画像データとして生成する撮像手段と、
前記撮像画像データにおける被写体が画像化されている前景領域と、撮像する際の背景が画像化されている背景領域と、前記前景領域及び前記背景領域の境界領域と、をそれぞれ特定する特定手段と、
前記特定された各領域に基づき、前記撮像画像データの３値の画像であるトライマップデータを生成する生成手段と、
前記撮像画像データ当該撮像画像データから生成されたトライマップデータに同一の画像ＩＤを付与する付与手段と、
前記画像ＩＤの付与された撮像画像データ及びトライマップデータを送信する送信手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記送信手段は、前記撮像画像データ及び前記トライマップデータをそれぞれ異なる送信先に送信することを特徴とする、撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
複数の背景画像を記憶する記憶手段と、
前記トライマップデータを用いて、前記撮像画像データと、前記背景画像と、からなる合成画像を生成する画像合成処理手段と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項１から３のいずれか１項に記載の撮像装置から前記画像ＩＤの付与されたトライマップデータを受信し、取得する取得手段と、
前記トライマップデータをデータベースに記録させる記録管理手段と、
前記画像ＩＤの取得要求に応じて対応する前記トライマップデータを配信する配信手段と、
を備えることを特徴とする画像管理サーバ。
【請求項５】
請求項４に記載の画像管理サーバにおいて、
前記記録管理手段は、少なくとも１つ以上の背景画像データを有することを特徴とする。
【請求項６】
請求項１から３のいずれか１項に記載の撮像装置から前記画像ＩＤの付与された撮像画像データ及びトライマップデータを受信し、取得する取得手段と、
背景画像を記憶する記憶手段と、
前記取得されたトライマップデータを用いて、前記撮像画像データと、前記背景画像と、からなる合成画像を生成する画像合成処理手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記取得手段が、
前記撮像画像データを受信し、
当該受信した撮像画像データに付与された画像ＩＤを送信し、
当該送信した画像ＩＤに対応するトライマップデータを受信することを特徴とする画像処理装置。
【請求項８】
請求項６又は７に記載の画像処理装置においては、
前記背景画像は、前記トライマップデータとともに受信することを特徴とする画像処理装置。
【請求項９】
被写体を撮像する撮像装置、画像を管理する画像管理サーバ、及び、撮像された画像に基づいて画像合成を行う画像処理装置を有する画像処理システムであって、
前記撮像装置が、
前記被写体を撮像して生成した撮像画像を撮像画像データとして生成する撮像手段と、
前記撮像画像データにおける被写体が画像化されている前景領域と、撮像する際の背景が画像化されている背景領域と、前記前景領域及び前記背景領域の境界領域と、をそれぞれ特定する特定手段と、
前記特定された各領域に基づき、前記撮像画像データの３値の画像であるトライマップデータを生成する生成手段と、
前記撮像画像データ当該撮像画像データから生成されたトライマップデータに同一の画像ＩＤを付与する付与手段と、
前記画像ＩＤの付与された撮像画像データを前記画像処理装置に送信するとともに、前記画像ＩＤとともにトライマップデータを前記画像管理サーバに送信する送信手段と、
を備え、
前記画像管理サーバが、
前記撮像装置から前記画像ＩＤの付与されたトライマップデータを受信し、取得する取得手段と、
前記トライマップデータをデータベースに記録させる記録管理手段と、
前記画像ＩＤの取得要求に応じて対応する前記トライマップデータを前記画像処理装置に配信する配信手段と、
を備え、
前記画像処理装置が、
前記画像ＩＤの付与された撮像画像データ及びトライマップデータを受信し、取得する取得手段と、
前記背景画像を記憶する記憶手段と、
前記取得されたトライマップデータを用いて、前記撮像画像データと、前記背景画像と、からなる合成画像を生成する画像合成処理手段と、
を備えることを特徴とする画像処理システム。
【請求項１０】
被写体を撮像して生成した撮像画像を撮像画像データとして生成する撮像手段と、
前記撮像画像データにおける被写体が画像化されている前景領域と、撮像する際の背景が画像化されている背景領域と、前記前景領域及び前記背景領域の境界領域と、をそれぞれ特定する特定手段と、
前記特定された各領域に基づき、前記撮像画像データの３値の画像であるトライマップデータを生成する生成手段と、
前記撮像画像データと前記撮像画像データから生成されたトライマップデータに同一の画像ＩＤを付与する付与手段と、
画像ＩＤの付与された前記撮像画像データ及び前記トライマップデータを送信する送信手段と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
請求項１から３のいずれか１項に記載の撮像装置から前記画像ＩＤ及び前記トライマップデータを受信し、取得する取得手段と、
前記画像ＩＤ及び前記トライマップデータをデータベースに記録させる記録管理手段と、
画像ＩＤの取得要求に応じて対応する前記トライマップデータを配信する配信手段と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
請求項１から３のいずれか１項に記載の撮像装置から前記画像ＩＤの付与された撮像画像データ及びトライマップデータを受信し、取得する取得手段と、
背景画像を記憶する記憶手段と、
前記取得されたトライマップデータを用いて、前記撮像画像データと、前記背景画像と、からなる合成画像を生成する画像合成処理手段と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像を所望の背景に編集可能な撮像装置、画像管理サーバ、プログラム、及び、画像処理システムに関する。
【背景技術】
【０００２】
従来、各種の証明写真を撮像するための撮像装置が、駅、スーパーマーケット、コンビニエンスストア等の施設に設置され、ユーザは、この種の撮像装置を利用することにより、手軽に自身の証明写真を撮ることが可能になっている。
【０００３】
また、アミューズメントセンター等には、記念写真を撮像して、シールに印刷する撮像装置（以下、「写真シール機」ともいう。）も設置され、ユーザは好きなときに、自身の写真を撮ることができるようになっている。
【０００４】
さらに、この種の撮像装置は、ユーザの指示に従って、ユーザなどの被写体の写っている領域（以下、「前景領域」という。）を除く背景の領域（以下、「背景領域」という。）をユーザの好みに合わせて変更する背景編集機能を有し、当該合成後の画像（以下、「合成画像」という。）をユーザに提供する装置も提案されている（例えば、特許文献１）。
【０００５】
一方、この種の背景編集機能を有する撮像装置は、前景画像を切り抜いて異なる背景画像上に単純合成するだけでは、前景画像が浮き出たような違和感の残る画像となってしまう。そのため、撮像された画像（以下、「撮像画像」という。）に対応する画像データの画素情報に基づき、各画素が、（ａ）前景領域に属するのか、（ｂ）背景領域に属するのか、又は、（ｃ）これらのいずれにも属さない領域（以下、「境界領域」という。）に属するのか、を特定し、各領域に白、黒、グレーの３値を割り当てたトライマップデータを生成するものが知られている。
【０００６】
特に、生成したトライマップデータは、背景画像を他の画像へと切り替える際に、元の撮像画像の前景領域、背景領域を抽出し、当該背景領域の画素情報を他の対応する画素情報に置換するとともに、境界領域を例えばアルファブレンディングすることにより、撮像画像の背景を編集する方法（例えば、特許文献２）が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１３１２４６号公報
【特許文献２】特開２０１０−６６８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記特許文献１に記載の装置にあっては、合成画像をシールとして出力する構成になっているため、ユーザが、後に画像を再合成することが難しい。
【０００９】
また、上記特許文献２に記載の装置にあっては、背景を切り替えた合成画像データをユーザが自身の所持している携帯用端末装置（例えば、携帯用電話機、スマートフォン等）に転送及び保存して持ち帰った場合に、その後持ち帰った画像データの背景を切り替えようとしても、単色の背景領域などでない限りは、前景領域と背景領域とをコンピュータが容易に判断することは困難であり、違和感のない合成画像を容易に形成することができない。
【００１０】
本発明は、上記課題を解決するためになされたものであり、その目的は、多色からなる複雑な背景に編集済みの合成画像データにおいても、違和感なく簡易に背景を合成することができる撮像装置等を提供することにある。
【課題を解決するための手段】
【００１１】
（１）上述した課題を解決するため、本発明の撮像装置などは、被写体を撮像して生成した撮像画像を撮像画像データとして生成する撮像手段と、前記撮像画像データにおける被写体が画像化されている前景領域と、撮像する際の背景が画像化されている背景領域と、前記前景領域及び前記背景領域の境界領域と、をそれぞれ特定する特定手段と、前記特定された各領域に基づき、前記撮像画像データの３値の画像であるトライマップデータを生成する生成手段と、前記撮像画像データ当該撮像画像データから生成されたトライマップデータに同一の画像ＩＤを付与する付与手段と、前記画像ＩＤの付与された撮像画像データ及びトライマップデータを送信する送信手段と、を備える構成を有している。
【００１２】
この構成により、本発明の撮像装置などは、撮像画像データに基づいて生成されたトライマップデータを、当該撮像画像データと同一の画像ＩＤによって管理することができる。
【００１３】
したがって、本発明の撮像装置などは、撮像画像データに対応付けてトライマップデータ記録することができるので、撮像画像データについて合成処理を行う際に当該撮像画像データの情報を用いてトライマップデータを取得して利用すること、及び、例えば、既に合成済みの撮像画像であっても、背景を切り換える画像編集を、いつでも負荷処理を低減させつつ簡易に実行することができる。
【００１４】
（２）また、本発明の画像管理サーバなどは、撮像装置から前記画像ＩＤの付与されたトライマップデータを受信し、取得する取得手段と、前記トライマップデータをデータベースに記録させる記録管理手段と、前記画像ＩＤの取得要求に応じて対応する前記トライマップデータを配信する配信手段と、を備える構成を有している。
【００１５】
この構成により、本発明の画像管理サーバなどは、撮像画像データに基づいて生成されたトライマップデータを、当該撮像画像データと同一の画像ＩＤによって管理することができる。
【００１６】
したがって、本発明の画像管理サーバなどは、撮像画像データについて合成処理を行う際に当該撮像画像データの情報を用いてトライマップデータを取得して利用すること、及び、例えば、既に合成済みの撮像画像であっても、背景を切り換える画像編集を、いつでも負荷処理を低減させつつ簡易に実行することができる。
【００１７】
（３）また、本発明の画像処理システムは、被写体を撮像する撮像装置、画像を管理する画像管理サーバ、及び、撮像された画像に基づいて画像合成を行う画像処理装置を有する画像処理システムであって、前記撮像装置が、前記被写体を撮像して生成した撮像画像を撮像画像データとして生成する撮像手段と、前記撮像画像データにおける被写体が画像化されている前景領域と、撮像する際の背景が画像化されている背景領域と、前記前景領域及び前記背景領域の境界領域と、をそれぞれ特定する特定手段と、前記特定された各領域に基づき、前記撮像画像データの３値の画像であるトライマップデータを生成する生成手段と、前記撮像画像データ当該撮像画像データから生成されたトライマップデータに同一の画像ＩＤを付与する付与手段と、前記画像ＩＤの付与された撮像画像データを前記画像処理装置に送信するとともに、前記画像ＩＤとともにトライマップデータを前記画像管理サーバに送信する送信手段と、を備え、前記画像管理サーバが、前記撮像装置から前記画像ＩＤの付与されたトライマップデータを受信し、取得する取得手段と、前記トライマップデータをデータベースに記録させる記録管理手段と、前記画像ＩＤの取得要求に応じて対応する前記トライマップデータを前記画像処理装置に配信する配信手段と、を備え、前記画像処理装置が、前記画像ＩＤの付与された撮像画像データ及びトライマップデータを受信し、取得する取得手段と、前記背景画像を記憶する記憶手段と、前記取得されたトライマップデータを用いて、前記撮像画像データと、前記背景画像と、からなる合成画像を生成する画像合成処理手段と、を備える構成を有している。
【００１８】
この構成により、本発明の画像処理システムは、撮像画像データに基づいて生成されたトライマップデータを、当該撮像画像データと同一の画像ＩＤによって管理することができる。
【００１９】
したがって、本発明の画像処理システムは、画像合成処理においては、合成画像における前景領域と、背景領域と、の境界が不連続になることを防止し、違和感のない自然な背景合成を実現することができるとともに、撮像画像データに対応付けてトライマップデータ記録することによって、画像合成処理を行った撮像画像データについて再度画像合成処理を行う際に当該撮像画像データの情報を用いてトライマップデータを取得して再度利用すること、及び、その結果、既に合成済みの撮像画像であっても、背景を切り換える画像編集を、いつでも負荷処理を低減させつつ簡易に実行することができる。
【発明の効果】
【００２０】
本発明に係る撮像装置、画像管理サーバ及画像処理システムなどは、既に異なる背景画像を合成済みの撮像画像であっても、他の背景へと違和感なく容易に合成することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明に係るデータ管理システムの一実施形態における構成を示すシステム構成図である。
【図２】一実施形態の通信端末装置の構成を示すブロック図である。
【図３】一実施形態の撮像装置の構成を示すブロック図である。
【図４】一実施形態の撮像装置の背景用画像データ記録部に記録される背景用画像の一例を示す図である。
【図５】一実施形態の１次合成処理によって生成される一次合成画像の一例を示す図である。
【図６】（Ａ）は、一実施形態の撮像装置において生成される撮像画像の一例を示す図であり、（Ｂ）は、一実施形態の撮像装置において生成されるトライマップデータの一例を示す図である。
【図７】一実施形態の管理サーバ装置の構成を示すブロック図である。
【図８】一実施形態の管理サーバ装置に設けられたユーザ管理ＤＢに記録されるデータの一例を示す図である。
【図９】一実施形態の管理サーバ装置に設けられたトライマップ管理ＤＢに記録されるデータの一例を示す図である。
【図１０】一実施形態の撮像装置において、画像を撮像する際の処理を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、被写体を撮像する撮像装置と、通信端末装置と、撮像装置を管理する管理サーバ装置と、を有するデータ管理システムに対し、本発明に係る、撮像装置、画像管理サーバ及び画像処理システム及びプログラムを適用した場合の実施形態である。
【００２３】
［１］データ管理システム
まず、図１を用いて、本実施形態におけるデータ管理システム１の構成及び概要について説明する。なお、図１は、本実施形態におけるデータ管理システム１の構成を示すシステム構成図である。また、図１においては、図が煩雑になることを防止するために、一部のユーザ、通信端末装置、撮像装置のみを表示している。すなわち、実際のデータ管理システム１においては、表示するよりも多数のユーザ、通信端末装置１０及び撮像装置２０が存在している。
【００２４】
本実施形態のデータ管理システム１は、証明写真等に対応する被写体をユーザとする被写体を撮像し、画像化した撮像画像に対して、その背景を差し替える（変更する）画像処理を実行する装置を備え、撮像時に設定した背景を合成した画像処理をした後であっても、いつでも、負荷処理を低減させつつ簡易に再合成することが可能なデータを記録管理するシステムである。
【００２５】
通常、撮像完了後に、又は、被写体部分の画像（以下、「被写体画像」という。）に背景の画像を合成した後に、パスポートや履歴書などの用途に応じて、又は、娯楽目的によって、当該被写体画像を他の背景に再合成することを希望する場合があり、撮像されて生成された撮像画像データの背景、又は、既に合成された画像データの背景とは異なる他の背景に容易に差し替えることが可能な手法が望まれている。
【００２６】
その一方、撮像画像に含まれる被写体画像と背景用の画像（以下、「背景用画像」という。）を合成する場合において違和感なく背景と被写体を合成するためには、撮像画像から被写体画像の領域（以下、「前景領域」という。）と、背景の画像の領域（以下、「背景領域」という。）と、被写体画像と背景画像が混在する境界の領域（以下、「境界領域」という。）と、を特定したトライマップデータを生成する必要性がある。
【００２７】
しかしながら、トライマップデータを生成する場合には、対象となる画像データに対して画素単位で所定の画像処理を行う必要があり、その処理の負担は大きく、かつ、解像度に比例して当該処理負担は増大するので、撮像完了後の撮像画像、又は、既に背景が差し替えられた合成画像（以下、「一次合成画像」という。）に対して背景画像の差し替えを行う場合において、トライマップデータを再度生成することとなると、負荷を低減させて簡易に実行することは難しい。
【００２８】
そこで、本実施形態のデータ管理システム１においては、既にトライマップデータを生成して実行された一次合成画像を生成する処理（以下、「一次合成画像処理」という。）を実行した際に生成されたトライマップデータを記録管理し、当該一次合成画像の背景を再度差し替る場合には、記録管理されたトライマップデータを用いて、被写体画像を他の背景用画像に合成するようになっている。
【００２９】
具体的には、本実施形態のデータ管理システム１は、図１に示すように、ユーザによって利用される複数の通信端末装置１０と、被写体となるユーザを撮像して撮像画像を生成する複数の撮像装置２０と、基地局６０及びネットワーク４０を介して、通信端末装置１０及び撮像装置２０を管理する管理サーバ装置３０と、を有している。
【００３０】
通信端末装置１０は、ユーザによって使用される、スマートフォン、タブレット型情報端末装置、又は、携帯用電話機等の携帯型情報通信端末装置であり、基地局６０を介して、ネットワーク４０と、通信接続される。
【００３１】
また、通信端末装置１０は、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）等のマークアップ言語によって記述されているリソースデータをＵＲＬに基づいて取得し、当該リソースデータに基づき、画像の表示及びデータ通信を行うブラウジング機能を有している。
【００３２】
さらに、通信端末装置１０は、ＵＳＢ等の図示せぬ有線インターフェース及びＢｌｕｅｔｏｏｔｈ（登録商標）又は無線ＬＡＮ等の無線インターフェースを有し、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）又は、ＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）形式にて生成された一次合成画像処理されて生成された画像データ（以下、「一次合成画像データ」という。）を、画像ＩＤとともに撮像装置２０から取得する構成を有している。
【００３３】
そして、通信端末装置１０は、特定の背景用画像のデータ（以下、「背景用画像データ」という。）を用いて一次合成画像データに対して再度背景を差し替える合成画像（以下、「再合成画像」という。）を生成する再合成画像処理を実行する機能を有している。
【００３４】
特に、通信端末装置１０は、一次合成画像データを用いて再合成画像処理を実行する場合には、該当するトライマップデータを管理サーバ装置３０から取得し、当該取得したトライマップデータと、一次合成画像データと、に基づいて、当該一次合成画像の背景を他の背景に差し替える合成処理（以下、「再合成画像処理」という。）を実行する構成を有している。
【００３５】
すなわち、本実施形態においては、一度生成されたトライマップデータを記録管理して再利用することができるようになっており、通信端末装置１０は、画像処理などの高負荷の処理に適しない能力であっても、再合成画像処理を実行することができるようになっている。
【００３６】
撮像装置２０は、例えば、駅、コンビニエンスストア、スーパーマーケット等の施設に設置され、例えば、ブルーやグリーンの背景にてユーザを被写体とする証明写真を撮像し、プリントアウトする証明写真生成装置、又は、アミューズメント施設に設置され、ブルーやグリーンの背景にてユーザを被写体とした記念写真を撮像し、シールとしてプリントアウトする写真シール機である。
【００３７】
特に、撮像装置２０は、撮像画像の背景をユーザの希望の背景に設定して合成画像を生成する構成を有している。具体的には、撮像装置２０は、
（１）ブルーやグリーンの単色の背景で被写体を撮像して撮像画像を生成し、
（２）被写体画像の前景領域と背景領域とを区別しつつ、被写体画像と背景画像が混在する可能性の高い境界領域を特定したトライマップデータを生成し、
（３）生成したトライマップデータを用いて撮像画像の被写体画像（以下、「前景画像」ともいう。）を、境界領域の画像の各画素の色情報を調整しつつ、他の背景の画像（以下、「背景用画像」という。）に合成して一次合成画像）を生成する一次合成画像処理を実行し、
（４）生成した合成画像のデータ（すなわち、合成画像データ）に画像ＩＤを付与しつつ、有線又は無線によって通信端末装置１０に合成画像データと画像ＩＤを対応付けて提供し、かつ、画像ＩＤとトライマップデータを対応付けて管理サーバ装置３０に送信する、
構成を有している。
【００３８】
そして、撮像装置２０は、一次合成画像処理を実行する際には、生成したトライマップデータを用いて特定した撮像画像の境界領域に対して被写体画像の各画素の色成分の情報（以下、「画素情報」という。）と、合成の対象となる他の背景用画像の各画素の色成分の情報（すなわち、画素情報）と、に基づいて、αブレンディングの画像処理を実行し、被写体画像を、境界領域の画像合成を調整しつつ、他の背景用画像に合成する一次合成画像処理を実行するようになっている。なお、どこまでを境界領域とするかについては、状況に応じて適宜設定可能である。例えば、予め前景画像の映る位置、大きさがわかっていれば極力小さくした方が合成した際の違和感を抑えることができる。また、ユーザが境界領域を指示するような形態であってもよい。
【００３９】
管理サーバ装置３０は、証明写真等の撮像及び編集サービスを提供するサービス提供事業者が当該サービスを管理運営するためのサーバ装置であり、各種のデータベース（以下、「ＤＢ」という。）を有し、各撮像装置２０を管理するとともに、被写体が撮像されて一次合成画像データが生成された際に生成されたトライマップデータの管理及びその記録を行う構成を有している。
【００４０】
ネットワーク４０は、例えば、携帯電話網を含む公衆電話網と、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークが相互接続されて構成される。ただし、当該ネットワーク４０の構成は、これに限られない。
【００４１】
このような構成により、本実施形態のデータ管理システム１においては、一次合成画像処理後に再度背景用画像を差し替える再合成画像処理を実行する際に、一次合成画像処理において生成されたトライマップデータをそのまま利用することができるようになっている。
【００４２】
すなわち、本実施形態のデータ管理システム１は、撮像画像の前景領域と背景領域とを区別して被写体画像と背景が混在するような境界領域を特定し、当該特定した境界領域について、例えば、αブレンディング等の手法を用いて撮像画像の前景画像の画素情報と背景用画像の画素情報をブレンドしつつ、前景画像を特定の背景用画像に合成することができるとともに、当該画像合成を行う際に生成された前景画像及び背景画像と区別された境界領域を有するトライマップデータを、画像ＩＤを用いて管理することができるようになっている。
【００４３】
したがって、本実施形態のデータ管理システム１は、画像合成処理においては、合成画像における前景領域と、背景領域と、の境界が不連続になることを防止し、違和感のない自然な背景合成を実現することができるとともに、画像ＩＤに基づいてトライマップデータ記録することによって画像合成処理を行った撮像画像について再度画像合成処理を行う際に当該画像ＩＤに基づいてトライマップデータを取得して再度利用すること、及び、その結果、既に合成済みの撮像画像であっても、背景を切り換える画像編集を、いつでも負荷処理を低減させつつ簡易に実行することができるようになっている。
【００４４】
［２］通信端末装置
次に、図２を用いて本実施形態の通信端末装置１０の構成について説明する。なお、図２は、本実施形態の通信端末装置１０の構成を示すブロック図である。
【００４５】
本実施形態の通信端末装置１０は、図２に示すように、基地局６０を介してネットワーク４０に通信接続される通信インターフェース（以下、「通信Ｉ／Ｆ」という。）１１０と、液晶パネル等により構成される表示部１３０と、表示部１３０を制御する表示制御部１４０と、各種の情報が記録されるデータ記録部１６０と、タッチパネル等により構成される操作部１７０と、通信端末装置１０の全体を統合制御する端末管理制御部１８０と、アプリケーションを実行するアプリケーション実行部１９０と、を有し、上記の各部は、バス１１によって相互に接続され、各構成要素間におけるデータの転送が実行される。
【００４６】
通信Ｉ／Ｆ１１０は、端末管理制御部１８０及びアプリケーション実行部１９０の制御の下、撮像装置２０及びネットワーク４０に接続される管理サーバ装置３０と有線又は無線によって通信回線を構築し、撮像装置２０又は管理サーバ装置３０と種々のデータの授受を行う。
【００４７】
具体的には、通信Ｉ／Ｆ１１０は、ＵＳＢ（Ｕｎｉｂｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等の有線インターフェースやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェースを有し、これらのインターフェースによって撮像装置２０から提供された合成画像データを受信する。
【００４８】
また、通信Ｉ／Ｆ１１０は、携帯電話網を含む公衆電話網、及び、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークを接続するためのネットワークインターフェースを有している。
【００４９】
表示部１３０は、例えば、液晶素子または有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部１４０において生成された表示データに基づいて所定の画像を表示する。
【００５０】
表示制御部１４０は、表示部１３０に表示させるために必要な表示データを生成するようになっており、生成された表示データを表示部１３０に出力する。具体的には、表示制御部１４０は、撮像装置２０から取得した合成画像データ又はアプリケーション実行部１９０によって生成された再合成画像データに基づき表示データを生成し、合成画像又は再合成画像を表示部１３０に表示させる。
【００５１】
データ記録部１６０は、ＥＥＰＲＯＭ、ＮＡＮＤ型又はＮＯＲ型のフラッシュメモリ等の不揮発性メモリによって構成されている。
【００５２】
そして、データ記録部１６０は、合成画像に対して該当するトライマップデータを取得しつつ他の背景に差し替えする再合成画像処理を実行するアプリケーション（以下、「再合成画像生成アプリ」という。）を含む各種のアプリケーションが記録されるアプリケーション記録部１６１と、生成された一次合成画像データなどが記録される画像データ記録部１６２と、通信端末装置１０の管理及び制御に関するプログラム、並びに、各プログラムの実行中にワークエリアとして用いられるとともに、通信端末装置１０で実行される各処理において用いられるデータが記憶されるＲＯＭ／ＲＡＭ１６３と、が設けられている。
【００５３】
操作部１７０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキー等の多数のキーであって、表示部１３０上に設けられたタッチセンサにより構成され、各操作を行う際に用いられるようになっている。
【００５４】
端末管理制御部１８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、通信端末装置１０の全般的な機能及び情報提供プログラムを実行するための全般的な機能を総括的に制御する。
【００５５】
アプリケーション実行部１９０は、独立的に設けられた中央演算処理装置（ＣＰＵ）によって又は端末管理制御部１８０とともに共通の中央演算処理装置（ＣＰＵ）によって構成される。また、アプリケーション実行部１９０は、アプリケーション記録部１６１に記録された各種のアプリケーションを実行することにより、各種の機能を実現する。
【００５６】
特に、アプリケーション実行部１９０は、再合成画像生成アプリを実行することによって、特定の画像ＩＤを送信し、当該画像ＩＤに基づいて画像処理の対象となっている一次合成画像データに対応するトライマップデータを取得する。
【００５７】
そして、アプリケーション実行部１９０は、管理サーバ装置３０から提供される背景用画像又はデータ記録部１６０に既に記録された背景用画像の中から特定の背景画像を特定すると、取得したトライマップデータに基づき、一次合成画像データによって形成される合成画像の前景領域、背景領域及び境界領域を特定しつつ、特定した背景画像に背景を差し替えして再合成画像を生成する再合成画像処理を実行する。
【００５８】
なお、アプリケーション実行部１９０において実行されるが合成画像生成処理は、トライマップデータの生成を除き、撮像装置２０によって実行される合成画像生成処理と同一であり、その説明は後述する。
【００５９】
一方、アプリケーション実行部１９０は、特定した背景用画像に背景を差し替えた再合成画像の画像データ（すなわち、再合成画像データ）をデータ記録部１６０に記録し、又は、管理サーバ装置３０においてする自身のユーザのアカウントに対応付けて画像ＩＤとともに記録させる。
【００６０】
なお、アプリケーション実行部１９０は、図示しない印刷装置と有線又は無線によって接続し、一次合成画像又は再合成画像を印刷することができる機能を有している。
【００６１】
また、差し替え用の背景用画像としては、管理サーバ装置３０に限らず、他の図示しない通信末装置によって、ＳＮＳなどの各種のネットワークサービスによって、又は、ネットワーク４０上に提供されたものを用いてもよい。
【００６２】
［３］撮像装置
次に、図３〜図６を参照しつつ、本実施形態の撮像装置２０の構成について説明する。なお、図３は、本実施形態の撮像装置２０の構成を示すブロック図であり、図４は、背景用画像データ記録部２５１に記録される背景用画像の一例を示す図である。また、図５は、本実施形態の１次合成処理によって生成される一次合成画像の一例を示す図であり、図６は、本実施形態における撮像画像とトライマップデータの関係を示す概念図である。
【００６３】
本実施形態の撮像装置２０は、図３に示すように、ネットワーク４０と接続されるネットワーク通信部２１０と、通信端末装置１０又は図示せぬプリンタ等の外部装置との間でデータの授受を行うＩ／Ｏインターフェース２２０と、画像を表示する表示部２３０と、表示部２３０に対する画像の表示を制御する表示制御部２４０と、各種のデータが記録される撮像記録部２５０と、撮像部２６０と、操作部２７０と、撮像管理制御部２８０と、一次合成画像処理などを実行するデータ処理部２９０と、を有し、各部は、バス２１を介して、相互に接続され、各構成要素間のデータの授受が実現されるようになっている。
【００６４】
ネットワーク通信部２１０は、所定のネットワークインターフェースであり、有線又は無線にて、ネットワーク４０と通信接続されて、ネットワーク４０とバス２１の間の情報の授受を仲介する。なお、例えば、本実施形態のネットワーク通信部２１０は、本発明の送信手段を構成する。
【００６５】
Ｉ／Ｏインターフェース２２０は、ＵＳＢ等の有線インターフェース、又は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェースであり有線又は無線により接続された、通信端末装置１０に合成画像データと画像ＩＤを対応付けて提供するとともに、プリンタ等の外部機器と接続され、合成画像データをプリントアウトさせるようになっている。
【００６６】
表示部２３０は、例えば、液晶素子または有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部２４０において生成された表示データに基づいて所定の画像を表示する。
【００６７】
表示制御部２４０は、表示部２３０に表示させるために必要な表示データを生成するようになっており、生成された表示データを表示部２３０に出力する。
【００６８】
具体的には、表示制御部２４０は、撮像部２６０から供給された撮像画像データに基づき表示データを生成し、表示部２３０に供給することにより、表示部２３０に撮像画像を表示させる。
【００６９】
また、表示制御部２４０は、撮像画像の編集時に、撮像記録部２５０に記録された背景用画像データを、例えば、サムネイル形式にて表示させるための表示データを生成して、表示部２３０に表示させるとともに、合成画像データに対応する表示データを生成し、表示部２３０に供給する。
【００７０】
撮像記録部２５０は、ＥＥＰＲＯＭ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ    Ｄｒｉｖｅ）、又は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の不揮発性のメモリにより構成され、その記録領域内に、背景用画像データ記録部２５１と、アプリケーション記録部２５２と、画像データ記録部２５３と、ワークエリアとして利用されるＲＡＭ２５４と、を有している。
【００７１】
背景用画像データ記録部２５１には、例えば、図４に示すように、複数の背景用画像のデータ（以下、「背景用画像データ」という。）が記録されている。なお、背景用画像データは、撮像画像の編集時においてサムネイル形式によって表示されるとともに、一次合成画像を生成する際に読み出されて用いられる。なお、例えば、背景様画像データ記録部２５１は、本発明の記憶手段を構成する。
【００７２】
アプリケーション記録部２５２には、撮像装置２０の駆動に必要な各種のプログラムが記録されている他、撮像画像データを編集するための編集アプリケーションが記録されている。
【００７３】
画像データ記録部２５３には、撮像部２６０により生成された撮像画像データの他に、トライマップデータと一次合成画像データと、が記録され、通信端末装置１０への提供時、又は、合成画像データ生成時に利用される。
【００７４】
撮像部２６０は、光学システムと、該光学システムから入力された光学画像を電気信号に変換するＣＣＤＩセンサ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）と、ＣＣＤＩセンサ部において生成された電気信号に基づいて画像に対応する画像データを生成する生成部と、を有している。そして、撮像部２６０は、被写体となるユーザの画像を撮像して撮像画像データを生成し、生成した撮像画像データを画像データ記録部２５３に記録させる。
【００７５】
操作部２７０は、各種の確認ボタン、各操作指令を入力する操作ボタン、テンキーなどの多数のキー又はタッチパネルにより構成され、ユーザが各操作を行う際に用いられるようになっている。例えば、操作部２７０は、被写体を撮像する際には、及び、一次合成画像を生成する際に用いられる。
【００７６】
撮像管理制御部２８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、アプリケーション記録部２５２に記録された各種のアプリケーションを実行することにより、撮像装置２０の全般的な機能を統合的に制御する。特に、撮像管理制御部２８０は、ユーザの撮影指示を検出すると、撮像部２６０を制御して被写体の撮像を実行させるとともに、データ処理部２９０を制御し、一次合成画像の生成及びその際に生成されたトライマップデータの管理サーバ装置３０へのアップロードを管理する。
【００７７】
データ処理部２９０は、撮像管理制御部２８０と同一又は独立したＣＰＵにより構成され、撮像管理制御部２８０の制御の下、アプリケーションを実行することにより、トライマップデータの生成及び一次合成画像処理を実行する。
【００７８】
特に、データ処理部２９０は、トライマップデータを生成する処理においては、
（Ａ１）撮像画像における被写体が画像化されている前景領域と、撮像する際に用いた背景画像の領域である背景領域と、前景領域及び前記背景領域とは異なる境界領域と、をそれぞれ特定し、
（Ａ２）特定した各領域に基づき、撮像画像データのトライマップデータを生成する、
各処理を実行する。
【００７９】
また、データ処理部２９０は、一次合成画像処理としては、
（Ｂ１）ユーザによって被写体画像に合成するための背景用画像データが特定されると、生成したトライマップデータに基づき、当該背景用画像データによって構成される背景用画像において、撮像画像における前景領域、背景領域及び境界領域の各々に対応する各領域を抽出し、
（Ｂ２）前景領域の画像を背景用画像の所定の位置（例えば、操作部２７０によってユーザによって設定された位置又は予め定められた位置）に配置し、当該配置された背景用画像の各画素を前景領域の各画素に置換し、
（Ｂ３）撮像画像の境界領域に対する領域に属する各画素の画素情報を、撮像画像の境界領域に属する各画素の画素情報に基づいて、αブレンドの画像処理を実行する、
各処理を実行する。なお、例えば、データ処理部２９０は、特定の撮像画像（例えば後述の図６（Ａ）に示される女性）を用いるとともに、図４に示す背景画像を用いて一次合成処理を実行した場合には、図５に示すような合成画像を生成することができるようになっている。
【００８０】
そして、データ処理部２９０は、一次画像合成処理を実行すると、
（Ｃ１）画像合成処理された画像を識別するための画像ＩＤを付与し、
（Ｃ２）付与した画像ＩＤと、対応する前記トライマップデータと、を対応付けて管理サーバ装置３０に送信して所定のＤＢに記録させる
各処理を実行する。
【００８１】
具体的には、データ処理部２９０は、合成画像データ及びトライマップデータを管理する管理制御部２９１と、トライマップデータを生成するトライマップ生成部２９２と、背景用画像データを解析する背景用画像解析部２９３と、一次合成処理を実行する一次合成画像生成部２９４と、を実現する。
【００８２】
なお、例えば、本実施形態の管理制御部２９１は、本発明の記録制御手段及び付与手段を構成し、トライマップ生成部２９２は、本発明の特定手段及び生成手段を構成する。また、例えば、本実施形態の背景用画像解析部２９３は、本発明の抽出手段を構成し、一次合成画像生成部２９４は、本発明の画像合成処理手段を構成する。
【００８３】
管理制御部２９１は、一次合成画像データが生成された際に、生成された一次合成画像データに画像ＩＤを付与し、Ｉ／Ｏインターフェース２２０を介して、当該付与した画像ＩＤと、一次合成画像データと、を該当する通信端末装置１０に提供するとともに、ネットワーク通信部２１０を介して、当該付与した画像ＩＤ及びトライマップデータを対応付けて管理サーバ装置３０に送信する。
【００８４】
トライマップ生成部２９２は、操作部２７０の操作に基づいて、前景領域、背景領域及び境界領域を設定する。例えば、図６（Ａ）に示す撮像画像の場合に、トライマップ生成部２９２は、操作部２７０の操作によって前景領域、背景領域及び境界領域が指定されると、当該指定された領域をそれぞれ前景領域、背景領域及び境界領域に設定する。
【００８５】
ただし、トライマップ生成部２９２は、撮像画像を解析することによって自動的に前景領域、背景領域及び境界領域を設定してもよい。なお、撮像画像を解析することによって自動的に前景領域、背景領域及び境界領域を設定する処理の詳細については変形例に詳述する。
【００８６】
一方、トライマップ生成部２９２は、前景領域、背景領域及び境界領域をそれぞれ設定すると、例えば、図６（Ｂ）に示すように、設定された前景領域を「白」、背景領域を「黒」及び境界領域を「グレー」とするトライマップデータを生成し、生成したトライマップデータを画像データ記録部２５３に記録させる。
【００８７】
背景用画像解析部２９３は、ユーザの操作に基づいて、特定の背景用画像が特定され、かつ、撮像画像における被写体画像の配置位置が設定されると、背景用画像データ記録部２５１から特定された背景用画像データを読み出しつつ、生成されたトライマップデータに基づいて、読み出した背景用画像データによって形成される背景用画像において被写体画像が配置された場合の各領域を特定する。
【００８８】
例えば、背景用画像解析部２９３は、背景用画像の左下端を基準点（０，０）として、Ｘ軸及びＹ軸を設定し、トライマップに基づいて、ユーザ操作によって設定された位置を中心として被写体画像が配置される際の各領域に対応する背景用画像中の画素領域をｘｙ座標系によって特定する。
【００８９】
一次合成画像生成部２９４は、背景用画像における前景領域に属する各画素の画素情報を、撮像画像データの前景領域に属する各画素の画素情報に置換する。
【００９０】
また、一次合成画像生成部２９４は、背景用画像において特定された境界領域に属する画素毎に、
（１）ブレンディング係数（α値）を算出し、
（２）当該算出したα値と、該当する背景用画像において対応する画素の色成分と、該当する撮像画像の画素の色成分と、に基づいて、色成分を算出し、
算出した色成分を各画素の色成分に設定する。
【００９１】
すなわち、一次合成画像生成部２９４は、公知のアルファマッティング処理を用いてトライマップデータによって形成される画像（以下、「トライマップ画像」ともいう。）からマスク画像（アルファマスク画像）を生成する。
【００９２】
特に、一次合成画像生成部２９４は、アルファマッティング処理としては、まず、不確定領域（すなわち、境界領域）である灰色エリア内の画素を基点に、隣接する複数の前景領域及び背景領域の各画素の画素値を求める。そして、次に、一次合成画像生成部２９４は、前景及び背景画素を様々な組み合わせと割合で合成し、元の画素値ｑに最も近似した割合を透過度とし、マルファマスクを生成する。
【００９３】
なお、アルファマッティング処理の例としては、「Ｅｄｕａｒｄｏ  Ｓ．  Ｌ．  Ｇａｓｔａｌ  ａｎｄ  Ｍａｎｕｅｌ  Ｍ．  Ｏｌｉｖｅｉｒａ，  ＳＨｒｅｄ  Ｓａｍｐｌｉｎｇ  ｆｏｒ  Ｒｅａｌ−Ｔｉｍｅ  ＡｌｐＨ  Ｍａｔｔｉｎｇ，Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｆｏｒｕｍ，  Ｖｏｌｕｍｅ  ２９  （２０１０），  Ｎｕｍｖｅｒ  ２,  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｅｕｒｏｇｒａｐｈｉｃｓ  ２０１０，  ｐｐ．  ５７５−５８４」に記載されたものがある。
【００９４】
具体的には、一次合成画像生成部２９４は、アルファマッティング処理により、透過度に応じた二値画像であるマスク画像を生成する。
【００９５】
また、一次合成画像生成部２９４は、トライマップ画像に対してマスク画像生成処理を行うことで、トライマップ画像のうち、灰色で表された境界領域を、アルファマッティング処理を行う部分と判断して処理を行うマスク画像を生成する。
【００９６】
そして、一次合成画像生成部２９４は、背景用画像において特定された境界領域に属する各画素において、当該画素の近傍における前景領域の画素の色成分「Ｆ」と、当該画素の近傍における背景領域の画素の色成分「Ｂ」と、に基づいてＱ値を算出し、当該算出したＱ値において撮像画像の境界領域における該当する画素の色成分の値と最も近い値のときのα値を該当する画素のα値に設定するアルファブレンディング処理を実行する。
【００９７】
すなわち、一次合成画像生成部２９４は、各画素を中心とした特定の方向を基準に隣接する前景領域に属する画素及び背景領域に属する画素を所定のアルゴリズムで特定し、当該特定した画素の色成分「Ｆ」又は「Ｂ」をサンプリングしつつ、α値を変化させて（式１）の演算を実行してＱ値を算出し、当該Ｑ値が撮像画像の境界領域における該当する画素の色成分の値と最も近い値となったときのα値を、画素毎にブレンディング係数（α値）に設定する。
【００９８】
【数１】
2016072892.tif 000003
【００９９】
また、一次合成画像生成部２９４は、当該算出したα値と、該当する背景用画像の画素の色成分「ｂ」と、該当する撮像画像の画素の色成分「ｆ」と、に基づいて、（式２）に従って色成分Ｐを算出する。
【０１００】
【数２】
2016072892.tif 000004
【０１０１】
そして、一次合成画像生成部２９４は、前景領域、背景領域及び境界領域の各画素の色成分の値を設定すると、これらの各画素の色成分に基づいて一次合成画像データを生成し、生成した一次合成画像データをトライマップデータに付与された画像ＩＤとともに画像データ記録部２５３に記録させる。
【０１０２】
［４］管理サーバ装置
次に、図７〜図１０を用いて本実施形態の管理サーバ装置３０の構成について説明する。なお、図７は本実施形態の管理サーバ装置３０の機能ブロックの一例を示す図であり、図８〜図１０は、それぞれ、本実施形態の管理サーバ装置３０内に設けられたユーザ管理ＤＢ３３１、トライマップ管理ＤＢ３３２及び撮像装置管理ＤＢ３３３、に記録されるデータの一例を示す図である。
【０１０３】
本実施形態の管理サーバ装置３０は、図７に示すように、ネットワーク４０に通信接続される通信制御部３１０と、各種のメモリとして機能するＲＯＭ／ＲＡＭ３２０と、各種のＤＢが構築される記録装置３３０と、装置全体を制御するサーバ管理制御部３４０と、トライマップデータを管理及び配信を行うデータ処理部３５０と、を有し、上記の各部は、バス３１によって相互に接続されている。
【０１０４】
通信制御部３１０は、所定のネットワークインターフェースであり、ネットワーク４０を介して通信端末装置１０及び撮像装置２０と通信チャネルを構築し、各種データの授受を行う。
【０１０５】
ＲＯＭ／ＲＡＭ３２０には、サーバ装置３０の駆動に必要な各種のプログラムが記録されている。また、ＲＯＭ／ＲＡＭ３２０は、各種の処理が実行される際のワークエリアとして用いられる。
【０１０６】
記録装置３３０は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ    Ｄｒｉｖｅ）、又は、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）により構成される。そして、記録装置３３０は、少なくとも、ユーザ管理ＤＢ３３１と、トライマップ管理ＤＢ３３２と、撮像装置管理ＤＢ３３３と、を有している。なお、例えば、本実施形態の記録装置３３０は、本発明のデータベースを構成する。
【０１０７】
ユーザ管理ＤＢ３３１は、データ管理システム１の提供するサービス、すなわち、撮像装置２０にて証明写真等を撮像し、合成画像データの再合成を行う撮像・編集サービスのユーザを管理するための各種情報がデータとして登録されるデータベースである。
【０１０８】
例えば、ユーザ管理ＤＢ３３１には、図８に示すように、各ユーザに対応するユーザＩＤと対応付けて、氏名及び住所と、ログイン時に用いるアカウント名及びパスワードとを少なくとも含むユーザ属性情報が記録される。
【０１０９】
なお、ユーザの証明写真等に関する一連の情報は、ユーザの顔に関する情報を含むものであり、当該情報の漏洩は、ユーザのプライバシー侵害に発展する可能性があるため、トライマップデータの配信に際しては、ユーザを認証する必要性がある。このため、本実施形態において、これらのユーザ情報を管理することによって情報の漏洩を防止することができるようになっている。また、サーバ上では、画像ＩＤとトライマップだけを管理しており、実際の画像データは存在しないため、例えばサーバの情報が全て流出しても実際の画像は不明なため、個人情報が流出した際の被害を最小限に抑えることができる。
【０１１０】
また、ユーザ管理ＤＢ３３１に記録される各種のデータは、管理サーバ装置３０の開設するサイトにて、ユーザによって事前に登録される。
【０１１１】
トライマップ管理ＤＢ３３２は、撮像装置２０によりアップロードされたトライマップデータを管理するためのＤＢである。例えば、トライマップ管理ＤＢ３３２には、図９（Ａ）に示すように、ユーザＩＤと、撮像装置２０によりアップロードされた画像ＩＤとトライマップデータとが対応付けて記録される。
【０１１２】
撮像装置管理ＤＢ３３３は、駅等の各種施設に設置された撮像装置２０を管理するための情報がデータとして記録されるＤＢである。例えば、撮像装置管理ＤＢ３３３には、各撮像装置に対して割り当てられた撮像装置ＩＤと対応付けて、当該撮像装置の機種名、設置場所及び撮像回数が記録されている。
【０１１３】
なお、これらの情報は、サービスの管理運営者が、撮像装置２０のメンテナンス等を行う際に利用される。また、撮像装置管理ＤＢ３３３には、図９（Ｂ）に示すように、例えば、撮像装置２０によって生成された１次合成画像が画像ＩＤとともに記録されていてもよい。この場合には、トライマップデータが登録される際に、当該トライマップを生成した際に撮像装置２０で生成された１次合成画像が取得されて記録される。ただし、このような１次合成画像は、原則、当該１次合成画像が生成された際に撮像装置２０からユーザその他の通信端末装置１０に提供されており、各通信端末装置１０又は当該撮像装置２０内に記録されている。
【０１１４】
サーバ管理制御部３４０は、主に中央演算処理装置（ＣＰＵ）によって構成され、プログラムを実行することによって、情報提供サーバ装置３０の各部を統合制御する。
【０１１５】
データ処理部３５０は、サーバ管理制御部３４０と同一又は独立したＣＰＵにより構成され、サーバ管理制御部３４０による制御の下、アプリケーションを実行することにより、各ＤＢ３３１〜３３３を管理するＤＢ管理制御部３５１と、トライマップデータを特定するトライマップ特定部３５２と、配信部３５３と、を実現する。
【０１１６】
なお、例えば、このＤＢ管理制御部３５１は、例えば、本発明の取得手段及び記録管理手段を構成し、配信部３５３は、通信制御部３１０と連携しつつ、本発明の配信手段を構成する。  
【０１１７】
ＤＢ管理制御部３５１は、各ＤＢに対するデータの読み出し及び書き込みを管理する。特に、ＤＢ管理制御部３５１は、撮像装置２０から画像ＩＤとトライマップデータを受信すると、当該データを対応付けつつ、トライマップ管理ＤＢ３３２に記録させる。
【０１１８】
トライマップ特定部３５２は、通信端末装置１０から画像ＩＤを特定した取得要求を受信すると、当該取得要求に含まれるアカウント名及びパスワードに基づき、ユーザ認証を実行するとともに、正常にユーザ認証が為された場合に、当該取得要求に含まれる画像ＩＤに基づいて、トライマップ管理ＤＢ３３２を検索して、通信端末装置１０に配信すべきトライマップデータを特定する。
【０１１９】
配信部３５３は、通信制御部３１０を介してトライマップ特定部３５２により特定されたトライマップデータを該当する通信端末装置１０に配信する。
【０１２０】
［５］データ管理システムの動作
次に、図１０を用いて本実施形態の撮像装置２０において合成画像を撮像する際の動作について説明する。なお、図１０は、本実施形態の撮像装置２０において合成画像を撮像する際の動作を示すフローチャートである。
【０１２１】
本動作においては、予めの背景用画像データ記録部２５１には、例えば、図４に示すような背景用画像が記録されているものとする。
【０１２２】
また、本動作においては、ユーザが撮像部２６０の撮像画角内（例えば写真ボックス内）に入り、かつ、撮像管理制御部２８０によって表示部２３０に操作開始を促す画面が表示されているとともに、操作部２７０に対するユーザの撮像指示入力を待機している状態になっているものとする。
【０１２３】
まず、撮像管理制御部２８０は、操作部２７０を介してユーザによる撮像を行う旨の入力操作を検出すると（ステップＳ２０１）、撮像部２６０に撮像するための命令コマンドを出力し、撮像部２６０に、ユーザを被写体として撮像し、撮像画像データを生成させる（ステップＳ２０２）。
【０１２４】
このとき、撮像部２６０は、生成された撮像画像を表示部２３０に表示してユーザに確認させると、生成された撮像画像データを画像データ記録部２５３に記録させる。また、撮像管理制御部２８０は、ユーザの操作に基づいてユーザの撮像を再度実行してもよい。
【０１２５】
次いで、トライマップ生成部２９２は、ユーザの操作に基づいて撮像画像における前景領域、背景領域及び境界領域を特定するとともに（ステップＳ２０３）、特定した各領域に従って、図６（Ｂ）に例示するようなトライマップデータを生成し、生成したトライマップデータを画像データ記録部２５３に記録する（ステップＳ２０４）。
【０１２６】
次いで、背景用画像解析部２９３は、背景用画像データ記録部２５１から使用可能な背景用画像データを読み出すとともに、表示部２３０に各背景用画像の一覧を表示させ、操作部２７０に対するユーザの選択入力及び被写体画像の配置位置の入力を待機する（ステップＳ２０５）。例えば、背景用画像解析部２９３は、各背景用画像を表示部２３０にサムネイル形式にて表示させる。
【０１２７】
次いで、撮像管理制御部２８０は、操作部２７０を介してユーザの背景用画像における選択入力及びを被写体画像の配置位置の入力を検出すると（ステップＳ２０６）、背景用画像解析部２９３は、生成したトライマップデータに基づいて、ユーザにより選択された背景用画像データを解析し、入力された被写体の配置位置に応じて背景用画像における前景画像、背景領域及び境界領域の各々に対応する画素領域を特定する（ステップＳ２０７）。
【０１２８】
次いで、一次合成画像生成部２９４は、前景画像、背景領域及び境界領域を特定した背景用画像と撮像画像とに基づいて一次合成画像を生成する（ステップＳ２０８）。具体的には、一次合成画像生成部２９４は、
（１）背景用画像の前景領域に対応する各画素の色成分を撮像画像において抽出した前景領域の画素の画素情報（すなわち、色成分の階調値）に置換し、
（２）背景用画像において特定された境界領域の画素毎に、該当する画素の色成分と、背景領域に属し、該当する画素に隣接する画素と、該当する画素の色成分と隣接する前景領域に属し、該当する画素に隣接する画素と、に基づいて、ブレンディング係数（α値）を算出し、
（３）算出した各画素のブレンディング係数（α値）と、該当する背景用画像の画素の色成分と、該当する撮像画像の画素の色成分と、に基づいて、境界領域の各画素の色成分を算出し、当該算出した色成分を各画素の色成分に設定する。
【０１２９】
次いで、一次合成画像生成部２９４は、生成した一次合成画像のデータ、すなわち、一次合成画像データに画像ＩＤを付与する（ステップＳ２０９）。なお、本実施形態においては、一次合成画像データに対して画像ＩＤを付与しているが、撮像画像データに対しても同一の画像ＩＤを付与してもよいし、一次合成画像データを生成してない場合には、当該撮像画像データにのみ当該画像ＩＤを付与してもよい。
【０１３０】
次いで、管理制御部２９１は、操作部２７０を介して入力されたユーザの操作に連動し、生成された一次合成画像データと付与された画像ＩＤを、Ｉ／Ｏインターフェース部２２０を介して、該当通信端末装置１０に提供する（ステップＳ２１０）。
【０１３１】
次いで、管理制御部２９１は、画像ＩＤと生成したトライマップデータを対応付けて管理サーバ装置３０に送信し（ステップＳ２１１）、本動作を終了させる。
【０１３２】
なお、管理サーバ装置３０は、送信されたトライマップデータと画像ＩＤをトライマップ管理ＤＢ３３２に記憶するとともに、通信端末装置１０から画像ＩＤを特定した取得要求を受信した場合に、当該画像ＩＤに対応するトライマップデータを該当する通信端末装置１０に配信する。
【０１３３】
以上、本実施形態の撮像装置２０は、撮像画像の前景領域と背景領域とを区別して前景と背景が混在するような境界領域を特定し、当該特定した境界領域について、例えば、αブレンディング等の手法を用いて撮像画像の前景画像の画素情報と背景用画像の画素情報をブレンドしつつ、前景画像を特定の背景用画像に合成することができるとともに、当該画像合成を行う際に生成された前景画像及び背景画像と区別された境界領域を有するトライマップデータを、画像ＩＤを用いて管理することができる。
【０１３４】
したがって、本実施形態の撮像装置２０は、画像合成においては、合成画像における前景領域と、背景領域と、の境界が不連続になることを防止し、違和感のない自然な背景合成を実現することができるとともに、画像ＩＤに基づいてトライマップデータ記録することによって画像合成処理を行った撮像画像について再度画像合成処理を行う際に当該画像ＩＤに基づいてトライマップデータを取得して再度利用すること、及び、その結果、既に合成済みの撮像画像であっても、背景を切り換える画像編集を、いつでも負荷処理を低減させつつ簡易に実行することができる。
【０１３５】
また、本実施形態のサーバ装置３０は、通信端末装置１０から画像ＩＤを特定した取得要求を受信すると、当該取得要求に含まれる画像ＩＤに対応するトライマップデータを該当する通信端末装置１０に配信することができるので、通信端末装置１０において自機に保存済みの合成画像を再合成する際にトライマップデータを再生成する必要がなくなる。
【０１３６】
したがって、本実施形態のサーバ装置３０は、画像ＩＤに基づいてトライマップデータ記録することによって画像合成処理を行った撮像画像について再合成を行う際に当該画像ＩＤに基づいてトライマップデータを取得して再度利用することができるとともに、その結果、既に合成済みの撮像画像であっても、背景を切り換える画像編集を、いつでも負荷処理を低減させつつ簡易に実行することができる。
【０１３７】
［６］変形例
［６．１］変形例１
上記実施形態においては、ブルーやグリーンを背景とする画像を撮像して、各画素に含まれる色成分に基づき、前景領域、背景領域及び境界領域を特定する構成を採用したが、背景を他の色にする場合も同様の方法により、各領域を特定することが可能である。
【０１３８】
この場合には、背景用画像の色の成分のみからなる領域を背景領域、当該色成分を含む領域を境界領域、含まない領域を前景領域と特定し、人物の形のマスクによりマスキングを行って、前景領域を特定することにより、ユーザがアクセサリー等を着けている場合にも、正確に前景領域を特定することが可能となる。
【０１３９】
また、例えば、背景用画像を単色にできない場合には、撮像装置２０の表示部２３０上タッチパネル等により構成される操作部２７０を設け、画像の撮像時に、撮像画像を表示部２３０に表示させ、ユーザに前景領域をなぞらせることにより、前景領域を特定するようにしてもよい。この場合にはなぞられた領域を境界領域とし、当該境界領域に囲まれた領域を前景領域に設定するようにすればよい。
【０１４０】
［６．２］変形例２
上記実施形態においては、ユーザの操作に基づいて、撮像画像における前景領域、背景領域及び境界領域を特定しているが、撮像画像について画像解析を実行し、当該撮像画像における前景領域、背景領域及び境界領域を特定してもよい。
【０１４１】
具体的には、トライマップ生成部２９２は、特定の単色の色成分に近似する色成分を有する画素、例えば、色空間上において単色の色成分の位置から予め定められた距離の範囲内に存在する位置の色成分を有する画素を背景領域に属する画素として設定する。
【０１４２】
そして、トライマップ生成部２９２は、撮像画像に対してソーベルフィルタを用いてエッジ画像を検出するとともに、エッジ画像と背景領域の輪郭に囲まれる領域に属し、かつ、背景領域に属する画素を非背景領域に属する画素として特定し、背景領域を画定する。
【０１４３】
一方、トライマップ生成部２９２は、背景領域に設定された領域外の各画素について、予め定められた肌色の代表色の色成分とのマハラノビス距離を測定し、当該距離が所定値内の画素を、肌色の部分であるとして前景領域に属する画素に設定する。なお、当該肌色部分の画素を抽出する技術について特許第５０２９５４５号に記載の内容を援用する。
【０１４４】
そして、トライマップ生成部２９２は、撮像画像から背景領域又は前景領域に属しない画素について予め定められた閾値と比較して当該閾値に対して所定の条件を具備する画素を前景領域に設定する。
【０１４５】
なお、撮像画像における各領域（例えば、髪が多い顔領域より上や服やアクセサリーが多くなる顔領域の下などの各領域）に応じて異なる閾値を用いてもよい。また、首下や髪の毛の領域を特定しつつ、前景領域に設定してもよい。さらに、撮像画像における背景領域及び前景領域に属さないに各画素について既に前景領域に属する画素の色成分のヒストグラムを用いて前景領域の画素か否かを判定してもよい。
【０１４６】
他方、トライマップ生成部２９２は、撮像画像における前景領域及び背景領域に属しない各画素を境界領域として設定する。
【０１４７】
なお、トライマップ生成部２９２は、上記の各領域を設定する処理を簡易に行うことも可能である。この場合には、トライマップ生成部２９２は、撮像画像データの各画素情報に基づき、撮像時における背景となっている特定の単色（例えば、ブルー）に対応する領域を背景領域に設定するとともに、画素の色情報中に特定の色（すなわち、ブルー）の色成分が含まれていない領域であって、所定の条件を有する領域を、被写体画像の前景領域に設定する。そして、トライマップ生成部２９２は、前景領域と背景領域に設定された以外の領域を境界領域として設定する。
【０１４８】
［６．３］変形例３
上記実施形態撮像装置２０は、ブレンディング係数を所定の演算によって算出しているが、ブレンディングを行う際のブレンディング係数を、ユーザが操作部２７０に入力を行うことにより設定してもよいし、当該所定の演算を、管理サーバ装置３０によって遠隔にて設定するようにしてもよい。
【０１４９】
［６．４］変形例４
上記実施形態においては、３値化したトライマップを利用する構成を採用したが、例えば、４値又は５値のグレースケールを利用するようにしてもよい。
【０１５０】
この場合には、境界領域において、バックの色成分を幾つかの閾値により区分けして、前景領域側の領域をより白いグレーに設定し、背景領域側をより黒いグレーに設定するようにすればよい。
【０１５１】
また、この場合には、グレースケールの色の濃さによって、ブレンディング係数を変更することにより、撮像画像と、背景用画像のいずれか一方を強調させつつ、ブレンディングを行うことが可能となる。
【０１５２】
［６．５］変形例５
上記実施形態においては、画像ＩＤを用いてトライマップデータを管理しているが、撮像画像ＩＤやユーザＩＤと日付などトライマップデータを識別及び特定可能な識別情報であれば、特に限定されることはない。
【０１５３】
［６．６］変形例６
上記実施形態のデータ管理システム１は、通信端末装置１０、撮像装置２０及び管理サーバ装置３０によって構成されているが、通信端末装置１０及び本実施形態の管理サーバ装置の各機能を有する撮像装置２０と、によって構成されていてもよい。
【０１５４】
［６．７］変形例７
上記実施形態においては、通信端末装置１０に対するトライマップデータの受け渡しは、撮像装置２０から管理サーバ装置３０に一度アップロードされた後に、通信端末装置１０の要求に基づいて管理サーバ装置３０からダウンロードされることによって実行される。しかしながら、通信端末装置１０及び撮像装置２０は、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）などの有線又は無線の通信インターフェース（ネットワークインターフェースなど）を用いて撮像装置２０から通信端末装置１０に直接当該トライマップデータを提供してもよい。
【符号の説明】
【０１５５】
１  …  データ管理システム
１０  …  通信端末装置
２０  …  撮像装置
３０  …  管理サーバ装置
４０  …  ネットワーク
６０  …  基地局
２１０…  ネットワーク通信部
２２０…  Ｉ／Ｏインターフェース部
２３０…  表示部
２４０…  表示制御部
２５０…  記録部
２５１…  背景用画像データ記録部
２５２…  アプリケーション記録部
２５３…  画像データ記録部
２５４…  ＲＡＭ
２６０…  撮像部
２７０…  操作部
２８０…  撮像管理制御部
２９０…  データ処理部
２９１…  領域特定部
２９２…  トライマップ生成部
２９３…  背景用画像解析部
２９４…  ブレンディング部
３１０…  通信制御部
３２０…  ＲＯＭ／ＲＡＭ
３３０…  記録装置
３３１…  ユーザ管理ＤＢ
３３２…  トライマップ管理ＤＢ
３３３…  撮像装置管理ＤＢ
３４０…  サーバ管理制御部
３５０…  データ処理部
３５１…  ＤＢ管理制御部
３５２…  トライマップ特定部
３５３…  配信部
【図１】
2016072892.tif 000005
【図２】
2016072892.tif 000006
【図３】
2016072892.tif 000007
【図７】
2016072892.tif 000008
【図８】
2016072892.tif 000009
【図９】
2016072892.tif 000010
【図１０】
2016072892.tif 000011
【図４】
2016072892.tif 000012
【図５】
2016072892.tif 000013
【図６】
2016072892.tif 000014