(57)【要約】【課題】実際に出かけて撮影したかのような画像を作成する。【解決手段】画像処理装置５は、サービス利用者が選択した風景画像における合成位置を決定し、予め決められた又はサービス利用者が決定した視点位置から見たときの被写体の画像である合成用被写体画像を、異なる位置の複数の撮像装置２それぞれにより被写体を撮像した被写体画像を用いて生成し、さらに、風景を撮影した空間における上述の視点位置から見たときの風景の画像である合成用風景画像を、選択された風景画像を用いて生成する。画像処理装置５は、合成用被写体画像と合成用風景画像とに対して光源の方向を一致させる加工を行った後、合成位置に基づいて合成用被写体画像の下に合成用風景画像を重ね、合成用被写体画像における所定の色の画素を、同じ位置の合成用風景画像の画素となるように加工して合成画像を生成する。【選択図】図１
2020098527.tif 000002
【特許請求の範囲】
【請求項１】
風景を撮像した画像である風景画像を記憶する記憶部と、
サービス利用者による風景画像の選択を受ける受信部と、
選択された前記風景画像における合成位置を決定する合成位置決定部と、
原点に対する視点位置を決定する視点位置決定部と、
異なる位置の複数の撮像装置それぞれにより被写体を撮像した画像である被写体画像を用いて、当該被写体画像を撮影した空間において前記視点位置から見たときの前記被写体の画像である合成用被写体画像を生成する合成用被写体画像生成部と、
選択された前記風景画像を用いて、当該風景画像を撮影した空間において前記視点位置から見たときの前記風景の画像である合成用風景画像を生成する合成用風景画像生成部と、
前記合成用被写体画像及び前記合成用風景画像に対して光源の方向を一致させる加工を行う光源方向加工部と、
前記合成位置に基づいて前記合成用被写体画像の下に前記合成用風景画像を重ね、前記合成用被写体画像における所定の色の画素を、当該画素と同じ位置の前記合成用風景画像の画素となるように加工して合成画像を生成する合成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記被写体を撮像したときの環境に応じた加工を前記合成画像に対して行う環境反映加工部をさらに備える、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成用被写体画像と前記合成用風景画像とに対して縮尺を揃える加工を行う縮尺変更部をさらに備える、
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記縮尺変更部は、前記合成用被写体画像と前記合成用風景画像とに対して、前記サービス利用者が決定した前記合成用被写体画像と前記合成用風景画像との縮尺の比に応じて縮尺を変更する加工を行う、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成画像と、前記合成画像の配信に用いる情報との一方又は両方の印刷を印刷装置に指示する印刷制御部をさらに備える、
ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記視点位置決定部は、前記サービス利用者による入力に基づいて前記視点位置を決定する、
ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記合成画像の生成から所定期間経過後に、前記被写体画像と、選択された前記風景画像とは異なる風景の前記風景画像とを用いて生成された合成画像を前記サービス利用者に配信する画像出力部をさらに備える、
ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記被写体画像は動画であり、
前記視点位置決定部は、時系列の前記視点位置を決定する、
ことを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
風景を撮像した画像である風景画像を記憶する記憶部を有する画像処理装置における画像処理方法であって、
サービス利用者による風景画像の選択を受ける受信ステップと、
選択された前記風景画像における合成位置を決定する合成位置決定ステップと、
原点に対する視点位置を決定する視点位置決定ステップと、
異なる位置の複数の撮像装置それぞれにより被写体を撮像した画像である被写体画像を用いて、当該被写体画像を撮影した空間において前記視点位置から見たときの前記被写体の画像である合成用被写体画像を生成する合成用被写体画像生成ステップと、
選択された前記風景画像を用いて、当該風景画像を撮影した空間において前記視点位置から見たときの前記風景の画像である合成用風景画像を生成する合成用風景画像生成ステップと、
前記合成用被写体画像と前記合成用風景画像とに対して縮尺を揃える加工を行う縮尺変更ステップと、
前記合成用被写体画像及び前記合成用風景画像に対して光源の方向を一致させる加工を行う光源方向加工ステップと、
前記合成位置に基づいて前記合成用被写体画像の下に前記合成用風景画像を重ね、前記合成用被写体画像における所定の色の画素を、当該画素と同じ位置の前記合成用風景画像の画素となるように加工して合成画像を生成する合成ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、被写体と３次元仮想空間をリアルタイムに合成する画像処理システムがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６３４００１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
最近は、結婚式を行わずに、結婚写真だけを撮像する人が少なくない。写真館では、このようなイベントに際して、あたかも実際に様々な場所に出かけて撮影したかのような記念となる写真を提供し、利用の機会を増やしてもらいたいとのニーズがあった。
【０００５】
上記事情に鑑み、本発明は、実際に出かけて撮影したかのような画像を作成することができる画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、風景を撮像した画像である風景画像を記憶する記憶部と、サービス利用者による風景画像の選択を受ける受信部と、選択された前記風景画像における合成位置を決定する合成位置決定部と、原点に対する視点位置を決定する視点位置決定部と、異なる位置の複数の撮像装置それぞれにより被写体を撮像した画像である被写体画像を用いて、当該被写体画像を撮影した空間において前記視点位置から見たときの前記被写体の画像である合成用被写体画像を生成する合成用被写体画像生成部と、選択された前記風景画像を用いて、当該風景画像を撮影した空間において前記視点位置から見たときの前記風景の画像である合成用風景画像を生成する合成用風景画像生成部と、前記合成用被写体画像及び前記合成用風景画像に対して光源の方向を一致させる加工を行う光源方向加工部と、前記合成位置に基づいて前記合成用被写体画像の下に前記合成用風景画像を重ね、前記合成用被写体画像における所定の色の画素を、当該画素と同じ位置の前記合成用風景画像の画素となるように加工して合成画像を生成する合成部と、を備えることを特徴とする画像処理装置である。
【０００７】
本発明の一態様は、上述の画像処理装置であって、前記被写体を撮像したときの環境に応じた加工を前記合成画像に対して行う環境反映加工部をさらに備える、ことを特徴とする。
【０００８】
本発明の一態様は、上述の画像処理装置であって、前記合成用被写体画像と前記合成用風景画像とに対して縮尺を揃える加工を行う縮尺変更部をさらに備える、ことを特徴とする。
【０００９】
本発明の一態様は、上述の画像処理装置であって、前記縮尺変更部は、前記合成用被写体画像と前記合成用風景画像とに対して、前記サービス利用者が決定した前記合成用被写体画像と前記合成用風景画像との縮尺の比に応じて縮尺を変更する加工を行う、ことを特徴とする。
【００１０】
本発明の一態様は、上述の画像処理装置であって、前記合成画像と、前記合成画像の配信に用いる情報との一方又は両方の印刷を印刷装置に指示する印刷制御部をさらに備える、ことを特徴とする。
【００１１】
本発明の一態様は、上述の画像処理装置であって、前記視点位置決定部は、前記サービス利用者による入力に基づいて前記視点位置を決定する、ことを特徴とする。
【００１２】
本発明の一態様は、上述の画像処理装置であって、前記合成画像の生成から所定期間経過後に、前記被写体画像と、選択された前記風景画像とは異なる風景の前記風景画像とを用いて生成された合成画像を前記サービス利用者に配信する画像出力部をさらに備える、ことを特徴とする。
【００１３】
本発明の一態様は、上述の画像処理装置であって、前記被写体画像は動画であり、前記視点位置決定部は、時系列の前記視点位置を決定する、ことを特徴とする。
【００１４】
本発明の一態様は、風景を撮像した画像である風景画像を記憶する記憶部を有する画像処理装置における画像処理方法であって、サービス利用者による風景画像の選択を受ける受信ステップと、選択された前記風景画像における合成位置を決定する合成位置決定ステップと、原点に対する視点位置を決定する視点位置決定ステップと、異なる位置の複数の撮像装置それぞれにより被写体を撮像した画像である被写体画像を用いて、当該被写体画像を撮影した空間において前記視点位置から見たときの前記被写体の画像である合成用被写体画像を生成する合成用被写体画像生成ステップと、選択された前記風景画像を用いて、当該風景画像を撮影した空間において前記視点位置から見たときの前記風景の画像である合成用風景画像を生成する合成用風景画像生成ステップと、前記合成用被写体画像と前記合成用風景画像とに対して縮尺を揃える加工を行う縮尺変更ステップと、前記合成用被写体画像及び前記合成用風景画像に対して光源の方向を一致させる加工を行う光源方向加工ステップと、前記合成位置に基づいて前記合成用被写体画像の下に前記合成用風景画像を重ね、前記合成用被写体画像における所定の色の画素を、当該画素と同じ位置の前記合成用風景画像の画素となるように加工して合成画像を生成する合成ステップと、を有することを特徴とする画像処理方法である。
【発明の効果】
【００１５】
本発明により、実際に出かけて撮影したかのような画像を作成することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による画像処理システムの構成を示す図である。
【図２】同実施形態による撮像装置の設置例を示す図である。
【図３】同実施形態による風景画像の撮像方法を示す図である。
【図４】同実施形態による店舗端末の構成を示す機能ブロック図である。
【図５】同実施形態による画像処理装置の構成を示す機能ブロック図である。
【図６】同実施形態による画像合成部の詳細な構成を示す機能ブロック図である。
【図７】同実施形態による利用者端末の構成を示す機能ブロック図である。
【図８】同実施形態による風景画像管理情報の例を示す図である。
【図９】同実施形態による顧客情報の例を示す図である。
【図１０】同実施形態によるサービス利用情報を示す図である。
【図１１】同実施形態による配信情報の例を示す図である。
【図１２】同実施形態による画像処理システムのシーケンス図である。
【図１３】同実施形態による画像処理装置の合成画像生成処理を示すフロー図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
図１は、本発明の一実施形態による画像処理システム１の構成を示す図である。画像処理システム１は、写真館等の店舗に設置された撮像装置２、店舗端末３及び印刷装置４と、サービス提供業者の画像処理装置５及び印刷装置６と、店舗で写真を撮像してもらうサービス利用者の利用者端末７とを備える。サービス提供業者は、店舗を有する企業でもよく、店舗を有する企業とは異なる企業でもよい。画像処理装置５は、店舗端末３及び利用者端末７と、インターネットなどのネットワーク９を介して接続される。同図では、１店舗のみの撮像装置２、店舗端末３及び印刷装置４を示しているが、画像処理システム１は、複数店舗それぞれの撮像装置２、店舗端末３及び印刷装置４を有する。また、同図では利用者端末７を１台のみ示しているが、利用者端末７の台数は任意である。
【００１８】
図２は、撮像装置２の設置例を示す図である。撮像装置２は、動画や静止画などの画像を撮像するカメラである。写真館は、撮像装置２を複数有する。写真館では、緑色などの所定の背景色の壁に囲まれた被写体撮像場所２１に、複数の撮像装置２を設置する。各撮像装置２は、異なる角度から被写体を同時に撮像する。例えば、４台の撮像装置２は、被写体に対して右側、左側、正面、上側に設置される。各撮像装置２が撮像した静止画の画像には、その画像を撮像した時刻の情報が付加される。また、動画は時系列の複数の静止画と見なすことができる。動画には各静止画を撮像した時刻の情報又はその時刻を算出可能な情報が付加される。例えば、動画に、撮像開始時刻と各静止画の時間間隔を示す情報とが付加される。
【００１９】
撮像時の被写体の位置は、被写体撮像場所２１において決められた原点Ｏの近傍とする。例えば、原点Ｏは、被写体撮像場所２１の床の表面に設定する。各撮像装置２は、原点Ｏ、又は、原点Ｏから所定の高さの位置に向けられる。以下では、撮像装置２がサービス利用者を被写体として撮像した画像のデータを被写体画像と記載する。また、被写体撮像場所２１において原点Ｏを通り地面と垂直の方向をＹ軸、原点Ｏを通り地面と平行な左右方向をＸ軸、原点Ｏを通りＸ軸及びＹ軸と垂直な前後方向をＺ軸とする。
【００２０】
図３は、被写体画像と合成する風景画像の撮像方法を示す図である。風景画像は、被写体画像と合成するときに背景となる場所の３次元映像の画像データである。風景画像は、静止画でもよく、複数の静止画からなる動画でもよい。風景画像は、撮像時に任意に決定した原点Ｏ’から所定の高さの位置を中心として、撮像装置８１により３６０°の風景を撮像した画像であることが好ましいが、必ずしも３６０°に満たなくてもよい。また、例えば、ドローン８２などに撮像装置８３を取り付けて風景画像を撮像してもよい。例えば、原点Ｏ’は風景撮像場所の地表の任意の位置に設定する。また、風景撮像場所において原点Ｏ’を通り地面と垂直の方向をＹ’軸、原点Ｏ’を通り地面と平行な左右方向をＸ’軸、原点Ｏ’を通りＸ’軸及びＹ’軸と垂直な前後方向をＺ’軸とする。
【００２１】
図４は、店舗端末３の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。店舗端末３は、入力部３１と、表示部３２と、処理部３３と、記憶部３４とを備える。入力部３１は、例えば、キーボードやマウスなどであり、ユーザによる指示を入力する。表示部３２は、例えば、ディスプレイであり、画像を表示する。入力部３１及び表示部３２をタッチパネルにより実現してもよい。
【００２２】
処理部３３は、登録情報送信部３３１と、風景検索部３３２と、表示制御部３３３と、合成依頼部３３４と、印刷制御部３３５とを備える。登録情報送信部３３１は、画像処理装置５に登録する情報を送信する。風景検索部３３２は、画像処理装置５に登録されている風景画像を検索する。表示制御部３３３は、画像処理装置５から受信した情報などの各種情報を表示部３２に表示する。合成依頼部３３４は、被写体画像を含む合成依頼情報を画像処理装置５に送信する。印刷制御部３３５は、印刷装置４に画像処理装置５から受信した合成画像などの印刷を印刷装置４に指示する。印刷装置４は、例えば、プリンタであり、印刷を行う。
【００２３】
図５は、画像処理装置５の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。画像処理装置５は、例えば、１台以上のコンピュータ装置により実現される。画像処理装置５がネットワーク接続される複数のコンピュータ装置により実現される場合、いずれのコンピュータ装置によりいずれの機能部が実現されるかは任意とすることができる。また、１つの機能部を複数のコンピュータ装置により実現してもよい。画像処理装置５は、記憶部５１と、処理部５２とを備える。
【００２４】
記憶部５１は、風景画像管理情報、顧客情報、サービス利用情報、配信情報、店舗情報などの各種情報を記憶する。風景画像管理情報は、風景画像と、どのような風景を撮像した風景画像であるかの情報と、合成画像を生成する際に用いられる風景画像付加情報とを含む。風景画像付加情報は、例えば、原点に対する光源の位置、解像度、撮像装置と原点の距離などの情報を含む。風景画像が動画の場合、風景画像管理情報には、動画を構成する各静止画の風景画像付加情報、又は、各静止画の風景画像付加情報を取得可能な情報が含まれる。顧客情報は、サービス利用者の名前や住所、電子メールアドレスなどの情報を含む。サービス利用情報は、各サービス利用者が画像合成サービスを利用したときの撮像目的、被写体画像、被写体画像の撮像日時、合成画像、合成画像の生成日時などの情報を含む。配信情報は、サービス利用後にサービス利用者に送信した情報を含む。店舗情報は、各店舗の名称、住所などの情報を含む。
【００２５】
処理部５２は、顧客情報登録部５２１と、風景情報提供部５２２と、合成依頼受信部５２３と、画像合成部５２４と、画像出力部５２５と、印刷制御部５２６と、検出部５２７とを備える。
【００２６】
顧客情報登録部５２１は、店舗端末３から受信した顧客情報を記憶部５１に登録する。風景情報提供部５２２は、記憶部５１に記憶される風景画像管理情報から取得した風景画像や、風景画像に関する情報を店舗端末３に送信する。合成依頼受信部５２３は、サービス利用者による風景画像の選択を受ける受信部として動作する。合成依頼受信部５２３は、店舗端末３から合成依頼情報を受信する。合成依頼情報は、被写体画像、撮像目的、被写体画像との合成を行う風景画像を特定する情報、合成画像を生成する際に用いられる被写体画像付加情報を含む。被写体画像が動画の場合、動画を構成する各静止画の被写体画像付加情報、又は、被写体画像付加情報を取得可能な情報が合成依頼情報に含まれる。以下では、被写体画像と合成する風景画像を合成対象風景画像と記載する。
【００２７】
画像合成部５２４は、被写体画像付加情報及び風景画像付加情報を用いて被写体画像と合成対象風景画像を合成し、合成画像を生成する。画像出力部５２５は、画像合成部５２４が生成した合成画像又は合成画像が含まれる広告等の通知を店舗端末３又は利用者端末７に送信する。印刷制御部５２６は、画像合成部５２４が生成した合成画像と、その合成画像の配信に用いる情報との一方又は両方を印刷するよう印刷装置６を制御する。合成画像の配信に用いる情報は、例えば、二次元バーコードやＡＲマーカーなどである。
【００２８】
検出部５２７は、サービス利用者がサービスを利用してから所定期間が経過した、あるいは、新たな合成画像の生成タイミングにタイミングとなったことを検出し、新たな合成画像の生成を画像合成部５２４へ指示する。検出部５２７は、サービス利用者がサービスを利用したときに選択した風景画像とは異なる風景画像を用いて合成画像を生成するよう画像合成部５２４に指示する。検出部５２７は、生成された合成画像又は合成画像を含む通知の配信を画像出力部５２５に指示する。なお、検出部５２７は、新たに生成された合成画像又は通知の印刷を印刷制御部５２６に指示してもよい。
【００２９】
図６は、画像合成部５２４の詳細な構成を示す機能ブロック図である。画像合成部５２４は、合成位置決定部５３０と、視点位置決定部５３１と、合成用被写体画像生成部５３２と、合成用風景画像生成部５３３と、縮尺変更部５３４と、光源方向加工部５３５と、解像度変更部５３６と、明るさ加工部５３７と、合成部５３８と、環境反映加工部５３９とを備える。
【００３０】
合成位置決定部５３０は、合成対象風景画像と被写体画像との合成位置を決定する。視点位置決定部５３１は、原点に対する合成画像の視点位置を決定する。合成用被写体画像生成部５３２は、異なる設置位置の撮像装置２それぞれにより撮像した被写体画像を用いて、当該被写体画像を撮影したＸＹＺ空間において視点位置から見たときの被写体の画像である合成用被写体画像を生成する。合成用風景画像生成部５３３は、合成対象風景画像を用いて、当該合成対象風景画像を撮影したＸ’Ｙ’Ｚ’空間において視点位置からみたときの風景の画像である合成用風景画像を生成する。
【００３１】
縮尺変更部５３４は、合成用被写体画像と合成用風景画像とに対して、縮尺を揃える加工を行う。縮尺変更部５３４は、合成用被写体画像と合成用風景画像とに対して、サービス利用者が決定した合成用被写体画像と合成用風景画像との縮尺の比に応じて縮尺を変更する加工を行ってもよい。光源方向加工部５３５は、合成用被写体画像及び合成用風景画像に対して、光源の方向を一致させる加工を行う。解像度変更部５３６は、合成用被写体画像及び合成用風景画像の解像度を揃えるよう加工を行う。明るさ加工部５３７は、合成用被写体画像及び合成用風景画像に対して、明るさを揃えるよう加工を行う。
【００３２】
合成部５３８は、合成位置に基づいて合成用被写体画像の下に合成用風景画像を重ね、合成用被写体画像における所定の色の画素を、その画素と同じ位置の合成用風景画像の画素となるように加工して合成画像を生成する。環境反映加工部５３９は、合成画像に対して、被写体画像を撮像した日時における天気や季節等の環境に応じた加工を行う。
【００３３】
図７は、利用者端末７の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。利用者端末７は、サービス利用者が使用するパーソナルコンピュータや、タブレット端末、スマートフォンなどである。利用者端末７は、入力部７１と、表示部７２と、読取部７３と、処理部７４とを備える。入力部７１は、例えば、キーボードやマウス、タッチパネルに配されたセンサなどであり、ユーザによる指示を入力する。表示部７２は、例えば、ディスプレイであり、画像を表示する。入力部７１及び表示部７２をタッチパネルにより実現してもよい。読取部７３は、例えば、カメラであり、画像を読み取る。処理部７４は、入力部７１により入力された指示に従って情報を画像処理装置５に送信したり、画像処理装置５から受信した情報を表示部７２に表示したりする。
【００３４】
続いて、画像処理装置５の記憶部５１に記憶される情報を説明する。
図８は、風景画像管理情報の例を示す図である。風景画像管理情報は、風景画像ＩＤと、風景画像と、場所と、タグ情報と、撮像日時と、天候と、風景画像付加情報とを含む。風景画像ＩＤは、風景画像（又は風景画像管理情報）を特定する情報である。場所は、風景画像が撮像された場所の名称（例えば、ハワイ、富士山、ドイツのＸＸ城、など）を示す。タグ情報は、風景画像の検索に用いられる情報である。撮像日時は、風景画像が撮像された日時を示す。天候は、風景画像が撮像された時の天気や気温などを示す。風景画像付加情報は、例えば、原点に対する光源の位置、解像度、撮像装置８１、８３と原点Ｏ’の距離などの情報を含む。風景画像が動画の場合、動画を構成する各静止画の風景画像付加情報、又は、風景画像付加情報を取得可能な情報が風景画像管理情報に含まれる。風景画像付加情報は、撮像装置８１、８３が撮像時に付加した情報でもよく、風景画像を解析してられた情報でもよい。
【００３５】
図９は、顧客情報の例を示す図である。顧客情報は、利用者ＩＤ、サービス利用者の名前、住所、電子メールアドレスなどの情報を含む。利用者ＩＤは、サービス利用者を一意に特定する情報である。
【００３６】
図１０は、サービス利用情報を示す図である。サービス利用情報は、利用者ＩＤ、店舗ＩＤ、サービス利用ＩＤ、撮像目的、被写体画像ＩＤ、合成画像生成予定、被写体画像ＩＤにより特定される被写体画像、被写体画像付加情報、被写体画像の撮像日時、合成対象風景画像の風景画像ＩＤ、合成画像ＩＤ、合成画像ＩＤにより特定される合成画像、合成画像生成日時などの情報を含む。店舗ＩＤは、写真館などの店舗を識別する情報である。サービス利用ＩＤは、サービス利用者が利用するサービスに対して付与される識別情報である。合成画像生成予定は、最初の合成画像生成以降に新たな合成画像を生成する予定がある場合、その日付又はタイミングを示す。被写体画像ＩＤは、被写体画像を特定する識別情報である。合成画像ＩＤは、合成画像を特定する識別情報である。被写体画像付加情報は、撮像装置２が撮像時に被写体画像に付加した情報であるが、被写体画像を解析してられた情報でもよい。
【００３７】
図１１は、配信情報の例を示す図である。配信情報は、情報配信先のサービス利用者の利用者ＩＤと、配信日時と、配信画像ＩＤと、配信画像ＩＤにより特定される配信画像とを含む。配信日時は、サービス利用者に画像を配信した日時を示す。配信画像ＩＤは、配信した画像を特定する情報である。配信画像は、サービス利用者がサービスを利用した後に生成した合成画像や、合成対象風景画像とは異なる風景画像である。
【００３８】
続いて、画像処理システム１の動作について説明する。予め画像処理装置５の記憶部５１には、風景画像管理情報が登録されている。
【００３９】
図１２は、画像合成サービス提供時の画像処理システム１のシーケンス図である。
サービス利用者の顧客情報が画像処理装置５に登録されていない場合、店舗端末３の入力部３１により、サービス利用者の名前、住所、電子メールアドレスが入力される。登録情報送信部３３１は、入力された情報が設定された顧客情報登録要求を画像処理装置５に送信する（ステップＳ１１）。画像処理装置５の顧客情報登録部５２１は、利用者ＩＤを割り当て、割り当てた利用者ＩＤと、顧客情報登録要求により受信した情報とを設定した顧客情報を生成し、記憶部５１に登録する（ステップＳ１２）。顧客情報登録部５２１は、割り当てた利用者ＩＤを設定した登録完了通知を店舗端末３に送信し、表示部３２に表示させてもよい。
【００４０】
続いて、店舗端末３の風景検索部３３２は、入力部３１により入力された風景画像の検索キーを画像処理装置５に送信する（ステップＳ１３）。画像処理装置５の風景情報提供部５２２は、記憶部５１に記憶される風景画像管理情報を検索キーにより検索する（ステップＳ１４）。風景情報提供部５２２は、検索により見つかった風景画像管理情報のそれぞれから得られた風景画像ＩＤ、風景画像、場所、タグ情報、撮像日時、天候などの情報を設定した風景画像検索結果情報を店舗端末３に送信する（ステップＳ１５）。店舗端末３の表示制御部３３３は、風景画像検索結果情報を表示部３２に表示する（ステップＳ１６）。サービス利用者は、表示部３２に表示される風景画像検索結果情報を見て、合成対象風景画像とするか否かを判断する。
【００４１】
画像処理システム１は、サービス利用者が合成対象風景画像を決定するまで、ステップＳ１３から処理を繰り返す（ステップＳ１７）。サービス利用者が、合成対象風景画像を決定すると、写真館では、被写体撮像場所２１において複数の撮像装置２によりサービス利用者を撮像する。店舗端末３は、各撮像装置２が撮像した被写体画像を受信する（ステップＳ１８）。
【００４２】
店舗端末３は、入力部３１による入力に基づいて、被写体画像と、サービス利用者が選択した合成対象風景画像の風景画像ＩＤと、店舗ＩＤと、撮像目的と、撮像日時と、被写体画像付加情報と、合成画像生成予定とを含んだ合成依頼情報を店舗端末３に送信する（ステップＳ１９）。被写体画像付加情報は、例えば、被写体画像の解像度、各被写体画像を撮像した撮像装置２と原点の距離及び角度などの情報である。被写体画像が映像の場合、映像を構成する各静止画の被写体画像付加情報、又は、被写体画像付加情報を取得可能な情報が合成依頼情報に含まれる。撮像目的は、例えば、結婚式、家族写真などである。合成画像生成予定は、オプションである。合成依頼情報に、風景画像において被写体画像の原点Ｏを合成する合成位置の情報が含まれてもよい。例えば、店舗端末３の表示部３２が表示する合成対象風景画像において、マウス等の入力部３１により合成位置が指定される。
【００４３】
画像処理装置５の合成依頼受信部５２３は、合成依頼情報を受信すると、サービス利用ＩＤ及び被写体画像ＩＤを割り当てる。合成依頼受信部５２３は、割り当てたサービス利用ＩＤ及び被写体画像ＩＤと、受信した合成依頼情報に含まれる情報を用いてサービス利用情報を生成し、記憶部５１に書き込む（ステップＳ２０）。なお、撮像装置２又は店舗端末３が被写体画像に被写体画像ＩＤを付与し、合成依頼受信部５２３は、付与された被写体画像ＩＤを合成依頼情報に設定してもよい。
【００４４】
画像処理装置５の画像合成部５２４は、画像依頼情報に設定されている被写体画像及び被写体画像付加情報と、合成対象風景画像及び合成画像付加情報とを用いて、被写体画像と合成対象風景画像を合成し、合成画像を生成する（ステップＳ２１）。ステップＳ２１における合成画像生成処理の詳細については、後述の図１３で説明する。画像合成部５２４は、生成した合成画像に合成画像ＩＤを割り当て、記憶部５１に登録されているサービス利用情報に、合成対象風景画像の風景画像ＩＤ、割り当てた合成画像ＩＤ、合成画像、合成画像の生成日時を追加する（ステップＳ２２）。
【００４５】
画像処理装置５の画像出力部５２５は、画像合成部５２４が合成した合成画像を店舗端末３に送信する（ステップＳ２３）。店舗端末３の表示制御部３３３は、画像処理装置５から受信した合成画像を表示部３２に表示する（ステップＳ２４）。店舗端末３の印刷制御部３３５は、合成画像を印刷装置４により印刷し、店舗は印刷された合成画像をサービス利用者に渡してもよい。
【００４６】
画像処理装置５の印刷制御部５２６は、ステップＳ２１において生成された合成画像を印刷装置６により印刷する（ステップＳ２５）。例えば、印刷装置６は、フォトブック（アルバム）を構成する各ページなどの印刷媒体に、合成画像を印刷する。印刷制御部５２６は、記憶部５１における合成画像の格納場所又は合成画像の合成画像ＩＤなどを表す二次元バーコード又はＡＲマーカーをさらに印刷してもよい。合成画像が印刷されたページは、フォトブック等に組み立てられてサービス利用者に配送される。あるいは、店舗にフォトブックを配送し、店舗においてフォトブックをサービス利用者に渡すようにしてもよい。また、店舗端末３の印刷制御部３３５が、印刷装置４により、フォトブックを構成する各ページに合成画像を印刷し、店舗においてフォトブックを組み立ててもよい。また、フォトブックは、将来的に新たに生成する合成画像を添付するための空白のページを含むものであってもよい。
【００４７】
フォトブックを受け取ったサービス利用者は、利用者端末７の読取部７３により二次元バーコード又はＡＲマーカーを読み取る。利用者端末７の処理部７４は、読み取った二次元バーコード又はＡＲマーカーを用いて画像処理装置５にアクセスし、利用者ＩＤを送信する。画像処理装置５の画像出力部５２５は、利用者ＩＤにより特定されるサービス利用情報から合成画像を読み出して利用者端末７に送信する。利用者端末７の処理部７４は、画像処理装置５から受信した合成画像を表示部７２に表示する。
【００４８】
なお、被写体の撮像をステップＳ１１の前、又は、ステップＳ１３の前に行ってもよい。この場合、図１２のシーケンス図におけるステップＳ１８の処理は、ステップＳ１１の前、又は、ステップＳ１３の前となる。
また、図１２のシーケンス図におけるステップＳ１１及びステップＳ１２の処理を、ステップＳ１８の処理の前又は後に行ってもよい。
【００４９】
図１３は、画像合成部５２４における合成画像生成処理を示すフロー図である。このフロー図は、１枚の静止画を作成するときのフロー図である。
【００５０】
合成位置決定部５３０は、被写体画像と合成対象風景画像との合成位置を決定する（ステップＳ３１）。例えば、被写体画像の原点Ｏと、合成対象風景画像の原点Ｏ’とを合わせるように合成位置を決定する。なお、サービス利用者が合成位置を指定する場合、画像合成部５２４は、被写体画像の原点Ｏと合わせる合成対象風景画像の位置を合成依頼情報から取得する。
【００５１】
視点位置決定部５３１は、原点Ｏに対する視点位置Ｐ１（ｘ１，ｙ１，ｚ１）を決定する（ステップＳ３２）。視点位置Ｐ１は、例えば、所定の位置でもよく、サービス利用者が指定した位置でもよい。サービス利用者が視点位置Ｐ１を指定する場合、店舗端末３の合成依頼部３３４は合成依頼情報にサービス利用者が指定した視点位置を設定する。画像処理装置５の画像合成部５２４は、視点位置Ｐ１を合成依頼情報から取得する。
【００５２】
合成用被写体画像生成部５３２は、合成依頼情報から取得した複数の被写体画像を用いて、視点位置Ｐ１からみたときの被写体の画像である合成用被写体画像を生成する（ステップＳ３３）。合成用風景画像生成部５３３は、合成対象風景画像を用いてＸ’Ｙ’Ｚ’空間における視点位置Ｐ１（ｘ１，ｙ１，ｚ１）からみたときの風景の画像である合成用風景画像を生成する（ステップＳ３４）。
【００５３】
縮尺変更部５３４は、合成用被写体画像と合成用風景画像との縮尺が同じとなるように、合成用被写体画像又は合成対象風景画像を拡大又は縮小する（ステップＳ３５）。なお、サービス利用者が合成用被写体画像と合成用風景画像の縮尺の比を指定する場合、店舗端末３の合成依頼部３３４は合成依頼情報にサービス利用者が指定した縮尺の比を設定する。例えば、被写体のサイズを、風景の１．２倍にする、１０倍にするなどの指定が可能である。画像処理装置５の画像合成部５２４は、縮尺の比を合成依頼情報から取得し、指定された比となるように合成用被写体画像又は合成対象風景画像を拡大又は縮小する。
【００５４】
光源方向加工部５３５は、合成用被写体画像と合成用風景画像の光源の方向が一致するように、合成用被写体画像と合成用風景画像を加工する（ステップＳ３６）。解像度変更部５３６は、合成用被写体画像及び合成用風景画像の解像度を、低いほうに揃えるように加工する（ステップＳ３７）。明るさ加工部５３７は、輝度を変更するなどして、合成用被写体画像及び合成用風景画像の明るさを揃えるよう加工する（ステップＳ３８）。
【００５５】
合成部５３８は、合成用被写体画像の原点Ｏと合成用風景画像の合成位置とが重なるように、合成用風景画像の上に合成用被写体画像を重ねる（ステップＳ３９）。合成部５３８は、合成用被写体画像における背景色（緑色）の画素の部分については、下に重ねた合成用風景画像の画素となるように加工する（ステップＳ４０）。
【００５６】
環境反映加工部５３９は、合成した画像に、被写体画像を撮像した日時における天気や季節等の環境に応じた加工を行う（ステップＳ４１）。例えば、晴れ、又は、夏であれば明るく鮮やかな色合いに、曇り、又は、冬であれば色合いを暗くする。また、季節が秋の場合、風景に写っている木に対して、紅葉しているような色とするよう加工を行う。環境反映加工部５３９は、例えば、画像処理装置５が備える時計に基づいて季節を判断する。また、環境反映加工部５３９は、ネットワーク９を介して接続される図示しない情報提供サーバのウェブサイトなどから天気や気温などの環境の情報を得る。
【００５７】
なお、図１３に示す処理フローにおけるステップＳ３５〜ステップＳ３８の処理を適宜入れ替えてもよい。
【００５８】
図１３に示す処理は、１枚の静止画を生成する場合を示しているため、動画を生成する場合、画像合成部５２４は、動画の開始から所定の時間間隔のタイミング毎に視点位置を決定し、図１３のステップＳ３２以降の処理を行う。例えば、動画の開始から所定の時間間隔のタイミングをＴ１、Ｔ２、Ｔ３、…とした場合、各タイミングＴｉ（ｉ＝１、２、３、…）における視点位置Ｐｉ（ｘｉ，ｙｉ，ｚｉ）を決定する。この時系列の視点位置Ｐｉの動きをカメラワークとも記載する。画像合成部５２４は、ｉ＝１、２、３、…の順に、視点位置Ｐ１に代えて視点位置Ｐｉを用いて、図１３のステップＳ３２以降の処理を行う。被写体画像が静止画である場合、合成用被写体画像生成部５３２は、ｉ＝１、２、３、…とも、同じ被写体画像を用いて視点位置Ｐｉからみたときの被写体の画像である合成用被写体画像を生成し、合成用風景画像生成部５３３は、同じ合成対象風景画像を用いて視点位置Ｐｉから見たときの合成用風景画像を生成する。一方、被写体画像が動画の場合、合成用被写体画像生成部５３２は、被写体画像を構成する時系列の静止画のうち、タイミングＴｉの静止画を用いて、視点位置Ｐｉからみたときの被写体の画像である合成用被写体画像を生成する。さらに、合成対象風景画像が動画の場合、合成用風景画像生成部５３３は、合成対象風景画像を構成する時系列の静止画のうち、タイミングＴｉの静止画を用いて、視点位置Ｐｉからみたときの合成用風景画像を生成する。
【００５９】
なお、カメラワークは、予め決められてもよく、店舗端末３の入力部３１による入力に基づいて決定してもよい。また、画像処理装置５は、利用者端末７からアクセスを受け、動画の合成画像を提供することが可能な場合、利用者端末７の入力部７１による入力に基づいてカメラワークを決定してもよい。入力部３１、入力部７１として、トラックボールやジョイスティック、タッチパネル、矢印キーなどを用いることができる。また、画面に表示された方向操作用のアイコンに対する操作などでもよい。なお、カメラワークとして指定可能な角度の範囲は、ＸＹＺ座標系における撮像装置２の設置位置に応じて決まる。つまり、複数の撮像装置２が撮像した被写体画像からは、ある視点から見た被写体画像を生成できない場合、その視点はカメラワークとして指定可能な範囲外とする。
【００６０】
画像合成部５２４は、店舗端末３又は利用者端末７から各タイミングＴｉの視点位置Ｐｉが入力される度に、その視点位置Ｐｉを用いて合成画像を生成し、画像出力部５２５は、生成された合成画像を都度、店舗端末３又は利用者端末７に送信して表示させてもよい。これにより、カメラワークに指示の入力に応じて、リアルタイムに動画の合成画像を店舗端末３又は利用者端末７に表示させることができる。
【００６１】
画像処理装置５は、撮像日から所定期間経過後に、新たな合成画像をサービス利用者に提供したり、再び写真館で撮像を行うよう促す広告をサービス利用者に配信したりすることができる。
【００６２】
画像処理装置５の検出部５２７は、サービス利用情報を参照して、合成画像生成予定のタイミングとなった、又は、撮像日から所定の期間が経過したサービス利用情報を検出する。所定の期間は、例えば、撮像目的に応じて決められてもよい。例えば、結婚写真であれば所定の期間を、１年〜５０年までの毎年とすることができる。また、小学校入学であれば、小学校卒業前に広告を配信できるよう、所定期間を５年半とすることができる。検出部５２７は、新たな合成画像の生成を画像合成部５２４に指示し、生成された新たな合成画像、又は、新たな合成画像を含んだ記念日のお知らせや、次の撮像機会のお知らせなどを、サービス利用者の電子メールアドレスを宛先に用いて送信するよう画像出力部５２５に指示する。電子メールアドレスは、検出したサービス利用情報と同じ利用者ＩＤが設定されている顧客情報から得られる。
【００６３】
検出部５２７は、新たに生成する合成画像の合成対象風景画像として、サービス利用時の合成対象風景画像とは異なる風景画像や、サービス利用時の合成対象風景画像と同じ場所の現在の風景画像などを選択し、画像合成部５２４に指示する。同一のサービス利用者にお知らせを複数回送信する場合には、風景画像が毎回異なるようにしてもよい。これにより、毎年異なる場所で撮像したような合成画像をサービス利用者に提供することもできる。
【００６４】
例えば、画像合成部５２４は、サービス利用時に合成画像を生成したときと同様の合成位置、視点、縮尺の比などの条件により、被写体画像と、検出部５２７が選択した合成対象風景画像とを用いて新たな合成画像を生成する。合成位置、視点、縮尺の比の少なくともいずれかを、サービス提供業者が決めたものとしてもよい。また、サービス利用時に動画の合成画像を生成した場合、検出部５２７は、その動画におけるカメラワークの一部の区間のカメラワークのみを使用して、通知に含める新たな動画の合成画像を生成するよう画像合成部５２４に指示してもよく、そのカメラワーク内のある一点の視点のみを使用して、通知に含める静止画の合成画像を生成するよう画像合成部５２４に指示してもよい。
【００６５】
サービス利用時の合成対象風景画像とは異なる風景画像を新たな合成画像の生成に用いる場合、検出部５２７は、その風景画像を、撮像目的、被写体画像の撮像日時、被写体画像が撮像された日の天気や気温、被写体画像を撮影した店舗がある地域、合成対象風景画像の場所や撮像日時、合成対象風景画像を撮像したときの天気や気温の少なくともいずれかに基づいて選択してもよい。撮像目的、被写体画像の撮像日時、被写体画像が撮像された日の天気や気温はサービス利用情報から得られる。被写体画像を撮影した店舗がある地域は、サービス利用情報に設定されている店舗ＩＤの店舗の住所を店舗情報から読み出すことにより得られる。合成対象風景画像の場所や撮像日時、合成対象風景画像を撮像したときの天気や気温の情報は、サービス利用情報に設定されている風景画像ＩＤにより特定される風景画像管理情報から得られる。例えば、結婚写真であれば、新婚旅行などで多くの人が訪れる場所、リムジンが玄関前に停車している建物、外国の教会やお城など結婚式や結婚のお祝いが行われる場所の風景画像を選択する。また、クリスマスが近い時期の家族写真であれば、各国のクリスマスの風景の風景画像を選択する。
【００６６】
また、画像合成部５２４は、新たな合成画像を生成する際に、サービス利用時からの経過期間に応じて、被写体画像中の人物が年をとっているような加工をしてもよい。また、画像合成部５２４は、サービス利用時に生成した合成画像に対して、サービス利用時からの経過期間に応じた時間が経過しているような加工（例えば、セピア色の度合いを濃くするなど）を行って、新たな合成画像としてもよい。
【００６７】
また、お知らせには、新たな合成画像に代えて、サービス利用時の合成対象風景画像とは異なる風景画像や、サービス利用時の合成対象風景画像と同じ場所の現在の風景画像を含め、次回のサービス利用時に利用をお勧めする文章を添えてもよい。
【００６８】
検出部５２７は、利用者ＩＤと、新たに生成して配信した合成画像又は配信した風景画像である配信画像と、配信した合成画像に割り当てた合成画像ＩＤ又は配信した風景画像の風景画像ＩＤを示す配信画像ＩＤと、配信日時とを含む配信情報を生成し、記憶部５１に書き込む。
【００６９】
上述した実施形態によれば、画像処理装置５は、バーチャル空間と合成した違和感のない画像を提供することが可能となる。また、撮影を行った記念日の天候などの環境情報を反映させることにより、記念日を思い起こす際の感慨を深めることができる。また、被写体画像を合成するときの縮尺を自由に設定可能とすることにより、違和感のない合成画像ではなく、面白みのある記念の合成画像を提供することもできる。また、簡易なインタフェースによりカメラワークを指定して、動画の合成画像を生成することも可能である。また、画像処理装置５から合成画像を取得可能な情報を付した冊子を利用者に届けることも可能である。
【００７０】
上述した実施形態における店舗端末３、画像処理装置５、及び、利用者端末７の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００７１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７２】
１…画像処理システム
２…撮像装置
３…店舗端末
４…印刷装置
５…画像処理装置
６…印刷装置
７…利用者端末
９…ネットワーク
２１…被写体撮像場所
３１…入力部
３２…表示部
３３…処理部
３４…記憶部
５１…記憶部
５２…処理部
５５…画像処理装置
７１…入力部
７２…表示部
７３…読取部
７４…処理部
８１…撮像装置
８２…ドローン
８３…撮像装置
３３１…登録情報送信部
３３２…風景検索部
３３３…表示制御部
３３４…合成依頼部
３３５…印刷制御部
５２１…顧客情報登録部
５２２…風景情報提供部
５２３…合成依頼受信部
５２４…画像合成部
５２５…画像出力部
５２６…印刷制御部
５２７…検出部
【図１】
2020098527.tif 000003
【図２】
2020098527.tif 000004
【図３】
2020098527.tif 000005
【図４】
2020098527.tif 000006
【図５】
2020098527.tif 000007
【図６】
2020098527.tif 000008
【図７】
2020098527.tif 000009
【図８】
2020098527.tif 000010
【図９】
2020098527.tif 000011
【図１０】
2020098527.tif 000012
【図１１】
2020098527.tif 000013
【図１２】
2020098527.tif 000014
【図１３】
2020098527.tif 000015