(57)【要約】      （修正有）【課題】演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができる。【解決手段】撮影システムは、管理装置と、少なくとも１以上の撮影装置とを備える。管理装置は、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを記憶し、使用を許可する撮影装置に送信するとともに、撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を撮影装置に送信する。撮影装置は、管理装置から受信したコンテンツデータを記憶し、コンテンツ一覧からユーザにより選択されたコンテンツの拡張現実用映像データと、カメラが撮影したユーザの撮影映像とを合成して合成映像を表示し、選択されたコンテンツの音声データを合成映像に同期して出力するとともに、合成映像の少なくとも一部を記録した記録画像を管理装置に送信し、管理装置から受信した保存場所を示す情報を表示部に表示する。【選択図】図１０
2020150289.tif 000002
【特許請求の範囲】
【請求項１】
管理装置と、少なくとも１以上の撮影装置と、を備え、
前記管理装置は、
演者の拡張現実用映像データ及び音声データを含むコンテンツデータを記憶する記憶部と、
前記コンテンツデータの使用を許可する撮影装置に、前記コンテンツデータを送信するコンテンツデータ管理部と、
前記撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信する保存部と、
を備え、
前記撮影装置は、
ユーザを撮影するカメラと、
表示部と、
前記管理装置から受信したコンテンツデータを記憶する記憶部と、
前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択部と、
ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、
前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力部と、
前記記録画像を、前記管理装置に送信する送信部と、
前記保存場所情報を受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示部と、
を備える
撮影システム。
【請求項２】
前記演者を撮影するカメラと、
前記カメラで撮影された演者の撮影映像から、前記演者の拡張現実用映像データを生成する拡張現実用映像データ生成部と、
前記演者の音声を取得するマイクと、
前記マイクで取得された前記演者の音声から、音声データを生成する音声データ生成部と、
前記拡張現実用映像データ及び音声データを少なくとも含むライブコンテンツデータを、前記管理装置に送信する送信部と、
を備える演者撮影装置を備え、
前記管理装置は、前記ライブコンテンツデータを受信し、少なくとも１以上の前記撮影装置に前記ライブコンテンツデータをライブ配信するライブ配信部を備え、
前記撮影装置は、前記ライブコンテンツデータを受信する受信部を備え、
前記撮影装置の前記映像合成部は、前記ライブコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録し、
前記撮影装置の前記音声出力部は、前記ライブコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する
請求項１に記載の撮影システム。
【請求項３】
前記管理装置は、
広告用のサイネージデータを記憶する記憶部と、
前記サイネージデータを、前記管理装置に送信する送信部と、
を備え、
前記撮影装置は、
前記管理装置から受信したサイネージデータを記憶する記憶部と、
ユーザによるコンテンツの選択を所定時間受け付けなかった場合、前記サイネージデータを用いて、前記表示部に広告を表示するサイネージ制御部と、
を備える
請求項１又は請求項２に記載の撮影システム。
【請求項４】
ユーザを撮影するカメラと、
表示部と、
コンテンツを管理する管理装置から、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを受信する受信部と、
前記受信したコンテンツデータを記憶する記憶部と、
前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択部と、
ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、
前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力部と、
前記記録画像を、保存のために前記管理装置に送信する送信部と、
前記記録画像の保存場所を示す保存場所情報を、前記管理装置から受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示部と、
を備える撮影装置。
【請求項５】
演者を撮影したライブ映像から生成された前記演者の拡張現実用映像データと、前記演者の音声から生成された音声データとを少なくとも含むライブコンテンツデータを、前記管理装置から受信する受信部を備え、
前記映像合成部は、前記ライブコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録し、
前記音声出力部は、前記ライブコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する
請求項４に記載の撮影装置。
【請求項６】
前記管理装置から受信した広告用のサイネージデータを記憶する記憶部と、
ユーザによるコンテンツの選択を所定時間受け付けなかった場合、前記サイネージデータを用いて、前記表示部に広告を表示するサイネージ制御部と、
を備える
請求項４又は請求項５に記載の撮影装置。
【請求項７】
管理装置と、少なくとも１以上の撮影装置と、を備える撮影システムにおける管理装置であって、
前記撮影装置で使用される、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを記憶する記憶部と、
前記コンテンツデータの使用を許可する撮影装置に、前記コンテンツデータを送信するコンテンツデータ管理部と、
前記演者の拡張現実用映像データと、前記撮影装置で撮影されたユーザの撮影映像とを合成した合成映像の少なくとも一部を含む記録画像を、前記撮影装置から受信し、前記記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信する保存部と、
を備える管理装置。
【請求項８】
管理装置と、少なくとも１以上の撮影装置と、を備える撮影システムにおける撮影方法であって、
前記管理装置は、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを、前記コンテンツデータの使用を許可する撮影装置に送信し、
前記撮影装置は、前記管理装置からコンテンツデータを受信し、受信したコンテンツデータを記憶し、
前記撮影装置は、前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付け、
前記撮影装置は、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を、前記撮影装置の表示部に表示し、
前記撮影装置は、前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力し、
前記撮影装置は、前記合成映像の少なくとも一部を記録画像として記録し、
前記撮影装置は、前記記録画像を、前記管理装置に送信し、
前記管理装置は、前記撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信し、
前記撮影装置は、前記保存場所情報を受信し、前記保存場所を示す情報を前記表示部に表示する
撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影システム、撮影装置、管理装置及び撮影方法に関する。
【背景技術】
【０００２】
従来、利用者を含む被写体をカメラで撮影し、その撮影画像と付加画像とを合成した合成画像を印刷写真として出力する遊戯用の自動写真作成装置がある。
【０００３】
しかし、上記の自動写真作成装置は、装置メーカが、付加画像としての画像ソースを別に作成して予め装置に記憶させておき、それを利用者が編集作業で利用するようになっている。従って、利用者は、装置メーカ側で予め用意された付加画像を利用するしかなく、十分な満足感を得ることができない。
【０００４】
そこで、先行被写体の撮影画像やその編集画像を、後続被写体としての利用者の撮影画像に付加するための新たな付加画像として登録することができる自動写真作成装置が発明されている（特許文献１）。尚、先行被写体は、パブリシティ権や商品化権が認められ得る付加価値を有する人、例えば、タレント等である。これにより、タレント等と並んだ写真を撮影することができ、従来にはない満足感が得られるとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2008-005401号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上記自動写真作成装置の付加画像が静止画であり、上記自動写真作成装置の目的は、ユーザとタレント等とが並んだ写真を提供することである。
【０００７】
しかしながら、上記自動写真作成装置は、ユーザは、タレント等と同じ空間を共有するような体験をすることができず、単なる合成写真の提供に留まっており、ユーザに十分な満足感を与えるものではなかった。
【０００８】
そこで、本発明は、ユーザがタレント等の演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができる撮影システム、撮影装置、管理装置及び撮影方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様は、管理装置と、少なくとも１以上の撮影装置と、を備え、前記管理装置は、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを記憶する記憶部と、前記コンテンツデータの使用を許可する撮影装置に、前記コンテンツデータを送信するコンテンツデータ管理部と、前記撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信する保存部と、を備え、前記撮影装置は、ユーザを撮影するカメラと、表示部と、前記管理装置から受信したコンテンツデータを記憶する記憶部と、前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択部と、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力部と、前記記録画像を、前記管理装置に送信する送信部と、前記保存場所情報を受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示部と、を備える撮影システムである。
【００１０】
本発明の一態様は、ユーザを撮影するカメラと、表示部と、コンテンツを管理する管理装置から、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを受信する受信部と、前記受信したコンテンツデータを記憶する記憶部と、前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択部と、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成部と、前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力部と、前記記録画像を、保存のために前記管理装置に送信する送信部と、前記記録画像の保存場所を示す保存場所情報を、前記管理装置から受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示部と、を備える撮影装置である。
【００１１】
本発明の一態様は、管理装置と、少なくとも１以上の撮影装置と、を備える撮影システムにおける管理装置であって、前記撮影装置で使用される、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを記憶する記憶部と、前記コンテンツデータの使用を許可する撮影装置に、前記コンテンツデータを送信するコンテンツデータ管理部と、前記演者の拡張現実用映像データと、前記撮影装置で撮影されたユーザの撮影映像とを合成した合成映像の少なくとも一部を含む記録画像を、前記撮影装置から受信し、前記記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信する保存部と、を備える管理装置である。
【００１２】
本発明の一態様は、管理装置と、少なくとも１以上の撮影装置と、を備える撮影システムにおける撮影方法であって、前記管理装置は、演者の拡張現実用映像データ及び音声データを含むコンテンツデータを、前記コンテンツデータの使用を許可する撮影装置に送信し、前記撮影装置は、前記管理装置からコンテンツデータを受信し、受信したコンテンツデータを記憶し、前記撮影装置は、前記コンテンツデータを用いたコンテンツのコンテンツ一覧を表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付け、前記撮影装置は、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データと、前記カメラが撮影したユーザの撮影映像とを合成して合成映像を生成し、前記合成映像を、前記撮影装置の表示部に表示し、前記撮影装置は、前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力し、前記撮影装置は、前記合成映像の少なくとも一部を記録画像として記録し、前記撮影装置は、前記記録画像を、前記管理装置に送信し、前記管理装置は、前記撮影装置から送信される記録画像を保存し、保存場所を示す保存場所情報を前記撮影装置に送信し、前記撮影装置は、前記保存場所情報を受信し、前記保存場所を示す情報を前記表示部に表示する撮影方法である。
【発明の効果】
【００１３】
本発明は、ユーザが演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】図１は本実施形態における撮影システムの全体構成例を示す図である。
【図２】図２は撮影装置１のブロック図である。
【図３】図３は映像処理部１５４が行う合成映像の合成処理を説明するための図である。
【図４】図４はコンテンツデータベースの一例を示した図である。
【図５】図５は設定データの一例を示した図である。
【図６】図６は撮影装置１の外観を示す図である。
【図７】図７は管理サーバ２のブロック図である。
【図８】図８は撮影装置管理データベースの一例である。
【図９】図９は決済サーバ３のブロック図である。
【図１０】図１０は装置間のシーケンス図である。
【図１１】図１１は撮影装置１の設定処理（Ｓｔｅｐ１）の動作フローチャートである。
【図１２】図１２は管理サーバ２の管理処理（Ｓｔｅｐ２）の動作フローチャートである。
【図１３】図１３は撮影処理（Ｓｔｅｐ３）の動作フローチャートである。
【図１４】図１４は操作入力部１３に表示されるコンテンツの選択画面の一例である。
【図１５】図１５は操作入力部１３に表示される利用料金画面の一例である。
【図１６】図１６は保存場所のアドレスを示す二次元コードが表示された画面の一例である。
【図１７】図１７は端末４にダウンロードされた記録画像が、端末４のディスプレイに表示された場合の一例である。
【図１８】図１８は第２の実施の形態における撮影システムの全体構成例を示す図である。
【図１９】図１９は演者撮影装置５のブロック図である。
【図２０】図２０は第２の実施の形態の管理サーバ２のブロック図である。
【図２１】図２１は第２の実施の形態における撮影装置管理データベースの一例である。
【発明を実施するための形態】
【００１５】
＜第１の実施の形態＞
［全体構成］
図１は、本実施形態における撮影システムの全体構成例を示す図である。図１に示すように、撮影システムは、撮影装置１と、管理サーバ２と、決済サーバ３と、端末４とを備えて構成される。撮影装置１と、管理サーバ２と、決済サーバ３と、端末４とは、通信回線Ｎに接続可能で、相互に通信可能である。
【００１６】
通信回線Ｎは、データ通信が可能な通信路を意味する。すなわち、通信回線Ｎは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網、インターネット等の通信網を含み、通信方法については有線／無線を問わない。
【００１７】
撮影装置１は、イベント会場、映画館等の施設に設置され、ユーザ（被写体）の撮影映像と、コンテンツ映像とを合成した合成映像を生成する装置である。尚、コンテンツ映像は、芸能人（ドラマ・映画などのキャスト、アイドル等）やスポーツ選手等（以下、これらをまとめて演者と記載する）の拡張現実用の映像（例えば、動画）である。また、撮影装置１は、デジタルサイネージの機能も備えている。また、撮影装置１は、基本的には、複数存在し、各イベント会場、映画館等の施設に設置される。
【００１８】
管理サーバ２は、撮影装置１により使用されるコンテンツ映像及び広告の管理と、ユーザ（被写体）に提供する記録画像の保存を行うサーバである。
【００１９】
決済サーバ３は、撮影装置１の利用料金の決済を行うサーバである。
【００２０】
端末４は、ユーザ（被写体）が所持する端末であり、無線通信基地局等を介して通信回線Ｎに接続し、管理サーバ２とデータ通信を行うことができる。端末４は、例えば、スマートフォンや、携帯電話機、パソコン、タブレット型コンピュータ等である。端末４は、基本的には、複数存在し、各ユーザ（被写体）により操作される。そして、端末４は、少なくとも、画像データを受信し、その画像データを格納又は表示する機能、撮影機能などを持つ。
【００２１】
［各装置の構成］
撮影装置１の構成を説明する。図２は撮影装置１のブロック図である。
【００２２】
図２中、１０はカメラであり、１１はディスプレイであり、１２はスピーカであり、１３は操作入力部であり、１４は近距離無線通信部であり、１５は処理部であり、１６は送受信部であり、１７は記憶部である。
【００２３】
カメラ１０は、ユーザ（被写体）と、ユーザ（被写体）が存在する空間の背景とを撮影するカメラである。カメラ１０が撮影した映像（静止画、動画の双方を含む）を、以下、撮影映像と記載する。この撮影映像は処理部１５に入力される。
【００２４】
ディスプレイ１１は、カメラ１０により撮影された撮影映像とコンテンツ映像とが合成された映像が表示される。
【００２５】
スピーカ１２はコンテンツの音声が出力される。
【００２６】
操作部入力部１３は、ユーザ（被写体）が撮影に関する各種操作を入力するためのものであり、操作入力に応じた操作入力信号を処理部１５に出力する。操作入力部１３の機能は、例えば、キーボード、マウス、タッチ操作パッド、ホームボタン、ボタンスイッチや、ジョイスティック、トラックボールといったユーザが指で操作する素子はもちろん、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。本実施の形態の操作部入力部１３は、操作情報が表示されるディプレイを備えるタッチ操作パネルである。
【００２７】
近距離無線通信部１４は、利用料金の決済に使用される非接触型ＩＣカードのリーダ・ライタである。
【００２８】
処理部１５は、記憶部１７に格納されるプログラムやコンテンツデータ、操作入力部１３からの操作入力信号等に基づいて撮影装置１の動作を統括的に制御する。処理部１５の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部１５は、主な機能部として、管理部１５１と、操作制御部１５２と、決済処理部１５３と、映像処理部１５４と、サイネージ制御部１５５と、音声制御部１５６と、保存場所提示部１５７とを備える。
【００２９】
管理部１５１は、撮影装置１の設定及びデータの管理を行う。撮影装置１の設定は、撮影装置１の付与されたアカウント及びパスワードによる認証後、管理者が必要な設定を行う。撮影装置１の設定の代表的なものとして、撮影装置１で使用するコンテンツの設定がある。コンテンツは、管理サーバ２からダウンロードし、記憶部１７に格納される。コンテンツのダウンロードは、自動でコンテンツのダウンロードが行われる自動更新モードと、管理者が希望するコンテンツを選択してダウンロードする手動更新モードがある。管理者がいずれかのモードを設定することにより、コンテンツのダウンロードが行われ、コンテンツが撮影装置１に格納される。
【００３０】
コンテンツには、ユーザ（被写体）の撮影映像と合成されるコンテンツ映像と、デジタルサイネージに使用されるサイネージ映像（広告映像）とがある。コンテンツ映像は、芸能人（ドラマ・映画などのキャスト、アイドル等）やスポーツ選手等の演者の映像であり、拡張現実用の映像データである。コンテンツ映像は、基本的には動画である。また、サイネージ映像は、広告映像であり、動画、静止画のいずれも含む。尚、コンテンツ映像と、それらの映像に関するメタデータ（識別情報及び利用料金など）とを含めてコンテンツデータ記載する。同様に、サイネージ映像と、それらの映像に関するメタデータ（識別情報など）とを含めてサイネージデータと記載する。
【００３１】
操作制御部１５２は、コンテンツの内容（例えば、サムネイル映像）や操作情報を操作部入力部１３に表示する。また、操作部入力部１３からの操作信号を受信する。
【００３２】
決済処理部１５３は、近距離無線通信部１４により読み取られた非接触型ＩＣカードの決済情報を受信し、決済情報を決済サーバ３に送信する。また、決済が完了した場合、決済サーバ３から決済完了情報を受信する。
【００３３】
映像処理部１５４は、カメラ１０からのユーザ（被写体）の撮影映像を入力し、撮影映像に、ユーザ（被写体）が選択したコンテンツのコンテンツ映像を重畳した合成映像を生成する。
【００３４】
映像処理部１５４が行う合成映像の生成について説明する。合成映像を生成するためには、撮影映像、フィル(Fill)信号及びキー信号の３種類の映像信号が必要となる。フィル(Fill)信号は、ユーザ（被写体）が選択したコンテンツの演者のコンテンツ映像である。キー信号は、フィル(Fill)信号であるコンテンツ映像を重畳する領域を指定する信号である。尚、本実施の形態では、フィル(Fill)信号及びキー信号が、拡張現実用映像データである。
【００３５】
図３は映像処理部１５４が行う合成映像の合成処理を説明するための図である。合成処理は、撮影映像の全領域のうち、キー信号に基づいて指定される領域に、フィル信号の演者の映像をはめ込むことによって、合成映像を生成する。尚、図３では、ある所定フレームの合成処理を説明した図であり、実際は、撮影映像、コンテンツ映像は動画であるため、フレーム単位で合成映像の生成処理が行われる。
【００３６】
また、撮影空間におけるユーザ（被写体）と演者との位置関係が分かる場合は、重畳するフィル(Fill)信号（演者の映像）とユーザ（被写体）の領域とが重なる部分は、前方に位置する方を優先的に合成する。このようにすれば、より自然な仮想空間の映像を演出することが可能である。尚、ユーザ（被写体）と演者との位置関係は、赤外線による測定や、映像の画像解析などの従来方法を用いることが出来る。
【００３７】
また、映像処理部１５４は、合成映像（動画）のうちのある時刻の映像を静止画として記録する機能も有する。この記録された記録画像は、後述する管理サーバ２の保存場所に保存される。尚、記録画像は静止画に限定するものではなく、合成映像（動画）の全部又は一部の動画でも良い。
【００３８】
サイネージ制御部１５５は、撮影装置１が撮影に利用されていない時間に、サイネージデータを使用してディスプレイ１１に広告を表示する。
【００３９】
音声制御部１５６は、コンテンツデータに含まれる音声データを使用して、ユーザ（被写体）の撮影映像の撮影時に、映像上の演者の音声や、利用案内の音声などをスピーカ１２から出力する。
【００４０】
保存場所提示部１５７は、上述した記録画像の保存場所をユーザ（被写体）に通知する。通知方法としては、記録画像の保存場所のアドレスを示す二次元コード（ＱＲコード（登録商標）など）を、ディスプレイ１１に表示する方法がある。但し、これに限定されず、保存場所のアドレスを、ディスプレイ１１に直接表示しても良いし、他の方法でも良い。
【００４１】
送受信部１６は、通信回線Ｎを介して、管理サーバ２及び決済サーバ３との間で、データの送受信を行う。
【００４２】
記憶部１７は、撮影装置１に必要な各種データが格納される。例えば、コンテンツデータベースや、設定データ等である。
【００４３】
図４はコンテンツデータベースの一例を示した図である。図４に示すデータベースは、ユーザとの撮影に使用される演者のコンテンツデータと、広告として使用されるサイネージデータとが格納されている。コンテンツデータは、コンテンツ識別情報（ＩＤ）と、コンテンツ名と、拡張現実用の映像データ（フィル(Fill)信号、キー信号を含む）と、音声データと、メタデータとを含む。サイネージデータは、サイネージ識別情報（ＩＤ）と、広告名と、映像データと、音声データと、メタデータとを含む。尚、図４は一例であり、これに限られない。
【００４４】
図５は設定データの一例を示した図である。図５に示す設定データは、撮影装置１のアカウントと、管理パスワードと、自動更新の有無と、広告開始時間（撮影装置１が最後に使用されてからの経過時間）、補助データを含む。尚、図５は一例であり、これに限られない。
【００４５】
上述した撮影装置１の外観を、図６に示す。
【００４６】
次に、管理サーバ２の構成を説明する。図７は管理サーバ２のブロック図である。
【００４７】
図７中、２０は入力部であり、２１は送受信部であり、２２は処理部であり、２３は記憶部である。
【００４８】
入力部２０は、管理者が各種操作を入力するためのものであり、操作入力に応じた操作入力信号を処理部２２に出力する。入力部２０の機能は、例えば、キーボード、マウス、タッチ操作パッド、ホームボタン、ボタンスイッチや、ジョイスティック、トラックボールといったユーザが指で操作する素子はもちろん、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。
【００４９】
送受信部２１は、通信回線Ｎを介して、撮影装置１との間で、データの送受信を行う。
【００５０】
処理部２２は、記憶部２３に格納されるプログラムやコンテンツデータ、入力部２０からの操作入力信号等に基づいて管理サーバ２の動作を統括的に制御する。処理部１５の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部２２は、主な機能部として、コンテンツ管理部１２１し、撮影データ保存管理部１２２とを備える。
【００５１】
コンテンツ管理部１２１は、撮影装置１に設定するコンテンツデータを管理する。具体的には、記憶部２３に格納された撮影装置管理データベースを用いて、撮影装置１で使用されるコンテンツなどを管理する。図８は撮影装置管理データベースの一例である。図８に示す撮影装置管理データベースは、撮影装置の識別情報、アカウント、パスワード、自動更新の有無及び利用可能なコンテンツの識別情報を、撮影装置１毎に記録している。
【００５２】
撮影データ保存管理部１２２は、撮影装置１が撮影した記録画像を記憶２３に保存し、保存場所のアドレスを撮影装置１に通知する。
【００５３】
次に、決済サーバ３の構成を説明する。図９は決済サーバ３のブロック図である。
【００５４】
図９中、３０は送受信部であり、３１は決済処理部であり、３２は記憶部である。
【００５５】
送受信部３０は、通信回線Ｎを介して、撮影装置１との間で、データの送受信を行う。
【００５６】
決済処理部３１は、撮影装置１から決済情報を受信し、記憶部３２に格納されるプログラムや決済データに基づいて決済処理を行い、決済完了情報を撮影装置１に送信する。決済処理部３１は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。尚、非接触型ＩＣカードの料金の決済は、従来からある方法を用いることができる。
【００５７】
［各装置の動作］
第１の実施の形態の動作を説明する。図１０は装置間のシーケンス図である。
【００５８】
まず、撮影装置１を利用可能な状態にするために、設定処理を行う（Ｓｔｅｐ１）。そして、管理サーバ２は、撮影装置１からの設定要求に応答して、管理処理を行い、コンテンツデータやサイネージデータを送信する（Ｓｔｅｐ２）。
【００５９】
ここで、撮影装置１の設定処理（Ｓｔｅｐ１）の動作を、フローチャートを用いて説明する。図１１は撮影装置１の設定処理（Ｓｔｅｐ１）の動作フローチャートである。
【００６０】
まず、撮影装置１の管理者は、操作入力部１３を操作して管理画面を表示する。操作制御部１５２は、管理画面を操作入力部１３に表示する（Ｓｔｅｐ１００）。
【００６１】
管理者は、操作入力部１３を操作して、識別情報（アカウント）及びパスワードを入力する（Ｓｔｅｐ１０１）。
【００６２】
管理部１５１は、入力された識別情報（アカウント）及びパスワードの照合を行い（Ｓｔｅｐ１０２）、認証できたならば（Ｓｔｅｐ１０３）、更新モードの選択に遷移する。一方、認証できない場合は、設定処理を終了する。
【００６３】
認証できた場合は、管理画面には、自動更新モードと手動更新モードとが表示される。管理者は、いずれかのモードを選択する。
【００６４】
管理者が自動更新モードを選択した場合（Ｓｔｅｐ１０４）は、撮影装置１で利用可能なコンテンツデータとサイネージデータとが管理サーバ２から送信され、管理部１５１は、それらのコンテンツデータとサイネージデータを記憶部１７のコンテンツデータベースに格納し、コンテンツの設定を完了する。そして、設定完了通知を管理サーバ２に送信する。
【００６５】
一方、管理者が手動更新モードを選択した場合（Ｓｔｅｐ１０４）は、管理サーバ２から撮影装置１で利用可能なコンテンツデータ及びサイネージデータの一覧が送信され、管理部１５１は、コンテンツデータ及びサイネージデータの一覧情報を表示する（Ｓｔｅｐ１０５）。管理者は、操作入力部１３を操作し、一覧情報から利用したいコンテンツデータ及びサイネージデータを選択する（Ｓｔｅｐ１０６）。そして、管理部１５１は、選択されたコンテンツデータ及びサイネージデータを、管理サーバ２からダウンロードし（Ｓｔｅｐ１０７）、記憶部１７のコンテンツデータベースに格納し、コンテンツの設定を完了する（Ｓｔｅｐ１０８）。そして、設定完了通知を管理サーバ２に送信する。
【００６６】
次に、管理サーバ２の管理処理（Ｓｔｅｐ２）の動作を、フローチャートを用いて説明する。図１２は管理サーバ２の管理処理（Ｓｔｅｐ２）の動作フローチャートである。
【００６７】
管理サーバ２は、撮影装置１から設定要求に応答して、識別情報（アカウント）の照合を行う（Ｓｔｅｐ２００）。識別情報（アカウント）が登録されているものであれば（Ｓｔｅｐ２０１）、撮影装置１からのモードの要求に対応する処理を行う。
【００６８】
撮影装置１から要求されたモードが手動更新モードである場合（Ｓｔｅｐ２０２）、記憶部２３の撮影装置管理データベースのうち、設定要求した撮影装置１のアカウントの利用可能コンテンツのフィールドに記載されているコンテンツＩＤ又はサイネージＩＤに対応するコンテンツデータ及びサイネージデータの一覧を送信する（Ｓｔｅｐ２０３）。撮影装置１からコンテンツデータ及びサイネージデータの選択情報を受信すると、選択されたコンテンツデータ及びサイネージデータを撮影装置１に送信する（Ｓｔｅｐ２０４）。そして、撮影装置１から設定完了通知を受信すると、管理処理を終了する（Ｓｔｅｐ２０５）。
【００６９】
一方、撮影装置１から要求されたモードが自動更新モードである場合、記憶部２３の撮影装置管理データベースのうち、設定要求した撮影装置１のアカウントの自動更新有無のフィールドのフラグを”ON”にする（Ｓｔｅｐ２０６）。そして、コンテンツデータベースに登録されているコンテンツのうち、設定要求した撮影装置１のアカウントの利用可能コンテンツのフィールドに記載されているコンテンツＩＤ又はサイネージＩＤに対応するコンテンツデータ及びサイネージデータを検索し（Ｓｔｅｐ２０７）、利用可能なコンテンツデータ及びサイネージデータを送信する（Ｓｔｅｐ２０８）。そして、撮影装置１から設定完了通知を受信すると、管理処理を終了する（Ｓｔｅｐ２０５）。
【００７０】
尚、自動更新が有効であるアカウントの撮影装置１については、利用可能コンテンツの変更があった場合には、利用可能コンテンツフィールドに記載されているＩＤに対応するコンテンツデータ又はサイネージデータを、自動的に撮影装置１に送信し、撮影装置１のコンテンツの自動更新を行う。
【００７１】
図１０のシーケンス図の説明に戻る。
【００７２】
撮影装置１の設定が完了すると、ユーザ（被写体）が撮影装置１を利用することが可能となる。そして、ユーザ（被写体）が撮影装置１の利用を開始すると、撮影装置１は撮影処理（Ｓｔｅｐ３）を実行する。
【００７３】
ここで、撮影処理（Ｓｔｅｐ３）の動作を、フローチャートを用いて説明する。図１３は撮影処理（Ｓｔｅｐ３）の動作フローチャートである。
【００７４】
撮影装置１の操作制御部１５２は、コンテンツの一覧を操作入力部１３に表示する（Ｓｔｅｐ３００）。図１４は操作入力部１３に表示されるコンテンツの選択画面の一例である。図１４の例では、コンテンツＡＡＡ、コンテンツＢＢＢ及びコンテンツＣＣＣの３種類のコンテンツが選択可能な画面の例である。
【００７５】
撮影装置１を利用するユーザは、操作入力部１３に表示されているコンテンツの一覧から希望のコンテンツを選択する。選択は、コンテンツの一覧から希望のコンテンツをタッチすることにより行われる（Ｓｔｅｐ３０１）。
【００７６】
コンテンツが選択されると、操作入力部１３の画面にはコンテンツの利用料金の画面が表示される（Ｓｔｅｐ３０２）。図１５は操作入力部１３に表示される利用料金画面の一例である。図１５の例では、コンテンツＡＡＡの利用料金が６００円であり、ＩＣカードを近距離無線通信部１４にタッチすることを要求する画面の例である。
【００７７】
ユーザが利用料金画面の指示に従って、ＩＣカードを近距離無線通信部１４にタッチすることにより、料金の決済情報を決済処理部１５３が受信し（Ｓｔｅｐ３０３）、決済情報を決済サーバ３に送信する（Ｓｔｅｐ３０４）。
【００７８】
撮影装置１の決済処理部１５３は、決済サーバ３から決済完了情報を受信し（Ｓｔｅｐ３０５）、決済が完了したことを操作入力部１３に表示し、撮影が開始されることを通知する（Ｓｔｅｐ３０６）。
【００７９】
カメラによるユーザ（被写体）の撮影が開始されると、その撮影映像がディスプレイ１１に表示される。続いて、映像処理部１５４は、撮影映像に選択したコンテンツの仮想現実用の映像データを重畳し、合成映像を生成する（Ｓｔｅｐ３０７）。そして、映像処理部１５４は、合成映像（動画）をディスプレイ１１に表示する（Ｓｔｅｐ３０８）。このとき、コンテンツの音声データにより、演者の音声もスピーカから出力される。例えば、「ＡＡＡです。今日は撮影会に参加してくれてありがとう。」等の音声が出力される。このように、ディスプレイ１１には、演者とユーザとが一緒に同じ空間に存在する映像が表示され（図３の合成映像を参照）、音声も聞こえるので、ユーザは演者と一緒に同じ空間を共有するような疑似体験を得ることが出来る。そして、演者から記念撮影のタイミングが告げられ、記録画像（静止画）の撮影が行われる（Ｓｔｅｐ３０９）。
【００８０】
撮影が終了すると、保存場所提示部１５７は、管理サーバに、静止画をアップロードし（Ｓｔｅｐ３１０）、保存場所のアドレスを、二次元コードを使用して、操作入力部１３の画面に表示する（Ｓｔｅｐ３１１）。図１６は保存場所のアドレスを示す二次元コードが表示された画面の一例である。
【００８１】
以上で、撮影処理の説明を終了する。
【００８２】
図１０のシーケンス図の説明に戻る。
【００８３】
Ｓｔｅｐ４は、決済サーバ３で行われる決済処理である。撮影装置１から送信されたユーザのＩＣカードの決済情報を受信し、その決済情報に基づいて決済完了情報を撮影装置１に送信する。
【００８４】
Ｓｔｅｐ５は、管理サーバ２で行われる保存処理である。撮影装置１から送信された記録画像（静止画）を保存し、その保存場所のアドレスを撮影装置１に送信する。
【００８５】
ユーザは端末１の撮影機能を利用し、操作入力部１３の画面に表示された二次元コードを撮影し、二次元コードで示されるアドレスにアクセスする（Ｓｔｅｐ６）。そして、端末１は、撮影した記録画像（静止画）を端末１にダウンロードする（Ｓｔｅｐ７）。図１７は端末４にダウンロードされた記録画像が、端末４のディスプレイに表示された場合の一例である。
【００８６】
一方、撮影装置１のサイネージ制御部１５５は、一定時間（例えば、３分）、ユーザによる撮影装置１の利用がない場合は、記憶部１７のコンテンツデータベースのサイネージデータから、映像データ及音声データを取得し、ディスプレイ１１に映像データによる広告を表示し、スピーカ１２から音声データによる音声を出力する（Ｓｔｅｐ８）。
【００８７】
以上で、第１の実施の形態の動作の説明を終了する。
【００８８】
第１の実施の形態は、演者の映像（動画）とユーザの撮影映像とを合成してディスプレイに表示させ、音声も聞こえるように構成しているので、ユーザは演者と一緒に同じ空間を共有するような体験を得ることが出来る。また、その体験の記念として記録される記録画像は、管理サーバに保存され、ユーザは端末にダウンロードすることができるので、例えば、SNS等によるシェアの利便性向上を図ることができると共に、物理的な印刷を行わないため、コストの削減も図れる。
【００８９】
また、第１の実施の形態は、管理サーバにより、撮影装置で使用されるコンテンツを一括で管理しているので、撮影装置で使用するコンテンツの設定の即時性・登録の柔軟性を実現することができる。
【００９０】
更に、第１の実施の形態の撮影装置は、デジタルサイネージの機能も搭載されているので、撮影装置が利用されていない時間を有効に活用することもできる。
【００９１】
＜第２の実施の形態＞
第２の実施の形態を説明する。図１８は第２の実施の形態における撮影システムの全体構成例を示す図である。
【００９２】
第２の実施の形態では、第１の実施の形態に加えて、演者のライブ映像を撮影し、ライブ映像から撮影装置１で使用するコンテンツデータ（フィル(Fill)信号、キー信号及び音声データ）を生成する演者撮影装置５が設けられている。
【００９３】
図１９は演者撮影装置５のブロック図である。図１９中、５０カメラであり、５１はマイク、５２はディスプレイであり、５３は送受信部であり、５４は処理部であり、５５は記憶部である。
【００９４】
カメラ５０は、演者のライブ映像を撮影するカメラである。カメラ５０が撮影した映像をライブ映像と記載する。このライブ映像は処理部５４に入力される。
【００９５】
マイク５１は、演者の音声を取得し、取得した音声を処理部５４に出力する。
【００９６】
ディスプレイ５２は、カメラ５０により撮影されたライブ映像が表示される。
【００９７】
送受信部５３は、通信回線Ｎを介して、管理サーバ２との間で、データの送受信を行う。
【００９８】
処理部５４は、記憶部５５に格納されるプログラムに基づいて演者撮影装置５の動作を統括的に制御する。処理部５４の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部５４は、主な機能部として、フィル(Fill)信号生成部１５１と、キー信号生成部１５２と、ライブコンテンツデータ生成部１５３とを備える。
【００９９】
フィル(Fill)信号生成部１５１は、カメラ５０で撮影されたライブ映像から、リアルタイムで、演者のフィル(Fill)信号を生成する。キー信号生成部１５２は、カメラ５０で撮影されたライブ映像から、リアルタイムで、演者のキー信号を生成する。これらの処理は、例えば、クロマキーの技術を用いることができる。
【０１００】
ライブコンテンツデータ生成部１５３は、演者のフィル(Fill)信号、キー信号及びマイク５１で取得された演者の音声を含むライブコンテンツデータを生成する。このライブコンテンツデータは、送受信部５３を介して、リアルタイムで、管理サーバ２に送信される。
【０１０１】
第２の実施の形態の管理サーバ２を説明する。図２０は第２の実施の形態の管理サーバ２のブロック図である。第２の実施の形態の管理サーバ２が第１の実施の形態と異なる所は、リアルタイム配信部１２３が追加されたことである。
【０１０２】
リアルタイム配信部１２３は、演者撮影装置５から受信したライブコンテンツデータを、所定の撮影装置１にリアルタイムでストリーミング配信する。配信する撮影装置１は、記憶部２３に格納されている撮影装置管理データベースを用いて決定する。図２１は第２の実施の形態における撮影装置管理データベースの一例である。図２１に示される撮影装置管理データベースは、第１の実施の形態に加えて、ライブ配信の有無のフィールドが設けられている。リアルタイム配信部１２３は、撮影装置管理データベースのライブ配信フィールドが「有」のフラグである撮影装置１に、受信したライブコンテンツデータを送信する。
【０１０３】
撮影装置１は、管理データベース２からライブコンテンツデータを受信すると、記憶部１７に格納しつつ、カメラによるユーザ（被写体）の撮影を開始する。その撮影映像がディスプレイ１１に表示される。続いて、映像処理部１５４は、ライブコンテンツデータのキー信号を用いて、フィル(Fill)信号とユーザの撮影画像とを合成する（図１３のＳｔｅｐ３０７）。そして、映像処理部１５４は、合成映像（動画）をディスプレイ１１に表示する（図１３のＳｔｅｐ３０８）。他の処理は、第１の実施の形態と同様である。
【０１０４】
第２の実施の形態は、演者のライブ映像からコンテンツデータを生成し、管理装置が各撮影装置にライブ配信している。従って、ひとり演者が、異なる場所の多数のユーザと同時に空間を共有するといったことが可能である。
【０１０５】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【符号の説明】
【０１０６】
１      撮影装置
２      管理サーバ
３      決済サーバ
４      端末
５      演者撮影装置
１０    カメラ
１１    ディスプレイ
１２    スピーカ
１３    操作入力部
１４    近距離無線通信部
１５    処理部
１６    送受信部
１７    記憶部
２０    入力部
２１    送受信部
２２    処理部
２３    記憶部
３０    送受信部
３１    決済処理部
３２    記憶部
【図１】
2020150289.tif 000003
【図２】
2020150289.tif 000004
【図３】
2020150289.tif 000005
【図４】
2020150289.tif 000006
【図５】
2020150289.tif 000007
【図６】
2020150289.tif 000008
【図７】
2020150289.tif 000009
【図８】
2020150289.tif 000010
【図９】
2020150289.tif 000011
【図１０】
2020150289.tif 000012
【図１１】
2020150289.tif 000013
【図１２】
2020150289.tif 000014
【図１３】
2020150289.tif 000015
【図１４】
2020150289.tif 000016
【図１５】
2020150289.tif 000017
【図１６】
2020150289.tif 000018
【図１７】
2020150289.tif 000019
【図１８】
2020150289.tif 000020
【図１９】
2020150289.tif 000021
【図２０】
2020150289.tif 000022
【図２１】
2020150289.tif 000023