(57)【特許請求の範囲】
【請求項１】
少なくとも、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続され、動画撮像を行うことにより第２の動画を生成可能且つ動画を表示可能な第２の端末と、を備える撮像システムであって、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成する人物抽出動画生成手段と、
前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより、合成動画を生成する合成動画生成手段と、
前記少なくとも１つの第１の端末及び前記第２の端末に前記合成動画を表示させる制御手段と、
を備え、
前記合成動画生成手段は、前記第２の動画から人物像を抽出し、前記第２の動画を、該第２の動画から抽出された人物像及び該人物像の前景に位置する被写体像を含むレイヤーであるメインレイヤーと、該人物像及び該被写体像に対する背景からなる背景レイヤーとに分離し、この際に、前記第２の端末により撮像された被写体のうち、前記第２の動画から抽出された人物像よりも前記第２の端末との距離が近い被写体の像を前記被写体像として抽出し、
さらに、前記合成動画生成手段は、前記人物抽出動画を、前記背景レイヤーの上層且つ前記メインレイヤーの下層となるように重ね合わせる、撮像システム。
【請求項２】
少なくとも、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続され、動画撮像を行うことにより第２の動画を生成可能且つ動画を表示可能な第２の端末と、を備える撮像システムであって、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成する人物抽出動画生成手段と、
前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより、合成動画を生成する合成動画生成手段と、
前記少なくとも１つの第１の端末及び前記第２の端末に前記合成動画を表示させる制御手段と、
を備え、
前記合成動画生成手段は、前記第２の動画から人物像を抽出し、前記第２の動画を、該第２の動画から抽出された人物像の前景に位置する被写体像を含む前景レイヤーと、該被写体像の背景のレイヤーであって該人物像を含むレイヤーであるメインレイヤーとに分離し、この際に、前記第２の端末により撮像された被写体のうち、前記第２の動画から抽出された人物像よりも前記第２の端末との距離が近い被写体の像を前記被写体像として抽出し、
さらに、前記合成動画生成手段は、前記人物抽出動画を、前記メインレイヤーの上層且つ前記前景レイヤーの下層となるように重ね合わせる、撮像システム。
【請求項３】
少なくとも、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続され、動画撮像を行うことにより第２の動画を生成可能且つ動画を表示可能な第２の端末と、を備える撮像システムであって、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成する人物抽出動画生成手段と、
前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより、合成動画を生成する合成動画生成手段と、
前記少なくとも１つの第１の端末及び前記第２の端末に前記合成動画を表示させる制御手段と、
を備え、
前記合成動画生成手段は、前記第２の動画から人物像を抽出し、前記第２の動画を、該第２の動画から抽出された人物像の前景に位置する被写体像を含む前景レイヤーと、該人物像を含むレイヤーであるメインレイヤーと、該人物像及び該被写体像に対する背景からなる背景レイヤーとに分離し、この際に、前記第２の端末により撮像された被写体のうち、前記第２の動画から抽出された人物像よりも前記第２の端末との距離が近い被写体の像を前記被写体像として抽出し、
さらに、前記合成動画生成手段は、前記人物抽出動画を、前記背景レイヤーの上層且つ前記メインレイヤーの下層と、前記メインレイヤーの上層且つ前記前景レイヤーの下層とのいずれかとなるように重ね合わせる、撮像システム。
【請求項４】
前記人物抽出動画生成手段及び前記合成動画生成手段は、前記第２の端末に設けられ、
前記少なくとも１つの第１の端末はそれぞれ、前記少なくとも１つの第１の動画を前記第２の端末に送信し、
前記第２の端末は、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの動画を用いて生成した前記合成動画を表示すると共に、前記合成動画を前記少なくとも１つの第１の端末に送信して表示させる、
請求項１〜３のいずれか１項に記載の撮像システム。
【請求項５】
前記人物抽出動画生成手段は前記少なくとも１つの第１の端末の各々に設けられ、
前記合成動画生成手段は前記第２の端末に設けられ、
前記少なくとも１つの第１の端末はそれぞれ、前記少なくとも１つの人物抽出動画を前記第２の端末に送信し、
前記第２の端末は、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの人物抽出動画を用いて生成した前記合成動画を表示すると共に、前記合成動画を前記少なくとも１つの第１の端末に送信して表示させる、
請求項１〜３のいずれか１項に記載の撮像システム。
【請求項６】
前記少なくとも１つの端末及び前記第２の端末と前記通信ネットワークを介して接続されたサーバをさらに備え、
前記人物抽出動画生成手段は前記サーバに設けられ、
前記合成動画生成手段は前記第２の端末に設けられ、
前記少なくとも１つの第１の端末はそれぞれ、前記少なくとも１つの第１の動画を前記サーバに送信し、
前記サーバは、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの動画に基づいて生成した前記少なくとも１つの人物抽出動画を前記第２の端末に送信し、
前記第２の端末は、前記サーバから受信した前記少なくとも１つの人物抽出動画を用いて生成した前記合成動画を表示すると共に、前記合成動画を前記少なくとも１つの第１の端末に送信して表示させる、
請求項１〜３のいずれか１項に記載の撮像システム。
【請求項７】
前記少なくとも１つの端末及び前記第２の端末と前記通信ネットワークを介して接続されたサーバをさらに備え、
前記人物抽出動画生成手段及び前記合成動画生成手段は前記サーバに設けられ、
前記少なくとも１つの第１の端末はそれぞれ、前記少なくとも１つの第１の動画を前記サーバに送信し、
前記第２の端末は、前記第２の動画を前記サーバに送信し、
前記サーバは、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの動画及び前記第２の端末から受信した前記第２の動画を用いて生成した前記合成動画を、前記少なくとも１つの第１の端末及び前記第２の端末に送信して表示させる、
請求項１〜３のいずれか１項に記載の撮像システム。
【請求項８】
前記少なくとも１つの第１端末と前記第２の端末とのうちの少なくともいずれかに対してなされる操作に応じて、表示中の前記合成動画から静止画が抽出される、請求項１〜７のいずれか１項に記載の撮像システム。
【請求項９】
前記合成動画生成手段は、前記第２の動画に対して前記少なくとも１つの人物抽出動画を、画角を合わせて重ね合わせる、請求項１〜８のいずれか１項に記載の撮像システム。
【請求項１０】
少なくとも、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続され、動画撮像を行うことにより第２の動画を生成可能且つ動画を表示可能な第２の端末と、を備える撮像システムであって、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成する人物抽出動画生成手段と、
前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより、合成動画を生成する合成動画生成手段と、
前記少なくとも１つの第１の端末及び前記第２の端末に前記合成動画を表示させる制御手段と、
を備え、
前記合成動画生成手段は、前記第２の端末に対してなされる操作に応じて、前記少なくとも１つの人物抽出動画の各々のサイズと、前記少なくとも１つの人物抽出動画の各々の向きと、前記第２の動画に対する前記少なくとも１つの人物抽出動画の各々の位置とのうちの少なくとも１つを変更して、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせる、撮像システム。
【請求項１１】
少なくとも、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続され、動画撮像を行うことにより第２の動画を生成可能且つ動画を表示可能な第２の端末と、を備える撮像システムであって、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成する人物抽出動画生成手段と、
前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより、合成動画を生成する合成動画生成手段と、
前記少なくとも１つの第１の端末及び前記第２の端末に前記合成動画を表示させる制御手段と、
を備え、
前記第１の端末が複数設けられている場合、
前記合成動画生成手段は、複数の前記第１の端末においてそれぞれ生成された複数の第１の動画に基づく複数の人物抽出動画を、該複数の人物抽出動画の各々に写った人物像の位置に応じた順序で、前記第２の動画に重ね合わせる、撮像システム。
【請求項１２】
少なくとも、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続され、動画撮像を行うことにより第２の動画を生成可能且つ動画を表示可能な第２の端末と、を備える撮像システムであって、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成する人物抽出動画生成手段と、
前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより、合成動画を生成する合成動画生成手段と、
前記少なくとも１つの第１の端末及び前記第２の端末に前記合成動画を表示させる制御手段と、
を備え、
前記第１の端末が複数設けられている場合、
前記合成動画生成手段は、複数の前記第１の端末においてそれぞれ生成された複数の第１の動画に基づく複数の人物抽出動画を、前記第２の端末に対してなされる操作に応じた順序で、前記第２の動画に重ね合わせる、撮像システム。
【請求項１３】
少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続された第２の端末と、を備えるシステムにおいて実行される撮像方法であって、
前記少なくとも１つの第１の端末においてそれぞれ動画撮像を行うことにより、少なくとも１つの第１の動画を生成するステップと、
前記第２の端末において動画撮像を行うことにより第２の動画を生成するステップと、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、
前記第２の動画に前記少なくとも１つの人物抽出動画を重ね合わせることにより、合成動画を生成するステップと、
前記少なくとも１つの第１端末及び前記第２の端末において前記合成動画を表示するステップと、
を含み、
前記合成動画を生成するステップは、前記第２の動画から人物像を抽出し、前記第２の動画を、該第２の動画から抽出された人物像及び該人物像の前景に位置する被写体像を含むレイヤーであるメインレイヤーと、該人物像及び該被写体像に対する背景からなる背景レイヤーとに分離し、この際に、前記第２の端末により撮像された被写体のうち、前記第２の動画から抽出された人物像よりも前記第２の端末との距離が近い被写体の像を前記被写体像として抽出し、
さらに、前記合成動画を生成するステップは、前記人物抽出動画を、前記背景レイヤーの上層且つ前記メインレイヤーの下層となるように重ね合わせる、撮像方法。
【請求項１４】
少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続された第２の端末と、を備えるシステムにおいて実行される撮像方法であって、
前記少なくとも１つの第１の端末においてそれぞれ動画撮像を行うことにより、少なくとも１つの第１の動画を生成するステップと、
前記第２の端末において動画撮像を行うことにより第２の動画を生成するステップと、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、
前記第２の動画に前記少なくとも１つの人物抽出動画を重ね合わせることにより、合成動画を生成するステップと、
前記少なくとも１つの第１端末及び前記第２の端末において前記合成動画を表示するステップと、
を含み、
前記合成動画を生成するステップは、前記第２の動画から人物像を抽出し、前記第２の動画を、該第２の動画から抽出された人物像の前景に位置する被写体像を含む前景レイヤーと、該被写体像の背景のレイヤーであって該人物像を含むレイヤーであるメインレイヤーとに分離し、この際に、前記第２の端末により撮像された被写体のうち、前記第２の動画から抽出された人物像よりも前記第２の端末との距離が近い被写体の像を前記被写体像として抽出し、
さらに、前記合成動画を生成するステップは、前記人物抽出動画を、前記メインレイヤーの上層且つ前記前景レイヤーの下層となるように重ね合わせる、撮像方法。
【請求項１５】
少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続された第２の端末と、を備えるシステムにおいて実行される撮像方法であって、
前記少なくとも１つの第１の端末においてそれぞれ動画撮像を行うことにより、少なくとも１つの第１の動画を生成するステップと、
前記第２の端末において動画撮像を行うことにより第２の動画を生成するステップと、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、
前記第２の動画に前記少なくとも１つの人物抽出動画を重ね合わせることにより、合成動画を生成するステップと、
前記少なくとも１つの第１端末及び前記第２の端末において前記合成動画を表示するステップと、
を含み、
前記合成動画を生成するステップは、前記第２の動画から人物像を抽出し、前記第２の動画を、該第２の動画から抽出された人物像の前景に位置する被写体像を含む前景レイヤーと、該人物像を含むレイヤーであるメインレイヤーと、該人物像及び該被写体像に対する背景からなる背景レイヤーとに分離し、この際に、前記第２の端末により撮像された被写体のうち、前記第２の動画から抽出された人物像よりも前記第２の端末との距離が近い被写体の像を前記被写体像として抽出し、
さらに、前記合成動画を生成するステップは、前記人物抽出動画を、前記背景レイヤーの上層且つ前記メインレイヤーの下層と、前記メインレイヤーの上層且つ前記前景レイヤーの下層とのいずれかとなるように重ね合わせる、撮像方法。
【請求項１６】
少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続された第２の端末と、を備えるシステムにおいて実行される撮像方法であって、
前記少なくとも１つの第１の端末においてそれぞれ動画撮像を行うことにより、少なくとも１つの第１の動画を生成するステップと、
前記第２の端末において動画撮像を行うことにより第２の動画を生成するステップと、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、
前記第２の動画に前記少なくとも１つの人物抽出動画を重ね合わせることにより、合成動画を生成するステップと、
前記少なくとも１つの第１端末及び前記第２の端末において前記合成動画を表示するステップと、
を含み、
前記合成動画を生成するステップは、前記第２の端末に対してなされる操作に応じて、前記少なくとも１つの人物抽出動画の各々のサイズと、前記少なくとも１つの人物抽出動画の各々の向きと、前記第２の動画に対する前記少なくとも１つの人物抽出動画の各々の位置とのうちの少なくとも１つを変更して、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせる、撮像方法。
【請求項１７】
少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続された第２の端末と、を備えるシステムにおいて実行される撮像方法であって、
前記少なくとも１つの第１の端末においてそれぞれ動画撮像を行うことにより、少なくとも１つの第１の動画を生成するステップと、
前記第２の端末において動画撮像を行うことにより第２の動画を生成するステップと、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、
前記第２の動画に前記少なくとも１つの人物抽出動画を重ね合わせることにより、合成動画を生成するステップと、
前記少なくとも１つの第１端末及び前記第２の端末において前記合成動画を表示するステップと、
を含み、
前記第１の端末が複数設けられている場合、
前記合成動画を生成するステップは、複数の前記第１の端末においてそれぞれ生成された複数の第１の動画に基づく複数の人物抽出動画を、該複数の人物抽出動画の各々に写った人物像の位置に応じた順序で、前記第２の動画に重ね合わせる、撮像方法。
【請求項１８】
少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続された第２の端末と、を備えるシステムにおいて実行される撮像方法であって、
前記少なくとも１つの第１の端末においてそれぞれ動画撮像を行うことにより、少なくとも１つの第１の動画を生成するステップと、
前記第２の端末において動画撮像を行うことにより第２の動画を生成するステップと、
前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、
前記第２の動画に前記少なくとも１つの人物抽出動画を重ね合わせることにより、合成動画を生成するステップと、
前記少なくとも１つの第１端末及び前記第２の端末において前記合成動画を表示するステップと、
を含み、
前記第１の端末が複数設けられている場合、
前記合成動画を生成するステップは、複数の前記第１の端末においてそれぞれ生成された複数の第１の動画に基づく複数の人物抽出動画を、前記第２の端末に対してなされる操作に応じた順序で、前記第２の動画に重ね合わせる、撮像方法。
【請求項１９】
前記少なくとも１つの第１端末と前記第２の端末とのうちの少なくともいずれかに対してなされる操作に応じて、表示中の前記合成動画から静止画を抽出するステップをさらに含む、請求項１３〜１８のいずれか１項に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像して画像を生成する撮像方法、撮像システム、撮像装置、サーバ、及びプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンやパーソナルコンピュータ（ＰＣ）など通信ネットワークと接続された端末装置のビデオ通話機能を用いることにより、遠隔地から会議やイベント等に参加することできるシステムが普及している。このようなシステムを用いることにより、遠隔地に在住の人や、体調その他の事情により外出が困難な人であっても、低い障壁でイベント等に参加することができる。
【０００３】
ところで、結婚式や同窓会等のイベントにおいては、参加者全員の集合写真が撮像されることがある。
集合写真の撮像技術に関し、特許文献１には、被写体像を撮像して画像データを出力する撮像手段と、複数の被写体人物を撮影する第１撮影後に、第１撮影時の撮影操作をした第１撮影者と第１撮影時の被写体人物のうちいずれか１人の人物が交代し、交代人物と異なる位置であって非交代人物の隣の位置へ第１撮影者が移動し、第１撮影者を第２撮影時の主要被写体とし、第１撮影と第２撮影とで撮影範囲の一部が重複するように第２撮影時のフレーミングをすること、を促す撮影アシスト手段と、複数の撮影による複数の画像データを関連づけて記録する記録手段とを備える電子カメラが開示されている。
【０００４】
特許文献２には、連続して撮像された２つの撮影画像を特定する特定手段と、前記撮像手段により撮影画像が撮像される直前、または直後に、２つの撮影画像の合成を指示する指示操作が行われた場合に、この撮像画像に対して連続して撮像されたことが前記特定手段によって特定された２つの撮影画像のうち、一方の撮影画像から顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段によって抽出された顔画像を、前記特定手段により特定された２つの撮影画像のうち、他方の撮影画像の顔画像が含まれない領域に合成する合成手段とを備える撮像装置が開示されている。
【０００５】
また、画像の合成技術に関し、特許文献３には、画像撮影手段と、撮影画像中のある領域を指示する手段と、指定された領域を該撮影手段による撮影時のファインダーに重ねて表示する手段と、撮影した画像と指定された領域の形状、大きさ、位置を他の機器に送信する手段と、を備える通信機能付き合成写真撮影装置が開示されている。
【０００６】
また、特許文献４には、画像の撮影手段と、撮影された画像を送受信可能な通信手段とを備える携帯情報端末であって、前記撮影手段により撮影中の第１の動画像と、前記通信手段により受信された第２の動画像とを合成して表示する表示手段と、前記撮影手段により撮影中の第１の動画像の中から抽出された第１の静止画像と、前記通信手段により受信され前記第２の動画像から抽出された第２の静止画像とに基づいて、合成画像を生成する生成手段とを備える携帯情報端末が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−３４８３７号公報
【特許文献２】特開２０１２−１０９６９３号公報
【特許文献３】特開２００４−１７３０８４号公報
【特許文献４】特開２００５−１２３８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
イベントにおいて、遠隔地から端末装置を介して参加する参加者がいるときには、イベント会場に集合している参加者だけでなく、遠隔地の参加者も含めて集合写真を撮像したい場合がある。
【０００９】
しかしながら、上記特許文献１〜３においては、異なるタイミングで撮像された画像同士を合成するため、参加者全員でコミュニケーションを取りながら同じ雰囲気を共有している瞬間の集合写真を撮像することが困難である。例えば、通常の集合写真を撮像する際には、参加者全員で揃いのポーズを取ろう、或いは、参加者全員で同じ方向に目線を向けよう、といったその場でのリアルタイムなコミュニケーションが成立するため、参加者全員で雰囲気を共有した写真を撮像することが可能である。しかし、異なるタイミングで撮像された写真を後から合成する場合には、撮像される瞬間にリアルタイムなコミュニケーションを参加者同士で取ることはできない。
【００１０】
また、上記特許文献４においては、２つの携帯情報端末の間で、互いに、自分の携帯情報端末で撮像した動画像に、相手方の携帯情報端末から受信した動画像を合成して表示することとしている。このため、特許文献４に開示された技術は、イベント会場において集合写真を撮像する場合に、複数の遠隔地からの参加者がいるときには適用することが困難である。
【００１１】
本発明は上記に鑑みてなされたものであって、イベント会場に集合している参加者だけでなく、遠隔地から端末装置を介して参加している参加者も一緒に、リアルタイムにコミュニケーションを取りながら集合写真を撮像することができる撮像方法、撮像システム、撮像装置、サーバ、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の一態様である撮像方法は、少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続された第２の端末と、を備えるシステムにおいて実行される撮像方法であって、前記少なくとも１つの第１の端末においてそれぞれ動画撮像を行うことにより、少なくとも１つの第１の動画を生成するステップと、前記第２の端末において動画撮像を行うことにより第２の動画を生成するステップと、前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、前記第２の動画に前記少なくとも１つの人物抽出動画を重ね合わせることにより、合成動画を生成するステップと、前記少なくとも１つの第１端末及び前記第２の端末において前記合成動画を表示するステップと、を含む。
【００１３】
上記撮像方法において、前記少なくとも１つの第１端末と前記第２の端末とのうちの少なくともいずれかに対してなされる操作に応じて、表示中の前記合成動画から静止画を抽出するステップをさらに含んでも良い。
【００１４】
本発明の別の態様である撮像システムは、少なくとも、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末と、通信ネットワークを介して前記少なくとも１つの第１の端末と接続され、動画撮像を行うことにより第２の動画を生成可能且つ動画を表示可能な第２の端末と、を備える撮像システムであって、前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成する人物抽出動画生成手段と、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより、合成動画を生成する合成動画生成手段と、前記少なくとも１つの第１の端末及び前記第２の端末に前記合成動画を表示させる制御手段と、を備えるものである。
【００１５】
上記撮像システムにおいて、前記人物抽出動画生成手段及び前記合成動画生成手段は、前記第２の端末に設けられ、前記少なくとも１つの第１の端末はそれぞれ、前記少なくとも１つの第１の動画を前記第２の端末に送信し、前記第２の端末は、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの動画を用いて生成した前記合成動画を表示すると共に、前記合成動画を前記少なくとも１つの第１の端末に送信して表示させても良い。
【００１６】
上記撮像システムにおいて、前記人物抽出動画生成手段は前記少なくとも１つの第１の端末の各々に設けられ、前記合成動画生成手段は前記第２の端末に設けられ、前記少なくとも１つの第１の端末はそれぞれ、前記少なくとも１つの人物抽出動画を前記第２の端末に送信し、前記第２の端末は、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの人物抽出動画を用いて生成した前記合成動画を表示すると共に、前記合成動画を前記少なくとも１つの第１の端末に送信して表示させても良い。
【００１７】
上記撮像システムにおいて、前記少なくとも１つの端末及び前記第２の端末と前記通信ネットワークを介して接続されたサーバをさらに備え、前記人物抽出動画生成手段は前記サーバに設けられ、前記合成動画生成手段は前記第２の端末に設けられ、前記少なくとも１つの第１の端末はそれぞれ、前記少なくとも１つの第１の動画を前記サーバに送信し、前記サーバは、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの動画に基づいて生成した前記少なくとも１つの人物抽出動画を前記第２の端末に送信し、前記第２の端末は、前記サーバから受信した前記少なくとも１つの人物抽出動画を用いて生成した前記合成動画を表示すると共に、前記合成動画を前記少なくとも１つの第１の端末に送信して表示させても良い。
【００１８】
上記撮像システムにおいて、前記少なくとも１つの端末及び前記第２の端末と前記通信ネットワークを介して接続されたサーバをさらに備え、前記人物抽出動画生成手段及び前記合成動画生成手段は前記サーバに設けられ、前記少なくとも１つの第１の端末はそれぞれ、前記少なくとも１つの第１の動画を前記サーバに送信し、前記第２の端末は、前記第２の動画を前記サーバに送信し、前記サーバは、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの動画及び前記第２の端末から受信した前記第２の動画を用いて生成した前記合成動画を、前記少なくとも１つの第１の端末及び前記第２の端末に送信して表示させても良い。
【００１９】
上記撮像システムにおいて、前記少なくとも１つの第１端末と前記第２の端末とのうちの少なくともいずれかに対してなされる操作に応じて、表示中の前記合成動画から静止画が抽出されても良い。
【００２０】
上記撮像システムにおいて、前記合成動画生成手段は、前記第２の動画に対して前記少なくとも１つの人物抽出動画を、画角を合わせて重ね合わせても良い。
【００２１】
上記撮像システムにおいて、前記合成動画生成手段は、前記第２の端末に対してなされる操作に応じて、前記少なくとも１つの人物抽出動画の各々のサイズと、前記少なくとも１つの人物抽出動画の各々の向きと、前記第２の動画に対する前記少なくとも１つの人物抽出動画の各々の位置とのうちの少なくとも１つを変更して、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせても良い。
【００２２】
上記撮像システムにおいて、前記第１の端末が複数設けられている場合、前記合成動画生成手段は、複数の前記第１の端末においてそれぞれ生成された複数の第１の動画に基づく複数の人物抽出動画を、該複数の人物抽出動画の各々に写った人物像の位置に応じた順序で、前記第２の動画に重ね合わせても良い。
【００２３】
上記撮像システムにおいて、前記第１の端末が複数設けられている場合、前記合成動画生成手段は、複数の前記第１の端末においてそれぞれ生成された複数の第１の動画に基づく複数の人物抽出動画を、前記第２の端末に対してなされる操作に応じた順序で、前記第２の動画に重ね合わせても良い。
【００２４】
上記撮像システムにおいて、前記合成動画生成手段は、前記第２の動画から人物像を抽出し、前記第２の動画を、該人物像及び該人物像の前景に位置する被写体像を含むレイヤーであるメインレイヤーと、該人物像及び該被写体像の背景からなる背景レイヤーとに分離し、前記人物抽出動画を、前記背景レイヤーの上層且つ前記メインレイヤーの下層となるように重ね合わせても良い。
【００２５】
上記撮像システムにおいて、前記合成動画生成手段は、前記第２の動画から人物像を抽出し、前記第２の動画を、該人物像の前景に位置する被写体像を含む前景レイヤーと、該被写体像の背景からなるレイヤーであって該人物像を含むレイヤーであるメインレイヤーとに分離し、前記人物抽出動画を、前記メインレイヤーの上層且つ前記前景レイヤーの下層となるように重ね合わせても良い。
【００２６】
上記撮像システムにおいて、前記合成動画生成手段は、前記第２の動画から人物像を抽出し、前記第２の動画を、該人物像の前景に位置する被写体像を含む前景レイヤーと、該人物像を含むレイヤーであるメインレイヤーと、該人物像及び該被写体像の背景からなる背景レイヤーとに分離し、前記人物抽出動画を、前記背景レイヤーの上層且つ前記メインレイヤーの下層と、前記メインレイヤーの上層且つ前記前景レイヤーの下層とのいずれかとなるように重ね合わせても良い。
【００２７】
上記撮像システムにおいて、前記合成動画生成手段は、前記第２の動画から、前記第２の端末に対してなされる操作により指定された領域を含む被写体の像を前記被写体像として抽出しても良い。
【００２８】
上記撮像システムにおいて、前記合成動画生成手段は、前記第２の動画から抽出された人物像よりも前記第２の端末との距離が近い被写体の像を前記被写体像として抽出しても良い。
【００２９】
本発明のさらに別の態様である撮像装置は、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの端末と通信ネットワークを介して接続されて使用される撮像装置であって、動画撮像を行うことにより第２の動画を生成可能な撮像部と、前記少なくとも１つの端末との間で動画の送受信が可能な通信部と、前記少なくとも１つの端末から受信した前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画をそれぞれ生成し、該少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより合成動画を生成する画像処理部と、前記合成動画を表示可能な表示部と、を有し、前記合成動画を前記少なくとも１つの端末に送信して表示させるものである。
【００３０】
本発明のさらに別の態様である撮像装置は、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの端末と通信ネットワークを介して接続されて使用される撮像装置であって、前記少なくとも１つの端末はそれぞれ、前記少なくとも１つの第１の動画から人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成して、当該撮像装置に送信し、動画撮像を行うことにより第２の動画を生成可能な撮像部と、前記少なくとも１つの端末との間で動画の送受信が可能であり、前記少なくとも１つの第１の動画からそれぞれ送信された前記少なくとも１つの人物抽出動画を受信する通信部と、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより合成動画を生成する画像処理部と、前記合成動画を表示可能な表示部と、を有し、前記合成動画を前記少なくとも１つの端末に送信して表示させるものである。
【００３１】
本発明のさらに別の態様であるサーバは、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末、及び、動画撮像を行うことにより第２の動画を生成可能及び動画を表示可能な第２の端末と通信ネットワークを介して接続されたサーバであって、前記少なくとも１つの第１の端末及び第２の端末との間で動画の送受信が可能な通信部と、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成する画像処理部と、を有し、前記少なくとも１つの人物抽出動画を前記第２の端末に送信し、前記第２の端末に対し、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わることにより合成動画を生成させて表示させると共に、前記第２の端末から前記合成動画を受信し、該合成動画を前記第１の端末に送信して表示させるものである。
【００３２】
本発明のさらに別の態様であるサーバは、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末、及び、動画撮像を行うことにより第２の動画を生成可能及び動画を表示可能な第２の端末と通信ネットワークを介して接続されたサーバであって、前記少なくとも１つの第１の端末及び第２の端末との間で動画の送受信が可能な通信部と、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成し、該少なくとも１つの人物抽出動画を前記第２の端末から受信した前記第２の動画に重ね合わせることにより合成動画を生成する画像処理部と、を有し、前記合成動画を前記少なくとも１つの第１の端末及び第２の端末に送信して表示させるものである。
【００３３】
本発明のさらに別の態様であるプログラムは、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの端末と通信ネットワークを介して接続され、動画撮像及び動画の表示が可能なコンピュータに実行させるプログラムであって、動画撮像を行うことにより第２の動画を生成するステップと、前記少なくとも１つの端末からそれぞれ、前記少なくとも１つの第１の動画を受信するステップと、前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより合成動画を生成するステップと、前記合成動画を表示するステップと、前記合成動画を前記少なくとも１つの端末に送信して表示させるステップと、を実行させるものである。
【００３４】
本発明のさらに別の態様であるプログラムは、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの端末と通信ネットワークを介して接続されて使用され、動画撮像及び動画の表示が可能なコンピュータに実行させるプログラムであって、前記少なくとも１つの端末はそれぞれ、前記少なくとも１つの第１の動画から人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成して、前記コンピュータに送信し、動画撮像を行うことにより第２の動画を生成するステップと、前記少なくとも１つの端末からそれぞれ、前記少なくとも１つの人物抽出動画を受信するステップと、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより合成動画を生成するステップと、前記合成動画を表示するステップと、前記合成動画を前記少なくとも１つの端末に送信して表示させるステップと、を実行させるものである。
【００３５】
本発明のさらに別の態様であるプログラムは、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末、及び、動画撮像を行うことにより第２の動画を生成可能及び動画を表示可能な第２の端末と通信ネットワークを介して接続されたコンピュータに実行させるプログラムであって、前記少なくとも１つの第１の端末から前記少なくとも１つの第１の動画を受信するステップと、前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、前記少なくとも１つの人物抽出動画を前記第２の端末に送信し、前記第２の端末に対し、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わることにより合成動画を生成させて表示させると共に、前記第２の端末に前記合成動画を前記コンピュータに送信させるステップと、前記合成動画を前記第１の端末に送信して表示させるステップと、を実行させるものである。
【００３６】
本発明のさらに別の態様であるプログラムは、それぞれが動画撮像を行うことにより少なくとも１つの第１の動画を生成可能且つ動画を表示可能な少なくとも１つの第１の端末、及び、動画撮像を行うことにより第２の動画を生成可能及び動画を表示可能な第２の端末と通信ネットワークを介して接続されたコンピュータに実行させるプログラムであって、前記少なくとも１つの第１の端末から前記少なくとも１つの第１の動画を受信するステップと、前記第２の端末から前記第２の動画を受信するステップと、前記少なくとも１つの第１の端末から受信した前記少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、前記少なくとも１つの人物抽出動画を前記第２の動画に重ね合わせることにより合成動画を生成するステップと、前記合成動画を前記少なくとも１つの第１の端末及び第２の端末に送信して表示させるステップと、を実行させるものである。
【発明の効果】
【００３７】
本発明によれば、第１の端末により撮像された動画に基づいて生成された人物抽出動画を、第２の端末により撮像された動画に重ね合わせることにより合成動画を生成し、この合成動画を第１の端末及び第２の端末に表示させるので、少なくとも１つの第１の端末の操作者及び第２の端末の操作者は同じ合成動画を見ることができる。従って、イベント会場に集合している参加者だけでなく、遠隔地から端末装置を介して参加している参加者も一緒に、リアルタイムにコミュニケーションを取りながら集合写真を撮像することが可能となる。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施形態に係る撮像システムの概略構成を示すネットワーク図である。
【図２】図１に示す会場端末の概略構成を示すブロック図である。
【図３】図１に示す遠隔地端末の概略構成を示すブロック図である。
【図４】本発明の第１の実施形態における会場端末及び遠隔地端末の動作を示すフローチャートである。
【図５】本発明の第１の実施形態における処理を説明するための模式図である。
【図６】本発明の第１の実施形態における処理を説明するための模式図である。
【図７】本発明の第１の実施形態における処理を説明するための模式図である。
【図８】本発明の第１の実施形態の変形例３における処理を説明するための模式図である。
【図９】本発明の第１の実施形態の変形例３における処理を説明するための模式図である。
【図１０】本発明の第１の実施形態の変形例４における処理を説明するための模式図である。
【図１１】本発明の第１の実施形態の変形例４における処理を説明するための模式図である。
【図１２】本発明の第２の実施形態に係る撮像システムの概略構成を示すネットワーク図である。
【図１３】図１２に示すサーバの概略構成を示すブロック図である。
【発明を実施するための形態】
【００３９】
以下、本発明の実施の形態に係る撮像方法、撮像システム、撮像装置、サーバ、及びプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【００４０】
以下の説明において参照する図面は、本発明の内容を理解し得る程度に形状、大きさ、及び位置関係を概略的に示しているに過ぎない。即ち、本発明は各図で例示された形状、大きさ、及び位置関係のみに限定されるものではない。また、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
【００４１】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像システムの概略構成を示すネットワーク図である。図１に示すように、本実施形態に係る撮像システム１は、イベント会場において用いられる端末装置である会場端末１０と、遠隔地において使用される端末装置である少なくとも１つ（図１においては３つ）の遠隔地端末２０とを備える。各遠隔地端末２０は、ネットワークＮを介して会場端末１０と接続されている。
【００４２】
通信ネットワークＮは、例えば、インターネット回線、電話回線、ＬＡＮ、専用線、移動体通信網、ＷｉＦｉ（Wireless  Fidelity）、ブルートゥース（登録商標）等の通信回線、又はこれらの組み合わせによって構成され、有線、無線、又はこれらの組み合わせのいずれであっても良い。
【００４３】
図２は、会場端末１０の概略構成を示すブロック図である。会場端末１０としては、タブレット端末、スマートフォン、ノートＰＣなど、動画撮像機能及び通信機能を有する汎用のコンピュータが用いられる。図２に示すように、会場端末１０は、通信部１１と、撮像部１２と、表示部１３と、操作入力部１４と、音声入出力部１５と、記憶部１６と、プロセッサ１７とを有する。
【００４４】
通信部１１は、会場端末１０を通信ネットワークＮに接続し、通信ネットワークＮに接続された他の機器との間で通信を行う通信インタフェースである。通信部１１は、例えばソフトモデム、ケーブルモデム、無線モデム、ＡＤＳＬモデム等を用いて構成される。
【００４５】
撮像部１２は、タブレット端末、スマートフォン、ノートＰＣ等の端末装置に内蔵されたカメラや、端末装置に有線又は無線により接続されたウェブカメラである。撮像部１２は、被写体の動画又は静止画を撮像することにより画像データを生成する。
【００４６】
表示部１３は、例えば液晶又は有機ＥＬ（エレクトロルミネッセンス）によって形成された表示パネル及び駆動部を含むディスプレイである。
【００４７】
操作入力部１４は、表示部１３に設けられたタッチパネル、操作ボタン、キーボード、マウス等の入力デバイスであり、当該会場端末１０に対する操作の入力を受け付ける。
音声入出力部１５は、例えば一般的なマイクロフォン及びサウンドプレイヤを含む。
【００４８】
記憶部１６は、例えばＲＯＭやＲＡＭといった半導体メモリを用いて構成される。記憶部１６は、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶する。具体的には、記憶部１６は、当該会場端末１０が用いられるイベント会場に集合した参加者と、遠隔地端末２０を操作する遠隔参加者とが収まった集合写真を撮像するための処理を当該会場端末１０に実行させる撮像プログラムを記憶するプログラム記憶部１６１と、当該会場端末１０において記録された画像データや遠隔地端末２０から受信した画像データ等を記憶する画像データ記憶部１６２とを含む。
【００４９】
プロセッサ１７は、例えばＣＰＵ（Central  Processing  Unit）を用いて構成され、プログラム記憶部１６１に記憶されたプログラムを読み込むことにより、会場端末１０の各部を統括的に制御すると共に、通信ネットワークＮに接続された遠隔地端末２０との間でデータを送受信することにより、集合写真を撮像するための各種機能を実現する演算部である。プロセッサ１７がプログラム記憶部１６１に記憶された撮像プログラムを読み込むことにより実現される機能には、通信制御部１７１と、撮像制御部１７２と、画像処理部１７３と、表示制御部１７４と、距離計測部１７５とが含まれる。
【００５０】
通信制御部１７１は、複数の遠隔地端末２０との間においてデータの送受信を行うことにより、動画や静止画の送信及び受信を制御する。
撮像制御部１７２は、操作入力部１４に対する操作に応じて、撮像部１２に動画又は静止画の撮像を実行させる。
【００５１】
画像処理部１７３は、撮像部１２により生成された画像データや、遠隔地端末２０から受信した画像データに基づき、所定の画像処理を実行することにより、イベント会場に集合した参加者と、遠隔地端末２０を操作する遠隔地の参加者とが一同に会した合成動画を生成する。詳細には、画像処理部１７３は、遠隔地端末２０により撮像された動画から人物像を抽出し、該人物像以外の領域を透明化することにより人物像のみが抽出された動画を生成する人物抽出動画生成手段としての機能と、この人物像のみが抽出された動画を会場端末１０により撮像された動画に重ね合わせることにより合成動画を生成する合成動画生成手段としての機能を有する。
【００５２】
表示制御部１７４は、表示部１３における各種情報及び画像の表示を制御する。
距離計測部１７５は、当該会場端末１０から、撮像部１２により撮像された被写体までの距離を計測する。計測された距離情報は、画像データに埋め込むことができる。
【００５３】
図３は、遠隔地端末２０の概略構成を示すブロック図である。遠隔地端末２０としても、会場端末１０と同様に、タブレット端末、スマートフォン、ノートＰＣなど、動画撮像機能及び通信機能を有する汎用のコンピュータが用いられる。図３に示すように、遠隔地端末２０は、通信部２１と、撮像部２２と、表示部２３と、操作入力部２４と、音声入出力部２５と、記憶部２６と、プロセッサ２７とを有する。これらの各部のハードウェアの構成は、上記会場端末１０における各部の構成と同様である。
【００５４】
記憶部２６は、会場端末１０との間でデータの送受信を行うことにより、会場端末１０と連携して集合写真を撮像するための処理を当該遠隔地端末２０に実行させる撮像プログラムを記憶するプログラム記憶部２６１と、当該遠隔地端末２０において記録された画像データや会場端末１０から受信した画像データ等を記憶する画像データ記憶部２６２とを含む。
【００５５】
プロセッサ２７は、例えばＣＰＵ（Central  Processing  Unit）を用いて構成され、プログラム記憶部２６１に記憶されたプログラムを読み込むことにより、遠隔地端末２０の各部を統括的に制御すると共に、通信ネットワークＮに接続された会場端末１０との間でデータを送受信することにより、集合写真を撮像するための各種機能を実現する演算部である。プロセッサ２７がプログラム記憶部２６１に記憶された撮像プログラムを読み込むことにより実現される機能には、通信制御部２７１と、撮像制御部２７２と、表示制御部２７３とが含まれる。
【００５６】
通信制御部２７１は、会場端末１０との間においてデータの送受信を行うことにより、動画や静止画の送信及び受信を制御する。
撮像制御部２７２は、操作入力部２４に対する操作に応じて、撮像部２２に動画又は静止画の撮像を実行させる。
表示制御部２７３は、表示部１３における各種情報及び画像の表示を制御する。
【００５７】
次に、本実施形態における撮像方法について説明する。図４は、本実施形態における会場端末１０及び遠隔地端末２０が実行する処理を示すフローチャートである。図５〜図７は、本実施形態における処理を説明するための模式図である。なお、図４においては、１つの遠隔地端末２０の動作のみを示しているが、図１に示す複数の遠隔地端末２０の各々が、会場端末１０との間でデータの送受信を行いながら、図４に示す処理を実行する。
【００５８】
会場端末１０と各遠隔地端末２０とは、ビデオ会議システムやソーシャル・ネットワーキング・サービス（ＳＮＳ）等を介して接続されており、音声付きの動画がリアルタイムに送受信されている。
【００５９】
この状態で、まず、会場端末１０及び遠隔地端末２０は、それぞれが備える撮像部１２、２２により動画撮像を開始する（ステップＳ１０，Ｓ２０）。図５の（ａ）は、会場端末１０により撮像された動画の１シーンを例示している。この動画には、会場に集合している参加者（以下、会場参加者ともいう）の他、会場の背景が写り込んでいる。以下、会場端末１０により撮像された動画のことを、会場動画ともいう。
【００６０】
続いて、遠隔地端末２０は、自身が撮像した動画の会場端末１０への送信を開始する（ステップＳ２１）。会場端末１０と遠隔地端末２０との間の動画の送受信は、例えばＷｅｂＲＴＣ（Web Real-Time Communications）などの公知の技術を用いてリアルタイムに行うことができる。
【００６１】
会場端末１０の画像処理部１７３は、各遠隔地端末２０から受信した動画から人物像を抽出し、さらに、人物像以外の領域を透明化する（ステップＳ１１）。動画からの人物像を抽出は、例えば、人物等の前景と背景とを分離させるビデオセグメンテーションなどの公知の技術を用いてリアルタイムに行うことができる。これにより、遠隔地端末２０を操作する参加者（以下、遠隔地参加者ともいう）の人物像のみが写った動画が生成される。図５の（ｂ）〜（ｄ）に示す実線は、３つの遠隔地端末２０によりそれぞれ撮像された動画から人物像が抽出された動画の１シーンを例示している。以下、遠隔地端末２０により撮像された動画から人物像が抽出された動画のことを、人物抽出動画ともいう。
【００６２】
続いて、会場端末１０の画像処理部１７３は、会場動画に、ステップＳ１１において生成された人物抽出動画を重ね合わせることにより、合成動画を生成する（ステップＳ１２）。図６は、図５の（ａ）に示す会場動画に対し、図５の（ｂ）〜（ｄ）に示す３つの人物抽出動画を重ね合わせた合成動画の１シーンを示している。
【００６３】
本実施形態においては、会場動画に対し、人物抽出動画が、画角を合わせて重ね合わせられる。複数の人物抽出動画を重ね合わせる順序は、デフォルトで設定される。例えば、人物像の位置が端に近いほど下層レイヤーとし、人物像の位置が中央に近いほど上層レイヤーとする、反対に、人物像の位置が端に近いほど上層レイヤーとし、人物像の位置が中央に近いほど下層レイヤーとするといった順序の設定が挙げられる。或いは、会場端末１０に対して遠隔地端末２０が接続された順序（例えば、ビデオ会議に入室した順序など）に応じて、人物抽出動画のレイヤーを自動的に設定しても良い。また、この際に、画像処理部１７３は、各人物抽出動画に対してホワイトバランス調整等の画像処理を施すことにより、会場動画と明るさや画質を揃えても良い。
【００６４】
続いて、会場端末１０は、ステップＳ１２において生成された合成動画を、自身の表示部１３に表示すると共に、各遠隔地端末２０に合成動画を送信する（ステップＳ１３）。これに応じて、各遠隔地端末２０は、受信した合成動画を自身の表示部２３に表示する（ステップＳ２２）。つまり、各遠隔地端末２０には、会場動画に対して自身及び他の遠隔地端末２０を操作する遠隔地参加者の像が重ね合わせられた合成動画がリアルタイムに表示される。
【００６５】
遠隔地参加者は、自身が操作する遠隔地端末２０に表示される合成動画を見ながら、例えば図５の（ｂ）〜（ｄ）の破線に示すように、自身の相対的な位置、ズーム、ポーズ等を調整する。これにより、会場端末１０及び各遠隔地端末２０に表示される合成動画も、例えば図７に示すように変化する。この間に、会場参加者及び遠隔地参加者は、全員で揃いのポーズを取ったり、シャッターチャンスを合わせる掛け声をかけたりするといったコミュニケーションを取ることができる。
【００６６】
会場端末１０は、操作入力部１４に対するシャッター操作を検知すると（ステップＳ１４：Ｙｅｓ）、合成動画から静止画を抽出し、保存する（ステップＳ１５）。なお、会場端末１０がシャッター操作を検知しない場合（ステップＳ１４：Ｎｏ）、処理はステップＳ１１に戻る。もちろん、遠隔地端末２０においても、操作入力部２４がシャッター操作を検知したタイミングで、そのときに表示部２３に表示されていた合成動画から静止画を抽出し、保存することができる。
【００６７】
さらに、会場端末１０は、抽出した静止画を各遠隔地端末２０に送信する（ステップＳ１６）。これに応じて、各遠隔地端末２０は、受信した静止画を保存する（ステップＳ２３）。その後、会場端末１０及び遠隔地端末２０は、集合写真の撮像に関する処理を終了する。
【００６８】
以上説明したように、本実施形態によれば、遠隔地端末２０において撮像された動画に基づく人物抽出動画を、会場端末１０により撮像された動画に重ね合わせることにより合成動画を生成し、この合成動画を各遠隔地端末２０に送信して表示させるので、会場参加者及び遠隔地参加者は、各々の端末に表示された同じ合成動画を見ながら、リアルタイムにコミュニケーションを取ることができる。従って、イベント会場に集合している会場参加者だけでなく、遠隔地参加者も一緒にコミュニケーションを取りながら集合写真を撮像することが可能となる。
【００６９】
（変形例１）
上記実施形態においては、複数の人物抽出動画を重ね合わせる順序がデフォルトで設定されることとしたが、会場端末１０が、操作入力部１４に対する操作に応じて、人物抽出動画を重ね合わせる順序を変更できることとしても良い。この場合、会場端末１０の操作者が、合成動画の表示画面を見ながら適宜操作を行うことにより、前景に来る人物像や後景に来る人物像を適宜決定することができる。
【００７０】
（変形例２）
上記実施形態においては、遠隔地端末２０により撮像された動画から人物抽出動画を生成する処理を会場端末１０側で行ったが、この処理を各遠隔地端末２０において行い、各遠隔地端末２０から人物抽出動画を会場端末１０に送信することとしても良い。これにより、会場端末１０における演算負荷を低減することができる。
【００７１】
（変形例３）
図８及び図９は、本発明の第１の実施形態の変形例３における処理を説明するための模式図である。
ここで、上記実施形態においては、会場動画に対して人物抽出動画を、画角を併せて重ね合わせることとした（図４のステップＳ１２参照）。しかしながら、会場端末１０及び各遠隔地端末２０では、それぞれの状況に応じた撮影距離で撮像が行なわれるため、図８の（ａ）〜（ｃ）に例示するように、それぞれの動画における人物像のサイズや向きが大きく異なっていることがある。このため、人物抽出動画ａ１〜ａ３を、会場動画に画角を合わせてそのまま重ね合わせると、集合写真における人物像の向きやサイズがバラバラになってしまう。また、遠隔地参加者が合成動画に写った自身の像を見ながら位置を調節するにも、ある程度限界がある。
【００７２】
そこで、本変形例においては、ステップＳ１２において、会場端末１０が、操作入力部１４に対する操作に応じて、人物抽出動画のサイズを拡大又は縮小したり、人物抽出動画の向きを調整したり、会場動画に対して人物抽出動画を重ね合わせる位置を変化させたりする。これにより、図９に例示するように、会場端末１０の操作者は、動画の表示画面を見ながら、人物抽出動画ａ１〜ａ３のサイズや向きを調整し、会場動画ａ４に対して所望の位置に重ね合わせることができるので、自然な集合写真を生成することが可能となる。遠隔地参加者は、さらに、各遠隔地端末２０に写った合成動画を見ながら、自身の位置やポーズ等を調整することができる。
【００７３】
（変形例４）
図１０及び図１１は、本発明の第１の実施形態の変形例４における処理を説明するための模式図である。
本変形例４において、会場端末１０の画像処理部１７３は、会場動画から人物像を抽出し、抽出された人物像及びこの人物像の前景に位置する被写体像を含むレイヤー（以下、本変形例４においてメインレイヤーともいう）と、人物像及び前景の被写体像に対する背景からなる背景レイヤーとに分離しても良い。レイヤーの分離に当たっては、例えば、会場動画から人物像を抽出し、人物像よりも会場端末２０との距離が近い（つまり、被写体距離が短い）被写体の像を前景の被写体像とすることができる。被写体距離は、例えば距離計測部１７５により計測することができる。そして、ステップＳ１２において、会場端末１０は、人物抽出動画を、背景レイヤーの上層且つメインレイヤーの下層となるように重ね合わせる。
【００７４】
例えば、図１０の（ａ）に示すように、会場端末１０によりイベント会場において、テーブルに着席する主賓の動画撮像が行われた場合、この会場動画は、図１０の（ｂ）に示すように、主賓及びその前景にあるテーブルを含むメインレイヤーと、図１０の（ｃ）に示すように、これらの被写体を除く背景レイヤーとに分離することができる。そして、人物抽出動画（図８の（ａ）〜（ｃ）参照）は、図１１に示すように、背景レイヤーの上層で、メインレイヤーの下層となるように重ね合わせられる。
【００７５】
本変形例４によれば、合成動画において、人物抽出動画は、会場動画におけるメインレイヤーの後ろ、且つ、背景レイヤーの前に配置されるので、会場動画における人物像の近くに、人物抽出動画における人物像を配置した場合であっても、自然な集合写真を生成することができる。
【００７６】
（変形例５）
会場動画を複数のレイヤーに分離する場合に、上記変形例４とは反対に、人物像の前景に位置する被写体像を含む前景レイヤーと、上記被写体像の背景であって人物像を含むレイヤー（以下、本変形例５においてメインレイヤーともいう）とに分離しても良い。この場合、人物像抽出動画は、被写体レイヤーの上層且つ前景レイヤーの下層となるように重ね合わせられる。なお、レイヤーの分離は、上記変形例４と同様に、会場動画内の人物像や物体像の被写体距離に基づいて行うことができる。
【００７７】
例えば、図１０の（ａ）に示す会場動画を、主賓及びその背景を含む被写体レイヤーと、主賓の前景にあるテーブルを含む前景レイヤーとに分離することができる。
【００７８】
（変形例６）
会場動画を複数のレイヤーに分離する場合に、会場動画から人物像を抽出し、この人物像の前景に位置する被写体像を含む前景レイヤーと、人物像を含むレイヤーであるメインレイヤーと、人物像及び前景の被写体像に対する背景からなる背景レイヤーとに分離しても良い。この場合、人物抽出動画は、背景レイヤーの上層且つメインレイヤーの下層と、メインレイヤーの上層且つ前景レイヤーの下層とのいずれかとなるように重ね合わせられる。なお、レイヤーの分離は、上記変形例４と同様に、会場動画内の人物像や物体像の被写体距離に基づいて行うことができる。
【００７９】
例えば、図１０の（ａ）に示す会場動画を、主賓からなるメインレイヤーと、主賓の前景にあるテーブルを含む前景レイヤーと、主賓の背景レイヤーとに分離することができる。この場合、例えば、大人が写った人物抽出動画をメインレイヤーの下層に、子供が写った人物抽出動画をメインレイヤーの上層に配置するなどすることができる。
【００８０】
（変形例７）
上記変形例４〜６においては、会場動画に写る人物像及び物体像の被写体距離に基づいて、会場動画を複数のレイヤーに分離することとしたが、テーブルなど会場に固定された被写体については、会場端末１０の操作者が、動画を見ながら操作入力部１４（例えばマウス）を用いて領域指定を行うことにより、指定された領域を含む被写体の像が抽出されて別レイヤーとして保存されることとしても良い。例えば、図１０の（ａ）に示す会場動画において、主賓の前景にあるテーブルの像に対し、マウス等を用いて領域指定がなされると、テーブルの輪郭が抽出され、テーブルの像が前景レイヤーとして分離されることしても良い。なお、輪郭の抽出は、輪郭抽出フィルターなどの公知の技術を用いて行うことができる。このようにして分離された被写体像のレイヤーは、合成動画の所望の層に重ね合わせることができる。
【００８１】
（第２の実施形態）
図１２は、本発明の第２の実施形態に係る撮像システムの概略構成を示すネットワーク図である。図１２に示すように、本実施形態に係る撮像システム２は、通信ネットワークＮに接続されたサーバ３０を含む。サーバ３０は、単数又は複数のコンピュータにより構成され、所謂クラウドコンピューティングを提供する。本実施形態において、サーバ３０は、上記第１の実施形態において説明した会場端末１０及び遠隔地端末２０において実行される画像処理の一部又は全部を実行する。
【００８２】
図１３は、図１２に示すサーバ３０の概略構成を示すブロック図である。図１３に示すように、サーバ３０は、通信部３１と、記憶部３２と、プロセッサ３３とを有する。通信部３１は、サーバ３０を通信ネットワークＮに接続する通信インタフェースであり、会場端末１０や遠隔地端末２０等の他の機器との間でデータを送受信する。
【００８３】
記憶部３２は、例えばＲＯＭやＲＡＭといった半導体メモリを用いて構成され、オペレーティングシステムプログラム及びドライバプログラムに加えて、各種機能を実行するアプリケーションプログラムや、これらのプログラムの実行中に使用される各種パラメータ等を記憶する。詳細には、記憶部３２は、プログラム記憶部３２１及び端末情報記憶部３２２を含む。プログラム記憶部３２１は、会場端末１０が用いられるイベント会場に集合した参加者と、遠隔地端末２０を操作する遠隔参加者とが収まった集合写真を撮像するための処理を実行する撮像プログラムを記憶する。端末情報記憶部３２２は、１つの集合写真を撮像するために使用される会場端末１０及び遠隔地端末２０を識別するための情報（例えばＩＰアドレス、ログインＩＤ等）を記憶する。
【００８４】
プロセッサ３３は、例えばＣＰＵ（Central  Processing  Unit）を用いて構成され、プログラム記憶部３２１に記憶された撮像プログラムを読み込むことにより、会場端末１０及び遠隔地端末２０との間でデータを送受信して集合写真を撮像するための各種機能を実現する演算部である。プロセッサ３３が撮像プログラムを読み込むことにより実現される機能部には、画像処理部３３１及び通信制御部３３２が含まれる。このうち、画像処理部３３１は、各遠隔地端末２０から送信された動画から人物像を抽出し、人物像以外の領域を透明化することにより人物抽出動画を生成する画像処理を実行する。また、通信制御部３３２は、端末情報記憶部３２２に記憶された情報に基づいて、１つの集合写真を撮像するために使用される会場端末１０及び遠隔地端末２０をグルーピングして管理し、これらの端末との間におけるデータの送受信を制御する。
【００８５】
次に、サーバ３０の動作について説明する。サーバ３０は、遠隔地端末２０から会場端末１０に向けて動画が送信されると、送信された動画から人物像を抽出し、その背景を透明化することにより人物抽出動画を生成し、生成した人物抽出動画を会場端末１０に送信する。これに応じて、会場端末１０は、サーバ３０から受信した人物抽出動画を会場動画に重ね合わせることにより、合成動画を生成して表示すると共に、この合成動画をサーバ３０に送信する。サーバ３０は、受信した合成動画を遠隔地端末２０に向けて送信して表示させる。その後、会場端末１０におけるシャッター操作に応じて、表示中の合成動画から静止画が抽出され、記録される。
【００８６】
このような本実施形態によれば、会場端末１０における画像処理の演算負荷を低減することができる。
なお、会場端末１０から合成動画を送信する際には、遠隔地端末２０に向けてサーバ３０を介さずに直接送信することとしても良い。
【００８７】
（変形例８）
上記第２の実施形態においては、人物抽出動画を会場動画に重ね合わせることにより合成動画を生成する処理を会場端末１０において実行することとしたが、この処理をサーバ３０が実行することとしても良い。即ち、会場端末１０及び各遠隔地端末２０は、自身が撮像した動画をサーバ３０に送信する。サーバ３０は、各遠隔地端末２０から受信した動画に基づいて人物抽出動画を生成し、会場端末１０から受信した会場動画に人物抽出動画を重ね合わせることにより、合成動画を生成する。この際、会場動画に複数の人物抽出動画を重ね合わせる順序や位置はデフォルトで決定されていても良いし、会場端末１０から受信したコマンドに応じて変更できることとしても良い。そして、サーバ３０は、生成した合成動画を、会場端末１０及び各遠隔地端末２０に送信して表示させる。
【００８８】
会場端末１０においてシャッター操作が検知された際には、会場端末１０において、表示部１３に表示されている合成動画から静止画を抽出し、サーバ３０を介して静止画の画像データを各遠隔地端末２０に送信しても良い。或いは、会場端末１０は、シャッター操作が検知されると、静止画を記録する旨のコマンドをサーバ３０に送信し、サーバ３０が合成動画から静止画を抽出して記録し、静止画の画像データを会場端末１０及び各遠隔地端末２０に送信しても良い。もちろん、各遠隔地端末２０においても、操作入力部２４に対するシャッター操作に応じて、表示部２３に表示されている合成動画から静止画を抽出して保存できることとしても良いし、各遠隔地端末２０からサーバ３０に静止画を記録する旨のコマンドを送信できることとしても良い。
【００８９】
（変形例９）
上記変形例８においては、サーバ３０において、会場動画に対して人物抽出動画を重ね合わせることとしたが、会場端末１０から受信した会場動画からも人物像を抽出して背景を透明化し、会場動画に基づく人物抽出動画と、各遠隔地端末２０において撮像された動画に基づく人物抽出動画とを、ユーザ所望の背景画像に重ね合わせても良い。この場合、サーバ３０は、会場端末１０から受信したコマンドに従って背景画像を選択し、背景込みの合成動画を会場端末１０及び各遠隔地端末２０に配信しても良いし、人物抽出動画のみが重ね合わせられた合成動画を会場端末１０及び各遠隔地端末２０に配信し、各端末においてユーザ好みの背景画像に重ね合わせられることとしても良い。
【００９０】
（変形例１０）
サーバ３０は、遠隔地端末２０から受信した動画に基づいて人物抽出動画を生成する際に、遠隔地端末２０から受信したコマンドに応じて選択された衣装の像を、動画から抽出した人物像に重ね合わせても良い。サーバ３０は、例えば、人物像から胴体や四肢といったパートを検出し、人物像の各パートに衣装の像の対応するパートを重ね合わせることにより、仮想的に、人物像がユーザ所望の衣装を来ているように見せることができる。本変形例１０によれば、遠隔地端末２０のユーザ（遠隔地参加者）は、実際には普段着を来ている場合であっても、集合写真においては正装など所望の服装で写ることができる。
【００９１】
以上説明した本発明は、上記第１及び第２の実施形態及び変形例に限定されるものではなく、上記第１及び第２の実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記第１及び第２の実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記第１及び第２の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【００９２】
１，２…撮像システム、１０…会場端末、１１，２１，３１…通信部、１２，２２…撮像部、１３，２３…表示部、１４，２４…操作入力部、１５，２５…音声入出力部、１６，２６，３２…記憶部、１７，２７，３３…プロセッサ、２０…遠隔地端末、３０…サーバ、１６１，２６１…プログラム記憶部、１６２，２６２…画像データ記憶部、１７１，２７１…通信制御部、１７２，２７２…撮像制御部、１７３…画像処理部、１７４，２７３…表示制御部、１７５…距離計測部、３２１…プログラム記憶部、３２２…端末情報記憶部、３３１…画像処理部、３３２…通信制御部
【要約】
【課題】イベント会場に集合している参加者だけでなく、遠隔地から端末装置を介して参加している参加者も一緒に、リアルタイムにコミュニケーションを取りながら集合写真を撮像することができる撮影方法等を提供する。
【解決手段】撮像方法は、少なくとも１つの第１の端末においてそれぞれ動画撮像を行うことにより、少なくとも１つの第１の動画を生成するステップと、第２の端末において動画撮像を行うことにより第２の動画を生成するステップと、少なくとも１つの第１の動画からそれぞれ、人物像のみが抽出された動画である少なくとも１つの人物抽出動画を生成するステップと、第２の動画に少なくとも１つの人物抽出動画を重ね合わせることにより、合成動画を生成するステップと、少なくとも１つの第１端末及び第２の端末において合成動画を表示するステップと、を含む。
【選択図】図４【図１】
0006969043.tif 000002
【図２】
0006969043.tif 000003
【図３】
0006969043.tif 000004
【図４】
0006969043.tif 000005
【図５】
0006969043.tif 000006
【図６】
0006969043.tif 000007
【図７】
0006969043.tif 000008
【図８】
0006969043.tif 000009
【図９】
0006969043.tif 000010
【図１０】
0006969043.tif 000011
【図１１】
0006969043.tif 000012
【図１２】
0006969043.tif 000013
【図１３】
0006969043.tif 000014