(57)【要約】【課題】常に対象者が映っている編集映像データを提供する。【解決手段】映像共有装置７は、複数のカメラにより撮影したイベントに係るイベント映像データを収集する映像収集部４ｂと、照合対象者の顔写真に係る顔写真画像データと各イベント映像データとを照合して、照合対象者が映っている少なくとも１つのイベント映像データを特定するとともに、特定されたイベント映像データの中の照合対象者の顔領域の大きさを測定する対象者照合部４ｃと、測定された照合対象者の顔領域の大きさが最も大きい１つのイベント映像データを時刻毎に選択する映像選択４ｄｋと、時刻毎に選択された各イベント映像データに基づいて編集映像データを作成する映像編集部４ｄと、を備えることを特徴とする。【選択図】図１
2018129655.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラにより撮影したイベントに係るイベント映像データを収集する映像収集手段と、
照合対象者の顔写真に係る顔写真画像データと前記各イベント映像データとを照合して、前記照合対象者が映っている少なくとも１つのイベント映像データを特定するとともに、前記特定されたイベント映像データの中の前記照合対象者の顔領域の大きさを測定する対象者照合手段と、
前記測定された前記照合対象者の顔領域の大きさが最も大きい１つのイベント映像データを時刻毎に選択する映像選択手段と、
前記時刻毎に選択された各イベント映像データに基づいて編集映像データを作成する映像編集手段と、を備えることを特徴とする映像共有装置。
【請求項２】
前記顔写真画像データを取得する顔写真画像取得手段を備えることを特徴とする請求項１記載の映像共有装置。
【請求項３】
記録手段を備え、
前記映像収集手段は、前記収集した前記各イベント映像データを時刻ごとに前記記録手段に記録することを特徴とする請求項１記載の映像共有装置。
【請求項４】
記録手段を備え、
前記映像選択手段は、前記選択した後の前記カメラから見た前記照合対象者の向きを前記記録手段に記録し、
前記映像編集手段は、前記記録手段から読み出した前記照合対象者の向きに視聴映像データの正面の向きをシフトするように補正することを特徴とする請求項１記載の映像共有装置。
【請求項５】
前記編集映像データを前記顔写真画像データの送信元に出力する映像出力手段を備えることを特徴とする請求項１記載の映像共有装置。
【請求項６】
前記カメラは、全天球カメラであることを特徴とする請求項１に記載の映像共有装置。
【請求項７】
請求項１乃至６の何れか１項記載の映像共有装置と、
イベント映像データを撮影する複数のカメラと、を備えることを特徴とする映像共有システム。
【請求項８】
複数のカメラにより撮影したイベントに係る各イベント映像データを収集する映像収集ステップと、
照合対象者の顔写真に係る顔写真画像データと前記各イベント映像データとを照合して、前記照合対象者が映っている少なくとも１つのイベント映像データを特定するとともに、前記特定されたイベント映像データの中の前記照合対象者の顔領域の大きさを測定する対象者照合ステップと、
前記測定された前記照合対象者の顔領域の大きさが最も大きい１つのイベント映像データを時刻毎に選択する映像選択ステップと、
前記時刻毎に選択された各イベント映像データに基づいて編集映像データを作成する映像編集ステップと、を実行することを特徴とする映像共有方法。
【請求項９】
請求項８記載の映像共有方法の各ステップをプロセッサに実行せることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像共有装置、映像共有システム、映像共有方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば運動会、競技会、パーティー、集会等々の各種イベントにおいて、カメラを持った撮影者Ａ（例えば、父親）が特定の対象者ａ（例えば、子供）についての気に入った写真（ベストショット）を撮影しようとすれば、撮影位置、撮影タイミング等の撮影チャンスに恵まれる必要があり、常にベストショットを撮ることができるとは限らない。このような状況下で撮影者Ａがベストショットを撮影できなかったとしても、イベントの主催者、或いは他の撮影者Ｂ、Ｃ、Ｄ・・・が撮影した映像に対象者ａのベストショットが含まれていることが判明した場合には、撮影者Ａがその映像を入手できれば便利である。
また、撮影場所や撮影チャンスに恵まれずにベストショットどころか対象者ａの写真さえも満足に撮れないことが有り得る。この場合も、他の撮影者による映像中に対象者ａの映像がある場合に撮影者Ａがこれを入手できれば便利である。
【０００３】
特許文献１には、複数の撮影者が同一施設内でそれぞれ撮影した映像を共有化する技術が開示されている。
特許文献１には、複数のカメラで撮影した映像を複数のユーザで共有化する際に、使い勝手を良くすることを目的として、各対象者および各カメラの所在位置を特定し、障害物の存在の有無を判定し、特定された各対象者および各カメラの所在位置と障害物の判定結果に基づいて、各映像において撮影されている対象者を特定するように構成された映像共有システムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、イベント会場の状況によっては理想的な撮影場所、タイミングを確保することが難しく、結果として撮影者Ａが対象者ａを撮影できなかったり、ベストショットを撮影できない、という事態が発生する。
特許文献１にあっては、複数のカメラで撮影した映像を複数のユーザで共有化するという手法が開示されている。しかし、共有化した複数の映像において対象者ａが映っている映像を確保しようとしても、他の撮影者Ｂ、Ｃ、Ｄ・・・の位置等の撮影条件によっては対象者ａが写っていない場合もあるため、結局、撮影者Ａ自身が撮影するしかない、という問題は解消できていない。
本発明は、上記に鑑みてなされたもので、その目的としては、常に対象者が映っている編集映像データを提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、請求項１記載の発明は、複数のカメラにより撮影したイベントに係るイベント映像データを収集する映像収集手段と、照合対象者の顔写真に係る顔写真画像データと前記各イベント映像データとを照合して、前記照合対象者が映っている少なくとも１つのイベント映像データを特定するとともに、前記特定されたイベント映像データの中の前記照合対象者の顔領域の大きさを測定する対象者照合手段と、前記測定された前記照合対象者の顔領域の大きさが最も大きい１つのイベント映像データを時刻毎に選択する映像選択手段と、前記時刻毎に選択された各イベント映像データに基づいて編集映像データを作成する映像編集手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、常に対象者が映っている編集映像データを提供することができる。
【図面の簡単な説明】
【０００７】
【図１】（ａ）（ｂ）は、本発明の第１実施形態に係る映像共有システムの構成を示すブロック図である。
【図２】全天球カメラの配置例を示す図である。
【図３】（ａ）〜（ｃ）は、全天球カメラの設置例を示す図である。
【図４】本発明の第１実施形態に係る映像共有システムの制御装置により実行されるメイン処理を示すフローチャートである。
【図５】映像収集処理において実行されるサブルーチンのフローチャートである。
【図６】顔写真アップロード処理において実行されるサブルーチンのフローチャートである。
【図７】対象者照合処理において実行されるサブルーチンのフローチャートである。
【図８】映像編集処理において実行されるサブルーチンのフローチャートである。
【図９】編集映像ダウンロード処理において実行されるサブルーチンのフローチャートである。
【図１０】（ａ）〜（ｄ）は、顔矩形領域の大きさの測定例を示す図である。
【図１１】対象者照合処理により作成される対象者記録情報テーブルの一例を示す図である。
【図１２】映像編集処理により作成される編集映像の一例を示す図である。
【図１３】（ａ）（ｂ）は、本発明の第２実施形態に係る映像共有システムによる撮影映像と対象者の位置関係を説明する図である。
【発明を実施するための形態】
【０００８】
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、常に対象者が映っている編集映像データを提供するために、以下の構成を有する。
すなわち、本発明の映像共有装置は、複数のカメラにより撮影したイベントに係るイベント映像データを収集する映像収集手段と、照合対象者の顔写真に係る顔写真画像データと各イベント映像データとを照合して、照合対象者が映っている少なくとも１つのイベント映像データを特定するとともに、特定されたイベント映像データの中の照合対象者の顔領域の大きさを測定する対象者照合手段と、測定された照合対象者の顔領域の大きさが最も大きい１つのイベント映像データを時刻毎に選択する映像選択手段と、時刻毎に選択された各イベント映像データに基づいて編集映像データを作成する映像編集手段と、を備えることを特徴とする。
以上の構成を備えることにより、常に対象者が映っている編集映像データを提供することができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
【０００９】
＜第１実施形態＞
図１（ａ）（ｂ）は、本発明の第１実施形態に係る映像共有システムの構成を示すブロック図である。
この映像共有システム１００は、主に幼稚園、小学校等の施設において、その施設内で撮影された映像を複数のユーザで共有化する際に用いられるものである。
この映像共有システムを用いることにより、例えば多数の家族が参加する学校の運動会などのイベントにおいて個々の親が撮影者となって自身の子供を撮影しなくても、イベントの主催者が用意した複数のカメラで撮影されたイベント映像データの中から、常に自身の子供が映っている最も好ましい（気に入った）イベント映像データを入手することができるようになる。
なお、ここでは一例として運動会において親が子供の写真を撮る例を示したがこれは一例に過ぎず、本発明は多数が参集するイベントにおいて特定の撮影者が特定の人物を撮影する場合一般に適用することができる。
【００１０】
図１（ａ）に示す映像共有システム１００は、カメラ１、パーソナルコンピュータ２、全天球カメラ３、制御装置４および記憶装置５を含む映像共有装置７、を備えている。
カメラ１は、ユーザである保護者によって所持されるカメラであり、対象となる子供（園児、児童など）の顔写真を撮影する。この顔写真は後述する複数のイベント映像データの中から、対象となる子供を判別するために用いられる。カメラ１は、デジタルカメラであればどのようなカメラでも良く、例えばコンパクトデジタルカメラやスマートフォンのカメラなどの使用が想定される。
【００１１】
パーソナルコンピュータ２は、ユーザである保護者によって所持されるコンピュータであり、通信ネットワーク（インターネット）を介して制御装置４と接続されており、カメラ１で撮影した写真画像を制御装置４にアップロードする際と、逆に制御装置４から編集済みのイベント映像データをダウンロードする際に使用される。
全天球カメラ３は、イベントの主催者である学校などによって所持されるカメラであり、上下左右全方位の３６０度パノラマ写真や動画が撮れるカメラである。
【００１２】
＜全天球カメラ＞
全天球カメラについては、非特許文献１に詳しい説明がある。
通常、３６０度パノラマ画像を作成する場合は、ある一点から全方位の写真を数十枚撮影してコンピュータ上で合成処理する必要がある。これに対して、全天球カメラを利用すれば一度の撮影でパノラマ画像が作成できる。すなわち、全天球カメラは、全視野撮影できるように複数台のカメラを合体改造させたＧｏｏｇｌｅ（登録商標）のストリートビュー撮影装置や、ＲＩＣＯＨ  ＴＨＥＴＡのように魚眼レンズを前後２つ装備したものもある。ストリートビュー撮影装置は、映像の下部に車両が写ってしまうため、パッチ処理によって擬似的に上下方向の３６０度写真を実現している。
【００１３】
全天球カメラ３は、制御装置４とは無線ＬＡＮなどの無線通信ネットワークを介して接続されている。全天球カメラ３は、イベントの主催者の操作により、イベント開始時からイベント終了時まで、その撮影されたイベント映像データを制御装置４へ逐次送信する。複数の全天球カメラを使用することで、各全天球カメラで撮ったイベント映像データを総合すると論理的に死角が無くなるので、対象となる子供が常にどれかの全天球カメラに映り込んでいるようになる。
従って、常に照合対象者が映っているイベント映像データを残そうとすると、結局自分で撮影するしかないという不具合が発生する。
【００１４】
＜映像共有装置＞
図１（ｂ）は、映像共有装置７を示す図であり、映像共有装置７は制御装置４および記憶装置５を含んでいる。
制御装置４は、例えばパソコンやサーバなどのコンピュータ装置である。
顔写真画像取得部４ａでは、メモリ４ａｍを有し、通信ネットワーク（インターネット）を介して受信した照合対象者の顔写真を取り込みメモリ４ａｍに蓄積する。
映像収集部４ｂでは、無線通信ネットワークを介して受信した複数の全天球カメラ３のイベント映像データを取りこむ。
対象者照合部４ｃでは、映像収集部４ｂで取り込まれた複数のイベント映像データ全てに対して、顔写真画像取得部４ａのメモリ４ａｍに蓄積されている照合対象者の顔写真との照合を行い、照合対象者がどのイベント映像データのどの時刻に映っているかを特定する。この照合対象者の顔の照合には一般に知られている顔認識処理技術を用いることで実現できる。
【００１５】
＜顔認識処理＞
顔認識処理については、非特許文献２に詳しい説明がある。
顔認識処理とは、監視カメラのデジタル画像から、人を自動的に識別するためのコンピュータ用アプリケーションである。ライブ画像内の顔と思われる部分を抜き出し、顔面画像データベースと比較することで識別を行う。
一部の顔認識アルゴリズムは、顔画像から目立つ特徴を抽出することで識別する。例えば、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として利用する。そのような特徴を使い、一致する特徴のある画像を検索する。別のアルゴリズムでは多数の顔画像から標準化したデータを作り、個々の顔画像はその標準データとの差分だけに圧縮し、顔認識に必要なデータだけを残す。対象画像をそのような顔データと比較する。初期の成功した顔認識システムの１つは、一連の圧縮された顔データを使い、顕著な顔の特徴のセットを使ったテンプレートマッチング技法に基づくものだった。
【００１６】
認識アルゴリズムは大まかに２種類に分類でき、見た目の特徴を直接幾何学的に比較する方法と、画像を統計的に数値化してその数値をテンプレートと比較する方法がある。
主な顔認識アルゴリズムとしては、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などがある。
【００１７】
映像編集部４ｄは、映像選択部４ｄｋを有し、映像選択部４ｄｋにより対象者照合部４ｃの結果を元に、照合対象者の顔が最もよく映っているイベント映像データを単位時間ごとに選択する。そして、映像編集部４ｄは、照合対象者の顔が最もよく映っている映像を順次繋ぎ合わせて、その照合対象者に最も適した編集映像データを作成する。
映像出力部４ｅでは、編集映像データの作成が完了するとその旨をユーザに通知し、ユーザが編集済みの映像を通信ネットワーク（インターネット）を介してパーソナルコンピュータ２にダウンロードすれば一連の処理が完了となる。
記録装置５は、映像収集部４ｂで受信した複数の全天球カメラ３のイベント映像データを記録して、ユーザが顔写真をアップロードして映像編集の処理を始まるまで記録しておくことができる。記録装置５は、例えばハードディスクなどの記録装置である。
【００１８】
＜全天球カメラの配置例＞
図２は、園庭や校庭、あるいは施設の建物における全天球カメラ３の配置例を示す図である。
図２においては、全天球カメラ３の配置位置を白丸で示している。この図２に示す例では、全天球カメラ３はグラウンド２００の中に等間隔に、例えば２０ｍの間隔で碁盤の目のように配置している。全天球カメラ３の死角を無くし照合対象者をより良く映すためには、全天球カメラの台数をできるだけ増やし、等間隔に碁盤の目のように配置するのが望ましいが、園庭や校庭、あるいは施設の建物の状況によって不可能な場合は必ずしもこのように配置しなければいけない訳ではない。
また図２においては、照合対象者２０１となる子供は黒丸で示している。先ず照合対象者２０１は時刻Ｔ１には位置Ｚ１に存在することとする。この時、照合対象者２０１は直近の全天球カメラ３のＡ、Ｂ、Ｇ、Ｈの撮影画像に映り込んでいることになる。ちなみに全天球カメラ３の性能や配置間隔によってはさらに遠方のＭ、Ｎなどの全天球カメラにも映りこむことになるが、ここでは説明の都合上、映っていないことにして説明を省く。
【００１９】
また、図２ではいくつかの全天球カメラの撮影方向を矢印で図示しているが、これは照合対象者がどの全天球カメラに映り込んでいるかをイメージするためのものであって、全天球カメラ３はあくまで上下左右全方位の３６０度が撮影できる全天球カメラなので、矢印以外の方向も撮影していることは念のため触れておく。
次に照合対象者２０１が時刻Ｔ２に位置Ｚ２まで移動したとする。この時、照合対象者２０１は直近の全天球カメラ３のＨ、Ｉ、Ｎ、Ｏの撮影画像に映り込んでいることになる。
さらに照合対象者２０１が時刻Ｔ３に位置Ｚ３にまで移動したとする。この時、照合対象者２０１は直近の全天球カメラ３のＩ、Ｊ、Ｏ、Ｐの撮影画像に映り込んでいることになる。
このように本発明の映像共有システム１００では、照合対象者の位置に関係なく常に複数の全天球カメラで撮影されている状態を作り出しており、その結果、常に照合対象者の顔が最も良く映っているイベント映像データを編集で作ることが可能になっていることが特徴となっている。
【００２０】
＜全天球カメラの設置例＞
図３（ａ）〜（ｃ）は、園庭や校庭、あるいは施設の建物における全天球カメラ３の設置例を示す図である。
図３（ａ）に示す全天球カメラは、地面３０ｃに埋設された埋設型の全天球カメラであり、全天球カメラ本体３とレンズ部３０ａは地中に埋めて、その上を全天球カメラの視界を妨げないような透明な強化ガラス板３０ｂなどで覆う形態である。ここで強化ガラス板３０ｂは、踏まれるなどの衝撃に耐えうるまのであれば、素材は何でも構わない。またこの形態では地下方向の画角は必要なくなるので、全天球カメラは２個の全天球カメラを備えておく必要はなく、１個の全天球カメラだけ備えていれば良い。
【００２１】
図３（ｂ）に示す全天球カメラは、地上設置型の全天球カメラであり、支柱３０ｄなどの台の上に全天球カメラを設置する形態である。
図３（ｃ）に示す全天球カメラは、ドーム型の全天球カメラであり、天井３０ｆに全天球カメラを設置する形態である。この形態においても、天井方向の画角は必要なくなるので、全天球カメラは２個の全天球カメラを備えておく必要はなく、１個の全天球カメラだけ備えていれば良い。このように全天球カメラの設置においては、使用する施設の状況に合わせて設置形態を選べば良い。また設置形態は１つに絞る必要はなく、複数を組み合わせても良い。さらにここでは３つの設置例を挙げたが、イベント映像データが撮影できるのであればどのような形態で設置しても構わない。
【００２２】
＜メイン処理＞
図４は、本発明の第１実施形態に係る映像共有システム１００の制御装置４により実行されるメイン処理を示すフローチャートである。
図４に示すように、映像共有システム１００の制御装置４は、ステップＳ１００の映像収集処理、ステップＳ２００の顔写真アップロード処理、ステップＳ３００の対象者照合処理、ステップＳ４００の映像編集処理、ステップＳ５００の編集映像ダウンロード処理を順番に実行する。
これらの各ステップにおける具体的な処理の内容を、図５〜図９に示すサブルーチンのフローチャートを用いて以下に説明する。なお、ステップＳ１００の映像収集処理は運動会などのイベント開催中に実行され、それ以降の処理はイベント終了後に実行される。
【００２３】
＜映像収集処理＞
図５は、図４に示すステップＳ１００の映像収集処理において実行されるサブルーチンのフローチャートである。
ステップＳ１０１では、制御装置４は、イベント開始前に主催者が映像共有システム１００の各機器を起動する。具体的には、施設に設置されている全ての全天球カメラ３と、制御装置４と、記録装置５の電源を入れ、イベント映像データを撮影、記録する準備を整える。ここで、制御装置４は、電源投入信号を全ての全天球カメラ３、記録装置５へ送信して、全ての機器の制御をリモートで行えるようにシステムを構成しておくことで、全ての機器の電源を個別に投入するという手間を省くことができる。
【００２４】
ステップＳ１０２では、制御装置４は、イベントの開始に合わせて主催者が全天球カメラ３での撮影を開始させるため、撮影開始信号を送信する。制御装置４から撮影開始信号を受信した各全天球カメラ３は、それぞれ全天球カメラが撮影を開始し、全天球カメラ３は撮影した映像を送信する。
ステップＳ１０３では、映像収集部４ｂは、全天球カメラ３から送信されてくるイベント映像データを逐次に受信する。
ステップＳ１０４では、映像収集部４ｂは、受信したイベント映像データを逐次に記録装置５に記録していく。この一連の処理をイベントの終了まで継続的に行い、イベントの終了で処理を終える。
【００２５】
＜顔写真アップロード処理＞
図６は、図４に示すステップＳ２００の顔写真アップロード処理において実行されるサブルーチンのフローチャートである。なお、図６に示す処理は全てユーザの操作によって実行される。
ステップＳ２０１では、ユーザは、カメラ１を使って照合対象者の写真を撮影する。
ステップＳ２０２では、ユーザは、パーソナルコンピュータ２を操作し、カメラ１で撮影した写真の画像データをパーソナルコンピュータ２に取り込む。
ステップＳ２０３では、ユーザは、パーソナルコンピュータ２を操作し、パーソナルコンピュータ２を介して通信ネットワーク（インターネット）を介して顔写真画像取得部４ａのメモリ４ａｍへ写真の画像データをアップロードする。
ステップＳ２０４では、ユーザは、制御装置４を操作して、顔写真画像取得部４ａのメモリ４ａｍへアップロードした照合対象者の編集映像データの作成開始を指示する。これでユーザが実施する処理は一旦終了となる。
【００２６】
＜対象者照合処理＞
図７は、図４に示すステップＳ３００の対象者照合処理において実行されるサブルーチンのフローチャートである。図７に示す処理は、ユーザが編集映像データの作成開始を指示したあとに、制御装置４の対象者照合部４ｃによって自動的に実行される。
ステップＳ３０１では、対象者照合部４ｃは、顔写真画像取得部４ａのメモリ４ａｍに蓄積されている照合対象者の顔写真画像を呼び出す。
ステップＳ３０２では、対象者照合部４ｃは、顔写真画像の端から順に矩形領域を探索し、顔と合致する矩形領域を抽出する。
ステップＳ３０３では、対象者照合部４ｃは、顔抽出領域から瞳の中心、鼻翼、口端などの特徴点の位置を探査する。
ステップＳ３０２とステップＳ３０３の処理は、前述の顔認識システムで用いられている技術なのでその詳細な説明を省略する。
ステップＳ３０４では、対象者照合部４ｃは、記録装置５から記録されているイベント映像データを順次呼び出す。
【００２７】
ステップＳ３０５では、対象者照合部４ｃは、顔照合を行う時間単位でイベント映像データを進める。これは以降で説明する顔照合の処理をイベント映像データの全ての時間で実施しようとすると、処理に膨大な時間がかかってしまうため、実用的な時間で顔照合の処理が終わるようにイベント映像データを間引くことを意味している。
具体的には、動画映像は連続した写真画像の集まりなので、幾つかの写真画像を飛ばして、その時間に相当する写真画像だけを顔照合していくことを意味している。この顔照合をする時間単位は、例えば１秒毎でも良いし、１０秒毎でも良いし、任意に設定できるようにしておいても良い。
ステップ３０６では、対象者照合部４ｃは、対象の時間の写真画像から顔と合致する矩形領域を探索する。顔領域が検出できなかった場合はステップＳ３０７へと進み、検出できた場合はステップＳ３０８へと進む。
【００２８】
ステップＳ３０７では、対象者照合部４ｃは、対象映像の対象時間には照合対象者の顔が検出できなかったことを記録装置５に記録して、ステップＳ３０５へと戻る。
ステップ３０８では、対象者照合部４ｃは、顔抽出領域から瞳の中心、鼻翼、口端などの特徴点の位置を探査する。
ステップ３０９では、対象者照合部４ｃは、ステップ３０３で検出した照合対象者の顔の特徴点と、ステップＳ３０８で検出した顔の特徴点を照合し、イベント映像データの顔が照合対象者のものであるかを判定する。照合対象者の顔でなかった場合はステップＳ３０７へと進み、照合対象者の顔であった場合はステップＳ３１０へと進む。
【００２９】
ステップＳ３１０では、対象者照合部４ｃは、イベント映像データの顔矩形領域の大きさを測定する。ステップＳ３１０の詳細は図１０を参照して後述する。
ステップＳ３１１では、対象者照合部４ｃは、イベント映像データの対象時間に照合対象者が検出できて、その顔の大きさの値は幾つだったかを表す対象者記録情報テーブルを記録装置５に記録する。
ステップＳ３１２では、対象者照合部４ｃは、イベント映像データが最後まで進んだか否かを判定し、まだ最後まで進んでいない場合はＳ３０５へと戻り、最後まで進んでいる場合はＳ３１３へと進む。
ステップＳ３１３では、対象者照合部４ｃは、記録装置５に記録されている全てのイベント映像データの照合を終えたか否かを判定し、まだ終えていない場合はステップＳ３０４へと戻り、終えている場合は以上で処理は終了となる。なお、ステップＳ３０７と、ステップＳ３１１で記録装置５に記録した情報を対象者記録情報テーブルと呼び、図１１を参照して後述する。
【００３０】
＜映像編集処理＞
図８は、図５に示すステップＳ４００の映像編集処理において実行されるサブルーチンのフローチャートである。図８に示す処理はステップＳ３００の対象者照合処理に引き続き、制御装置４の映像編集部４ｄによって自動的に実行される。
ステップＳ４０１では、映像選択４ｄｋは、Ｓ３００で作成された対象者記録情報テーブルを元に、それぞれの時刻でより良く映っているカメラのイベント映像データを選択する。ステップＳ４０１の処理の詳細説明については図１１を参照して後述する。
ステップＳ４０２では、映像編集部４ｄは、時刻毎に選定されたイベント映像データを１つのイベント映像データに繋ぎ合わせる編集作業を行い、ユーザへ提供する編集映像データを作成する。
ステップＳ４０３では、映像編集部４ｄは、イベント映像データの編集が完了した旨をユーザへ通知するとともに、編集済みの編集映像データを映像出力部４ｅへ送って、処理は終了となる。
【００３１】
＜編集映像ダウンロード処理＞
図９は、図５に示すステップＳ５００の編集映像ダウンロード処理において実行されるサブルーチンのフローチャートである。図９に示す処理は制御装置４からのイベント映像データの編集が完了した旨の通知を受けたユーザが実行する。
ステップＳ５０１では、映像出力部４ｅは、パーソナルコンピュータ２を使って映像出力部４ｅに蓄積されている編集済みの編集映像データを通信ネットワーク（インターネット）を介してダウンロードする。
以上により、映像共有システム１００の処理は全て完了する。
【００３２】
＜顔矩形領域の大きさの測定例＞
図１０（ａ）〜（ｄ）は、ステップＳ３１０で処理される顔矩形領域の大きさの測定例を示す図である。
図１０（ａ）はある時刻の全天球カメラＡの画像Ａとする。
図１０（ｂ）は同時刻の全天球カメラＢの画像Ｂとする。
図１０（ｃ）は同時刻の全天球カメラＣの画像Ｃとする。図１０においては、ステップＳ３０６において検出された顔矩形領域の範囲を点線の四角で示している。すなわち、図１０（ａ）の顔矩形領域３０１と、図１０（ｂ）に示す顔矩形領域３０２と、図１０（ｃ）に示す顔矩形領域３０３である。図１０（ｄ）に顔の大きさを比較する処理のイメージを示す。
【００３３】
先ず本実施形態では、顔の大きさの実際の寸法が必要な訳ではなく、異なる全天球カメラ間での相対比較ができれば良い。
そこで、図１０に示す例では、各画像を一定の大きさで切り取り、その中の顔矩形領域の面積を求め、その値を各画像の相対的な顔の大きさとする。すなわち、各画像の大きさを１２×１２（説明の都合で値を付けただけで、単位は特にない）で切り取ったこととすると、顔矩形領域３０１の大きさは１と、顔矩形領域３０２の大きさは４と、顔矩形領域３０３の大きさは１６と、相対的な値で決定できる。この値が大きい程、顔が大きく写っているので、良い表情が撮れているということになる。
そこで、本実施形態では、この値がより大きい全天球カメラのイベント映像データを繋ぎ合わせた編集映像データが、照合対象者の顔が常に映っているだけでなく、照合対象者にとって一番良いイベント映像データと考え、この編集映像データを提供する。
【００３４】
＜対象者記録情報テーブルの一例＞
図１１は、ステップＳ３００の対象者照合処理により作成される対象者記録情報テーブルの一例を示す図である。ステップＳ３００の処理においては、各全天球カメラのイベント映像データに対して単位時間毎に情報の記録が行われている。
すなわち、ステップＳ３０７においては、顔領域が検出されなかったことが記録装置５に記録される。ここでは、顔の大きさが０と同義であるので、実際には０が記録装置５に記録される。
また、ステップＳ３１１においては、照合対象者の顔領域が検出された場合に、その大きさが記録される。ここで、図１０に示す顔矩形領域の大きさの測定例で説明した処理で求めた値を表す対象者記録情報テーブルが記録装置５に記録される。
【００３５】
ここで、図１１を参照して、対象者記録情報テーブルについて説明する。なお、当該説明において図２に示す各時刻での状況も説明する。
先ず、時刻Ｔ１においては、照合対象者２０１は直近の全天球カメラ３のＡとＢとＧとＨの撮影イベント映像データに映り込んでいる。このうち全天球カメラＡは照合対象者２０１を真後ろから撮影しているので、顔は映っておらず、顔領域は検出されないので０が記録装置５に記録される。
また、全天球カメラＢ、Ｇは、照合対象者２０１を真横から撮影しているので、これも顔領域が検出されないので０が記録される。そして全天球カメラＨは照合対象者２０１を真正面から撮影しているので、顔が照合されて、顔の大きさが測定され、その結果が仮に５だとして記録装置５に記録される。その他の全天球カメラにおいては、照合対象者２０１の顔が映っていないので、顔領域が検出されないので０が記録装置５に記録される。このようにして各時刻において、順次全ての全天球カメラの値を記録装置５に記録していく。
【００３６】
次に、図１１に示す対象者記録情報テーブルに基づいて行われるステップＳ４０１での処理について説明する。
図１１に示す対象者記録情報テーブルの一例において、時刻Ｔ１では、全天球カメラＨだけしか値が入っていないので、全天球カメラＨのイベント映像データが選択される。
時刻Ｔ２では、全天球カメラＩと全天球カメラＯに値が入っているが、全天球カメラＩの値が６で全天球カメラＯの値の１よりも大きいので、全天球カメラＩのイベント映像データが選択される。
時刻Ｔ３では、全天球カメラＰだけしか値が入っていないので、全天球カメラＰのイベント映像データが選択される。
このようにして、各時刻において、どの全天球カメラのイベント映像データを選択するかを順次決めていく。なお、ある時刻において全ての全天球カメラの値が０である場合は、すなわち照合対象者の顔がどのイベント映像データにも映っていなかった場合には、その時刻の前の時刻において選択されている全天球カメラのイベント映像データを引き続き使用することとする。
【００３７】
次に、図１２は、ステップＳ４００の映像編集処理により作成される編集映像データの一例を示す図である。
時刻Ｔ１では全天球カメラＨのイベント映像データが映る。
時刻Ｔ２では全天球カメラＩのイベント映像データが映る。
時刻Ｔ３では全天球カメラＰのイベント映像データが映っている。
その後、時刻Ｔｋでは照合対象者がイベント映像データ中に存在している全天球カメラＸのイベント映像データが映っている。時刻Ｔｋ＋１、Ｔｋ＋２では照合対象者がイベント映像データ中に存在していない全天球カメラＸのイベント映像データが映っている。
【００３８】
＜第２実施形態＞
図１３（ａ）（ｂ）は、本発明の第２実施形態に係る映像共有システムによる撮影映像と照合対象者の位置関係を説明する図である。
図１３（ａ）（ｂ）においては、照合対象者２０１となる子供を黒丸で示している。ここで、全天球カメラの中心４０１を原点Ｏとし、全天球カメラの正面の向き４０２をＺ軸の方向に取った、（ｘ，ｙ，ｚ）座標系を考える。
通常、図１３（ａ）に示すように、全天球カメラの正面の向き４０２がイベント映像データの正面の向き４０３になる。このとき、照合対象者２０１は（ｘ，ｙ，ｚ）の座標に位置するので、イベント映像データでは正面から左に少し左方向にずれた方向に見えることになる。
【００３９】
このように、全天球カメラの正面の向きと照合対象者の位置との関係は、イベント映像データ毎に異なるので、選択した全天球カメラのイベント映像データを単純に繋ぎ合わせた場合には、照合対象者の見える位置がイベント映像データの切り替わり毎に移動してしまうといったことが起こる。
また、照合対象者が全天球カメラの正面の向きと反対側にいた場合は、イベント映像データを後ろ側に向けないと、そのままでは全く見えなくなってしまう。
そこで、第２実施形態では、図１３（ｂ）に示すように、イベント映像データの正面の向き４０３を照合対象者２０１の見えている向き４０５にシフトすることで、常に照合対象者２０１がイベント映像データの正面に見えているように編集映像データを補正することを特徴とする。
具体的には、映像選択部４ｄｋは、ステップＳ３００の対象者照合処理において、記録装置５に記録される図１１に示す対象者記録情報テーブルに、照合対象者の顔が見えている向き４０５の情報を記録しておき、映像編集部４ｄは、ステップＳ４００の映像編集処理において、その対象者記録情報テーブルから読み出した向き４０５にイベント映像データの正面の向き４０３をシフトするように補正することで実現する。
【００４０】
＜効果＞
本実施形態によれば、撮影カメラに３６０度全周の撮影が可能な全天球カメラを用いることで、各全天球カメラで撮ったイベント映像データを総合すると論理的に死角が無くなるので、その各イベント映像データの中から照合対象者が最も良く映っているイベント映像データを繋ぎ合わせることで、常に照合対象者が最も良く映っている編集映像データを作成できるので、ある撮影者自身が照合対象者を撮影しなくても、他の撮影者が撮影したイベント映像データのどれかに当該照合対象者が必ず映っており、撮影者はそのイベント映像データを利用し、常に照合対象者が映っているイベント映像データを提供することができる。
【００４１】
＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様の映像共有装置７は、複数のカメラにより撮影したイベントに係るイベント映像データを収集する映像収集部４ｂと、照合対象者の顔写真に係る顔写真画像データと各イベント映像データとを照合して、照合対象者が映っている少なくとも１つのイベント映像データを特定するとともに、特定されたイベント映像データの中の照合対象者の顔領域の大きさを測定する対象者照合部４ｃと、測定された照合対象者の顔領域の大きさが最も大きい１つのイベント映像データを時刻毎に選択する映像選択部４ｄｋと、時刻毎に選択された各イベント映像データに基づいて編集映像データを作成する映像編集部４ｄと、を備えることを特徴とする。
本態様によれば、複数のカメラにより撮影したイベントに係るイベント映像データを収集しておき、照合対象者の顔写真に係る顔写真画像データと各イベント映像データとを照合して、照合対象者が映っている少なくとも１つのイベント映像データを特定するとともに、特定されたイベント映像データの中の照合対象者の顔領域の大きさを測定し、測定された照合対象者の顔領域の大きさが最も大きい１つのイベント映像データを時刻毎に選択し、時刻毎に選択された各イベント映像データに基づいて編集映像データを作成するので、常に照合対象者が映っている編集映像データを提供することができる。
例えば多数の家族が参加する学校の運動会などのイベントにおいて、会場の状況によっては理想的な撮影場所、タイミングを確保することが難しい場合でも、個々の親が撮影者となって自身の子供を撮影しなくても、イベントの主催者が用意した複数のカメラで撮影されたイベント映像データの中から、常に自身の子供が映っている最も好ましい（気に入った）イベント映像データを入手することができるようになる。
【００４２】
＜第２態様＞
本態様の映像共有装置７は、顔写真画像データを取得する顔写真画像取得部４ａを備えることを特徴とする。
本態様によれば、顔写真画像データを取得するように構成することで、任意の顔写真画像データと各イベント映像データとを照合することができるので、任意の照合対象者が映っている編集映像データを提供することができる。
【００４３】
＜第３態様＞
本態様の映像共有装置７は、記録装置５を備え、映像収集部４ｂは、収集した各イベント映像データを時刻ごとに記録装置５に記録することを特徴とする。
本態様によれば、収集した各イベント映像データを時刻ごとに記録装置５に記録することで、時刻ごとに記憶された各イベント映像データの中から、照合対象者が映っている編集映像データを提供することができる。
【００４４】
＜第４態様＞
本態様の映像共有装置７は、記録装置５を備え、映像選択部４ｄｋは、選択した後のカメラから見た照合対象者の向きを記録装置５に記録し、映像編集部４ｄは、記録装置５から読み出した照合対象者の向きに視聴映像データの正面の向きをシフトするように補正することを特徴とする。
本態様によれば、選択した後のカメラから見た照合対象者の向きを記録装置５に記録しておき、記録装置５から読み出した照合対象者の向きに視聴映像データの正面の向きをシフトするように補正することで、常に照合対象者が正面の向きに映っている編集映像データを提供することができる。
【００４５】
＜第５態様＞
本態様の映像共有装置７は、編集映像データを顔写真画像データの送信元に出力する映像出力手段を備えることを特徴とする。
本態様によれば、編集映像データを顔写真画像データの送信元に出力するので、常に照合対象者が映っている編集映像データを照合対象者の顔写真画像データの送信元に提供することができる。
【００４６】
＜第６態様＞
本態様のカメラは、全天球カメラ３であることを特徴とする。
本態様によれば、カメラは全天球カメラ３であることで、全天球カメラ３により撮影された３６０度全周のイベント映像データに基づいて、常に３６０度全周の中に照合対象者が映っている編集映像データを提供することができる。
【００４７】
＜第７態様＞
本態様の映像共有システムは、請求項１乃至６の何れか１つに記載の映像共有装置７と、イベント映像データを撮影する複数のカメラと、を備えることを特徴とする。
本態様によれば、第１態様乃至第６態様の何れか１つに記載の映像共有装置７と、イベント映像データを撮影する複数のカメラと、を備えることで、映像共有システムにより常に照合対象者が映っている編集映像データを提供することができる。
【００４８】
＜第８態様＞
本態様の映像共有方法は、複数のカメラにより撮影したイベントに係る各イベント映像データを収集する映像収集ステップ（Ｓ１００）と、照合対象者の顔写真に係る顔写真画像データと各イベント映像データとを照合して、照合対象者が映っている少なくとも１つのイベント映像データを特定するとともに、特定されたイベント映像データの中の照合対象者の顔領域の大きさを測定する対象者照合ステップ（Ｓ３００）と、測定された照合対象者の顔領域の大きさが最も大きい１つのイベント映像データを時刻毎に選択する映像選択ステップ（Ｓ３００）と、
時刻毎に選択された各イベント映像データに基づいて編集映像データを作成する映像編集ステップ（Ｓ４００）と、を実行することを特徴とする。
第８態様の作用、及び効果は第１態様と同様であるので、その説明を省略する。
【００４９】
＜第９態様＞
本態様のプログラムは、第８態様に記載の映像共有方法の各ステップをプロセッサに実行せることを特徴とする。
本態様によれば、各ステップをプロセッサに実行させることができる。
【符号の説明】
【００５０】
１…カメラ、２…パーソナルコンピュータ、３…各全天球カメラ、４…制御装置、４ａ…顔写真画像取得部、４ａｍ…メモリ、４ｂ…映像収集部、４ｃ…対象者照合部、４ｄ…映像編集部、４ｄｋ…映像選択、４ｄｋ…映像選択部、４ｅ…映像出力部、５…記憶装置、７…映像共有装置、１００…映像共有システム
【先行技術文献】
【特許文献】
【００５１】
【特許文献１】特許第４７２０６８７号
【非特許文献】
【００５２】
【非特許文献１】https://ja.wikipedia.org/wiki/%E5%85%A8%E5%A4%A9%E7%90%83%E3%82%AB%E3%83%A1%E3%83%A9
【非特許文献２】https://ja.wikipedia.org/wiki/%E9%A1%94%E8%AA%8D%E8%AD%98%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0
【図１】
2018129655.tif 000003
【図２】
2018129655.tif 000004
【図３】
2018129655.tif 000005
【図４】
2018129655.tif 000006
【図５】
2018129655.tif 000007
【図６】
2018129655.tif 000008
【図７】
2018129655.tif 000009
【図８】
2018129655.tif 000010
【図９】
2018129655.tif 000011
【図１０】
2018129655.tif 000012
【図１１】
2018129655.tif 000013
【図１２】
2018129655.tif 000014
【図１３】
2018129655.tif 000015