(57)【要約】【課題】複数の撮影装置で同一のタイミングで撮影された複数の撮影データを、同一のタイミングで再生する。【解決手段】画像処理装置１は、第１カメラ１００が撮影して生成された複数の第１撮影データ、及び第２カメラ２００が撮影して生成された複数の第２撮影データを取得する取得部１３１と、複数の第１撮影データ及び複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出する抽出部１３２と、類似する特徴が含まれる第１撮影データ及び第２撮影データが関連付けられた状態で複数の第１撮影データ及び複数の第２撮影データの少なくとも一部のデータを含む合成データを出力する出力部１３４と、を有する。【選択図】図３
2017184131.tif 000002
【特許請求の範囲】
【請求項１】
第１撮影装置が撮影して生成された複数の第１撮影データ、及び第２撮影装置が撮影して生成された複数の第２撮影データを取得する取得部と、
前記複数の第１撮影データ及び前記複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出する抽出部と、
前記類似する特徴が含まれる前記第１撮影データ及び前記第２撮影データが関連付けられた状態で前記複数の第１撮影データ及び前記複数の第２撮影データの少なくとも一部のデータを含む合成データを出力する出力部と、
を有する画像処理装置。
【請求項２】
前記類似する特徴を有する前記第１撮影データ及び前記第２撮影データに、共通する識別情報を付与する識別情報付与部をさらに有し、
前記出力部は、前記識別情報と、前記第１撮影データと、前記第２撮影データとが関連付けられた合成データを出力する、
請求項１に記載の画像処理装置。
【請求項３】
前記抽出部は、前記類似する特徴として、前記複数の第１撮影データ及び前記複数の第２撮影データのそれぞれに含まれる音又は画像の変化パターンを抽出する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記抽出部は、前記第１撮影データに含まれている撮影時刻情報及び前記第２撮影データに含まれている撮影時刻情報が所定の範囲内の前記第１撮影データ及び前記第２撮影データから前記類似する特徴を抽出する、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記抽出部は、同一のシーンに含まれる前記第１撮影データ及び前記第２撮影データから前記類似する特徴を抽出する、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記出力部は、前記複数の第１撮影データ及び前記複数の第２撮影データのうち、前記類似する特徴を有する前記第１撮影データ及び前記第２撮影データを選択して出力する、
請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記出力部は、前記第１撮影データから抽出された第１特徴との類似度が閾値以上の第２特徴が抽出された第２撮影データが存在する場合、前記第１撮影データ及び前記第２撮影データを関連付けて出力し、前記第１特徴との類似度が前記閾値以上の前記第２特徴が抽出された第２撮影データが存在しない場合、第１撮影データ及びダミー撮影データを関連付けて出力する、
請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記出力部は、前記抽出部が、前記類似する特徴が含まれる前記第１撮影データ及び前記第２撮影データの組み合わせを少なくとも一つ抽出した場合に、前記第１撮影データの第１撮影時刻情報と前記第２撮影データの第２撮影時刻情報との差分により前記複数の第１撮影データの撮影時刻と前記複数の第２撮影データの撮影時刻との関係を特定し、特定した関係に基づいて前記複数の第１撮影データ及び前記複数の第２撮影データを配置した前記合成データを出力する、
請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
第１撮影装置が撮影して生成された複数の第１撮影データ、及び第２撮影装置が撮影して生成された複数の第２撮影データを取得するステップと、
前記複数の第１撮影データ及び前記複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出するステップと、
前記類似する特徴が含まれる前記第１撮影データ及び前記第２撮影データが関連付けられた状態で前記複数の第１撮影データ及び前記複数の第２撮影データの少なくとも一部のデータを含む合成データを出力するステップと、
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、複数のアングルで撮影された映像を再生することができる映像再生装置が知られている。特許文献１には、マルチアングルを有する映像ソースに基づいて、映像を視聴するユーザの位置に対応するアングルの映像を再生することができる映像再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−０３９２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
マルチアングルの映像コンテンツを作成する目的で撮影が行われる場合、複数のビデオカメラの時刻情報を一致させておくことにより、撮影時と同一のタイミングで再生できる複数の撮影データを作成することができる。しかしながら、一般ユーザがビデオカメラを用いて撮影する場合、ビデオカメラに正確な時刻情報が設定されていないことが多い。したがって、複数のビデオカメラにおいて同一のタイミングで撮影された複数の撮影データを、同一のタイミングで再生することが困難であった。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、複数の撮影装置で同一のタイミングで撮影された複数の撮影データを、同一のタイミングで再生できるようにする画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る画像処理装置は、第１撮影装置が撮影して生成された複数の第１撮影データ、及び第２撮影装置が撮影して生成された複数の第２撮影データを取得する取得部と、前記複数の第１撮影データ及び前記複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出する抽出部と、前記類似する特徴が含まれる前記第１撮影データ及び前記第２撮影データが関連付けられた状態で前記複数の第１撮影データ及び前記複数の第２撮影データの少なくとも一部のデータを含む合成データを出力する出力部と、を有する。
【０００７】
画像処理装置は、前記類似する特徴を有する前記第１撮影データ及び前記第２撮影データに、共通する識別情報を付与する識別情報付与部をさらに有し、前記出力部は、前記識別情報と、前記第１撮影データと、前記第２撮影データとが関連付けられた合成データを出力してもよい。
【０００８】
前記抽出部は、例えば、前記類似する特徴として、前記複数の第１撮影データ及び前記複数の第２撮影データのそれぞれに含まれる音又は画像の変化パターンを抽出する。
【０００９】
前記抽出部は、前記第１撮影データに含まれている撮影時刻情報及び前記第２撮影データに含まれている撮影時刻情報が所定の範囲内の前記第１撮影データ及び前記第２撮影データから前記類似する特徴を抽出してもよい。
【００１０】
また、前記出力部は、前記複数の第１撮影データ及び前記複数の第２撮影データのうち、前記類似する特徴を有する前記第１撮影データ及び前記第２撮影データを選択して出力してもよい。
【００１１】
前記出力部は、前記第１撮影データから抽出された第１特徴との類似度が閾値以上の第２特徴が抽出された第２撮影データが存在する場合、前記第１撮影データ及び前記第２撮影データを関連付けて出力し、前記第１特徴との類似度が前記閾値以上の前記第２特徴が抽出された第２撮影データが存在しない場合、第１撮影データ及びダミー撮影データを関連付けて出力してもよい。
【００１２】
前記出力部は、前記抽出部が、前記類似する特徴が含まれる前記第１撮影データ及び前記第２撮影データの組み合わせを少なくとも一つ抽出した場合に、前記第１撮影データの第１撮影時刻情報と前記第２撮影データの第２撮影時刻情報との差分により前記複数の第１撮影データの撮影時刻と前記複数の第２撮影データの撮影時刻との関係を特定し、特定した関係に基づいて前記複数の第１撮影データ及び前記複数の第２撮影データを配置した前記合成データを出力してもよい。
【００１３】
本発明の第２の態様に係る画像処理方法は、第１撮影装置が撮影して生成された複数の第１撮影データ、及び第２撮影装置が撮影して生成された複数の第２撮影データを取得するステップと、前記複数の第１撮影データ及び前記複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出するステップと、前記類似する特徴が含まれる前記第１撮影データ及び前記第２撮影データが関連付けられた状態で前記複数の第１撮影データ及び前記複数の第２撮影データの少なくとも一部のデータを含む合成データを出力するステップと、を有する。
【発明の効果】
【００１４】
本発明によれば、複数の撮影装置で同一のタイミングで撮影された複数の撮影データを、同一のタイミングで再生できるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】画像処理装置の概要を説明するための図である。
【図２】ユーザが撮影して得られた撮影データの例を示す図である。
【図３】画像処理装置の構成を示す図である。
【図４】識別情報付与部が付与する識別情報について説明するための図である。
【図５】画像処理装置が実行する画像処理方法のフローチャートである。
【発明を実施するための形態】
【００１６】
［画像処理装置１の概要］
図１は、画像処理装置１の概要を説明するための図である。画像処理装置１は、複数の異なるアングルで撮影された複数の撮影データを含む複数の撮影ファイルを受信し、受信した複数の撮影ファイルに含まれる、同じタイミングで撮影されたデータを同じタイミングで再生できるようにした合成データを出力する。
【００１７】
図１（ａ）に示すように、第１カメラ１００（第１撮影装置）を所有する第１ユーザが、運動会及び学芸会等のイベントや旅行先において、第１のアングルで被写体を撮影し、第２カメラ２００（第２撮影装置）を所有する第２ユーザ（例えば、第１ユーザの家族）が、第１ユーザが撮影中のイベントや旅行先において、第２のアングルで被写体を撮影しているとする。第１カメラ１００で撮影された第１撮影データは、第１撮影ファイルとして第１カメラ１００の記憶媒体に記憶される。また、第２カメラ２００で撮影された第２撮影データは、第２撮影ファイルとして第２カメラ２００の記憶媒体に記憶される。ここで、第１撮影データ及び第２撮影データは、映像を構成する複数のフレームのうちの１つのフレームに含まれるデータである。第１撮影ファイル及び第２撮影ファイルには、画像データとともに音データが含まれている。
【００１８】
続いて、図１（ｂ）に示すように、第１ユーザ及び第２ユーザは、ユーザ端末２を用いて、第１撮影ファイル及び第２撮影ファイルを画像処理装置１にアップロードする。ここでは、第１ユーザと第２ユーザとが家族であり、第１ユーザが、共用のユーザ端末２を用いて第１撮影ファイル及び第２撮影ファイルを画像処理装置１にアップロードする場合について説明するが、第１ユーザ及び第２ユーザが、それぞれのユーザ端末を用いて、第１撮影ファイル及び第２撮影ファイルを画像処理装置１にアップロードしてもよい。
【００１９】
画像処理装置１は、例えば、インターネットを介してユーザ端末２に接続されたサーバであり、第１ユーザが、ユーザ端末２を用いて画像処理装置１にアクセスすると、画像処理装置１は、撮影ファイルをアップロードするための画面をユーザ端末２に表示させる。第１ユーザは、記憶媒体やネットワークを介して、第１カメラ１００及び第２カメラ２００に記憶された第１撮影ファイル及び第２撮影ファイルをユーザ端末２に移動させた後に、ユーザ端末２から第１撮影ファイル及び第２撮影ファイルをアップロードする。
【００２０】
画像処理装置１は、第１撮影ファイル及び第２撮影ファイルを受信すると、第１撮影ファイルに含まれる複数の第１撮影データ及び第２撮影ファイルに含まれる複数の第２撮影データのいずれかに共通に含まれている特徴的な音（例えば、運動会におけるピストル音や放送の声）や画像（例えば、結婚披露宴におけるフラッシュの点滅）に基づいて、同じタイミングで撮影された画像を含む第１撮影データ及び第２撮影データを特定する。
【００２１】
画像処理装置１は、同じタイミングで撮影された第１撮影データ及び第２撮影データを特定すると、同じタイミングで撮影された第１撮影データ及び第２撮影データに共通の識別情報を付与する。共通の識別情報は、例えば第１撮影ファイルに含まれる先頭の第１撮影データが撮影されたタイミングを起点とする時刻情報である。
【００２２】
画像処理装置１は、識別情報を付与すると、同一の識別情報が付与された第１撮影データと第２撮影データとを関連付けた合成データを作成して、図１（ｃ）に示すように、合成データを含む合成ファイルを出力する。画像処理装置１は、例えば、インターネットを介して、ユーザ端末２に合成ファイルを送信する。合成ファイルは、例えばＤＶＤのフォーマットに適合しており、ユーザ端末２で合成ファイルを受信したユーザは、受信した合成ファイルをＤＶＤ等の記憶媒体に書き込むことができる。ユーザは、ＤＶＤレコーダで合成ファイルを再生すると、同じタイミングで別アングルから撮影された画像を切り替えながら撮影データを視聴したり、別アングルから撮影された複数の画像を同時に見ながら撮影データを視聴したりすることができる。
【００２３】
図２は、ユーザが撮影して得られた撮影データの例を示す図である。図２（ａ）は、第１撮影ファイルに含まれる複数の第１撮影データＡ１、Ａ２、Ａ３、及び第２撮影ファイルに含まれる複数の第２撮影データＢ１、Ｂ２を示している。
【００２４】
図２に示す第１撮影データ及び第２撮影データは、運動会の同じ競技を行っている子供が、それぞれ異なるアングルから撮影されて生成されたデータである。第１撮影データ及び第２撮影データは、それぞれ異なるカメラで撮影されており、カメラに設定された時刻が不正確である場合、第２撮影データＢ１及びＢ２が、どの第１撮影データと同じタイミングで撮影されたかがわからない。
【００２５】
画像処理装置１は、このように撮影タイミングが未知の複数の第１撮影データ及び複数の第２撮影データのうち、どの第１撮影データとどの第２撮影データとが同じタイミングで撮影されたかを特定することで、図２（ｂ）に示すように、同じタイミングで撮影された撮影データを同時に見ることができるようにすることができる。
以下、画像処理装置１の構成及び動作について詳細に説明する。
【００２６】
［画像処理装置１の構成］
図３は、画像処理装置１の構成を示す図である。画像処理装置１は、通信部１１と、記憶部１２と、制御部１３とを有する。
通信部１１は、例えば通信コントローラであり、インターネット等のネットワークを介して、ユーザ端末２との間でデータを送受信する。通信部１１は、例えば、ユーザ端末２から撮影データを受信し、ユーザ端末２に対して合成データを送信する。
【００２７】
記憶部１２は、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１３が実行するプログラムや、制御部１３が実行する処理に必要なデータを記憶している。また、記憶部１２は、ユーザ端末２から受信した撮影データを記憶する。
【００２８】
制御部１３は、例えばＣＰＵ（Central Processing Unit）であり、記憶部１２に記憶されたプログラムを実行することにより、取得部１３１、抽出部１３２、識別情報付与部１３３及び出力部１３４として機能する。
【００２９】
取得部１３１は、第１カメラ１００が撮影して生成された複数の第１撮影データを含む第１撮影ファイル、及び第２カメラ２００が撮影して生成された複数の第２撮影データを含む第２撮影ファイルを、ユーザ端末２から取得する。取得部１３１は、取得した第１撮影ファイル及び第２撮影ファイルを記憶部１２に記憶させる。
【００３０】
抽出部１３２は、複数の第１撮影データ及び複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出する。類似する特徴は、例えば音や画像の変化パターンである。抽出部１３２は、音の特徴を抽出する場合、隣接する複数の第１撮影データ間で音のレベルが所定の閾値以上に変化している場合に、音の変化パターンを特徴として抽出する。
【００３１】
複数の第１撮影データ及び複数の第２撮影データが、運動会で撮影されたデータである場合、競技の開始を知らせるピストル音は、他の音よりも大きい。したがって、ピストル音が鳴ったタイミングで撮影された第１撮影データ及び第２撮影データには、直前に撮影された第１撮影データ及び第２撮影データには存在しなかった高いレベルの音が記録されていると考えられる。そこで、抽出部１３２は、第１撮影データに、直前の第１撮影データに比べて所定の閾値以上に変化している音が存在する場合、その音が記録されている複数の第１撮影データと音の変化パターンを特定する。例えば、ピストル音が鳴ってから消えるまでに０．３秒を要した場合、抽出部１３２は、０．３秒分の複数の第１撮影データと、それぞれの第１撮影データに対応する音のレベルを特定し、特定した情報を記憶部１２に記憶させる。
【００３２】
続いて、抽出部１３２は、第２撮影データ内の複数の第２撮影データを探索して、同等の音のパターンを含む複数の第２撮影データを特定する。抽出部１３２は、例えば、直前の第２撮影データに比べて所定の閾値以上に変化している音が存在する第２撮影データを特定した後に、その後に続く第２撮影データにおいて、第１撮影データと同様に音のレベルが変化しているかどうかを確認する。
【００３３】
抽出部１３２は、第１撮影データにおいて抽出した音のパターンと第２撮影データにおいて抽出した音のパターンとを比較し、類似度を決定する。抽出部１３２は、例えば、複数の第１撮影データに対応する複数の音のレベルと、複数の第２撮影データに対応する複数の音のレベルとの間の相関値を算出することで、類似度を決定する。抽出部１３２は、類似度が所定の閾値以上である場合に、同等の音の変化パターンが含まれている複数の第１撮影データと複数の第２撮影データとが同じタイミングで撮影されたと判定する。
【００３４】
抽出部１３２は、人の声や音楽等を特徴として抽出してもよい。例えば、抽出部１３２は、複数の第１撮影データ及び複数の第２撮影データに共通に含まれている声の変化パターンや音楽の変化パターンに基づいて、同じタイミングで撮影された第１撮影データ及び第２撮影データを特定することができる。
【００３５】
また、抽出部１３２は、画像の変化パターンとして、フラッシュが点滅する変化パターンや被写体が変化するパターンを用いることができる。例えば、結婚披露宴の撮影データのように、第１撮影データ及び第２撮影データが、室内で撮影されて生成された場合に、多数の人のカメラで用いられるフラッシュが点滅するタイミングに同期して、第１撮影データ及び第２撮影データの輝度が変化すると考えられる。そこで、抽出部１３２は、第１撮影データ及び第２撮影データにおける画像の輝度の変化パターンに基づいて、同じタイミングで撮影された第１撮影データ及び第２撮影データを特定することもできる。
【００３６】
抽出部１３２は、同一の特徴が含まれている第１撮影データ及び第２撮影データを効率よく特定するために、第１撮影データ及び第２撮影データに含まれている撮影時刻情報が所定の範囲内の第１撮影データ及び第２撮影データから、類似する特徴を抽出してもよい。ユーザが第１カメラ１００及び第２カメラ２００に時刻を設定している場合、正確ではないとしても、概ね正しい時刻が設定されている可能性が高いので、同一のタイミングで撮影されたデータには、比較的近い撮影時刻情報が関連付けて記録されていると考えられる。したがって、抽出部１３２は、第１撮影データに特徴的な音や画像の変化パターンを検出した際に、その第１撮影データに対応する撮影時刻情報に対して所定の範囲内の撮影時刻情報が付されている第２撮影データにおいて、類似する音や画像の変化パターンを探索することで、効率よく類似する特徴を抽出することができる。
【００３７】
また、抽出部１３２は、同一のシーンに含まれる第１撮影データ及び第２撮影データから類似する特徴を抽出してもよい。抽出部１３２は、例えば、第１撮影データ及び第２撮影データに共通の被写体が写っている場合に、同一のシーンであると判定する。
【００３８】
一例として、運動会の大玉ころがし競技で用いられる赤又は白の大玉の画像が、複数の第１撮影データ及び複数の第２撮影データに共通に含まれている場合、大玉が写っている複数の第１撮影データ及び複数の第２撮影データにおいて、類似する特徴が含まれているかどうかを抽出することが考えられる。第１撮影データ及び第２撮影データが旅行先で撮影されたデータである場合、抽出部１３２は、共通の建築物が写っている場合に同一のシーンであると判定することができる。このように、抽出部１３２は、同一のシーンに含まれる第１撮影データ及び第２撮影データから類似する特徴を抽出することにより、処理の時間を短縮できるとともに、同一のタイミングで撮影されたか否かの判定精度を向上させることができる。
【００３９】
さらに、抽出部１３２は、類似する特徴が含まれる第１撮影データに含まれている第１撮影時刻情報と類似する特徴が含まれる第２撮影データに含まれている第２撮影時刻情報との差分により特定した複数の第１撮影データと前記複数の第２撮影データとの関係に基づいて選択した複数の第１撮影データ及び複数の第２撮影データのそれぞれに含まれる類似する特徴を抽出してもよい。この場合、抽出部１３２は、類似する特徴が含まれる第１撮影データと第２撮影データの少なくとも一つの組み合わせを抽出すると、それらの撮影時刻情報の差分に基づいて、複数の第１撮影データに含まれる複数の第１撮影時刻情報及び複数の第２撮影データに含まれる複数の第２撮影時刻情報の少なくとも一方を補正することにより、複数の第１撮影データの撮影時刻と前記複数の第２撮影データの撮影時刻との関係を特定する。
【００４０】
その後、抽出部１３２は、補正後の第１撮影時刻情報と第２撮影時刻情報との差が所定の範囲内の第１撮影データと第２撮影データを選択し、選択した第１撮影データ及び第２撮影データに含まれている類似する特徴を抽出する。このようにすることで、抽出部１３２は、類似する特徴の探索時間を短縮することができる。
【００４１】
識別情報付与部１３３は、第１撮影データ及び第２撮影データのそれぞれから抽出された類似する特徴の間の類似度が所定の閾値以上である場合に、第１撮影データ及び第２撮影データに共通する識別情報を付与する。本実施形態の識別情報付与部１３３は、第１撮影データ及び第２撮影データを出力したビデオカメラが付与した撮影時刻情報とは異なる識別情報を付与するものとするが、識別情報付与部１３３は、撮影時刻情報を書き換えることにより識別情報を付与してもよい。
【００４２】
図４は、識別情報付与部１３３が付与する識別情報について説明するための図である。図４（ａ）は、ユーザ端末２から受信した第１撮影ファイル及び第２撮影ファイルの一部を示している。第２撮影ファイルにおいて、Ｂ１４とＢ２１との間ではシーンが切り替えられているものとしている。
【００４３】
抽出部１３２は、第１撮影データＡ１２及び第２撮影データＢ１３において、ピストル音を抽出している。また、抽出部１３２は、第１撮影データＡ１７及び第２撮影データＢ２２において、放送の声を抽出している。抽出部１３２は、第１撮影データＡ１４において歓声を抽出しているが、第２撮影ファイルにおいては、歓声を抽出した撮影データが存在しない。このような場合、識別情報付与部１３３は、ピストル音が抽出された第１撮影データＡ１２及び第２撮影データＢ１３に識別情報としてＩＤ＝０００１を付与し、放送の声が抽出された第１撮影データＡ１７及び第２撮影データＢ２２にＩＤ＝０００２を付与する。
【００４４】
出力部１３４は、類似する特徴が含まれる第１撮影データ及び第２撮影データが関連付けられた状態で複数の第１撮影データ及び複数の第２撮影データの少なくとも一部のデータを含む合成データを出力する。出力部１３４は、例えば、識別情報付与部１３３が識別情報を付与した後に、識別情報と、第１撮影データと、第２撮影データとが関連付けられた合成データを含む合成ファイルを出力する。
【００４５】
出力部１３４は、合成データを出力するために、まず、図４（ｂ）に示すように、共通の識別情報が付与された第１撮影データと第２撮影データが関連づけられるように、複数の第１撮影データ及び複数の第２撮影データを並び替える。この際、第２撮影データＢ１４と第２撮影データＢ２１との間のように、第１撮影データが存在しながらも第２撮影データが存在しない場合、第２撮影データにダミー撮影データを挿入する。ダミー撮影データは、例えば白画面や黒画面であるが、ダミー撮影データとして、直前又は直後の撮影データを用いてもよい。
【００４６】
このように、出力部１３４は、第１撮影データから抽出された第１特徴との類似度が閾値以上の第２特徴が抽出された第２撮影データが存在する場合、識別情報、第１撮影データ及び第２撮影データを関連付ける。また、出力部１３４は、第１特徴との類似度が閾値以上の第２特徴が抽出された第２撮影データが存在しない場合、識別情報、第１撮影データ、及びダミー撮影データを関連付ける。
【００４７】
出力部１３４は、図４（ｂ）に示すように、類似する特徴が含まれる撮影データが同じタイミングで再生されるように並び変えられた合成データを含む合成ファイルを出力する。出力部１３４は、通信部１１を介して、ユーザ端末２に合成ファイルを送信してもよく、ＤＶＤ等の記憶媒体にデータを書き込む装置に合成ファイルを送信してもよい。
【００４８】
出力部１３４は、例えばＤＶＤのマルチアングル規格に適合する形式の合成データ（以下、第１種合成データという）を作成することで、ユーザが合成データを再生する際に、第１撮影データを表示させるか第２撮影データを表示させるかを切り替えられるようにする。また、出力部１３４は、図４（ｂ）に示したように、同じタイミングで撮影された第１撮影データと第２撮影データを一画面に含む合成データ（以下、第２種合成データという）を作成してもよい。この場合、ユーザが合成データを再生する際には、第１撮影データ及び第２撮影データの両方を同時に見ることができる。
【００４９】
出力部１３４は、第１種合成データ及び第２種合成データを含む合成ファイルを出力してもよい。このような合成ファイルを用いることで、ユーザが合成ファイルを再生する際に、１つの撮影データだけが画面に表示された状態と２つの撮影データが同時に画面に表示された状態とを切り替えることが可能になる。
【００５０】
［画像処理装置１の動作フローチャート］
続いて、画像処理装置１が実行する画像処理方法の手順について説明する。
図５は、画像処理装置１が実行する画像処理方法のフローチャートである。まず、取得部１３１は、ユーザ端末２から送信された第１撮影ファイル及び第２撮影ファイルを受信し、これらのファイルに含まれている複数の第１撮影データ及び複数の第２撮影データを取得する（Ｓ２１）。
【００５１】
続いて、抽出部１３２は、複数の第１撮影データに含まれている特徴的な音や画像を抽出する（Ｓ２２）。そして、抽出部１３２は、複数の第１撮影データから、特徴的な音や画像を抽出した１つの第１撮影データを選択する（Ｓ２３）。この際、特徴的な音や画像が複数の第１撮影データにわたって含まれている場合、抽出部１３２は、複数の第１撮影データを抽出してもよい。続いて、抽出部１３２は、抽出した第１撮影データに含まれる特徴と類似する特徴を探索する対象となる第２撮影データを選択する（Ｓ２４）。
【００５２】
抽出部１３２は、選択した第２撮影データに含まれる特徴と、ステップＳ２３で選択した第１撮影データに含まれる特徴との間の類似度を算出し、算出した類似度が所定の閾値以上であるか否かを判定する（Ｓ２５）。抽出部１３２が、類似度が閾値以上であると判定した場合（Ｓ２５においてＹＥＳ）、識別情報付与部１３３は、類似する特徴が含まれる第１撮影データ及び第２撮影データに識別番号を付与する（Ｓ２６）。抽出部１３２は、類似度が閾値未満であると判定した場合（Ｓ２５においてＮＯ）、ステップＳ２７に処理を進める。
【００５３】
抽出部１３２は、全ての第２撮影データに対して、ステップＳ２３で選択した第１撮影データに含まれる特徴の有無の判定が終了していない場合（Ｓ２７においてＮＯ）、ステップＳ２４に戻って、未判定の第２撮影データに対してステップＳ２４からＳ２６を実行する。抽出部１３２は、全ての第２撮影データに対して、ステップＳ２３で選択した第１撮影データに含まれる特徴の有無の判定が終了している場合（Ｓ２７においてＹＥＳ）、全ての第１撮影データで抽出された特徴に対して、第２撮影データの探索が終了したかどうかを判定する（Ｓ２８）。抽出部１３２は、全ての第１撮影データで抽出された特徴に対して処理が終了していない場合（Ｓ２８においてＮＯ）、ステップＳ２３に戻って、ステップＳ２３からＳ２７を実行する。
【００５４】
全ての第１撮影データで抽出された特徴に対して処理が終了した場合（Ｓ２８においてＹＥＳ）、出力部１３４は、合成データを作成し、合成データを含む合成ファイルを出力する（Ｓ２９）。
以上の手順により、画像処理装置１は、撮影タイミングが同期していない複数の撮影データを、同期化させることができる。
【００５５】
なお、以上の手順において、出力部１３４は、抽出部１３２が、全ての第１撮影データ及び第２撮影データの組み合わせから類似する特徴を抽出した後に、合成ファイルを出力するものとしたが、抽出部１３２は、全ての第１撮影データ及び第２撮影データから類似する特徴を抽出しなくてもよい。出力部１３４は、抽出部１３２が、類似する特徴が含まれる第１撮影データ及び第２撮影データの組み合わせを少なくとも一つ抽出した場合に、第１撮影データの第１撮影時刻情報と第２撮影データの第２撮影時刻情報との差分により複数の第１撮影データの撮影時刻と複数の第２撮影データの撮影時刻との関係を特定し、特定した関係に基づいて複数の第１撮影データ及び複数の第２撮影データを配置した合成データを含む合成ファイルを出力してもよい。出力部１３４は、例えば、差分に基づいて複数の第１撮影データの複数の第１撮影時刻情報及び複数の撮影データの複数の第２撮影時刻情報の少なくとも一方を補正し、補正後の第１撮影時刻情報と第２撮影時刻情報とが一致する第１撮影データと第２撮影データとを関連付けることにより合成データを生成することができる。
【００５６】
［変形例１］
以上の説明において、取得部１３１が２つの撮影ファイルを取得する例について説明したが、取得部１３１は３つ以上の撮影ファイルを取得してもよい。この場合、抽出部１３２は、取得部１３１が取得した複数の撮影ファイル内の複数の撮影データのうち、少なくとも２つ以上に共通に含まれている類似する特徴を抽出し、識別情報付与部１３３は、類似する特徴が含まれている複数の撮影データに識別情報を付与する。そして、出力部１３４は、類似する特徴が含まれる複数の撮影データが関連付けられるように３つ以上の撮影ファイルを編集して合成データを作成し、合成データを含む合成ファイルを出力する。
【００５７】
［変形例２］
以上の説明においては、出力部１３４は、取得部１３１が取得した全ての撮影データを含む合成ファイルを出力する例について説明したが、出力部１３４は、複数の第１撮影データ及び複数の第２撮影データのうち、類似する特徴を有する第１撮影データ及び第２撮影データを選択して出力してもよい。このようにすることで、ユーザは、複数のアングルから撮影された映像のみを視聴することができる。
【００５８】
［変形例３］
以上の説明においては、画像処理装置１が１台のユーザ端末２から複数の撮影データを取得する例について説明したが、画像処理装置１は、複数の異なるユーザ端末２から複数の撮影データを取得してもよい。このようにすることで、画像処理装置１は、例えば一つのイベントに参加した多数の人が撮影して得られた多数の撮影データを取得し、取得した多数の撮影データを合成して合成データを作成することができる。
【００５９】
この際、画像処理装置１は、合成データの作成を希望するユーザのユーザ端末２から、多数の撮影データのうち、どの撮影データを組み合わせて合成データを作成するかの指定を受け付けてもよい。例えば、画像処理装置１は、ユーザ端末２に対して、合成が可能な撮影データのサムネイル画像を送信し、ユーザが選択したサムネイル画像に対応する撮影データを撮影されたタイミングで同期させて合成データを作成する。このようにすることで、ユーザは、自分の好みに合ったマルチアングル映像コンテンツを取得することができる。
【００６０】
［本実施形態の画像処理装置１による効果］
以上説明したように、画像処理装置１においては、取得部１３１が、複数のアングルから被写体を撮影して生成された複数の撮影ファイルを取得し、抽出部１３２が、取得部１３１が取得した複数の撮影ファイルに含まれる複数の撮影データのうち、共通に含まれている類似する特徴を抽出する。そして、出力部１３４は、類似する特徴が含まれる第１撮影データ及び第２撮影データが関連付けられた状態で複数の第１撮影データ及び複数の第２撮影データを含む合成データを出力する。このようにすることで、画像処理装置１を使用する業者は、ユーザによってアップロードされた複数の撮影ファイルを編集して合成データを作成し、合成データをユーザに提供することができる。そして、ユーザは、合成データを再生することにより、同じタイミングで複数のアングルで撮影された撮影データを同じタイミングで見ることが可能になる。
【００６１】
画像処理装置１は、類似する特徴を有する第１撮影データ及び第２撮影データに、共通する識別情報を付与し、識別情報と、第１撮影データと、第２撮影データとが関連付けられた合成データを出力してもよい。このようにすることで、ユーザは、第１撮影データと第２撮影データとが直接的に関連付けられたファイル形式に限定されず、任意のファイル形式の合成ファイルを利用することができる。
【００６２】
また、抽出部１３２は、類似する特徴として、複数の第１撮影データ及び複数の第２撮影データのそれぞれに含まれる音又は画像の変化パターンを抽出する。このようにすることで、画像処理装置１は、タイミングを合わせるための情報をユーザから取得することなく、複数の撮影データのタイミングを合わせることができる。
【００６３】
また、抽出部１３２は、第１撮影データ及び第２撮影データに含まれている撮影時刻情報が所定の範囲内の第１撮影データ及び第２撮影データから類似する特徴を抽出する。このようにすることで、抽出部１３２は、複数の撮影データのタイミングを合わせるための所要時間を短縮することができる。
【００６４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６５】
例えば、上記の説明では、合成ファイルがＤＶＤのフォーマットに適合している例を示したが、合成ファイルはブルーレイ等の他のフォーマットに適合していてもよい。
また、上記の説明では、画像処理装置１がインターネットを介してユーザ端末２に接続されたサーバである例を示したが、画像処理装置１は、ＰＣ（Personal Computer）又はクラウド上のサーバ等の他の装置であってもよい。
【符号の説明】
【００６６】
１  画像処理装置
２  ユーザ端末
１１  通信部
１２  記憶部
１３  制御部
１３１  取得部
１３２  抽出部
１３３  識別情報付与部
１３４  出力部
１００  第１カメラ
２００  第２カメラ
【図１】
2017184131.tif 000003
【図２】
2017184131.tif 000004
【図３】
2017184131.tif 000005
【図４】
2017184131.tif 000006
【図５】
2017184131.tif 000007