(57)【要約】【課題】本発明は、生成された複数のカメラワークデータの中から、ユーザが所望するカメラワークデータ等の編集データを迅速に特定することが可能な情報処理装置及びプログラムを提供する。【解決手段】情報処理装置は、複数の第１画像フレームにより構成される第１動画データと、第１動画データに基づき生成された第２動画データであって複数の第２画像フレームにより構成される第２動画データとを取得する。そして、情報処理装置は、第１動画データ及び第２動画データに基づいて第１画像フレームにおける第２画像フレームの位置を示す復元カメラワークデータを復元し、ストレージに記憶されている複数のカメラワークデータの中から、復元カメラワークデータと類似度の高い上位所定数のカメラワークデータを特定する。【選択図】図２
2016143937.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１画像フレームにより構成される第１動画データと、前記第１動画データに基づき生成された第２動画データであって複数の第２画像フレームにより構成される第２動画データとを取得する取得手段と、
前記複数の第１画像フレームと各前記第１画像フレームに時間的に対応する前記複数の第２画像フレームとをそれぞれ比較して前記第１画像フレームにおける前記第２画像フレームの位置を示す編集データを復元する復元手段と、
記憶部に記憶されている複数の編集データであって、前記第１動画データを構成する複数の第１画像フレームにおいて指定された表示領域の位置を示す前記複数の編集データの中から、前記復元手段により復元された前記編集データと類似度の高い上位所定数の前記編集データを特定する特定手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記復元手段は、前記第１画像フレームに時間的に対応する前記第２画像フレームの所定位置が前記第１画像フレームにおける何れの位置に該当するかを前記複数の第１画像フレームそれぞれにおいて判定することで、前記第１画像フレームにおける前記第２画像フレームの位置を示す編集データを復元することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定手段は、前記復元手段により復元された前記編集データが示す前記第２画像フレームの位置と、前記第２画像フレームに時間的に対応する前記第１画像フレームにおける前記表示領域の位置であって前記記憶部に記憶されている前記編集データが示す前記表示領域の位置との間の距離差に応じた値が小さい上位所定数の前記編集データを、前記類似度の高い上位所定数の前記編集データとして特定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記特定手段は、前記復元手段により復元された前記編集データが示す一の前記第２画像フレームの位置と、前記一の第２画像フレームより時間的に前または後に再生される他の前記第２画像フレームの位置との間の変化量と、前記記憶部に記憶されている前記編集データが示す一の前記表示領域の位置と、前記一の表示領域より時間的に前または後に表示される他の前記表示領域の位置との間の変化量との間の差に応じた値が小さい上位所定数の前記編集データを、前記類似度の高い上位所定数の前記編集データとして特定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項５】
前記第１動画データのフレームレートと前記第２動画データのフレームレートとが異なる場合、前記復元手段は、前記フレームレートを何れか一方に合わせることで、前記第１画像フレームと前記第１画像フレームに時間的に対応する前記第２画像フレームを特定し、特定した前記第１画像フレームと前記第２画像フレームとを比較して前記第１画像フレームにおける前記第２画像フレームの位置を示す編集データを復元することを特徴とする請求項１乃至４の何れか一項に記載の情報処理装置。
【請求項６】
前記第２動画データは、複数のシーンの動画を表示する動画データであり、
前記特定手段は、前記シーンの切り替えを検出し、前記シーン毎に、前記復元された前記編集データと類似度の高い上位所定数の前記編集データを特定することを特徴とする請求項１乃至５の何れか一項に記載の情報処理装置。
【請求項７】
複数の第１画像フレームにより構成される第１動画データと、前記第１動画データに基づき生成された第２動画データであって複数の第２画像フレームにより構成される第２動画データとを取得するステップと、
前記複数の第１画像フレームと各前記第１画像フレームに時間的に対応する前記複数の第２画像フレームとをそれぞれ比較して前記第１画像フレームにおける前記第２画像フレームの位置を示す編集データを復元する復元ステップと、
記憶部に記憶されている複数の編集データであって、前記第１動画データを構成する複数の第１画像フレームにおいて指定された表示領域の位置を示す前記複数の編集データの中から、前記復元ステップにより復元された前記編集データと類似度の高い上位所定数の前記編集データを特定するステップと、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを構成する画像フレームにおける仮想カメラの向きや仮想カメラの画角を表すカメラワークデータを作成する装置等の技術分野に関する。
【背景技術】
【０００２】
従来、所定の動画データに対して疑似的なカメラワーク（以下、「疑似カメラワーク」という）が、ユーザの仮想カメラの操作により行われる場合がある。疑似カメラワークでは、動画データを構成する画像フレーム内で、例えばユーザが仮想カメラの向きや仮想カメラの画角などを指定することで、当該画像フレーム内の特定の画素領域が表示画面に表示される。このような疑似カメラワークを表すカメラワークデータはユーザの端末装置により生成され、サーバへアップロード可能になっている。このような端末装置では、例えば、１つの動画データに対して様々な疑似カメラワークを試み、複数のカメラワークデータを作成することができる。特許文献１には、アップロードされたカメラワークデータを他のユーザと共有し、サーバが配信する動画データと、共有されたカメラワークデータとを利用して、疑似カメラワークが適用された動画を再生可能な通信システムが開示されている。
【０００３】
一方、近年、上述したような疑似カメラワークに従って表示画面に表示された画素領域を各画像フレームから抽出して新たな動画データを生成する機能を有する動画編集ソフトウェアが普及している。このような動画編集ソフトウェアにより、ユーザは、疑似カメラワークを複数回試行して生成された複数の動画データのうち、お気に入りの動画データを記憶装置に保存して楽しむことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０１１６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ユーザは、お気に入りの動画データの生成の際に行われた疑似カメラワークを表すカメラワークデータを、この動画の編集データとしてサーバへアップロードして他のユーザと共有することを望む場合がある。しかしながら、例えば複数回試行された各疑似カメラワークを表す複数のカメラワークデータがストレージ（記憶装置）に記憶されている場合、これら複数のカメラワークデータの中で、お気に入りの動画データに対応するカメラワークデータがどれに該当するかを特定することが困難な場合があった。
【０００６】
本発明は、上記点に鑑みてなされたものであり、生成された複数のカメラワークデータの中から、ユーザが所望するカメラワークデータ等の編集データを迅速に特定することが可能な情報処理装置及びプログラムを提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明は、複数の第１画像フレームにより構成される第１動画データと、前記第１動画データに基づき生成された第２動画データであって複数の第２画像フレームにより構成される第２動画データとを取得する取得手段と、前記複数の第１画像フレームと各前記第１画像フレームに時間的に対応する前記複数の第２画像フレームとをそれぞれ比較して前記第１画像フレームにおける前記第２画像フレームの位置を示す編集データを復元する復元手段と、記憶部に記憶されている複数の編集データであって、前記第１動画データを構成する複数の第１画像フレームにおいて指定された表示領域の位置を示す前記複数の編集データの中から、前記復元手段により復元された前記編集データと類似度の高い上位所定数の前記編集データを特定する特定手段と、を備えることを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記復元手段は、前記第１画像フレームに時間的に対応する前記第２画像フレームの所定位置が前記第１画像フレームにおける何れの位置に該当するかを前記複数の第１画像フレームそれぞれにおいて判定することで、前記第１画像フレームにおける前記第２画像フレームの位置を示す編集データを復元することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項１または２に記載の情報処理装置において、前記特定手段は、前記復元手段により復元された前記編集データが示す前記第２画像フレームの位置と、前記第２画像フレームに時間的に対応する前記第１画像フレームにおける前記表示領域の位置であって前記記憶部に記憶されている前記編集データが示す前記表示領域の位置との間の距離差に応じた値が小さい上位所定数の前記編集データを、前記類似度の高い上位所定数の前記編集データとして特定することを特徴とする。
【００１０】
請求項４に記載の発明は、請求項１または２に記載の情報処理装置において、前記特定手段は、前記復元手段により復元された前記編集データが示す一の前記第２画像フレームの位置と、前記一の第２画像フレームより時間的に前または後に再生される他の前記第２画像フレームの位置との間の変化量と、前記記憶部に記憶されている前記編集データが示す一の前記表示領域の位置と、前記一の表示領域より時間的に前または後に表示される他の前記表示領域の位置との間の変化量との間の差に応じた値が小さい上位所定数の前記編集データを、前記類似度の高い上位所定数の前記編集データとして特定することを特徴とする。
【００１１】
請求項５に記載の発明は、請求項１乃至４の何れか一項に記載の情報処理装置において、前記第１動画データのフレームレートと前記第２動画データのフレームレートとが異なる場合、前記復元手段は、前記フレームレートを何れか一方に合わせることで、前記第１画像フレームと前記第１画像フレームに時間的に対応する前記第２画像フレームを特定し、特定した前記第１画像フレームと前記第２画像フレームとを比較して前記第１画像フレームにおける前記第２画像フレームの位置を示す編集データを復元することを特徴とする。
【００１２】
請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の情報処理装置において、前記第２動画データは、複数のシーンの動画を表示する動画データであり、前記特定手段は、前記シーンの切り替えを検出し、前記シーン毎に、前記復元された前記編集データと類似度の高い上位所定数の前記編集データを特定することを特徴とする。
【００１３】
請求項７に記載の発明は、複数の第１画像フレームにより構成される第１動画データと、前記第１動画データに基づき生成された第２動画データであって複数の第２画像フレームにより構成される第２動画データとを取得するステップと、前記複数の第１画像フレームと各前記第１画像フレームに時間的に対応する前記複数の第２画像フレームとをそれぞれ比較して前記第１画像フレームにおける前記第２画像フレームの位置を示す編集データを復元する復元ステップと、記憶部に記憶されている複数の編集データであって、前記第１動画データを構成する複数の第１画像フレームにおいて指定された表示領域の位置を示す前記複数の編集データの中から、前記復元ステップにより復元された前記編集データと類似度の高い上位所定数の前記編集データを特定するステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１４】
請求項１、２または７に記載の発明によれば、生成された複数の編集データの中から、ユーザが所望する編集データを迅速に特定することができる。
【００１５】
請求項３に記載の発明によれば、第２動画データに基づき復元された編集データを用いて、ユーザが所望する編集データを精度良く特定することができる。
【００１６】
請求項４に記載の発明によれば、第２動画データに基づき生成された新たな動画データに基づき復元された編集データを用いた場合であっても、ユーザが所望する編集データを精度良く特定することができる。
【００１７】
請求項５に記載の発明によれば、第１動画データのフレームレートと第２動画データのフレームレートとが異なる場合であっても、ユーザが所望する編集データを精度良く特定することができる。
【００１８】
請求項６に記載の発明によれば、第２動画データの複数のシーン毎に、ユーザが所望する編集データを精度良く特定することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態の通信システムＳの概要構成例を示す図である。
【図２】カメラワークデータ特定処理の一例を示すフローチャートである。
【図３】（Ａ）は、第１画像フレームにおける第２画像フレームの座標（ｘ（ｉ），ｙ（ｉ））を示す図であり、（Ｂ）は、第２動画データから、新たな動画データが生成される様子を示す図である。
【図４】シーン毎にカメラワークデータを特定するカメラワークデータ特定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面に基づいて説明する。
【００２１】
［１．通信システムの構成及び動作概要］
図１は、本実施形態の通信システムＳの概要構成例を示す図である。図１に示すように、通信システムＳは、配信サーバ１、及びクライアント端末２を含んで構成される。配信サーバ１またはクライアント端末２は、本発明の情報処理装置の一例である。なお、通信システムＳには、複数のクライアント端末が含まれてもよい。配信サーバ１及びクライアント端末２は、それぞれ、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、インターネット等により構成される。
【００２２】
配信サーバ１は、クライアント端末２からのコンテンツ要求に応じて、コンテンツをクライアント端末２へ送信する。コンテンツには、動画データが含まれる。なお、コンテンツは、音声データを含んでもよい。動作データには、動画ＩＤが付与される。動画ＩＤは、動画データを識別する識別情報である。クライアント端末２は、配信サーバ１から配信されたコンテンツを受信し、受信されたコンテンツに含まれる動画データを再生する。なお、動画データは、複数の画像フレームから構成される。
【００２３】
そして、クライアント端末２は、再生された動画データの各画像フレーム内の特定の画素領域を表示画面に表示させる。この画素領域は、各画像フレーム内で表示画面に描画される描画領域に相当する。言い換えれば、画素領域は、画像フレームから切り出される表示領域である。この画素領域は、例えば、疑似カメラワークにより指定される。疑似カメラワークは、画像フレームに対する仮想カメラの操作により行われる。ここで、仮想カメラとは、二次元平面または三次元仮想空間における仮想スクリーンに投影される動画に対して仮想的に設定された視点をいう。また、クライアント端末２は、仮想カメラの操作に従って表示画面に表示された画素領域を各画像フレームから抽出して新たな動画データを生成（つまり、動画データを編集）する機能を有する。
【００２４】
仮想カメラの操作には、例えば、仮想カメラのパン（左右振り）の操作、仮想カメラのチルト（上下振り）の操作、及び仮想カメラのズーム（拡大又は縮小）の操作がある。仮想カメラのパン及びチルトの操作により、仮想カメラの向き（アングル）が決まる。仮想カメラのパン及びチルトの操作は、例えば、ユーザによるマウスのドラッグ操作や、ユーザによる指やペン等によるフリック操作により実現できる。なお、フリック操作は、例えば、ユーザがタッチパネル方式の表示画面上で指やペン等の接触物を素早くスライドさせる操作である。また、仮想カメラのズームの操作により、仮想カメラの画角が決まる。仮想カメラのズームの操作は、例えば、ユーザがマウス等の操作部に設けられたボタンあるいはタッチパネル方式の表示画面上に表示されたボタン等を押すことにより実現できる。或いは、仮想カメラのズームの操作は、例えばユーザの指２本で方式の表示画面をピンチするピンチ操作により実現できる。ピンチ操作には、画素領域を縮小するピンチインと、画素領域を拡大するピンチアウトとがある。
【００２５】
クライアント端末２は、動画データの再生中、動画データの録画中、または動画データの編集中に、疑似カメラワークを表すカメラワークデータ（編集データの一例）を生成する。カメラワークデータは、動画データを構成する複数の画像フレームにおいて指定された描画領域（表示領域）の位置を示すデータである。例えば、カメラワークデータは、複数の画像フレームそれぞれに対応する再生位置毎に、描画領域の位置を示すデータとして、パン（pan）、チルト（tilt）、及びズーム（zoom）を規定するワークデータを規定する。ここで、再生位置とは、動画データの再生開始からの経過時間である。なお、カメラワークデータは、複数の画像フレームそれぞれに対応する再生位置毎に、上記指定された画素領域を特定する座標を規定してもよい。カメラワークデータによれば、疑似カメラワークを再現することができる。また、クライアント端末２は、動画データの再生開始からの再生終了までの再生時間において、シーン毎にカメラワークデータを生成することもできる。ここで、シーンとは、動画上のある動作の一区切りとなる再生区間を示す。このようなシーンには、例えば、歌手が歌唱するシーン、俳優が演じるシーン、又はイベントの様子を映し出すシーンなどがある。
【００２６】
そして、クライアント端末２は、生成したカメラワークデータを所定のストレージ（記憶部の一例）に記憶する。このストレージは、例えばクライアント端末２が備えてもよいし、所定のサーバが備えてもよい。所定のサーバがストレージを備える場合、クライアント端末２は、生成したカメラワークデータと、クライアント端末２のユーザのユーザＩＤとをサーバへ送信する。ユーザＩＤは、クライアント端末２のユーザを識別する識別情報である。所定のサーバは、クライアント端末２から送信されたカメラワークデータ、及びユーザＩＤを受信すると、受信したカメラワークデータをユーザＩＤに対応付けてストレージに記憶する。なお、カメラワークデータは、このカメラワークデータの生成元となった動画データに対応付けられてストレージに記憶されてもよい。また、クライアント端末２は、ユーザからの指示に従って、ストレージに記憶されている複数のカメラワークデータの中から、例えば、ユーザのお気に入りの動画データの生成の際に行われた疑似カメラワークを表すカメラワークデータを、配信サーバ１へアップロードする。こうしてアップロードされたカメラワークデータは、他のユーザのクライアント端末に送信可能になる。
【００２７】
［２．各装置の構成］
次に、図１を参照して、本実施形態の通信システムＳに含まれる各装置の構成について説明する。配信サーバ１は、図１に示すように、制御部１１、記憶部１２、及びインターフェース部１３等を備えて構成される。これらの構成要素は、バス１４に接続されている。インターフェース部１３は、ネットワークＮＷに接続される。制御部１１は、コンピュータとしてのＣＰＵ（Center Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。制御部１１は、コンテンツの送受信、及びカメラワークデータの送受信を制御する。記憶部１２は、例えば、例えばハードディスクドライブ（ＨＤＤ）により構成される。記憶部１２は、ＯＳ、及びサーバプログラム等を記憶する。また、記憶部１２は、動画データを含むコンテンツを動画ＩＤに対応付けて記憶する。
【００２８】
クライアント端末２は、図１に示すように、制御部２１、記憶部２２、ビデオＲＡＭ２３、映像制御部２４、操作処理部２５、音声制御部２６、及びインターフェース部２７等を備えて構成される。これらの構成要素は、バス２８に接続されている。制御部２１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。制御部２１は、本発明の取得手段、復元手段、及び特定手段の一例である。映像制御部２４には、ディスプレイを備える表示部２４ａが接続される。操作処理部２５には、操作部２５ａが接続される。操作部２５ａには、例えば、マウス、キーボード、リモコン等がある。表示部２４ａと操作部２５ａとを兼ねるタッチパネルが適用されてもよい。制御部２１は、ユーザによる操作部２５ａからの操作指示を、操作処理部２５を介して受け付ける。ユーザは、操作部２５ａを用いて、動画データの再生中、または動画データの編集中に、上述した仮想カメラの操作を行うことができる。音声制御部２６には、スピーカ２６ａが接続される。インターフェース部２７は、ネットワークＮＷに接続される。記憶部２２は、例えば、ＨＤＤにより構成される。また、制御部２１におけるＲＡＭにはバッファメモリが設けられている。バッファメモリには、受信されたコンテンツに含まれる動画データ等が一時的に保持される。制御部２１は、バッファメモリからビデオＲＡＭ２３へ動画データを出力する。ビデオＲＡＭ２３には、描画データが書き込まれるフレームバッファが設けられている。映像制御部２４は、制御部２１からの制御信号に従って、フレームバッファに書き込まれた描画データを表示画面に描画することで表示させる。また、バッファメモリに保持されたコンテンツに音声データが含まれる場合がある。この場合、制御部２１は、バッファメモリから音声データを再生して音声制御部２６へ出力する。音声制御部２６は、音声データからアナログ音声信号を生成し、生成したアナログ音声信号をスピーカ２６ａへ出力する。
【００２９】
また、記憶部２２は、ＯＳ、プレイヤーソフトウェア、動画編集ソフトウェア、及びカメラワークデータ特定ソフトウェア等を記憶する。プレイヤーソフトウェアは、コンテンツの受信及び再生処理等をＣＰＵに実行させるプログラムである。これにより、制御部２１は、受信されたコンテンツを再生するプレイヤーとして機能する。このプレイヤーの機能により、表示部２４ａにおけるディスプレイには、表示画面が表示される。表示画面は、ウインドウともいう。表示画面には、ユーザによる仮想カメラの操作、または生成済のカメラワークデータに従って、動画が表示される。この動画は、動画データを構成する画像フレーム内で指定された特定の画素領域に対応する動画である。
【００３０】
また、動画編集ソフトウェアは、ユーザによる仮想カメラの操作に従って表示画面に表示された画素領域を各画像フレームから抽出して新たな動画データを生成する編集処理等をＣＰＵに実行させるプログラムである。これにより、制御部２１は、取得した動画データ（以下、「第１動画データ」という）に基づき生成された新たな動画データ（以下、「第２動画データ」という）を記憶部２２に記憶する。また、制御部２１は、プレイヤーソフトウェアまたは動画編集ソフトウェアの実行中に生成されたカメラワークデータをストレージに記憶する。こうして、例えば複数回試行された各疑似カメラワークを表す複数のカメラワークデータがストレージに記憶される。
【００３１】
また、カメラワークデータ特定ソフトウェアは、ストレージに記憶されている複数のカメラワークデータの中から、第２動画データの生成の際に行われた疑似カメラワークを表すカメラワークデータを特定するカメラワークデータ特定処理等をＣＰＵに実行させるプログラムである。これにより、制御部２１は、先ず、複数の第２画像フレームにより構成される第２動画データと、この第２動画データの生成元となった第１動画データであって複数の第１画像フレームにより構成される第１動画データとを取得する。次に、制御部２１は、取得した第２動画データと第１動画データとに基づいて、第１動画データを構成する複数の第１画像フレームと各第１画像フレームに時間的に対応する複数の第２画像フレームとをそれぞれ比較して第１画像フレームにおける第２画像フレームの位置を示すカメラワークデータを復元する。ここで、「時間的に対応する」とは、好適には、再生位置が一致することを意味する。従って、この場合、再生位置が互いに一致する第１画像フレームと第２画像フレームとが比較されることになる。ただし、第１動画データのフレームレートと第２動画データのフレームレートとが異なる場合など、第１画像フレームの再生位置と一致する第２画像フレームがない場合がある。この場合、「第１画像フレームに時間的に対応する第２画像フレーム」には、例えば、第１画像フレームの再生位置に最も近い再生位置の第２画像フレームが該当する。次に、制御部２１は、ストレージに記憶されている複数のカメラワークデータの中から、復元されたカメラワークデータ（以下、「復元カメラワークデータ」という）と類似度の高い上位所定数のカメラワークデータを特定する。これにより、ストレージに記憶されている複数のカメラワークデータの中で、例えばユーザのお気に入りの第２動画データに対応するカメラワークデータがどれに該当するかを迅速に特定してユーザに提示することができる。
【００３２】
［３．カメラワークデータ特定処理］
次に、図２等を参照して、本実施形態のカメラワークデータ特定処理について説明する。図２は、カメラワークデータ特定処理の一例を示すフローチャートである。図２に示すカメラワークデータ特定処理は、クライアント端末２の制御部２１により実行される。図２に示す処理は、例えば、ユーザから、操作部２５ａを介してカメラワークデータ特定ソフトウェアの起動指示があった場合に開始される。
【００３３】
図２に示す処理が開始されると、例えば記憶部２２に記憶されている動画データのファイル名の一覧が表示画面に表示される。そして、例えば、ユーザが、表示されたファイル名のうち、所望のファイル名を、操作部２５ａを介して指定することで、第１動画データと、第１動画データに基づき生成されたお気に入りの第２動画データとを選択する。制御部２１は、ユーザにより選択された第１動画データ及び第２動画データを記憶部２２から取得する（ステップＳ１）。なお、ユーザにより選択される動画データは、第２動画データのみであってもよい。この場合、制御部２１は、ユーザにより選択された第２動画データのファイル名（例えば、“Content-xxx01"）の上位所定桁までの文字や数値（例えば、“Content-xxx"）を含むファイル名が付与された動画データを第１動画データとして記憶部２２から取得する。
【００３４】
次いで、制御部２１は、取得した第２動画データの第１動画データ上における再生区間を特定する（ステップＳ２）。例えば、第２動画データの再生開始から再生終了までの再生区間が含まれる第１動画データの再生区間が特定される。ここで、再生区間は、例えば、第１動画データ及び第１動画データに同期させて対応付けられた音声データの再生中にユーザにより指定される。この場合、ユーザは目と耳で当該再生区間を判断することになる。或いは、再生区間は、第１動画データ及び第１動画データに同期させて対応付けられた音声データと、第２動画データ及び第１動画データに同期させて対応付けられた音声データとの類似性に基づき制御部２１により特定されてもよい。
【００３５】
次いで、制御部２１は、第２動画データを構成する複数の第２画像フレームの先頭からの順番を示す変数ｊに１を代入する（ステップＳ３）。これにより、第２動画データにおける１番目の第２画像フレームが特定される。このとき、制御部２１は、空の復元カメラワークデータを生成する。次いで、制御部２１は、上記変数ｊが、第２動画データを構成する画像フレームの数（以下、「第２動画データのフレーム数」という）以下であるか否かを判定する（ステップＳ４）。制御部２１は、変数ｊが第２動画データのフレーム数以下であると判定した場合（ステップＳ４：ＹＥＳ）、ステップＳ５へ進む。一方、制御部２１は、変数ｊが第２動画データのフレーム数以下でないと判定した場合（ステップＳ４：ＮＯ）、ステップＳ９へ進む。
【００３６】
ステップＳ５では、制御部２１は、ステップＳ２で特定された再生区間内にある再生位置Ｔ（ｊ）における第１画像フレームを特定する。ここで、Ｔ（ｊ）は、ｊ番目の第２画像フレームの第１動画データにおける再生位置を示す。つまり、第２動画データにおけるｊ番目の第２画像フレームは、再生位置Ｔ（ｊ）における第１画像フレームに時間的に対応する。なお、第１動画データのフレームレートと第２動画データのフレームレートとが異なる場合、制御部２１は、フレームレートを何れか一方に合わせることで、第１画像フレームと第１画像フレームに時間的に対応する第２画像フレームを特定することになる。例えば、第１動画データのフレームレートが６０ｆｐｓであり、第２動画データのフレームレートが３０ｆｐｓである場合、制御部２１は、第１動画データにおける第１画像フレームを間引いてフレームレートを３０ｆｓに合わせることで、第１画像フレームと第１画像フレームに時間的に対応する第２画像フレームを特定する。これにより、第１動画データのフレームレートと第２動画データのフレームレートとが異なる場合であっても、ユーザが所望するカメラワークデータを精度良く特定することができる。
【００３７】
次いで、制御部２１は、ステップＳ５で特定した第１画像フレームと、変数ｊにより特定された第２画像フレームとを比較して、第１画像フレームにおける第２画像フレームの位置を座標（ｘ（ｊ），ｙ（ｊ））として特定する（ステップＳ６）。図３（Ａ）は、第１画像フレームにおける第２画像フレームの座標Ｃを示す図である。この座標Ｃは、第２画像フレームの所定位置（例えば、中心座標）が第１画像フレームにおける何れの座標（例えば、第１画像フレームの左上隅を原点とする座標）に該当するかを判定することで特定される。
【００３８】
次いで、制御部２１は、座標（ｘ（ｊ），ｙ（ｊ））を、公知の変換式に代入することで、パン及びチルトを規定するワークデータ（ｐ（ｊ），ｔ（ｊ））を算出し、再生位置Ｔ（ｊ）及び算出したワークデータを復元カメラワークデータに追記する（ステップＳ７）。このとき、制御部２１は、例えば第１画像フレームのサイズに対する第２画像フレームのサイズの割合に基づき、ズームを規定するワークデータを算出し、復元カメラワークデータに追記してもよい。なお、復元カメラワークデータには、ワークデータに代えて、座標（ｘ（ｊ），ｙ（ｊ））が追記されてもよい。次いで、制御部２１は、変数ｊに１を加算する（ステップＳ８）。これにより、第２動画データにおけるｊ＋１番目（前回が１番目であれば、今回は２番目）の第２画像フレームが特定され、ステップＳ４へ戻る。このようにして、図２の例では、第２動画データを構成する第２画像フレーム全てについてワークデータが算出され、復元カメラワークデータに追記されることで、復元カメラワークデータが完成し、ステップＳ９へ進むことになる。
【００３９】
ステップＳ９では、制御部２１は、ストレージに記憶されているカメラワークデータを取得する。なお、ストレージにおいて、ステップＳ１で取得された第１動画データにカメラワークデータが対応付けられて記憶されている場合、制御部２１は、ストレージに記憶されているカメラワークデータの中から、第１動画データに対応付けられているカメラワークデータを取得する。
【００４０】
次いで、制御部２１は、ステップＳ９で取得されたカメラワークデータの順番を示す変数ｍに１を代入する（ステップＳ１０）。この順番は、カメラワークデータがストレージに記憶された順番であってもよいし、カメラワークデータがストレージから取得された順番であってもよい。これにより、１番目のカメラワークデータが特定される。次いで、制御部２１は、上記変数ｍが、ステップＳ９で取得されたカメラワークデータの数以下であるか否かを判定する（ステップＳ１１）。制御部２１は、変数ｍがカメラワークデータの数以下であると判定した場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２へ進む。一方、制御部２１は、変数ｍがカメラワークデータの数以下でないと判定した場合（ステップＳ１１：ＮＯ）、ステップＳ１４へ進む。
【００４１】
ステップＳ１２では、制御部２１は、完成された復元カメラワークデータと、取得されたｍ番目のカメラワークデータとの類似度α（ｍ）を算出する。類似度α（ｍ）は、例えば、下記（１）式及び（２）式により計算される。後述するステップＳ１４で、類似度α（ｍ）の高いカメラワークデータが特定される。
【００４２】
【数１】
2016143937.tif 000003
【００４３】
上記（１）式及び（２）式に示すように、類似度α（ｍ）は、自乗誤差ｖ（ｍ）の逆数である。（２）式において、Ｎは、復元カメラワークデータに記述されたワークデータの数（行数）を示す。Ｔｉは、復元カメラワークデータに記述されたｉ行目のワークデータの再生位置を示す。ｘ（０，Ｔｉ）は、復元カメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ）のときのパンｐの値を示す。ｙ（０，Ｔｉ）は、復元カメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ）のときのチルトｔの値を示す。ｘ（ｍ，Ｔｉ）は、取得されたｍ番目のカメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ）のときのパンｐの値を示す。ｙ（ｍ，Ｔｉ）は、取得されたｍ番目のカメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ）のときのチルトｔの値を示す。なお、復元カメラワークデータに座標（ｘ（ｉ），ｙ（ｉ））が記述されている場合、ｘ（０，Ｔｉ）は、復元カメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ）のときのｘ座標を示し、ｙ（０，Ｔｉ）は、復元カメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ）のときのｙ座標を示す。この場合、取得されたｍ番目のカメラワークデータに記述されたパンｐ及びチルトｔの値は、ｘ座標及びｙ座標に変換される。そして、ｘ（ｍ，Ｔｉ）は、取得されたｍ番目のカメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ）のときのｘ座標を示す。ｙ（ｍ，Ｔｉ）は、取得されたｍ番目のカメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ）のときのｙ座標を示す。
【００４４】
上記（１）式より、自乗誤差ｖ（ｍ）が小さいほど類似度α（ｍ）が大きくなる。上記（２）式に示す自乗誤差ｖ（ｍ）は、復元カメラワークデータに記述されるワークデータが示す第２画像フレームの位置と、ｍ番目のカメラワークデータに記述されるワークデータが示す表示領域の位置との間のｘ方向とｙ方向毎の距離差の自乗を、ワークデータの数Ｎ分算出して総和した値（距離差に応じた値の一例）である。ここで、第２画像フレームの位置は、第１画像フレームにおける第２画像フレームの位置であり、表示領域の位置とは、上記第２画像フレームに時間的に対応する第１画像フレームにおける表示領域の位置である。このような構成によれば、ユーザのお気に入りの第２動画データに基づく復元カメラワークデータを用いて、この第２動画データに対応するカメラワークデータを精度良く特定することができる。
【００４５】
ところで、第１動画データに基づき生成された第２動画データから、更に、新たな動画データが生成される場合がある。例えば、第２動画データを構成する第２画像フレーム内の一部領域を切り抜くクロップ機能により新たな動画データが生成される。図３（Ｂ）は、第２動画データから、新たな動画データが生成される様子を示す図である。この場合、図３（Ｂ）に示すように、第２動画データを構成する第２画像フレームから切り抜かれた領域Ｒは、新たな動画データを構成する一画像フレームとなる。しかし、この領域Ｒの中心座標Ｃ１は、第２画像フレームの中心座標Ｃ２と第１画像フレーム上で一致しない。このため、例えば、ユーザのお気に入りの第２動画データがクライアント端末２からが既に削除され、この第２動画データに基づき生成された新たな動画データのみが記憶されている場合において、この新たな動画データを第２動画データとして生成された復元カメラワークデータを用いて上記ステップＳ１２の処理が行われても、誤差が大きくなり、ユーザが所望するカメラワークデータを精度良く特定できなくなる可能性がある。そこで、制御部２１は、ステップＳ１２において、上記（２）式の代わりに下記（３）式を用いて、復元カメラワークデータと、ｍ番目のカメラワークデータとの類似度α（ｍ）を算出する。
【００４６】
【数２】
2016143937.tif 000004
【００４７】
ここで、ｘ（０，Ｔｉ-1）は、復元カメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ−１）のときのパンｐの値を示す。ｙ（０，Ｔｉ-1）は、復元カメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ−１）のときのチルトｔの値を示す。ｘ（ｍ，Ｔｉ-1）は、取得されたｍ番目のカメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ−１）のときのパンｐの値を示す。ｙ（ｍ，Ｔｉ-1）は、取得されたｍ番目のカメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ−１）のときのチルトｔの値を示す。なお、復元カメラワークデータに座標（ｘ（ｉ−１），ｙ（ｉ−１））が記述されている場合、ｘ（０，Ｔｉ-1）は、復元カメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ−１）のときのｘ座標を示し、ｙ（０，Ｔｉ-1）は、復元カメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ−１）のときのｙ座標を示す。この場合、取得されたｍ番目のカメラワークデータに記述されたパンｐ及びチルトｔの値は、ｘ座標及びｙ座標に変換される。そして、ｘ（ｍ，Ｔｉ-1）は、取得されたｍ番目のカメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ−１）のときのｘ座標を示す。ｙ（ｍ，Ｔｉ-1）は、取得されたｍ番目のカメラワークデータに記述されたワークデータの再生位置Ｔ（ｉ−１）のときのｙ座標を示す。
【００４８】
上記（３）式に示す自乗誤差ｖ（ｍ）は、復元カメラワークデータに記述されるワークデータが示す一の第２画像フレームの位置と一の第２画像フレームより時間的に一つ前または一つ後に再生される他の第２画像フレームの位置との間の変化量と、ｍ番目のカメラワークデータに記述されるワークデータが示す一の表示領域の位置と一の表示領域より時間的に一つ前または一つ後に表示される他の表示領域の位置との間の変化量との間のｘ方向とｙ方向毎の差の自乗を、ワークデータの数Ｎ分算出して総和した値（差に応じた値の一例）である。このような構成によれば、ユーザのお気に入りの第２動画データに基づき生成された新たな動画データに基づく復元カメラワークデータを用いた場合であっても、第２動画データに対応するカメラワークデータを精度良く特定することができる。
【００４９】
次いで、制御部２１は、変数ｍに１を加算する（ステップＳ１３）。これにより、ストレージから取得されたカメラワークデータのうち、ｍ＋１番目のカメラワークデータが特定され、ステップＳ１１へ戻る。このようにして、図２の例では、取得されたカメラワークデータ全てについて類似度α（ｍ）が算出され、ステップＳ１４へ進むことになる。
【００５０】
ステップＳ１４では、制御部２１は、復元カメラワークデータとの類似度α（ｍ）の高い上位所定数のカメラワークデータを特定し、カメラワークデータ特定処理を終了する。ここで、上位所定数は、例えばユーザにより任意に設定可能である。所定数が１である場合、復元カメラワークデータとの類似度α（ｍ）の最も高い（上述した自乗誤差ｖ（ｍ）が最小の）カメラワークデータが特定されることになる。そして、制御部２１は、カメラワークデータ特定処理により特定したカメラワークデータを、表示部２４ａ等を通じてユーザに提示する。
【００５１】
なお、ステップＳ１４において、制御部２１は、取得されたカメラワークデータのうち、復元カメラワークデータとの類似度α（ｍ）が閾値以上であるカメラワークデータを特定対象してもよい。これにより、復元カメラワークデータと類似していないカメラワークデータが特定されることを回避することができる。この場合、制御部２１は、復元カメラワークデータとの類似度α（ｍ）が閾値以上であるカメラワークデータのうち、上位所定数のカメラワークデータを特定してユーザへ提示する。
【００５２】
以上説明したように、上記実施形態によれば、制御部２１は、第１動画データ及び第２動画データに基づいて第１画像フレームにおける第２画像フレームの位置を示す復元カメラワークデータを復元し、ストレージに記憶されている複数のカメラワークデータの中から、復元カメラワークデータと類似度の高い上位所定数のカメラワークデータを特定する。このため、上記実施形態によれば、ストレージに記憶されている複数のカメラワークデータの中で、ユーザが所望するカメラワークデータを迅速に特定してユーザに提示することができる。
【００５３】
なお、上記実施形態において、第２動画データが複数のシーンの動画を表示する動画データである場合、制御部２１は、シーンの切り替えを検出し、シーン毎に、復元カメラワークデータとの類似度α（ｍ）の高い上位所定数のカメラワークデータを特定してもよい。図４は、シーン毎にカメラワークデータを特定するカメラワークデータ特定処理の一例を示すフローチャートである。図４に示す処理において、図３に示す処理と同様の処理については、同一の符号を付して、重複する説明を省略する。図４に示すステップＳ１０１では、制御部２１は、ステップＳ１で取得した第２動画データにおいて、シーンの切り替えを検出し、それぞれのシーンを特定する。次いで、制御部２１は、ステップＳ１０１で特定されたシーンの順番（再生順）を示す変数ｓに１を代入する（ステップＳ１０２）。次いで、制御部２１は、上記変数ｓが、ステップＳ１０１で特定されたシーンの数以下であるか否かを判定する（ステップＳ１０３）。制御部２１は、変数ｓがシーンの数以下であると判定した場合（ステップＳ１０３：ＹＥＳ）、ステップＳ３へ進み、ｓ番目のシーンについてステップＳ３以降の処理を行う。そして、制御部２１は、変数ｍがカメラワークデータの数以下でないと判定した場合（ステップＳ１１：ＮＯ）、ｓ番目のシーンにおける復元カメラワークデータとの類似度α（ｍ）の高い上位所定数のカメラワークデータを特定する（ステップＳ１４）。次いで、制御部２１は、変数ｓに１を加算する（ステップＳ１０４）。これにより、ｓ＋１番目のシーンが特定され、ステップＳ１０３へ戻る。一方、制御部２１は、変数ｓがシーンの数以下でないと判定した場合（ステップＳ１０３：ＮＯ）、つまり、特定された全てのシーンについて、復元カメラワークデータとの類似度α（ｍ）の高い上位所定数のカメラワークデータが特定された場合、カメラワークデータ特定処理を終了する。そして、制御部２１は、カメラワークデータ特定処理により特定したシーン毎のカメラワークデータを、表示部２４ａ等を通じてユーザに提示する。このような構成によれば、第２動画データの複数のシーン毎に、復元カメラワークデータとの類似度α（ｍ）の高いカメラワークデータが特定されるので、ストレージに記憶されている複数のカメラワークデータの中で、ユーザが所望するカメラワークデータをより精度良く特定することができる。
【００５４】
なお、上記実施形態においては、一例として、ユーザのお気に入りの第２動画データに対応するカメラワークデータを特定する場合に本発明を適用したが、その他の場合に対しても本発明は適用できる。例えば、第２動画データが、第１動画データの製作者や著作者等の意に反して例えばインターネット上のサイトに流出した場合において、第２動画データを作成して流出させたユーザを特定するためにも本発明は適用できる。この場合、上述したストレージは、所定のサーバに備えられており、複数のクライアント端末から送信されたカメラワークデータをユーザＩＤに対応付けて記憶している。そして、クライアント端末２のユーザは、第１動画データの製作者や著作者側のオペレータであり、オペレータの操作により、図２または図４に示すカメラワークデータ特定処理が実行される。これにより、流出した第２動画データに基づく復元カメラワークデータを用いて、この第２動画データに対応するカメラワークデータを精度良く特定し、特定したカメラワークデータに対応付けられたユーザＩＤから、第２動画データを流出させたユーザを特定することができる。これにより、上述したような第２動画データの流出を抑止することが可能となる。
【００５５】
また、上記実施形態においては、本発明の情報処理装置及びプログラムをクライアント端末２に適用した場合について説明したが、本発明の情報処理装置及びプログラムを配信サーバ１等の所定のサーバに適用してもよい。例えば、本発明が配信サーバ１に適用される場合、配信サーバ１の制御部１１は、本発明の取得手段、復元手段、及び特定手段として機能する。そして、制御部１１は、図２または図４に示すカメラワークデータ特定処理を実行することで、例えばユーザが所望するカメラワークデータを特定してユーザに提示する。
【符号の説明】
【００５６】
１  配信サーバ
２  クライアント端末
２１  制御部
２２  記憶部
２３  ビデオＲＡＭ
２４  映像制御部
２５  操作処理部
２６  音声制御部
２７  インターフェース部
Ｓ  通信システム
【図１】
2016143937.tif 000005
【図２】
2016143937.tif 000006
【図３】
2016143937.tif 000007
【図４】
2016143937.tif 000008