(57)【要約】  動画を記憶する動画記憶手段（１２ａ）から取得した動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得し（Ｓ１１）、取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定し（Ｓ１２）、特定されたオブジェクト毎に、各画像フレームに表示されているオブジェクトに関するオブジェクト情報を算出し（Ｓ１３、Ｓ２０）、算出されたオブジェクト情報と、動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、付加コンテンツを表示するためのオブジェクトを、特定されたオブジェクトから選択し（Ｓ２１）、選択されたオブジェクトの少なくとも一部を含む領域であって、選択されたオブジェクトのオブジェクト情報に従った領域に付加コンテンツを表示するための表示情報を生成する（Ｓ２２）。
2017056229.tif 000002
【特許請求の範囲】
【請求項１】
動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段と、
前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定手段と、
前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段と、
前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段と、
前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段と、
を備えたことを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置おいて、
前記オブジェクト情報が、前記オブジェクトが前記動画において空間および時間の少なくとも一方の積算で表示される積算表示量を含み、
前記オブジェクト選択手段が、前記積算表示量に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置おいて、
前記オブジェクト情報が、複数の前記画像フレームに連続して表示される前記オブジェクトの連続表示数を含み、
前記オブジェクト選択手段が、前記連続表示数に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする情報処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の情報処理装置おいて、
前記オブジェクト情報が、前記画像フレームの隣接するフレーム間における前記オブジェクトの差分データ量を含み、
前記オブジェクト選択手段が、各前記オブジェクトの差分データ量により設定される閾値より、前記差分データ量が大きいオブジェクトを選択することを特徴とする情報処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の情報処理装置おいて、
前記オブジェクト情報が、前記オブジェクトの形状の情報を含み、
前記付加コンテンツ表示条件が、前記付加コンテンツの形状の情報を含み、
前記オブジェクト選択手段が、前記付加コンテンツの形状に適合するように、前記オブジェクトの形状の情報に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする情報処理装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の情報処理装置おいて、
前記表示情報が、前記選択されたオブジェクトのオブジェクト情報に従った領域を単一の色でマスクした動画を含むことを特徴とする情報処理装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の情報処理装置おいて、
前記選択されたオブジェクトのオブジェクト情報に従った領域内の画素の色と、当該領域に付加する付加コンテンツの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、
前記表示情報が、前記領域を当該画素毎に決定された色でマスクした動画を含むことを特徴とする情報処理装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の情報処理装置おいて、
前記オブジェクト情報算出手段が、複数の前記画像フレームにおいて連続して表示される前記オブジェクトを１つのオブジェクトとして、前記オブジェクト情報を算出することを特徴とする情報処理装置。
【請求項９】
画像フレーム取得手段が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得ステップと、
オブジェクト特定手段が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定ステップと、
オブジェクト情報算出手段が、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出ステップと、
オブジェクト選択手段が、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択ステップと、
表示情報生成手段が、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成ステップと、
を含むことを特徴とする情報処理方法。
【請求項１０】
コンピュータを、
動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段、
前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定手段、
前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段、
前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段、および、
前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段として機能させることを特徴とする情報処理装置用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画内に他の画像を表示する情報処理装置、情報処理方法および情報処理装置用プログラムの技術分野に関する。
【背景技術】
【０００２】
動画等のコンテンツの提供者が提供したコンテンツをコンテンツ配信サイトに登録し、当該コンテンツ配信サイトにおいて視聴ユーザからの要求に応じてコンテンツを配信するサービスが知られている。上記サービスにおいては配信されたコンテンツに関連する広告をコンテンツ表示領域の一部に重ねて表示し、視聴ユーザによる当該広告へのクリックなどに応じて報酬を得ている。コンテンツ表示領域の一部に画像を重ねて表示する技術として、例えば、特許文献１には、画像の動き量が少ない領域に動画および静止画の何れか一方を表示し、それ以外の領域に他方を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８-０４２３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術を、コンテンツを配信するサービスに適用した場合には、動画の画像の中で隣接する領域と元々区切られていない領域に新たな広告を表示するための領域を唐突に生成するため、視聴ユーザにとって違和感を生じさせることとなり、その結果として視聴ユーザの視聴意欲が阻害されてしまうという問題があった。【０００５】
本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、動画の画像内で視聴ユーザに違和感を与えない領域に広告等の他の画像を表示するサービスを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段と、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定手段と、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段と、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段と、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段と、を備えたことを特徴とする。【０００７】
この発明によれば、画像フレームに表示されているオブジェクトのオブジェクト情報と、動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づきオブジェクトが選択され、選択されたオブジェクトの少なくとも一部を含み、選択されたオブジェクトのオブジェクト情報に従った領域に付加コンテンツを表示するための表示情報を生成することにより、画像フレーム内に既に表示されているオブジェクトのオブジェクト情報に従った領域に付加コンテンツが表示されるため、動画の画像内で視聴ユーザに違和感を与えない領域に付加コンテンツを表示することができる。また、オブジェクトに合わせて、柔軟に付加コンテンツを表示させることができる。【０００８】
請求項２に記載の発明は、請求項１に記載の情報処理装置おいて、前記オブジェクト情報が、前記オブジェクトが前記動画において空間および時間の少なくとも一方の積算で表示される積算表示量を含み、前記オブジェクト選択手段が、前記積算表示量に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする。【０００９】
この場合、空間および時間の少なくとも一方における露出に応じたオブジェクトを、より付加コンテンツ表示条件に適合したオブジェクトを選択できる。【００１０】
請求項３に記載の発明は、請求項１または請求項２に記載の情報処理装置おいて、前記オブジェクト情報が、複数の前記画像フレームに連続して表示される前記オブジェクトの連続表示数を含み、前記オブジェクト選択手段が、前記連続表示数に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする。【００１１】
この場合、付加コンテンツの表示が途切れること無く、動画に表示させることができる。【００１２】
請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の情報処理装置おいて、前記オブジェクト情報が、前記画像フレームの隣接するフレーム間における前記オブジェクトの差分データ量を含み、前記オブジェクト選択手段が、各前記オブジェクトの差分データ量により設定される閾値より、前記差分データ量が大きいオブジェクトを選択することを特徴とする。【００１３】
この場合、差分データ量が大きいオブジェクトが、画像フレーム毎の色等の変化が少ない付加コンテンツと入れ替わることにより、動画を圧縮した際のデータ量を削減することができる。【００１４】
請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の情報処理装置おいて、前記オブジェクト情報が、前記オブジェクトの形状の情報を含み、前記付加コンテンツ表示条件が、前記付加コンテンツの形状の情報を含み、前記オブジェクト選択手段が、前記付加コンテンツの形状に適合するように、前記オブジェクトの形状の情報に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする。【００１５】
この場合、付加コンテンツの形状を変形することなく、オブジェクトの形状に合うように、付加コンテンツを表示できるので、付加コンテンツの形状を変形する処理を省くことができる。【００１６】
請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の情報処理装置おいて、前記表示情報が、前記選択されたオブジェクトのオブジェクト情報に従った領域を単一の色でマスクした動画を含むことを特徴とする。【００１７】
この場合、単一の色でマスクされるため、動画を圧縮した際のデータ量を削減できる。【００１８】
請求項７に記載の発明は、請求項１から請求項６のいずれか１項に記載の情報処理装置おいて、前記選択されたオブジェクトのオブジェクト情報に従った領域内の画素の色と、当該領域に付加する付加コンテンツの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、前記表示情報が、前記領域を当該画素毎に決定された色でマスクした動画を含むことを特徴とする。【００１９】
この場合、例えば、対応する画素毎の中間色で領域をマスクできるので、付加コンテンツを表示させる画像フレーム前と、付加コンテンツを表示させた後の画像フレームと、の間の画像フレームの一部を画素毎の中間色でマスクするので、動画を圧縮した際のデータ量を削減できる。【００２０】
請求項８に記載の発明は、請求項１から請求項７のいずれか１項に記載の情報処理装置おいて、前記オブジェクト情報算出手段が、複数の前記画像フレームにおいて連続して表示される前記オブジェクトを１つのオブジェクトとして、前記オブジェクト情報を算出することを特徴とする。【００２１】
この場合、オブジェクト情報が、画像フレームにおいて連続する単位で算出され、オブジェクトが他のオブジェクトに一旦隠れたり、撮影のアングルから外れたり、場面の切り替わり等のタイミングで、付加コンテンツを表示できるので、付加コンテンツが切り替わっても、視聴ユーザに違和感を与えないように、付加コンテンツを表示することができる。【００２２】
請求項９に記載の発明は、画像フレーム取得手段が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得ステップと、オブジェクト特定手段が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定ステップと、オブジェクト情報算出手段が、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出ステップと、オブジェクト選択手段が、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択ステップと、表示情報生成手段が、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成ステップと、を含むことを特徴とする。【００２３】
請求項１０に記載の発明は、コンピュータを、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定手段、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段、および、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段として機能させることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、動画の画像内で視聴ユーザに違和感を与えない領域に広告等の他の画像を表示するサービスを提供できる。
【図面の簡単な説明】
【００２５】
【図１】一実施形態に係る情報処理システムの概要構成の一例を示す模式図である。
【図２】一実施形態に係る動画配信サーバ装置の概要構成の一例を示すブロック図である。
【図３】動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。
【図４】動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。
【図５】動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。
【図６】動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。
【図７】動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。
【図８】動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。
【図９】一実施形態に係る動画配信サーバ装置の機能ブロックの一例を示す図である。
【図１０】図１のコンテンツ提供装置の概要構成の一例を示すブロック図である。
【図１１】図１の広告提供装置の概要構成の一例を示すブロック図である。
【図１２】図１の視聴ユーザ端末装置の概要構成の一例を示すブロック図である。
【図１３】動画データにおける画像フレームのフレーム番号の一例を示す模式図である。
【図１４Ａ】画像フレームの一例を示す模式図である。
【図１４Ｂ】画像フレームの一例を示す模式図である。
【図１４Ｃ】画像フレームの一例を示す模式図である。
【図１４Ｄ】画像フレームの一例を示す模式図である。
【図１４Ｅ】画像フレームの一例を示す模式図である。
【図１４Ｆ】画像フレームの一例を示す模式図である。
【図１４Ｇ】画像フレームの一例を示す模式図である。
【図１４Ｈ】画像フレームの一例を示す模式図である。
【図１４Ｉ】画像フレームの一例を示す模式図である。
【図１５】一実施形態に係る動画配信サーバ装置のシステム制御部の動画登録処理の一例を示すフローチャートである。
【図１６】一実施形態に係る動画配信サーバ装置のシステム制御部の広告登録処理の一例を示すフローチャートである。
【図１７】一実施形態に係る動画配信サーバ装置のシステム制御部のオブジェクト特定処理の一例を示すフローチャートである。
【図１８Ａ】画像フレームの特徴点画像の一例を示す模式図である。
【図１８Ｂ】画像フレームの特徴点画像の一例を示す模式図である。
【図１８Ｃ】画像フレームの特徴点画像の一例を示す模式図である。
【図１８Ｄ】画像フレームの特徴点画像の一例を示す模式図である。
【図１９Ａ】画像フレームにおけるオブジェクト表示領域の一例を示す模式図である。
【図１９Ｂ】画像フレームにおけるオブジェクト表示領域の一例を示す模式図である。
【図１９Ｃ】画像フレームにおけるオブジェクト表示領域の一例を示す模式図である。
【図１９Ｄ】画像フレームにおけるオブジェクト表示領域の一例を示す模式図である。
【図１９Ｅ】オブジェクト表示領域の一例を示す模式図である。
【図１９Ｆ】オブジェクト表示領域の一例を示す模式図である。
【図２０】一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報生成処理の一例を示すフローチャートである。
【図２１Ａ】広告が付加された画像フレームの一例を示す模式図である。
【図２１Ｂ】広告が付加された画像フレームの一例を示す模式図である。
【図２１Ｃ】広告が付加された画像フレームの一例を示す模式図である。
【図２１Ｄ】広告が付加された画像フレームの一例を示す模式図である。
【図２１Ｅ】広告が付加された画像フレームの一例を示す模式図である。
【図２１Ｆ】広告が付加された画像フレームの一例を示す模式図である。
【図２２Ａ】一部がマスクされた画像フレームの一例を示す模式図である。
【図２２Ｂ】一部がマスクされた画像フレームの一例を示す模式図である。
【図２２Ｃ】一部がマスクされた画像フレームの一例を示す模式図である。
【図２２Ｄ】一部がマスクされた画像フレームの一例を示す模式図である
【図２３】一実施形態に係る動画配信サーバ装置のシステム制御部の動画配信処理の一例を示すフローチャートである。
【図２４】一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報変更処理の一例を示すフローチャートである。
【図２５】動画データにおけるスキップまたは巻き戻しの一例を示す模式図である。
【図２６】画像フレームの一部をマスクするマスクの変形例を示す模式図である。
【図２７】画像フレームの一部をマスクするマスクの変形例を示す模式図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、情報処理システムに対して本発明を適用した場合の実施形態である。
【００２７】
［１．情報処理システムの構成および機能概要］
まず、本実施形態に係る情報処理システム１の構成および機能概要について、図１を用いて説明する。図１は、一実施形態に係る情報処理システム１の概要構成の一例を示す模式図である。
【００２８】
図１に示すように、情報処理システム１は、視聴ユーザに動画のコンテンツを配信する動画配信サーバ装置１０と、動画配信サーバ装置１０に動画をコンテンツとして提供するコンテンツ提供者のコンテンツ提供装置２０と、広告等の付加コンテンツを提供する広告提供者の広告提供装置３０と、動画を視聴する視聴ユーザの視聴ユーザ端末装置４０と、を備えている。なお、動画は、複数の画像フレームから構成される。
【００２９】
動画配信サーバ装置１０と、コンテンツ提供装置２０と、広告提供装置３０と、視聴ユーザ端末装置４０とは、ネットワーク３により接続され、通信プロトコル（例えば、ＴＣＰ／ＩＰ）により、データの送受信が可能になっている。なお、ネットワーク３は、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局５等を含む）、および、ゲートウェイ等により構築されている。なお、動画配信サーバ装置１０と、コンテンツ提供装置２０とは、セキュリティ向上のため専用回線で接続されていてもよい。
【００３０】
動画配信サーバ装置１０（情報処理装置の一例）は、コンテンツ提供装置２０から提供された動画を登録し、視聴ユーザ端末装置４０から要求に応じて動画のコンテンツを視聴ユーザ端末装置４０へ配信する。また、動画配信サーバ装置１０は、視聴ユーザ端末装置４０から要求に応じて動画のコンテンツを視聴ユーザ端末装置４０へ配信する際に、商品またはサービスに関する広告等の付加コンテンツを視聴ユーザ端末装置４０へ配信する。
【００３１】
コンテンツ提供者はそれぞれのコンテンツ提供装置２０を用いて、コンテンツ提供者が提供する動画を登録するために当該動画を動画配信サーバ装置１０に送信する。
【００３２】
広告提供者はそれぞれの広告提供装置３０を用いて、広告提供者が提供する広告等の付加コンテンツを登録するために当該広告等の付加コンテンツを、動画配信サーバ装置１０に送信する。
【００３３】
なお、付加コンテンツの種別として、広告と非広告とがある。例えば、非広告として、商品またはサービスの広告以外に、広告提供者等が動画で視聴ユーザ毎に示したいメッセージや映像等が挙げられる。また、付加コンテンツのデータ形式として、テキスト、デザイン文字等の文字や画像、および、これらの組み合わせが挙げられる。また、映像として、静止画像と、動画像と、これらの組合せが挙げられる。
【００３４】
また、広告提供者はそれぞれの広告提供装置３０を用いて、動画に付加コンテンツを表示するための付加コンテンツ表示条件を示す情報を動画配信サーバ装置１０に送信する。
【００３５】
ここで、付加コンテンツ表示条件の一例として、付加コンテンツの形状（例えば、矩形、円形、楕円形、星形等）が挙げられる。また、矩形であれば、アスペクト比（広告の横の長さに対する縦の長さの比率）、楕円であれば、長軸および短軸の比等も挙げられる。また、付加コンテンツ表示条件は、付加コンテンツの基準表示サイズ（例えば横または縦の長さを示すピクセル数）でもよいし、付加コンテンツの最小表示サイズでもよい。
【００３６】
さらに、付加コンテンツ表示条件の一例として、付加コンテンツの表示時間が挙げられ、時間的に表示が連続する複数のフレームを１つのグループ単位とする場合の表示時間と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示時間と、がある。これら２つの場合の付加コンテンツの表示時間に関して、各々、合計表示時間、最小の合計表示時間、最大の合計表示時間、最小の連続表示時間、最大の連続表示時間、平均の連続表示時間等がある。
【００３７】
また、付加コンテンツ表示条件の一例として、付加コンテンツの表示回数が挙げられ、時間的に表示が連続する複数のフレームを１つのグループ単位とする場合の表示回数と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示回数と、がある。これら２つの場合の付加コンテンツの表示回数に関して、各々、合計表示回数、最小の合計表示回数、最大の合計表示回数、最小の連続表示回数、最大の連続表示回数、平均の表示回数等がある。
【００３８】
また、付加コンテンツ表示条件の一例として、付加コンテンツの表示面積が挙げられ、時間的に表示が連続する複数のフレームを１つのグループ単位とする場合の表示面積と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示面積と、がある。これら２つの場合の付加コンテンツの表示面積に関して、各々、最小の表示面積、最大の表示面積、平均の表示面積、画像フレームの１／１０等の所定の表示面積等がある。
【００３９】
また、付加コンテンツ表示条件の一例として、動画において空間および時間の少なくとも一方の積算で表示される積算表示量が挙げられ、時間的に表示が連続する複数のフレームを１つのグループ単位とする場合の積算表示量と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算積算表示量と、がある。これら２つの場合の積算表示量に関して、各々、最低積算表示量、画像フレームの１／１０の面積で５秒間等の所定積算表示量等）等がある。
【００４０】
また、付加コンテンツ表示条件の一例として、動画を構成する画像フレームにおける付加コンテンツの表示許可位置（上部、下部、右側、左側、右下、左下、中央部等）、または、表示禁止位置（例えば、広告提供者が画像フレームにおいて付加コンテンツを表示させたくない位置）等が挙げられる。
【００４１】
また、付加コンテンツ表示条件の一例として、付加コンテンツの表示が許可または禁止される動画における時間的な表示位置等の条件（例えば、動画の前半／後半への表示許可または禁止、所定のチャプターのみ許可または禁止、最初／最後の５分のみ許可または禁止など）が挙げられる。
【００４２】
また、付加コンテンツ表示条件の一例として、付加コンテンツの表示が許可または禁止される動画（ホワイトリストやブラックリストまたは特定キーワードを含む動画など）、または付加コンテンツの表示が許可または禁止される動画のカテゴリ等が挙げられる。
【００４３】
視聴ユーザは視聴ユーザ端末装置４０を用いて、動画配信サービスにおいて提供されている動画を、検索キーワードやカテゴリの選択などを用いて検索して、視聴したい動画を選択する。視聴ユーザ端末装置４０は、ユーザの入力や選択に応じた動画の配信要求を動画配信サーバ装置１０に送信し、当該配信要求に対応する動画を、動画配信サーバ装置１０からを受信し、当該受信した動画を再生する。
【００４４】
［２．各装置の構成および機能］
（２．１  動画配信サーバ装置１０の構成および機能）
次に、動画配信サーバ装置１０の構成および機能について、図２から図９を用いて説明する。
【００４５】
図２は、一実施形態に係る動画配信サーバ装置１０の概要構成の一例を示すブロック図である。図３から図８は、動画配信サーバ装置１０の記憶部に構築されたデータベースに登録される内容の一例を示す図である。
【００４６】
図２に示すように、コンピュータとして機能する動画配信サーバ装置１０は、通信部１１と、記憶部１２と、入出力インターフェース部１３と、システム制御部１４と、を備えている。そして、システム制御部１４と入出力インターフェース部１３とは、システムバス１５を介して接続されている。
【００４７】
通信部１１は、ネットワーク３に接続して、動画提供者のコンテンツ提供装置２０と、広告提供者の広告提供装置３０と、視聴ユーザ端末装置４０等との通信を制御するようになっている。
【００４８】
記憶部１２は、例えば、ハードディスクドライブやシリコンディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや、視聴ユーザに提供する動画等を記憶する。
【００４９】
なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置（図示せず）を介して読み込まれるようにしてもよい。また、配信プログラム等は、プログラム製品であってもよい。
【００５０】
また、記憶部１２には、コンテンツ提供装置２０から取得した動画を記憶する動画データベース１２ａ（以下「動画ＤＢ１２ａ」とする。）と、コンテンツ提供装置２０から取得した広告等を記憶する広告データベース１２ｂ（以下「広告ＤＢ１２ｂ」とする。）と、動画を構成する各画像フレームの中に表示されているオブジェクトに関する情報（オブジェクトに関するオブジェクト情報の一例）を記憶するフレーム・オブジェクト情報データベース１２ｃ（以下「フレーム・オブジェクト情報ＤＢ１２ｃ」とする。）と、動画毎に集計されたオブジェクト情報を記憶する集計オブジェクト情報データベース１２ｄ（以下「集計オブジェクト情報ＤＢ１２ｄ」とする。）と、動画に対して、広告等の付加コンテンツを表示させるための制御情報（表示情報の一例）を記憶する制御情報データベース１２ｅ（以下「制御情報ＤＢ１２ｅ」とする。）と、視聴ユーザに関する情報を記憶するユーザ情報データベース１２ｆ（以下「ユーザ情報ＤＢ１２ｆ」とする。）等が構築されている。
【００５１】
なお、これらのデータベースは、同一のデバイスで構成されてもよいし、互いに異なるデバイスで構成されてもよい。
【００５２】
動画ＤＢ１２ａ（動画記憶手段の一例）には、配信可能な動画に関する情報が登録される。具体的に、動画ＤＢ１２ａには、図３に示すように、動画ＩＤに対応付けて、カテゴリＩＤ、動画のタイトル、動画の収録時間、動画データ等が動画毎に登録される。なお、動画ＤＢ１２ａには、動画を構成する画像フレームのフレーム数、付加コンテンツ表示可否フラグ、付加コンテンツの表示上限数、付加コンテンツの表示上限時間などが記憶されていてもよい。
【００５３】
動画ＩＤは、動画を識別するための識別情報である。なお、動画ＩＤは、コンテンツ提供者を識別するためのコンテンツ提供者ＩＤと対応付けて管理されていてもよい。
【００５４】
カテゴリＩＤは、動画ＩＤに対応する動画が属するカテゴリを識別するための情報である。情報処理システム１においては、複数のカテゴリが定義されており、各動画は少なくともひとつのカテゴリに属している。
【００５５】
動画データは、動画を表示するためのデータである。動画データの形式は、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４，ＭＰＥＧ−７，ＭＰＥＧ−２１などのＭＰＥＧ形式、ＤｉｖＸ形式、Ｘｖｉｄ形式、Ｈｕｆｆｙｕｖ形式等のコーデックや、ＡＶＩ形式、ＭＯＶ形式、ＡＳＦ形式、Ｏｇｇ形式、Ｍａｔｒｏｓｋａ形式、等のコンテナフォーマットであってもよい。
【００５６】
広告ＤＢ１２ｂには、配信可能な広告に関する情報が登録される。具体的に、図４に示すように、広告ＤＢ１２ｂには、広告ＩＤと対応付けて広告表示条件、広告データ、提供情報ＵＲＬ（Uniform Resource Locator）等が広告毎に登録される。
【００５７】
広告ＩＤは、広告を識別するための識別情報である。
【００５８】
広告表示条件は、付加コンテンツ条件の一例であり、付加コンテンツとしての広告の情報を動画に表示するための条件である。
【００５９】
広告データは、配信される動画に対応つけて表示されるデータである。例えば、広告データとしては、文字データ、静止画データ、動画データ等があり、またこれらのデータのうち少なくとも２つの種類のデータの組み合わせであってもよい。提供情報ＵＲＬは、広告ＩＤが示す広告に関連付けられた提供情報のＵＲＬである。
【００６０】
フレーム・オブジェクト情報ＤＢ１２ｃには、動画を構成する各画像フレームから画像処理により抽出されたオブジェクトに関する情報が登録される。具体的に、図５に示すように、フレーム・オブジェクトＤＢ１２ｃには、動画ＩＤ、画像フレームのフレームＩＤ、オブジェクトＩＤ、画像フレームに存在するオブジェクトに関するフレーム・オブジェクト情報（オブジェクトに関するオブジェクト情報の一例）等が登録される。
【００６１】
画像フレームのフレームＩＤは、動画における画像フレームを識別するための識別情報である。例えば、フレームＩＤは、各画像フレームに順に割り振られたシリアル番号（フレーム番号）でもよい。
【００６２】
オブジェクトＩＤは、画像フレームから抽出されたオブジェクトを識別するための識別情報である。異なる画像フレーム間で抽出されたオブジェクト同士が同じオブジェクトであると判定された場合には、同じオブジェクトＩＤが付与される。
【００６３】
ここで、オブジェクトの一例として、画像フレームの中に表示されている建造物、看板、移動体（車両、自転車、人物、動物、キャラクタ等）、樹木、人物およびキャラクタが身につけている衣服、カバン等が挙げられる。
【００６４】
フレーム・オブジェクト情報の一例として、画像フレームにおいて抽出されたオブジェクトの形状、画像フレームにおけるオブジェクトが表示される位置情報（例えば、画像フレームの左上端を原点とする座標や、画像フレームを所与の領域に分割した分割領域のうちオブジェクトが含まれる領域等がある。また、オブジェクトの自体の位置を示す際に基準となる部位としてオブジェクトの重心等の中心部、または、オブジェクトの各端部等がある）、画像フレームに占めるオブジェクトのオブジェクト表示領域の面積、オブジェクト表示領域に含まれる各画素の座標、色等の画素情報等の情報が挙げられる。
【００６５】
集計オブジェクト情報ＤＢ１２ｄには、動画を構成する各画像フレームのフレーム・オブジェクト情報を、集計したオブジェクト情報（オブジェクトに関するオブジェクト情報の一例）が登録される。具体的に、図６に示すように、集計オブジェクト情報ＤＢ１２ｄには、動画ＩＤ、オブジェクトＩＤ、集計されたオブジェクト情報等が登録される。
【００６６】
集計したオブジェクト情報の一例として、動画における各オブジェクトの出現数（表示回数）、所与の条件を満たす複数のオブジェクトにおける平均出現数、最も多く出現したオブジェクトの最大出現数、最も少なく出現したオブジェクトの最小出現数等が挙げられる。また、出現数の代わりに、表示時間（＝出現数／フレームレート）でもよい。フレームレートは、一般的に３０ｆｐｓ（frames per second）から６０ｆｐｓであるが、１０ｆｐｓ、２４ｆｐｓ、２５ｆｐｓのように、どのようなフレームレートでもよい。
【００６７】
また、集計したオブジェクト情報の一例として、動画における各オブジェクトの積算表示面積、平均表示面積、最大表示面積、最小表示面積等が挙げられる。また、集計したオブジェクト情報の一例として、画像フレームに連続して表示されるオブジェクトの連続出現数等が挙げられる。なお、集計したオブジェクト情報は、オブジェクトが動画において空間および時間の少なくとも一方の積算で表示される積算表示量の一例である。
【００６８】
制御情報ＤＢ１２ｅには、動画を構成する各画像フレームに、広告等の付加コンテンツを表示させるための制御情報が登録される。具体的に、図７に示すように、制御情報ＤＢ１２ｅには、動画ＩＤ、制御情報等が登録される。
【００６９】
制御情報は、動画において付加コンテンツを表示させる時間的な位置を示す情報（例えば、画像フレームのフレームＩＤ）と、当該時点において付加コンテンツを表示させる画像フレーム内の位置を示す情報（例えば、座標情報）などを含む。また、制御情報は、付加コンテンツを識別する情報や付加コンテンツのデータ（例えば、広告データ）を含んでもよい。
【００７０】
付加コンテンツが静止画の場合、制御情報は、フレームＩＤ毎に、付加コンテンツを付加する画像フレームにおける位置情報、付加コンテンツの縮小率または拡大率などを含む。または、制御情報は、フレームＩＤ毎に、付加コンテンツを付加する付加コンテンツ表示領域の内部または輪郭の画素の位置情報（例えば、画像フレームの左上端を原点とする座標）を含む。
【００７１】
付加コンテンツが動画の場合、制御情報は、フレームＩＤ毎に、付加コンテンツの画像フレームデータ、付加コンテンツを付加する画像フレームにおける位置情報、付加コンテンツの縮小率または拡大率などを含む。または、制御情報は、フレームＩＤ毎に、付加コンテンツの画像フレームデータ、付加コンテンツを付加する付加コンテンツ表示領域（選択されたオブジェクトのオブジェクト情報に従った領域の一例）の内部または輪郭の画素の位置情報を含む。
【００７２】
ユーザ情報ＤＢ１２ｆには、情報処理システム１に会員登録しているユーザに関するユーザ情報が、ユーザＩＤと対応付けてユーザ毎に登録される。具体的に、図８に示すように、ユーザ情報ＤＢ１２ｅには、ユーザＩＤと対応付けてパスワード、ニックネーム、電子メールアドレス等のユーザの属性などがユーザ情報として登録される。ユーザＩＤは、ユーザを識別するための識別情報である。
【００７３】
また、記憶部１２には、更にウェブページを表示するためのＨＴＭＬ文書、ＸＭＬ（Extensible Markup Language）文書、画像データ、テキストデータ、電子文書等の各種データが記憶されている。また、記憶部１２には、各種の設定値、閾値、基準値、規定値、定数、テーブル等が記憶されている。
【００７４】
入出力インターフェース部１３は、通信部１１および記憶部１２とシステム制御部１４との間のインターフェース処理を行うようになっている。
【００７５】
システム制御部１４は、ＣＰＵ１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ等により構成されている。ＣＰＵ１４ａは、プロセッサの一例である。なお、本発明は、ＣＰＵと異なる様々なプロセッサに対しても適用可能である。記憶部１２、ＲＯＭ１４ｂおよびＲＡＭ１４ｃは、それぞれメモリの一例である。なお、本発明は、ハードディスク、ＲＯＭおよびＲＡＭと異なる様々なメモリに対しても適用可能である。
【００７６】
なお、動画配信サーバ装置１０が複数のサーバ装置で構成されてもよい。例えば、コンテンツ提供装置２０から提供されるコンテンツの動画を登録するサーバ装置、動画のコンテンツを配信するサーバ装置、広告提供装置３０から広告を受け付けして保存するサーバ装置、および、データベースを管理するサーバ装置等が互いにＬＡＮ等で接続されてもよい。
【００７７】
次に、動画配信サーバ装置の機能ブロックについて図９を用いて説明する。
【００７８】
図９は、一実施形態に係る動画配信サーバ装置１０の機能ブロックの一例を示す図である。
【００７９】
図９に示すように、動画配信サーバ装置１０は、画像フレーム取得部１０ａと、オブジェクト特定部１０ｂと、オブジェクト情報算出部１０ｃと、オブジェクト選択部１０ｄと、表示情報生成部１０ｅとを含む。
【００８０】
画像フレーム取得部１０ａは、動画を記憶する動画ＤＢ１２ａから取得された動画について当該動画を構成する複数の画像フレームのうち、少なくとも一部の画像フレームを取得する。
【００８１】
オブジェクト特定部１０ｂは、画像フレーム取得部１０ａが取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定する。
【００８２】
オブジェクト情報算出部１０ｃは、オブジェクト特定部１０ｂによって特定されたオブジェクト毎に、複数の画像フレームに出現する当該オブジェクトに関するオブジェクト情報を算出する。
【００８３】
オブジェクト選択部１０ｄは、オブジェクト情報算出部１０ｃによって算出されたオブジェクト情報と、動画に対して付加コンテンツを表示するための付加コンテンツ表示条件と、に基づいてオブジェクト特定部１０ｂによって特定されたオブジェクトの中から付加コンテンツを表示する対象となるオブジェクトを選択する。
【００８４】
表示情報生成部１０ｅは、オブジェクト選択部１０ｄによって選択されたオブジェクトの少なくとも一部を含む領域に付加コンテンツを表示するための表示情報を生成する。
【００８５】
（２．２  コンテンツ提供装置２０の構成および機能）
次に、コンテンツ提供装置２０の構成および機能について、図１０を用いて説明する。
【００８６】
図１０は、コンテンツ提供装置２０の概要構成の一例を示すブロック図である。
【００８７】
図１０に示すように、コンピュータとして機能するコンテンツ提供装置２０は、例えば、パーソナルコンピュータまたはサーバである。コンテンツ提供装置２０は、通信部２１と、記憶部２２と、表示部２３と、操作部２４と、入出力インターフェース部２５と、システム制御部２６とを備えている。そして、システム制御部２６と入出力インターフェース部２５とは、システムバス２７を介して接続されている。なお、コンテンツ提供装置２０は、スマートフォンおよびタブレット等のコンピュータでもよい。
【００８８】
通信部２１は、ネットワーク３を通して、動画配信サーバ装置１０等と通信を制御する。記憶部２２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム等のプログラム等を記憶する。
【００８９】
表示部２３（各コミュニティ用の表示画面の一例）は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。
【００９０】
操作部２４は、例えば、キーボードおよびマウス等によって構成されている。
【００９１】
入出力インターフェース部２５は、通信部２１および記憶部２２とシステム制御部２６とのインターフェースである。
【００９２】
システム制御部２６は、例えば、ＣＰＵ２６ａと、ＲＯＭ２６ｂと、ＲＡＭ２６ｃとを有する。システム制御部２６は、ＣＰＵ２６ａが、ＲＯＭ２６ｂや、ＲＡＭ２６ｃや、記憶部２２に記憶された各種プログラムを読み出して実行する。
【００９３】
（２．３  広告提供装置３０の構成および機能）
次に、広告提供装置３０の構成および機能について、図１１を用いて説明する。
【００９４】
図１１は、広告提供装置３０の概要構成の一例を示すブロック図である。
【００９５】
図１１に示すように、コンピュータとして機能する広告提供装置３０は、例えば、パーソナルコンピュータやスマートフォンを含む携帯型無線電話機やＰＤＡ等の携帯端末である。広告提供装置３０は、通信部３１と、記憶部３２と、表示部３３と、操作部３４と、入出力インターフェース部３５と、システム制御部３６とを備えている。そして、システム制御部３６と入出力インターフェース部３５とは、システムバス４７を介して接続されている。なお、広告提供装置３０の構成および機能は、コンテンツ提供装置２０の構成および機能とほぼ同じであるが、システム制御部３６が、通信部３１を介して、広告の情報として、広告を表示するための広告表示条件、広告データ、提供情報ＵＲＬ等を、動画配信サーバ装置１０に送信する。また、表示部３３には、広告表示条件を入力するための広告表示条件入力画面が表示される。
【００９６】
（２．４  視聴ユーザ端末装置４０の構成および機能）
次に、視聴ユーザ端末装置４０の構成および機能について、図１２を用いて説明する。
【００９７】
図１２は、視聴ユーザ端末装置４０の概要構成の一例を示すブロック図である。
【００９８】
図１２に示すように、視聴ユーザのコンピュータとして機能する視聴ユーザ端末装置４０は、例えば、パーソナルコンピュータやスマートフォンを含む携帯型無線電話機やＰＤＡ等の携帯端末である。視聴ユーザ端末装置４０は、通信部４１と、記憶部４２と、表示部４３と、操作部４４と、入出力インターフェース部４５と、システム制御部４６とを備えている。そして、システム制御部４６と入出力インターフェース部４５とは、システムバス４７を介して接続されている。なお、視聴ユーザ端末装置４０の構成および機能は、コンテンツ提供装置２０の構成および機能とほぼ同じであるが、システム制御部４６が、動画配信サーバ装置１０から、通信部４１を介して、動画のコンテンツおよび付加コンテンツを受信して、表示部４３にこれらのコンテンツを表示させる。
【００９９】
［３．情報処理システムの動作］
次に、本発明の１実施形態に係る情報処理システム１の動作について図を用い説明する。
【０１００】
（３．１  動画登録処理の動作例）
まず、動画配信サーバ装置１０における動画登録処理の動作例について図１３から図１５を用いて説明する。
【０１０１】
図１３は、動画データにおける画像フレームのフレーム番号の一例を示す模式図である。図１４Ａから図１４Ｉは、画像フレームの一例を示す模式図である。図１５は、一実施形態に係る動画配信サーバ装置１０のシステム制御部１４の動画登録処理の一例を示すフローチャートである。
【０１０２】
まず、動画配信サーバ装置１０上で運営されるサイトの動画配信サービスに、配信対象となるコンテンツ（動画）を登録するために、各コンテンツ提供装置２０が、コンテンツ提供者が登録を希望する動画について当該動画のカテゴリＩＤ、タイトル、収録時間、動画データなどを、コンテンツ提供者を識別するためのコンテンツ提供者ＩＤと共に、動画配信サーバ装置１０に送信する。なお、動画配信サービスに、コンテンツ提供者がログインした後に、登録対象となる動画に関する情報を送信する場合には、必ずしも、コンテンツ提供者ＩＤと共に送信しなくてもよい。
【０１０３】
例えば、収録時間１０分の動画で、フレームレートが３０ｆｐｓの画像の場合、動画データは、18,000枚の画像フレームから構成される。図１３に示すように、動画データにおける画像フレームは、フレーム番号順に並んでいる。図１４Ａから図１４Ｉに示すように、各フレーム番号（フレームＩＤ）に画像フレーム５０が対応している。
【０１０４】
ここで、各画像フレームの一例として、図１４Ａから図１４Ｉに示すように、フレーム番号”000,001”、フレーム番号”000,015”、フレーム番号”000,060”、フレーム番号”000,120”、フレーム番号”000,135”、フレーム番号”000,165”、フレーム番号”000,240”、フレーム番号”000,330”、および、フレーム番号”000,360”の画像フレーム５０が挙げられる。
【０１０５】
次に、図１５に示すように、動画配信サーバ装置１０は、動画の情報を取得する（ステップＳ１）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、各コンテンツ提供装置２０から送信された動画の情報を受信する。
【０１０６】
次に、動画配信サーバ装置１０は、取得した動画に動画ＩＤを発行する（ステップＳ２）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、コンテンツ提供装置２０から動画の情報を受信したとき、動画に対して動画ＩＤを生成する。動画ＩＤは、受信順を示す番号や、コンテンツ提供者ＩＤに受信時刻等を組み合わせたＩＤでもよい。なお、動画ＩＤを発行するタイミングは、取得時に限らず、次のステップＳ３における動画ＤＢ１２ａへの取得した動画を登録する時でもよい。
【０１０７】
次に、動画配信サーバ装置１０は、動画の情報と動画ＩＤとを対応付けて動画ＤＢ１２ａに記憶する（ステップＳ３）。具体的には、システム制御部１４が、動画ＩＤに紐付けて、カテゴリＩＤ、タイトル、収録時間、動画データ等を、動画ＤＢ１２ａに記録する。
【０１０８】
動画配信サーバ装置１０は、随時、各コンテンツ提供装置２０から動画の情報を受け付け、受け付けた動画の情報を、動画ＩＤと共に、動画ＤＢ１２ａに登録する。なお、動画配信サーバ装置１０は、コンテンツ提供装置２０から動画の情報を受信して、ある程度一時的に蓄積しておいて、所定のタイミングで、動画の情報を動画ＤＢ１２ａに登録してもよい。
【０１０９】
（３．２  広告登録処理の動作例）
動画配信サーバ装置１０における広告登録処理の動作例について図１６を用いて説明する。
【０１１０】
図１６は、一実施形態に係る動画配信サーバ装置１０のシステム制御部１４の広告登録処理の一例を示すフローチャートである。
【０１１１】
まず、動画配信サーバ装置１０上で運営されるサイトに、広告提供者が動画とともに表示を希望する広告を登録するために、各広告提供装置３０が、広告の情報として、広告を表示するための広告表示条件、広告データ、提供情報ＵＲＬ等を、広告提供者ＩＤと共に、動画配信サーバ装置１０に送信する。
【０１１２】
広告表示条件は、例えば、広告提供装置３０の表示部３３上において、広告表示条件入力画面にから、入力される。
【０１１３】
次に、図１６に示すように、動画配信サーバ装置１０は、広告の情報を取得する（ステップＳ４）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、各広告提供装置３０から送信された広告の情報として、広告表示条件、広告データ、提供情報ＵＲＬ、広告提供者ＩＤ等を受信する。
【０１１４】
次に、動画配信サーバ装置１０は、取得した広告に広告ＩＤを発行する（ステップＳ５）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、広告提供装置３０から広告を受信したとき、広告に対して広告ＩＤを生成する。広告ＩＤは、受信順を示す番号や、広告提供者ＩＤに受信時刻等を組み合わせたＩＤでもよい。
【０１１５】
次に、動画配信サーバ装置１０は、少なくとも広告表示条件を含む広告の情報と広告ＩＤとを対応付けて動画ＤＢに記憶する（ステップＳ６）。具体的には、システム制御部１４が、広告ＩＤに紐付けて、広告表示条件、広告データ、提供情報ＵＲＬ等を、広告ＤＢ１２ｂに記録する。
【０１１６】
なお、動画配信サーバ装置１０は、随時、各広告提供装置３０から広告を受け付け、受け付けた広告の情報を、広告ＩＤと共に、広告ＤＢ１２ｂに登録する。
【０１１７】
（３．３  オブジェクト特定処理の動作例）
動画配信サーバ装置１０におけるオブジェクト特定処理の動作例について図１７から図１９を用いて説明する。
【０１１８】
図１７は、一実施形態に係る動画配信サーバ装置のシステム制御部のオブジェクト特定処理の一例を示すフローチャートである。図１８Ａから図１８Ｄは、画像フレームの特徴点画像の一例を示す模式図である。図１９Ａから図１９Ｄは、画像フレームにおけるオブジェクト表示領域の一例を示す模式図である。
【０１１９】
図１７に示すように、動画配信サーバ装置１０は、動画ＤＢ１２ａに記憶されている複数の動画のうち１つの動画を取得する（ステップＳ１０）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、オブジェクト特定処理が未だ行われていない動画の動画ＩＤにより、動画ＤＢ１２ａを参照して、動画ＩＤに対応する１つの動画の動画データを読み出す。システム制御部１４が、動画ＤＢ１２ａから読み出した動画データを、作業用に一時的に、ＲＡＭ１４ｃまたは記憶部１２に保存してもよい。
【０１２０】
次に、動画配信サーバ装置１０は、取得した動画に含まれる複数の画像フレームのうち、少なくとも１つの画像フレームを取得する（ステップＳ１１）。具体的には、システム制御部１４が、例えば、処理対象のフレームＩＤに対応する画像フレームを抽出する。
【０１２１】
次に、動画配信サーバ装置１０は、取得した画像フレームから当該画像フレームに含まれるオブジェクトを抽出し、特定する（ステップＳ１２）。具体的には、システム制御部１４が、画像フレーム内の各オブジェクトを、例えば、背景差分法、微分処理等によるエッジの抽出、ＳＩＦＴ（Scale-invariant feature transform）、または、ＨｏＧ（Histogram of Oriented  Gradients）等の手法により抽出し、特定する。なお、パーティクルフィルタ法により、オブジェクトを追跡し、パーティクルにより、オブジェクトを特定してもよい。
【０１２２】
ステップＳ１２の処理により、画像フレーム５０の中に写っている建造物、看板、移動体（車両、自転車、人物、動物等）、樹木、衣服等の各オブジェクトが特定され、各オブジェクトにオブジェクトＩＤが割り当てられる。
【０１２３】
なお、画像フレーム５０上で、エッジ検出等により、図１８Ａから図１８Ｄのいずれか１つに示すように、エッジ等の特徴点画像５１が得られ、オブジェクトが抽出される。
【０１２４】
システム制御部１４が、特徴点画像５１に基づき、オブジェクトを特定する。例えば、システム制御部１４が、図１８Ａのフレーム番号”000,001”の特徴点画像５１のエッジ群ｅｄ１、ｅｄ２、ｅｄ３、ｅｄ４、ｅｄ５、ｅｄ６に基づき、図１４Ａに示すように、フレーム番号”000,001”の画像フレーム５０から建物の看板のオブジェクトｏｂ１、建物のオブジェクトｏｂ２、立て看板のオブジェクトｏｂ３、鳥のオブジェクトｏｂ４、樹木のオブジェクトｏｂ５、車両のオブジェクトｏｂ６を抽出し、各オブジェクトにオブジェクトＩＤを割り当て、オブジェクトを特定する。
【０１２５】
なお、フレーム番号が所定範囲以内の他の画像フレームに含まれるオブジェクトとの比較に基づいて、当該他の画像フレームに含まれるオブジェクトと同じオブジェクトであると判定された場合に、当該他の画像フレームに含まれるオブジェクトに付与されたオブジェクトＩＤと同じオブジェクトＩＤを割り当ててもよい。
【０１２６】
例えば、図１４Ａのオブジェクトｏｂ１、ｏｂ２、ｏｂ３、ｏｂ４、ｏｂ５、ｏｂ６と、図１４Ｂのオブジェクトｏｂ１、ｏｂ２、ｏｂ３、ｏｂ４、ｏｂ５、ｏｂ６とは、各々同じオブジェクトＩＤが割り当てられる。
【０１２７】
また、図１４Ｅに示すように、オブジェクトｏｂ３と、図１４Ｆに示すように、オブジェクトｏｂ１３とが、オブジェクト追跡や、オブジェクトの形状の類似性等により、同じオブジェクトと判定された場合、同じオブジェクトＩＤが割り当てられるようにしてもよい。また、図１４Ｅに示すように、オブジェクトｏｂ６と、図１４Ｆに示すように、オブジェクトｏｂ１６とが、オブジェクト追跡や、オブジェクトの形状の類似性等により、同じオブジェクトと判定された場合、同じオブジェクトＩＤが割り当てられるようにしてもよい。
【０１２８】
これらのように、動画配信サーバ装置１０が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを特定するオブジェクト特定手段の一例として機能する。なお、動画配信サーバ装置１０が、前記取得した画像フレーム毎に当該画像フレーム内に表示されている複数のオブジェクトを特定してもよい。また、オブジェクトが小さすぎる、不鮮明、形状が不明瞭等、オブジェクトが特定できない場合、動画配信サーバ装置１０は、オブジェクトを特定してなくてもよい。また、動画配信サーバ装置１０が、所与の上限数を限度としてオブジェクトを特定してもよい。例えば、動画配信サーバ装置１０が、画像フレームにおける表示面積が大きいオブジェクトを、優先して特定してもよい。
【０１２９】
次に、動画配信サーバ装置１０は、特定されたオブジェクトを含むオブジェクト表示領域を特定する（ステップＳ１３）。具体的には、システム制御部１４が、抽出したエッジ等の特徴点に従って、オブジェクトが表示されている領域に対応するオブジェクト表示領域を設定する。
【０１３０】
例えば、図１８Ａおよび図１９Ａに示すように、システム制御部１４が、オブジェクトｏｂ１の輪郭、すなわち、オブジェクトｏｂ１のエッジ群ｅｄ１を外縁とするオブジェクト表示領域ａｒ１を特定し、オブジェクトｏｂ２の輪郭、すなわち、オブジェクトｏｂ２のエッジ群ｅｄ２を外縁とするオブジェクト表示領域ａｒ２を特定する。
【０１３１】
また、図１８Ａおよび図１９Ａに示すように、システム制御部１４が、オブジェクトｏｂ３のエッジ群ｅｄ３を構成する少なくとも一部が所定の形状（例えば、矩形）に対応する場合に、当該部分を含む範囲にオブジェクト表示領域ａｒ３を設定してもよい。例えば、システム制御部１４が、図１８Ａ等のエッジ画像に対して、矩形の枠が適合するところを探索して、オブジェクト表示領域を設定する。
【０１３２】
また、図１８Ａおよび図１９Ａに示すように、オブジェクト表示領域は、オブジェクトｏｂ４全てを含むようなオブジェクト表示領域ａｒ４でもよい。上記所定の形状は、円形、楕円形、または、矩形等の多角形であってもよい。また、オブジェクト表示領域ａｒ４は、オブジェクトｏｂ４に内接又は外接するように決められてもよい。
【０１３３】
また、図１８Ａおよび図１９Ａに示すように、オブジェクトｏｂ５のエッジ群ｅｄ５を構成する少なくとも一部に内接する、所定の形状をオブジェクト表示領域ａｒ５としてもよい。
【０１３４】
また、図１８Ａおよび図１９Ａに示すように、オブジェクトｏｂ６のエッジ群ｅｄ６を構成する少なくとも一部を含む所定の形状をオブジェクト表示領域ａｒ６としてもよい。
【０１３５】
また、動画におけるオブジェクトの大きさが、カメラのズーム機能によりカメラの視点に対する遠近により変化したり、図１９Ｂまたは図１９Ｃに示すように、他のオブジェクトに隠れて、オブジェクトの形状が変わったり、オブジェクト自体の形状が変化したりする場合、システム制御部１４が、オブジェクトの変化に合わせて、オブジェクト表示領域ａｒ６の形状が変化するようにオブジェクト表示領域を設定してもよい。
【０１３６】
具体的には、時間的に近い画像フレーム間におけるオブジェクト間で、システム制御部１４が、例えば、オブジェクトの位置、色、形状、大きさ等のオブジェクトのパラメータにおいて、各パラメータが、所定の範囲内のオブジェクト同士を、同一のオブジェクトであると判定する。オブジェクトの大きさに関して所定の範囲に収まって、変化して行くオブジェクトが、同一のオブジェクトと判定される。オブジェクトの形状に関して所定範囲に収まって、変化して行くオブジェクトが、同一のオブジェクトと判定される（例えば、オブジェクトの中心を基準にして、１のオブジェクトの輪郭の座標と、他のオブジェクトの輪郭の座標と距離の最小値が、所定範囲内の場合）。なお、システム制御部１４が、各パラメータに対して重みづけをしてもよい。システム制御部１４が、所定の範囲を、フレーム間の時間差によって変えてもよい。
【０１３７】
図１９Ａから図１９Ｄに示すように、オブジェクト表示領域が矩形の場合、オブジェクト表示領域ａｒ６およびオブジェクト表示領域ａｒ１６のように、アスペクト比が変化する。
【０１３８】
また、図１４Ｅから図１４Ｆに示すように、画像を撮像しているカメラのズーム（倍率）の変化により、オブジェクトの大きさが変化する場合、図１９Ｂから図１９Ｃに示すように、システム制御部１４が、オブジェクトの変化に合わせて、オブジェクト表示領域の大きさを変えてもよい。なお、システム制御部１４が、オブジェクト表示領域ａｒ３とオブジェクト表示領域ａｒ１３とが同じオブジェクト表示領域であると判定してもよいし、別々のオブジェクト表示領域であると判定してもよい。
【０１３９】
また、オブジェクト表示領域同士が重なってもよい。例えば、図１９Ｃに示すように、オブジェクト表示領域ａｒ１２とオブジェクト表示領域ａｒ１６とが重なってもよい。
【０１４０】
また、オブジェクト表示領域同士が重ならないようにしてもよい。例えば、図１９Ｄに示すように、オブジェクト表示領域ａｒ１２とオブジェクト表示領域ａｒ１６とが重ならないように、システム制御部１４が、各オブジェクト表示領域を設定する。
【０１４１】
なお、オブジェクト表示領域が設定される範囲は、図１９Ｅに示すように、例えば、エッジ群ｅｄ３から、オブジェクト表示領域ａｒ３の代わりに、オブジェクト表示領域ａｒ２３のように、エッジ群ｅｄ３の突出した部を含まないようにしてもよいし、オブジェクト表示領域ａｒ３３のように、エッジ群ｅｄ３を完全に含むようにしてもよい。
【０１４２】
システム制御部１４が、エッジ群ｅｄ３に囲まれた長方形の部分（オブジェクト表示領域ａｒ３）を、更に異なるオブジェクトとして特定してもよい。また、システム制御部１４が、オブジェクト表示領域ａｒ２３やオブジェクト表示領域ａｒ３３を、更に異なるオブジェクトとして特定してもよい。
【０１４３】
システム制御部１４が、図１９Ｆに示すように、オブジェクトｏｂ６の一部における広告をはめ込み易い部分にオブジェクト表示領域ａｒ０６を設定してもよい。例えば、システム制御部１４が、オブジェクトｏｂ６の特徴点画像に基づき、オブジェクトｏｂ６内部を探索して、矩形が最も適合し易い部分に、オブジェクト表示領域ａｒ０６を設定する。具体的には、システム制御部１４が、所定の大きさの矩形の枠を、オブジェクトｏｂ６の近傍でスキャンさせて、エッジ群との最大の重なり度を求め、さらに、矩形の枠の大きさを少し増やしてスキャンさせ、エッジ群との最大の重なり度を求める。システム制御部１４が、最大の重なり度が、ある程度下り始めたとき矩形の枠スキャンを止める。システム制御部１４が、最大の重なり度のうちの最大値となった矩形の枠の大きさで、かつ、この最大値となった、矩形の枠の位置を、オブジェクト表示領域とする。
【０１４４】
システム制御部１４が、図１９Ｆに示すように、オブジェクトｏｂ６の外縁を輪郭とする輪郭の内部にオブジェクト表示領域ａｒ２６を設定してもよい。この場合、オブジェクト自体がオブジェクト表示領域になる。
【０１４５】
次に、動画配信サーバ装置１０は、オブジェクト表示領域に関する情報を算出する（ステップＳ１４）。すなわち、動画配信サーバ装置１０は、オブジェクト表示領域が設定された後、オブジェクト表示領域に含まれる位置の座標や面積等のオブジェクト表示領域に関する情報を算出することにより、画像フレーム５０毎のオブジェクトの情報であるフレーム・オブジェクト情報を算出する。
【０１４６】
ここで、フレーム・オブジェクト情報の一例として、オブジェクト表示領域の基準になる座標（ｘｙ座標）、例えば、オブジェクト表示領域が矩形の場合は、矩形の四隅のいずれかの座標や、矩形の中心の座標や重心の座標などがあり、オブジェクト表示領域が例えば楕円形などの円形状の場合は、円形状の中心の座標や重心の座標などがあり、また何れの形状の場合もオブジェクト表示領域の中心／重心付近の画素の座標、中心部分の画素の座標等が挙げられる。
【０１４７】
また、フレーム・オブジェクト情報の一例として、オブジェクト表示領域の面積、形状、オブジェクト表示領域の輪郭の画素の座標、オブジェクト表示領域に含まれる画素の全ての座標、または、複数の画素の座標等が挙げられる。
【０１４８】
また、フレーム・オブジェクト情報は、オブジェクト表示領域の形状が矩形の場合、アスペクト比、縦の長さおよび横の長さ、楕円の場合、長軸および短軸の比、長軸の長さおよび短軸の長さでもよい。
【０１４９】
また、フレーム・オブジェクト情報は、オブジェクト表示領域内の画素の色を含んでもよい。
【０１５０】
また、フレーム・オブジェクト情報は、オブジェクト表示領域の外縁が、オブジェクトの輪郭である場合、すなわち、オブジェクト表示領域は、オブジェクト自体の領域でもよい。
【０１５１】
なお、ステップＳ１２とステップＳ１３の処理は、一緒に行ってもよい。すなわち、システム制御部１４が、ステップＳ１２で抽出されたオブジェクト自体を、オブジェクト表示領域にしてもよい。
【０１５２】
なお、動画配信サーバ装置１０は、ステップＳ１２の処理からステップＳ１４の処理を一度に処理してもよい。例えば、システム制御部１４が、ステップＳ１２において、オブジェクトを抽出して特定した際の、オブジェクトの位置情報等を、オブジェクト表示領域の情報、すなわち、オブジェクト情報としてもよい。
【０１５３】
これらのように、動画配信サーバ装置１０が、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段の一例として機能する。
【０１５４】
次に、動画配信サーバ装置１０は、動画ＩＤと、画像フレームを識別するフレームＩＤと、オブジェクト表示領域の情報と、オブジェクトを識別するオブジェクトＩＤと、を対応付けて記憶する（ステップＳ１５）。具体的には、システム制御部１４が、動画ＩＤと、フレームＩＤと、各オブジェクト表示領域の情報（フレーム・オブジェクト情報）と、オブジェクトＩＤと、を対応付けて、フレーム・オブジェクト情報ＤＢ１２ｃに記憶する。
【０１５５】
なお、システム制御部１４が、動画ＩＤと、フレームＩＤと、各オブジェクト表示領域の情報（フレーム・オブジェクト情報）と、オブジェクトＩＤと、を対応付けて、一時的に、ＲＡＭ１４ｃ等のキャッシュメモリに記憶してもよい。
【０１５６】
次に、動画配信サーバ装置１０は、全ての画像フレームに対して処理を行ったか否かを判定する（ステップＳ１６）。例えば、動画を先頭の画像フレームから順に処理する場合、システム制御部１４が、フレームＩＤであるフレーム番号が、動画の最後のフレーム番号が否かを判定する。なお、動画配信サーバ装置１０は、一部（例えば、半分）の画像フレームに対して処理を行ったか否かを判定してもよい。
【０１５７】
全ての画像フレームに対して処理を行っていない場合（ステップＳ１６；ＮＯ）、動画配信サーバ装置１０は、ステップＳ１１の処理に戻り、次の画像フレーム５０を取得する。
【０１５８】
このように、動画配信サーバ装置１０が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段の一例として機能する。
【０１５９】
全ての画像フレームに対して処理を行った場合（ステップＳ１６；ＹＥＳ）、動画配信サーバ装置１０は、オブジェクト特定処理を終了する。
【０１６０】
次に、動画配信サーバ装置１０は、他の動画の動画ＩＤに基づき、ステップＳ１０からステップＳ１６の処理を行い、フレーム・オブジェクト情報ＤＢ１２ｃを構築していく。
【０１６１】
（３．４  制御情報生成処理の動作例）
次に、動画配信サーバ装置１０における制御情報生成処理の動作例について図２０から図２２を用いて説明する。
【０１６２】
図２０は、一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報生成処理の一例を示すフローチャートである。図２１Ａから図２１Ｆは、広告が付加された画像フレームの一例を示す模式図である。図２２Ａから図２２Ｄは、一部がマスクされた画像フレームの一例を示す模式図である。
【０１６３】
まず、動画配信サーバ装置１０は、制御情報生成処理が終わっていない動画の動画ＩＤを抽出する。
【０１６４】
図２０に示すように、動画配信サーバ装置１０は、フレーム・オブジェクト情報ＤＢ１２ｃを参照し、動画ＩＤが一致し、かつ、フレームＩＤが異なる画像フレームのオブジェクト表示領域の情報と、オブジェクトを識別するオブジェクトＩＤと、に基づいて、オブジェクト毎のオブジェクト情報を算出する（ステップＳ２０）。
【０１６５】
具体的には、システム制御部１４が、フレーム・オブジェクト情報ＤＢ１２ｃから、同じ動画ＩＤに対して、フレーム番号（フレームＩＤ）順に検索して、オブジェクトＩＤ毎にフレーム・オブジェクト情報を集計して、集計したオブジェクト情報を算出する。
【０１６６】
ここで、集計の仕方として、システム制御部１４が、例えば、フレーム番号順に、オブジェクトＩＤ毎に、オブジェクト情報の一例である出現数（表示回数：表示フレーム数）を加算する。例えば、図１４Ａに示すように、システム制御部１４が、オブジェクトｏｂ１、オブジェクトｏｂ２、オブジェクトｏｂ３、オブジェクトｏｂ４、オブジェクトｏｂ５、および、オブジェクトｏｂ６に対して、出現数を各々１つカウントする。また、図１４Ｃに示すように、フレーム番号”000,060”では、鳥のオブジェクトｏｂ４が存在しないので、システム制御部１４が、看板のオブジェクトｏｂ１、オブジェクトｏｂ２、オブジェクトｏｂ３、オブジェクトｏｂ５、および、オブジェクトｏｂ６に対して、各々１つカウントする。
【０１６７】
なお、図１４Ｆに示すように、システム制御部１４が、オブジェクトｏｂ１２、オブジェクトｏｂ１３、および、オブジェクトｏｂ１６に対して、出現数を各々加算するが、オブジェクトｏｂ１３とオブジェクトｏｂ３とを同じオブジェクトと判定する場合（例えば、同じオブジェクトＩＤが設定されている場合）、システム制御部１４が、同じオブジェクトｏｂ３として、出現数を加算する。なお、同じオブジェクトと判定する方法は、時間的に近い画像フレーム間におけるオブジェクト間で、システム制御部１４が、例えば、オブジェクトの位置、色、形状、大きさ等のオブジェクトのパラメータにおいて、各パラメータが、所定の範囲内のオブジェクト同士を、同一のオブジェクトであると判定する。そして、システム制御部１４が、同一のオブジェクト同士で、出現数を加算する。
【０１６８】
システム制御部１４が、全てまたは一部の画像フレームに対して処理を行い、オブジェクト毎の合計の出現数（オブジェクト情報に含まれる積算表示量の一例）を算出する。なお、積算表示量の一例として合計表示時間（＝合計の出現数／フレームレートが算出されてもよい。
【０１６９】
また、システム制御部１４が、連続する画像フレームにおいて、出現したオブジェクトの連続出現数（積算表示量の一例）を算出してもよい。例えば、システム制御部１４が、フレーム番号順に出現数をカウントしていき、ある画像フレームで、あるオブジェクトが出現していなかった場合、加算されてきたカウント値を記録して、カウンターをリセットして、再度オブジェクトが出現してきたら、ゼロから加算し直す。
【０１７０】
また、システム制御部１４が、記録しておいたカウント値において、最大および最小連続出現数（連続出現数／フレームレート＝連続表示時間）を算出する。また、連続出現数は、記録しておいたカウント値の平均でもよい。
【０１７１】
システム制御部１４が、全てまたは一部のフレーム番号に対して合計したら、フレーム数で割って、出現割合を算出する。例えば、出現割合が、オブジェクトｏｂ１の8000/18000、オブジェクトｏｂ２の4000/18000、オブジェクトｏｂ３の10000/18000、オブジェクトｏｂ４の35/18000、オブジェクトｏｂ５の100/18000、オブジェクトｏｂ６の9000/18000等になる。
【０１７２】
また、集計の仕方として、システム制御部１４が、フレーム番号順に、オブジェクトＩＤ毎に、各オブジェクトの大きさ（面積）を加算してもよい。図１９Ａに示すように、システム制御部１４が、フレーム番号”000,000”では、オブジェクトｏｂ１のオブジェクト表示領域ａｒ１の面積、オブジェクトｏｂ２のオブジェクト表示領域ａｒ２の面積、オブジェクトｏｂ３のオブジェクト表示領域ａｒ３の面積、オブジェクトｏｂ４のオブジェクト表示領域ａｒ４の面積、オブジェクトｏｂ５のオブジェクト表示領域ａｒ５の面積、および、オブジェクトｏｂ６のオブジェクト表示領域ａｒ６の面積、をオブジェクトＩＤ毎に加算する。図１９Ｂに示すように、システム制御部１４が、フレーム番号”000,135”では、オブジェクトｏｂ１のオブジェクト表示領域ａｒ１の面積、オブジェクトｏｂ２のオブジェクト表示領域ａｒ２の面積、オブジェクトｏｂ３のオブジェクト表示領域ａｒ３の面積、オブジェクトｏｂ５のオブジェクト表示領域ａｒ５の面積、および、オブジェクトｏｂ６のオブジェクト表示領域ａｒ６の面積、をオブジェクトＩＤ毎に加算する。
【０１７３】
システム制御部１４が、全てまたは一部のフレーム番号に対して、オブジェクト毎に、オブジェクト表示領域の面積を合計して、積算表示面積（積算表示量の一例）を算出する。なお、システム制御部１４が、積算表示面積を、全てまたは一部のフレーム数で割った平均表示面積（積算表示量の一例）を算出してもよい。また、システム制御部１４が、オブジェクト毎の最大および最小の表示面積を算出してもよい。
【０１７４】
また、システム制御部１４が、連続する画像フレームにおいて、出現したオブジェクトの連続表示面積（積算表示量の一例）を、連続出現数を算出したように、算出してもよい。例えば、システム制御部１４が、フレーム番号順に表示面積を積算していき、ある画像フレームで、あるオブジェクトが出現していなかった場合、積算されてきた表示面積の積算値を記録して、積算値をリセットして、再度オブジェクトが出現してきたら、ゼロから積算し直す。
【０１７５】
集計される期間が、動画全体でなく、所定の区切り毎に、システム制御部１４が、フレーム・オブジェクト情報を集計してもよい。例えば、システム制御部１４が、チャプター情報や、画像が切り替わる時点等で、区切ってフレーム・オブジェクト情報を集計し、集計オブジェクト情報を算出する。
【０１７６】
また、システム制御部１４が、積算表示量の一例として、複数のオブジェクトをグルーピングして、グループ毎のオブジェクト情報を算出してもよい。例えば、システム制御部１４が、各オブジェクトの形状等が同一または類似するか否かを判定して、形状等が同一または類似するオブジェクト同士に同じグループＩＤを割り当てる。そして、システム制御部１４が、グループ単位の出現回数（グループに属するオブジェクトが少なくとも１つ出現したらカウントする、少なくとも所定数以上出現したらカウントする等）、グループ単位の表示面積（グループに属するオブジェクトのオブジェクト表示領域の面積を足し合わせる）等のグループ単位の積算表示量を算出する。
【０１７７】
なお、各オブジェクトが同一または類似するか否かを判定方法は、時間的に近い画像フレーム間におけるオブジェクト間で、システム制御部１４が、例えば、オブジェクトの位置、色、形状、大きさ等のオブジェクトのパラメータにおいて、各パラメータが、所定の範囲内のオブジェクト同士を、同一または類似するオブジェクトであると判定する。そして、システム制御部１４が、同一または類似するオブジェクト同士をグルーピングする。
【０１７８】
なお、システム制御部１４が、色が同一または類似する類似するオブジェクト同士のグループ毎に、グループ単位の積算表示量を算出してもよい。また、システム制御部１４が、ビルや看板や樹木等の静止物、車両、人、動物等の移動体と言ったオブジェクトが属するカテゴリ毎でグルーピングを行い、グループ単位の積算表示量を算出してもよい。
【０１７９】
これらのように、動画配信サーバ装置１０が、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段の一例として機能する。
【０１８０】
次に、システム制御部１４が、集計されたオブジェクト情報を、動画ＩＤおよびオブジェクトＩＤに関連付けて、集計オブジェクト情報ＤＢ１２ｄに記憶する。また、システム制御部１４が、集計された期間のフレーム番号、オブジェクトが最大の表示面積を示したフレーム番号、オブジェクトが最小の表示面積を示したフレーム番号等のフレーム番号またはフレームＩＤも、オブジェクト情報と共に、集計オブジェクト情報ＤＢ１２ｄに記憶してもよい。また、システム制御部１４が、オブジェクトの形状や、矩形の場合のアスペクト比、楕円形の場合の長軸短軸の比も、オブジェクト情報と共に、集計オブジェクト情報ＤＢ１２ｄに記憶してもよい。また、システム制御部１４が、動画におけるオブジェクトの最頻出の出現位置の座標、平均の出現位置の座標のオブジェクトの座標情報も、オブジェクト情報と共に、集計オブジェクト情報ＤＢ１２ｄに記憶してもよい。
【０１８１】
次に、動画配信サーバ装置１０は、オブジェクト毎のオブジェクト情報と、表示する広告の広告主が設定した広告表示条件と、に基づいて、広告を表示するオブジェクトを選択する（ステップＳ２１）。具体的には、システム制御部１４が、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、広告表示条件とオブジェクト情報とを照合してオブジェクトを抽出する。
【０１８２】
例えば、広告”ＡＤ−ａ１”の広告表示条件が、広告の形状が矩形で、表示時間が３秒以上で、表示面積が所定値以上で、画面上の動くオブジェクトに表示したいという場合、図２１Ａから図２１Ｆに示すように、オブジェクトｏｂ６が該当する。システム制御部１４が、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、オブジェクトｏｂ６を選択する。
【０１８３】
例えば、広告”ＡＤ−ｂ１”の広告表示条件が、動画の前半の４秒以内で、広告の形状が矩形で、画像フレームの上部である場合、図２１Ａから図２１Ｆに示すように、オブジェクトｏｂ１が該当する。
【０１８４】
例えば、広告”ＡＤ−ｄ１”の広告表示条件が、広告の形状のアスペクト比が横に細長く（例えば、アスペクト比５：１のような棒形状）、画面の下側で、１０秒以上という場合、図２１Ａから図２１Ｆに示すように、オブジェクトｏｂ３、ｏｂ１３（図１４Ａから図１４Ｅのオブジェクトｏｂ３、図１４Ｆから図１４Ｉのオブジェクトｏｂ１３）において、オブジェクト表示領域ａｒ３、ａｒ１３（図１９Ａおよび図１９Ｂのオブジェクト表示領域ａｒ３、図１９Ｃおよび図１９Ｄのオブジェクト表示領域ａｒ１３）の下側が該当する。
【０１８５】
なお、広告を表示させるオブジェクトが選択されたら、システム制御部１４が、広告を表示させる各画像フレームにおいて、広告を付加するオブジェクトのオブジェクト表示領域と、基準の広告のサイズとの比（拡大率または縮小率）を、算出して、フレーム・オブジェクト情報ＤＢ１２ｃ、または、集計オブジェクト情報ＤＢ１２ｄ等に記憶してもよい。
【０１８６】
また、システム制御部１４が、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、各オブジェクトの出現数のうち、出現数が相対的に多い（出現数の順位が上位から所定数個の）オブジェクトを選択してもよい。この場合、システム制御部１４が、広告表示条件に基づいて、オブジェクトを選択してもよいし、広告表示条件に基づかないでオブジェクト情報のみで、オブジェクトを選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、出現数が相対的に多いオブジェクトのうち、広告表示条件を満たすオブジェクトを選択する。
【０１８７】
また、システム制御部１４が、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、各オブジェクトの平均表示面積のうち、平均表示面積が相対的に大きい（平均表示面積の順位が上位から所定数個の）オブジェクトを選択してもよい。この場合、システム制御部１４が、広告表示条件に基づいて、オブジェクトを選択してもよいし、広告表示条件に基づかないでオブジェクト情報のみで、オブジェクトを選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、平均表示面積が相対的に大きいオブジェクトのうち、広告表示条件を満たすオブジェクトを選択する。
【０１８８】
また、システム制御部１４が、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、各オブジェクトの積算表示数のうち、積算表示数が相対的に多い（積算表示数の順位が上位から所定数個の）オブジェクトを選択してもよい。この場合、システム制御部１４が、広告表示条件に基づいて、オブジェクトを選択してもよいし、広告表示条件に基づかないでオブジェクト情報のみで、オブジェクトを選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、積算表示数が相対的に多いオブジェクトのうち、広告表示条件を満たすオブジェクトを選択する。
【０１８９】
また、システム制御部１４が、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、各オブジェクトの連続出現数のうち、連続出現数が相対的に多い（連続出現数の順位が上位から所定数個の）オブジェクトを選択してもよい。この場合、システム制御部１４が、広告表示条件に基づいて、オブジェクトを選択してもよいし、広告表示条件に基づかないでオブジェクト情報のみで、オブジェクトを選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、連続出現数が相対的に多いオブジェクトのうち、広告表示条件を満たすオブジェクトを選択する。
【０１９０】
また、システム制御部１４が、画像フレーム間におけるオブジェクト（またはオブジェクト表示領域）の差分データ量が、所定の閾値より大きい場合のオブジェクトを選択してもよい。システム制御部１４が、所定の閾値を、各オブジェクトの差分データ量により設定する。例えば、システム制御部１４が、ステップＳ２０において、各オブジェクトを別々に単一色で塗りつぶした場合における動画の圧縮率（または、動画のエンコード時のデータの減少量）を、オブジェクト毎のオブジェクト情報として算出する。そして、システム制御部１４が、ステップＳ２１において、オブジェクト毎の圧縮率を比較して、圧縮率が相対的に高い（圧縮率が最も高く圧縮されるオブジェクトから所定順位の）オブジェクトを選択してもよい。
【０１９１】
この場合、システム制御部１４が、広告表示条件に基づいて、オブジェクトを選択してもよいし、広告表示条件に基づかないでオブジェクト情報のみで、オブジェクトを選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、所定の閾値より大きい場合のオブジェクトをオブジェクトのうち、広告表示条件を満たすオブジェクトを選択する。
【０１９２】
ここで、配信のために、システム制御部１４が、所定の符号化方式により、動画のコンテンツを配信用の動画データに変換して圧縮する。動画の符号化方式は、フレーム間の差分を利用した符号化方式があり、圧縮率を高めるために、フレーム間予測が用いられる。システム制御部１４が、所定の画像フレームに対して、前の画像フレームおよび後の画像フレームの少なくとも１つの画像フレームからの予測画像フレームとの差分を利用して符号化する。さらに、画像フレーム間でのオブジェクト等の動きを補償する動き補償を行うためにシステム制御部１４が、動きベクトルも求め、動きベクトルを符号化する。１つの画像フレームと予測画像フレームとの差分情報や、動きベクトルの情報等が、差分データの一例である。
【０１９３】
このように、差分データ量が、所定の閾値より大きい場合のオブジェクトが選択され、選択されたオブジェクトが単一色で塗りつぶされた場合、情報量の多いオブジェクトが消されたことになり、動画の符号化方式による圧縮率が高くなり、データ量が減少する。
【０１９４】
なお、システム制御部１４が、これら出現数、平均表示面積、積算表示量、連続出現数、差分データ量の少なくとも２つを組み合わせて、オブジェクトを選択してもよい。
【０１９５】
また、システム制御部１４が、広告表示条件である、広告の表示時間、広告の表示面積、広告の形状等の少なくとも２つを組み合わせて、オブジェクトを選択してもよい。さらに、システム制御部１４が、出現数、平均表示面積、積算表示量、連続出現数、差分データ量、広告の表示時間、広告の表示面積、広告の形状等の少なくとも２つを組み合わせて、オブジェクトを選択してもよい。
【０１９６】
これらオブジェクト情報および広告表示条件を組み合わせることにより、広告提供者の様々なニーズにあったオブジェクトを的確に選択できる。
【０１９７】
これらのように、動画配信サーバ装置１０が、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段の一例として機能する。また、動画配信サーバ装置１０が、前記積算表示量に応じて、前記付加コンテンツを表示するためのオブジェクトを選択するオブジェクト選択手段の一例として機能する。また、動画配信サーバ装置１０が、前記連続表示数に応じて、前記付加コンテンツを表示するためのオブジェクトを選択するオブジェクト選択手段の一例として機能する。
【０１９８】
次に、動画配信サーバ装置１０は、選択したオブジェクトに対応するように、広告を表示するための制御情報を生成する（ステップＳ２２）。具体的には、システム制御部１４が、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、選択したオブジェクトのオブジェクトＩＤに基づき、広告を表示する各フレームＩＤと、これらの画像フレームにおけるオブジェクトの座標情報を取得して、各フレームＩＤと、これらのフレームＩＤに対応する座標情報とを含む制御情報を生成する。例えば、図２１Ａから図２１Ｆに示すように、画像フレーム５２から構成される動画が再生されるように、システム制御部１４が、制御情報を生成する。
【０１９９】
この制御情報は、動画の再生時に、動画に出現するオブジェクトに重畳して広告を表示させるための情報である。この広告が重畳して表示される領域が、選択されたオブジェクトのオブジェクト情報に従った領域の一例である広告表示領域（付加コンテンツが広告の場合の付加コンテンツ表示領域）である。
【０２００】
広告表示領域は、選択されたオブジェクトまたはオブジェクト表示領域の少なくとも一部を含んでいる。例えば、システム制御部１４が、広告表示領域ａｄ−ａｒ１を、図２１Ａから図２１Ｃに示すように、オブジェクト表示領域（図１９Ａおよび図１９Ｂのａｒ１）と一致するように設定してもよい。また、システム制御部１４が、広告表示領域ａｄ−ａｒ２を、図２１Ａから図２１Ｃに示すように、オブジェクト情報の一例であるエッジ群（図１８Ａおよび図１８Ｂのｅｄ２）の一部に適合するように、オブジェクト表示領域（ａｒ２）の内部に設定してもよい。また、システム制御部１４が、広告表示領域ａｄ−ａｒ３を、図２１Ａから図２１Ｃに示すように、オブジェクト情報の一例であるエッジ群（ｅｄ３）の一部に適合し、広告条件を満たす大きさで、オブジェクト表示領域（ａｒ３）の内部に設定してもよい。
【０２０１】
また、システム制御部１４が、広告表示領域ａｄ−ａｒ５を、図２１Ａに示すように、オブジェクト情報の一例であるエッジ群（ｅｄ５）に内接するように、オブジェクト表示領域（ａｒ５）の内部に設定してもよい。また、システム制御部１４が、広告表示領域ａｄ−ａｒ５を、図２１Ｂおよび図２１Ｃに示すように、オブジェクト表示領域（ａｒ５）から一部はみ出すように、設定してもよい。
【０２０２】
また、システム制御部１４が、広告表示領域ａｄ−ａｒ６を、図２１Ａおよび図２１Ｂに示すように、オブジェクト情報の一例であるエッジ群（ｅｄ６）の一部に適合するように、オブジェクト表示領域（ａｒ６）の内部に設定してもよい。
【０２０３】
また、図２１Ｃに示すように、オブジェクト（図１４Ｅのｏｂ６）の一部が隠れる場合、システム制御部１４が、広告表示領域ａｄ−ａｒ６を、オブジェクト（ｏｂ６）が写っている部分のみで、設定してもよい。
【０２０４】
また、図２１Ｃから図２１Ｄに示すように、場面が変わっている場合、システム制御部１４が、オブジェクトの大きさの変化に応じて、広告表示領域ａｄ−ａｒ２から広告表示領域ａｄ−ａｒ１２、広告表示領域ａｄ−ａｒ３から広告表示領域ａｄ−ａｒ１３、および、広告表示領域ａｄ−ａｒ６から広告表示領域ａｄ−ａｒ１６のように、広告表示領域の大きさを変えてもよい。
【０２０５】
また、広告表示領域に対する広告の表示に関して、図２１Ａおよび図２１Ｂに示すように、システム制御部１４が、広告表示条件に応じて、広告表示領域ａｄ−ａｒ５に表示する広告を変えるように、制御情報を生成してもよい。
【０２０６】
また、広告表示領域に対する広告の表示に関して、図２１Ａから図２１Ｃに示すように、広告表示領域ａｄ−ａｒ６の面積が、広告表示条件を見なさなくなった場合、図２１Ｃに示すように、システム制御部１４が、広告”ＡＤ−ａ１”を削除するように、制御情報を生成してもよい。また、図２１Ｅおよび図２１Ｆに示すように、広告表示領域ａｄ−ａｒ１２の面積が、広告表示条件を見なさなくなった場合、システム制御部１４が、広告”ＡＤ−ｅ２”を削除するように、制御情報を生成してもよい。
【０２０７】
また、広告表示領域に対する広告の表示に関して、図２１Ｅから図２１Ｆに示すように、広告表示領域ａｄ−ａｒ１６の面積が、広告表示条件を満たすようになった場合、図２１Ｆに示すように、システム制御部１４が、広告”ＡＤ−ａ２”を表示するように、制御情報を生成してもよい。
【０２０８】
なお、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報の一例として、制御情報に、オブジェクト表示領域の輪郭等の座標情報の代わりに、オブジェクト外縁または内部の一点の座標情報およびオブジェクト表示領域（または広告表示領域）の大きさの情報が含まれていてもよい。この場合、システム制御部１４が、オブジェクト表示領域（または広告表示領域）の大きさに合わせて広告の大きさを変形させ、オブジェクトの一点を含む位置に、広告を表示させるように、制御情報を生成してもよい。
【０２０９】
なお、これらの制御情報に、広告表示条件に合う広告の広告データを含めてもよいし、含めなくてもよい。制御情報に、広告データを含めた場合、制御情報で設定された広告を、状況に応じたタイミングで、選択したオブジェクトの位置に柔軟に表示できる。この制御情報に、広告データを含めない場合、視聴ユーザ端末装置４０における動画の再生時に、視聴ユーザの操作情報や購入履歴等のユーザ情報等の状況に応じた様々な広告を、選択したオブジェクトの位置に柔軟に表示できる。
【０２１０】
これらのように、動画配信サーバ装置１０が、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段の一例として機能する。
【０２１１】
次に、動画配信サーバ装置１０は、生成された制御情報を動画ＩＤと対応付けて記憶する（ステップＳ２３）。具体的には、システム制御部１４が、表示される広告ＩＤと、広告を表示する画像フレームの各フレーム番号と、フレーム番号に対応した、広告を表示させるオブジェクトの座標情報とを含む制御情報を、動画ＩＤと対応付けて、制御情報ＤＢ１２ｅに登録する。
【０２１２】
なお、図２２Ａから図２２Ｄに示すように、システム制御部１４が、選択されたオブジェクトのオブジェクト表示領域の全体または一部（マスク領域ｍｓ１、ｍｓ２）を単一色に塗りつぶした画像フレーム５３から構成される動画を、マスクされた表示情報として、生成してもよい。システム制御部１４が、ステップＳ２２において、選択したオブジェクトに対応するように、広告を表示する位置に、このマスク領域を設定する。システム制御部１４が、マスク領域を同色に塗りつぶした各画像フレームから構成された表示情報を生成する。そして、システム制御部１４が、ステップＳ２２において、マスクされた表示情報を、動画ＩＤと対応付けて、動画ＤＢ１２ａ等に登録する。
【０２１３】
また、図２２Ａから図２２Ｄに示すように、システム制御部１４が、オブジェクトの大きさや形状の変化に合わせて、マスク領域ｍｓ１およびマスク領域ｍｓ３の大きさや形状を変化させてもよい。
【０２１４】
マスクされた表示情報は、マスクされた分、動画のデータ量が削減されている。特に、エンコード時に動画を、動画の符号化方式により圧縮した際の圧縮率が高くなる。
【０２１５】
マスクされた表示情報を使用する場合、ステップＳ２２において生成された制御情報と共に、マスクされた表示情報を視聴ユーザ端末装置４０に送信する。視聴ユーザ端末装置４０は、マスクされた表示情報を再生する時に、制御情報に基づき、マスク領域に広告を重畳して表示する。
【０２１６】
この制御情報に、広告データを含めた場合、制御情報で設定された広告を、状況に応じたタイミングで、マスク領域に柔軟に表示できる。この制御情報に、広告データを含めない場合、視聴ユーザ端末装置４０における動画の再生時に、視聴ユーザの操作情報や購入履歴等のユーザ情報等の状況に応じた様々な広告を、マスク領域に柔軟に表示できる。
【０２１７】
なお、システム制御部１４が、マスク領域に設定する色を、オブジェクトまたはオブジェクト表示領域の色、オブジェクトまたはオブジェクト表示領域の回りの背景色、付加する広告の色により、決定する。
【０２１８】
具体的には、システム制御部１４が、オブジェクトまたはオブジェクト表示領域の画素の色の情報、オブジェクトまたはオブジェクト表示領域の境界から外の所定の範囲の画素の色の情報、および、付加する広告の色の情報の少なくとも１つを取得する。マスク領域に設定する色として、例えば、システム制御部１４が、オブジェクトまたはオブジェクト表示領域の画素の色に類似する色（例えば、ＲＧＢの各値の差が所定以内）、オブジェクトまたはオブジェクト表示領域の境界から外の所定の範囲の画素の色に類似する色、または、付加する広告の色に類似する色等を設定する。または、マスク領域に設定する色として、例えば、システム制御部１４が、オブジェクト等の画素の色とオブジェクト等の境界から外の所定の範囲の画素の色との中間の色（例えば、オブジェクトのＲＧＢの値と、背景色のＲＧＢの値との間にあるＲＧＢの値）、オブジェクト等の画素の色と広告の画素の色との中間色、オブジェクト等の境界から外の所定の範囲の画素の色と広告の画素の色との中間色等を設定する。
【０２１９】
マスク領域に設定する色が、これら類似する色や中間色である場合、動画の符号化方式により動画を圧縮した際に、画像フレーム間での色の変化が少なくなり、動画の圧縮率が高くなる。
【０２２０】
また、図２１Ａから図２１Ｄに示すように、システム制御部１４が、予め広告が埋め込まれた動画データを表示情報として生成しておいてもよい。
【０２２１】
例えば、システム制御部１４が、広告を埋め込む領域（例えば、オブジェクト表示領域）を削除して、代わりに広告データを、画像フレーム毎に挿入しておいてもよい。この場合、制御情報が不要で、動画の情報を視聴ユーザ端末装置４０に送信する。
【０２２２】
また、視聴ユーザ端末装置４０への動画の配信時に、システム制御部１４が、上記マスクされた表示情報を、動画ＤＢ１２ａ等から読み出し、ユーザ情報等の情報等に応じて、広告を選択し、マスクされた表示情報のマスク領域に広告を埋め込み、新たな動画の情報である表示情報を生成してもよい。この場合、制御情報が不要で、動画の情報を視聴ユーザ端末装置４０に送信する。
【０２２３】
なお、マスクするオブジェクトまたはオブジェクト表示領域を選択する際に、システム制御部１４が、ステップＳ２１において、画像フレーム間におけるオブジェクトまたはオブジェクト表示領域の差分データ量が、所定の閾値より大きい場合のオブジェクトまたはオブジェクト表示領域を選択してもよい。システム制御部１４が、所定の閾値を、オブジェクトの差分データ量により設定する。例えば、各オブジェクトがマスクされた画像フレームに置き換えた場合、システム制御部１４が、動画の符号化方式による動画の圧縮率を比較して、圧縮率が最も高く圧縮されるオブジェクトから所定順位のオブジェクトまでを、マスクをかけるオブジェクトとして選択する。
【０２２４】
（３．５  動画配信処理の動作例）
まず、動画配信サーバ装置１０における動画配信処理の動作例について図２３を用いて説明する。
【０２２５】
図２３は、一実施形態に係る動画配信サーバ装置のシステム制御部の動画配信処理の一例を示すフローチャートである。
【０２２６】
図２３に示すように、動画配信サーバ装置１０は、動画の視聴を希望する視聴ユーザ端末装置４０から視聴を希望する動画のコンテンツ条件を取得する（ステップＳ３０）。具体的には、システム制御部１４が、視聴ユーザ端末装置４０から、検索キーワード（映画のタイトル、俳優名、監督名等）、動画のカテゴリ等の動画コンテンツ条件の情報を取得する。
【０２２７】
次に、動画配信サーバ装置１０は、取得したコンテンツ条件を満たす動画を、動画ＤＢ１２ａから抽出する（ステップＳ３１）。具体的には、システム制御部１４が、動画ＤＢ１２ａを参照して、コンテンツ条件に基づき検索を行い、コンテンツ条件を満たす動画を抽出し、リスト化した検索結果の表示情報を生成する。
【０２２８】
次に、動画配信サーバ装置１０は、抽出した動画を視聴ユーザ端末装置４０に提示する（ステップＳ３２）。具体的には、システム制御部１４が、生成した検索結果の表示情報を、視聴ユーザ端末装置４０に送信する。
【０２２９】
次に、動画配信サーバ装置１０は、視聴ユーザ端末装置４０から動画の選択を取得する（ステップＳ３３）。検索結果の一覧から視聴ユーザにより選択された動画の動画ＩＤを、ユーザＩＤおよび動画表示要求と共に視聴ユーザ端末装置４０が、動画配信サーバ装置１０に送信する。システム制御部１４が、視聴ユーザ端末装置４０から、選択された動画の動画ＩＤを受信する。
【０２３０】
次に、動画配信サーバ装置１０は、動画と、動画に対応する制御情報と、を視聴ユーザ端末装置４０に提供する（ステップＳ３４）。具体的には、システム制御部１４が、受信した動画ＩＤに基づき、動画ＤＢ１２ａを検索して、受信した動画ＩＤに対応する動画データを取得する。また、システム制御部１４が、受信した動画ＩＤに基づき、制御情報ＤＢ１２ｅを検索して、受信した動画ＩＤに対応する制御情報を取得する。
【０２３１】
システム制御部１４が、動画ＩＤの動画の情報および制御情報を視聴ユーザ端末装置４０に送信する。
【０２３２】
なお、動画配信サーバ装置１０は、動画ＩＤの動画の全体のデータ、および、この動画のデータに対応した制御情報を、視聴ユーザ端末装置４０にまとめて送信してもよいし、動画のチャプター毎に送信してもよいし、ストリーミング方式で、動画ＩＤの動画のデータの一部および動画のデータに対応した制御情報を、視聴ユーザ端末装置４０に送信してもよい。
【０２３３】
（３．６  制御情報変更処理の動作例）
次に、動画配信サーバ装置１０における制御情報変更処理の動作例について図２４および図２５を用いて説明する。
【０２３４】
図２４は、一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報変更処理の一例を示すフローチャートである。図２５は、動画データにおけるスキップまたは巻き戻しの一例を示す模式図である。
【０２３５】
図２４に示すように、動画配信サーバ装置１０は、視聴ユーザ端末装置４０から操作情報を取得する（ステップＳ４０）。具体的には、視聴ユーザ端末装置４０の表示部４３に再生されている動画に対する操作情報（例えば、スキップを開始した画像フレームのフレームＩＤおよびスキップが終了した画像フレームのフレームＩＤ、または、巻き戻しを開始した画像フレームのフレームＩＤおよび巻き戻しが終了した画像フレームのフレームＩＤ等）の情報を、システム制御部１４が、視聴ユーザ端末装置４０から取得する。
【０２３６】
図２５に示すように、フレーム番号”000,015”からスキップを開始し、フレーム番号”000,135”でスキップを終了した場合、視聴ユーザ端末装置４０は、スキップ開始のフレーム番号”000,015”および、スキップ終了のフレーム番号”000,135”の情報を、操作情報として、ユーザＩＤと共に、動画配信サーバ装置１０に送信する。
【０２３７】
図２５に示すように、フレーム番号”000,360”から巻き戻しを開始し、フレーム番号”000,165”で巻き戻しを終了した場合、視聴ユーザ端末装置４０は、巻き戻し開始のフレーム番号”000,360”および、巻き戻し終了のフレーム番号”000,165”の情報を、操作情報として、ユーザＩＤと共に、動画配信サーバ装置１０に送信する。
【０２３８】
次に、動画配信サーバ装置１０は、操作情報と、操作情報に対応する画像フレームにおけるオブジェクト表示領域の情報と、オブジェクトＩＤと、に基づいたオブジェクト情報を算出する（ステップＳ４１）。スキップした場合は、システム制御部１４が、ステップＳ２０のように、スキップした箇所のフレーム番号の画像フレームを除外した画像フレームにおいて、各フレーム・オブジェクト情報と、オブジェクトＩＤと、に基づいて、オブジェクト毎のオブジェクト情報を再集計する。
【０２３９】
巻き戻した場合は、システム制御部１４が、ステップＳ２０のように、巻き戻した箇所のフレーム番号の画像フレームを重複した画像フレームにおいて、各フレーム・オブジェクト情報と、オブジェクトＩＤと、に基づいて、オブジェクト毎のオブジェクト情報を再集計する。すなわち、システム制御部１４が、巻き戻した箇所のフレーム番号の画像フレームに存在するオブジェクトのフレーム・オブジェクト情報を、余分に集計する。
【０２４０】
このように、新たに集計されたオブジェクト情報は、集計オブジェクト情報ＤＢ１２ｄに記録されてもよい。
【０２４１】
次に、動画配信サーバ装置１０は、新たに算出したオブジェクト情報と、表示する広告の広告主が設定した広告表示条件と、基づいて、広告を表示するオブジェクトを選択する（ステップＳ４２）。具体的には、システム制御部１４が、ステップＳ２１のように、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、広告表示条件に合うオブジェクト情報を検索し、広告を表示するオブジェクトを選択する。
【０２４２】
次に、動画配信サーバ装置１０は、選択したオブジェクトに対応するように、広告を表示するための制御情報を生成する（ステップＳ４３）。具体的には、システム制御部１４が、ステップＳ２２のように、フレーム・オブジェクト情報ＤＢ１２ｃおよび集計オブジェクト情報ＤＢ１２ｄの少なくとも一方を参照して、選択したオブジェクトのオブジェクトＩＤに基づき、広告表示条件に合っている広告を表示する各フレームＩＤと、これらの画像フレームにおけるオブジェクトの座標情報を取得して、各フレームＩＤと、これらのフレームＩＤに対応する座標情報を含む制御情報を生成する。なお、この制御情報は、上述した、表示情報を含む様々な制御情報の変形例でもよい。
【０２４３】
次に、動画配信サーバ装置１０は、制御情報を視聴ユーザ端末装置４０に提供する（ステップＳ４４）。具体的には、システム制御部１４が、ステップＳ３４のように、新たに生成された制御情報を視聴ユーザ端末装置４０に送信する。なお、以前の制御情報と比較して、新たに生成された制御情報の場合の方が、広告の出現数が減少して、広告表示条件等を満たさなくなる場合、システム制御部１４は、新たに生成された制御情報を視聴ユーザ端末装置４０に送信しなくてもよい。
【０２４４】
なお、図２１Ａに示すように、広告”ＡＤ−ｅ１”の削除ボタンｂｔがクリックされた場合、視聴ユーザ端末装置４０は、広告”ＡＤ−ｅ１”の広告ＩＤおよび削除要求を、操作情報として、ユーザＩＤと共に、動画配信サーバ装置１０に送信してもよい。また、広告”ＡＤ−ｅ１”等の広告がクリックされた場合、視聴ユーザ端末装置４０は、広告”ＡＤ−ｅ１”の広告ＩＤおよび広告選択された旨の情報を、操作情報として、ユーザＩＤと共に、動画配信サーバ装置１０に送信してもよい。そして、ステップＳ４０のように、システム制御部１４が、視聴ユーザ端末装置４０から操作情報を取得する。
【０２４５】
システム制御部１４が、広告の削除の操作情報を受信した場合、広告ＩＤに対応する広告を削除した制御情報を含む表示情報を生成したり、広告ＩＤに対応する広告の表示回数や表示面積を減少した制御情報を含む表示情報を生成したりして、表示情報の更新を行う。
【０２４６】
システム制御部１４が、広告選択された旨の操作情報を受信した場合、広告ＩＤに対応するリンク先のＷｅｂページを別のウィンドウに開く制御情報を生成したり、広告ＩＤに対応する広告を削除した制御情報を含む表示情報を生成したり、広告ＩＤに対応する広告の表示回数や表示面積を減少した制御情報を含む表示情報を生成したりして、表示情報の更新を行う。
【０２４７】
なお、視聴ユーザ端末装置４０から操作情報として、視聴ユーザ端末装置４０の表示部４３に再生されている動画の表示サイズの変更操作の情報でもよい。そして、動画配信サーバ装置１０が、この動画の表示サイズの変更操作に応じて広告を更新してもよい。
【０２４８】
動画の表示サイズの変更操作が、表示ウィンドウを縮小する操作の場合、動画の表示サイズの縮小に連れて、各オブジェクトの表示面積が小さくなる。各オブジェクトの表示面積が小さくなると、広告表示条件を満たさなくなることがあるので、動画配信サーバ装置１０は、新たな広告に置き換える処理、または、広告を消去する処理を行う。
【０２４９】
一方、動画の表示サイズの変更操作が、表示ウィンドウを拡大する操作の場合、動画の表示サイズの拡大に連れて、各オブジェクトの表示面積が大きくなる。各オブジェクトの表示面積が大きくなると、現在表示されている広告よりも広告表示条件を満足する度合いが高い広告がある可能性があるので、動画配信サーバ装置１０は、現在広告よりも広告表示条件を満足する度合いが高い広告があれば、それの広告に置き換える処理を行う。
【０２５０】
動画配信サーバ装置１０は、ステップＳ４０で、これらのような動画の表示サイズの縮小または拡大の操作情報と、操作された画像フレームのフレームＩＤとを、視聴ユーザ端末装置４０から取得する。
【０２５１】
動画配信サーバ装置１０は、ステップＳ４１で、操作された画像フレーム以降におけるオブジェクト情報を算出する。このオブジェクト情報には、表示サイズの縮小または拡大に伴うオブジェクト表示領域の面積の情報が含まれる。
【０２５２】
動画配信サーバ装置１０は、ステップＳ４２で、新たに算出したオブジェクト情報と、表示する広告の広告主が設定した広告表示条件と、基づいて、広告を表示するオブジェクトを選択する。なお、広告表示条件を満たす広告がない場合、オブジェクトから広告が削除されてもよい。また、動画の表示サイズの変更に伴い、現在表示されている広告が、広告表示条件を満たす別のオブジェクトに表示されるように変更されてもよい。
【０２５３】
動画配信サーバ装置１０は、ステップＳ４３で、広告表示条件を満たした別の広告がある場合、この広告を表示するための制御情報を生成する。
【０２５４】
動画配信サーバ装置１０は、ステップＳ４４で、広告表示条件を満たした別の広告がある場合、この別の広告が表示される制御情報を視聴ユーザ端末装置４０に提供する。
【０２５５】
以上、本実施形態によれば、画像フレーム５０に表示されているオブジェクトのオブジェクト情報と、動画に付加する広告を表示するための広告表示条件と、に基づきオブジェクトが選択され、選択されたオブジェクトの少なくとも一部を含み、選択されたオブジェクトのオブジェクト情報に従った領域に広告を表示するための制御情報を生成することにより、画像フレーム５０内に既に表示されているオブジェクトのオブジェクト情報に対する領域に広告が表示されるため、動画の画像内で視聴ユーザに違和感を与えない領域に広告を表示することができる。また、オブジェクトの位置、形状、大きさ等に合わせて、広告条件に合うように、柔軟に広告を表示させることができる。
【０２５６】
また、オブジェクト情報が、オブジェクトが動画において空間および時間の少なくとも一方の積算で表示される積算表示量（出現数、表示時間、連続出現数、積算表示面積等）を含み、積算表示量に応じて、広告を表示するためのオブジェクトを選択する場合、空間および時間の少なくとも一方における露出に応じたオブジェクトが、より広告表示条件に適合したオブジェクトとして選択される。
【０２５７】
また、オブジェクト情報が、複数の画像フレーム５０に連続して表示されるオブジェクトの連続表示数を含み、連続表示数に応じて、広告を表示するためのオブジェクトを選択する場合、広告の表示が途切れること無く、動画に表示される。
【０２５８】
また、オブジェクト情報が、画像フレーム５０の隣接するフレーム間におけるオブジェクトの差分データ量を含み、各オブジェクトの差分データ量により設定される閾値より、差分データ量が大きいオブジェクトを選択する場合、差分データ量が大きいオブジェクトが、画像フレーム毎の色等の変化が少ない広告と入れ替わることにより、動画の符号化方式による動画を圧縮した際のデータ量を削減することができる。
【０２５９】
また、オブジェクト情報が、オブジェクトの形状の情報を含み、広告表示条件が、広告の形状の情報を含み、広告の形状に適合するように、オブジェクトの形状の情報に応じて、広告を表示するためのオブジェクトを選択する場合、広告の形状を変形することなく、オブジェクトの形状に合うように、広告を表示できるので、広告の形状を変形する処理を省くことができる。
【０２６０】
また、表示情報が、選択されたオブジェクトのオブジェクト情報に従った領域を単一の色でマスクした動画を含む場合、単一の色でマスクされるため、動画を圧縮した際のデータ量を削減できる。
【０２６１】
また、複数の画像フレーム５０において連続して表示されるオブジェクトを１つのオブジェクトとして、オブジェクト情報を算出する場合、オブジェクト情報が、画像フレームにおいて連続する単位で算出され、オブジェクトが他のオブジェクトに一旦隠れたり、撮影のアングルから外れたり、場面が切り替わったり等のタイミングで、広告を表示できるので、広告が切り替わっても、視聴ユーザに違和感を与えないように、広告を表示することができる。
【０２６２】
次に、一部がマスクされた画像フレームの変形例について図２６および図２７を用いて説明する。
【０２６３】
図２６および図２７は、画像フレームの一部をマスクするマスクの変形例を示す模式図である。
【０２６４】
システム制御部１４が、図２６に示すように、オブジェクトｏｂｊと広告ａｄとから、領域内の画素毎の中間色から構成されるマスク画像ｍｓを生成してもよい。図１７に示すように、例えば、システム制御部１４が、オブジェクトｏｂ６に対して、所定のフレーム番号に、オブジェクトｏｂ６の一部の領域にマスク画像ｍｓを埋め込んだ画像フレームを作成する。オブジェクトｏｂ６の一部の領域に広告ａｄを埋め込んだ画像フレームの前に、マスク画像ｍｓを埋め込んだ画像フレームが表示されることにより、オブジェクトｏｂ６の一部の領域に対して、画像情報の変化が軽減する。
【０２６５】
選択されたオブジェクトｏｂｊのオブジェクト情報に従った領域内の画素の色と、当該領域に付加する広告ａｄの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、表示情報が、領域を当該画素毎に決定された色でマスクｍｓした動画を含む場合、例えば、対応する画素毎の中間色で領域をマスクできるので、広告を表示させた画像フレーム前と、広告を表示させた後の画像フレームと、の間の画像フレームの一部を画素毎の中間色でマスクするので、動画を圧縮した際のデータ量を削減できる。
【０２６６】
なお、コンテンツ提供者が提供する動画に出現するオブジェクトに関して、オブジェクトに付加コンテンツの表示の許可または禁止の情報に基づき、システム制御部１４が、ステップＳ２１において、オブジェクトを選択してもよい。この場合、コンテンツ提供者の表示条件に満たすように、表示情報を生成できる。
【０２６７】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【０２６８】
１：情報処理システム
１０：動画配信サーバ装置
１２：記憶部
１２ａ：動画ＤＢ（動画記憶手段）
１２ｂ：広告ＤＢ
１２ｃ：フレーム・オブジェクト情報ＤＢ
１２ｄ：集計オブジェクト情報ＤＢ
１２ｅ：制御情報ＤＢ
１４：システム制御部
２０：コンテンツ提供装置
３０：広告提供装置
４０：視聴ユーザ端末装置
５０：画像フレーム
【図１】
2017056229.tif 000003
【図２】
2017056229.tif 000004
【図３】
2017056229.tif 000005
【図４】
2017056229.tif 000006
【図５】
2017056229.tif 000007
【図６】
2017056229.tif 000008
【図７】
2017056229.tif 000009
【図８】
2017056229.tif 000010
【図９】
2017056229.tif 000011
【図１０】
2017056229.tif 000012
【図１１】
2017056229.tif 000013
【図１２】
2017056229.tif 000014
【図１３】
2017056229.tif 000015
【図１４Ａ】
2017056229.tif 000016
【図１４Ｂ】
2017056229.tif 000017
【図１４Ｃ】
2017056229.tif 000018
【図１４Ｄ】
2017056229.tif 000019
【図１４Ｅ】
2017056229.tif 000020
【図１４Ｆ】
2017056229.tif 000021
【図１４Ｇ】
2017056229.tif 000022
【図１４Ｈ】
2017056229.tif 000023
【図１４Ｉ】
2017056229.tif 000024
【図１５】
2017056229.tif 000025
【図１６】
2017056229.tif 000026
【図１７】
2017056229.tif 000027
【図１８Ａ】
2017056229.tif 000028
【図１８Ｂ】
2017056229.tif 000029
【図１８Ｃ】
2017056229.tif 000030
【図１８Ｄ】
2017056229.tif 000031
【図１９Ａ】
2017056229.tif 000032
【図１９Ｂ】
2017056229.tif 000033
【図１９Ｃ】
2017056229.tif 000034
【図１９Ｄ】
2017056229.tif 000035
【図１９Ｅ】
2017056229.tif 000036
【図１９Ｆ】
2017056229.tif 000037
【図２０】
2017056229.tif 000038
【図２１Ａ】
2017056229.tif 000039
【図２１Ｂ】
2017056229.tif 000040
【図２１Ｃ】
2017056229.tif 000041
【図２１Ｄ】
2017056229.tif 000042
【図２１Ｅ】
2017056229.tif 000043
【図２１Ｆ】
2017056229.tif 000044
【図２２Ａ】
2017056229.tif 000045
【図２２Ｂ】
2017056229.tif 000046
【図２２Ｃ】
2017056229.tif 000047
【図２２Ｄ】
2017056229.tif 000048
【図２３】
2017056229.tif 000049
【図２４】
2017056229.tif 000050
【図２５】
2017056229.tif 000051
【図２６】
2017056229.tif 000052
【図２７】
2017056229.tif 000053
【手続補正書】
【提出日】平成30年3月29日(2018.3.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段と、
前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定手段と、
前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段と、
前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段と、
前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段と、
前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信手段と、
前記端末装置から前記動画に対して操作された操作情報を受信する受信手段と、
を備え、
前記オブジェクト情報算出手段が、前記操作情報に基づき前記オブジェクト情報を算出し、
前記オブジェクト選択手段が、前記操作情報に基づいて算出されたオブジェクト情報に基づき、前記付加コンテンツを表示するためのオブジェクトを選択し、
前記表示情報生成手段が、前記選択されたオブジェクトのオブジェクト情報に従った表示情報を再度生成し、
前記送信手段が、前記再度生成された前記表示情報を、前記端末装置に送信することを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記オブジェクト情報が、前記オブジェクトが前記動画において空間および時間の少なくとも一方の積算で表示される積算表示量を含み、
前記オブジェクト選択手段が、前記積算表示量に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置において、
前記オブジェクト情報が、複数の前記画像フレームに連続して表示される前記オブジェクトの連続表示数を含み、
前記オブジェクト選択手段が、前記連続表示数に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする情報処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の情報処理装置において、
前記オブジェクト情報が、前記画像フレームの隣接するフレーム間における前記オブジェクトの差分データ量を含み、
前記オブジェクト選択手段が、各前記オブジェクトの差分データ量により設定される閾値より、前記差分データ量が大きいオブジェクトを選択することを特徴とする情報処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の情報処理装置において、
前記オブジェクト情報が、前記オブジェクトの形状の情報を含み、
前記付加コンテンツ表示条件が、前記付加コンテンツの形状の情報を含み、
前記オブジェクト選択手段が、前記付加コンテンツの形状に適合するように、前記オブジェクトの形状の情報に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする情報処理装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の情報処理装置において、
前記表示情報が、前記選択されたオブジェクトのオブジェクト情報に従った領域を単一の色でマスクした動画を含むことを特徴とする情報処理装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の情報処理装置において、
前記選択されたオブジェクトのオブジェクト情報に従った領域内の画素の色と、当該領域に付加する付加コンテンツの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、
前記表示情報が、前記領域を当該画素毎に決定された色でマスクした動画を含むことを特徴とする情報処理装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の情報処理装置において、
前記オブジェクト情報算出手段が、複数の前記画像フレームにおいて連続して表示される前記オブジェクトを１つのオブジェクトとして、前記オブジェクト情報を算出することを特徴とする情報処理装置。
【請求項９】
画像フレーム取得手段が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得ステップと、
オブジェクト特定手段が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定ステップと、
オブジェクト情報算出手段が、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出ステップと、
オブジェクト選択手段が、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択ステップと、
表示情報生成手段が、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成ステップと、
送信手段が、前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信ステップと、
受信手段が、前記端末装置から前記動画に対して操作された操作情報を受信する受信ステップと、
を含み、
前記オブジェクト情報算出ステップにおいて、前記操作情報に基づき前記オブジェクト情報を算出し、
前記オブジェクト選択ステップにおいて、前記操作情報に基づいて算出されたオブジェクト情報に基づき、前記付加コンテンツを表示するためのオブジェクトを選択し、
前記表示情報生成ステップにおいて、前記選択されたオブジェクトのオブジェクト情報に従った表示情報を再度生成し、
前記送信ステップにおいて、前記再度生成された前記表示情報を、前記端末装置に送信することを特徴とする情報処理方法。
【請求項１０】
コンピュータを、
動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段、
前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定手段、
前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段、
前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段、
前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段、
前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信手段、および、
前記端末装置から前記動画に対して操作された操作情報を受信する受信手段として機能させ、
前記オブジェクト情報算出手段が、前記操作情報に基づき前記オブジェクト情報を算出し、
前記オブジェクト選択手段が、前記操作情報に基づいて算出されたオブジェクト情報に基づき、前記付加コンテンツを表示するためのオブジェクトを選択し、
前記表示情報生成手段が、前記選択されたオブジェクトのオブジェクト情報に従った表示情報を再度生成し、
前記送信手段が、前記再度生成された前記表示情報を、前記端末装置に送信することを特徴とする情報処理装置用プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記課題を解決するために、請求項１に記載の発明は、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段と、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定手段と、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段と、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段と、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段と、前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信手段と、前記端末装置から前記動画に対して操作された操作情報を受信する受信手段と、を備え、前記オブジェクト情報算出手段が、前記操作情報に基づき前記オブジェクト情報を算出し、前記オブジェクト選択手段が、前記操作情報に基づいて算出されたオブジェクト情報に基づき、前記付加コンテンツを表示するためのオブジェクトを選択し、前記表示情報生成手段が、前記選択されたオブジェクトのオブジェクト情報に従った表示情報を再度生成し、前記送信手段が、前記再度生成された前記表示情報を、前記端末装置に送信することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記オブジェクト情報が、前記オブジェクトが前記動画において空間および時間の少なくとも一方の積算で表示される積算表示量を含み、前記オブジェクト選択手段が、前記積算表示量に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
請求項３に記載の発明は、請求項１または請求項２に記載の情報処理装置において、前記オブジェクト情報が、複数の前記画像フレームに連続して表示される前記オブジェクトの連続表示数を含み、前記オブジェクト選択手段が、前記連続表示数に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の情報処理装置において、前記オブジェクト情報が、前記画像フレームの隣接するフレーム間における前記オブジェクトの差分データ量を含み、前記オブジェクト選択手段が、各前記オブジェクトの差分データ量により設定される閾値より、前記差分データ量が大きいオブジェクトを選択することを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の情報処理装置において、前記オブジェクト情報が、前記オブジェクトの形状の情報を含み、前記付加コンテンツ表示条件が、前記付加コンテンツの形状の情報を含み、前記オブジェクト選択手段が、前記付加コンテンツの形状に適合するように、前記オブジェクトの形状の情報に応じて、前記付加コンテンツを表示するためのオブジェクトを選択することを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の情報処理装置において、前記表示情報が、前記選択されたオブジェクトのオブジェクト情報に従った領域を単一の色でマスクした動画を含むことを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
請求項７に記載の発明は、請求項１から請求項６のいずれか１項に記載の情報処理装置において、前記選択されたオブジェクトのオブジェクト情報に従った領域内の画素の色と、当該領域に付加する付加コンテンツの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、前記表示情報が、前記領域を当該画素毎に決定された色でマスクした動画を含むことを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
請求項８に記載の発明は、請求項１から請求項７のいずれか１項に記載の情報処理装置において、前記オブジェクト情報算出手段が、複数の前記画像フレームにおいて連続して表示される前記オブジェクトを１つのオブジェクトとして、前記オブジェクト情報を算出することを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
請求項９に記載の発明は、画像フレーム取得手段が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得ステップと、オブジェクト特定手段が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定ステップと、オブジェクト情報算出手段が、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出ステップと、オブジェクト選択手段が、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択ステップと、表示情報生成手段が、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成ステップと、送信手段が、前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信ステップと、受信手段が、前記端末装置から前記動画に対して操作された操作情報を受信する受信ステップと、を含み、前記オブジェクト情報算出ステップにおいて、前記操作情報に基づき前記オブジェクト情報を算出し、前記オブジェクト選択ステップにおいて、前記操作情報に基づいて算出されたオブジェクト情報に基づき、前記付加コンテンツを表示するためのオブジェクトを選択し、前記表示情報生成ステップにおいて、前記選択されたオブジェクトのオブジェクト情報に従った表示情報を再度生成し、前記送信ステップにおいて、前記再度生成された前記表示情報を、前記端末装置に送信することを特徴とする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
請求項１０に記載の発明は、コンピュータを、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトを少なくとも１つ特定するオブジェクト特定手段、前記特定されたオブジェクト毎に、各前記画像フレームに表示されている前記オブジェクトに関するオブジェクト情報を算出するオブジェクト情報算出手段、前記算出されたオブジェクト情報と、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示条件と、に基づき、前記付加コンテンツを表示するためのオブジェクトを、前記特定されたオブジェクトから選択するオブジェクト選択手段、前記選択されたオブジェクトの少なくとも一部を含み、前記選択されたオブジェクトのオブジェクト情報に従った領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段、前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信手段、および、前記端末装置から前記動画に対して操作された操作情報を受信する受信手段として機能させ、前記オブジェクト情報算出手段が、前記操作情報に基づき前記オブジェクト情報を算出し、前記オブジェクト選択手段が、前記操作情報に基づいて算出されたオブジェクト情報に基づき、前記付加コンテンツを表示するためのオブジェクトを選択し、前記表示情報生成手段が、前記選択されたオブジェクトのオブジェクト情報に従った表示情報を再度生成し、前記送信手段が、前記再度生成された前記表示情報を、前記端末装置に送信することを特徴とする。
【国際調査報告】
2017056229.tif 000054
2017056229.tif 000055