(57)【特許請求の範囲】
【請求項１】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得手段と、
前記取得手段により取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出手段と、
前記算出手段により算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出手段であって、前記フレームにおいて前記表示回数が最大となる前記領域の中心を中心として、前記動画の送信において予め設定されている最低解像度分の画像を前記動画から抽出する抽出手段と、
前記抽出手段により抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成手段と、
を備えることを特徴とするサーバ装置。
【請求項２】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得手段と、
前記取得手段により取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出手段と、
前記算出手段により算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出手段であって、前記フレームにおいて前記表示回数が最大となる前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出する抽出手段と、
前記抽出手段により抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成手段と、
を備えることを特徴とするサーバ装置。
【請求項３】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得手段と、
前記取得手段により取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出手段と、
前記算出手段により算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出手段と、
前記抽出手段により抽出された前記領域に基づいて、前記動画の内容を代表する代表画像を生成する生成手段と、
を備え、
前記表示回数が予め設定された閾値より多い前記領域の大きさが前記動画の送信において予め設定されている最低解像度以下である場合に、前記抽出手段は、前記表示回数が前記閾値より多い前記領域の中心を中心として、前記最低解像度分の画像を前記動画から抽出し、
前記表示回数が前記閾値より多い前記領域の大きさが前記最低解像度より大きい場合に、前記抽出手段は、前記表示回数が前記閾値より多い前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出することを特徴とするサーバ装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載のサーバ装置において、
前記取得手段は、予め設定された分類方法により複数の前記端末装置を分類して得られた端末装置群に属する前記端末装置から前記範囲データを取得することを特徴とするサーバ装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載のサーバ装置において、
前記算出手段は、前記領域としての画素ごとの前記表示回数を算出し、
前記抽出手段は、前記表示回数が前記基準を満たす前記画素を前記動画から抽出し、
前記生成手段は、前記抽出手段により抽出された前記画素に基づいて前記代表画像を生成することを特徴とするサーバ装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載のサーバ装置において、
前記抽出手段は、前記算出手段により算出された前記表示回数が前記動画の再生時間軸に対してピークとなったタイミングを含んで前記タイミングの前後の予め設定された再生時間に再生された前記領域の前記画像を前記動画から抽出することを特徴とするサーバ装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載のサーバ装置において、
前記抽出手段は、前記算出手段により算出された前記表示回数が予め設定された閾値以上である前記領域の前記画像を前記動画から抽出することを特徴とするサーバ装置。
【請求項８】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において実行される情報処理方法において、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、
前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、
前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップであって、前記フレームにおいて前記表示回数が最大となる前記領域の中心を中心として、前記動画の送信において予め設定されている最低解像度分の画像を前記動画から抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、
を含むことを特徴とする情報処理方法。
【請求項９】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において実行される情報処理方法において、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、
前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、
前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップであって、前記フレームにおいて前記表示回数が最大となる前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、
を含むことを特徴とする情報処理方法。
【請求項１０】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において実行される情報処理方法において、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、
前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、
前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記領域に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、
を含み、
前記表示回数が予め設定された閾値より多い前記領域の大きさが前記動画の送信において予め設定されている最低解像度以下である場合に、前記抽出ステップにおいては、前記表示回数が前記閾値より多い前記領域の中心を中心として、前記最低解像度分の画像を前記動画から抽出し、
前記表示回数が前記閾値より多い前記領域の大きさが前記最低解像度より大きい場合に、前記抽出ステップにおいては、前記表示回数が前記閾値より多い前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出することを特徴とする情報処理方法。
【請求項１１】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置に含まれるコンピュータに、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、
前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、
前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップであって、前記フレームにおいて前記表示回数が最大となる前記領域の中心を中心として、前記動画の送信において予め設定されている最低解像度分の画像を前記動画から抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、
を実行させることを特徴とするプログラム。
【請求項１２】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置に含まれるコンピュータに、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、
前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、
前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップであって、前記フレームにおいて前記表示回数が最大となる前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、
を実行させることを特徴とするプログラム。
【請求項１３】
動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置に含まれるコンピュータに、
各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、
前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、
前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記領域に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、
を実行させるプログラムであって、
前記表示回数が予め設定された閾値より多い前記領域の大きさが前記動画の送信において予め設定されている最低解像度以下である場合に、前記抽出ステップを実行する前記コンピュータは、前記表示回数が前記閾値より多い前記領域の中心を中心として、前記最低解像度分の画像を前記動画から抽出し、
前記表示回数が前記閾値より多い前記領域の大きさが前記最低解像度より大きい場合に、前記抽出ステップを実行する前記コンピュータは、前記表示回数が前記閾値より多い前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバ装置、情報処理方法およびプログラムの技術分野に属する。より詳細には、端末装置に対して動画を送信するサーバ装置および情報処理方法、ならびにそのサーバ装置用のプログラムの技術分野に属する。
【背景技術】
【０００２】
近年、インターネット等のネットワークを介してサーバ装置に接続されたクライアント端末それぞれの機能をそのサーバ装置から提供する、いわゆる仮想クライアントシステムに関する研究／開発が行われている。このような仮想クライアントシステムについての先行技術文献には、例えば下記特許文献１がある。特許文献１に開示されている技術では、クライアント端末を使用するユーザの嗜好に応じて、各クライアント端末に送信される動画の全体からその一部を切り出すことで、その動画の内容を代表する、いわゆるダイジェスト画像を生成する構成とされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１２６８１１号公報（図２３等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら上記特許文献１に記載されている仮想クライアントシステムにおいては、ダイジェスト画像の生成のためには、元の動画の内容に対応するメタデータを作成する必要がある。ここで、この場合のメタデータとしては、元の動画におけるオブジェクトの出現時間情報やその属性情報等を含むメタデータが必要であり、これを作成するには大変な労力を必要とするという問題点があった。またそのようなメタデータの作成のためには、元の動画におけるオブジェクトの位置検出のためのオブジェクト識別処理等が必要であり、このオブジェクト識別処理等のための処理負荷も大きくなるという問題点があった。
【０００５】
そこで本発明は、以上の問題点に鑑みて為されたものであり、メタデータ等の追加データを不要として、送信される動画の内容を的確に代表する代表画像を生成して送信することが可能なサーバ装置および情報処理方法ならびにプログラムを提供する。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、請求項１に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得手段と、前記取得手段により取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出手段と、前記算出手段により算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出手段であって、前記フレームにおいて前記表示回数が最大となる前記領域の中心を中心として、前記動画の送信において予め設定されている最低解像度分の画像を前記動画から抽出する抽出手段と、前記抽出手段により抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成手段と、を備えることを特徴とする。
請求項２に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得手段と、前記取得手段により取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出手段と、前記算出手段により算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出手段であって、前記フレームにおいて前記表示回数が最大となる前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出する抽出手段と、前記抽出手段により抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成手段と、を備えることを特徴とする。
請求項３に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得手段と、前記取得手段により取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出手段と、前記算出手段により算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出手段と、前記抽出手段により抽出された前記領域に基づいて、前記動画の内容を代表する代表画像を生成する生成手段と、を備え、前記表示回数が予め設定された閾値より多い前記領域の大きさが前記動画の送信において予め設定されている最低解像度以下である場合に、前記抽出手段は、前記表示回数が前記閾値より多い前記領域の中心を中心として、前記最低解像度分の画像を前記動画から抽出し、前記表示回数が前記閾値より多い前記領域の大きさが前記最低解像度より大きい場合に、前記抽出手段は、前記表示回数が前記閾値より多い前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出することを特徴とする。
【０００７】
請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載のサーバ装置において、前記取得手段は、予め設定された分類方法により複数の前記端末装置を分類して得られた端末装置群に属する前記端末装置から前記範囲データを取得することを特徴とする。
【０００８】
請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載のサーバ装置において、前記算出手段は、前記領域としての画素ごとの前記表示回数を算出し、前記抽出手段は、前記表示回数が前記基準を満たす前記画素を前記動画から抽出し、前記生成手段は、前記抽出手段により抽出された前記画素に基づいて前記代表画像を生成することを特徴とする。
【０００９】
請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載のサーバ装置において、前記抽出手段は、前記算出手段により算出された前記表示回数が前記動画の再生時間軸に対してピークとなったタイミングを含んで前記タイミングの前後の予め設定された再生時間に再生された前記領域を前記動画から抽出することを特徴とする。
【００１０】
請求項７に記載の発明は、請求項１から請求項６のいずれか一項に記載のサーバ装置において、前記抽出手段は、前記算出手段により算出された前記表示回数が予め設定された閾値以上である前記領域を前記動画から抽出することを特徴とする。
【００１４】
請求項８に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において実行される情報処理方法において、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップであって、前記フレームにおいて前記表示回数が最大となる前記領域の中心を中心として、前記動画の送信において予め設定されている最低解像度分の画像を前記動画から抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、を含むことを特徴とする。
請求項９に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において実行される情報処理方法において、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップであって、前記フレームにおいて前記表示回数が最大となる前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、を含むことを特徴とする。
請求項１０に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置において実行される情報処理方法において、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記領域に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、を含み、前記表示回数が予め設定された閾値より多い前記領域の大きさが前記動画の送信において予め設定されている最低解像度以下である場合に、前記抽出ステップにおいては、前記表示回数が前記閾値より多い前記領域の中心を中心として、前記最低解像度分の画像を前記動画から抽出し、前記表示回数が前記閾値より多い前記領域の大きさが前記最低解像度より大きい場合に、前記抽出ステップにおいては、前記表示回数が前記閾値より多い前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出することを特徴とする。
【００１５】
請求項１１に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置に含まれるコンピュータに、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップであって、前記フレームにおいて前記表示回数が最大となる前記領域の中心を中心として、前記動画の送信において予め設定されている最低解像度分の画像を前記動画から抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、を実行させることを特徴とする。
請求項１２に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置に含まれるコンピュータに、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップであって、前記フレームにおいて前記表示回数が最大となる前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記画像に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、を実行させることを特徴とする。
請求項１３に記載の発明は、動画を表示する複数の端末装置のそれぞれに、複数のフレームからなる前記動画を送信するサーバ装置に含まれるコンピュータに、各前記端末装置における前記動画の表示範囲を示す範囲データを、各前記端末装置から取得する取得ステップと、前記取得ステップにおいて取得された前記範囲データに基づいて、前記フレーム内の予め設定された領域ごとの前記端末装置における表示回数を、前記フレームごとに算出する算出ステップと、前記算出ステップにおいて算出された前記表示回数に基づいて、前記表示回数が予め設定された基準を満たす前記フレームの前記領域を前記動画から抽出する抽出ステップと、前記抽出ステップにおいて抽出された前記領域に基づいて、前記動画の内容を代表する代表画像を生成する生成ステップと、を実行させるプログラムであって、前記表示回数が予め設定された閾値より多い前記領域の大きさが前記動画の送信において予め設定されている最低解像度以下である場合に、前記抽出ステップを実行する前記コンピュータは、前記表示回数が前記閾値より多い前記領域の中心を中心として、前記最低解像度分の画像を前記動画から抽出し、前記表示回数が前記閾値より多い前記領域の大きさが前記最低解像度より大きい場合に、前記抽出ステップを実行する前記コンピュータは、前記表示回数が前記閾値より多い前記領域を含み、且つ、前記動画の送信において予め設定されているアスペクト比となる画像を前記動画から抽出することを特徴とする。
【発明の効果】
【００１６】
請求項１、請求項８または請求項１１のいずれか一項に記載の発明によれば、メタデータ等の追加データを不要として、動画の内容を的確に代表する代表画像を生成することができると共に、最低解像度の画像からなる代表画像を生成することができる。
請求項２、請求項９または請求項１２のいずれか一項に記載の発明によれば、メタデータ等の追加データを不要として、動画の内容を的確に代表する代表画像を生成することができると共に、既定のアスペクト比を維持しつつ、動画の内容を的確に代表する代表画像を生成することができる。
請求項３、請求項１０または請求項１３のいずれか一項に記載の発明によれば、メタデータ等の追加データを不要として、動画の内容を的確に代表する代表画像を生成することができると共に、表示回数が閾値より多い領域の大きさと既定の最低解像度との関係に応じて、動画の内容を的確に代表する代表画像を生成することができる。
【００１７】
請求項４に記載の発明によれば、端末装置群に属する端末装置のユーザに最適化した代表画像を生成することができる。
【００１８】
請求項５に記載の発明によれば、動画の内容をより的確に代表する代表画像を生成することができる。
【００１９】
請求項６に記載の発明によれば、表示回数として少なくても、その前後に対して表示回数がピークとなった領域を含む代表画像を生成することができる。
【００２０】
請求項７に記載の発明によれば、表示回数がより多い領域を含む代表画像を生成して動画の内容を的確に代表させることができる。
【図面の簡単な説明】
【００２４】
【図１】本実施形態の通信システムの概要構成例を示す図である。
【図２】（ａ）ないし（ｃ）は、本実施形態の最大表示回数の算出をそれぞれ例示する図である。
【図３】（ａ）は本実施形態の最大表示回数のピーク値を例示する図である。（ｂ）は本実施形態の最大表示回数領域の切出しを例示する図である。（ｃ）は本実施形態の最大表示回数領域の切出しを例示する図である。（ｄ）は本実施形態の最大表示回数領域の切出しを例示する図である。（ｅ）は本実施形態の最大表示回数領域の切出しを例示する図である。
【図４】（ａ）は本実施形態のユーザクラスタリング処理を示すフローチャートである。（ｂ）は本実施形態の画像フレーム抽出処理を示すフローチャートである。（ｃ）は本実施形態のダイジェスト画像生成処理を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態を図面に基づいて説明する。
【００２６】
（１）通信システムの構成および動作概要
図１は、本実施形態の通信システムの概要構成例を示す図である。図１に示すように、通信システムＳは、配信サーバ１および複数のクライアント２を含んで構成される。本実施形態の配信サーバ１は、本発明のサーバ装置の一例である。クライアント２は、本発明の端末装置の一例である。配信サーバ１とクライアント２とはネットワークＮＷを介して通信可能になっている。ネットワークＮＷは、例えば、インターネット、携帯通信網、およびゲートウェイ等により構成される。
【００２７】
配信サーバ１は、例えばクライアント２からの要求に応じて、動画データを含むコンテンツをクライアント２へ送信する。動画データは複数の画像フレームから構成される動画を表すデータである。コンテンツは音声データを含んでいてもよい。コンテンツの送信は、例えばネットワークＮＷを介してＨＴＴＰ（Hyper Text Transfer Protocol）ライブストリーミングを用いて行われる。例えば配信サーバ１は、所定のビデオカメラによる撮影中に、ビデオカメラから送信されてくるコンテンツをリアルタイムで配信するライブ配信を実行してもよい。あるいは配信サーバ１は、コンテンツを予め記憶し、記憶しておいたコンテンツをオンデマンド配信してもよい。所定のビデオカメラで撮影された動画を例として、ビデオカメラの撮影範囲全領域の動画を全体動画ということにする。またビデオカメラの撮影範囲の一部の領域の動画を部分動画ということにする。配信サーバ１は、クライアント２のユーザによる後述する操作に基づいて指定された表示範囲内の領域の動画（全体動画の場合もあるし、部分動画の場合もある）を表す動画データを含むコンテンツを、クライアント２へ送信する。
【００２８】
クライアント２は、配信サーバ１から配信されてくるコンテンツを受信する。クライアント２は、受信したコンテンツを再生することにより、コンテンツに含まれる動画データにより表される動画を、後述する表示部２４ａの画面に表示させる。コンテンツの再生中、クライアント２は、後述する操作部２５ａを用いたユーザによる疑似的なカメラワーク操作を受け付ける。カメラワーク操作とは、撮影者がカメラを動かすことで、例えば被写体に対するカメラの位置、被写体に対するカメラの角度（向き）、および被写体のサイズを決める操作をいう。本実施形態では、全体動画を表す動画データを構成する複数の画像フレームにおける表示対象に対するカメラワーク（仮想カメラを動かすこと）を、ユーザがあたかも実際のカメラを動かすように操作部２５ａを操作して疑似的に行う。このような操作を、「表示範囲の変更操作」という。この表示範囲の変更操作により、ユーザは、全体動画の中で所望の表示範囲を指定可能となり、またその指定により表示範囲を変更することができる。表示範囲は、全体動画を構成する画像フレーム全体の中で表示部２４ａの画面に表示される範囲である。ユーザは、表示範囲の変更操作により、全体動画に対する表示範囲の位置座標を、画像フレームごとに異なるように指定することができる。このような変更操作の例として、パンおよびチルト操作がある。パンおよびチルト操作は、画像フレームに対する仮想カメラを基準とする視点の方向を変更する操作である。またユーザは、表示範囲の変更操作により、全体動画に対する表示範囲のサイズを拡大または縮小することができる。すなわちユーザは、表示される画像の内容を変更せずに、表示範囲のサイズを拡大または縮小することができる。これにより、表示範囲内の画像を拡大または縮小することができる。このような変更操作の例として、ズーム操作がある。ズーム操作は、画像フレームに対する上記視点からの画角を変更する操作である。ズーム操作には、ズームイン操作とズームアウト操作とがある。ズームインとは、画角を狭める動作をいう。ズームアウトとは、画角を広げる動作をいう。クライアント２は、ユーザの操作に基づいて特定された表示範囲内の領域の動画を表す動画データを含むコンテンツを、配信サーバ１から受信する。クライアント２は、受信された動画データに基づいて、全体動画のうち表示範囲内の領域の動画を表示部２４ａに表示させる。クライアント２は、例えば、パーソナルコンピュータ、スマートフォン、携帯電話、テレビ、テレビゲーム機等であってもよい。
【００２９】
一方、配信サーバ１は、コンテンツを再生するクライアント２からカメラワークデータのアップロードを受け付ける。カメラワークデータは、コンテンツの再生時間の経過に従って、そのクライアント２における動画の表示範囲を示す疑似的なカメラワークに関する情報である。カメラワークデータは、画像フレームに対する表示範囲の位置座標およびサイズと、その画像フレームの再生位置とのセットを、少なくとも表示範囲の変更操作が行われた再生位置ごとに含む。なお、表示範囲の位置座標およびサイズは、パン、チルト、およびズームで表すとよい。パンとは、ビデオカメラ（仮想カメラ）の左右振りをいう。チルトとは、ビデオカメラ（仮想カメラ）の上下振りをいう。ズームとは、表示倍率をいう。再生位置は、動画データの再生開始からの時間的な位置をいう。再生位置は、動画データの再生開始から経過した時間であるという点において、再生時間ともいう。カメラワークデータは本発明の範囲データの一例である。
【００３０】
ここで本実施形態の通信システムＳは、仮想クライアントシステムとして動作する。すなわち通信システムＳは、各クライアント２から送信されたカメラワークデータに基づき、そのクライアント２における表示範囲内の領域の動画を表す動画データを含むコンテンツを、配信サーバ１からそのクライアント２へ送信する。このとき配信サーバ１は、各クライアント２に送信すべき動画データを含むコンテンツを記憶部１２から読み出して、各クライアント２に送信する。これにより各クライアント２では、そのユーザの任意によるカメラワーク操作に対応した表示範囲の動画を表す動画データを含むコンテンツを受信して、表示部２４ａに表示することができる。
【００３１】
また配信サーバ１は、本実施形態のダイジェスト画像を生成する。本実施形態のダイジェスト画像は、各クライアント２に送信するコンテンツの内容を代表するダイジェスト画像である。本実施形態のダイジェスト画像は、コンテンツに含まれる動画データの一部、あるいはその動画データを構成する一または複数の静止画データにより構成されている。ダイジェスト画像を構成する静止画データは例えば、そのコンテンツの内容を代表する、いわゆるサムネイル画像である。ダイジェスト画像としての動画データまたは静止画データを、以下単に「ダイジェスト画像としての動画データ等」と称する。ダイジェスト画像としての動画データ等は、例えばクライアント２からの要求に応じて、そのクライアント２に配信される。ダイジェスト画像としての動画データ等を受信したクライアント２のユーザは、その動画データ等を再生することにより、そのダイジェスト画像により代表されるコンテンツの内容またはその概要を認識することができる。本実施形態のダイジェスト画像は、各クライアント２から送信されるカメラワークデータに基づいて生成される。生成されたダイジェスト画像としての動画データ等は、例えば配信サーバ１内に記憶され、クライアント２からの要求に応じて送信される。生成されたダイジェスト画像としての動画データ等のクライアント２への送信方法は、例えば、ダイジェスト画像により代表されるコンテンツのクライアント２への送信方法と同様の方法を用いることができる。本実施形態のダイジェスト画像の生成については、後ほど詳述する。
【００３２】
（２）各装置の構成
次に図１を参照して、本実施形態の通信システムＳに含まれる各装置の構成について説明する。配信サーバ１は図１に示すように、制御部１１、記憶部１２およびインターフェース部１３等を備えて構成される。これらの構成要素は、バス１４に接続されている。インターフェース部１３は、ネットワークＮＷに接続される。インターフェース部１３は本発明の取得手段の一例である。制御部１１は、コンピュータとしてのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）等により構成される。制御部１１はそれぞれ、本発明の算出手段の一例、抽出手段の一例および生成手段の一例である。記憶部１２は、例えばハードディスクドライブにより構成される。記憶部１２には、ＯＳ（Operating System）およびサーバプログラム等が記憶されている。サーバプログラムは、コンテンツまたはダイジェスト画像の送信処理等をＣＰＵに実行させるプログラムである。また記憶部１２には、コンテンツを構成する動画データおよび音声データが記憶される。動画データおよび音声データは、コンテンツＩＤ、および動画データまたは音声データのコンテンツにおける再生位置または再生時間と対応付けて記憶部１２に記憶される。コンテンツＩＤは、コンテンツを識別する識別情報である。
【００３３】
次にクライアント２は図１に示すように、制御部２１、記憶部２２、ビデオＲＡＭ２３、映像制御部２４、操作処理部２５、音声制御部２６およびインターフェース部２７等を備えて構成される。これらの構成要素は、バス２８に接続されている。映像制御部２４には、ディスプレイを備える表示部２４ａが接続される。制御部２１は、コンピュータとしてのＣＰＵ、ＲＯＭおよびＲＡＭ等により構成される。操作処理部２５には、操作部２５ａが接続される。操作部２５ａには、例えば、マウス、キーボード、リモコン等が含まれる。表示部２４ａと操作部２５ａとを兼ねるタッチパネルが適用されてもよい。制御部２１は、ユーザによる操作部２５ａからの操作指示を、操作処理部２５を介して受け付ける。音声制御部２６には、スピーカ２６ａが接続される。インターフェース部２７は、ネットワークＮＷに接続される。記憶部２２は、例えば、ハードディスクドライブまたはフラッシュメモリ等により構成される。記憶部２２には、ＯＳ、およびプレイヤーソフトウェア等が記憶されている。プレイヤーソフトウェアは、コンテンツまたはダイジェスト画像の受信および再生処理等をＣＰＵに実行させるプログラムである。
【００３４】
また配信サーバ１の記憶部１２は、上記カメラワークデータの受信処理等を制御部１１のＣＰＵに実行させるサーバプログラムも記憶している。さらに記憶部１２には、いずれかのクライアント２から受信したカメラワークデータが記憶される。各カメラワークデータは、コンテンツＩＤおよびユーザＩＤに対応付けて記憶部１２に記憶される。コンテンツＩＤは、対象のカメラワークデータが示す表示範囲でクライアント２により再生されていたコンテンツを示す。ユーザＩＤは、対象のカメラワークデータが示す疑似カメラワーク操作を行ったユーザを識別する識別情報である。また、ユーザＩＤは、そのユーザが利用するクライアント２を識別する情報でもある。なお、端末装置識別情報として、クライアント２のＩＰアドレス等が用いられてもよい。
【００３５】
（３）本実施形態のダイジェスト画像の生成および送信
次に図２および図３を参照して、本実施形態のダイジェスト画像の生成およびクライアント２への送信について説明する。図２は、本実施形態の最大表示回数の算出を例示する図である。図３は、本実施形態の最大表示回数のピーク値および本実施形態の最大表示回数領域の切出しをそれぞれ例示する図である。本実施形態の通信システムＳでは、クライアント２に配信されたコンテンツの内容を代表する本実施形態のダイジェスト画像が配信サーバ１において生成され、クライアント２からの要求に応じてそのクライアント２に送信される。配信サーバ１は、配信されたコンテンツについて各クライアント２から送信されたカメラワークデータに基づいて、そのコンテンツについてのダイジェスト画像を生成する。具体的に配信サーバ１は、各クライアント２において指定された表示範囲を示すカメラワークデータを受信する。そして配信サーバ１は、各クライアント２における後述の最大表示回数が、配信されたコンテンツに含まれていた動画データの再生時間軸においてピーク値または最大値となる画像の領域を含む画像フレームを用いて、そのコンテンツについてのダイジェスト画像を生成する。この場合の画像の領域は、一の画像フレームにおいて一または複数の画素からなる画像の領域である。すなわち、一のクライアント２へ配信されたコンテンツに含まれていた動画データを構成する画像フレームが、図２（ａ）に例示する画像フレームＧであるとする。そして、その画像フレームＧの中でそのクライアント２において指定された表示範囲が、図２に相当する表示範囲ＣＷ１であるとする。この表示範囲ＣＷ１は、画像フレームＧ内の領域であり、一または複数の画素により構成されている。この場合にそのクライアント２からは、表示範囲ＣＷ１を示すカメラワークデータが送信される。そして図２（ａ）の場合、表示範囲ＣＷ１の内側の領域の画像のクライアント２における表示回数は、１回である。表示範囲ＣＷ１の内側の領域の画像は、表示範囲ＣＷ１を示すカメラワークデータを送信した一のクライアント２において表示されたからである。これに対し、画像フレームＧにおける表示範囲ＣＷ１の外側の領域の画像は、いずれのクライアント２でも表示されていない。よって、画像フレームＧにおける表示範囲ＣＷ１の外側の領域の画像のクライアント２における表示回数は、０回である。なお図２（ａ）ないし図２（ｃ）では、画像フレームＧの領域（すなわち一または複数の画素からなる領域）ごとのクライアント２における表示回数が、かっこ書きで示されている。なお表示回数は、換言すれば、その画像フレームＧの領域の画像が表示されたクライアント２の数でもある。次に、画像フレームＧから構成される動画データを含むコンテンツが例えば三つのクライアント２に送信されているとすると、各クライアント２からは、例えば図２（ｂ）に例示する表示範囲ＣＷ１ないし表示範囲ＣＷ３をそれぞれ示すカメラワークデータが送信される。ここで、各クライアント２において指定された表示範囲ＣＷ１ないし表示範囲ＣＷ３の画像フレームＧにおける位置が、図２（ｂ）に例示する位置だったとする。この場合に、表示範囲ＣＷ１ないし表示範囲ＣＷ３には、画像フレームＧ内において図２（ｂ）に例示する重複範囲が生じる。そして図２（ｂ）に例示する場合における画像フレームＧの領域ごとの画像のクライアント２における表示回数は、図２（ｂ）においてかっこ書きで示される表示回数となる。すなわち例えば図２（ｂ）において４５度のハッチングで示すように、表示範囲ＣＷ１の内側で且つ表示範囲ＣＷ２および表示範囲ＣＷ２の外側の領域の画像のクライアント２における表示回数は、１回である。一方、表示範囲ＣＷ１および表示範囲ＣＷ２の内側で且つ表示範囲ＣＷ３の外側領域の画像のクライアント２における表示回数は、２回である。さらに、図２（ｂ）においてクロスハッチングで示すように、表示範囲ＣＷ１ないし表示範囲ＣＷ３すべての内側の領域の画像のクライアント２における表示回数は、３回である。そして、クライアント２におけるその画像の表示回数が表示範囲ＣＷ１ないし表示範囲ＣＷ３すべての内側の領域よりも多い領域は、図２（ｂ）に例示する画像フレームＧ内には存在しない。よって、図２（ｂ）に例示する画像フレームＧ内の領域の画像のクライアント２における表示回数の最大値は、「３」である。なお以下の説明において、画像フレームＧ内の領域のクライアント２における表示回数の最大値を、単に「最大表示回数」と称する。すなわち、図２（ｂ）に例示する画像フレームＧに対応する最大表示回数は、「３」である。次に、画像フレームＧから構成される動画データを含むコンテンツが例えば七つのクライアント２に送信されているとすると、各クライアント２からは、例えば図２（ｃ）に例示する表示範囲ＣＷ１ないし表示範囲ＣＷ７をそれぞれ示すカメラワークデータが送信される。ここで、各クライアント２において指定された表示範囲ＣＷ１ないし表示範囲ＣＷ７の画像フレームＧにおける位置が、図２（ｃ）に例示する位置だったとする。この場合に、表示範囲ＣＷ１ないし表示範囲ＣＷ７には、画像フレームＧ内において図２（ｃ）に例示する重複範囲が生じる。そして図２（ｃ）に例示する場合における画像フレームＧの領域ごとの画像の表示回数は、図２（ｃ）においてかっこ書きで示される表示回数となる。すなわち例えば図２（ｃ）において４５度のハッチングで示すように、表示範囲ＣＷ４の内側で且つ表示範囲ＣＷ１ないし表示範囲ＣＷ３および表示範囲ＣＷ５ないし表示範囲ＣＷ７の外側の領域の画像のクライアント２における表示回数は、１回である。一方、例えば図２（ｃ）において１３５度のハッチングで示すように、表示範囲ＣＷ４および表示範囲ＣＷ２の内側で且つ表示範囲ＣＷ５の外側の領域の画像のクライアント２における表示回数は、２回である。さらに、図２（ｃ）においてクロスハッチングで示すように、表示範囲ＣＷ１ないし表示範囲ＣＷ５すべての内側の領域の画像のクライアント２における表示回数は、５回である。そして、クライアント２における表示回数が表示範囲ＣＷ１ないし表示範囲ＣＷ５すべての内側の領域よりも多い領域は、画像フレームＧ内には存在しない。よって、図２（ｃ）に例示する画像フレームＧに対応する最大表示回数は、「５」である。本実施形態の配信サーバ１は、通信システムＳに属する各クライアント２からのカメラワークデータに基づき、最大表示回数を、図２に例示するように画像フレームＧごとに算出する。配信サーバ１は、算出した画像フレームＧごとの最大表示回数を、一時的に例えば記憶部１２に記憶する。そして配信サーバ１は、ダイジェスト画像により代表されるコンテンツの全体または一部について、その再生時間に応じた最大表示回数を画像フレームＧごとに検出する。ここで上記画像フレームＧは、コンテンツの再生に従った再生タイミングでクライアント２において表示される。よって画像フレームＧは、それが対応しているコンテンツの再生時間に、クライアント２において表示される。すなわち上記コンテンツの再生時間に応じた最大表示回数は、再生時間を横軸とし、最大表示回数を縦軸とすると、例えば図３（ａ）に例示する変化をする。なお図３（ａ）の横軸は、再生時間に代えて予め設定された再生タイミングからの画像フレーム数であってもよい。ここで図３（ａ）に例示する場合において、前後の再生時間に対して最大表示回数がピーク値を取るタイミングが、再生時間で４０秒、１９０秒および２８０秒であったとし、その場合のピークがそれぞれピークＰ１ないしピークＰ３となったとする。最大表示回数がピークＰ１ないしピークＰ３となるということは、ピークＰ１ないしピークＰ３に対応する画像フレームが、その前後の画像フレームよりも多くのクライアント２において表示されていることを意味する。そしてこの場合、ピークＰ１ないしピークＰ３のそれぞれに対応する画像フレームの内容が、図３（ａ）により最大表示回数の変化が示されるコンテンツの内容を代表しているといえる。そこで配信サーバ１は、図３（ａ）に例示する場合には、ピークＰ１ないしピークＰ３に対応する画像フレームに基づいて、図３（ａ）により最大表示回数の変化が示されるコンテンツの内容を代表するダイジェスト画像を生成する。なお、最大表示回数が再生時間に沿って単純に増加または減少するのみのコンテンツの場合は、上述したようなピークＰ１等ではなく、最大表示回数の最大値に対応する画像フレームに基づいてそのコンテンツの内容を代表するダイジェスト画像を生成してもよい。この場合、最大表示回数の上記最大値に対応する画像フレームが、上記ピークＰ１等に対応する画像フレームに対応する。また配信サーバ１は、画像フレームごとの最大表示回数に代えて、画像フレーム内の領域のクライアント２における表示回数が予め設定された閾値以上となる領域に基づいてダイジェスト画像を生成してもよい。その後配信サーバ１は、生成されたダイジェスト画像としての動画データ等を、クライアント２からの要求に応じてそのクライアント２に送信する。
【００３６】
次に、図３（ａ）により最大表示回数の変化が示されるコンテンツの内容を代表するダイジェスト画像の生成方法について、具体的に図３（ｂ）および図３（ｅ）を用いて説明する。以下の説明では、図３（ａ）に示すピークＰ２に対応する画像フレームに基づいたダイジェスト画像の生成を例として説明する。ピークＰ２に対する画像フレームに基づいて本実施形態のダイジェスト画像を生成する場合、配信サーバ１は先ず、ピークＰ２に対する画像フレームに基づき、全体動画を表す動画データからダイジェスト画像の生成に用いる画像フレームを抽出する。ここで配信サーバ１による画像フレームの抽出方法としては、二通りの方法が考えられる。第１の抽出方法は図３（ｂ）に例示するように、再生時間におけるピークＰ２のタイミングを含んでそのタイミングの前後の予め設定された再生時間ＤＡ１に再生された画像フレームを抽出する方法である。すなわち配信サーバ１は、画像フレーム抽出の第１の方法として、最大表示回数が動画データの再生時間軸に対してピークＰ２となったタイミングを含んでその前後の予め設定された再生時間に再生された画像フレームを動画データから抽出する。この場合に配信サーバ１は、再生時間におけるピークＰ２のタイミングの前後の例えば５秒間に再生された合計１０秒分の画像フレームを抽出する。第２の抽出方法は図３（ｃ）に例示するように、再生時間におけるピークＰ２としての最大表示回数に対して予め設定された１未満の係数を乗じて得られる最大表示回数以上の最大表示回数に対応した再生時間ＤＡ２に再生された画像フレームを抽出する方法である。すなわち配信サーバ１は、画像フレーム抽出の第２の方法として、最大表示回数が予め設定された値（割合）以上である画像フレームを動画データから抽出する。この場合配信サーバ１は、ピークＰ２における最大表示回数に対して予め設定された例えば係数０．９を乗じて得られる最大表示回数Ｌ以上の最大表示回数に対応した再生時間ＤＡ２に再生された画像フレームを抽出する。
【００３７】
配信サーバ１は次に、図３（ｂ）または図３（ｃ）に例示する方法を用いて抽出した画像フレームから、その画像フレームにおけるダイジェスト画像生成用の領域を切り出す。配信サーバ１は、例えば通信システムＳによるコンテンツの配信において予め設定されている、各クライアント２における表示の最低解像度およびアスペクト比に基づいて、ダイジェスト画像生成用の領域を画像フレームから切り出す。ダイジェスト画像用の画像フレームの領域は、一または複数の画素からなる領域である。ここで配信サーバ１によるダイジェスト画像生成用の画像フレームの領域の切出し方法としては、二通りの方法が考えられる。第１の切出し方法は図３（ｄ）に例示するように、ダイジェスト画像の生成に用いる画像フレームＧにおいて、その画像フレームＧにおける最大表示回数の領域Ｍの大きさが上記最低解像度以下である場合の切出し方法である。この場合に配信サーバ１は、図３（ｄ）に例示する最大表示回数の領域Ｍの中心を中心とした上記最低解像度分の大きさの領域ＡＲを、ダイジェスト画像生成用として画像フレームＧから切り出す。この場合に、図３（ｄ）に例示する最大表示回数の領域Ｍは、最低解像度分の大きさの領域ＡＲよりも小さくなる。第２の切出し方法は図３（ｅ）に例示するように、ダイジェスト画像の生成に用いる画像フレームＧにおいて、その画像フレームＧにおける最大表示回数の領域Ｍの大きさが上記最低解像度より大きい場合の切出し方法である。この場合に配信サーバ１は、図３（ｅ）に例示する最大表示回数の領域Ｍを含み、かつ上記アスペクト比となる領域ＡＲを、ダイジェスト画像生成用として画像フレームＧから切り出す。
【００３８】
そして配信サーバ１は、図３（ｂ）または図３（ｃ）のいずれかに例示される抽出方法により抽出した画像フレームＧから図３（ｄ）または図３（ｅ）のいずれかに例示される切出し方法により切り出した領域ＡＲを用いて、図３（ａ）により最大表示回数の変化が示されるコンテンツの内容を代表するダイジェスト画像を生成する。配信サーバ１は、図３（ａ）に例示するピークＰ１ないしピークＰ３について、ダイジェスト画像の生成を繰り返す。そして配信サーバ１は、生成されたダイジェスト画像を一時的に記憶部１２に記憶し、クライアント２からの要求に応じてそのクライアント２に送信する。
【００３９】
なお配信サーバ１は、通信システムＳを構成する複数のクライアント２を、例えば予め設定されたそれぞれのユーザの属性に基づいて予め分類し、その分類したクライアント群ごとに対応付けて本実施形態のダイジェスト画像を生成してもよい。この場合にクライアント２の複数のクライアント群への分類は、換言するとそのクライアント２のユーザの分類でもある。このような分類を以下「クラスタリング」と称する。また分類されたクライアント群のそれぞれを、以下「クラスタ」と称する。この場合に配信サーバ１は、分類したクラスタをそれぞれ示す情報を、それに属するクライアント２を識別するユーザＩＤとともに記憶部１２に記憶する。そして配信サーバ１は、各クラスタに属するクライアント２からのカメラワークデータをクラスタごとに受信し、クラスタごとに最大表示回数を算出し、クラスタごとに図３（ａ）に例示される再生時間に対する最大表示回数の変化を検出する。配信サーバ１は、検出した最大表示回数の変化に基づき、そのピークに対応する画像フレームを用いた本実施形態のダイジェスト画像をクラスタごとに生成する。配信サーバ１は、生成したダイジェスト画像を、その生成に用いられたカメラワークデータを送信したクライアント２が属するクラスタごとに送信する。
【００４０】
また、ピークＰ１ないしピークＰ３にそれぞれ対応する一の画像フレームにおいて最大表示回数の領域が複数ある場合、これら複数の領域を用いてダイジェスト画像を生成してもよい。さらに、生成されたダイジェスト画像の利用方法としては、例えば、配信可能なコンテンツを一覧表示するリスト画面や、各コンテンツの説明用画面等での利用が考えられるが、この他に、再生中のコンテンツにおけるシーン選択等で利用してもよい。また本実施形態のダイジェスト画像は、上記オンデマンド配信だけでなく、ライブ配信でも利用可能である。このライブ配信での利用の場合、リアルタイムにダイジェスト画像の生成処理を行い、例えばライブにおける休憩時間等においてそれを表示してもよい。さらに、例えばライブへの途中参加者（途中からの観覧者）に対してダイジェスト画像を提示することで、そのライブへのいわゆるキャッチアップを容易にすることに利用してもよい。
【００４１】
（４）通信システムＳの動作
次に、図４を参照して、通信システムＳの動作について説明する。図４（ａ）は本実施形態のユーザクラスタリング処理を示すフローチャートである。図４（ｂ）は本実施形態の画像フレーム抽出処理を示すフローチャートである。図４（ｃ）は本実施形態のダイジェスト画像生成処理を示すフローチャートである。
【００４２】
（Ｉ）配信サーバ１におけるユーザクラスタリング処理
図４（ａ）を参照して、本実施形態のユーザクラスタリング処理について説明する。本実施形態の通信システムＳにおける配信サーバ１の制御部１１は、例えば予め設定された期間ごとに、図４（ａ）に示すユーザクラスタリング処理を開始する。先ず制御部１１は、ステップＳ１において、各クライアント２のユーザの特徴を示すユーザ特徴量を算出する。ここで、例えばあるユーザが、通信システムＳによりコンテンツの配信を受けるために通信システムＳへの参加を要求する際には、そのユーザを示す予め設定されたユーザ情報が、そのユーザを識別するユーザＩＤに関連付けて記憶部１２に記憶される。なおこの場合のユーザ情報としては、例えばそのユーザの年齢を示す年齢情報や、そのユーザの性別を示す性別情報、またはそのユーザの趣味や嗜好を示す趣味情報等が挙げられる。また制御部１１は、通信システムＳに含まれる各クライアント２における過去のコンテンツの視聴履歴情報を、ユーザＩＤおよびコンテンツＩＤに関連付けて記憶部１２に記憶している。そしてステップＳ１として制御部１１は、ユーザ毎に記憶されている上記ユーザ情報および上記視聴履歴情報に基づき、予め設定された方法により、各ユーザの特徴を示すユーザ特徴量をユーザ毎に算出する。そして制御部１１は、ステップＳ１で算出されたユーザ特徴量に基づき、例えば階層クラスタリング法等の従来のクラスタリング手法を用いて、その時点で通信システムＳに含まれているクライアント２のユーザをクラスタリングする（ステップＳ２）。このステップＳ２により、ユーザ特徴量に応じたユーザのクラスタが生成される。そして制御部１１は、ステップＳ２で生成されたクラスタを示す情報を、それに属するクライアント２を識別するユーザＩＤとともに記憶部１２に記憶する（ステップＳ３）。その後制御部１１は、ユーザクラスタリング処理を終了する。
【００４３】
（II）配信サーバ１における画像フレーム抽出処理
図４（ｂ）を参照して、本実施形態の画像フレーム抽出処理について説明する。以下に説明する画像フレーム抽出処理は、複数の画像フレームからなる動画として本実施形態のダイジェスト画像を生成する場合の画像フレーム抽出処理である。本実施形態の画像フレーム抽出処理は、本実地形態のダイジェスト画像の生成用に、ダイジェスト画像を生成するコンテンツのシーンを抽出する処理である。配信サーバ１の制御部１１は、例えばその管理者からの指示に基づき、配信済みのあるコンテンツについての本実施形態のダイジェスト画像を動画として生成する場合、初めに図４（ｂ）に示す本実施形態の画像フレーム抽出処理を行う。先ず制御部１１は、ステップＳ１０において、図４（ａ）に示すユーザクラスタリング処理により生成されたクラスタごとに、そのクラスタに属するクライアント２から送信されたカメラワークデータを記憶部１２から抽出して集計する（図２（ｂ）または図２（ｃ）参照）。すなわち制御部１１は、各クライアント２におけるコンテンツの表示範囲を示すカメラワークデータを、各クライアント２からクラスタごとに取得して記憶部１２に記憶しておき、それを抽出して集計する。次に制御部１１は、ステップＳ１０で集計したカメラワークデータに基づいて、図２または図３を用いて説明した方法により、各画像フレームにおける最大表示回数を算出する（ステップＳ１１）。すなわち制御部１１は、取得されているカメラワークデータに基づいて、画像フレーム内の既定領域ごとの最大表示回数を、画像フレームごとに算出する。次に制御部１１は、各画像フレームについて算出された最大表示回数に対して予め設定された例えば移動平均処理を用いたいわゆるスムージング処理を施す（ステップＳ１２）。次に制御部１１は、ステップＳ１２の結果を用いてそのコンテンツにおける最大表示回数のピーク値を算出する（ステップＳ１３）。ステップＳ１３で算出されるピーク値は、例えば図３（ａ）に例示するピークＰ１ないしピークＰ３それぞれにおける最大表示回数である。次に制御部１１は、ステップＳ１３において算出されたピーク値を、再生時間の順（図３（ａ）参照）から、ピーク値についての降順に並べ替える。さらに制御部１１は、並び替えられたピーク値の中から、ピーク値が最大のものから順に、ダイジェスト画像の生成に用いる画像フレームの数だけピーク値を抽出し、その抽出されたピーク値に対応する複数の画像フレームを記憶部１２から抽出する（ステップＳ１４）。すなわち制御部１１は、算出された最大表示回数に基づいて、その最大表示回数に対応する複数の画像フレームを抽出する。より具体的に制御部１１は、ステップＳ１４の第１例として、抽出されたピーク値をそれぞれに有する各ピーク（その一例は図３（ｂ）に例示するピークＰ２である）の再生時間におけるタイミングを含んでそのタイミングの前後の予め設定された再生時間（図３（ｂ）符号「ＤＡ１」参照）に再生された複数の画像フレームを抽出する。このステップＳ１４の第１例は、図３（ｂ）を用いて説明した第１の抽出方法に相当する。あるいは制御部１１は、ステップＳ１４の第２例として、抽出されたピーク値をそれぞれに有する各ピーク（その一例は図３（ｃ）に例示するピークＰ２である）に対して予め設定された１未満の係数を乗じて得られるピーク値（図３（ｃ）符号「Ｌ」参照）以上のピーク値に対応した再生時間（図３（ｃ）符号「ＤＡ２」参照）に再生された複数の画像フレームを抽出する。このステップＳ１４の第２例は、図３（ｃ）を用いて説明した第２の抽出方法に相当する。その後制御部１１は、本実施形態の画像フレーム抽出処理を終了する。
【００４４】
（III）配信サーバ１におけるダイジェスト画像生成処理
図４（ｃ）を参照して、本実施形態のダイジェスト画像生成処理について説明する。以下に説明するダイジェスト画像生成処理は、複数の画像フレームからなる動画として本実施形態のダイジェスト画像を生成する場合のダイジェスト画像生成処理である。配信サーバ１の制御部１１は、例えば図４（ｂ）に示す画像フレーム抽出処理が終了したタイミングから、図４（ｃ）に示すダイジェスト画像生成処理を開始する。図４（ｃ）に示すダイジェスト画像生成処理は例えば、図４（ｂ）のステップＳ１４において抽出された各ピーク値のピークについて実行される。先ず制御部１１は、ステップＳ２０において、図４（ｂ）に示す画像フレーム抽出処理により各ピークに対応して抽出された各画像フレームの中から、本実施形態のダイジェスト画像生成処理の対象とする画像フレームを選択する。次に制御部１１は、ステップＳ２１において、ステップＳ２０で選択した画像フレームにおける最大表示回数の領域（図３（ｄ）または図３（ｅ）符号Ｍ参照）の大きさを示す情報を取得する。次に制御部１１は、ステップＳ２１で取得した領域の大きさが、通信システムＳにおける予め設定された上記最低解像度よりも大きいか否かを判定する（ステップＳ２２）。ステップＳ２２の判定において、その画像フレームにおける最大表示回数の領域の大きさが最低解像度以下である場合（ステップＳ２２：ＮＯ）、制御部１１は、その最大表示回数の領域Ｍの中心を中心とした最低解像度分の大きさを有しかつ上記アスペクト比となる領域を、ダイジェスト画像生成用として、ステップＳ２０で選択した画像フレームから切り出す（ステップＳ２４、図３（ｄ）参照）。すなわち制御部１１は、算出された最大表示回数に基づいて、最大表示回数となる画像フレームの領域を抽出する。一方ステップＳ２２の判定において、その画像フレームにおける最大表示回数の領域の大きさが最低解像度より大きい場合（ステップＳ２２：ＹＥＳ）、制御部１１は、その最大表示回数の領域を含み、かつ上記アスペクト比となる領域を、ダイジェスト画像生成用として、ステップＳ２０で選択した画像フレームから切り出す（ステップＳ２３、図３（ｅ）参照）。その後制御部１１は、ステップＳ２３またはステップＳ２４においてステップＳ２０で選択した画像フレームから切り出された領域を用いて、配信済みの上記コンテンツの内容を代表するダイジェスト画像を生成し、それを記憶部１２に記憶する（ステップＳ２５）。すなわち制御部１１は、切り出された領域に基づいて、コンテンツの内容を代表するダイジェスト画像を生成する。より具体的に制御部１１は、ステップＳ２０で選択した画像フレームからステップＳ２３またはステップＳ２４において切り出された領域を用いて、その画像フレームとしてそのコンテンツの内容を代表するダイジェスト画像を生成する。その後制御部１１は、図４（ｂ）に示す画像フレーム抽出処理により各ピークについて抽出された画像フレームの全てについて本実施形態のダイジェスト画像生成処理が終了したか否かを判定する（ステップＳ２６）。ステップＳ２６の判定において、図４（ｂ）に示す画像フレーム抽出処理によりピーク値ごとに抽出された画像フレームの全てについてダイジェスト画像生成処理が終了していない場合（ステップＳ２６：ＮＯ）、制御部１１は上記ステップＳ２０に戻り、ダイジェスト画像生成処理の対象とする次の画像フレームを選択する。一方ステップＳ２６の判定において、図４（ｂ）に示す画像フレーム抽出処理により各ピーク値について抽出された画像フレームの全てについてダイジェスト画像生成処理が終了している場合（ステップＳ２６：ＹＥＳ）、制御部１１はそのままダイジェスト画像生成処理を終了する。なお図４（ｃ）に示す本実施形態のダイジェスト画像生成処理により生成されたダイジェスト画像としての動画データ等は、例えば、図４（ｂ）ステップＳ１０のクラスタごとに、そのクラスタに属するクライアント２からの要求に応じてそのクライアント２に送信される。
【００４５】
以上説明したように、本実施形態によれば、各クライアント２から取得されたカメラワークデータに基づいて、画像フレーム内の領域ごとのクライアント２における表示回数を画像フレームごとに算出する。そして、算出された表示回数が予め設定された基準（例えば最大表示回数または既定の閾値以上の表示回数）を満たす画像フレームの領域を抽出し、その抽出された領域に基づいてダイジェスト画像を生成する。よって、メタデータ等の追加データを不要として、コンテンツの内容を的確に代表するダイジェスト画像を生成することができる。
【００４６】
なお、静止画としてダイジェスト画像を生成する場合に制御部１１は、図４（ｂ）のステップＳ１４で抽出されたピーク値それぞれを有する各画像フレームのみ（すなわち、最大表示回数がピーク値となる各画像フレームのみ）を抽出する。そして制御部１１は、抽出した各画像フレームから図４（ｃ）に示す方法により切り出した領域を用いて、各画像フレームにより構成される動画データを含むコンテンツの内容を代表するダイジェスト画像を生成する。また制御部１１は、図４（ｂ）のステップＳ１４で抽出されたピーク値それぞれを有する各画像フレームの前後で、例えば所定の再生時間ごとに再生される画像フレームを用いてダイジェスト画像を生成してもよい。
【符号の説明】
【００４７】
１    配信サーバ
２    クライアント
１１、２１    制御部
１２、２２    記憶部
１３、２７    インターフェース部
２４ａ    表示部
２５ａ    操作部
Ｓ    通信システム
ＮＷ    ネットワーク
Ｇ    画像フレーム
Ｐ１、Ｐ２、Ｐ３    ピーク
ＤＡ１、ＤＡ２    再生時間
Ｍ、ＡＲ    領域
【図１】
0006623905.tif 000002
【図２】
0006623905.tif 000003
【図３】
0006623905.tif 000004
【図４】
0006623905.tif 000005