(57)【要約】  画像フレームゾーンを、ユーザ嗜好に従って個別ユーザに的を絞ったコンテンツでオーバーレイすることにより、ビデオの的を絞るスケーラブルかつ柔軟なソリューションを提供する。ビデオシーケンスを処理して、的を絞ったコンテンツでオーバーレイするオーバーレイ可能なゾーンを含む画像フレームシーケンスを決定する。コンテンツオーバーレイ操作のためにこれらのフレームとこれらのゾーンを記述するフィーチャが、未修正のビデオシーケンスに関連するメタデータに格納される。ビデオがユーザに送信されるとき、メタデータを用いて、オーバーレイ可能なゾーン中にコンテンツをオーバーレイし、それによりコンテンツがユーザの嗜好に従って選択される。
2016509811.tif 000002
【特許請求の範囲】
【請求項１】
ビデオの画像フレーム中に、的を絞ったコンテンツを提供する方法であって、サーバデバイスに実装され、
的を絞ったコンテンツでオーバーレイする画像ゾーンを有する前記ビデオ中の画像フレームシーケンスを決定し、前記ビデオに、決定された前記画像フレームシーケンスと前記画像ゾーンとを記述するフィーチャを含むメタデータを関連付けるステップと、
ユーザから前記ビデオの送信要求を受信するステップと、
前記ビデオの、前記メタデータにより記述された画像フレームシーケンスの画像ゾーンを、関連付けられた前記メタデータに従って、及び前記ユーザのユーザ嗜好に従って的を絞ったコンテンツでオーバーレイするステップと、
前記ビデオを前記ユーザに送信するステップと、
を有することを特徴とする方法。
【請求項２】
前記オーバーレイするステップは、前記的を絞ったコンテンツを、前記画像フレームシーケンス中の画像ゾーンの変化するグラフィカルフィーチャに動的に適応させるステップを有する、請求項１に記載の方法。
【請求項３】
前記決定するステップは、グラフィックスとして安定した画像ゾーンを含む画像フレームシーケンスを検出するステップを有する、請求項１または２に記載の方法。
【請求項４】
前記グラフィカルフィーチャは前記画像ゾーンの幾何学的歪みを含む、
請求項２または３に記載の方法。
【請求項５】
前記グラフィカルフィーチャは前記画像ゾーンの光度を含む、
請求項２ないし４いずれか一項に記載の方法。
【請求項６】
前記グラフィカルフィーチャは前記画像ゾーンの比色分析情報を含む、
請求項２ないし５いずれか一項に記載の方法。
【請求項７】
前記フィーチャは前記画像フレームシーケンスが属するシーンの記述を含む、
請求項１ないし６いずれか一項に記載の方法。
【請求項８】
決定された前記ビデオの画像フレームシーケンスの各々がピクチャ群で始まるように、前記ビデオを再符号化するステップをさらに有する、請求項１ないし７いずれか一項に記載の方法。
【請求項９】
決定された前記画像フレームシーケンスの各々が閉じたピクチャ群を用いて符号化されるように、前記ビデオを再符号化するステップをさらに有する、請求項１ないし８いずれか一項に記載の方法。
【請求項１０】
決定された前記画像フレームシーケンスは、前記ビデオの他の画像フレームシーケンスより低い圧縮レートを用いて符号化される、請求項１ないし９いずれか一項に記載の方法。
【請求項１１】
前記メタデータは前記ビデオ中の決定された前記画像フレームシーケンスを参照するユニフォームリソースロケータ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒｓ）を含む、請求項１ないし１０いずれか一項に記載の方法。
【請求項１２】
ビデオの画像フレーム中に、的を絞ったコンテンツを提供するサーバデバイスであって、
的を絞ったコンテンツでオーバーレイする画像ゾーンを有する前記ビデオ中の画像フレームシーケンスを決定し、前記ビデオに、決定された前記画像フレームシーケンスと前記画像ゾーンとを記述するフィーチャを含むメタデータを関連付ける決定器と、
前記ビデオの送信を求めるユーザの要求を受信するネットワークインタフェースと、
前記ビデオの、前記メタデータにより記述された画像フレームシーケンスの画像ゾーンを、関連付けられた前記メタデータに従って、及び前記ユーザのユーザ嗜好に従って的を絞ったコンテンツでオーバーレイするコンテンツオーバーレイヤと、
前記ユーザに前記ビデオを送信するネットワークインタフェースと、
を有するサーバデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば的を絞った（ｔａｒｇｅｔｅｄ）広告などの的を絞ったコンテンツ（ｔａｒｇｅｔｅｄ  ｃｏｎｔｅｎｔ）の、ビデオシーケンス中へのオーバーレイの分野に関する。
【背景技術】
【０００２】
ユーザが見るビデオにおけるオーディオ／ビデオコンテンツの的を絞ることにより、コンテンツプロバイダーは追加収益を生むことができ、ユーザは自分の個人的な嗜好に合わせて拡張されたコンテンツ（ａｕｇｍｅｎｔｅｄ  ｃｏｎｔｅｎｔ）のサービスを受けることができる。コンテンツプロバイダーの場合、追加収益は、的を絞ったコンテンツによる影響を受けた顧客から得られる。的を絞ったコンテンツには複数の形式があり、例えばビデオコンテンツ間に挿入されたコマーシャルの時間などがある。特許文献１は、ユーザに最も関係が深く興味を引くと予想される適当なコマーシャルコンテンツをビデオコンテンツ間に挿入するため、ユーザの嗜好に合わせたＵＲＬを含む動的マニフェストファイルを提供することを記載している。広告コンテンツは、ユーザ追跡プロファイルに従って的を絞られ準備されていて、ユーザに対して最も関係が深く興味を引くと予想されるロール前、ロール中またはロール後の適当な広告コンテンツを付加する。特許文献２は同様の試みを記載している。コンテンツ配信システムがコンテンツストリーム要求を受信した時、コンテンツストリームを表すメディアセグメントファイルの順序付きリストと、広告セグメントを挿入するためのメディアストリーム中の接合点を表す接合点タグとを含むプレイリストが用いられる。プレイリスト中の挿入位置は接合点タグに基づき特定され、接合点の一つの一に挿入される広告セグメントが選択され、ビデオディスプレイデバイスに修正されたプレイリストが送信される。しかし、ＤＶＲやＰＶＲ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｒｅｃｏｒｄｅｒｓ／Ｐｅｒｓｏｎａｌ  Ｖｉｄｅｏ  Ｒｅｃｏｒｄｅｒｓ）の、再生及びオンデマンドＴＶ及びタイムシフト機能の出現で、ユーザは、ビデオコンテンツ間に挿入されたコマーシャル時間をスキップできる早送りなどのトリックモードコマンドにアクセスしている。コンテンツプロバイダーにとっては、広告がスキップされることは収益が失われることを表す。それゆえ、他の技術的ソリューション、例えばビデオの画像フレームへの広告のオーバーレイなど、が開発されている。特許文献３は、ビデオをユーザにストリーミングしている間に、的を絞った広告コンテンツをビデオフレームにオーバーレイすることを記載している。「グリーンスクリーニング」や「クロマキー」法が用いられている。これは、フィルム化する前にシーンに広告スクリーニングエリアを設けることにより、ビデオの準備を必要とする。広告スクリーニングエリアは、そのシーン中の他のコンポーネントからそのエリアを区別できるようにする特徴を有している。ビデオがユーザにストリーミングされるとき、広告スクリーニングエリアはそれを区別する特徴に基づきビデオフレーム中で特定され、その広告スクリーニングエリアの画像がデモグラフィックデータに基づき選択される広告イメージにより置き換えられる。広告により絞められていない広告スクリーニングエリアは、フィラー（ｆｉｌｌｅｒ）により置き換えられる。しかし、この先行技術には、ビデオ中に広告スクリーニングエリアを生成するため、広告スクリーニングエリアをフィルム化可能シーンに用意しなければならないという欠点がある。これにより��この手法は、フィルム化されておらず広告スクリーニングエリアを含むように用意ができていない既存のビデオコンテンツには適用しにくい又はできないことになる。使用されていない広告スクリーニングエリアを含むシーンでは、広告スクリーニングエリアはフィラー（ｆｉｌｌｅｒｓ）で置き換えられ、これらのシーンでは（フィルム化の際に使用できたであろう）利用可能エリアの損失となる。さらに、ビデオ中の広告スクリーニングエリアを知るため、ビデオフレーム中の広告スクリーニングエリアを認識するため、ビデオのビデオ処理を行うが、ビデオ処理は大きな計算能力を必要とするタスクであることが知られている。ビデオコンテンツ中のユーザに的を絞った広告の先行技術のソリューションは、このように回避することが容易であり、柔軟性を欠いている。
【０００３】
このように、先行技術のソリューションに関する問題の幾つかを解決する最適化されたソリューションへの必要性がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１２／００４７５４２Ａ１号
【特許文献２】米国特許出願公開第２０１２／０１３７０１５Ａ１号
【特許文献３】国際出願公開第ＷＯ０２／３７８２８Ａ２号
【発明の概要】
【０００５】
本発明の目的は、背景技術欄で説明した先行技術の問題の少なくとも一部を、ビデオの画像フレームに的を絞ったコンテンツを提供する方法とデバイスにより、解決することである。
本発明は、サーバデバイスに実装された、ビデオの画像フレームに的を絞ったコンテンツ（ｔａｒｇｅｔｅｄ  ｃｏｎｔｅｎｔ）を提供する方法を含む。該方法は、的を絞ったコンテンツをオーバーレイする画像ゾーンを有するビデオの画像フレームのシーケンスを決定し、前記ビデオに、決定された画像フレームシーケンスと前記画像ゾーンとを記述するフィーチャを含むメタデータを関連付けるステップと、ユーザから前記ビデオの送信要求を受信するステップと、前記ビデオの、前記メタデータにより記述された画像フレームシーケンスの画像ゾーンを、関連付けられたメタデータに従って、及びユーザのユーザ嗜好に従って的を絞ったコンテンツでオーバーレイするステップと、前記ユーザへの前記ビデオの送信を行うステップとを有する。
本方法の一実施形態では、前記オーバーレイするステップは、前記的を絞ったコンテンツの、画像フレームシーケンスの画像ゾーンの変化するグラフィカルフィーチャへの動的適応するステップを有する。
本方法の一実施形態では、前記決定するステップは、グラフィックスとして安定した画像ゾーンを含む画像フレームシーケンスを検出するステップを有する。
本方法の一実施形態では、前記グラフィカルフィーチャは前記画像ゾーンの幾何学的歪みを含む。
本方法の一実施形態では、前記グラフィカルフィーチャは前記画像ゾーンの光度を含む。
本方法の一実施形態では、前記グラフィカルフィーチャは前記画像ゾーンの比色分析情報を含む。
本方法の一実施形態では、前記フィーチャは画像フレームシーケンスが属するシーンの記述を含む、
本方法の一実施形態では、本方法は、さらに、決定された前記ビデオの画像フレームシーケンスの各々がピクチャ群で始まるように、前記ビデオを再符号化するステップを有する。
本方法の一実施形態では、本方法は、さらに、決定された画像フレームシーケンスの各々が閉じたピクチャ群を用いて符号化されるように、前記ビデオを再符号化するステップを有する。
本方法の一実施形態では、決定された画像フレームシーケンスは、前記ビデオの他の画像フレームシーケンスより低い圧縮レートを用いて符号化される。
本方法の一実施形態では、メタデータは前記ビデオ中の決定された画像フレームシーケンスを参照するユニフォームリソースロケータ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒｓ）を含む。
本発明は、さらに、要求されたビデオシーケンスの画像に的を絞れるコンテンツを提供するサーバデバイスに関する。
本発明は、さらに、ビデオの画像フレーム中の的を絞ったコンテンツを受信する受信デバイスに関する。該デバイスは、的を絞ったコンテンツをオーバーレイする画像ゾーンを有するビデオの画像フレームのシーケンスを決定し、前記ビデオに、決定された画像フレームシーケンスと前記画像ゾーンとを記述するフィーチャを含むメタデータを関連付ける決定器と、前記ビデオの送信を求めるユーザ要求を受信するネットワークインタフェースと、前記ビデオの、前記メタデータにより記述された画像フレームシーケンスの画像ゾーンを、関連付けられたメタデータに従って、及びユーザのユーザ嗜好に従って的を絞ったコンテンツでオーバーレイするコンテンツオーバーレイ器と、前記ユーザに前記ビデオの送信するネットワークインタフェースとを有する。
【０００６】
上記の効果と本明細書で説明しない効果は、以下の本発明の詳細な説明を読めば明らかになるだろう。
【図面の簡単な説明】
【０００７】
本発明の効果は具体的な非限定的実施形態の説明により明らかになるだろう。実施形態を以下の図面を参照して説明する。
【図１】本発明によるビデオシーケンスの画像フレームへのコンテンツオーバーレイを示す。
【図２】本発明の方法の一実施形態を示す図である。
【図３】本発明によるビデオシーケンスの画像フレームに的を絞れるコンテンツを提供する時に作用し始めるデータの一例を示す図である。
【図４】本発明の一実施形態による配信プラットフォームのアーキテクチャを示す図である。
【図５】本発明によるビデオシーケンスの画像フレームに的を絞れるコンテンツを提供する方法の一実施形態を示すフローチャートである。
【図６】本発明による要求されたビデオシーケンスの画像フレームに的を絞れるコンテンツを提供するサーバデバイスの一実施形態を示す図である。
【図７】本発明による受信デバイスの一実施形態を示す図である。
【発明を実施するための形態】
【０００８】
以下、ビデオの「一般的な」画像フレームシーケンスと、「的を絞れる」（ｔａｒｇｅｔａｂｌｅ）画像フレームシーケンスと、「的を絞った」（ｔａｒｇｅｔｅｄ）画像フレームシーケンスとを区別する。「画像フレームシーケンス」はビデオの画像フレームシーケンスである。「一般的な」画像フレームシーケンスは、区別せずに多くのユーザに宛てられた画像フレームシーケンスであり、すべてのユーザに対して同じである。「的を絞れる」画像フレームシーケンスは、ユーザの嗜好により単一のユーザに対して的を絞れる、すなわち個人向けにされたフレームシーケンスである。本発明によると、この的を絞ること（ｔａｒｇｅｔｉｎｇ）や個人向けにすること（ｐｅｒｓｏｎａｌｉｚｉｎｇ）は、的を絞ったコンテンツ（すなわち、単一ユーザに的を絞ったコンテンツ）を、的を絞れるビデオフレームシーケンス中含まれる画像フレームにオーバーレイすることにより行われる。一旦オーバーレイ操作が行われると、的を絞れるビデオフレームシーケンスは、「的を絞った」または「個人向けにされた」フレームシーケンスになったと言う。
【０００９】
以下、用語「ビデオ」は、順次再生された時にビデオになる画像フレームシーケンスを意味する。ビデオの例は、映画、放送番組、ストリーミングされたビデオ、またはビデオオンデマンド（の画像フレームシーケンス）である。ビデオは、例えば、ビデオトラックの画像フレームに関連し、それと同期したオーディオトラックなどのオーディオを含んでいてもよい。
【００１０】
以下の説明では、用語「オーバーレイ（ｏｖｅｒｌａｙ）」は、コンテンツをビデオにオーバーレイするとの文脈で用いる。オーバーレイは、ビデオの一以上の画像フレームが、複数のテキスト、画像またはビデオ、またはこれらの任意の組み合わせの１つのビデオの一以上の画像フレーム内のはめ込み（ｉｎｃｒｕｓｔａｔｉｏｎ）により修正されることを意味する。オーバーレイに用いることができるコンテンツの例としては、（例えば、ビデオの一以上の画像フレームに現れる何もない平面上にオーバーレイされた）テキスト、（ビデオの一以上の画像フレーム中のビルボードにオーバーレイされた）静止画像、または（例えば、ビデオの画像フレームシーケンス中にあるビルボードにオーバーレイされた）広告を含むビデオコンテンツがある。オーバーレイは挿入とは区別される。挿入は画像フレームのビデオへの挿入、例えば、ビデオの画像フレームの視覚的コンテンツを修正することなく、コマーシャルの時間に関する画像フレームを挿入することにより特徴付けられる。従来、コンテンツのビデオへのオーバーレイは、必要とされる計算資源の点では、単なる画像フレーム挿入よりもずっと要求が厳しかった。多くの場合、コンテンツのオーバーレイには人手の介入まで必要である。本発明の目的の一つは、ビデオ中に、的を絞ったコンテンツを提供するソリューションであって、人手による介入を最小限度まで減らした、または全く必要としなくしたものを提案することである。なかんずく、本発明は、第１のステップであって、的を絞ったコンテンツを受けるビデオ中のビデオフレームシーケンス中の画像ゾーンが決定され、第２のステップにおいて機能するメタデータが生成されるものと、第２のステップであって、的を絞ったコンテンツが選択され、決定された画像シーケンスの画像ゾーン中にオーバーレイされるものとを提案する。人手による介入は、必要であっても、第１のステップまで削減され、一方、ビデオは後で的を絞ることができる。これは、例えば、ユーザの嗜好によってユーザまたはユーザグループにビデオをストリーミングする間に必要とされる。本発明のソリューションは、有利にも、ビデオの画像フレーム中に的を絞ったコンテンツをオーバーレイするワークフローの最適化を可能とする。本発明の方法は、さらに、（例えば、フィルム化の際に）ビデオに特定の要件を課さないので、柔軟性があり、ビデオは第１のステップにおいて改変されないという利点を有する。
【００１１】
図１は、本発明によりコンテンツがオーバーレイされたビデオの画像を示す。画像フレーム１０は元の画像フレームを表す。画像フレーム１１は的を絞った画像フレームを表す。要素１１１は、画像１１中にオーバーレイされる画像フレームを表す。
【００１２】
本発明の方法は、「オフライン」の準備ステップ中に準備されたビデオへのメタデータの関連づけを含むが、このステップは、十分な計算パワーがあれば、オンラインステップとしても実装できる。メタデータは、それが関連づけられたビデオにおけるオーバーレイ操作を実行する必要がある情報を含む。メタデータの生成のため、コンテンツオーバーレイに適した画像フレームシーケンス、例えば、グラフィックス的に安定した画像ゾーンを含む画像フレームシーケンスが決定される。決定された各画像フレームシーケンスに対して、コンテンツオーバーレイ操作に必要なメタデータが生成される。このメタデータは、例えば、決定された画像フレームシーケンスの画像フレーム数と、決定された画像フレームシーケンス中の各画像フレームについて、オーバーレイに使える画像内の画像ゾーン（以下、「オーバーレイゾーン」と呼ぶ）の座標、オーバーレイゾーンの幾何学的歪み、用いられるカラーマップ、及び光度（ｌｕｍｉｎｏｓｉｔｙ）を含む。メタデータは、与えられた画像フレームシーケンスにオーバーレイする適当なコンテンツの選択に用いられる情報も提供する。これは、コンテンツ自体（人物Ｘが人物Ｙと話している）、シーンのコンテキスト（リュウ（ｌｉｅｕ）、時間、・・・）、仮想カメラの距離に関する情報を含む。準備ステップにより、オーバーレイする適当なコンテンツの選択及びオーバーレイプロセス自体のための、ビデオにおけるコンテンツオーバーレイに関するメタデータが生成される。コンテンツのユーザまたはユーザグループへの送信の時に、このメタデータを用いて、画像フレームシーケンス中へのオーバーレイに使う適当なオーバーレイ可能なコンテンツを選択する。ユーザの嗜好を用いて、ユーザ又はユーザグループに取って特に興味がある広告を選択する。このように、メタデータは、決定された画像フレームのシーケンスとオーバーレイゾーンを記述し、選択されたコンテンツを画像フレームシーケンスに適合させるために用いられるフィーチャ（ｆｅａｔｕｒｅｓ）を含む。適合は、例えば、選択されたコンテンツの座標、寸法、幾何学的歪みと比色分析情報、及びコントラストと光度を、オーバーレイゾーンの座標、寸法、幾何学的歪みと比色分析情報、及びコントラストと光度に合わせることにより行われる。この適合は、必要があれば、例えば、オーバーレイゾーンのフィーチャが画像フレームシーケンス中に大きく変化しない場合、フレームごとに行える。このように、的を絞ったコンテンツは、画像フレームシーケンス中のオーバーレイゾーンのグラフィカルフィーチャに動的に適合できる。オーバーレイされた画像フレームを見ているユーザにとっては、オーバーレイされたコンテンツは元のビデオの一部であるように見える。
【００１３】
一実施形態によると、ビデオの一部は、決定された画像フレームシーケンスの各々がＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）で始まるように再符号化される。例えば、一般的フレームシーケンスは、高圧縮レートを用いてネットワークによる伝送のために最適化された符号化フォーマットで（再）符号化される。一方、決定された画像フレームシーケンスは、中間又はメザニン（ｍｅｚｚａｎｉｎｅ）フォーマットに再符号化され、それにより画質劣化せずに復号、コンテンツオーバーレイ及び再符号化が可能となる。メザニンフォーマットの圧縮レートは低いので、画質を劣化させずに、オーバーレイのために必要な編集操作が可能となる。しかし、圧縮レートが低いことの欠点は、同じビデオシーケンス時間について、メザニンフォーマットのデータが一般のフレームシーケンスより多くなるため、伝送ビットレートが高くなることである。広く使われるＨ．２６４ビデオ符号化フォーマットに基づく好ましいメザニンフォーマットは、ＥＭＡ（エンターテイメントマーチャントアソシエーション）に再グループ化された生産者により議論されている。メザニンフォーマットの特徴の一つは、原理的に、閉じたＧＯＰフォーマットを用い、画像フレーム編集が容易になり再生がスムースになることである。好ましくは、インター／イントラ圧縮が用いられるとき、ビデオフレームシーケンスがＧＯＰで始まる（すなわち、Ｉフレームで始まる）ように、一般的フレームシーケンスと的を絞れるフレームシーケンスとの両方が、符号化され、復号器が各フレームシーケンスの第１のピクチャを復号できるようにする。
【００１４】
メタデータと、一実施形態によると（再）符号化されたビデオとは、後で利用するため記憶される。メタデータは、例えばファイルとして、またはデータベースに格納できる。
【００１５】
選択されたコンテンツは、ビデオのユーザデバイスへの伝送時に、ビデオにオーバーレイできる。これは、ユーザデバイスのインターラクションの無いストリーミング時に、または以下に説明するマニフェストファイルの利用により、行い得る。
【００１６】
マニフェストファイルを用いて、ユーザデバイスがビデオを要求した時、一般的及び的を絞れる画像フレームシーケンスの「プレイリスト」または「マニフェスト」が生成され、次いでユーザに送信される。プレイリストは、異なる画像フレームシーケンスと、画像フレームシーケンスを取得できるサーバロケーションを特定する情報を、例えば、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒｓ）のリストとして含む。本発明の一実施形態では、これらのＵＲＬは自己充足的であり、ＵＲＬは画像フレームシーケンスを一意的に特定し、画像フレームシーケンスにフェッチするのに必要なすべての情報を含む。例えば、自己充足的ＵＲＬは、一意的な的を絞れる画像フレームシーケンス識別子と一意的なオーバーレイ可能なコンテンツ識別子とを含む。この実施形態は、システムのさまざまなコンポーネントをばらばらにして、それらを必要に応じてスケーリングできるので、システムのスケーラビリティの点で有利である。一実施形態によると、ＵＲＬは自己充足的ではなく、決定された画像フレームシーケンスにフェッチするのに必要なすべての情報を記憶したデータベース中のエントリーを参照する識別子を含む。プレイリスト生成ステップの際に、関連するメタデータとユーザプロファイルとを用いて、どのコンテンツをどの画像フレームシーケンスにオーバーレイするか判断し、この情報はＵＲＬに符号化される。ユーザプロファイル情報は、例えば、購買行動、インターネットサーフィン行動、またはその他の消費者行動などのデータから収集される。このユーザプロファイルは、ユーザの嗜好にマッチした（例えば、ユーザの購買行動に関する広告、またはユーザの近所のショップに関する広告、またはユーザの個人的趣味に対応する近所の映画館などのイベントのアナウンスメントなど）、かつ的を絞れるビデオフレームシーケンスにマッチした（例えば、あるブランドのドリンクの広告であって、ある色のグラフィックよりなるものは、同じ又はにた色の画像フレームにオーバーレイするには適さない）オーバーレイ用のコンテンツを選択するのに使われる。
【００１７】
「一般的（ｇｅｎｅｒｉｃ）」である画像フレームシーケンスの場合、これらの画像フレームシーケンスはコンテンツサーバによるさらなる計算無しに提供できる。しかし、一変形例によれば、フレームシーケンスを、ユーザデバイスとサーバを相互接続するネットワークによる伝送に適合させるため、またはユーザのビデオ視聴をモニターするために、多少の計算は必要であるかも知れない。的を絞れる画像フレームシーケンスの場合、前述のメタデータを用いてコンテンツがオーバーレイされる。本発明の一実施形態では、このオーバーレイ操作は、ジャストインタイム（ＪＩＴ）挿入をするのに十分な計算資源を有するビデオサーバにより行われ得る。ジャストインタイム計算は、的を絞ったコンテンツがユーザにより必要とされている時点の直前に、的を絞ったコンテンツが計算されることを意味する。
【００１８】
さらに別の一変形例では、コンテンツをオーバーレイするプロセスは、事前に、例えば、プレイリストの生成時に起動されたバッチプロセス、または後で計算資源が利用可能になった時に起動されたバッチプロセス中に、開始される。
【００１９】
本発明のさらに別の一実施形態では、コンテンツがオーバーレイされた画像フレームシーケンスはキャッシュメモリに記憶される。キャッシュは、一以上のストレージサーバにより提供されるＲＡＭ、ハードディスクドライブ、その他の任意タイプの記憶デバイスとして実装される。有利にも、このバッチ準備は、プレイリストの生成時に行われる。
【００２０】
的を絞ったフレームシーケンスの生成がバッチでプログラムされていたとしても、バッチ終了を待つ十分な時間は残っていないかも知れない。かかる状況は、ユーザが早送りなどのトリックモードを用いた時に、または要求される資源が利用できないため、バッチ生成がゆっくり進む時に生じる。かかる場合、かつ本発明の一実施形態によると、要求された的を絞った画像フレームシーケンスが「その場で（ｏｎ  ｔｈｅ  ｆｌｙ）」生成され（バッチから削除され）る。
【００２１】
前述のバッチプロセスに関する本発明の一実施形態では、的を絞った画像フレームシーケンスの準備に利用できる遅延が決定される。例えば、要求されたビデオのレンダリングポイントを考慮すると、低コスト、低パワーの計算資源を用いて画像フレーム中にコンテンツをオーバーレイする十分な時間があるかも知れない。他方、レンダリングポイントが的を絞れる画像フレームに近づいたとき、コンテンツのオーバーレイが間に合うようにするため、よりコストがかかるが利用可能性が高く性能が高い計算資源が必要となる。そうすることによって、有利にも計算コストが低減される。遅延の決定は、要求されたビデオの視聴時間（ｃｏｎｓｕｍｐｔｉｏｎ  ｔｉｍｅｓ）とビデオビットレートに関する情報を用いて行われる。例えば、ユーザがビデオを要求し、時刻Ｔ０に最初の画像フレームシーケンスを要求した場合、時刻Ｔ０＋ｎに他の画像フレームシーケンスがおそらく要求されることを、（ビデオは直線的に、すなわちトリックモードの使用無しに、消費され、ビデオビットレートは一定であるとの仮定の下に）そのビデオの既知のビットレートを用いて計算できる。
【００２２】
前述の通り、他のユーザにサービスするよう、的を絞った画像フレームシーケンスストレージサーバに（例えば、キャッシュメモリに）記憶できる。同じく的を絞った画像フレームシーケンスが他のユーザに求められる（ｃｏｎｖｅｎｅ）ことがあるかも知れないからである（例えば、複数のユーザが同じ近所にある同じ映画館のアナウンスメントに興味を持っているため、同様に的を絞れることがある）。記憶するかしないかの決定は、例えばユーザプロファイルを分析して共通の興味を検索することにより、行える。例えば、多くのユーザがある車種（ｐａｒｔ  ｍａｋｅ）の車に興味を持っているとき、記憶する決定をすることが、リソースマネジメントの点で有利であろう。
【００２３】
本発明の一実施形態では、プレーヤが、キャッシュにまだ存在せず、その場で生成するためには重文残っていない、又はその場で生成が何らかの理由（ネットワーク問題、デバイス故障など）で失敗した的を絞った画像フレームシーケンスを要求したとき、的を絞った画像フレームシーケンスの替わりに、画像フレームシーケンスのデフォルトバージョンが提供されるフォールバックソリューション（ｆａｌｌ  ｂａｃｋ  ｓｏｌｕｔｉｏｎ）が取られる。かかるデフォルトバーションは、例えば、デフォルト広告を有する、または広告をまったく有しないバージョンである。
【００２４】
本発明の一実施形態では、ビデオを要求するユーザデバイスは、オンラインオーバーレイ操作自体をするのに十分な計算資源を有する。この場合、選択可能な的を絞れるコンテンツ（例えば、広告）は、例えば、ユーザデバイス上に記憶され、または一実施形態によれば、他のデバイス上に、例えば専用広告サーバ上に記憶される。
【００２５】
有利にも、要求を発したユーザにより求められた的を絞れる画像フレームシーケンスがすでに準備されていると判断される場合、「リダイレクション（ｒｅｄｉｒｅｃｔｉｏｎ）」サーバを用いて、的を絞れる画像フレームを求める要求をストレージサーバ又はキャッシュにリダイレクトする。
【００２６】
一実施形態によれば、本発明の方法は、クラウド計算手段により実装されている。図４とその説明を参照されたい。
【００２７】
図２は、本発明によるビデオの画像フレーム中の的を絞れるコンテンツの提供方法の幾つかの態様を示す図である。この図で用いたシナリオでは、二人のユーザ、ユーザ２２とユーザ２８がいる。それぞれ、自分たちに的を絞ったビデオの画像フレームシーケンスを受信する。ＵＲＬ１は、すべてのユーザに対して同じである一般的画像フレームシーケンス２９を指す。ＵＲＬ３は、的を絞った画像フレームシーケンスを指す（宣伝が鉄橋にオーバーレイされている）。ＵＲＬ２は、オーバーレイ可能なコンテンツがオーバーレイされていないＵＲＬ３と同じ画像フレームシーケンスを指す。ユーザ２２は、ＵＲＬ１とＵＲＬ３を含むマニフェスト２４を受け取る。ユーザ２８は、ＵＲＬ１とＵＲＬ２を含むマニフェスト２１を受け取る。ＵＲＬ３は、周知の飲料ブランドの広告を含み、複数のユーザのために利用されそうなので、キャッシュに記憶されたバッチ準備された的を絞ったコンテンツを指す。
【００２８】
有利にも、すべてのＵＲＬは、ＵＲＬの要求時に、的を絞った画像フレームシーケンスを計算できるサーバ、または記憶された的を絞った画像フレームシーケンスをサービスできるキャッシュサーバのいずれかにリダイレクトするリダイレクションサーバを指す。記憶された的を絞った画像フレームシーケンスは、バッチ準備された的を絞ったコンテンツであるか、他のユーザのために事前に準備され記憶されたコンテンツである。
【００２９】
図３は、本発明によるビデオの画像の画像フレームシーケンス中に的を絞れるコンテンツを提供する時に作用し始めるデータの一例を示す図である。コンテンツアイテム（３０）すなわちビデオがプロセス（３１）で分析される。これにより、メタデータ（３２）が生成される。分析プロセスにより、一般的画像フレームシーケンス（３３）の、及び的を絞れる画像フレームシーケンス（３４）の、ビデオ中の認識をする。的を絞れる画像フレームシーケンスに関する情報が、ビデオに関連したメタデータ（３５）として記憶される。利用されるさらに別のデータは、これらの広告に関連する広告（３６）とメタデータ（３７）だけでなく、ユーザプロファイル（３８）である。広告に関するメタデータは、画像サイズ、フォームファクタ、可能な正則変換のレベル、テキスト記述などのオーバーレイ操作に用いることができる情報を含む。ユーザプロファイルとメタデータ（３５、３７）を用いて、オーバーレイ用のコンテンツ、例えば、広告（３６）の一つを選択する。
【００３０】
図４は、クラウドコンピューティングを用いる本発明の一実施形態による配信プラットフォームのアーキテクチャを示す図である。クラウドコンピューティングは、デバイスのネットワークにわたり、大きな計算量を要するタスクを分散するためにますます用いられている。クラウドコンピューティングにより、ビデオの画像フレーム中に的を絞ったコンテンツを提供する本発明の方法をレバレッジできる。クラウドコンピューティングサービスはアマゾン、マイクロソフト、グーグルなど複数の企業により提案されている。かかる計算環境において、計算サービスが貸し出され、リソースが計算需要にマッチするように、タスクがデバイスに動的にアロケートされる。これにより柔軟なリソースマネジメントが可能となる。一般的に、価格は１秒あたりの計算及び／又は１バイト当たりの転送により決まる。本発明の上記の実施形態によれば、クラウドコンピューティングにより提供される柔軟な計算プラットフォームを用いて、消費（ストリーミング）時におけるコンテンツの動的オーバーレイにより、的を絞れるコンテンツをビデオの画像フレーム中に提供する。ビデオ、（広告などの）オーバーレイコンテンツのセット及びユーザプロファイルのセットが入力データとして利用できる。図３を参照して説明したように、（例えば、オフライン処理により）ビデオを分析して、メタデータを生成する。ここで、ビデオがユーザに伝送される時、ビデオの的を絞れる画像フレームシーケンスに、適当なオーバーレイコンテンツがオーバーレイされる。クラウドコンピューティングプラットフォームを用いることにより、需要の成長に合わせてシステムを完全にスケーラブルにできる。ビデオの画像フレームシーケンス中に的を絞れるコンテンツを提供するクラウドベースのかかる方法は、次のステップを有し得る：
（ｉ）的を絞ったコンテンツでオーバーレイする画像ゾーンを有するビデオ中の画像フレームシーケンス（すなわち、「的を絞れる」画像フレームシーケンス）を決定するビデオ処理。このステップ中、決定された画像フレームシーケンスと画像ゾーン（「オーバーレイ」ゾーン）とを記述するフィーチャを含む、ビデオに関連づけられたメタデータが生成される。このステップにおいて任意的にかつさらに、伝送のため最適化されたコンパクトな符号化フォーマットを用いて、一般的画像フレームシーケンスが（再）符号化される。一方、的を絞れる画像フレームシーケンスは、それほどコンパクトでないが編集に適した符号化フォーマット（一般的には、前述のメザニンフォーマット）を用いて、（再）符号化される。
（ｉｉ）クラウド（例えば、アマゾンＳ３）中に（一般的及び的を絞れる）（再）符号化された画像フレームシーケンスを記憶する。このクラウドはパブリックでもプライベートでもよい。
（ｉｉｉ）（プライベート又はパブリック）クラウド中に、オーバーレイすることになっているコンテンツを、コンテンツを記述し、コンテンツ挿入のため後の段階で用いることができる関連メタデータとともに、格納するステップ。
（ｉｖ）コンテンツの的を絞るために用いるユーザプロファイルのセットを維持するステップ。このユーザプロファイルは、パブリッククラウドに格納されるか、またはプライバシー上の理由により、プライベートクラウド上にまたはユーザデバイス上に格納される。
（ｖ）ビデオを求める要求があった時にマニフェストを生成し、要求者に送信するステップ。マニフェストファイルは、リンク（例えば、ビデオの画像フレームシーケンス（すなわち、的を絞れる及び一般的画像フレームシーケンス）へのＵＲＬ）を含む。
（ｖｉ）例えば、ビデオプレーヤからの要求時にマニフェストに列挙された異なる画像フレームシーケンスを送信するステップ。一般的画像フレームシーケンスは記憶デバイスから提供される。的を絞った画像フレームシーケンスは、その画像フレームシーケンスが使われることになっているユーザのために好適な画像フレームシーケンスが存在する時に、キャッシュメモリから提供されるか、又は、「その場で（ｏｎ  ｔｈｅ  ｆｌｙ）」計算される。事前に選択されたオーバーレイコンテンツは、かかる事前に選択されたオーバーレイコンテンツがあれば、オーバーレイされる。
【００３１】
的を絞れる画像フレームシーケンスの的を絞るステップは、
−  的を絞れる画像フレームシーケンスを復号するステップ；
−  的を絞れるビデオ画像フレームシーケンス中に選択されたオーバーレイ可能なコンテンツをオーバーレイし、「的を絞った」画像フレームシーケンスを取得するステップ；
−  的を絞った画像フレームシーケンスを、好ましくは伝送に最適化された符号化フォーマットを用いて、符号化し、的を絞った画像フレームシーケンスをユーザデバイスに送信するステップ。処理に必要なリソース利用をさらに最適化するため、キャッシュスペースが利用できれば、処理された的を絞れる画像フレームシーケンスのキャッシュ中の記憶をキャッシュに格納でき、その画像フレームシーケンスが他のユーザ（例えば、同様のユーザプロファイルを有するユーザ）のために必要になった時、的を絞れる画像フレームシーケンスの処理を回避できるようにする。同様に、選択されたオーバーレイ可能なコンテンツへの参照（リンク）を記憶でき、前述の通り後で読み出すことができる。
【００３２】
図４は、アマゾンウェブサービス（ＡＷＳ）に基づく、本発明の一実施形態の実装に用いられるクラウドアーキテクチャの一例を示す。本発明の場合、幾分興味があるのは、計算タスク（的を絞ること、コンテンツオーバーレイ、ユーザプロファイル維持、マニフェスト生成）を実行するＥＣ２（Ｅｌａｓｔｉｃ  Ｃｏｍｐｕｔｅ  Ｃｌｏｕｄ）などの計算インスタンスと、一般的画像フレームシーケンスや的を絞った画像フレームシーケンスなどのデータ、及びメタデータを記憶するＳ３（Ｓｉｍｐｌｅ  Ｓｔｏｒａｇｅ  Ｓｅｒｖｉｃｅ）などの記憶インスタンスと、データ配信のためのＣｌｏｕｄＦｒｏｎｔとである。アマゾンの用語によれば、ＥＣ２は、かなり大きな計算キャパシティを提供し、異種のオペレーティングシステムと異種の「インスタンス」構成で仮想的な計算環境を提供するウェブサービスである。一般的なインスタンス構成は「ＥＣ２スタンダード」または「ＥＣ２マイクロ」である。「ＥＣ２マイクロ」インスタンスは低スループットアプリケーション及び追加的計算サイクルを定期的に必要とするウェブサイトに適している。ＡＷＳでリソースを得る複数の異なる方法がある。第１の方法は、「オンデマンド」と呼ばれ、ある価格で、リソースが利用できる保証を提供する。第２のモードは、「スポット」と呼ばれ、より低い価格でリソースを得ることができるが、利用可能性は保証されない。ＥＣ２スポットインスタンスにより、ＥＣ２計算キャパシティの価格をビッドメカニズムで得ることができる。これらのインスタンスにより、時間的に柔軟で、割り込み許容性を有するタスクの計算コストを大幅に下げられる。価格は、同じＥＣ２インスタンスタイプのオンデマンドの価格より、大幅に低いことが多い。Ｓ３により、いつでもどのくらいのデータでも記憶及び読み出しすることに使える単純なウェブサービスサービスインタフェースが提供される。記憶スペースの価格は、希望する信頼性、例えば信頼性が高い標準ストレージと、重要でなく再生可能なデータを記憶する低冗長性ストレージなどに依存する。ＣｌｏｕｄＦｒｏｎｔは、コンテンツ配信のためのウェブサービスであり、他のＡＷＳサービスを統合して、低レイテンシかつ高データ転送速度でエンドユーザにコンテンツを配信し、コンテンツのストリーミングに使える。図４において、要素４００は、セットトップボックス、ＰＣ、タブレット、携帯電話などのユーザデバイスを示す。高信頼性（ｒｅｌｉａｂｌｅ）Ｓ３（４０４）は、一般的画像フレームシーケンスと的を絞れる画像フレームシーケンスの記憶に用いられる。低信頼性（ｒｅｄｕｃｅｄ  ｒｅｌｉａｂｌｅ）Ｓ３（４０５）は、容易に再計算できる的を絞った画像フレームシーケンスの記憶に用いられる。低信頼性Ｓ３（４０５）は、計算された的を絞った画像フレームシーケンスをメモリに一時的に保存するために、キャッシュとして用いる。高信頼性Ｓ３（４０６）は、メザニンフォーマットの的を絞れる画像フレームシーケンスと、広告又はオーバーレイコンテンツと、メタデータとを記憶するのに用いる。ＥＣ２スポットインスタンス４０２は、的を絞った画像フレームシーケンスを前計算するのに用いる。ＥＣ２スポットインスタンスによるこの計算��、「バッチ」生成と呼べるものであり、例えば、マニフェスト生成時にトリガーされる。オンデマンドＥＣ２ラージインスタンス（４０７）は、コンテンツの「その場で」または「リアルタイム」オーバーレイを実現するのに用いる。的を絞った画像フレームシーケンスの生成は次の通り行われる：的を絞れる画像フレームシーケンスがメザニンフォーマットで、Ｓ３高信頼性（４０６）から読み出され、的を絞れる画像フレームシーケンスが復号され、オーバーレイコンテンツが選択され、的を絞れる画像フレームシーケンスの画像中にオーバーレイされ、的を絞った画像フレームシーケンスが伝送フォーマットで再符号化される。前述の、的を絞った画像フレームシーケンスの「その場で」の、または「バッチで」の計算に応じて、的を絞れる画像フレームシーケンスの復号、オーバーレイコンテンツの選択、オーバーレイ及び再符号化はＥＣ２スポットインスタンス（４０２）またはＥＣ２ラージインスタンス（４０７）で行われる。もちろん、説明したこの変形例は、単に、可能性のある複数のストラテジーのうちの一つである。他のストラテジーとしては、遅延、タスクサイズ、及び計算インスタンスコストなどの異なるパラメータに応じて、これらのインスタンスの利用が最適化され、よいサービス品質でコスト効率のよいインスタンスを提供するように、「その場で」計算または「バッチで」計算のうちいずれか一方の異なるＥＣ２インスタンス（マイクロ、ミディアムまたはラージなど）を用いることがある。計算される的を絞った画像フレームシーケンスは、「バッチ」計算の場合にキャッシュとして用いられる低信頼性Ｓ３（４０５）に格納され、または「その場で」計算の場合にＥＣ２ラージ４０７から直接サービスされ、任意的に低信頼性Ｓ３（４０５）に記憶される。的を絞った画像フレームシーケンスのバッチ計算は、そうする時間があれば、計算コストの理由で好ましい。それゆえ、的を絞った画像フレームシーケンスのバッチ計算を開始するのによい時点は、マニフェストが生成された時である。しかし、ユーザがまだ計算されていない的を絞れる画像フレームシーケンスに早送りした場合、よりコストのかかる「その場で」計算が必要である。ここで、デバイス４００のプレーヤが画像フレームシーケンスを要求した場合、前述のリダイレクションサーバ（図示せず）は要求された画像フレームシーケンスをどこで取得できるか、例えば、要求された画像フレームシーケンスが一般的画像フレームシーケンスである場合、高信頼性Ｓ３（４０４）から、要求された画像フレームシーケンスがすでにキャッシュにある的を絞れる画像フレームシーケンスである場合、低信頼性Ｓ３から、要求された画像フレームシーケンスがキャッシュに無い画像フレームシーケンスである場合、「その場で」生成するＥＣ２ラージ（４０７）から取得できるか、確認する。画像フレームシーケンスをどこで要求できるかによって、リダイレクションサーバは、デバイス４００を正しいエンティティにリダイレクトする。有利にも、デバイス４００は、ＥＣ２／Ｓ３から直接サービスを受けるのではなく、画像フレームシーケンスをデバイス４００にストリーミングするＣｌｏｕｄＦｒｏｎｔ４０３などのＣＤＮ／��ロキシを通してサービスを受ける。要するに、的を絞ったコンテンツは、ＵＲＬが異なる３つのソースから提供され得る：
−  予め計算され、キャッシュエリアとして機能する低信頼性Ｓ３（４０５）にあるもの；
−  ＥＣ２ラージ（４０７）によりその場で計算されたもの；
−  フォールバックソリューションとして、コンテンツオーバーレイ無しに高信頼性Ｓ３（４０４）からのもの（これは、厳密に言えば「的を絞った」ものではない）；
−  他のフォールバックソリューションとして、厳密にはユーザプロファイルに対応しないオーバーレイされたコンテンツとともに低信頼性Ｓ３（４０５）からのもの。
【００３３】
このように、デバイス４００のプレーヤは、単一のＵＲＬを要求し、上記のソースの一つにリダイレクトする。
【００３４】
マニフェスト中のＵＲＬは、図４のシステムが、マニフェストに列挙されたＵＲＬを要求するユーザデバイスにトランスパレントな方法で、これら３つのソースの各々から的を絞ったコンテンツを取得するのに必要なすべての情報を含む。
【００３５】
上記の例は、アマゾンのクラウドコンピューティングアーキテクチャに基づき、この文献の読者は上記の例は、説明した発明コンセプトから逸脱せずに、上記のものとは異なるクラウドコンピューティングアーキテクチャに適用できることを理解するであろう。
【００３６】
図５は、本発明の方法の一実施形態を示すフローチャートである。第１のステップ５００において、本方法の機能のための変数を初期化する。本方法を図６のサーバデバイス６００などのデバイスで実施する場合、例えば、データを不揮発メモリから揮発メモリにコピーして、メモリを初期化するステップが含まれる。ステップ５０１において、的を絞ったコンテンツでオーバーレイするための画像ゾーンを含む前記ビデオ中の画像フレームシーケンスを決定する。ステップ５０２において、メタデータをビデオに関連付ける。メタデータは、画像フレームと画像ゾーンの決定されたシーケンスを記述するフィーチャを含む。ステップ５０３において、ビデオの送信要求をユーザから受信する。ステップ５０４において、メタデータを用いて、メタデータにより記述される画像フレームシーケンスの画像ゾーン中にコンテンツをオーバーレイする。コンテンツが、メタデータにより、及びユーザのユーザ嗜好により、選択され、または「的を絞られる」。ステップ５０５において、ビデオがユーザに送信される。図５のフローチャートは、例示を目的としたものであり、本発明の方法は、必ずしもこのように実装されない。他の実装の可能性には、複数ステップの並列実行やバッチ実行が含まれる。
【００３７】
図６は、ビデオの画像フレーム中の的を絞ったコンテンツを提供するサーバデバイス６００の一実施形態を示す。
【００３８】
本デバイスは、決定器６０１、コンテンツオーバーレイヤ６０６、ネットワークインタフェース６０２を有し、画像フレームシーケンス６０３、オーバーレイ可能なコンテンツ６０５、及びユーザ嗜好６０８などのデータを用いる。一方、マニフェストファイル６０４と的を絞った画像フレームシーケンス６０７を生成する。オーバーレイコンテンツは、ローカルに記憶され、または接続６１０を介してネットワークに接続されたネットワークインタフェースを介して受信される。出力は、ローカルに記憶され、またはネットワーク上に、例えばユーザデバイスに、直ちに送信される。ビデオを求める要求はネットワークインタフェースを介して受信される。マニフェストファイルジェネレータは、マニフェストファイルメカニズムを介してビデオの送信の場合に用いられる任意的コンポーネントである。決定器６０１は、的を絞ったコンテンツとオーバーレイする画像ゾーンを有するビデオ中の画像フレームシーケンスを決定し、メタデータをそのビデオと関連付ける。メタデータは、画像フレームシーケンスと決定器により決定された画像ゾーンとを記述するフィーチャを含む。ネットワークインタフェースは、ビデオの送信を求めるユーザ要求を受信する。コンテンツオーバーレイヤは、ビデオに関連付けられたメタデータで参照された、ビデオ中の画像フレームシーケンスの画像ゾーン中に、的を絞ったコンテンツをオーバーレイする。的を絞ったコンテンツが、関連づけられたメタデータにより、及びビデオを要求するユーザのユーザ嗜好により、「的を絞られ」、または選択される。ビデオの画像フレームは、すなわち、一般的画像フレームシーケンスと的を絞った画像フレームシーケンスは、ネットワークインタフェースを介して送信される。マニフェストファイルを介したビデオの送信を用いる場合、一般的画像フレームシーケンスと的を絞れる画像フレームシーケンスへの参照が、要求されたビデオの画像ファイルシーケンスのリストを決定するマニフェストファイル生成器に提供される。このリストは、任意のユーザに宛てられたビデオの一般的画像フレームシーケンスの識別子と、コンテンツオーバーレイを通して特定のユーザまたはユーザグループに宛てられた的を絞れる画像フレームシーケンスの識別子とを含む。識別子は例えばＵＲＬである。このリストはビデオを要求するユーザデバイスに送信される。ユーザデバイスは、次いで、必要な時に、例えば、ビデオの再生中に、サーバの、マニフェストファイルに示された画像フレームシーケンスにフェッチする。
【００３９】
図７は、ビデオシーケンスの画像中の的を絞れるコンテンツを受信する本発明の方法を実装するレシーバデバイスの一実施形態を示す。デバイス７００は、デジタルデータ・アドレスバス７１４により相互接続された次のコンポーネントを有する：
−  処理ユニット７１１（又はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ））；
−  不揮発メモリＮＶＭ７１０；
−  揮発性メモリＶＭ７２０；
−  デバイス７１２のコンポーネント間の動作の同期を取るための、及びその他のタイミングを取るための基準クロック信号を供給するクロックユニット７００；
−  接続７１５を介してネットワークに接続された他のデバイスに、デバイス７００の相互接続をするネットワークインタフェース７１３。
【００４０】
留意点として、メモリ７１０と７２０の説明で使われる「レジスタ」との用語は、上記のメモリのそれぞれの、あるバイナリデータを格納できる低容量メモリゾーンと、実行可能プログラムや全データセットを格納できる高容量メモリゾーンも指す。
【００４１】
処理ユニット７１１は、マイクロプロセッサ、カスタムチップ、専用（マイクロ）コントローラなどとして実施できる。不揮発メモリＮＶＭ７１０は、ハードディスクドライブ、不揮発ランダムアクセスメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍａｂｌｅ  ＲＯＭ）などの不揮発メモリの任意の形体で実施できる。不揮発メモリＮＶＭ７１０は、特に、本発明による方法を含む実行可能プログラムを表すプログラムを保持するレジスタ７２０１を有する。電源を入れると、処理ユニット７１１は、ＮＶＭレジスタ７１０１に含まれる命令をロードして、それをＶＭレジスタ７２０１にコピーして、実行する。
【００４２】
ＶＭメモリ７２０は特に次のものを含む：
−  ＮＶＭレジスタ７２０１のプログラム「ｐｒｏｇ」のコピーを含むレジスタ７１０１；
−  本発明の方法の実行中に用いるユーザプロファイルなどの読み書きデータを含むレジスタ７２０２。
【００４３】
この実施形態では、ネットワークインタフェース７１３を用いて、レシーバデバイスの異なる送信器及び受信器機能を実装する。
【００４４】
本発明によるサーバ及びレシーバデバイスの部分実施形態によると、これらのデバイスは、方法のステップにより提供される異なる機能を実装する専用ハードウェアを有する。本発明によるサーバとレシーバデバイスの実施形態によれば、これあのデバイスはパーソナルコンピュータのような一般的ハードウェアを用いて実装される。本発明によるサーバ及びレシーバデバイスのさらに別の実施形態によれば、これらのデバイスは一般的ハードウェアと専用ハードウェアのミックスにより実装される。実施形態によると、サーバとレシーバデバイスは、一般的ハードウェアデバイス上で実行されるソフトウェアに実装され、またはソフトウェア及びハードウェアモジュールのミックスとして実装される。
【００４５】
図６と７に示したもの以外のデバイスアーキテクチャも可能であり、本発明の方法と互換性がある。特に、実施形態によると、本発明は、純粋なハードウェアとして実施でき、例えば、専用コンポーネントの形態で（例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）又はＶＬＳＩ（Ｖｅｒｙ  Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として）、またはデバイスに組み込まれた複数の電子コンポーネントの形態で、またはハードウェアコンポーネントとソフトウェアコンポーネントの組合せの形態で、例えばコンピュータ中の専用電子カードとして、実施できる。
【図１】
2016509811.tif 000003
【図４】
2016509811.tif 000004
【図５】
2016509811.tif 000005
【図６】
2016509811.tif 000006
【図７】
2016509811.tif 000007
【図２】
2016509811.tif 000008
【図３】
2016509811.tif 000009
【手続補正書】
【提出日】平成27年8月10日(2015.8.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオの画像フレーム中に、的を絞ったコンテンツを提供する方法であって、サーバデバイスに実装され、
ユーザから前記ビデオの送信要求を受信するステップと、
メタデータに関連する前記ビデオ中の画像フレームシーケンスを復号する、前記メタデータは前記画像フレームシーケンスと前記画像フレームシーケンスの画像フレーム中のオーバーレイゾーンとを記述するフィーチャを含む、ステップと、
前記復号された画像フレームシーケンスの画像フレーム中のオーバーレイゾーンを、関連付けられた前記メタデータに従って、及びさらに前記ユーザのユーザプロファイルに従って選択された的を絞ったコンテンツでオーバーレイするステップと、
前記オーバーレイゾーンが前記的を絞ったコンテンツでオーバーレイされた、前記復号された画像フレームシーケンスを再符号化するステップと、
前記ビデオを前記ユーザに送信するステップと、
を有することを特徴とする方法。
【請求項２】
前記オーバーレイするステップは、前記的を絞ったコンテンツを、前記画像フレームシーケンス中のオーバーレイゾーンのグラフィカルフィーチャに適応させるステップを有する、請求項１に記載の方法。
【請求項３】
前記グラフィカルフィーチャは前記オーバーレイゾーンの幾何学的歪みを含む、
請求項２に記載の方法。
【請求項４】
前記グラフィカルフィーチャは前記オーバーレイゾーンの光度を含む、
請求項２または３に記載の方法。
【請求項５】
前記グラフィカルフィーチャは前記オーバーレイゾーンの比色分析情報を含む、
請求項２ないし４いずれか一項に記載の方法。
【請求項６】
前記メタデータは前記画像フレームシーケンスが属するシーンの記述を含む、
請求項１ないし５いずれか一項に記載の方法。
【請求項７】
前処理ステップにおいて前記ビデオを再符号化するステップであって、メタデータに関連付けられた前記ビデオ中の画像フレームシーケンスがピクチャ群で始まるステップをさらに有する、請求項１ないし６いずれか一項に記載の方法。
【請求項８】
前処理ステップにおいて、前記ビデオを再符号化するステップであって、メタデータに関連付けられた前記ビデオ中の画像フレームシーケンスが閉じたピクチャ群として再符号化されるステップをさらに有する、請求項１ないし７いずれか一項に記載の方法。
【請求項９】
前処理ステップにおいて、前記ビデオを再符号化するステップをさらに有し、メタデータに関連付けられた前記ビデオ中の画像フレームシーケンスは、前記ビデオ中の他の画像フレームシーケンスより低い圧縮レートを用いて再符号化される、請求項１ないし８いずれか一項に記載の方法。
【請求項１０】
ビデオの画像フレーム中に、的を絞ったコンテンツを提供するサーバデバイスであって、
前記ビデオの送信を求めるユーザからの要求を受信するように構成されたネットワークインタフェースと、
メタデータに関連付けられた前記ビデオ中の画像フレームシーケンスを復号するように構成された、前記メタデータは前記画像フレームシーケンスと前記画像フレームシーケンスの画像フレーム中のオーバーレイゾーンとを記述するフィーチャを含む、コンテンツオーバーレイヤと、を有し、
前記コンテンツオーバーレイヤは、さらに、前記復号された画像フレームシーケンスの画像フレーム中のオーバーレイゾーンを、関連付けられた前記メタデータに従って、及びさらに前記ユーザのユーザプロファイルに従って選択された的を絞ったコンテンツでオーバーレイするように構成され、
前記コンテンツオーバーレイヤは、さらに、前記オーバーレイゾーンが前記的を絞ったコンテンツでオーバーレイされた、前記復号された画像フレームシーケンスを再符号化するように構成され、
前記ネットワークインタフェースは、さらに、前記ユーザに前記ビデオを送信するように構成された、
サーバデバイス。
【請求項１１】
前記コンテンツオーバーレイヤは、さらに、前記的を絞ったコンテンツを、前記画像フレームシーケンス中の前記オーバーレイゾーンのグラフィカルフィーチャに適応させるように構成された、請求項１０に記載のサーバデバイス。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の目的は、背景技術欄で説明した先行技術の問題の少なくとも一部を、ビデオの画像フレームに的を絞ったコンテンツを提供する方法とデバイスにより、解決することである。
本発明は、サーバデバイスに実装された、ビデオの画像フレームに的を絞ったコンテンツ（ｔａｒｇｅｔｅｄ  ｃｏｎｔｅｎｔ）を提供する方法を含む。該方法は、メタデータに関連する前記ビデオ中の画像フレームシーケンスを復号する、前記メタデータは前記画像フレームシーケンスと前記画像フレームシーケンスの画像フレーム中のオーバーレイゾーンとを記述するフィーチャを含む、ステップと、ユーザから前記ビデオの送信要求を受信するステップと、前記復号された画像フレームシーケンスの画像フレーム中のオーバーレイゾーンを、関連付けられた前記メタデータに従って、及びさらに前記ユーザのユーザプロファイルに従って選択された的を絞ったコンテンツでオーバーレイするステップ、前記ユーザへの前記ビデオの送信を行うステップとを有する。
本方法の一実施形態では、前記オーバーレイするステップは、前記的を絞ったコンテンツを、前記画像フレームシーケンス中のオーバーレイゾーンのグラフィカルフィーチャに適応させるステップを有する。
本方法の一実施形態では、前記グラフィカルフィーチャは前記オーバーレイゾーンの幾何学的歪みを含む。
本方法の一実施形態では、前記グラフィカルフィーチャは前記オーバーレイゾーンの光度を含む。
本方法の一実施形態では、前記グラフィカルフィーチャは前記オーバーレイゾーンの比色分析情報を含む。
本方法の一実施形態では、前記メタデータは画像フレームシーケンスが属するシーンの記述を含む。
本方法の一実施形態では、本方法は、さらに、前処理ステップにおいて前記ビデオを再符号化するステップであって、メタデータに関連付けられた前記ビデオ中の画像フレームシーケンスがピクチャ群で始まるステップを有する。
本方法の一実施形態では、本方法は、さらに、前処理ステップにおいて、前記ビデオを再符号化するステップであって、メタデータに関連付けられた前記ビデオ中の画像フレームシーケンスが閉じたピクチャ群として再符号化されるステップを有する。
本方法の一実施形態では、前処理ステップにおいて、前記ビデオを再符号化するステップをさらに有し、メタデータに関連付けられた前記ビデオ中の画像フレームシーケンスは、前記ビデオ中の他の画像フレームシーケンスより低い圧縮レートを用いて再符号化される。
本発明は、さらに、ビデオ画像フレーム中に的を絞ったコンテンツを提供するサーバデバイスに関する。該デバイスは、前記ビデオの送信を求めるユーザからの要求を受信するように構成されたネットワークインタフェースと、メタデータに関連付けられた前記ビデオ中の画像フレームシーケンスを復号するように構成された、前記メタデータは前記画像フレームシーケンスと前記画像フレームシーケンスの画像フレーム中のオーバーレイゾーンとを記述するフィーチャを含む、コンテンツオーバーレイヤと、を有し、前記コンテンツオーバーレイヤは、さらに、前記復号された画像フレームシーケンスの画像フレーム中のオーバーレイゾーンを、関連付けられた前記メタデータに従って、及びさらに前記ユーザのユーザプロファイルに従って選択された的を絞ったコンテンツでオーバーレイするように構成され、前記コンテンツオーバーレイヤは、さらに、前記オーバーレイゾーンが前記的を絞ったコンテンツでオーバーレイされた、前記復号された画像フレームシーケンスを再符号化するように構成され、前記ネットワークインタフェースは、さらに、前記ユーザに前記ビデオを送信するように構成される。
上記デバイスの一実施形態によれば、前記コンテンツオーバーレイヤは、さらに、前記的を絞ったコンテンツを、前記画像フレームシーケンス中の前記オーバーレイゾーンのグラフィカルフィーチャに適応させるように構成される。
【国際調査報告】
2016509811.tif 000010
2016509811.tif 000011
2016509811.tif 000012
2016509811.tif 000013