(57)【要約】ビデオを、画像を部分的に入れ替えることによって個人化するプロセス及び装置を開示する。個人化処理では、人物の画像の一部分の、または全ての入れ替えを行なう。個人化処理では更に、オブジェクトの挿入または入れ替えを行ない、そして背景及び／又はサウンドトラックの全ての、または一部分の入れ替えを行なう。ビデオ作成プロセスを使用して、個人化処理を施す状態になっているビデオのライブラリを作成することができる。【選択図】図１
2009515375.tif 000002
【特許請求の範囲】
【請求項１】
元の背景シーンと、そして元の人物を含む前景と、を含む画像を含む元のデジタルビデオを個人化するプロセスであって、
元の人物の位置、向き、及び表情をトラッキングするステップと；
元の人物の少なくとも主要部分を、背景シーンを切れ目なく連続させた画像に入れ替えるステップと；
新規人物をビデオに挿入するステップであって、新規人物が、元の人物の入れ替え部分の位置、向き、及び表情とほぼ一致する、ステップと；
照明効果及びシェーディング効果を新規人物に対して再現するステップと；
新規人物の陰影、及び新規人物からの反射を再現するステップと、
を含むプロセス。
【請求項２】
元の人物の内、入れ替えられる部分は、少なくとも顔と、そして顔に続き、かつ耳及び首の可視部分を含む皮膚領域と、を含む、請求項１記載のプロセス。
【請求項３】
画像は、元の人物の内、入れ替えられない少なくとも一つの皮膚領域を含み、皮膚領域は、新規人物の皮膚外観とは異なる皮膚外観を有し、
プロセスは更に、非入替対象皮膚領域（ｎｏｎ−ｒｅｐｌａｃｅｄ  ｓｋｉｎ  ａｒｅａ）を変更して新規人物の皮膚外観に一致させるステップを含む、請求項２記載のプロセス。
【請求項４】
元の人物全体を、背景シーンを切れ目なく連続させた画像に入れ替える、請求項１記載のプロセス。
【請求項５】
更に、挿入するステップの前に、合成及びパラメータモーフィング変換プロセス（ｃｏｍｂｉｎａｔｉｏｎ  ａｎｄ  ｐａｒａｍｅｔｅｒ  ｍｏｒｐｈｉｎｇ  ｔｒａｎｓｆｏｒｍａｔｉｏｎ  ｐｒｏｃｅｓｓ）を、新規人物を構成するデータに適用してハイブリッド型の新規人物を作成するステップを含む、請求項１記載のプロセス。
【請求項６】
入れ替えるステップでは更に、元の人物の陰影、または元の人物からの反射を入れ替える、請求項１記載のプロセス。
【請求項７】
更に、新規オブジェクトをビデオに挿入するステップと；
照明効果及びシェーディング効果を新規オブジェクトに対して再現するステップと；
新規オブジェクトの陰影、及び新規オブジェクトからの反射を再現するステップと、
を含む、請求項１記載のプロセス。
【請求項８】
新規オブジェクトを挿入するステップでは、新規オブジェクトの３次元モデルを使用する、請求項７記載のプロセス。
【請求項９】
新規オブジェクトは新規オブジェクトに関する人口統計情報に基づいて選択される、請求項７記載のプロセス。
【請求項１０】
元のビデオは、一つの位置、及び一つの向きを有する元のオブジェクトを含み、
プロセスは更に：
元のオブジェクトの少なくとも一部分を、背景シーンを切れ目なく連続させた画像に入れ替えるステップと；
新規オブジェクトをビデオに挿入して、新規オブジェクトが、元のオブジェクトの入れ替え部分の位置及び向きとほぼ一致するようにするステップと；
照明効果及びシェーディング効果を新規オブジェクトに対して再現するステップと；
新規オブジェクトの陰影、及び新規オブジェクトからの反射を再現するステップと、
を含む、請求項１記載のプロセス。
【請求項１１】
新規オブジェクトを挿入するステップでは、新規オブジェクトの３次元モデルを使用する、請求項１０記載のプロセス。
【請求項１２】
新規オブジェクトは新規オブジェクトに関する人口統計情報に基づいて選択される、請求項１０記載のプロセス。
【請求項１３】
更に、新規の背景シーンを、元の背景シーンの少なくとも一部分の代わりに用いるステップを含む、請求項１記載のプロセス。
【請求項１４】
ビデオはオーディオトラックを含み、オーディオトラックは、元の背景オーディオ要素及び元の人物が話す会話に分離することができ、
プロセスは更に、新規の背景オーディオ要素を、元の背景オーディオ要素の少なくとも一部分の代わりに用いるステップを、含む、
請求項１記載のプロセス。
【請求項１５】
ビデオはオーディオトラックを含み、オーディオトラックは、元の背景オーディオ要素及び元の人物が話す会話に分離することができ、
プロセスは更に、新規の背景オーディオ要素を、元のオーディオトラックに加えるステップを、含む、
請求項１記載のプロセス。
【請求項１６】
ビデオはオーディオトラックを含み、オーディオトラックは、元の背景オーディオ要素及び元の人物が話す会話に分離することができ、
プロセスは更に：
新規人物の音声サンプルを取得するステップと；
新規人物の音声サンプルを分析して、新規人物の音声の一つ以上の韻律的特徴を定義するステップと；
元の人物が話す会話を、新規人物の音声の一つ以上の韻律的特徴を使用して変換するステップと、を含む、
請求項１記載のプロセス。
【請求項１７】
ビデオを個人化するプロセスであって、
作成済みビデオの各々がビデオ作成プロセスから得られる構成の複数の作成済みビデオのビデオライブラリを提供するステップと；
新規人物モデルの各々が人物モデリングプロセスから得られる構成の一つ以上の新規人物モデルの人物モデルライブラリを提供するステップと；
一つのビデオをビデオライブラリから選択するステップと；
一つの新規人物モデルを新規人物モデルライブラリから選択するステップと；
個人化プロセスを適用して、選択したビデオの個人化バージョンを、選択した新規人物モデルを使用して作成するステップと、
を含むプロセス。
【請求項１８】
ビデオ作成プロセスは更に：
元の背景シーンと、そして元の人物を含む前景と、を含む画像を含むビデオを提供するステップと；
元の人物の位置、向き、及び表情をトラッキングするステップと；
元の人物の少なくとも主要部分を、背景シーンを切れ目なく連続させた画像に入れ替えるステップと；
ビデオ内の照明、シェーディング、陰影、及び反射を特定し、そしてトラッキングするステップと、
を含む、請求項１７記載のプロセス。
【請求項１９】
人物モデリングプロセスは更に：
新規人物の少なくとも一つの２次元画像、及び関連サポート情報を供給するステップと；
新規人物のモデルを、２次元画像と、そして３次元モデル、人口統計プロファイル、及び他の個人情報を含む関連サポート情報と、に基づいて作成するステップと、
を含む、請求項１８記載のプロセス。
【請求項２０】
個人化プロセスは更に：
新規人物モデルを使用して新規人物をビデオに挿入するステップであって、新規人物が元の人物の入れ替え部分の位置、向き、及び表情とほぼ一致する、ステップと；
照明効果及びシェーディング効果を新規人物に対して再現するステップと；
新規人物の陰影、及び新規人物からの反射を再現するステップと、
を含む、請求項１８記載のプロセス。
【請求項２１】
ビデオは、元の人物の内、入れ替えられない少なくとも一つの皮膚領域を含み、皮膚領域は、新規人物の皮膚外観とは異なる皮膚外観を有し、
プロセスは更に、非入替皮膚領域を変更して新規人物の皮膚外観に一致させるステップを含む、請求項２０記載のプロセス。
【請求項２２】
ビデオ作成プロセスは更に：
ビデオの中の元のオブジェクトの位置及び向きをトラッキングするステップと；
元のオブジェクトの少なくとも主要部分を、背景シーンを切れ目なく連続させた画像に入れ替えるステップと、を含み、
個人化プロセスは更に：
新規オブジェクトをビデオに挿入するステップであって、新規オブジェクトの位置及び向きが、元のオブジェクトの位置及び向きとほぼ一致する、ステップと；
照明効果及びシェーディング効果を新規オブジェクトに対して再現するステップと；
新規オブジェクトの陰影、及び新規オブジェクトからの反射を再現するステップと、
を含む、請求項２０記載のプロセス。
【請求項２３】
ビデオ作成プロセスは更に：
一つのオブジェクトをビデオに配置するために適する一つの場所の位置及び向きをトラッキングするステップを含み、
個人化プロセスは更に：
新規オブジェクトをビデオに挿入して、新規オブジェクトの位置及び向きが、前記場所の位置及び向きとほぼ一致するようにするステップと；
照明効果及びシェーディング効果を新規オブジェクトに対して再現するステップと；
新規オブジェクトの陰影、及び新規オブジェクトからの反射を再現するステップと、
を含む、請求項２０記載のプロセス。
【請求項２４】
選択したビデオはオーディオトラックを含み、オーディオトラックは、元の背景サウンドトラック及び元の人物が話す会話に分離することができ、
新規人物モデリングプロセスは更に：
新規人物の音声サンプルを取得するステップと；
新規人物の音声サンプルを分析して、新規人物の音声の一つ以上の韻律的特徴を定義するステップと、を含み、
個人化プロセスは更に：
元の人物が話す会話の音声を、新規人物の音声の一つ以上の韻律的特徴を使用してモーフィングするステップを、含む、
請求項２０記載のプロセス。
【請求項２５】
元の人物の画像を含む元のデジタルビデオの個人化バージョンを作成するプロセスであって、
前記プロセスは：
元の人物の画像の少なくとも一部分を、新規人物の画像に入れ替えるステップと、
新規オブジェクトの画像をビデオに挿入するステップと、
を含むプロセス。
【請求項２６】
新規オブジェクトの画像は、複数の候補オブジェクト画像から、新規人物に関する人口統計情報に基づいて選択される、請求項２５記載のプロセス。
【請求項２７】
元のビデオは更に、元のオブジェクトの画像を含み、元のオブジェクトの画像の少なくとも一部分は、新規オブジェクトの画像によって入れ替えられる、請求項２６記載のプロセス。
【請求項２８】
元の背景シーンと、そして元の人物の画像を含む前景と、を含む画像を含む元のデジタルビデオの個人化バージョンを作成するコンピューティングデバイスであって、
プロセッサと；
プロセッサに接続されるメモリと；
命令を格納して、命令が実行されると、命令によってコンピューティングデバイスがアクションを実行するようになる構成の記憶媒体と、を備え、
アクションは：
元の人物の画像を有する画像を含むビデオを個人化するステップを含み、アクションは更に：
元の人物の位置、向き、及び表情をトラッキングするステップと；
元の人物の少なくとも主要部分を、背景シーンを切れ目なく連続させた画像に入れ替えるステップと；
新規人物をビデオに挿入して、新規人物が、元の人物の入れ替え部分の位置、向き、及び表情とほぼ一致するようにするステップと；
照明効果及びシェーディング効果を新規人物に対して再現するステップと；
新規人物の陰影、及び新規人物からの反射を再現するステップと、を含む、
コンピューティングデバイス。
【請求項２９】
更に、ネットワークとのインターフェースを備え、
コンピューティングデバイスが実行するアクションは更に、挿入するステップの前に、新規人物の２次元デジタル画像を、ネットワークを経由して受信するステップを含む、請求項２８記載のコンピューティングデバイス。
【請求項３０】
コンピューティングデバイスが実行するアクションは更に、陰影及び反射を再現するステップの後に、個人化ビデオを、ネットワークを経由して送信するステップを含む、請求項２９記載のコンピューティングデバイス。
【請求項３１】
更に、複数のビデオを格納する一つ以上のデータベースとのインターフェースを備える、請求項２９記載のコンピューティングデバイス。
【請求項３２】
コンピューティングデバイスが実行するアクションは、入れ替えるステップの前に更に：
複数のビデオの内の一つのビデオをカスタマイズするように要求するリクエストをネットワークを経由して受信するステップと；
要求されるビデオを一つ以上のデータベースから取り出すステップと、を含む、請求項３１記載のコンピューティングデバイス。
【請求項３３】
コンピューティングデバイスが実行するアクションは、入れ替えるステップの前に更に：
複数のビデオの内の一つのビデオを、新規人物に関する人口統計情報に基づいて選択するステップと；
選択したビデオを一つ以上のデータベースから取り出すステップと、を含む、請求項３１記載のコンピューティングデバイス。
【請求項３４】
更に、デジタル画像装置との第１インターフェースを備え、
コンピューティングデバイスが実行するアクションは更に、挿入するステップの前に、新規人物の２次元デジタル画像をインターフェースを経由して受信するステップを含む、請求項２８記載のコンピューティングデバイス。
【請求項３５】
更に、ネットワークとの第２インターフェースを備え、
コンピューティングデバイスが実行するアクションは更に、入れ替えるステップの前に、元のビデオをネットワークを経由してリクエストし、そして受信するステップを含む、請求項３４記載のコンピューティングデバイス。
【請求項３６】
命令を格納して、命令がプロセッサによって実行されると、命令によってプロセッサがアクションを実行するようになる構成の記憶媒体であって、
前記アクションは：
元の人物の画像を含む画像を含むビデオを個人化するステップと；
元の人物の位置、向き、及び表情をトラッキングするステップと；
元の人物の少なくとも主要部分を、背景シーンを切れ目なく連続させた画像に入れ替えるステップと；
新規人物をビデオに挿入するステップであって、新規人物が、元の人物の入れ替え部分の位置、向き、及び表情とほぼ一致する、ステップと；
照明効果及びシェーディング効果を新規人物に対して再現するステップと；
新規人物の陰影、及び新規人物からの反射を再現するステップと、
を含む記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、個人化ビデオを、画像を部分的に入れ替えることにより作成するプロセス及び装置に関する。
【０００２】
本特許文献の開示の一部には、著作権保護の対象となるものが含まれる。本特許文献では、所有者のトレードドレスである事項、或いはトレードドレスとなり得る事項を提示し、そして／または記述する場合がある。この著作権及びトレードドレス所有者は、特許商標庁の特許ファイルまたは記録として掲載される限り、本特許開示を行なう誰かによる複製に異議を唱えるものではないが、それ以外の場合には、いかなるものであっても、あらゆる著作権及びトレードドレス権を主張することができる。
【０００３】
本特許出願は以下の特許出願の利益を主張するものであり、これらの特許出願の全ては、本明細書において参照することにより、これらの特許出願の内容が本明細書に組み込まれる：２００５年９月１６日出願の「顔画像の入れ替え」と題する特許出願第６０／７１７，８５２号；２００５年９月１６日出願の「カスタマイズしたプロダクトマーケティングイメージ」と題する特許出願第６０／７１７，９３７号；２００５年９月１６日出願の「コール通知及びメッセージ通知」と題する特許出願第６０／７１７，９３８号。
【背景技術】
【０００４】
デジタル画像記録、保存、及び合成は現在ではテレビジョン、モーションピクチャー、及びビデオゲームに広く使用される。デジタルビデオは基本的には、一定の時間間隔で撮影されるシーンの、普通「ｆｒａｍｅｓ（フレーム）」と呼ばれる一連のデジタル写真である。デジタルビデオは、デジタルビデオカメラを使用して記録することができ、アナログビデオレコーディングをデジタルで行なうことにより、またはモーションピクチャーフィルムレコーディングをデジタルで行なうことにより作成することができ、２次元及び３次元コンピュータグラフィックスをレンダリングすることにより、または上述の要素の全てを、種々の要素のアナログ合成物またはデジタル合成物とハイブリッド合成して最終デジタルビデオを実現することによっても作成することができる。視聴者に心地良い印象を与えるために、連続モーションのデジタルまたはアナログビデオ画像は通常、毎秒２５，３０，６０フレーム、またはそれよりも多くのフレームにより構成される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、１秒当たりのフレーム数は、デジタルビデオを決定する制限要素と捉えるべきではない：すなわち、幾つかのデジタルビデオフォーマットは、Ｎ秒ごとに１フレームという非常に低いフレームレートをサポートする、或いは結果として得られるデジタルビデオの最終的な保存サイズを小さくしようと試みながら、動きを感知することができるという効果を達成するために必要な可変フレームレートもサポートする。如何なるフレームレートであっても、各フレームは複数の水平ラインに分割することができ、そして各ラインは通常、ラインごとに「ｐｉｘｅｌｓ（ピクセル）」と普通呼ばれる複数の画像要素に分割される。米国における標準の放送用ビデオレコーディングはフレーム当たり５２５ラインの割合で行なわれ、そしてＨＤＴＶレコーディングはフレーム当たり１０８０ラインの割合で行なわれる。しかしながら、本記述を行なうために、「ｄｉｇｉｔａｌ  ｖｉｄｅｏ（デジタルビデオ）」という用語は、順番に眺めたときに、一つ以上の場面で時間が経過する様子を表わす単なる一連の画像という広い意味に用いられる。画像の個数、画像の表示速度、及び画像の寸法は無関係である。更には、画像は依然として従来通り、ライン及びピクセルにより構成されるものとして認識されるが、ここに開示するプロセスの種々のステップ全体を通じて、フレーム当たりのライン及びピクセルの数は必要に応じて統計的に選定し直して種々のステップに必要とされる精度を高めることができる。
【０００６】
従って、デジタルビデオの各フレームは或る合計数のピクセルから成り、そして各ピクセルは、画像の該当する部分の輝度及びカラーを示す或るビット数の情報によって表わされる。デジタルビデオを作成することができる複数の方法全体を通じて、全ての方法が、ライン及びピクセルにより構成される一連のフレームとして表わされる一連の画像に関するものである。デジタルビデオをビット及びバイトで表わす種々の手段が存在するが、或るレベルでは、全ての手段がフレーム、ライン、及びピクセルを用いた処理を行なうことができる。
【課題を解決するための手段】
【０００７】
デジタルビデオでは、フレーム群を順番に閲覧するための表示媒体が必要になる。表示媒体は通常、ＴＶ、コンピュータ及びモニター、及び携帯電話機または携帯情報端末（ＰＤＡ）のような電子機器である。これらの機器はデジタルビデオをファイル形式で受信し、または保持し、そしてフレームをユーザに対して順番に表示する。電子機器ではなく、かつユーザに対してデジタルビデオを表示する方法も用いる他の表示媒体が存在し得る。これらの媒体の例として、１）クレジット／デビットカード、及び収集用スポーツカードに見られる性質を持つ印刷ホログラム、２）有機化学反応符号化法（ｃｈｅｍｉｃａｌ  ｅｎｃｏｄｉｎｇ  ｍｅｔｈｏｄ）、及び電子透かし技術を用いない他の画像符号化法（ｏｔｈｅｒ  ｎｏｎ−ｅｌｅｃｔｒｏｎｉｃ  ｉｍａｇｅ  ｅｎｃｏｄｉｎｇ  ｍｅｔｈｏｄ）を用いるデジタルペーパー、３）印刷した簡単なフリップブックを挙げることができる。
【発明を実施するための最良の形態】
【０００８】
本記述全体を通じて、提示する実施形態及び実施例は、開示する、または請求する装置及び方法を制限するものとしてではなく、例示として解釈されるべきである。
【０００９】
本記述全体を通じて、「ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｃｌｉｐ（デジタルビデオクリップ）」、「ｖｉｄｅｏ  ｃｌｉｐ（ビデオクリップ）」、「ｃｌｉｐ（クリップ）」、及び「ｄｉｇｉｔａｌ  ｖｉｄｅｏ（デジタルビデオ）」という用語は全て、一連の画像をデジタル符号化して画像を順番に閲覧しようとする操作を暗に指している。デジタルビデオの期間に対する制限を暗に意味しているのではなく、デジタルビデオを表示する機能を持つ最終的な媒体に対する制限を暗に意味しているのでもない。デジタルビデオの例として、これらには制限されないが、次の項目を挙げることができる：現在の、または昔の映画またはテレビ番組の一部、映画またはＴＶ番組の全て、広告、音楽ビデオ、または個人化のために特別に作成される特殊クリップ（例えば、新規人物を「著名な友人」として表示するために個人化することができるクリップ）。デジタルビデオはデジタルビデオカメラを使用して記録されており、アナログビデオカメラレコーディングまたはアナログビデオフィルムレコーディングを行なうことによりデジタル処理されており、ＤＶＤのようなデジタル媒体から取り出されており、ここでは説明されない上述の他のプロセス、またはそれ以外のプロセスの内のいずれかを用いる補完プロセスによって作成されている。
【００１０】
個人化ビデオの作成は複数のフィールドを組み合わせることにより行なわれ、これらのフィールドを統合することにより、ビデオシーケンスを変更することができるので、個人は元のビデオの登場人物を当該個人自身、個人の友人、個人の家族構成員に入れ替える手段を、または個人が思い描いている実際の、または空想のどのような個人にも入れ替えることができる手段を手に入れることができる。元のビデオの登場人物をこのように入れ替えるには、これらに制限されないが、顔の入れ替え、入れ替え対象の個人の身体全体を見えなくしているビデオシーケンス内の図柄、及び／又は邪魔になっている個人及びオブジェクトの構図に起因して元のビデオに見えてしまっている頭の一部、及び／又は頭につながっている皮膚の一部の入れ替え、ビデオシーケンスのストーリー展開における入れ替え対象人物が演じる役柄が着るコスチューム及び／又は衣装の入れ替えを行なうだけで済む。元のビデオのストーリー展開の内容によって変わるが、ビデオの登場人物の入れ替えでは、手、腕、脚などのような、視界に捉えることができる当該人物の他の皮膚の一部の入れ替えを行なうことができる。
【００１１】
更に、所望の入れ替えは極端な形で行なうことができ、この場合、ビデオシーケンスに登場する元の人物をほぼ削除し、シーン内で他のオブジェクトに及ぼす当該人物の陰影、当該人物からの反射、及び当該人物による視覚的な影響を取り除いて、入れ替え用の個人の完全合成版（デジタルダブル：コンピュータグラフィックスによる代役）に入れ替え、そしてシーン内の他のオブジェクトに及ぼす当該入れ替え用の個人固有の陰影、当該入れ替え用の個人からの反射、及び当該入れ替え用の個人による視覚的な影響を追加する。
【００１２】
所望の入れ替えの精度（quality）、及びこの所望の精度が元のビデオのストーリー展開に与える影響によって変わるが、ストーリー展開の関連部分の中の入れ替え対象人物の図柄及び役割を構成する基本的要素は変更することができる。例えば、ビデオ内の筋肉質の主役男性を主役の小柄な女性に入れ替えることにより、ストーリー展開はほぼそのままに維持され0るが、ストーリー展開の表示図柄は劇的に見た目が変化する。このような変化をもたらすために、顔、及び頭の一部を入れ替えるだけでは、このような結果を十分に達成することができない；この状況では、元の人物を完全に削除してしまい、当該人物の主要な動きを２次記憶媒体に記録し、次に、小柄な女性のコンピュータグラフィックスによる代役をアニメーション化し、そして挿入するために参照する。
【００１３】
皮膚でつながっている顔／頭、及びコンピュータグラフィックスによる完全な代役の２つの両極端の間では、無限に多くの種類の人物入れ替えを実行することができる。この無限の種類の入れ替えの全ての例において、元のビデオにおけるストーリー展開、及び人物の基本的なアクションは変更しないままとすることができることに留意されたい。
【００１４】
所定の劇場システムは、立体視を利用して３次元（３Ｄ）画像の錯覚を認識させる。これらのシステムは、個別の画像、または２Ｄ方式による映画を閲覧者の両眼の各々に対して表示する。２チャネルの画像を、共通の表面に表示し、そして偏光レンズまたはカラーレンズの付いた特殊な眼鏡を使って閲覧者の両眼に分離して表示することができる。他の光学技術を用いて、各チャネルの画像が適切な眼に対してのみ表示されるようにする。本開示における議論は主として、従来の（２Ｄ）ビデオを個人化する操作に関して行なわれるが、ここに開示する個人化技術は、立体映像３Ｄディスプレイシステムの２の画像チャネルに適用することもできる。
【００１５】
個人化ビデオは、これらには制限されないが、次のフォーマットを含む或る範囲の利用可能なフォーマットで提供することができる。
【００１６】
（ａ）デジタル所有権管理の問題とは関係のないフォーマットであり、このフォーマットによって、ビデオをダウンロードし、自由に送受信し、そして売買することができる。広告用途では、プロダクトプレースメントを利用することができるので、広告主は個人化ビデオを、できる限り多くの場所で送受信し、売買し、そして表示するという恩恵を享受することができる。
【００１７】
（ｂ）デジタル所有権管理機能に対応したフォーマットであり、このフォーマットによって、個人化ビデオを購入して特定デバイスで再生するように、特定の個人による特定デバイスへのダウンロード、及び特定デバイスでの再生のみが可能になる。
【００１８】
（ｃ）３ｇｐ、３ｇｐｐ、ｍｖ４、ｇｉｆ，または他の公開または専用デジタルビデオフォーマットまたはデジタル画像フォーマットであり、このフォーマットは携帯電話機、コンピュータ、及び類似の通信機器及び計算機器で再生することができる。この例では、個人化ビデオを簡単に閲覧することができ、当該ビデオは、着信音リングトーンに替わるビデオリングトーンとして使用することができる、または当該ビデオは、機器の使用に関連する範囲で事実上全てのイベント通知に使用することができる。
【００１９】
（ｄ）デビット／クレジットカードに見られる種類の印刷されたホログラフィック画像。この例では、個人化ビデオはデジタル画像フォーマットでは提供されない；当該個人化ビデオは一連のホログラフィック画像に変換され、そしてホログラムの画像シーケンスに取り込まれている。この形態では、個人化ビデオは電子書籍閲覧デバイスを全く使用することなく閲覧することができる。
【００２０】
（ｅ）デジタルペーパー媒体であり、この媒体では、画像及び画像シーケンスを電子的に、または化学的性質に基づき符号化して非電子紙媒体（ｎｏｎ−ｅｌｅｃｔｒｏｎｉｃ  ｐａｐｅｒ  ｍｅｄｉｕｍ）とすることができる。
【００２１】
（ｅ）デジタルファブリック媒体（ｄｉｇｉｔａｌ  ｆａｂｒｉｃ  ｍｅｄｉｕｍｓ）であり、この場合、衣類、家具の張り地に選択される布、及び他の従来の使用方法による布では、布の繊維にＬＥＤ，ＯＬＥＤ、または他の発光及び変換素子を織り込んで、画像及びアニメーションを布に取り込み、転写し、または布の表面に映し出すことができる。
【００２２】
幾つかのデジタルビデオフォーマットによってロジックの埋め込みが可能になり、このロジックは、デジタルビデオを再生することにより起動される。或る例では、このようなロジックを個人化ビデオに埋め込んで、カウンタがビデオの再生のたびにインクリメントされるようにすることが望ましい。同様に、論理トリガーを個人化ビデオに埋め込むことができ、個人化ビデオは、特定の製品画像、ロゴ、または他の画像が表示されるときに始まる。カウンタはインターネットに接続する、そして／または個人化ビデオの閲覧を可能にする機器に設けることができる。カウンタがインターネットに接続されないが、閲覧用機器に設けられる場合、カウンタ値を、これらの値を利用する手段に送信する或る手段を、例えば機器がインターネットに接続される次の機会に用いて、新規のビデオまたは他の情報を取り出すことができる。
【００２３】
プロセスに関する記述
ビデオに適用されるプロセスステップでは、デジタルビデオにピクセルごとに、かつフレームごとに記憶される実データを変更する、または操作することを思い出す必要がある。本記述全体を通じてこのコンセプトを何度も繰り返すことを避けるために、プロセスステップは本明細書では、一つのアクションに関して、かつ画像の関連部分に関して説明される。例えば、「元のオブジェクトを新規オブジェクトに入れ替える」と記述されるステップでは、オブジェクト自体が実際に関与してくる訳ではなく、ビデオに表示されるオブジェクトの画像が関与してくる。「入れ替える」行為では、入れ替え対象の元のオブジェクトの画像を表わす各ビデオフレーム内の全ピクセルを特定し、次に、これらのピクセルに対応するデジタルデータを２つのステッププロセスで変更する：１）元のオブジェクトを、オブジェクトの周囲の背景を表わすピクセルで上書きし、そして２）周囲の背景に入れ替わった新規の画像を、新規オブジェクトの画像で上書きする。データは単一のステップで、元のデータを新規データで上書きすることにより変更することができる。入れ替え用オブジェクトの形状が元のオブジェクトとは異なる可能性がある場合には、２つのステッププロセスを用いる。従って、特定するステップ、及び変更するステップをビデオの全てのフレームに対して繰り返す。
【００２４】
プロセスについての最初の説明を、ビデオを新規人物の顔の画像を、ビデオの複数の元の人物の内の一人の人物の画像の顔部分の代わりに用いることにより個人化する事例を使用して行なう。本明細書では、「ｆａｃｅ（顔）」及び「ｆａｃｉａｌ（顔の）」という用語は、特に断らない限り、耳、首、及びこれらの部位に隣接する他の皮膚領域の可視部分を含むものと解釈される必要がある。同じプロセスを適用して、新規人物の更に大きな部分を、元の人物の該当する部分の代わりに、身体全体を代わりに用いる場合を最大限として用いることができる。同じ基本プロセスを可能な範囲で適用することができるが、この場合、入れ替え対象のビデオの部分が多くなるに従って、処理の複雑さ、所要時間、及びコストが増大する。同様にして、同じ基本プロセスを、一つのビデオの複数の元の人物に対して実行して、複数の新規人物を表示する個人化ビデオを作成することができる。
【００２５】
図１は、新規人物の顔の画像を、ビデオの複数の元の人物の内の一人の人物の顔画像の少なくとも一部分の代わりに用いることにより個人化されているビデオを作成するプロセスのフローチャートである。新規人物は、少なくとも一つの２次元画像が提供される限り、実在するか、または空想上のものであるかどうかに拘らず、個人化ビデオを所望している個人、当該個人の友人または家族構成員、或いは他のいずれかの個人とすることができる。
【００２６】
図１に示すプロセスは、人物モデリングプロセス１００、ビデオ作成プロセス２００、及び個人化プロセス３００に分割される。ここで、プロセス１００及び２００は互いに独立したプロセスであることに注目されたい。個人化プロセス３００では、作成ビデオ（プロセス２００）、及び少なくとも一つの新規人物モデル（プロセス１００）の両方の結果が必要になる。どのような特定のビデオに関しても、プロセス２００を実行する必要がある。どのような特定の個人化ビデオに関しても、プロセス２００の結果はプロセス１００から得られる少なくとも一つの結果とペアリングされ、そして一緒にまとめたこれらの結果をプロセス３００に渡して処理し、個人化ビデオを作成する。プロセス２００は一つのビデオに対して１回の割合で実行するだけで良い。プロセス１００は新規人物一人に対して１回の割合で使用するだけで良い。従って、一旦、一つのビデオがプロセス２００によって作成されると、当該ビデオを、どのような個数の新規人物モデルともペアリングすることができ、これによって当該人物が映った当該ビデオの個人化バージョンを作成することができる。同様にして、一旦、一つの人物モデルがプロセス１００によって作成されると、当該モデルを、どのような個数の作成ビデオともペアリングすることができ、これによって該当する人物の特徴を反映した異なる個人化ビデオを作成することができる。
【００２７】
ビデオ作成プロセス２００及び個人化プロセス３００はほぼ同時に実行することができ、この場合、各ビデオフレームに対して実行されるビデオ作成プロセスは、個人化プロセスを同じフレームに適用する前に完了させる必要があるという制約がある。しかしながら、プロセス２００は余計な手作業を必要とするプロセスであり、このプロセスを完了させるためには非常に長い期間を必要とする。実際、プロセス２００はプロセス３００を始めることができる前に完了させる必要がある。
【００２８】
図１、及びこの図に続く図では、１０１〜１９９の参照記号は人物モデリングプロセス１００内のプロセスステップを示している。更に、英字の添え字を参照記号１００に付加して（１００Ａ，１００Ｂなど）、人物モデリングプロセス１００が適宜拡張される様子を示している。同様の取り決めがビデオ作成プロセス２００及び個人化プロセス３００に関して適用されることになる。
【００２９】
人物モデリングプロセス１００は、新規人物の一つ以上の２次元（２Ｄ）デジタル画像に加えて、関連するサポート情報を受け入れ、そしてステップ１１０で、新規人物のデジタルモデルを作成し、このデジタルモデルは、３次元モデル、及び任意であるが、人口統計プロファイル、及び新規人物を表わす他の個人情報により構成される。好適な２次元画像は主として新規人物の顔、当該人物の頭の上部及び下部、両耳、当該人物の首の一部分を撮影したものであり、この場合、両眼が見え、かつカメラ視点から３０度以下の角度だけ回転した範囲となっている。顔または頭の一部分が、カメラ視点から３０度を超える角度だけ回転してしまう恐れがあることによって見えなくなる場合、統計的基準を使用して写真画像の分析によっては復元することができない情報を提供することができる。３次元モデルを２次元画像から作成する技術は公知であり、かつコンピュータ映像分野だけでなく、セキュリティシステムに共通の顔認識技術の派生技術である。最低限の関連サポート情報は、結果として得られる新規人物モデルの名前だけである。更に別の関連サポート情報として、人口統計プロファイル、及び／又は新規人物を表わす他の個人情報を挙げることができる。この情報は、情報をユーザに対して単にリクエストすることにより取得する、そして／または情報を人口統計情報購読サービス（ｄｅｍｏｇｒａｐｈｉｃ  ｉｎｆｏｒｍａｔｉｏｎ  ｓｕｂｓｃｒｉｐｔｉｏｎ  ｓｅｒｖｉｃｅ）を利用して求めることにより取得する、そして／または個人メディアサービスを使用する場合には、ユーザのアクティビティを観察することによりこのような情報をトラッキングし、そして保持することにより取得することができる。
【００３０】
ビデオ作成プロセス２００はステップ２１０から始まり、このステップでは、元の人物の位置、向き、及び表情（表現）を特定し、そしてトラッキングする。このステップでは、更に別のデータをビデオの各フレームに関して作成し、そして保存する。このデータは元の人物の顔の位置をビデオフレーム内に、そして相対サイズを、シミュレーション用デジタルカメラの座標空間内に含み、このデジタルカメラで、シーン、或る一連の測定基準に従って定量化される人物の顔の表情、及び元の人物の向き、または頭の相対的な回転及び傾きを撮る。顔の位置のトラッキング及び顔の向きの推定は、自動画像処理ツールを駆使するデジタルアーティストがデジタルワークを施すことにより行なうことができる。元の人物の表情は、元の人物の頭、または同様の人物の頭の基準３次元モデルの形状モーフィングをする、または基準３次元モデルを変換してビデオ画像の表情に一致させることにより定量化することができる。続いて、同様の変換をステップ３２０で適用して、新規人物の頭の３次元モデルを変換して、新規人物の画像を元の人物の表情に一致させる。
【００３１】
耳、鼻、及び他の顔の特徴のサイズを自然に変化させることができるとすると、新規人物の顔で、元の人物の顔を厳密に入れ替えるということにはならない可能性がある。多くの場合、新規人物の画像を既存の画像の上に単純に重ねることにより、元の人物の顔の幾つかの余分なピクセルが見える状態で残る恐れがある。余分なピクセルによって、新規人物の顔の画像に歪みが発生し、そして元の人物と新規人物との間で肌の色合いに大きな差が発生する場合に、特に見苦しさが目立つことになる。余分なピクセルを、新規人物の画像を各ビデオフレームに挿入すると同時に、検出し、そして削除することは可能である。しかしながら、余分なピクセルの個数及び位置は新規人物の特徴及び物理サイズによって変わるので、このようなプロセスは、ビデオが異なる新規人物に関して個人化されるたびに繰り返す必要がある。
【００３２】
元の人物の顔画像を確実に、余分なピクセルを発生させることなく完全に削除するために、ビデオ作成プロセス２００はステップ２２０に進み、このステップでは、元の人物の画像の少なくとも主要部分を削除し、そして人物の周りの背景を切れ目なく連続させた画像に入れ替える。ビデオが個人化目的で作成される場合、背景画像は、元の人物を含まないシーンを単に記録することにより提供することができる。既存のビデオの場合、元の人物の顔画像が削除されている画像領域の背景は、周りのシーンが切れ目なく連続するように、自動映像処理ツールを駆使するデジタルアーティストがデジタルワークを施すことにより処理することができる。元の人物の顔画像を削除し、そして背景シーンを切れ目なく連続させることにより削除部分を埋め戻すことによって、ビデオを作成して複数の異なる新規人物に、余分なピクセルを削除する処理を追加することなく使用することができる。
【００３３】
ステップ２２０において入れ替える対象となる元の人物の主要部分は、顔及び顔に続く皮膚領域を含むことができる。任意であるが、主要部分として、髪、衣服、または人物全体を含む部分を最大限として、更に別の部分を挙げることができる。自然な錯覚を覚えることができるようにする必要がある場合には、人物の陰影、及び人物からの反射を削除し、そして入れ替えることもできる。多くの場合、人物の陰影は広がり、そして反射表面は、入れ替えが必要にならないほどに十分にくすんでいる。しかしながら、くっきりとした陰影、または非常につやのある反射表面が観察される場合、陰影または反射をステップ２２０で入れ替える必要がある。ステップ２２０の結果がプロセス３００で使用される背景画像となる。ステップ２２０では、背景画像を作成し、この背景画像の上に、後続の全ての個人化画像を重ねる。
【００３４】
ビデオは、元の人物の可視皮膚領域、すなわち背景画像または新規人物によって入れ替えられることがない一方のまたは両方の手または腕を含むことができる。ステップ２３０では、元の人物の入れ替えられない可視皮膚領域を、おそらくは自動画像処理ツールを駆使するデジタルアーティストがデジタルワークを施すことにより特定することができる。入れ替えられない皮膚領域は、元の人物の皮膚に近い色を示すピクセルの位置を単に特定することにより特定することができる。入れ替えられない皮膚領域の位置及び範囲を定義するデータをビデオの各フレームに関して作成し、そして保存することができる。ステップ２３０では、光沢のない（くすんだ）背景に皮膚だけが映っている別の一連のフレームを生成し、このくすんだ背景によって皮膚のみを映したフレームセットをステップ２２０の結果と合成することができる。ステップ２２０及び２３０だけでなく、３２０及び３３０を図１に示す順番と逆の順番で実行することができる。
【００３５】
ビデオの各フレームは３次元シーンの２次元画像である。照明、シェーディング、陰影、及び反射は重要な視覚的表現技法であり、この技法によってシーンの深みを視聴者に訴える。正しい照明、シェーディング、陰影、及び反射効果を再現することなく入れ替えられる画像部分は必ず、虚偽または偽物として直ぐ認識される。
【００３６】
従って、ビデオ作成プロセスはステップ２４０に進み、このステップでは、元の人物がシーンに含まれることによって生じる照明、シェーディング、陰影、及び反射を特定し、そしてトラッキングする。これらの効果を正確に画像の入れ替え部分で再現するために、次のパラメータの内の少なくとも一つのパラメータを定義するデータを作成する、または推定する必要がある：シーンに対するカメラの位置；シーン及びカメラに対する光源または光源群の個数、タイプ、強度、色、及び位置；シーン内部のオブジェクトの相対的な奥行き；見える全ての反射表面の性質、相対位置、及び角度。ビデオを個人化するために記録する場合、このデータのほとんどの部分は、ビデオが作成されている間に簡単に測定し、そして文書化することができる。既存のビデオの場合、このデータは画像に基づいて、自動映像処理ツールを駆使するデジタルアーティストがデジタルワークを施すことにより推定することができる。
【００３７】
ビデオ作成プロセス２００内では、ステップ２１０，２２０，２３０，及び２４０は、これらのステップを実行するデジタルアーティストに、デジタルビデオを構成する画像の複数のコピーを処理させることによりいずれの順番でも行なうことができる。ビデオ作成プロセス２００には新規人物に関するどのような情報またはデータも必要ではないことに注目されたい。従って、ビデオ作成プロセスは、ステップ２１０，２２０，２３０，及び２４０で作成されるデータが保存される場合には、各ビデオに対して１回だけ実行すれば済む。このデータはビデオに関する一連の補助ファイルとして保存される。
【００３８】
個人化プロセスはステップ３２０から始まり、このステップでは、新規人物の画像をビデオに挿入する。代わりに新規人物の画像を用いるプロセスを図２に更に詳細に示す。ステップ３２２では、新規人物の３次元モデルを変換して、ビデオ作成プロセスのステップ２１０からのデータによって定義される元の人物の向き、及び表情に一致させる。この変換では、幾つかの軸の周りの回転、及び顔の表情の形状モーフィングの両方をいずれかの順番で行なう。３次元モデルを回転させ、そしてモーフィングした後、ステップ３２４で、３次元モデルの２次元画像を作成し、そして適切なサイズにスケーリングする。次に、新規人物の変換済み、かつスケーリング済みの２次元画像をビデオにステップ３２６で挿入して、新規人物の位置、向き、及び表情が、既に削除されている元の人物の位置、向き、及び表情とほぼ一致するようにする。この説明では、「ｓｕｂｓｔａｎｔｉａｌ  ｍａｔｃｈ（ほぼ一致する）」状態というのは、個人化ビデオが、新規人物がビデオを作成したときに実際にビデオに含まれていたかのように思わせるような自然な錯覚を与える場合に発生する。
【００３９】
図１を再度参照すると、ステップ３３０では、元の人物の入れ替えられない可視皮膚領域を変更して、新規人物の皮膚外観に一致させる。皮膚外観として、色、色調、及び質感のような要素を挙げることができる。この変更は、変更後の、入れ替えられない領域の平均的な皮膚の色調が、元の画像にあるバリエーションを維持しながら新規人物の顔領域の平均的な皮膚の色調と同じになるように行なうことができる。
【００４０】
ステップ３４０では、元のビデオに含まれる照明、シェーディング、陰影、及び反射を再現する。このプロセスでは、新規人物に対する、または画像の他の入れ替え領域に対する強調照明、及びシェーディングを再現するだけでなく、新規人物の全ての陰影または反射を再現する、または変更する。従って、ステップ３４０を、個人化プロセスの最終ステップとして実行することが好ましい。
【００４１】
図３は、任意のプロセス１００Ａのフローチャートであり、プロセス１００Ａを使用してハイブリッド新規人物モデル（ｈｙｂｒｉｄ  ｎｅｗ  ａｃｔｏｒ  ｍｏｄｅｌｓ）を作成することができ、これらのモデルは新規人物を定義するパラメータを合成したものである。各新規人物モデルは３次元形状、人口統計プロファイル、及び年齢、性別、体形などのような追加個人情報により構成される。全ての新規人物モデルは、他の全ての新規人物モデルと同じデータフォーマットで維持される。これによって、どのような人数の新規人物もユーザによって選択することができ、そしてユーザ制御Ｎ次元変換及びモーフィングを実行することができる。合成及びパラメータモーフィングプロセス１００Ａによってユーザは、どのような個数の新規人物モデルも選択して保持することができ、そして新規のハイブリッド人物モデルを作成することができ、これらのハイブリッド人物モデルは新規人物を定義するいずれかのパラメータ、及び／又は全てのパラメータを合成または変換した結果である。これによって個人は入力として新規人物を選択して、当該個人自身、及び当該個人と同じ性別の親を表示することができ、そして３次元形状及び年齢パラメータをモーフィングすることにより、当該個人自身の高年齢化バージョン、または当該個人と同じ性別の親の低年齢化バージョンを作成することができる。同様にして、このプロセスを使用して当該個人自身と有名人、または他の使用可能なハイブリッド合成人間との間の想像上の子孫を創り出すことができる。
【００４２】
オブジェクトの画像を個人化ビデオに加える、または既存のオブジェクトの画像を異なるオブジェクトに入れ替えることが望ましい。例えば、一通りのスポーツ器具を挿入してビデオを熱心なスポーツファンのために更に個人化することができる。別の構成として、オブジェクトを個人化ビデオに配置して、またはオブジェクトで個人化ビデオの中身を入れ替えて、目的とする広告の個人化を実現することができる。同様に、オブジェクトを選択して特定の休日、季節、またはイベントを祝うことができる。ビデオに加えるオブジェクト、またはビデオの中身の入れ替えに使われるオブジェクトは、新規人物に関する人口統計情報、または新規人物に関連する、または関連しない他の情報に基づいて選択することができる。
【００４３】
図４は、任意のプロセス２００Ａ及び３００Ａのフローチャートであり、これらのプロセスをビデオ作成プロセス２００及び個人化プロセス３００にそれぞれ組み込んで、新規オブジェクトをビデオに配置することができる。ステップ２５０では、オブジェクトの配置に適するオブジェクト配置位置を、ビデオのフレームを通して特定し、そしてトラッキングする。例えば、オブジェクト配置位置はテーブルの上とする、または床の上の空き空間とすることができる。特定のビデオに、このような位置が一つ在る、このような位置が無い、または複数の位置を特定することができ、そしてトラッキングすることができる。オブジェクト配置位置をトラッキングする処理は、位置が、シーンを撮る実際のカメラ、またはシミュレーション用カメラに対して固定されている場合、及び人物または他のシーン要素がオブジェクト配置位置とカメラとの間で移動することがない場合には非常に簡単な処理となる。オブジェクト配置位置をトラッキングする処理は、カメラがシーンに対して移動する場合、またはオブジェクト配置位置自体が、例えば人物の手の届く距離の範囲でシーンに対して移動する場合には一層複雑になる。
【００４４】
新規オブジェクトの画像をシーンにステップ３５０で加える。ステップ３５０でのプロセスは、ステップ３２０に関して前に説明したプロセスと同様であり、新規オブジェクトの表情をモーフィングする必要がない。新規オブジェクトの３次元モデルを必要に応じて回転させて、カメラアングルに一致させ、そして適切なサイズにスケーリングする。次に、２次元画像を、回転させたスケーリング済みの３次元モデルに基づいて作成し、そしてビデオ画像に挿入する。
【００４５】
ステップ２４０Ａ及び３４０Ａは基本的に、ステップ２４０及び３４０の続きのステップであり、かつステップ２４０及び３４０を拡張したステップであるが、ステップ２４０Ａ及び３４０Ａが、新規オブジェクトの画像に対する照明、シェーディング、及び陰影の効果だけでなく、新規オブジェクトの陰影及び反射の効果にも関連している点で異なっている。ステップ２４０Ａでは、次のパラメータの内の少なくとも一つのパラメータを定義するデータを作成する：新規オブジェクトに対するカメラの位置；新規オブジェクト及びカメラに対する光源または光源群の個数、種類、強度、色、及び位置；シーン内の新規オブジェクトの相対的な奥行き；及び影が落ちた、そして／または影を映し出した可視表面の性質、相対位置、及び角度。ビデオが個人化のために作成される場合、このデータの多くの部分は、ビデオを作成しながら簡単に測定し、そして文書化することができる。既存ビデオの場合、このデータは画像に基づき、自動画像処理ツールを駆使するデジタルアーティストがデジタルワークを施すことにより推定することができる。
【００４６】
ステップ３４０Ａでは、元のビデオにぴったりの照明、シェーディング、陰影、及び反射を加える。このプロセスでは、照明効果及びシェーディング効果が新規オブジェクトに生じるだけでなく、新規オブジェクトの全ての陰影を付ける、または変更する、或いは新規オブジェクトからの全ての反射を画像化する、または変更する。ステップ３４０Ａはステップ３４０を用いて、個人化プロセスの最終ステップとして実行することができる。
【００４７】
図５は、任意のプロセス２００Ｂ及び３００Ｂのフローチャートであり、これらのプロセスをビデオ作成プロセス２００及び個人化プロセス３００にそれぞれ組み込んで、元のオブジェクトを新規オブジェクトに一つのビデオにおいて入れ替える。ステップ２５５では、元のオブジェクトを特定し、そして元のオブジェクトの位置及び向きを、ビデオのフレームを通してトラッキングする。例えば、元のオブジェクトはテーブルの上の飲料用缶またはシリアルの箱とすることができる。特定のビデオには、元のオブジェクトが一つ在る、元のオブジェクトが無い、または特定のビデオでは、複数の元のオブジェクトを特定することができ、そしてトラッキングすることができる。元のオブジェクトをトラッキングする処理は、元のオブジェクトの位置が、シーンを撮る実際のカメラ、またはシミュレーション用カメラに対して固定されている場合、及び人物または他のシーン要素が元のオブジェクトとカメラとの間で移動することがない場合には非常に簡単な処理となる。元の位置及び向きをトラッキングする処理は、カメラが元のオブジェクトに対して移動する場合、または元のオブジェクト自体がシーンに対して移動する場合には一層複雑になる。
【００４８】
元のオブジェクトを、当該オブジェクトより小さい入れ替え用オブジェクトに入れ替えることにより、余分なピクセルが人物の顔の入れ替えに関して前に議論したように残ってしまう。余分なピクセルが残る現象を防止するために、ビデオ作成プロセス２００Ｂをステップ２６０に進め、このステップでは、元のオブジェクトの画像の少なくとも一部分を削除し、そして元のオブジェクトの周りの背景シーンを切れ目なく連続させた画像に入れ替える。ビデオが個人化のために作成される場合、背景画像は、単に元のオブジェクトを含まないバージョンのシーンを作成することにより提供することができる。既存ビデオの場合、背景シーンは、自動画像処理ツールを駆使するデジタルアーティストが、周りのシーンを切れ目なく連続させることで作成することができる。元のオブジェクトの画像を削除し、そしてその空いた部分に背景で埋め戻すことによって、ビデオを、複数の異なる入れ替え用オブジェクトに、余分のピクセルを削除する更に別の処理を行なうことなく使用することができる。ステップ２６０のプロセスは、１２オンスの重さの一つの飲料用缶を異なる標準的な飲料用缶に入れ替える事例のような所定の事例では必要ではなくなる。
【００４９】
入れ替え用オブジェクトの画像をシーンにステップ３６０において、ステップ３５０に関して説明したプロセスとほぼ同じとすることができるプロセスを使用して加える。入れ替え用オブジェクトの３次元モデルを必要に応じて回転させて、元のオブジェクトの向きに一致させ、そして適切なサイズにスケーリングする。次に、２次元画像を、回転させたスケーリング済みの３次元モデルに基づいて作成し、そしてビデオ画像に挿入することができる。
【００５０】
ステップ２４０Ｂ及び３４０Ｂは基本的に、ステップ２４０及び３４０の続きのステップであり、かつステップ２４０及び３４０を拡張したステップであるが、ステップ２４０Ｂ及び３４０Ｂが、新規オブジェクトの画像に対する照明、シェーディング、及び陰影の効果だけでなく、新規オブジェクトの陰影及び反射の効果にも関連している点が異なっている。ステップ２４０Ｂでは、次のパラメータの内の少なくとも一つのパラメータを定義するデータを作成することができる：新規オブジェクトに対するカメラの位置；新規オブジェクト及びカメラに対する光源または光源群の個数、種類、強度、色、及び位置；シーン内の新規オブジェクトの相対的な奥行き；及び全ての可視反射表面の性質、相対位置、及び角度。ビデオが個人化のために作成される場合、このデータの多くの部分は、ビデオを作成しながら簡単に測定し、そして文書化することができる。既存ビデオの場合、このデータは画像に基づいて、自動画像処理ツールを駆使するデジタルアーティストがデジタルワークを施すことにより推定することができる。
【００５１】
ステップ３４０Ｂでは、元のビデオにぴったりの照明、シェーディング、陰影、及び反射を加える。このプロセスでは、新規オブジェクトの画像に落ちる影を付けるだけでなく、新規オブジェクトの全ての陰影を付ける、または変更する、或いは新規オブジェクトからの全ての反射を画像化する、または変更する。ステップ３４０Ｂはステップ３４０を用いて、個人化プロセスの最終ステップとして実行することができる。
【００５２】
シーンの背景、またはビデオを撮る「セット」を、新規人物自身の位置に関連する場所、新規人物の人口統計プロファイルに、より正確に一致する場所、または他の或る場所を表わす異なる背景に入れ替えることが望ましい。例えば、元のビデオは或るレストランで撮ることができるが、個人化処理を行なった後、レストランの背景を、ロゴを含み、かつ特定のレストラン及び／又はレストランチェーンの特徴を表わす同様のレストランに入れ替えることができる、或いは新規人物の現在位置の近くに位置する特定のレストランに入れ替えることもできる。同様に、背景シーンを、ビデオに挿入される、またはビデオの中身の入れ替えに使われる新規オブジェクトに密接に関連するシーンに入れ替えることが望ましい。
【００５３】
図６は、任意のプロセス２００Ｃ及び３００Ｃのフローチャートであり、これらのプロセスをビデオ作成プロセス２００及び個人化プロセス３００にそれぞれ組み込んで、元の背景シーンの少なくとも一部分を新規の背景シーンに入れ替える。ステップ２７０では、ビデオ画像を個別の前景シーン領域及び背景シーン領域に分割することができる。背景シーンは通常、カメラから最も遠く離れた画像部分であり、そして普通、平坦な表面または平坦な背景である。前景画像領域は通常、背景の平面の前方の全ての事物であり、そして人物または人物群、入れ替える対象となることができる全てのオブジェクト、及び／又は新規オブジェクトを画像に挿入することができる全ての位置を含むことができる。ビデオを特に個人化のために作成する場合、前景／背景の分離は、人物及び前景オブジェクトが削除されている背景シーンを記録することにより行なうことができる、またはシーンを「スクリーンが一様に緑色」の背景をバックに記録して、背景位置及び周囲をシーンの記録後に挿入することができるようにする公知の技術によって行なうことができる。既存ビデオの場合、背景画像領域及び前景画像領域は、自動画像処理ツールを駆使するデジタルアーティストがデジタルワークを施すことにより分離することができる。
【００５４】
ステップ２７０の前に、または後に実行することができるステップ２６５では、カメラ位置を求め、そして記録する。ビデオを特に個人化のために作成する場合、シーンは、カメラをコンピュータ制御によって動かして、各フレームにおけるカメラの焦点距離及び位置が保持されるようにして記録することができる。この方法は公知であり、そして当該方法を使用することにより、コンピュータグラフィックスをビデオ記録信号に統合することができる。ビデオを個人化のために、物理オブジェクトの「記録」を行なわない３次元アニメーションシステムを利用して作成する場合、合成デジタルカメラの焦点距離及び位置がこの場合も同様に保持されるので、結果として得られるデジタルビデオを、記録ビデオと同じように処理することができる。既存ビデオの場合、コンピュータ画像分析を使用して、カメラが初めにシーンを撮ったときのカメラの位置を復元することができる。
【００５５】
ステップ３７０では、元の背景シーンの少なくとも一部分を新規の背景シーンに入れ替えることができる。新規の背景シーンは、前景画像領域の「周りに」配置される必要があり、かつ前景人物及び前景オブジェクトによって生じる陰影が全て付いた状態で配置する必要がある。
【００５６】
元の人物の画像を新規人物の画像に入れ替えた後、新規人物の会話を変更する、または入れ替えて、入れ替え用個人の固有の音質に更に近付けることも望ましい。会話を入れ替える処理は、新規人物がビデオと同期した会話を行なう様子を記録する処理と同程度に簡単である。しかしながら、元の会話を変更して新規人物の音声を、新規人物の会話の言葉使い、または内容を変えてしまう恐れを生じることなく模倣することが望ましい。更に、会話以外のバックグランド音声要素を、新規人物の周囲または位置に一層正確に一致する入れ替え用要素に変更する、または入れ替えることが望ましい。例えば、新規人物が英国に居る場合、米国のパトカーのサイレンの音を英国のパトカーのサイレンの音に入れ替えることが適切である。少なくとも幾つかのバックグランド音声要素を入れ替えて、元のビデオの固有のバックグランド音声を、新規人物に合った固有のバックグランド音声に入れ替えるようにすることができる。
【００５７】
図７は、任意のプロセス１００Ｂ、２００Ｄ、及び３００Ｄのフローチャートであり、これらのプロセスを人物モデリングプロセス１００、ビデオ作成プロセス２００、及び個人化プロセス３００にそれぞれ組み込んで、元の人物の会話またはバックグランド音声要素を変更する、または入れ替えることができる。ステップ２８０及び２９０では、ビデオサウンドトラックを分析して、元の人物の会話を分離し、そしてバックグランド音声要素を分離して、入れ替え、または変更を行なう。デジタルアーティスト、ソフトウェアプロセス、またはこれらの２つの要素の組み合わせによって、元のビデオのビデオサウンドトラックを分析し、そして個々のトラック、及びサウンドトラックを構成するサウンド要素を特定する。
【００５８】
ステップ１８０では、新規人物の音声サンプルを受信し、そして公知の技術を使用して分析して、新規人物の音声を特徴付ける少なくとも一つの重要属性を抽出する。重要属性は間隔、高調波成分、または他の属性とすることができる。元の人物の会話を変換して、新規人物の音声の少なくとも一つの重要属性にステップ３８０で一致させ、変換済みの会話が、入れ替え用個人が話しているかのように聞こえるようにする。
【００５９】
ステップ２９０で分離されるバックグランド音声要素をステップ３９０で変更する、または入れ替えることができる。更に別の音声要素をステップ３９０で加えることもできる。会話変更プロセス（ステップ１８０，２８０，３８０）、及びバックグランド音声変更プロセス（ステップ２９０及び３９０）の相互依存性は非常に低く、かついずれのプロセスも他方のプロセスを用いることなく実行することができる。
【００６０】
前に述べたように、元の人物の入れ替えは、元の人物が元のビデオから完全に削除され、当該人物の主要な動きが保持され、そして完全デジタル再構成版の新規人物が元の人物の場所に、身体位置、顔の表情に関して、更に挿入対象のヒト形、及び再現対象のシーンの両方に及ぶ周囲の照明効果及びシェーディング効果に関してほぼフレームごとに入れ替わるように極端に行なうことができる。この場合、基準ビデオまたは３次元モーションキャプチャデータのようなモーション情報を新規人物に関して収集して、ビデオの中身の入れ替え使われる新規人物の画像に、新規人物の固有の表情、歩き方、走り方、立ち姿勢、または他の個人の特徴が含まれるようにすることができる。
【００６１】
図８は、個人化ビデオを作成し、そして配信するプロセス４００のフローチャートを示している。前に説明したステップ２１０，２２０，２３０，及び２４０、及び任意のステップ２５０、２４０Ａ，２５５，２６０，２４０Ｂ、２６５，２７０，２８０、及び／又は２９０を含むビデオ作成プロセス２００は、ビデオの中身の入れ替え使われる、またはビデオに挿入することになる新規人物の画像または製品画像に関する事前情報を全く必要とすることなく、完了させることができる。元のデジタルビデオ４５５はビデオ供給元４５０から取得することができる。元のデジタルビデオ４５５は、ビデオ作成プロセス２００に、コンパクトディスクまたはディスケットのようなデジタル記憶媒体を利用して、インターネットまたはローカルエリアネットワークのようなネットワークによって配信することができる。元のデジタルビデオ４５５はビデオ作成プロセス２００によって処理することができ、そして結果として得られる作成済みのデジタルビデオ４６５は、個人化処理が施される状態になっている少なくとも一つのビデオを含むビデオライブラリ４７０に格納することができる。
【００６２】
同様に、ステップ１１０、及び任意のステップ１２０、１３０、及び／又は１８０を含む人物モデリングプロセス１００は、新規人物の画像を配置することになる配置先のビデオに関する情報を必要とすることなく、完了させることができる。２次元デジタル画像、及び他の情報４２５を人物モデリングプロセス１００が受信し、そして処理すると、人物モデル４３５が得られる。２次元デジタル画像４２５は、デジタルカメラ、デジタルビデオレコーダ、またはカメラ搭載携帯電話機のようなデジタル画像記録装置４２０によって作成することができる。２次元デジタル画像４２５は、従来の写真をスキャンすることによって取得することもできる。２次元デジタル画像４２５は、人物モデリングプロセス１００に、コンパクトディスクまたはディスケットのようなデジタル記憶媒体を利用して、インターネットまたはローカルエリアネットワークのようなネットワークによって配信することができる。２次元デジタル画像４２５には、名前または識別子を添付することができ、名前または識別子を使用することにより画像を参照して、後の時点で個人化要求を行なうことになる。２次元デジタル画像４２５には、更に別の任意情報を添付することができ、任意情報として、これらには制限されないが、画像に示される個人の性別、身長、体重、年齢、概略体形、及び／又は他の肉体的特徴；郵便番号、所在する国、国籍、または類似の要素のような、この個人の概略位置；及び／又は個人が話すランダムな一連の単語、または特定の一連の単語の音声サンプルを挙げることができる。
【００６３】
人物モデルは個人化プロセス３００に直接配信することができる、または人物モデルライブラリ４４０に格納することができる。
【００６４】
個人化ビデオ４１０を要求するリクエスターがリクエスト４１５を個人化プロセスに送信する。リクエスター４１０は、ビデオの中身の入れ替えに使われる画像の持ち主である新規人物とすることができる、または新規人物とする必要がなく、リクエスター４１０は、個人化ビデオ４９０の配信を受ける当事者とすることができる、または当事者とする必要がなく、そしてリクエスターは人間ユーザである必要はなく、他の或る不特定のソフトウェアまたは他のプロセスとすることができる。リクエスト４１５は、インターネットまたは他の或るネットワークを経由して配信することができる、またはファクシミリ、電話機、またはメールのような他の手段によって配信することができる。リクエストによって、ビデオライブラリ４７０から取り出す予定の特定のビデオを特定することができる。リクエストによって、人物モデルライブラリ４４０から取り出す予定の人物モデルを特定することができる。リクエストは２次元デジタル画像４２５を含むことができ、この場合、人物モデリングプロセス１００を画像に対して、個人化プロセス３００の前に実行する。個人化プロセス３００は、選択される作成済みのデジタルビデオと、そして３次元人物モデルと、を取り出し、そして要求される個人化を実行する。完了した個人化ビデオ４９０はリクエスター４１０または他の或る当事者に、インターネットのようなネットワークにより配信することができる、またはコンパクトディスクまたはデジタルビデオディスクのような記憶媒体を利用して配信することができる。
【００６５】
個人化プロセス３００は、任意の個人化ステップを含むことができ、個人化ステップでは、合成及び／又は年齢変換新規人物モデル（ｃｏｍｐｏｓｉｔｅ  ａｎｄ／ｏｒ  ａｇｅ−ｔｒａｎｓｆｏｒｍｅｄ  ｎｅｗ  ａｃｔｏｒ  ｍｏｄｅｌ）を作成し、一つ以上のオブジェクトを入れ替える、または加え、背景シーンの少なくとも一部分を入れ替え、会話を変更し、そして／または背景サウンド要素を変更する、または加える。任意の個人化ステップは、リクエスター４１０からの、または広告主のような別の当事者からのリクエストに応答して実行することができる、またはリクエスターまたは選択される新規人物に関する人口統計情報に基づいて自動的に選択することができる。
【００６６】
個人化ビデオを作成し、そして配信するプロセス４００は、インターネット上の一つ以上のウェブサイトインターフェースとして行なうことができる。これらのウェブサイトインターフェースには、インターネットブラウジング機能を備えるコンピュータ、携帯電話機、ＰＤＡ，または他のいずれかの現在の、または将来のデバイスを利用してアクセスすることができる。プロセス４００は、個人メンバーが個人化ビデオを作成、閲覧、購入、または受信して娯楽、参照、または教育に利用することを可能にするオンラインストア、オンラインクラブ、または他の接続手段の一部分とすることができる。プロセス４００は、個人化ビデオを提供して、当該ビデオを、慈善事業、及び／又は政治活動及び政治分野への寄付を促すインセンティブとしてダウンロードさせ、そして／またはオンライン閲覧させる基金支援ウェブサイトの一部分とすることができる。
【００６７】
図９は、個人化ビデオを作成する別のプロセス５００のフローチャートである。プロセス５００は、図８において説明したプロセス４００と同様であるが、プロセス４００に、３次元製品モデリングプロセス５１０、製品モデルライブラリ５２０、及び広告計画プロセス５３０を追加したプロセスとなっている。新規人物またはリクエスターに関する人口統計情報５４０を広告計画プロセス５３０に供給し、広告計画プロセス５３０では、個人化ビデオに挿入される、または個人化ビデオの中身の入れ替えに使われる一つ以上の製品を製品モデルライブラリ５２０から選択する処理に関する決定を行なう。個人化ビデオを作成し、そして配信するプロセス５００は、インターネット上の一つ以上のウェブサイトインターフェースとして行なうことができる。これらのウェブサイトインターフェースには、インターネットブラウジング機能を備えるコンピュータ、携帯電話機、ＰＤＡ，または他のいずれかの現在の、または将来のデバイスを利用してアクセスすることができる。プロセス５００はオンライン広告プロモーションの一部分とすることができ、このプロセスでは、例えば潜在顧客に、広告主の製品を使用する広告プロモーションビデオを提供する。同様に、プロセス５００を透過的にオンライン広告キャンペーンに組み込んで、インターネットウェブサイトをブラウジングする個人が特定のリクエストを行なうことなく、個人化ビデオ広告を受信することができるようにする、そして／または娯楽のオンデマンドビデオサービスを自分の携帯電話機、ケーブルセットトップボックス、または他のオンデマンド娯楽機器を利用して要求する個人が、オンデマンドビデオサービスを要求した範囲の個人化ビデオ広告を受信することができるようにする。
【００６８】
装置に関する記述
個人化ビデオを作成するコンピューティングデバイス６００を図１０にブロック図形式で示す。コンピューティングデバイス６００は、メモリ６２０及び記憶媒体６３０と通信するプロセッサ６１０により構成することができる。記憶媒体６３０は命令を格納することができ、命令が実行されると、命令によって、プロセッサ６１０が個人化ビデオを作成するために必要なプロセスを実行する。コンピューティングデバイス６００は、インターネットまたはローカルエリアネットワーク、或いはインターネット及びローカルエリアネットワークの両方のようなネットワーク６４０とのインターフェースを含むことができる。コンピューティングデバイス６００は、２次元デジタル画像及び他の情報を受信することができ、そして個人化ビデオをネットワーク６４０を経由して配信することができる。コンピューティングデバイス６００は、リクエスター６５０及びデジタル画像ソース６６０とのインターフェース接続を、ネットワーク６４０及びリモートパーソナルコンピュータ６７０、または他のネットワーク対応機器を経由して行なうことができる。コンピューティングデバイス６００はビデオライブラリ６８０とのインターフェース接続を、ネットワーク６４０または第２インターフェースを経由して行なうことができる。ネットワーク６４０、コンピュータ６７０、リクエスター６５０、デジタル画像装置６６０、及びビデオライブラリ６８０はコンピューティングデバイス６００の一部分ではないことを理解されたい。
【００６９】
コンピューティングデバイス６００は、次の物理ユニットの内の一つ以上を含む２つ以上の物理ユニットに分割することができる：ネットワーク６４０とのインターフェース接続を行なうウェブサーバ；ビデオライブラリ６８０、及び設けるとした場合の人物モデルライブラリ、または製品モデルライブラリとのインターフェース接続を行なうファイルサーバ；及び前に説明した個人化ビデオ作成プロセスの少なくとも一部分を実行する専用ビデオ／グラフィックス処理コンピュータ。装置６００を複数の物理ユニットに分割する場合、これらの物理ユニットの各ユニットは、プロセッサ６１０、メモリ６２０、及び記憶媒体６３０の一部分を保有することができる。ソフトウェア、ハードウェア、及びデータ構造から成る更に別の少ない個数のユニット、モジュール、または他の構成を使用して、ここに説明するプロセス及び装置を実現することができる。
【００７０】
個人化ビデオを作成する別のコンピューティングデバイス７００を図１１にブロック図形式で示す。コンピューティングデバイス７００は、メモリ７２０及び記憶媒体７３０と通信するプロセッサ７１０により構成することができる。記憶媒体７３０は命令を格納することができ、命令が実行されると、命令によって、プロセッサ７１０が個人化ビデオを作成するために必要なプロセスを実行する。コンピューティングデバイス７００は、キーボード、マウス、またはヒューマンインターフェース手段のような、リクエスター６５０とのインターフェースを含むことができる。コンピューティングデバイス７００は更に、デジタル画像装置６６０とのインターフェースを有することができ、そして２次元デジタル画像を画像装置６６０からインターフェースを経由して受信することができる。コンピューティングデバイス７００は、インターネットまたはローカルエリアネットワークのような、或いはインターネット及びローカルエリアネットワークの両方のようなネットワーク７４０とのインターフェースを含むことができる。コンピューティングデバイス７００は、作成済みの個人化デジタルビデオを、リモートビデオライブラリからネットワーク７４０、及び任意にリモートサーバ７５０を経由して受信することができる。次に、コンピューティングデバイス７００はビデオを個人化する。次に、個人化ビデオをユーザ６５０に対して、表示装置によって表示し、そしてメモリ７２０または記憶媒体７３０に保存することができる。ここで、ネットワーク７４０、リクエスター６５０、デジタル画像装置６６０、サーバ７５０、及びビデオライブラリ７６０はコンピューティングデバイス７００の一部分ではないことを理解されたい。
【００７１】
図１０及び図１１のコンピューティングデバイスでは、記憶媒体６３０または７３０は、コンピューティングデバイスに収容される、または接続される、或いは取り付けられるいずれかの記憶装置のいずれかの記憶媒体とすることができる。これらの記憶媒体として、例えばハードディスク、フロッピー（登録商標）ディスク、及びテープのような磁気媒体；コンパクトディスク（ＣＤ−ＲＯＭ及びＣＤ−ＲＷ）及びデジタル多用途ディスク（ＤＶＤ及びＤＶＤ±ＲＷ）のような光媒体；フラッシュメモリカード；及び他のいずれかの記憶媒体を挙げることができる。本明細書において使用するように、記憶装置は、記憶媒体からの読み出し、及び／又は記憶媒体への書き込みを可能にする装置である。記憶装置は、ハードディスクドライブ、ＤＶＤドライブ、フラッシュメモリデバイス、及び他の類似デバイスを含む。
【００７２】
本明細書において使用するコンピューティングデバイスとは、プロセッサ、メモリ、及び記憶装置を備え、かつ命令を実行することができる全てのデバイスを指し、このようなデバイスとして、これらには制限されないが、パーソナルコンピュータ、サーバコンピュータ、コンピューティングタブレット、セットトップボックス、ビデオゲームシステム、パーソナルビデオレコーダ、電話機、携帯情報端末（ＰＤＡ）、携帯型コンピュータ、及びラップトップコンピュータを挙げることができる。これらのコンピューティングデバイスは、いずれのオペレーティングシステムを実行することもでき、オペレーティングシステムとして、例えばＬｉｎｕｘオペレーティングシステム，Ｕｎｉｘ（登録商標）オペレーティングシステム，ＭＳ−ＤＯＳオペレーティングシステム，Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステム，Ｐａｌｍ  ＯＳオペレーティングシステム，及びＡｐｐｌｅ  Ｍａｃ  ＯＳ  Ｘオペレーティングシステムの変形を挙げることができる。
【００７３】
コンピューティングデバイス６００または７００は、本明細書に説明する機能を実行するために適するソフトウェア及び／又はハードウェアを含むことができる。従って、コンピューティングデバイス６００は：ロジックアレイ；メモリ；アナログ回路；デジタル回路；ソフトウェア；ファームウェア；及びマイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、及びプログラマブルロジックアレイ（ＰＬＡ）のようなプロセッサの内の一つ以上を含むことができる。コンピューティングデバイス６００のハードウェアコンポーネント及びファームウェアコンポーネントは、本明細書に説明する機能及び特徴を実現する種々の特殊ユニット、回路、ソフトウェア、及びインターフェースを含むことができる。プロセス、機能、及び特徴は、全てを、または一部を、クライアントコンピュータで動作するソフトウェアの中で具体化することができ、そしてファームウェア、アプリケーションプログラム、アプレット（例えば、Ｊａｖａ（登録商標）アプレット）、ブラウザプラグイン、ＣＯＭオブジェクト、ダイナミックリンクライブラリ（ＤＬＬ）、スクリプト、一つ以上のサブルーチン、またはオペレーティングシステムコンポーネントまたはサービスの形態とすることができる。ハードウェア及びソフトウェア、及びハードウェア及びソフトウェアの機能は分散させることができ、これによって、幾つかのコンポーネントをクライアントコンピュータで実行し、そして他のコンポーネントを他のデバイスで実行する。
【００７４】
最後のまとめの議論
これまでの記述は単に例示のために、かつ非制限的に行なわれ、例を通してのみ為されている。種々の例を示し、そして説明してきたが、この技術分野の当業者には、変更、変形、及び／又は修正を本発明に加え得ることは明らかであろう。
【００７５】
本明細書に示す例の多くは、方法論的作用またはシステム要素の特定の組み合わせを含むが、これらの作用及びこれらの要素を他の方法で組み合わせて同じ目的を達成することができることを理解されたい。フローチャートに関して、更に別の少ない数のステップを用いることができ、そして図示のステップを組み合わせて、または更に微調整して、本明細書に説明する方法を実現することができる。一の実施形態にのみ関連して議論した作用、要素、及び機能は、他の実施形態における同様の構成部分から排除されるものではない。
【００７６】
請求項において列挙されるいかなる手段プラス機能（ｍｅａｎｓ−ｐｌｕｓ−ｆｕｎｃｔｉｏｎ）に関しても、手段は、列挙される機能を実行する、本明細書に開示される手段に限定されるのではなく、列挙される機能を実行する、現時点で判明している、または後の時点で開発される全ての手段を本発明の技術範囲に包含するものである。
【００７７】
本明細書において使用するように、「ｐｌｕｒａｌｉｔｙ」という用語は２つ以上を意味する。
【００７８】
本明細書において使用するように、記述または請求項に記載されているかどうかに関係なく、「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｉｎｇ」、「ｃａｒｒｙｉｎｇ」、「ｈａｖｉｎｇ」、「ｃｏｎｔａｉｎｉｎｇ」、「ｉｎｖｏｌｖｉｎｇ」などの用語は、「ｏｐｅｎ−ｅｎｄｅｄ（非限定的）」という意味に解釈されるべきである、すなわち「ｉｎｃｌｕｄｉｎｇ  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ（これらには制限されないが、・・・を含む）」という意味を指すものとして解釈されるべきである。移行句（ｔｒａｎｓｉｔｉｏｎａｌ  ｐｈｒａｓｅｓ）である「ｃｏｎｓｉｓｔｉｎｇ  ｏｆ」及び「ｃｏｎｓｉｓｔｉｎｇ  ｅｓｓｅｎｔｉａｌｌｙ  ｏｆ」だけがそれぞれ、請求項に関する制限的移行句（ｃｌｏｓｅｄ  ｔｒａｎｓｉｔｉｏｎａｌ  ｐｈｒａｓｅｓ）または半制限的移行句（ｓｅｍｉ−ｃｌｏｓｅｄ  ｔｒａｎｓｉｔｉｏｎａｌ  ｐｈｒａｓｅｓ）である。
【００７９】
本明細書において使用するように、「ａｎｄ／ｏｒ」という表現は、列挙されるアイテムが代替物であることを意味し、かつ代替物は列挙されるアイテムのいずれの組み合わせも含む。
【図面の簡単な説明】
【００８０】
【図１】個人化デジタルビデオを作成するプロセスのフローチャートである。
【図２】図１のプロセスを更に詳細に示す図である。
【図３】個人化ビデオを作成するプロセスの任意選択ステップのフローチャートである。
【図４】個人化ビデオを作成するプロセスの任意選択ステップのフローチャートである。
【図５】個人化ビデオを作成するプロセスの任意選択ステップのフローチャートである。
【図６】個人化ビデオを作成するプロセスの任意選択ステップのフローチャートである。
【図７】個人化ビデオを作成するプロセスの任意選択ステップのフローチャートである。
【図８】個人化ビデオを提供する別のプロセスのフローチャートである。
【図９】個人化広告を提供する一つのプロセスのフローチャートである。
【図１０】コンピュータ装置のブロック図である。
【図１１】別のコンピュータ装置のブロック図である。
【図１】
2009515375.tif 000003
【図２】
2009515375.tif 000004
【図３】
2009515375.tif 000005
【図４】
2009515375.tif 000006
【図５】
2009515375.tif 000007
【図６】
2009515375.tif 000008
【図７】
2009515375.tif 000009
【図８】
2009515375.tif 000010
【図９】
2009515375.tif 000011
【図１０】
2009515375.tif 000012
【図１１】
2009515375.tif 000013