(57)【要約】利用者が特定の選択されたコンテンツに加わる、又は当該の選択されたコンテンツにおいて俳優又は登場人物のどれかを取り替えることを可能にする、画像処理システムが開示されている。利用者は、相当している利用者（又は選択された第三者）の画像と取り替えることによって、俳優の画像を変更し得る。取り替えられる俳優、に関係した種々のパラメータがそれぞれのフレーム毎に推定される。利用者（又は選択された第三者）の静的モデルが入手される。顔合成技法は、選択された俳優に関係した、推定されたパラメータによって、利用者モデルを変更するものである。ビデオ統合段階は、利用者（又は選択された第３者）が元の俳優の位置に含まれる、出力ビデオ・シーケンスを発生させるよう、変更された利用者モデルを原画像シーケンスの俳優に重ねるものである。
2004534330.tif 000002
【特許請求の範囲】
【請求項１】
原画像の俳優を第２人物の画像と取り替える方法であって：
前記俳優の少なくとも１つのパラメータを判定するよう、前記原画像を分析すること、
前記第２人物の静的モデルを入手すること、
前記の判定されたパラメータによって前記静的モデルを変更すること、
及び、
前記の変更された静的モデルを、前記画像の前記俳優の少なくとも１つの相当している部分に重ねること、を備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記の重ねられた画像が、前記第２人物の少なくとも１つの相当している部分を前記俳優の位置に含むことを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記パラメータが前記俳優の頭のポーズを含むことを特徴とする方法。
【請求項４】
請求項１記載の方法であって、前記パラメータが前記俳優の顔の表情を含むことを特徴とする方法。
【請求項５】
請求項１記載の方法であって、前記パラメータが前記原画像の照明特性を含むことを特徴とする方法。
【請求項６】
請求項１記載の方法であって、前記静的モデルが顔のデータベースから入手されることを特徴とする方法。
【請求項７】
請求項１記載の方法であって、前記静的モデルが前記第２人物の１つ以上の画像から入手されることを特徴とする方法。
【請求項８】
原画像の俳優を第２人物の画像と取り替える方法であって：
前記俳優の少なくとも１つのパラメータを判定するよう、前記原画像を分析すること、
及び、
前記画像の前記俳優の少なくとも１つの部分を第２人物の静的モデルと取り替えること、
を備えていて、
当該静的モデルが、前記の判定された少なくとも１つのパラメータによって変更されることを特徴とする方法。
【請求項９】
原画像の俳優を第２人物の画像と取り替えるシステムであって：
コンピュータによって判読可能なコードを格納する記憶装置、及び、
前記記憶装置に演算結合された処理装置、を備えていて、当該処理装置は、前記のコンピュータによって判読可能なコードを実現するよう構成され、前記のコンピュータによって判読可能なコードが：
前記俳優の少なくとも１つのパラメータを判定するよう前記原画像を分析し、
前記第２人物の静的モデルを入手し、
前記の判定されたパラメータによって前記静的モデルを変更し、及び、
前記の変更された静的モデルを前記画像の前記俳優の少なくとも１つの相当している部分に重ねる、よう構成されることを特徴とするシステム。
【請求項１０】
原画像の俳優を第２人物の画像と取り替えるシステムであって：
コンピュータによって判読可能なコードを格納する記憶装置、及び
前記記憶装置に演算結合された処理装置、を備えていて、当該処理装置は前記のコンピュータによって判読可能なコードを実現するよう構成され、前記のコンピュータによって判読可能なコードは：
前記俳優の少なくとも１つのパラメータを判定するのに前記原画像を分析し、
及び、
前記画像の前記俳優の少なくとも一部分を第２人物の静的モデルと取り替える、よう構成され、前記静的モデルが、前記の判定されたパラメータによって変更されることを特徴とするシステム。
【請求項１１】
原画像における俳優を第２人物の画像と取り替える製造物品であって：
コンピュータによって判読可能なコード手段が実現されている、コンピュータによって判読可能な媒体を備えていて、前記のコンピュータによって判読可能なプログラム・コード手段が：
前記俳優の少なくとも１つのパラメータを判定するよう、前記原画像を分析するステップ、
前記第２人物の静的モデルを入手するステップ、
前記の判定されたパラメータによって前記静的モデルを変更するステップ、及び
前記画像の前記俳優の少なくとも１つの相当している部分に、前記の変更された静的モデルを重ねるステップ、を備えていることを特徴とする製造物品。
【請求項１２】
原画像の俳優を第２人物の画像と取り替える製造物品であって：
コンピュータによって判読可能なコード手段を実現させている、コンピュータが判読可能な媒体を備えていて、プログラムの、前記のコンピュータによって判読可能なコード手段は：
前記俳優の少なくとも１つのパラメータを判定するよう、前記原画像を分析するステップ、及び、
前記画像の前記俳優の少なくとも１つの部分を第２人物の静的モデルと取り替えるステップ、を備えていて、前記静的モデルが前記の判定されたパラメータによって変更されることを特徴とする製造物品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術、及び、特に利用者が画像シーケンスに加わるのを可能にするよう、当該画像シーケンスを変更する方法及び装置に関するものである。
【背景技術】
【０００２】
消費者市場は種々さまざまのメディア及び娯楽のオプション（選択肢）を設ける。例えば、種々のメディア・フォーマットを支援する、さまざまなメディアの当事者が利用でき、かつ、実質的に無制限の量のメディア・コンテンツを利用者に提示し得る。その上、種々のフォーマットを支援する、種々のビデオ・ゲーム・システムが、利用可能であり、かつ、利用者が、実質的に無制限の量のビデオ・ゲームをするのを可能にする。それにもかかわらず、多くの利用者はそのような、メディア及び娯楽の伝統的なオプションにはすぐに退屈してしまうこともある。
【０００３】
数多くのコンテンツのオプションがあり得るが、一般に、ある特定の、選択されたコンテンツは、決まった俳優又はアニメ化された登場人物で構成されたキャストを含むものである。したがって、多くの利用者は、特定の、選択されたコンテンツにおける、前記の、俳優又は登場人物で構成されたキャストを見ている間に、特に俳優又は登場人物を利用者が知らない場合には、しばしば、面白くなくなる。さらに、多くの利用者は、特定の、選択されたコンテンツに加わりたい、又は、代わりの一揃いの俳優若しくは登場人物を含んだ、選択されたコンテンツを見たいであろう。利用者が、特定の、選択したコンテンツに加わる、又は、選択されたコンテンツの俳優又は登場人物のどれかを取り替える、のを可能にするのに利用できるメカニズムは、現在のところ、ない。
【０００４】
従来の技術には、顔の検出を実行し得る技法がある（例えば、“Method  and  System  for  Gesture  Based  Option  Selection“と題する特許文献１、及び、非特許文献１、非特許文献２、並びに非特許文献３参照。）。又、顔の認識を実行し得る技法もある（例えば、非特許文献４及び非特許文献５参照。）。さらに、俳優の頭の位置を推定し得る技法もある（例えば、非特許文献６参照。）。俳優の顔の表情を推定し得る技法もある（例えば、非特許文献７参照。）。又、俳優の照明を推定し得る技法もある（例えば、非特許文献８参照。）。
【０００５】
その上、3次元の利用者モデルを発生させる技法もある（例えば、非特許文献９参照。）。
【特許文献１】
国際公開第99/32959号パンフレット
【非特許文献１】
Damian  Lyons及び  Daniel  Pelletier、“A  Line-Scan  Computer  Vision  Algorithm  for  Identifying  Human  Body  Features“、1999年、仏国、Gesture`99（第85-96頁）
【非特許文献２】
Ming-Hsuan  Yang及びNarenda  Ahuja、”Detecting  Human  Faces  in  Color  Images”、1998年10月、Proc.  of  the    1998  IEEE  Int’l  Conf.  on  Image  Processing第1号（第127-130頁）
【非特許文献３】
I.Haritaoglu、  D.Harwood、及びL.Davis、”Hydra：Multiple  People  Detection  and  Tracking  Using  Silhouettes“、1999年、Computer  Vision  and  Pattern  Recognition、Second  Workshop  of  Video  Surveillance
【非特許文献４】
Antonio  Colmenarez及びThomas  Huang、”Maximum  Likelihood  Face  Detection“、1996年10月14-16日、米国バーモント州キリントン、2nd  Int’l  Conf.  Face  and  Gesture  Recognition（第307-311頁）
【非特許文献５】
Srinivas  Gutta、外、”Face  and  Gesture  Recognition  Using  Hybrid  Classifiers“、1996年10月14-16日、米国バーモント州キリントン、2nd  Int’l  Conf.  Face  and  Gesture  Recognition（第164-169頁）
【非特許文献６】
Srinivas  Gutta、外、”Mixture  of  Experts  for  Classification  of  Gender,  Ethnic  Origin  and  Pose  of  Human  Faces”、2000年7月、IEEE  Transactions  on  Neural  Networks、第１１（４）号（第948-960頁）
【非特許文献７】
Antonio  Colmenarez、外、”A  Probabilistic  Framework  for  Embedded  Face  and  Facial  Expression  Recognition”、1999年６月23-25日、米国コロラド州フォート・コリンズ、IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition、第I号（第592-597頁）
【非特許文献８】
J.Stauder、”An  Illumination  Estimation  Method  for  3D-Object-Based  Analysis-Synthesis  Coding”、1993年12月１-2日、独国ハノーバー、COST２１１  European  Workshop  on  New  Techniques  for  Coding  of  Video  Signals  at  Very  Low  Bitrates
【非特許文献９】
Lawrence  S.  Chen  and  J.Ostermann、”Animated  Talking  Head  with  Personalized  ３D  Head  Model”、1997年６月23-25日、米国ニュージャージー州プリンストン、Proc.  Of  1997  Workshop  of  Multimedia  Signal  Processing（第274-279頁）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
利用者の画像を含むよう画像シーケンスを変更する、方法及び装置の必要性が、したがって、ある。さらに、利用者が画像シーケンスに加わることを可能にするよう画像シーケンスを変更する、方法及び装置の必要性がある。
【課題を解決するための手段】
【０００７】
一般に、利用者が特定の、選択されるコンテンツに加わる、又は当該の、選択されるコンテンツにおける俳優又は登場人物のどれかを取り替える、ことを可能にする画像処理システムが開示される。本発明は、原画像シーケンスにおける俳優の画像を、相当している利用者（又は、選択された第３者）の画像と取り替えることによって、利用者が画像又は画像シーケンスを変更することを可能にする。
【０００８】
原画像シーケンスは、俳優の、頭のポーズ、顔の表情、及び照明の特性、のような、各フレームについて取り替えられる、俳優に関係した種々のパラメータを推定するよう、最初に分析される。さらに、利用者（又は選択された第3者）に関する静的モデルも入手される。顔合成技法は選択された俳優に関係した、推定されたパラメータによる利用者モデルを変更するので、俳優が特定の、頭のポーズ、及び顔の表情を備えている場合、静的利用者モデルはそれに応じて変更される。ビデオ統合段階は、元の俳優の位置に利用者（又は選択された第３者）を含む出力ビデオ・シーケンスを発生させるよう、変更された利用者モデルを原画像シーケンスの俳優に重ねるものである。
【発明を実施するための最良の形態】
【０００９】
公知のように、本明細書及び特許請求の範囲にて説明された方法及び装置は、コンピュータによって判読可能なコード手段を実施させた、コンピュータによって判読可能な媒体を自ら含む、製造物品として配布し得る。コンピュータによって判読可能なプログラム・コード手段は、コンピュータ・システムに関連して、本明細書及び特許請求の範囲にて説明された、方法を実行する、又は装置を生成する、ステップの全部又はいくらかを実行するよう動作し得る。コンピュータによって判読し得る媒体は（例えば、フロッピィ・ディスク、ハード・ディスク、コンパクト・ディスク、又はメモリ・カードのような）記録可能な媒体、又は（例えば、光ファイバー、ワールド・ワイド・ウェブ、ケーブル、又は、時分割多元アクセス、符号分割多元アクセス若しくは他の無線周波数チャネルを利用した無線チャネル、を備えているネットワークのような）伝送媒体であり得る。コンピュータ・システムの利用に適した情報を格納し得る、周知の、又は開発される媒体のどんなものでも用い得る。コンピュータによって判読可能なコード手段は、磁気メディア上の磁気的変形又はコンパクト・ディスクの表面上の高さの変形のような、コンピュータが命令とデータを読み取ることを可能にする、何かのメカニズムである。
【００１０】
本発明は、付属の図面を参照して、下記に説明するものとする。
本明細書及び特許請求の範囲にて表され及び説明された、実施例及び当該変形は、本発明の原理の単なる例示であって、及び、さまざまな変更が、本発明の範囲及び精神から逸脱することなく、当業者によって実現し得るものである。
【実施例】
【００１１】
図１は本発明による画像処理システム１００を表す。本発明の一特徴によれば、画像処理システム１００は、原画像シーケンスにおける俳優の（又は、俳優の顔のような、俳優の一部の）画像を、相当する利用者（又は、利用者の顔のような、利用者の一部の）の画像と取り替えることによって、ビデオ・シーケンス又はビデオ・ゲーム・シーケンスのような、画像又は画像シーケンスに、1人以上の利用者が加わることを可能にするものである。
【００１２】
取り替えられる俳優は、画像シーケンスから利用者によって選択されることがあり、又は所定のものであるか、さもなければ動的に決定されることがある。一変形においては、画像処理システム１００は、入力画像シーケンスを分析し、及び、例えば、俳優が登場するフレーム数又は俳優のクローズアップがあるフレーム数、に準拠して前記入力画像に含まれた俳優をランク付けし得る。
【００１３】
原画像シーケンスは、最初に、俳優の頭のポーズ、顔の表情及び照明特性のような、各フレームについて取替えられる俳優に関係した種々のパラメータを推定するよう、分析される。さらに、利用者(又は第3者)の静的モデルを入手する。利用者(又は第3者)の静的モデルは顔のデータベースから入手されることがあり、又は、利用者の頭の２次元又は3次元画像が入手されることがある。例えば、ペンシルベニア州ニュータウンのサイバースキャン・テクノロジーズ（CyberScanTechnologies）社から商業上入手可能な、サイバースキャン（Cyberscan）光学式測定システムは静的モデルを入手するのに利用し得る。顔合成技法が、それから、選択された俳優に関係した、推定されたパラメータによって、利用者モデルを変更するよう利用される。特に、利用者モデルは俳優のパラメータによって動かされるので、俳優が特定の頭のポーズと顔の表情を備える場合、静的利用者モデルはそれに応じて変更される。最後に、ビデオ統合段階は、元の俳優の位置に利用者が入っている出力ビデオ・シーケンスを発生させるよう、原画像シーケンスにおいて、変更された利用者モデルを俳優に、付加、すなわち重ねるものである。
【００１４】
画像処理システム１００は、中央処理装置（ＣＰＵ）のような、処理装置１５０、及びＲＡＭとＲＯＭのような、記憶装置１６０、を含む、パーソナル・コンピュータ又はワークステーションのような、計算装置の何かによって実施し得る。代替の実施態様では、本明細書及び特許請求の範囲に開示される画像処理システム１００は、例えば、ビデオ処理システム又はディジタル・テレビの一部として、特定用途向けＩＣ(ＡＳＩＣ)として実装し得る。それぞれ、図１で示された、及び、図３乃至図５に関連して下記に説明された、ように、画像処理システム１００の記憶装置１６０は、顔分析処理過程３００、顔合成処理過程４００及びビデオ統合処理過程５００を含む。
【００１５】
一般に、顔分析処理過程３００は、俳優の頭のポーズ、顔の表情及び照明特性のような、取り替えられる俳優に関係した種々の対象パラメータを推定するよう、原画像シーケンス１１０を分析する。顔合成処理過程４００は、顔分析処理過程３００によって発生されたパラメータによって、利用者モデルを変更する。最後に、ビデオ統合処理過程５００は、元の俳優の位置に利用者を含む出力ビデオ・シーケンス１８０を発生させるよう原画像シーケンス１１０において変更された利用者のモデルを俳優の上に重ねる。
【００１６】
記憶装置１６０は、本明細書及び特許請求の範囲にて開示された、方法、ステップ、及び機能を実現するよう、処理装置１５０を構成するものである。記憶装置１６０は分散であってもローカルであってもよく、及び処理装置は分散であっても単一であってもよいものである。記憶装置１６０は電気、磁気又は光学式記憶装置、さもなければこれら、若しくは他の種類のストレージ機器の組み合わせの何かで実装し得るものである。本明細書及び特許請求の範囲の原文の「memory」の語は処理装置１５０によってアクセスされるアドレス可能な空間におけるアドレス、から読み取る、又は記録することが可能である、どんな情報も包含するよう、十分広く解釈されるべきである。当該定義によれば、ネットワーク上の情報は、処理装置１５０が前記ネットワークから情報を回復し得るので、依然として、画像処理システムの記憶装置１６０にある。
【００１７】
図２は本発明によって実行された動作の概略図を表す。図２に表されたように、原画像シーケンス２１０の各フレームは、図３に関して下記に説明するが、俳優の頭のポーズ、顔の表情及び照明特性のような、取り替えられる俳優の、種々の興味を引くパラメータを推定するよう、最初に、顔分析処理過程３００によって分析される。さらに、例えば、利用者に焦点を当てたカメラ２２０−１から、又は、顔２２０−２のデータベースから、利用者（又は第３者）の静的モデル２３０が入手される。静的モデル２３０を発生させる方法はさらに下記の「頭/顔の３次元モデル」と題する部分で説明される。
【００１８】
その後は、図４に関連して下記に説明された、顔合成処理過程４００が、顔分析処理過程３００によって発生された、俳優のパラメータによって、利用者モデル２３０を変更する。このように、利用者モデル２３０は俳優のパラメータによって動かされるので、俳優が特定の頭のポーズ及び顔の表情を備える場合、静的利用者モデルはそれに応じて変更される。図２に表されたように、ビデオ統合処理過程５００は元の俳優の位置に利用者が入っている出力ビデオ・シーケンス２５０を発生させるよう、原画像シーケンス２１０において、俳優の上に、変更された利用者モデル２３０´を重ねる。
【００１９】
図３は顔分析処理過程３００の実施例を説明している流れ図である。前記に示されたように、顔分析処理過程３００は、俳優の頭のポーズ、顔の表情及び照明特性のような、取り替えられる俳優に関係した種々の、興味を引くパラメータを推定するよう、原画像シーケンス１１０を分析する。
【００２０】
図３に表されたように、ステップ３１０中に、顔分析処理過程３００は最初に、利用者による、取り替えられる俳優の選択を受け取る。前記に示されたように、初期値の俳優の選択が利用されることがある、又は、例えば画像シーケンス１１０における登場頻度、に準拠して自動的に選択されることがある。その後は、ステップ３２０中に、顔分析処理過程３００が、現行の画像フレーム上で、当該画像における全ての俳優を識別するよう、顔の検出を実行する。顔の検出は、例えば、前記にて説明された、従来の技術によって実行し得る。
【００２１】
その後、ステップ３３０中に、顔認識技法が、前ステップにて検出された顔の１つについて、実行される。顔認識は、例えば、前記にて説明された、従来の技術によって実行し得る。
【００２２】
ステップ３４０では、認識された顔が取り替えられる俳優と整合するかどうかを判定するよう、検査が実施される。ステップ３４０中に、現行の顔が取り替えられる俳優の顔と整合しないと判断された場合には、ステップ３５０中に、検査する画像に、別の、検出された俳優のものがあるかどうかを判定するよう、さらに検査を実行する。ステップ３５０中に、検査される、別の検出された俳優のものがあると判定された場合には、プログラム制御はステップ３３０に戻り、前記にて説明されたように、別の、検出された顔を処理する。しかしながら、ステップ３５０中に、検査される、さらに追加の、検出された俳優のものがないと判定された場合には、それから先は、プログラム制御は終了する。
【００２３】
ステップ３４０中に現行の顔が、取り替えられる俳優と整合すると判断された場合には、それから俳優の頭のポーズが、ステップ３６０中に推定され、顔の表情がステップ３７０中に推定され、及び、照明特性がステップ３８０中に推定される。俳優の頭のポーズはステップ３６０中に、前記に説明した従来の技法にて、予測し得る。俳優の顔の表情はステップ３７０中に、前記に説明した従来の技法にて、予測し得る。俳優の照明特性はステップ３８０中に、前記に説明した従来の技法にて、予測し得る。
【００２４】
頭/顔の3次元モデル
前記に示したように、利用者の静的モデル２３０は、例えば利用者に焦点が当てられた
カメラ２２０−１から、又は顔２２０−２のデータベースから、入手される。さらに、前記で示したように、ペンシルベニア州ニュータウンのサイバースキャン・テクノロジーズ（CyberScanTechnologies）社から商業上入手可能な、サイバースキャン（Cyberscan）光学式測定システムを、静的モデルを入手するよう利用し得る。
【００２５】
一般に、形状モデルは、利用者の頭の形状を3次元で表現するものである。前記形状モデルは一般に範囲データの形態のものである。発生型は、利用者の頭の表面の感触及び色を表現するものである。前記発生型は一般に色データの形態のものである。最後に、数式モデルは、顔の表情、唇の動き、及びその他の情報を伝える、利用者の顔の非固定的な変形を表現するものである。
【００２６】
図４は顔合成処理過程４００の実施例を説明している流れ図である。前記に説明されたように、顔合成処理過程４００は顔分析処理過程３００によって発生されたパラメータによって、利用者モデル２３０を変更する。図４に表されたように、顔合成処理過程４００はステップ４１０中に、最初に、顔分析処理過程３００によって発生させたパラメータを回復する。
【００２７】
その後は、顔合成処理過程４００は、ステップ４２０中に、入力画像シーケンス１１０で取り替えられる俳優の位置に整合させるよう、静的モデル２３０を回転、平行移動及び/又は再スケール設定するのに、頭のポーズのパラメータを利用する。顔合成処理過程４００は、それから、ステップ４３０中に、入力画像シーケンス１１０で取り替えられる俳優の顔の表情に整合させるよう、静的モデル２３０を変形するのに、顔の表情のパラメータを利用する。最後に、顔合成処理過程４００は、ステップ４４０中に、入力画像シーケンス１１０の特性に整合させるよう、色、強さ、コントラスト、雑音及び陰影のような、静的モデル２３０画像の特徴の数を調節するのに、照明パラメータを利用する。それから先は、プログラム制御は終了する。
【００２８】
図５はビデオ統合処理過程５００の実施例を説明している流れ図である。前記にて示されたように、ビデオ統合処理過程５００は、元の俳優の位置に利用者を含む出力ビデオ・シーケンス１８０を発生させるよう、原画像シーケンス１１０で、役者の上に変更された利用者モデルを重ねるものである。図５で表されたように、ビデオ統合処理過程５００は、ステップ５１０中に、最初に、原画像シーケンス１１０を入手する。ビデオ統合処理過程５００は、それから、ステップ５２０中に、利用者の、変更された静的モデル２３０を、顔合成処理過程４００から入手する。
【００２９】
ビデオ統合処理過程５００は、その後は、ステップ５３０中に、俳優の、位置、ポーズ及び顔の表情、とともに、利用者を含む、出力画像シーケンス１８０を発生させるよう、原画像１１０で、利用者の、変更された静的モデル２３０を、俳優の画像に重ねる。それから先は、プログラム制御は終了する。
【図面の簡単な説明】
【００３０】
【図１】本発明による画像処理システムを例示する図である。
【図２】本発明によって実行される動作の概略図を例示する図である。
【図３】顔分析処理過程の実施例を説明している流れ図である。
【図４】顔合成処理過程の実施例を説明している流れ図である。
【図５】ビデオ統合処理過程の実施例の流れ図である。
【図１】
2004534330.tif 000003
【図２】
2004534330.tif 000004
【図３】
2004534330.tif 000005
【図４】
2004534330.tif 000006
【図５】
2004534330.tif 000007
【国際公開パンフレット】
2004534330.tif 000008
2004534330.tif 000009
2004534330.tif 000010
2004534330.tif 000011
2004534330.tif 000012
2004534330.tif 000013
2004534330.tif 000014
2004534330.tif 000015
2004534330.tif 000016
2004534330.tif 000017
2004534330.tif 000018
2004534330.tif 000019
2004534330.tif 000020
2004534330.tif 000021
2004534330.tif 000022
2004534330.tif 000023
【国際調査報告】
2004534330.tif 000024
2004534330.tif 000025
2004534330.tif 000026