(57)【要約】【課題】感情に基づくデジタル映像変更に対する方法、装置及びコンピュータ・プログラムを提供する。【解決手段】感情に基づくデジタル映像変更は、人の顔のデジタル映像を受信するステップと、人の感情状態を特徴付けるデジタル映像に表された顔の表情を検出するステップと、人の感情状態を特徴付けるデジタル映像に表された顔の表情を変更ルールに従って変更するステップとを含む。感情に基づくデジタル映像変更は、ユーザによって変更ルールを確立するステップをも含むことができる。感情に基づくデジタル映像変更は、デジタル映像に表された顔の変更済み表情を表示画面に表示するユーザによって変更ルールを確立するステップをも含むことができる。【選択図】図３
2008071341.tif 000002
【特許請求の範囲】
【請求項１】
感情に基づくデジタル映像の変更の方法であって、
人の顔のデジタル映像を受信するステップと、
前記人の感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を検出するステップと、
前記人の前記感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を、変更ルールに従って変更するステップと
を含む方法。
【請求項２】
前記人の前記感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を、変更ルールに従って変更するステップは、前記デジタル映像に表された前記顔の表情を、前記人の前記感情状態を特徴付ける前記顔の前記表情を誇張するように変更するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記人の前記感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を変更ルールに従って変更するステップは、前記デジタル映像に表された前記顔の表情を、前記人の前記感情状態を特徴付ける前記顔の前記表情を抑制するように変更するステップを更に含む、請求項１に記載の方法。
【請求項４】
前記人の感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を検出するステップは、
感情フィルタを、前記デジタル映像内の前記顔の表情に適用するステップと、
前記人の前記感情状態を特徴付ける前記デジタル映像に表された前記顔の前記表情を、フィルタ済みデジタル映像に従って決定するステップと
を更に含む、請求項１に記載の方法。
【請求項５】
ユーザによって変更ルールを確立するステップを更に含む、請求項１に記載の方法。
【請求項６】
前記デジタル映像に表された前記顔の変更済み表情を表示画面に表示するステップを更に含む、請求項１に記載の方法。
【請求項７】
感情に基づくデジタル映像の変更のための装置であって、コンピュータ・プロセッサと、前記コンピュータ・プロセッサに動作可能に結合されたコンピュータ・メモリとを備え、前記コンピュータ・メモリには、
人の顔のデジタル映像を受信し、
前記人の感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を検出し、
前記人の前記感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を、変更ルールに従って変更すること
が可能なコンピュータ・プログラム命令が配置された、装置。
【請求項８】
感情に基づくデジタル映像の変更のための、信号伝達媒体に配置されたコンピュータ・プログラムであって、  人の顔のデジタル映像を受信するステップと、
前記人の感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を検出するステップと、
前記人の前記感情状態を特徴付ける前記デジタル映像に表された前記顔の表情を変更ルールに従って変更するステップと
をコンピュータに実行させるための、コンピュータ・プログラム。
【請求項９】
前記信号伝達媒体は記録可能媒体を備える、請求項８に記載のコンピュータ・プログラム。
【請求項１０】
前記信号伝達媒体は送信媒体を備える、請求項８に記載のコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理に関し、特に、感情に基づくデジタル映像変更に対する方法、装置及びコンピュータ・プログラムに関する。
【背景技術】
【０００２】
人の顔の表情は、人の感情状態と密接に関連する。例えば、人は幸せな時に微笑み、不快な時に目を細め眉を下げ、驚いた時に目を丸くし口を開けることなどが多い。従って、人は、しばしば、人の顔の表情を観察することによって人の感情状態を識別することができる。
【０００３】
人の顔の表情は、顔の筋肉の１つ以上の動きまたは位置によって生じる。例えば、人が眼輪筋を収縮して目にしわを寄せ、目尻のしわを形成し、これと同時に、大頬骨筋を収縮して口角を持ち上げる時に心からの微笑を観察することができる。激しい感情状態は、筋肉の顕著な動きまたは位置を伴い、従って、顔の表情に対応して際立つ。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
デジタル映像を介して他人と通信する場合にしばしば、人は、顔の表情によって伝えられる感情状態の強度を緩和または抑制したいことがある。人の感情状態の強度のこのような緩和は、人が冷静さを保たなければならない交渉または他の状況において有用である。他の状況では、人は感情状態の強度を強化または誇張したいことがある。このような状況では、誇張は、感情を読む能力に欠けた人々を訓練する時に、または、感情的に遠慮がちな人々に対して有用である。
【課題を解決するための手段】
【０００５】
感情に基づくデジタル映像変更に対する方法、装置及びコンピュータ・プログラムであって、人の顔のデジタル映像を受信するステップと、人の感情状態を特徴付けるデジタル映像に表された顔の表情を検出するステップと、人の感情状態を特徴付けるデジタル映像に表された顔の表情を変更ルールに従って変更するステップとを含む方法、装置及びコンピュータ・プログラムを開示する。感情に基づくデジタル映像変更は、ユーザによって変更ルールを確立するステップをも含むことができる。感情に基づくデジタル映像変更は、デジタル映像に表された顔の変更済み表情を表示画面に表示するユーザによって変更ルールを確立するステップをも含むことができる。
【発明を実施するための最良の形態】
【０００６】
本発明の前述した目的、特徴及び利点、並びに、他の目的、特徴及び利点は、添付図面に示された本発明の例示的な実施形態の以下の更に詳細な説明から明らかになる。図中、同一の符号は、本発明の例示的な実施形態の同様な部分を示す。
【０００７】
図１から始まる添付図面を参照して、本発明の実施形態による感情に基づくデジタル映像変更に対する例示的な方法、装置及びコンピュータ・プログラムを説明する。図１は、本発明の実施形態による感情に基づくデジタル映像変更に対する例示的なデータ処理システムを示す絵的表示について説明する。一般的に、図１のシステムは、人（１０６）の顔のデジタル映像を受信し、人（１０６）の感情状態を特徴付けるデジタル映像に表された顔の表情を検出し、人（１０６）の感情状態を特徴付けるデジタル映像に表された顔の表情を変更ルールに従って変更することによって、本発明の実施形態による感情に基づくデジタル映像変更に対して動作する。
【０００８】
図１のシステムでは、デジタル映像は、動画の錯視を生成するのに一般的に用いられるデジタル・フレームの集合である。デジタル映像を用いてテレビ番組、映画、コマーシャル、他のコンテンツ、または、このような他のコンテンツと関連するデータを実装することができる。デジタル映像の各フレームは、１つの静止画像を描画する画像データと、画像データと関連するメタデータとを含む。各フレームのメタデータは、フレームを音声ストリームと同期化する同期データと、フレーム、字幕データなどを表示する装置の構成データとを含むことができる。
【０００９】
図１のシステムは、ラップトップ（１０２）を含む。ラップトップ（１０２）は、感情に基づくデジタル映像変更モジュール（１００）がインストールされている汎用コンピュータである。図１の感情に基づくデジタル映像変更モジュール（１００）は、本発明の実施形態による感情に基づくデジタル映像変更に対するコンピュータ・プログラム命令を含むソフトウェア構成要素である。一般的に、感情に基づくデジタル映像変更モジュール（１００）は、人（１０６）の顔のデジタル映像を受信し、人（１０６）の感情状態を特徴付けるデジタル映像に表された顔の表情を検出し、人（１０６）の感情状態を特徴付けるデジタル映像に表された顔の表情を変更ルールに従って変更することによって、本発明の実施形態による感情に基づくデジタル映像変更に対して動作する。
【００１０】
図１のラップトップ（１０２）は、ケーブル（１０８）を介してラップトップ（１０２）に接続されたデジタル・ビデオ・カムコーダ（１０４）から人（１０６）の顔のデジタル映像を受信する。カムコーダの名前は、単一電子装置へのカメラ及びレコーダの統合に由来する。デジタル・ビデオ・カムコーダ（１０４）は、ビデオ画像及び音声を獲得し、ビデオ画像及び音声をストレージ媒体に記録する携帯用電子装置である。ストレージ媒体は、例えば、フラッシュ・メモリ、ビデオ・テープまたは、当業者が思い付くような任意の他のストレージ媒体を含むことができる。図１では、ラップトップ（１０２）がデジタル・ビデオ・カムコーダ（１０４）からデジタル映像を受信するが、当然のことながら、ラップトップ（１０２）は、例えば、ケーブル・テレビ会社、衛星テレビ会社、放送テレビ会社、インターネットのような他のデジタル映像プロバイダ、または、当業者が思い付くような任意の他のデジタル映像プロバイダからデジタル映像を受信することができる。図１の例では、ラップトップ（１０２）は、例えば、ラップトップ（１０２）自体内で再生するＤＶＤまたはコンパクト・ディスクのような取り外し可能な媒体からもデジタル映像を受信することができる。
【００１１】
デジタル映像に表された顔の表情を変更した後、図１のラップトップ（１０２）は、デジタル映像に表された顔の変更された表情をラップトップ（１０２）の表示画面（１１６）に表示することができる。図１のラップトップ（１０２）は、デジタル映像に表された顔の変更済み表情を、ケーブル（１１４）を介してラップトップ（１０２）に接続された表示装置（１１２）の表示画面（１１０）にも表示することができる。図１のケーブル（１０８，１１４）は、ＲＣＡケーブル、ユニバーサル・シリアル・バス（「ＵＳＢ」）ケーブル、同軸ケーブル、セパレート・ビデオ（「Ｓ‐Ｖｉｄｅｏ」）ケーブルなどとして実施することができる。
【００１２】
図１の表示装置（１１２）は、デジタル映像の各フレームを表示する電子装置である。本明細書では、デジタル映像を表示するとは、例えば字幕テキストのような表示のために符号化されたフレームの任意のメタデータと一緒にフレームの画像データを表示画面に描画することを意味する。表示装置（１１２）は、短い期間、一般的には、１／２４秒、１／２５秒または１／３０秒の間、各フレームを表示画面（１１０）上で明滅し、表示画面に表示されたフレームをデジタル映像の次のフレームで直ちに置き換えることによってデジタル映像を表示する。ある人が表示画面（１１０）を見ているとき、人の目にある残像は、表示されたフレームを一緒に混合して動画の錯視を生成する。
【００１３】
図１は、デジタル・ビデオ・カムコーダ（１０４）、ラップトップ（１０２）及び表示装置（１１２）間の接続を直接有線接続として示している。当然のことながら、このような接続は、本発明を説明するためであって限定するためのものではない。実際には、例えば、仕様のＩＥＥＥ８０２．１１またはＢｌｕｅｔｏｏｔｈ（登録商標）ファミリに準拠して実施された無線接続としてデジタル・ビデオ・カムコーダ（１０４）、ラップトップ（１０２）及び表示装置（１１２）間の接続を実施することができる。例えばトランスミッション制御プロトコル（「ＴＣＰ」）、インターネット・プロトコル（「ＩＰ」）、ハイパーテキスト転送プロトコル（「ＨＴＴＰ」）、無線アクセス・プロトコル（「ＷＡＰ」）、ハンドヘルド・デバイス・トランスポート・プロトコル（「ＨＤＴＰ」）を含む様々なデータ通信プロトコル、及び、当業者が思い付くような他のデータ通信プロトコルをサポートするネットワークを介するデータ通信としてもデジタル・ビデオ・カムコーダ（１０４）、ラップトップ（１０２）及び表示装置（１１２）を一緒に接続することができる。
【００１４】
更に当然のことながら、図１に示された例示的なシステムを構成する装置の配置も、本発明を説明するためであって限定するためのものではない。本発明の様々な実施形態によって有用であるデータ処理システムは、当業者が思い付くような、図１には示されていない追加の映像記録装置、表示装置、サーバ、ルータ、他の装置、ネットワーク・アーキテクチャ及びピア・ツー・ピア・アーキテクチャを含むことができる。更に、本発明の様々な実施形態を、図１に示されたハードウェア・プラットフォームに加えて様々なハードウェア・プラットフォーム上に実施することができる。
【００１５】
一般的に、本発明による感情に基づくデジタル映像変更は、コンピュータと共に、すなわち自動計算機と共に実施される。図１のシステムでは、例えば、デジタル・ビデオ・レコーダ、表示装置及びラップトップは、少なくともコンピュータとして、ある程度まで実施される。従って、更なる説明のため、図２は、本発明の実施形態による感情に基づくデジタル映像変更に有用である例示的なラップトップ（１０２）を備える自動計算機のブロック図について説明する。図２のラップトップ（１０２）は、少なくとも１つのコンピュータ・プロセッサ（１５６）または「ＣＰＵ」と、高速のメモリ・バス（１６６）及びバス・アダプタ（１５８）を介してコンピュータ・プロセッサ（１５６）及びラップトップの他の構成要素と接続されているランダム・アクセス・メモリ（「ＲＡＭ」）（１６８）とを含む。
【００１６】
ＲＡＭ（１６８）には、感情に基づくデジタル映像変更モジュール（１００）が格納されている。図２の感情に基づくデジタル映像変更モジュール（１００）は、本発明の実施形態による感情に基づくデジタル映像変更に対するコンピュータ・プログラム命令を含むソフトウェア構成要素である。一般的に、図２の感情に基づくデジタル映像変更モジュール（１００）は、人の顔のデジタル映像を受信し、人の感情状態を特徴付けるデジタル映像に表された顔の表情を検出し、人の感情状態を特徴付けるデジタル映像に表された顔の表情を変更ルールに従って変更することによって、本発明の実施形態による感情に基づくデジタル映像変更に対して動作する。
【００１７】
ＲＡＭ（１６８）には、デジタル映像バッファ（２００）も格納されている。デジタル映像バッファ（２００）は、先入れ先出し（「ＦＩＦＯ」）バッファを実装するのに用いられるコンピュータ・メモリである。デジタル映像バッファ（２００）は、本発明の実施形態による感情に基づくデジタル映像変更に有用であるデジタル映像のフレームを格納する。例示的なラップトップ（１０２）は、図２のデジタル映像バッファ（２００）に格納されたデジタル映像に関するデータ処理を、感情に基づくデジタル映像変更モジュール（１００）のコンピュータ・プログラム命令に従って実行する。
【００１８】
ＲＡＭ（１６８）には、コーデック（２０２）も格納されている。「コーデック」は、「エンコーダ／デコーダ」を意味する業界標準用語である。図２のコーデック（２０２）は、デジタル映像に符号化及び復号化を実行することができるソフトウェア構成要素である。図２のコーデック（２０２）は、送信、記憶または暗号化のためにデジタル映像を符号化し、表示または編集のためにデジタル映像を復号化するのに有用である。図２に示されたコーデックはソフトウェア構成要素として実施されるが、このような実施は、本発明を説明するためであって限定するためのものではない。実際には、コーデックをコンピュータ・ハードウェアとしても実施することができる。本発明の実施形態による感情に基づくデジタル映像変更に有用であるコーデックの例として、Ｃｉｎｅｐａｋ、モーションＪＰＥＧ、ＭＰＥＧ及び、当業者が思い付くような任意の他のコーデックを挙ることができる。
【００１９】
ＲＡＭ（１６８）には、オペレーティング・システム（１５４）も格納されている。本発明の実施形態によってラップトップに有用であるオペレーティング・システムには、ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＭｉｃｒｏｓｏｆｔＮＴ（登録商標）、ＡＩＸ（ＩＢＭ社の登録商標）、ｉ５／ＯＳ（ＩＢＭ社の登録商標）、及び、当業者が思い付くような他のオペレーティング・システムが含まれる。図２の例では、オペレーティング・システム（１５４）、感情に基づくデジタル映像変更モジュール（１００）、デジタル映像バッファ（２００）及びコーデック（２０２）はＲＡＭ（１６８）内に示されているが、一般的に、このようなソフトウェアの多くの構成要素は、例えばディスク・ドライブ（１７０）上の不揮発性メモリにも格納されている。
【００２０】
図２の例示的なラップトップ（１０２）は、高速バス、フロント・サイド・バス（１６２）、ビデオ・バス（１６４）及びメモリ・バス（１６６）用の駆動電子機器と、遅い拡張バス（１６０）用の駆動電子機器とを含むコンピュータ・ハードウェア構成要素と、バス・アダプタ（１５８）とを含む。本発明の実施形態による有用なラップトップに有用であるバス・アダプタの例として、インテル（登録商標）ノースブリッジ、インテル（登録商標）メモリ・コントローラ・ハブ、インテル（登録商標）サウスブリッジ及びインテル（登録商標）Ｉ／Ｏコントローラ・ハブが挙げられる。本発明の実施形態による有用なラップトップに有用である拡張バスの例として、ペリフェラル・コンポーネント・インターコネクト（「ＰＣＩ」）バス及びＰＣＩエクスプレス（「ＰＣＩｅ」）バスが挙げられる。
【００２１】
図２の例示的なラップトップ（１０２）は、拡張バス（１６０）及びバス・アダプタ（１５８）を介してコンピュータ・プロセッサ（１５６）及び例示的なラップトップ（１０２）の他の構成要素と結合されたディスク・ドライブ・アダプタ（１７２）をも含む。ディスク・ドライブ・アダプタ（１７２）は、ディスク・ドライブ（１７０）の形態で不揮発性データ・ストレージを例示的なラップトップ（１０２）に接続する。ラップトップに有用であるディスク・ドライブ・アダプタは、インテグレーテッド・ドライブ・エレクトロニクス（「ＩＤＥ」）アダプタ、スモール・コンピュータ・システム・インターフェース（「ＳＣＳＩ」）アダプタ及び、当業者が思い付くような他のアダプタを含む。更に、不揮発性コンピュータ・メモリを、当業者が思い付くような任意選択のディスク・ドライブ、（「ＥＥＰＲＯＭ」または「フラッシュ」メモリと称される）電気的に消去可能なプログラマブル読み出し専用メモリ、ＲＡＭドライブなどとしてラップトップに実装することができる。
【００２２】
図２の例示的なラップトップ（１０２）は、１つ以上の入出力（「Ｉ／Ｏ」）アダプタ（１７８）を含む。ラップトップ内のＩ／Ｏアダプタは、例えば、コンピュータ表示画面のような表示装置への出力と、キーボード、マウスまたはデジタル・ビデオ・カムコーダ（１０４）のようなユーザ入力装置からのユーザ入力とを制御するソフトウェア・ドライバ及びコンピュータ・ハードウェアを介してユーザ指向の入出力を実施する。図２の例示的なラップトップ（１０２）は、表示画面またはコンピュータ・モニタのような表示装置（１１２）へのグラフィック出力用に特に設計されたＩ／Ｏアダプタの一例であるビデオ・アダプタ（２０９）を含む。ビデオ・アダプタ（２０９）は、高速のビデオ・バス（１６４）と、バス・アダプタ（１５８）と、この場合も高速バスであるフロント・サイド・バス（１６２）とを介してコンピュータ・プロセッサ（１５６）に接続されている。
【００２３】
図２の例示的なラップトップ（１０２）は、他のコンピュータ（１８２）及びデータ通信ネットワーク（２００）とデータ通信する通信アダプタ（１６７）を含む。このようなデータ通信を、ＲＳ‐２３２接続を介して、ユニバーサル・シリアル・バス（「ＵＳＢ」）のような外部バスを介して、ＩＰデータ通信ネットワークのようなデータ通信ネットワークを介して、かつ、当業者が思い付くような他の方法でシリアルに行うことができる。通信アダプタはデータ通信のハードウェア・レベルを実施し、これによって、１つのコンピュータは、直接に、またはデータ通信ネットワークを介してデータ通信を別のコンピュータに送信する。本発明の実施形態による感情に基づくデジタル映像変更に有用である通信アダプタの例として、有線ダイヤルアップ通信用のモデム、有線データ通信ネットワーク通信用のＩＥＥＥ８０２．３イーサネット（登録商標）アダプタ及び無線データ通信ネットワーク通信用のＩＥＥＥ８０２．１１ｂアダプタが挙げられる。
【００２４】
更なる説明のため、図３は、本発明の実施形態による感情に基づくデジタル映像変更に対する例示的な方法を示すフローチャートについて説明する。図３の方法は、人（１０６）の顔（３０６）のデジタル映像（３０２）を受信するステップ（３００）を含む。図３のデジタル映像（３０２）は、人の顔（３０６）の表情を含むデジタル・フレーム（３０４）の集合を表す。図３の例では、デジタル・ビデオ・カムコーダ（１０４）から入力としてデジタル映像（３０２）を受信し、後で行う変更のためにデジタル映像（３０２）のフレーム（３０４）をデジタル映像バッファに格納することによって、人の顔（３０６）のデジタル映像（３０２）を受信するステップ（３００）を行うことができる。
【００２５】
図３の方法は、人（１０６）の感情状態を特徴付けるデジタル映像に表された顔の表情（３１８）を検出するステップ（３０８）をも含む。デジタル映像（３０２）に表された顔（３０６）の表情（３１８）は、人（１０６）の感情状態に対応するデジタル映像（３０２）に表された人の顔（３０６）の一部の位置である。例えば、持ち上がった口角の表情は、幸せに対応することができ、しわが寄った鼻の表情は、不快に対応することができ、丸くした目の表情は、驚きに対応することができる。更に当然のことながら、顔（３０６）の表情（３１８）は、しばしば、人（１０６）の２つ以上の感情状態に対応することができる。例えば、しわが寄った目は、持ち上がった口角と組み合わせた場合に幸せに対応することができ、下がった眉の内側と組み合わせた場合には不快に対応することができる。
【００２６】
図３の方法によれば、人の感情状態を特徴付けるデジタル映像に表された顔の表情（３１８）を検出するステップ（３０８）は、感情フィルタ（３１４）をデジタル映像（３０２）内の顔（３０６）の表情に適用するステップ（３１０）を含む。各感情フィルタ（３１４）は、デジタル映像（３０２）に表された人の顔（３０６）の表情を識別するのに用いられるフィルタであって、すなわち、デジタル映像（３０２）に表された人の顔（３０６）の分離部分の位置を識別するのに用いられるフィルタである。例えば、人の左目にしわが寄っているかどうかを識別するのに第１の感情フィルタを用いることができ、人の右目にしわが寄っているかどうかを識別するのに第２のフィルタを用いることができ、口角が持ち上がっているかどうかを識別するのに第３のフィルタを用いることができる。各感情フィルタ（３１４）は、人の顔（３０６）の特定の表情を識別することと関連するので、感情フィルタ（３１４）をデジタル映像（３０２）内の顔（３０６）の表情に適用するステップ（３１０）によって人の特定の顔の表情（３１８）を検出することができる。
【００２７】
図３の方法では、デジタル映像（３０２）の各フレーム内の人の顔（３０６）の分離部分上の参照点を識別し、デジタル映像（３０２）の各フレームの識別した参照点を、各感情フィルタ（３１４）の対応する参照点と比較し、各フレームの識別した参照点と、各感情フィルタ（３１４）の対応する参照点との相対位置間の差をフィルタ済みデジタル映像（３１６）として格納することによって、感情フィルタ（３１４）をデジタル映像（３０２）内の顔（３０６）の表情に適用するステップ（３１０）を行うことができる。各フレームの識別した参照点と、特定の感情フィルタ（３１４）の対応する参照点との相対位置間の差が小さいほど、人の顔の一部の位置と、特定の感情フィルタ（３１４）との一致が大きくなる。
【００２８】
図３の方法によれば、人の感情状態を特徴付けるデジタル映像に表された顔の表情（３１８）を検出するステップ（３０８）は、人の感情状態を特徴付けるデジタル映像（３０２）に表された顔（３０６）の表情（３１８）をフィルタ済みデジタル映像（３１６）に従って決定するステップ（３１２）をも含む。図３の方法では、フィルタ済みデジタル映像の各フレームをフィルタしきい値と比較して、デジタル映像（３０２）の各フレーム（３０４）と一致する感情フィルタ（３１４）を識別することによって、人の感情状態を特徴付けるデジタル映像（３０２）に表された顔（３０６）の表情（３１８）をフィルタ済みデジタル映像（３１６）に従って決定するステップ（３１２）を行うことができる。フィルタしきい値は、各フレームの識別した参照点と、特定の感情フィルタ（３１４）の対応する参照点との相対位置間の差が、特定の感情フィルタと一致する人の顔の表情を指定するのに充分小さいかどうかを識別するのに用いられる１つ以上の値である。
【００２９】
図３の方法は、ユーザによって変更ルール（３２２）を確立するステップ（３２０）をも含む。本発明の実施形態によれば、図３の変更ルール（３２２）は、検出された時に人の特定の顔の表情（３１８）に実行される特定の変更を指定するルールである。更なる説明のため、図４は、本発明の実施形態による感情に基づくデジタル映像変更に有用である例示的な変更ルール表（４１０）を示す線画について説明する。変更ルール表（４１０）の各レコードは例示的な変更ルールを表し、変更ルールＩＤ（４００）によって識別される。各レコードは、変更処置（４０２）、顔の表情（４０４）及びモーフィング・ルーチンＩＤ（４０６）を含む。変更処置（４０２）は、顔の表情に実行する変更のタイプを指定する。顔の表情（４０４）は、変更を実行すべき人の顔の一部の位置を指定する。顔の表情（４０４）は、変更を実行すべき時、すなわち、人の顔の一部の特定位置が検出された時と、変更を実行すべき人の顔の位置とを指定する。顔の表情（４０４）は、顔アクション符号化システム（「ＦＡＣＳ」）を用いて指定される。ＦＡＣＳは、ほとんどの人間の顔の表情を分類するため、１９７６年にＰａｕｌ  Ｅｋｍａｎ及びＷａｌｌａｃｅ  Ｆｒｉｅｓｅｎ氏によって最初に開発されたシステムである。ＦＡＣＳは、人の顔の中またはその周りの１つ以上の筋肉の収縮または緩和である４６個のアクション単位（「ＡＵ」）の１つとして顔の表情を定義する。例えば、ＦＡＣＳにおける「ＡＵ１２」は、持ち上がった口角を表す。モーフィング・ルーチンＩＤ（４０６）は、特定の変更を人の顔の特定の表情に実行することができるモーフィング・アルゴリズムを指定する。このようなモーフィング・アルゴリズムは当該技術分野において周知であり、例えば、Ａｄｏｂｅ（登録商標）Ａｆｔｅｒ  Ｅｆｆｅｃｔｓ（登録商標）、Ａｖｉｄ（登録商標）Ｌｉｑｕｉｄ、Ｓｏｎｙ（登録商標）Ｖｅｇａｓ（登録商標）などのようなコンピュータ・ソフトウェアで実施されるモーフィング・アルゴリズムを含む。
【００３０】
図４の変更ルール表（４１０）は、４つの例示的な変更ルールを含む。第１ルール及び第２ルールは、幸せを特徴付ける人の微笑を誇張することを指定するのに対して、第３ルール及び第４ルールは、不快を特徴付ける人の顔の表情を抑制することを指定する。特に、第１変更ルールは、モーフィング・ルーチンＩＤの「１３１」の値によって識別されたモーフィング・アルゴリズムを用いて人の目のしわを誇張することを指定する。第２変更ルールは、モーフィング・ルーチンＩＤの「１３２」の値によって識別されたモーフィング・アルゴリズムを用いて人の持ち上がった口角を誇張することを指定する。第３変更ルールは、モーフィング・ルーチンＩＤの「１５１」の値によって識別されたモーフィング・アルゴリズムを用いて人の顎の盛り上がりを抑制することを指定する。第４変更ルールは、モーフィング・ルーチンＩＤの「１５２」の値によって識別されたモーフィング・アルゴリズムを用いて、人が目を細めるのを抑制することを指定する。
【００３１】
図３に戻って、図３の方法によれば、例えばキーボード、マウス、マイクロホンのようなユーザ入力装置または遠隔制御を介してユーザから変更ルール（３２２）を受信することによって、ユーザによって変更ルール（３２２）を確立するステップ（３２０）を行うことができる。当然のことながら、変更ルール（３２２）を確立するユーザを、デジタル映像（３０２）に表された顔を持つ人と同じ人、または別の人にすることができる。図３の方法では、例えば、図４を参照して前述した例示的な変更ルール表のような表に変更ルール（３２２）を格納することによって、ユーザによって変更ルール（３２２）を確立するステップ（３２０）を更に行うことができる。
【００３２】
図３の方法は、人の感情状態を特徴付けるデジタル映像（３０２）に表された顔（３０６）の表情（３１８）を変更ルール（３２２）に従って変更するステップ（３２４）を含む。図３の方法によれば、人の感情状態を特徴付けるデジタル映像（３０２）に表された顔の表情（３１８）を変更ルール（３２２）に従って変更するステップ（３２４）は、人の感情状態を特徴付ける顔の表情を誇張するように、デジタル映像に表された顔の表情を変更するステップを含むことができる。図３の方法によれば、人の感情状態を特徴付けるデジタル映像（３０２）に表された顔の表情（３１８）を変更ルール（３２２）に従って変更するステップ（３２４）は、人の感情状態を特徴付ける顔の表情を抑制するように、デジタル映像に表された顔の表情を変更するステップをも含むことができる。
【００３３】
デジタル映像に表され顔の表情（３１８）の１つを誇張するモーフィング・アルゴリズムを変更ルール（３２２）から識別し、識別したモーフィング・アルゴリズムを、デジタル映像（３０２）に表された人の顔の表情に実行することによって、人の感情状態を特徴付ける顔の表情を誇張するように、デジタル映像に表された顔の表情を変更するステップを行うことができる。デジタル映像に表された顔に誇張された表情を含むように元のデジタル映像（３０２）を変更することによって、人の感情状態を特徴付ける顔の表情を誇張するように、デジタル映像に表された顔の表情を変更するステップを更に行うことができる。
【００３４】
人の感情状態を特徴付ける顔の表情をモーフィングすることによって、人の感情状態を特徴付ける顔の表情を誇張して、表情が際立って見えるようにすることに加えて、人の顔の表情を変更ルール（３２２）から識別して誇張し、顔のこれらの表情が表示画面に表示される期間を延長することによっても、人の感情状態を特徴付ける顔の表情を誇張するように、デジタル映像に表された顔の表情を変更するステップを行うことができる。変更ルール（３２２）に指定された顔の表情（３１８）の描写を含むフレームのデジタル映像（３０２）内に複写フレームを挿入することによって、顔のこれらの表情が表示画面に表示される期間を延長することを行うことができる。このような方法では、リアルタイムで極めて短く生じる顔の表情を、これらの「微小表情」を容易に観察できるまで延長することができる。
【００３５】
上記には、人の感情状態を特徴付けるデジタル映像（３０２）に表された顔の表情（３１８）を変更ルール（３２２）に従って変更するステップ（３２４）を、人の感情状態を特徴付ける顔の表情を誇張するように、デジタル映像に表された顔の表情を変更するステップに関して説明した。前述したように、人の感情状態を特徴付ける顔の表情を誇張するように、デジタル映像に表された顔の表情を変更するステップに類似して、人の感情状態を特徴付ける顔の表情を抑制するように、デジタル映像に表された顔の表情を変更するステップを行うことができる。
【００３６】
図３の例では、変更済みデジタル映像（３２６）は、顔の変更済み表情（３２８）の描写を含む変更版のデジタル映像（３０２）を表す。当然のことながら、顔の変更済み表情を含むように元のデジタル映像（３０２）を変更することは、本発明を説明するためであって限定するためのものではない。図３の方法によれば、元のデジタル映像（３０２）から切り離して顔の変更済み表情を格納することによっても、人の感情状態を特徴付けるデジタル映像（３０２）に表された顔（３０６）の表情（３１８）を変更ルール（３２２）に従って変更するステップ（３２４）を行うことができる。
【００３７】
図３の方法は、デジタル映像に表された顔の変更済み表情を表示装置（１１２）の表示画面に表示するステップ（３３０）を含む。コンピュータ表示装置、テレビ表示装置または投影システムの表示画面、または、当業者が思い付くような任意の他の表示画面として表示装置（１１２）の表示画面を実施することができる。図３の方法によれば、人の顔の変更済み表情（３２８）を含む変更済みデジタル映像（３２６）を表示装置（１１２）の表示画面に表示することによって、デジタル映像に表された顔の変更済み表情を表示装置（１１２）の表示画面に表示するステップ（３３０）を行うことができる。しかし、当然のことながら、人の顔の変更済み表情（３２８）を含む変更済みデジタル映像（３２６）を表示装置（１１２）の表示画面に表示することは、本発明を説明するためであって限定するためのものではない。実際には、デジタル映像に表された顔の変更済み表情のみを表示装置（１１２）の表示画面に表示することによっても、デジタル映像に表された顔の変更済み表情を表示装置（１１２）の表示画面に表示するステップ（３３０）を行うことができる。
【００３８】
本明細書で前述した説明を考慮して、本発明のよる感情に基づくデジタル映像変更を実行することが以下の利点を提供するということを認識するであろう。
●  デジタル映像を介して人と通信する場合、ユーザは感情を隠蔽または抑制することができる。
●  デジタル映像を介して人と通信する場合、ユーザは感情を強化または誇張することができる。
●  ユーザは、人の顔によって伝えられた微小表情を容易に検出することができる。
【００３９】
主として、感情に基づくデジタル映像変更に対する充分機能的なコンピュータ・システムに関して本発明の例示的な実施形態を説明した。しかし、当業者は、任意の適切なデータ処理システムと共に用いる信号伝達媒体に配置されたコンピュータ・プログラムに本発明を統合することができることを認識するであろう。このような信号伝達媒体を、磁気媒体、光学媒体または他の適切な媒体を含む機械可読情報用の送信媒体または記録可能媒体とすることができる。記録可能媒体の例として、ハード・ドライブの磁気ディスクまたはディスケット、光学ドライブのコンパクト・ディスク、磁気テープ及び、当業者が思い付くような他の記録可能媒体が挙げられる。送信媒体の例として、音声通信の電話網と、例えば、イーサネット（登録商標）や、インターネット・プロトコル及びワールド・ワイド・ウェブと通信するネットワークのようなデジタル・データ通信ネットワークと、例えば、仕様のＩＥＥＥ８０２．１１ファミリに準拠して実施されるネットワークのような無線通信媒体とが挙げられる。適切なプログラミング手段を有する任意のコンピュータ・システムが、プログラムに統合された本発明の方法のステップを実行できると当業者は直ちに認識するであろう。本明細書で説明された例示的な実施形態の幾つかが、コンピュータ・ハードウェアにインストールされ実行されるソフトウェア向けではあるが、それにもかかわらず、ファームウェアまたはハードウェアとして実施される代替実施形態が充分に本発明の範囲内にあることを当業者は直ちに認識するであろう。
【００４０】
本発明の真の意図から逸脱することなく、本発明の様々な実施形態に修正または変更を行うことができることを前述の説明から理解するであろう。本明細書の記述は、例示の目的のためにのみ説明されたものであって、本発明を限定するものと解釈すべきでない。本発明の範囲は、特許請求の範囲の文言のみによって限定される。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態による感情に基づくデジタル映像変更に対する例示的なデータ処理システムを示す絵的表示である。
【図２】本発明の実施形態による感情に基づくデジタル映像変更に有用である例示的なラップトップを備える自動計算機のブロック図である。
【図３】本発明の実施形態による感情に基づくデジタル映像変更に対する例示的な方法を示すフローチャートである。
【図４】本発明の実施形態による感情に基づくデジタル映像変更に有用である例示的な変更ルール表を示す線画である。
【符号の説明】
【００４２】
１０６    人
１０４    デジタル・ビデオ・カムコーダ
３０２    デジタル映像
３０６    顔
３０４    フレーム
３１４    感情フィルタ
３１６    フィルタ済みデジタル映像
３１８    顔の表情
３２２    変更ルール
３２６    変更済みデジタル映像
３２８    変更済み表情
１１２    表示装置
【図１】
2008071341.tif 000003
【図２】
2008071341.tif 000004
【図３】
2008071341.tif 000005
【図４】
2008071341.tif 000006