(57)【要約】【課題】コミュニケーションを図るための画像を合成して生成する画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバを提供【解決手段】画像コミュニケーションシステム10は、通信端末14の合成画像生成部26が音声データおよび画像データを入力し、感情解析部44が音声データを解析して感情パラメータ144を検出し、感情パラメータ144に基づいて動作制御部46、感情動作パターン記憶部48および基本感情生成部50によって基本感情データ150を生成し、また、表情合成部54が基本感情データ150を画像データから抽出した表情データ152と合成して合成表情データ154を生成し、画像合成部56が合成表情データ154とキャラクタデータとを合成してキャラクタ合成画像を生成する。【選択図】図１
2006330958.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの入力情報に基づいて合成画像を生成する画像合成装置において、該装置は、前記ユーザの発声に応じた音声データを前記入力情報として入力し、
前記音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含むことを特徴とする画像合成装置。
【請求項２】
ユーザの入力情報に基づいて合成画像を生成する画像合成装置において、該装置は、前記ユーザのテキスト入力に応じたテキストデータを前記入力情報として入力し、
前記テキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含むことを特徴とする画像合成装置。
【請求項３】
請求項２に記載の画像合成装置において、該装置は、前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段を含むことを特徴とする画像合成装置。
【請求項４】
請求項１または３に記載の画像合成装置において、前記感情動作パターン記憶手段は、喜怒哀楽などの基本的な感情を識別する基本感情IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の基本感情IDを検出し、
該装置は、前記ユーザの顔画像を含む画像データを前記入力情報として入力する画像入力手段と、
顔画像の特徴点の特徴量を示す特徴点データであって、前記ユーザの顔画像の表情を表わす所定の表情データを前記音声データおよび／または前記画像データに基づいて抽出する表情特徴抽出手段と、
前記特徴点データであって、前記基本感情IDが示す感情を表わす基本感情データを記憶し、前記所定の基本感情IDに基づく所定の基本感情データを検出する基本感情生成手段と、
前記所定の表情データと前記所定の基本感情データとを合成して所定の合成表情データを生成する表情合成手段とを含み、
前記画像合成手段は、前記所定の合成表情データに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする画像合成装置。
【請求項５】
請求項１または３に記載の画像合成装置において、前記感情動作パターン記憶手段は、前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の視点制御IDおよび／または所定の背景画像IDを検出し、
該装置は、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
前記画像合成手段は、前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて前記キャラクタ合成画像を生成することを特徴とする画像合成装置。
【請求項６】
請求項１または２に記載の画像合成装置において、前記感情動作パターン記憶手段は、感情を識別する定型アニメーションIDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の定型アニメーションIDを検出し、
該装置は、感情を表わす時系列の表情データ、ならびに前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDをアニメーションデータとして前記定型アニメーションIDに対応付けて記録し、前記所定の定型アニメーションIDに応じた所定の表情データ、ならびに所定の視点制御IDおよび／または所定の背景画像IDを検出する定型アニメーション制御手段を含み、
さらに、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
前記画像合成手段は、前記所定の表情データに基づいて、前記所定のキャラクタデータを変形させて、さらに前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて前記キャラクタ合成画像を生成することを特徴とする画像合成装置。
【請求項７】
請求項１ないし６のいずれかに記載の画像合成装置において、該装置は、前記ユーザによる指示に応じて、前記感情動作パターン記憶手段に記憶される前記複数の感情動作パターンを書き換える感情動作パターン設定手段を含むことを特徴とする画像合成装置。
【請求項８】
IP（Internet Protocol）ネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う通信端末において、該通信端末は、
通信相手である他の通信端末と前記IPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、
前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段と、
前記音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含み、
前記キャラクタ合成画像および前記音声データを符号化して送信のための前記音声信号および前記画像信号を生成し、前記通信手段で受信した前記音声信号および前記画像信号を復号化して受信音声データおよび受信画像データを生成し、また前記受信音声データおよび前記受信画像データを前記ユーザに提供することを特徴とする通信端末。
【請求項９】
IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う通信端末において、該通信端末は、
通信相手である他の通信端末と前記IPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、
前記ユーザのテキスト入力に応じたテキストデータを前記入力情報として入力するテキスト入力手段と、
前記テキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段と、
前記キャラクタ合成画像および前記音声データを符号化して送信のための前記音声信号および前記画像信号を生成し、前記通信手段で受信した前記音声信号および前記画像信号を復号化して受信音声データおよび受信画像データを生成し、また前記受信音声データおよび前記受信画像データを前記ユーザに提供することを特徴とする通信端末。
【請求項１０】
請求項９に記載の通信端末において、該通信端末は、前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段を含むことを特徴とする通信端末。
【請求項１１】
請求項８または１０に記載の通信端末において、前記感情動作パターン記憶手段は、喜怒哀楽などの基本的な感情を識別する基本感情IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の基本感情IDを検出し、
該通信端末は、前記ユーザの顔画像を含む画像データを前記入力情報として入力する画像入力手段と、
顔画像の特徴点の特徴量を示す特徴点データであって、前記ユーザの顔画像の表情を表わす所定の表情データを前記音声データおよび／または前記画像データに基づいて抽出する表情特徴抽出手段と、
前記特徴点データであって、前記基本感情IDが示す感情を表わす基本感情データを記憶し、前記所定の基本感情IDに基づく所定の基本感情データを検出する基本感情生成手段と、
前記所定の表情データと前記所定の基本感情データとを合成して所定の合成表情データを生成する表情合成手段とを含み、
前記画像合成手段は、前記所定の合成表情データに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする通信端末。
【請求項１２】
請求項８または１０に記載の通信端末において、前記感情動作パターン記憶手段は、前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の視点制御IDおよび／または所定の背景画像IDを検出し、
該通信端末は、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
前記画像合成手段は、前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて前記キャラクタ合成画像を生成することを特徴とする通信端末。
【請求項１３】
請求項８または９に記載の通信端末において、前記感情動作パターン記憶手段は、感情を識別する定型アニメーションIDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の定型アニメーションIDを検出し、
該通信端末は、感情を表わす時系列の表情データ、ならびに前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDをアニメーションデータとして前記定型アニメーションIDに対応付けて記録し、前記所定の定型アニメーションIDに応じた所定の表情データ、ならびに所定の視点制御IDおよび／または所定の背景画像IDを検出する定型アニメーション制御手段を含み、
さらに、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
前記画像合成手段は、前記所定の表情データに基づいて、前記所定のキャラクタデータを変形させて、さらに前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて前記キャラクタ合成画像を生成することを特徴とする通信端末。
【請求項１４】
IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う通信端末において、該通信端末は、
通信相手である他の通信端末と前記IPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、
前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段と、
前記音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて検出される、所定のキャラクタデータを変形させる制御パラメータをパケット化して制御パケットを生成する制御パケット生成手段とを含み、
前記通信手段は、前記画像信号として前記制御パケットを送受信し、
該通信端末は、前記通信手段で受信した前記制御パケットから抽出した制御パラメータに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段を含み、
前記音声データを符号化して送信のための前記音声信号を生成し、前記通信手段で受信した前記音声信号を復号化して受信音声データを生成し、また前記受信音声データおよび前記キャラクタ合成画像を前記ユーザに提供することを特徴とする通信端末。
【請求項１５】
IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う通信端末において、該通信端末は、
通信相手である他の通信端末と前記IPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、
前記ユーザのテキスト入力に応じたテキストデータを前記入力情報として入力するテキスト入力手段と、
前記テキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて検出される、所定のキャラクタデータを変形させる制御パラメータをパケット化して制御パケットを生成する制御パケット生成手段とを含み、
前記通信手段は、前記画像信号として前記制御パケットを送受信し、
該通信端末は、前記通信手段で受信した前記制御パケットから抽出した制御パラメータに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段を含み、
前記音声データを符号化して送信のための前記音声信号を生成し、前記通信手段で受信した前記音声信号を復号化して受信音声データを生成し、前記受信音声データおよび前記キャラクタ合成画像を前記ユーザに提供することを特徴とする通信端末。
【請求項１６】
請求項１５に記載の通信端末において、該通信端末は、前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段を含むことを特徴とする通信端末。
【請求項１７】
請求項１４または１６に記載の通信端末において、前記感情動作パターン記憶手段は、喜怒哀楽などの基本的な感情を識別する基本感情IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の基本感情IDを検出し、
該通信端末は、前記ユーザの顔画像を含む画像データを前記入力情報として入力する画像入力手段と、
顔画像の特徴点の特徴量を示す特徴点データであって、前記ユーザの顔画像の表情を表わす所定の表情データを前記音声データおよび／または前記画像データに基づいて抽出する表情特徴抽出手段と、
前記特徴点データであって、前記基本感情IDが示す感情を表わす基本感情データを記憶し、前記所定の基本感情IDに基づく所定の基本感情データを検出する基本感情生成手段と、
前記所定の表情データと前記所定の基本感情データとを合成して所定の合成表情データを生成する表情合成手段と、
前記所定の合成表情データをパケット化して表情パケットを生成する表情パケット生成手段とを含み、
前記制御パケットおよび前記表情パケットを統合して所定のパケットデータを生成し、
前記通信手段は、前記画像信号として前記所定のパケットデータを送受信し、
前記画像合成手段は、前記通信手段で受信した前記所定のパケットデータから抽出した前記制御パラメータおよび前記表情データに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする通信端末。
【請求項１８】
請求項１４または１６に記載の通信端末において、前記感情動作パターン記憶手段は、前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の視点制御IDおよび／または所定の背景画像IDを検出し、
該通信端末は、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
さらに、前記所定の表情データをパケット化して表情パケットを生成する表情パケット生成手段を含み、
前記制御パケット生成手段は、前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータをパケット化して前記所定制御パケットを生成し、
該通信端末は、前記表情パケットおよび前記制御パケットを統合して所定のパケットデータを生成し、
前記通信手段は、前記画像信号として前記所定のパケットデータを送受信し、
前記画像合成手段は、前記通信手段で受信した前記所定のパケットデータから抽出した前記表情データ、ならびに前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする通信端末。
【請求項１９】
請求項１４または１５に記載の通信端末において、前記感情動作パターン記憶手段は、感情を識別する定型アニメーションIDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の定型アニメーションIDを検出し、
該通信端末は、感情を表わす時系列の表情データ、ならびに前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDをアニメーションデータとして前記定型アニメーションIDに対応付けて記録し、前記所定の定型アニメーションIDに応じた所定の表情データ、ならびに所定の視点制御IDおよび／または所定の背景画像IDを検出する定型アニメーション制御手段を含み、
さらに、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
また、前記所定の表情データをパケット化して表情パケットを生成する表情パケット生成手段を含み、
前記制御パケット生成手段は、前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータをパケット化して前記所定制御パケットを生成し、
該通信端末は、前記制御パケットおよび前記表情パケットを統合して所定のパケットデータを生成し、
前記通信手段は、前記画像信号として前記所定のパケットデータを送受信し、
前記画像合成手段は、前記通信手段で受信した前記所定のパケットデータから抽出した前記表情データ、ならびに前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする通信端末。
【請求項２０】
請求項８、９、１４または１５に記載の通信端末において、該通信端末は、前記ユーザによる指示に応じて、前記感情動作パターン記憶手段に記憶される前記複数の感情動作パターンを書き換える感情動作パターン設定手段を含むことを特徴とする通信端末。
【請求項２１】
請求項９または１５に記載の通信端末において、該通信端末は、
前記通信手段および前記IPネットワークを介してチャットサーバとチャットセッションを張り、前記チャットサーバとテキストデータをやり取りするチャット機能を有するテキストチャットクライアント手段と
前記ユーザが前記チャットサーバに送信するための送信テキストデータを前記テキスト入力手段に入力するとき、前記テキスト入力手段からの前記送信テキストデータを前記テキストチャットクライアント手段に供給し、かつ前記送信テキストデータのうち、メッセージ部分を示すテキストデータを抽出して前記画像合成装置に供給するフィルター手段とを含むことを特徴とする通信端末。
【請求項２２】
IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステムにおいて、
前記複数の通信端末のうち、所定の通信端末は、通信相手である他の通信端末と前記IPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、
前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段と、
前記音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含み、
前記キャラクタ合成画像および前記音声データを符号化して送信のための前記音声信号および前記画像信号を生成し、前記通信手段で受信した前記音声信号および前記画像信号を復号化して受信音声データおよび受信画像データを生成し、また前記受信音声データおよび前記受信画像データを前記ユーザに提供することを特徴とする画像コミュニケーションシステム。
【請求項２３】
IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステムにおいて、
前記複数の通信端末のうち、所定の通信端末は、通信相手である他の通信端末と前記IPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、
前記ユーザのテキスト入力に応じたテキストデータを前記入力情報として入力するテキスト入力手段と、
前記テキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含み、
前記キャラクタ合成画像および前記音声データを符号化して送信のための前記音声信号および前記画像信号を生成し、前記通信手段で受信した前記音声信号および前記画像信号を復号化して受信音声データおよび受信画像データを生成し、前記受信音声データおよび前記受信画像データを前記ユーザに提供することを特徴とする画像コミュニケーションシステム。
【請求項２４】
請求項２３に記載の画像コミュニケーションシステムにおいて、前記所定の通信端末は、前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段を含むことを特徴とする画像コミュニケーションシステム。
【請求項２５】
請求項２２または２４に記載の画像コミュニケーションシステムにおいて、前記感情動作パターン記憶手段は、喜怒哀楽などの基本的な感情を識別する基本感情IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の基本感情IDを検出し、
前記所定の通信端末は、前記ユーザの顔画像を含む画像データを前記入力情報として入力する画像入力手段と、
顔画像の特徴点の特徴量を示す特徴点データであって、前記ユーザの顔画像の表情を表わす所定の表情データを前記音声データおよび／または前記画像データに基づいて抽出する表情特徴抽出手段と、
前記特徴点データであって、前記基本感情IDが示す感情を表わす基本感情データを記憶し、前記所定の基本感情IDに基づく所定の基本感情データを検出する基本感情生成手段と、
前記所定の表情データと前記所定の基本感情データとを合成して所定の合成表情データを生成する表情合成手段とを含み、
前記画像合成手段は、前記所定の合成表情データに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする画像コミュニケーションシステム。
【請求項２６】
請求項２２または２４に記載の画像コミュニケーションシステムにおいて、前記感情動作パターン記憶手段は、前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の視点制御IDおよび／または所定の背景画像IDを検出し、
前記所定の通信端末は、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
前記画像合成手段は、前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて前記キャラクタ合成画像を生成することを特徴とする画像コミュニケーションシステム。
【請求項２７】
請求項２２または２３に記載の画像コミュニケーションシステムにおいて、前記感情動作パターン記憶手段は、感情を識別する定型アニメーションIDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の定型アニメーションIDを検出し、
前記所定の通信端末は、感情を表わす時系列の表情データ、ならびに前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDをアニメーションデータとして前記定型アニメーションIDに対応付けて記録し、前記所定の定型アニメーションIDに応じた所定の表情データ、ならびに所定の視点制御IDおよび／または所定の背景画像IDを検出する定型アニメーション制御手段を含み、
さらに、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
前記画像合成手段は、前記所定の表情データに基づいて、前記所定のキャラクタデータを変形させて、さらに前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて前記キャラクタ合成画像を生成することを特徴とする画像コミュニケーションシステム。
【請求項２８】
IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステムにおいて、
前記複数の通信端末のうち、所定の通信端末は、通信相手である他の通信端末と前記IPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、
前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段と、
前記音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて検出される、所定のキャラクタデータを変形させる制御パラメータをパケット化して制御パケットを生成する制御パケット生成手段とを含み、
前記通信手段は、前記画像信号として前記制御パケットを送受信し、
前記所定の通信端末は、前記通信手段で受信した前記制御パケットから抽出した制御パラメータに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段を含み、
前記音声データを符号化して送信のための前記音声信号を生成し、前記通信手段で受信した前記音声信号を復号化して受信音声データを生成し、前記受信音声データおよび前記キャラクタ合成画像を前記ユーザに提供することを特徴とする画像コミュニケーションシステム。
【請求項２９】
IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステムにおいて、
前記複数の通信端末のうち、所定の通信端末は、通信相手である他の通信端末と前記IPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、
前記ユーザのテキスト入力に応じたテキストデータを前記入力情報として入力するテキスト入力手段と、
前記テキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、
複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、
前記所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、
前記所定の感情動作パターンに基づいて検出される、所定のキャラクタデータを変形させる制御パラメータをパケット化して制御パケットを生成する制御パケット生成手段とを含み、
前記通信手段は、前記画像信号として前記制御パケットを送受信し、
前記所定の通信端末は、前記通信手段で受信した前記制御パケットから抽出した制御パラメータに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段を含み、
前記音声データを符号化して送信のための前記音声信号を生成し、前記通信手段で受信した前記音声信号を復号化して受信音声データを生成し、前記受信音声データおよび前記キャラクタ合成画像を前記ユーザに提供することを特徴とする画像コミュニケーションシステム。
【請求項３０】
請求項２９に記載の画像コミュニケーションシステムにおいて、前記所定の通信端末は、前記ユーザの発声に応じた音声データを前記入力情報として入力する音声入力手段を含むことを特徴とする画像コミュニケーションシステム。
【請求項３１】
請求項２８または３０に記載の画像コミュニケーションシステムにおいて、前記感情動作パターン記憶手段は、喜怒哀楽などの基本的な感情を識別する基本感情IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の基本感情IDを検出し、
前記所定の通信端末は、前記ユーザの顔画像を含む画像データを前記入力情報として入力する画像入力手段と、
顔画像の特徴点の特徴量を示す特徴点データであって、前記ユーザの顔画像の表情を表わす所定の表情データを前記音声データおよび／または前記画像データに基づいて抽出する表情特徴抽出手段と、
前記特徴点データであって、前記基本感情IDが示す感情を表わす基本感情データを記憶し、前記所定の基本感情IDに基づく所定の基本感情データを検出する基本感情生成手段と、
前記所定の表情データと前記所定の基本感情データとを合成して所定の合成表情データを生成する表情合成手段と、
前記所定の合成表情データをパケット化して表情パケットを生成する表情パケット生成手段とを含み、
前記制御パケットおよび前記表情パケットを統合して所定のパケットデータを生成し、
前記通信手段は、前記画像信号として前記所定のパケットデータを送受信し、
前記画像合成手段は、前記通信手段で受信した前記所定のパケットデータから抽出した前記制御パラメータおよび前記表情データに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする画像コミュニケーションシステム。
【請求項３２】
請求項２８または３０に記載の画像コミュニケーションシステムにおいて、前記感情動作パターン記憶手段は、前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の視点制御IDおよび／または所定の背景画像IDを検出し、
前記所定の通信端末は、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
さらに、前記所定の表情データをパケット化して表情パケットを生成する表情パケット生成手段を含み、
前記制御パケット生成手段は、前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータをパケット化して前記所定制御パケットを生成し、
前記所定の通信端末は、前記表情パケットおよび前記制御パケットを統合して所定のパケットデータを生成し、
前記通信手段は、前記画像信号として前記所定のパケットデータを送受信し、
前記画像合成手段は、前記通信手段で受信した前記所定のパケットデータから抽出した前記表情データ、ならびに前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする画像コミュニケーションシステム。
【請求項３３】
請求項２８または２９に記載の画像コミュニケーションシステムにおいて、前記感情動作パターン記憶手段は、感情を識別する定型アニメーションIDを前記感情動作パターンとして前記感情パラメータに対応付けて記録し、
前記動作制御手段は、前記所定の感情パラメータに応じた所定の定型アニメーションIDを検出し、
前記所定の通信端末は、感情を表わす時系列の表情データ、ならびに前記キャラクタ合成画像に対する視点を識別する視点制御ID、および／または前記キャラクタ合成画像の背景を識別する背景画像IDをアニメーションデータとして前記定型アニメーションIDに対応付けて記録し、前記所定の定型アニメーションIDに応じた所定の表情データ、ならびに所定の視点制御IDおよび／または所定の背景画像IDを検出する定型アニメーション制御手段を含み、
さらに、前記視点制御IDが示す視点でキャラクタを表示するように画像を制御する視点制御パラメータを記憶し、前記所定の視点制御IDに基づく所定の視点制御パラメータを検出する視点制御手段、および／または前記背景画像IDが示す背景画像パラメータを記憶し、前記所定の背景画像IDに基づく所定の背景画像パラメータを検出する背景画像選択手段を含み、
また、前記所定の表情データをパケット化して表情パケットを生成する表情パケット生成手段を含み、
前記制御パケット生成手段は、前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータをパケット化して前記所定制御パケットを生成し、
前記所定の通信端末は、前記制御パケットおよび前記表情パケットを統合して所定のパケットデータを生成し、
前記通信手段は、前記画像信号として前記所定のパケットデータを送受信し、
前記画像合成手段は、前記通信手段で受信した前記所定のパケットデータから抽出した前記表情データ、ならびに前記所定の視点制御パラメータおよび／または前記所定の背景画像パラメータに基づいて、前記所定のキャラクタデータを変形させて前記キャラクタ合成画像を生成することを特徴とする画像コミュニケーションシステム。
【請求項３４】
請求項２２、２３、２８または２９に記載の画像コミュニケーションシステムにおいて、前記所定の通信端末は、前記ユーザによる指示に応じて、前記感情動作パターン記憶手段に記憶される前記複数の感情動作パターンを書き換える感情動作パターン設定手段を含むことを特徴とする画像コミュニケーションシステム。
【請求項３５】
請求項３０に記載の画像コミュニケーションシステムにおいて、該システムは、複数のキャラクタデータを有するキャラクタ管理センタを含み、
前記所定の通信端末は、前記ユーザによる指示に応じて、前記キャラクタ管理センタにキャラクタデータのダウンロードを指示し、前記キャラクタ管理センタからダウンロードした新たなキャラクタデータを保持するキャラクタ管理手段を含み、
前記画像合成手段は、前記所定のキャラクタデータに関するパラメータを保持し、
前記キャラクタ管理手段は、前記新たなキャラクタデータのダウンロードに応じて、前記新たなキャラクタデータに対応する感情動作パターンを前記感情動作パターン記憶手段に記録するように指示する感情動作パターン指定信号を感情動作パターン設定手段に供給し、前記所定のキャラクタデータに関するパラメータを、前記新たなキャラクタデータに関するパラメータに更新するように指示する制御信号を前記画像合成手段に供給することを特徴とする画像コミュニケーションシステム。
【請求項３６】
請求項２５または３１に記載の画像コミュニケーションシステムにおいて、該システムは、複数のキャラクタデータを有するキャラクタ管理センタを含み、
前記所定の通信端末は、前記ユーザによる指示に応じて、前記感情動作パターン記憶手段に記憶される前記複数の感情動作パターンを書き換える感情動作パターン設定手段と、
前記ユーザによる指示に応じて、前記キャラクタ管理センタにキャラクタデータのダウンロードを指示し、前記キャラクタ管理センタからダウンロードした新たなキャラクタデータを保持するキャラクタ管理手段とを含み、
前記画像合成手段は、前記所定のキャラクタデータに関するパラメータを保持し、
前記キャラクタ管理手段は、前記新たなキャラクタデータのダウンロードに応じて、前記基本感情生成手段に記憶される、前記基本感情IDおよび前記基本感情データを、前記新たなキャラクタデータに対応する基本感情IDおよび基本感情データに更新させる基本感情パラメータを前記基本感情生成手段に供給し、前記新たなキャラクタデータに対応する感情動作パターンを前記感情動作パターン記憶手段に記録させる感情動作パターン指定信号を感情動作パターン設定手段に供給し、前記所定のキャラクタデータに関するパラメータを、前記新たなキャラクタデータに関するパラメータに更新させるキャラクタデータパラメータを前記画像合成手段に供給することを特徴とする画像コミュニケーションシステム。
【請求項３７】
請求項２６、２７、３２または３３に記載の画像コミュニケーションシステムにおいて、該システムは、複数のキャラクタデータを有するキャラクタ管理センタを含み、
前記所定の通信端末は、前記ユーザによる指示に応じて、前記感情動作パターン記憶手段に記憶される前記複数の感情動作パターンを書き換える感情動作パターン設定手段と、
前記ユーザによる指示に応じて、前記キャラクタ管理センタにキャラクタデータのダウンロードを指示し、前記キャラクタ管理センタからダウンロードした新たなキャラクタデータを保持するキャラクタ管理手段とを含み、
前記画像合成手段は、前記所定のキャラクタデータに関するパラメータを保持し、
前記キャラクタ管理手段は、前記新たなキャラクタデータのダウンロードに応じて、前記視点制御手段ならびに／または前記背景画像選択手段に記憶される、前記視点制御IDおよび前記視点制御パラメータ、ならびに／または前記背景画像IDおよび前記背景画像パラメータを、前記新たなキャラクタデータに対応する視点制御IDおよび視点制御パラメータ、ならびに／または背景画像IDおよび背景画像パラメータに更新させる制御パラメータを前記視点制御手段ならびに／または前記背景画像選択手段に供給し、前記新たなキャラクタデータに対応する感情動作パターンを前記感情動作パターン記憶手段に記録させる感情動作パターン指定信号を感情動作パターン設定手段に供給し、前記所定のキャラクタデータに関するパラメータを、前記新たなキャラクタデータに関するパラメータに更新させるキャラクタデータパラメータを前記画像合成手段に供給することを特徴とする画像コミュニケーションシステム。
【請求項３８】
請求項２３または２９に記載の画像コミュニケーションシステムにおいて、該システムは、前記通信端末とチャットセッションを張るチャットサーバを含み、
前記所定の通信端末は、前記通信手段および前記IPネットワークを介して前記チャットサーバと接続し、前記チャットサーバとテキストデータをやり取りするチャット機能を有するテキストチャットクライアント手段と
前記ユーザが前記チャットサーバに送信するための送信テキストデータを前記テキスト入力手段に入力するとき、前記テキスト入力手段からの前記送信テキストデータを前記テキストチャットクライアント手段に供給し、かつ前記送信テキストデータのうち、メッセージ部分を示すテキストデータを抽出して前記画像合成装置に供給するフィルター手段とを含むことを特徴とする画像コミュニケーションシステム。
【請求項３９】
請求項３８に記載の画像コミュニケーションシステムにおいて、
前記チャットサーバは、前記チャットセッションを管理および処理するセッション管理手段と、
前記チャットセッションを参照して、所定のチャットデータのユーザを識別するユーザIDおよびそのメッセージデータを抽出するフィルター手段と、
前記メッセージデータに基づいて所定の感情パラメータを検出する感情解析手段と、
前記所定の感情パラメータに対応する所定の制御コードを生成する制御文字生成手段とを含み、
前記セッション管理手段は、前記所定の制御コードを前記所定のチャットデータにマージして、該所定のチャットデータを前記チャットセッションに参加している前記通信端末へと送信し、
前記所定の通信端末は、前記チャットサーバから受信したチャットデータから前記所定の制御コードを抽出して、該所定の制御コードを前記動作制御手段に供給し、
前記動作制御手段は、前記所定の制御コードに基づいて前記所定の感情パラメータを得ることを特徴とする画像コミュニケーションシステム。
【請求項４０】
IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステム上に配置され、前記通信端末との間でチャットセッションを構築するチャットサーバにおいて、該チャットサーバは、
前記チャットセッションを管理および処理するセッション管理手段と、
前記チャットセッションを参照して、所定のチャットデータのユーザを識別するユーザIDおよびそのメッセージデータを抽出するフィルター手段と、
前記メッセージデータに基づいて所定の感情パラメータを検出する感情解析手段と、
前記所定の感情パラメータに対応する所定の制御コードを生成する制御文字生成手段とを含み、
前記セッション管理手段は、前記所定の制御コードを前記所定のチャットデータにマージして、該所定のチャットデータを前記チャットセッションに参加している前記通信端末へと送信することを特徴とするチャットサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、TV電話や映像チャットなどのように画像を用いてコミュニケーションを行うシステムにおいて、コミュニケーションを図るための画像を合成して生成する画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバに関するものである。
【背景技術】
【０００２】
従来から、たとえば、特許文献１に記載の画像コミュニケーション機能付き情報端末装置を用いた画像伝送システムでは、この装置が顔画像を含む画像を入力してその顔画像の表情に応じたモデルデータを送信することによりコミュニケーションを図るもので、画像データを通信せずに顔の特徴点データを通信することにより、送信側のユーザのプライバシー保護、およびエンタテイメント性の高い画像の受信を実現している。
【０００３】
また、特許文献２に記載の画像伝送システムでは、テレビ電話用フォーマットや携帯電話用フォーマットなどの画像通信プラットフォームに応じた動画像データを送受信して通信することによりシステム構築のコストを削減するもので、ユーザが制御可能な基本表情データに基づいてその動画像データを生成することにより、より高いエンタテイメント性を実現している。
【０００４】
また、特許文献３に記載の画像生成装置では、画像データ、音声データおよびキー操作を解析して表情に応じたパラメータを検出し、このパラメータに基づいて画像を合成することにより、より高い機能性およびエンタテインメント性を実現している。
【０００５】
また、特許文献４に記載の顔情報送信システムでは、キャラクタ画像を通信するもので、入力する画像データおよび音声データに基づいて表情データを検出し、割り込み指示に基づいて表情に関する指示を入力して、これらの表情データおよび表情に関する指示に応じてキャラクタ画像を生成することにより、ユーザの感情や意思などの要素が反映された画像を生成することができる。
【０００６】
【特許文献１】特許第3593067号
【特許文献２】特開2004-381300号
【特許文献３】特願2005-38160号
【特許文献４】特開2004-236186号
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、たとえば、上記の特許文献４における顔情報送信システムでは、画像データおよび音声データ、ならびに割り込み指示に基づいてキャラクタ画像を生成するものであるが、ユーザの感情や意思などの要素が反映させるためには、割り込み指示が必要であり、機能性やエンタテイメント性の高い画像を生成するには、ユーザにより多くの操作を要求することになる。
【０００８】
本来、画像コミュニケーションシステムを利用するユーザの目的は、TV電話や映像チャットによりコミュニケーションを図ることであり、ユーザがこのようなコミュニケーションを行いながら多くの機能を使いこなすことは困難であり、ユーザへの負荷が大きくなる。
【０００９】
本発明は、コミュニケーション中のユーザに特別な操作を要求することなく、ユーザがコミュニケーションのために入力した情報に基づいて、コミュニケーションを図るための画像を合成して生成する画像合成装置、ならびにその装置を用いた通信端末および画像コミュニケーションシステム、ならびにそのシステムにおけるチャットサーバを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は上述の課題を解決するために、ユーザの入力情報に基づいて合成画像を生成する画像合成装置は、このユーザの発声に応じた音声データをこの入力情報として入力し、この音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含むことを特徴とする。
【００１１】
また、ユーザの入力情報に基づいて合成画像を生成する画像合成装置は、このユーザのテキスト入力に応じたテキストデータをこの入力情報として入力し、このテキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含むことを特徴とする。
【００１２】
また、IP（Internet Protocol）ネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う通信端末は、通信相手である他の通信端末とこのIPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、このユーザの発声に応じた音声データをこの入力情報として入力する音声入力手段と、この音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含み、このキャラクタ合成画像およびこの音声データを符号化して送信のためのこの音声信号およびこの画像信号を生成し、この通信手段で受信したこの音声信号およびこの画像信号を復号化して受信音声データおよび受信画像データを生成し、またこの受信音声データおよびこの受信画像データをこのユーザに提供することを特徴とする。
【００１３】
また、IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う通信端末は、通信相手である他の通信端末とこのIPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、このユーザのテキスト入力に応じたテキストデータをこの入力情報として入力するテキスト入力手段と、このテキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段と、このキャラクタ合成画像およびこの音声データを符号化して送信のためのこの音声信号およびこの画像信号を生成し、この通信手段で受信したこの音声信号およびこの画像信号を復号化して受信音声データおよび受信画像データを生成し、またこの受信音声データおよびこの受信画像データをこのユーザに提供することを特徴とする。
【００１４】
また、IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う通信端末は、通信相手である他の通信端末とこのIPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、このユーザの発声に応じた音声データをこの入力情報として入力する音声入力手段と、この音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて検出される、所定のキャラクタデータを変形させる制御パラメータをパケット化して制御パケットを生成する制御パケット生成手段とを含み、この通信手段は、この画像信号としてこの制御パケットを送受信し、この通信端末は、この通信手段で受信したこの制御パケットから抽出した制御パラメータに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段を含み、この音声データを符号化して送信のためのこの音声信号を生成し、この通信手段で受信したこの音声信号を復号化して受信音声データを生成し、またこの受信音声データおよびこのキャラクタ合成画像をこのユーザに提供することを特徴とする。
【００１５】
また、IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う通信端末は、通信相手である他の通信端末とこのIPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、このユーザのテキスト入力に応じたテキストデータをこの入力情報として入力するテキスト入力手段と、このテキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて検出される、所定のキャラクタデータを変形させる制御パラメータをパケット化して制御パケットを生成する制御パケット生成手段とを含み、この通信手段は、この画像信号としてこの制御パケットを送受信し、この通信端末は、この通信手段で受信したこの制御パケットから抽出した制御パラメータに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段を含み、この音声データを符号化して送信のためのこの音声信号を生成し、この通信手段で受信したこの音声信号を復号化して受信音声データを生成し、この受信音声データおよびこのキャラクタ合成画像をこのユーザに提供することを特徴とする。
【００１６】
また、IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステムにおいて、この複数の通信端末のうち、所定の通信端末は、通信相手である他の通信端末とこのIPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、このユーザの発声に応じた音声データをこの入力情報として入力する音声入力手段と、この音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含み、このキャラクタ合成画像およびこの音声データを符号化して送信のためのこの音声信号およびこの画像信号を生成し、この通信手段で受信したこの音声信号およびこの画像信号を復号化して受信音声データおよび受信画像データを生成し、またこの受信音声データおよびこの受信画像データをこのユーザに提供することを特徴とする。
【００１７】
また、IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステムにおいて、この複数の通信端末のうち、所定の通信端末は、通信相手である他の通信端末とこのIPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、このユーザのテキスト入力に応じたテキストデータをこの入力情報として入力するテキスト入力手段と、このテキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段とを含み、このキャラクタ合成画像およびこの音声データを符号化して送信のためのこの音声信号およびこの画像信号を生成し、この通信手段で受信したこの音声信号およびこの画像信号を復号化して受信音声データおよび受信画像データを生成し、この受信音声データおよびこの受信画像データをこのユーザに提供することを特徴とする。
【００１８】
また、IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステムにおいて、この複数の通信端末のうち、所定の通信端末は、通信相手である他の通信端末とこのIPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、このユーザの発声に応じた音声データをこの入力情報として入力する音声入力手段と、この音声データに信号処理を施した音声データに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて検出される、所定のキャラクタデータを変形させる制御パラメータをパケット化して制御パケットを生成する制御パケット生成手段とを含み、この通信手段は、この画像信号としてこの制御パケットを送受信し、この所定の通信端末は、この通信手段で受信したこの制御パケットから抽出した制御パラメータに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段を含み、この音声データを符号化して送信のためのこの音声信号を生成し、この通信手段で受信したこの音声信号を復号化して受信音声データを生成し、この受信音声データおよびこのキャラクタ合成画像をこのユーザに提供することを特徴とする。
【００１９】
また、IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステムにおいて、この複数の通信端末のうち、所定の通信端末は、通信相手である他の通信端末とこのIPネットワークを介して接続して音声信号および画像信号を送受信する通信手段と、このユーザのテキスト入力に応じたテキストデータをこの入力情報として入力するテキスト入力手段と、このテキストデータに基づいて所定の感情パラメータを検出する感情解析手段と、複数種類の感情パラメータに対応した複数の感情動作パターンを記録する感情動作パターン記憶手段と、この所定の感情パラメータに応じた所定の感情動作パターンを、感情動作パターン記憶手段を参照して検出する動作制御手段と、この所定の感情動作パターンに基づいて検出される、所定のキャラクタデータを変形させる制御パラメータをパケット化して制御パケットを生成する制御パケット生成手段とを含み、この通信手段は、この画像信号としてこの制御パケットを送受信し、この所定の通信端末は、この通信手段で受信したこの制御パケットから抽出した制御パラメータに基づいて、所定のキャラクタデータを変形させてキャラクタ合成画像を生成する画像合成手段を含み、この音声データを符号化して送信のためのこの音声信号を生成し、この通信手段で受信したこの音声信号を復号化して受信音声データを生成し、この受信音声データおよびこのキャラクタ合成画像をこのユーザに提供することを特徴とする。
【００２０】
また、IPネットワークなどの通信回線を介して音声信号および画像信号を送受信してコミュニケーションを行う複数の通信端末を用いた画像コミュニケーションシステム上に配置され、この通信端末との間でチャットセッションを構築するチャットサーバは、このチャットセッションを管理および処理するセッション管理手段と、このチャットセッションを参照して、所定のチャットデータのユーザを識別するユーザIDおよびそのメッセージデータを抽出するフィルター手段と、このメッセージデータに基づいて所定の感情パラメータを検出する感情解析手段と、この所定の感情パラメータに対応する所定の制御コードを生成する制御文字生成手段とを含み、このセッション管理手段は、この所定の制御コードをこの所定のチャットデータにマージして、この所定のチャットデータをこのチャットセッションに参加しているこの通信端末へと送信することを特徴とする。
【発明の効果】
【００２１】
本発明の画像合成装置によれば、感情解析部で音声データを解析してユーザの感情を示す感情パラメータを検出し、この感情パラメータに応じて感情動作パターン記憶部に設定している基本感情IDを得て、この基本感情IDに応じた基本感情データを用いてキャラクタデータを合成処理することにより、違和感なく自動的に感情に応じたキャラクタ合成画像を生成することができ、キー操作や意図的に登録した画像パターンおよび音声パターンの入力などの操作を必要としないためにユーザ操作の負荷を低減し、かつ、基本感情の設定により表情を強調した画像を生成してエンタテインメント性の高い機能を実現することができる。
【００２２】
また、本発明の画像合成装置によれば、感情パラメータに応じて視点制御や背景画像選択、または定型アニメーションの起動をすることができ、ユーザの感情に起伏に応じて、エンタテインメント性の高いズーム制御や背景画像切り替え、または定型アニメーションの提供を、ユーザに入力負荷を与えずに実現することができる。
【００２３】
また、本発明の画像合成装置によれば、テキストチャットなどのような文字入力装置を用いてユーザにより入力されたテキストデータを入力し、感情解析部でテキストデータを解析してユーザの感情を示す感情パラメータを検出することにより、ユーザがテキストチャットを使用しながら定型アニメーションを実行することができ、ユーザに特別な入力負荷を与えることなく、テキストチャットにおけるエンタテイメント性をより高くすることができる。
【００２４】
また、この画像合成装置を備えた通信端末を接続する画像コミュニケーションシステムでは、チャットサーバが感情解析部を設けることにより、感情解析に必要なテキストデータと感情との対応辞書を各通信端末が保持する必要がなくなるので、システム構築コストを低減することができる。
【００２５】
また、本発明の画像合成装置によれば、感情動作パターン設定部を設けて、感情動作パターンテーブルを適宜調整することができ、よりユーザの意図に適合した動作を実現し、キャラクタ管理部を設けて新たなキャラクタデータをダウンロードして更新し、新たなキャラクタデータに対応した動作を示す感情動作パターンテーブルに更新することにより、ユーザの指示に応じてより高いエンタテインメント性を提供することができる。
【００２６】
また、本発明によれば、複数の通信端末と接続する画像コミュニケーションシステムにおいて、上述のいずれかの画像合成装置を通信端末に適用して、生成されたキャラクタ合成画像を通信することにより、エンタテイメント性の高いコミュニケーションを図ることができる。
【００２７】
また、本発明の画像コミュニケーションシステムによれば、所定の通信端末において、画像データにおける顔画像の特徴点の特徴量を示す表情データ、および感情パラメータに応じた視点制御などの制御情報をパケット化して他の通信端末に送信し、受信側の通信端末においてこれらの表情データおよび制御情報に基づいてキャラクタ合成画像を生成するため、通信量を削減し、かつユーザの入力負荷を低減して、多機能なコミュニケーションシステムを提供することができる。
【発明を実施するための最良の形態】
【００２８】
次に添付図面を参照して、本発明による画像コミュニケーションシステムの実施例を詳細に説明する。たとえば、本発明の画像コミュニケーションシステム10は、図１に示すように、IP（Internet Protocol）ネットワーク12を介して複数の通信端末14および16の間でコミュニケーションデータ、たとえば時系列のキャラクタデータを相互に送受信するもので、通信端末14は、音声入力部22および画像入力部24でそれぞれ得られる音声データおよび画像データに基づいて、合成画像生成部26で合成画像データを生成し、音声データおよび合成画像データを符号化部28および通信部30を介してIPネットワーク12へ出力し、IPネットワーク12から通信部30および復号化部32を介して入力したデータを出力部34によりユーザに供給するものである。なお、本発明の理解に直接関係のない部分は、図示を省略し、冗長な説明を避ける。
【００２９】
本実施例の画像コミュニケーションシステム10において、複数の通信端末14および16は、それぞれ通信回線102および104を介してIPネットワーク12と接続するが、無線回線などのその他の様々な通信手段が用いられてよい。
【００３０】
また、本実施例において、画像コミュニケーションシステム10は、多数の通信端末を配置して相互に接続してもよいが、図の複雑化を避けるため、図１では２つの通信端末14および16のみが示されている。
【００３１】
また、画像コミュニケーションシステム10は、合成画像生成部26を備えた通信端末14を少なくとも１つ以上有するものであり、他方、合成画像生成部26を備えない通信端末16を有してもよく、そのような通信端末16では、画像入力部24からの画像データ120をそのまま合成画像データ122として符号化部28に供給するとよい。
【００３２】
たとえば、本実施例の通信端末14は、マイクロホンなどの音声検出器と接続してユーザの発声に応じた音声信号112を入力し、固体撮像素子などの撮像機器と接続して画像信号114を入力し、また、出力部34からの出力データ130を表示器などの出力機器に出力して自端末14を扱う自ユーザに供給する。また、通信端末14は、これらの音声検出器、撮像機器および出力機器を含んで構成されてもよい。
【００３３】
通信端末14における音声入力部22は、音声信号112を入力する入力インタフェース回路としての機能を有し、たとえば、アナログの音声信号112を入力する場合、この音声信号112をアナログ・ディジタル変換して音声データ118を生成し、合成画像生成部26および符号化部28へ出力するものである。
【００３４】
また、通信端末14における画像入力部24は、顔映像を含む画像信号114を入力する入力インタフェース回路としての機能を有し、たとえば、アナログの画像信号114を入力する場合、この画像信号114をアナログ・ディジタル変換して画像データ120を生成し、合成画像生成部26へ出力するものである。
【００３５】
本実施例において、合成画像生成部26は、音声データ118を音声解析部42および感情解析部44で解析して感情パラメータ144を検出し、動作制御部46および感情動作パターン記憶部48で感情パラメータ144に基づいて感情動作パターン148を検出し、基本感情生成部50で感情動作パターン148に基づいて基本感情データ150を生成し、画像データ120に基づいて表情特徴抽出部52で表情データ152を抽出し、表情合成部54で基本感情データ150および表情データ152を合成して合成表情データ154を得て、画像合成部56で所定のキャラクタデータと合成表情データ154とを合成して合成画像データ122を生成するものである。
【００３６】
符号化部28は、音声信号112および合成画像データ122を符号化して送信データ124を生成し、通信部30へ供給するもので、MPEG（Motion Picture coding Experts Group）やITU（International Telecommunication Union）-T勧告（Telecommunication standardization sector）のH.26xシリーズなどの所定の符号化アルゴリズムによって符号化するものである。復号化部32は、通信部30を介して供給される受信データ126を好適に復号化して、復号化した音声データや画像データなどの出力データ128を出力部34に供給するものである。
【００３７】
通信部30は、IPネットワーク12と接続するインタフェース機能を有するもので、本実施例では、通信回線102によってIPネットワーク12と接続しているが、無線電波によって接続してもよい。
【００３８】
また、通信部30は、符号化部28からの送信データ124をIPネットワーク12を介して他の通信端末に送信し、また、他の通信端末が送信したデータを受信してこの受信データ126を復号化部32に供給する。
【００３９】
出力部34は、他の通信端末16などの相手側の端末が送信した音声や画像を示すデータ128を復号化部32から入力し、また、自端末14の合成画像生成部26で生成された合成画像データ122を入力して、自ユーザに提供可能なデータ130に変換して呈示するものである。
【００４０】
また、本実施例の合成画像生成部26において、音声解析部42は、音声入力部22から供給される音声データ118に周波数分析およびパワー分析などの信号処理を施し、処理後の音声データ120を感情解析部44に供給するものである。
【００４１】
感情解析部44は、音声解析部42からの音声データ120の音声特性に基づいて感情パラメータ144を検出するもので、本実施例では、感情ID（IDentification）および感情の強度を含む感情パラメータ144を検出して動作制御部46に供給する。
【００４２】
たとえば、感情解析部44は、音声データ120を所定のフレームごとに時系列に分離し、これらのフレーム間のパワー偏差、パワー差分の平均値およびパワー差分の偏差を求めることにより感情パターンや興奮度合いなどの感情に関する情報を抽出して、これらの情報に基づいて感情IDおよび感情の強度を含む感情パラメータ144を検出することができる。また、感情解析部44は、このような抽出手段に限らず、その他の手段を用いて感情パラメータ144を検出してもよい。
【００４３】
動作制御部46は、感情解析部44からの感情パラメータ144に応じて感情動作パターン記憶部48から基本感情IDを含む感情動作パターン146を得て、この基本感情ID 148を基本感情生成部50に供給するものである。本実施例の動作制御部46は、感情パラメータ144の感情IDおよび感情の強度をキーとして、感情動作パターン記憶部48を参照して感情動作パターン146を得る。
【００４４】
感情動作パターン記憶部48は、感情動作パターンテーブルを保持するRAM（Random Access Memory）などのメモリで構成されてよく、感情動作パターンテーブル160は、たとえば、図２に示すように、感情ID、感情の強度および基本感情IDの組み合わせを記憶する。感情動作パターン記憶部48は、たとえば、感情パラメータ144の感情IDが「怒り」で、感情の強度が「０」である場合、感情動作パターンテーブル160において相当する組み合わせ162が参照され、喜怒哀楽などの基本的な感情を示す基本感情IDとして「怒り１」が得られる。
【００４５】
基本感情生成部50は、動作制御部46からの基本感情ID 148に基づいて、顔画像の特徴点の特徴量を示す特徴点データであって、喜怒哀楽などの基本的な感情を示す基本感情データ150を生成して表情合成部54に供給するもので、表情特徴抽出部52で生成される表情データ152と同じデータ形式の基本感情データ150を生成するとよい。また、基本感情生成部50は、各基本感情IDに対応付けて基本感情データを保持してよい。
【００４６】
表情特徴抽出部52は、音声入力部22からの音声データ118、および画像入力部24からの画像データ120に基づいて、顔画像の特徴点の特徴量を示す特徴点データである表情データ152を抽出して表情合成部54に供給するもので、たとえば、画像データ120に示される顔画像から顔の特徴点を判定し、その特徴量に応じた表情データ152を抽出する。表情特徴抽出部52は、音声データ118および画像データ120の両方を利用して表情データ152を生成してよく、音声データ118または画像データ120のどちらか一方のみを利用して表情データ152を生成してもよい。
【００４７】
たとえば、表情特徴抽出部52は、音声データ118を利用するとき、音声データ118における音声波形を閾値処理して、所定の閾値以上である場合には口を開いたり眉を上げたりし、または、他の閾値以下である場合には口を閉じたり眉を下げたりする表情データ152を抽出することができる。
【００４８】
また、表情特徴抽出部52は、画像データ120を利用するとき、画像データ120における顔画像のエッジ検出を行い、検出したエッジから目、鼻、口および眉毛などの輪郭を抽出し、これらの輪郭に基づいて得られる特徴点の座標データの移動量から表情データ152を抽出することができる。
【００４９】
また、表情特徴抽出部52は、これらのような抽出手段に限らず、その他の手段を用いて表情データ152を抽出してもよい。
【００５０】
表情合成部54は、基本感情生成部50からの基本感情データ150と表情特徴抽出部52からの表情データ152とを合成し、合成表情データ154を生成して画像合成部56に供給するものである。表情合成部54は、たとえば、基本感情データ150および表情データ152が無表情からの移動量を示す場合、単純に加算して合成表情データ154を生成するものでよく、その他の手段を用いて合成表情データ154を抽出してもよい。
【００５１】
画像合成部56は、所定のキャラクタデータと表情合成部54からの合成表情データ154とを合成してキャラクタ合成画像を生成し、このキャラクタ合成画像を示す合成画像データ122を符号化部28に出力するものである。本実施例において、画像合成部56は、所定のキャラクタデータを保持してメモリに記憶しているが、外部にキャラクタデータの設定を許可して取り替え可能としてもよい。
【００５２】
画像合成部56は、たとえば、複数のポリゴンで構成されるワイヤフレームなどのモデルデータをキャラクタデータとして用いて、このモデルデータにおけるポリゴンの形成位置を合成表情データ154の示す座標データに応じて変更し、変更したモデルデータにレンダリング処理を施すことにより、合成表情データ154に基づいて所定のキャラクタデータを変形させたようなキャラクタ合成画像122を生成するものでよい。
【００５３】
また、画像合成部56は、ユーザが送信するキャラクタ合成画像122を確認するために、生成した合成画像データ122を出力部34にも供給するとよい。
【００５４】
次に、本実施例における画像コミュニケーションシステム10の動作において、ユーザがデータを送信する動作を図３のフローチャートを参照しながら説明する。
【００５５】
本実施例の画像コミュニケーションシステム10では、データの送信動作が開始すると、まずユーザがコミュニケーションを図る入力情報として音声信号112および画像信号114を、通信端末14における音声入力部22および画像入力部24にそれぞれ入力する（ステップS170）。
【００５６】
この音声信号112は、音声入力部22で音声データ120に変換されて合成画像生成部26へ供給され、画像信号114は、画像入力部24で画像データ120に変換されて合成画像生成部26へ供給される。
【００５７】
合成画像生成部26において、画像データ120は、表情特徴抽出部52に入力して、ここで、画像データ120に基づく表情データ152が抽出されて表情合成部54に供給される（ステップS172）。
【００５８】
また、合成画像生成部26において、音声データ118は、音声解析部42で音声解析処理されて音声データ118に基づく音声データ142が検出され、この音声データ142は、感情解析部44で感情解析処理されて音声データ142に基づく感情パラメータ144が検出され（ステップS174）、この感情パラメータ144は、動作制御部46に供給される。
【００５９】
次に、動作制御部46では、感情動作パターン記憶部48における感情動作パターンテーブルを参照して、感情パラメータ144に対応する基本感情ID 148が検出されて基本感情生成部50に供給される。また、基本感情生成部50では、基本感情ID 148に基づいて、基本的な感情を示す基本感情データ150が生成されて表情合成部54に供給される（ステップS176）。
【００６０】
表情合成部54では、基本感情データ150と表情データ152とに基づいて合成表情データ154が生成されて画像合成部56に供給される（ステップS178）。
【００６１】
画像合成部56では、所定のキャラクタデータと合成表情データ154とが合成処理されて、キャラクタ合成画像122が生成され、符号化部28に供給される（ステップS180）。
【００６２】
このようにして合成画像生成部26で生成された合成画像データ122は、符号化部28および通信部30により送信データが生成され、この送信データは、IPネットワーク12を介して他の通信端末へ送信される（ステップS182）。
【００６３】
また、他の実施例として、通信端末12における合成画像生成部200は、図４に示すように、感情解析部44からの感情パラメータ144に基づいて、動作制御部202および感情動作パターン記憶部204にて視点制御IDおよび背景画像IDを含む感情動作パターン222を検出し、この視点制御ID 224に基づいて視点制御部206で視点パラメータ228を検出し、この背景画像ID 226に基づいて背景画像選択部208で背景画像パラメータ230を検出し、表情特徴抽出部52からの表情データ152、視点パラメータ228および背景画像パラメータ230に基づいて画像合成部210で所定のキャラクタデータを合成処理してキャラクタ合成画像122を生成するものである。
【００６４】
動作制御部202は、感情解析部44からの感情パラメータ144に応じて感情動作パターン記憶部204から視点制御IDおよび背景画像IDを含む感情動作パターン222を得て、これらの視点制御ID 224および背景画像ID 226を視点制御部206および背景画像選択部208にそれぞれ供給するものである。この動作制御部202も、動作制御部46と同様に、感情パラメータ144の感情IDおよび感情の強度をキーとして、感情動作パターン記憶部204を参照して感情動作パターン222を得る。
【００６５】
感情動作パターン記憶部204は、感情動作パターン記憶部48と同様に、感情動作パターンテーブルを保持するメモリで構成されてよく、感情動作パターンテーブル250は、たとえば、図５に示すように、感情ID、感情の強度、視点制御IDおよび背景画像IDの組み合わせを記憶する。感情動作パターン記憶部204は、たとえば、感情パラメータ144の感情IDが「怒り」で、感情の強度が「０」である場合、感情動作パターンテーブル250において相当する組み合わせ252が参照され、視点制御IDとして「近」が得られ、背景画像IDとして「怒りの背景（強）」が得られる。
【００６６】
たとえば、感情動作パターン記憶部204における感情動作パターンテーブル250は、感情の強度の強さに比例して視点が近くなるように各組み合わせを設定するのが好ましいが、その他の関係を有する組み合わせを設定してもよい。
【００６７】
視点制御部206は、動作制御部202からの視点制御ID 224に基づいて、キャラクタ合成画像を生成する際の視点パラメータ228を生成して画像合成部210に供給するものである。視点制御部206は、三次元のワールド座標やキャラクタとの相対座標で示される視点パラメータ228を生成するとよく、視野角の変更を含めて視点パラメータ228を生成してもよい。また、視点制御部206は、各視点制御IDに対応付けて視点パラメータを保持してよい。
【００６８】
背景画像選択部208は、動作制御部202からの背景画像ID 226に基づいて、背景画像を示す背景画像パラメータ230を画像合成部210に供給するものである。視点制御部206は、あらかじめ各背景画像IDに対応する背景画像を保持するものでよい。
【００６９】
画像合成部210は、画像合成部56と同様に構成されて、所定のキャラクタデータと表情特徴抽出部52からの表情データ152とを合成してキャラクタ合成画像を生成するものでよく、本実施例では特に、視点制御部206からの視点パラメータ228および背景画像選択部208からの背景画像パラメータ230に基づいてキャラクタ合成画像を描画するような合成画像データ122を生成する。
【００７０】
画像合成部210は、たとえば、視点パラメータ228が「近」を示す場合、所定のキャラクタデータを拡大し、他方、背景画像パラメータ230が「怒りの背景（強）」を示す場合、通常の「怒りの背景」に比べてより強い印象を与えるような背景を組み合わせて合成画像データ122を生成する。たとえば、通常の「怒りの背景」が稲妻を表示して怒りを表わす場合、より強い印象を与えるような「怒りの背景（強）」は、表示する稲妻の数を増やしたり、色を変えたりして表現するものでよい。
【００７１】
また、この合成画像生成部200は、基本感情生成部50および表情合成部54を含むように構成して、表情データ152に対して基本感情データ150を用いた表情合成処理を施して、合成表情データ154を画像合成部210に供給してキャラクタデータと合成表情データ154とを合成処理してもよい。
【００７２】
また、他の実施例として、通信端末12における合成画像生成部300は、図６に示すように、感情解析部44からの感情パラメータ144に基づいて、動作制御部302および感情動作パターン記憶部304にて定型アニメーションIDを含む感情動作パターン322を検出し、この定型アニメーションID 324に基づいて定型アニメーション制御部306にて表情データ、視点制御IDおよび背景画像IDを含むアニメーションデータを得て、この視点制御ID 224に基づいて視点制御部206で視点パラメータ228を検出し、この背景画像ID 226に基づいて背景画像選択部208で背景画像パラメータ230を検出し、定型アニメーション制御部306からの表情データ326、視点パラメータ228および背景画像パラメータ230に基づいて画像合成部308で所定のキャラクタデータを合成処理してキャラクタ合成画像122を生成するものである。
【００７３】
動作制御部302は、感情解析部44からの感情パラメータ144に応じて感情動作パターン記憶部304から定型アニメーションIDを含む感情動作パターン322を得て、この定型アニメーションID 324を定型アニメーション制御部306に供給するものである。この動作制御部302も、動作制御部46と同様に、感情パラメータ144の感情IDおよび感情の強度をキーとして、感情動作パターン記憶部304を参照して感情動作パターン322を得る。
【００７４】
感情動作パターン記憶部304は、感情動作パターン記憶部48と同様に、感情動作パターンテーブルを保持するメモリで構成されてよく、感情動作パターンテーブル350は、たとえば、図７に示すように、感情ID、感情の強度、および定形アニメーションIDの組み合わせを記憶する。感情動作パターン記憶部304は、たとえば、感情パラメータ144の感情IDが「悲しみ」で、感情の強度が「０」である場合、感情動作パターンテーブル350において相当する組み合わせ352が参照され、定形アニメーションIDとして「悲嘆１」が得られる。
【００７５】
定型アニメーション制御部306は、動作制御部302からの定型アニメーションID 324に基づいて、アニメーションの再生時間の間、表情データ326、視点制御ID 224および背景画像ID 226などのアニメーションデータを、それぞれ、画像合成部308、視点制御部206および背景画像選択部208に供給するものである。アニメーションの再生時間は、定型アニメーションIDに拘らず固定の時間でもよく、定型アニメーションIDごとに設定してもよい。
【００７６】
本実施例の定型アニメーション制御部306は、あらかじめ各定型アニメーションIDに対応するアニメーションデータを保持するもので、アニメーションデータとして時系列の表情データ、視点制御IDおよび背景画像IDの組み合わせを保持する。定型アニメーション制御部306は、表情データとして、顔の各特徴点だけでなく、感情を表現する体の動作、たとえば、手や首の動作を示す情報を含めてもよい。
【００７７】
定型アニメーション制御部306は、定型アニメーションID 324に応じた時系列の表情データ326、視点制御ID 224および背景画像ID 226を順次、画像合成部308、視点制御部206および背景画像ID 226に供給する。しかし、定型アニメーション制御部306は、たとえば、背景画像ID 226が示す画像が、時系列で変化しない場合には、画像合成部308における画像更新タイミングごとに背景画像ID 226を出力しなくとも１回だけ背景画像選択部208に供給すればよく、このように、各画像更新タイミングでは、画像を変化させるようなIDだけ供給するようにしてもよい。
【００７８】
画像合成部308は、画像合成部210と同様に構成されて、表情特徴抽出部52からの表情データ152、視点制御部206からの視点パラメータ228および背景画像選択部208からの背景画像パラメータ230に基づいて所定のキャラクタデータを変形させたキャラクタ合成画像を生成して合成画像データ122を出力するものでよい。
【００７９】
また、本実施例の合成画像生成部300は、アニメーションデータに基本感情IDを含んでもよく、この場合、定型アニメーション制御部306は、各定型アニメーションIDに対応する基本感情IDを保持し、合成画像生成部300は、基本感情生成部50および表情合成部54を備えて、定型アニメーション制御部306が定型アニメーション制御部306に応じて基本感情IDを基本感情生成部50に供給し、基本感情生成部50がこの基本感情IDに応じた基本感情データを表情合成部54に出力し、表情合成部54がこの基本感情データと定型アニメーション制御部306からの表情データ326とを合成して合成表情データを生成し、画像合成部308がこの合成表情データに基づいてキャラクタ合成画像を生成してよい。
【００８０】
また、他の実施例として、画像コミュニケーションシステム400は、図８に示すように、IPネットワーク12を介して複数の通信端末402および404が接続され、特に、IPネットワーク12にチャットサーバ406を接続して、各通信端末とチャットサーバ406との間でチャットセッションを構築する。
【００８１】
通信端末402は、上述のいずれかの実施例における通信端末14と同様に構成されて動作するものでよいが、本実施例では特に、テキスト入力部412、フィルター部414およびテキストチャットクライアント部416を含んでチャットサーバ406とテキストデータをやり取りするチャット機能を有し、フィルター部414がテキスト入力部412からのチャットデータにおけるメッセージ部分を抽出して合成画像生成部410に供給し、合成画像生成部410がこのメッセージに応じてキャラクタデータを変形させてキャラクタ合成画像122を生成する。また、通信端末402において、通信端末14と同一の構成に関しては詳細な説明を省略する。
【００８２】
画像コミュニケーションシステム400は、合成画像生成部410を備えた通信端末402を少なくとも１つ以上有するものであり、他方、合成画像生成部410を備えない通信端末404を有してもよく、そのような通信端末404では、画像入力部24を含んで画像データ120をそのまま合成画像データ122として符号化部28に供給するとよい。
【００８３】
本実施例において、合成画像生成部410は、特に、フィルター部414からのメッセージデータ426をテキスト感情解析部418で解析して感情パラメータ144を検出するものである。合成画像生成部410は、この感情パラメータ144に基づいて合成画像データ122を生成するまでの構成を、合成画像生成部26、200または300のいずれかのものと同一にしてよく、図８では、合成画像生成部300と同じように、動作制御部302、感情動作パターン記憶部304、定型アニメーション制御部306、視点制御部206、背景画像選択部208および画像合成部308を含んで構成される。
【００８４】
テキスト感情解析部418は、テキスト入力された文字の示す感情を解析するもので、フィルター部414からのメッセージデータ426を解析して感情パラメータ144を検出するものである。
【００８５】
本実施例のテキスト感情解析部418は、文字列と感情の種別とを対応させた辞書を有し、この辞書を参照してメッセージデータ426における各単語が所定の感情を示すか否かを判定する。テキスト感情解析部418は、各単語が所定の感情を示す場合、その感情に対応する感情IDを検出し、メッセージデータ426のすべての単語を判定して得られる感情IDを感情の種別ごとにカウントして、各感情IDの出現数を検出する。テキスト感情解析部418は、最も出現数の多い感情IDをメッセージデータ426に対する感情IDとし、その出現数から感情の強度を決定して、これらの感情IDおよび感情の強度を含む感情パラメータ144を検出する。
【００８６】
たとえば、テキスト感情解析部418は、「やったね」という文字と感情ID「喜び」とを対応させて辞書に記憶している場合、メッセージデータ426に所定の単語「やったね」が含まれる場合、感情ID「喜び」の出現数を１カウント増やす。
【００８７】
また、テキスト感情解析部418は、辞書に記憶される各文字列に対して、言葉の重みを数値化して記憶し、メッセージデータ426を判定する際に、検出される各感情IDの重みの合計数を算出して、このメッセージデータ426に対する感情IDおよび感情の強度を決定してもよい。
【００８８】
また、テキスト感情解析部418は、過去のメッセージデータにおける各感情IDおよび出現数を入力の履歴として記憶してもよく、過去の履歴を参照して現行のメッセージデータ426における各感情IDおよび出現数を判定することにより、より好ましい感情IDおよび出現数を検出することができる。
【００８９】
また、テキスト感情解析部418は、メッセージデータ426を構文解析した結果を利用するように構成されてもよい。
【００９０】
テキスト入力部412は、ユーザがテキストチャットに入力する文字を示すチャットデータ422を受け付けるもので、さらにこのチャットデータ424をフィルター部414に供給する。フィルター部414は、テキスト入力部412からのチャットデータ426をテキストチャットクライアント部416に供給するもので、本実施例では、特に、チャットデータ424のうち、メッセージ部分を示すメッセージデータ428を抽出してテキスト感情解析部418に供給する。
【００９１】
テキストチャットクライアント部416は、チャットサーバ406とチャットセッションを張るように接続線430で通信部30と接続し、他の通信端末とのコミュニケーションを可能とするもので、チャットサーバ406とのセッションを維持し、ユーザにチャット機能を提供する。テキストチャットクライアント部416は、チャットサーバ406との接続および切断処理や、チャットサーバ406とのチャットデータの送受信処理などのような一般的なテキストチャットクライアント処理を行うもので、たとえばソフトウエアによって構成されるものでよい。
【００９２】
通信端末402がチャットデータを送信する場合、テキストチャットクライアント部416は、チャットデータ430を通信部30に供給し、通信部30は、このチャットデータ430を、たとえばデータパケットとして、IPネットワーク12を介してチャットサーバ406に送信する。
【００９３】
本実施例の通信端末402は、ユーザがチャット機能を利用してテキスト入力したテキストデータをテキスト感情解析部418で解析するが、他の文字入力装置を利用して入力したテキストデータをテキスト感情解析部418で解析してもよい。
【００９４】
また、画像コミュニケーションシステム400は、図９に示すように、チャットサーバ406にテキスト感情解析部452を備えて構成してもよく、チャットサーバ406は、送信側の通信端末から供給されたメッセージをチャットセッションに参加している受信側の通信端末に供給する際に、テキスト感情解析部452でこのメッセージから制御コードを検出し、この制御コードをメッセージとともに受信側端末に供給する。
【００９５】
このようにチャットサーバ406にテキスト感情解析部452を備える場合、通信端末402は、図９に示すように、フィルター部450を備えて、送信側の通信端末からチャットデータを受信した場合に、フィルター部450でチャットデータから制御コードを抽出し、この制御コードが示す感情パラメータを動作制御部302に供給して合成画像生成部410を制御するとよい。この通信端末402は、フィルター部414およびテキスト感情解析部418を備えなくてもよい。
【００９６】
フィルター部450は、通信端末402がチャットデータを送信する場合には、テキストチャットクライアント部416からのチャットデータ430を、そのまま通信部30に供給するものであるが、通信端末402がチャットデータを受信する場合には、通信部30から供給される他端末が送信したチャットデータ480をそのままテキストチャットクライアント部416に供給するだけでなく、チャットデータ480に感情IDおよび感情の強度などの感情パラメータをコード化した制御コードが含まれる否かを調べる。
【００９７】
フィルター部450は、チャットデータ480から制御コードを検出した場合、この制御コードをデコードして、感情IDおよび感情の強度などの感情パラメータ144を動作制御部302に供給する。
【００９８】
また、フィルター部450は、通信部30からの受信チャットデータ480をフィルタリングして制御コードを除いたチャットデータ430をテキストチャットクライアント部416に供給してもよく、通信部30からの受信チャットデータ480をそのままテキストチャットクライアント部416に供給して、テキストチャットクライアント部416が制御コードを無視するように構成されてもよい。
【００９９】
ところで、テキスト感情解析部452を備えたチャットサーバ406は、本実施例では、図９に示すように、通信部454、セッション管理部456、フィルター部458および制御文字生成部460をも備えて構成される。
【０１００】
通信部454は、通信端末から送信されたチャットデータをデータパケットとして受信し、このチャットデータ482をセッション管理部456に供給し、他方、セッション管理部456から供給されるチャットデータ482を通信端末に送信するものである。
【０１０１】
セッション管理部456は、チャットセッションを管理および処理するもので、本実施例では特に、チャットセッションで交換されている文字列、すなわち各ユーザからのチャットデータ484をフィルター部458に供給する機能を有し、他方、制御文字生成部460から供給される制御コード490を、チャットセッションにおいてその制御コード490の元となるチャットデータにマージし、制御コード490がマージされたチャットデータをデータパケットとしてチャットセッションに参加している通信端末へと通信部454を介して送信する。
【０１０２】
フィルター部458は、チャットデータ484からユーザIDおよびメッセージデータをユーザごとに抽出し、メッセージデータ486をテキスト感情解析部452に供給する。
【０１０３】
テキスト感情解析部452は、テキスト感情解析部418と同様に構成されてよく、ユーザごとにメッセージデータ486を解析して感情IDおよび感情の強度などの感情パラメータを検出するもので、検出した感情パラメータ488を制御文字生成部460に供給する。
【０１０４】
制御文字生成部460は、感情パラメータ488を所定のコードに変換して制御コード490を生成し、対応するユーザIDとともにセッション管理部456に供給するものである。
【０１０５】
また、他の実施例として、合成画像生成部は、図10に示すように感情動作パターン設定部を備えて、ユーザの指示に応じて感情動作パターン記憶部における感情動作パターンテーブルを書き換えることができる。図10では、合成画像生成部26において、感情動作パターン設定部502が感情動作パターン記憶部48に接続して、感情動作パターン記憶部48における感情動作パターンテーブルを書き換える構成例を示しているが、合成画像生成部200、300および410においても同様に構成することができる。
【０１０６】
本実施例では、ユーザが感情動作パターン記憶部48における感情動作パターンテーブル160の書き換えを所望する場合に、この書き換えを指示する感情動作パターン指定信号512を合成画像生成部26に入力する。このとき、合成画像生成部26における感情動作パターン設定部502は、感情動作パターン指定信号512に応じて感情動作パターン記憶部48に書き換え指示信号516を出力して感情動作パターンテーブル160を書き換える。
【０１０７】
また、感情動作パターン設定部502は、感情動作パターン指定信号512に応じて、書き換え後の感情動作パターン設定画面を示すような感情パターン表示信号514を出力部34に供給してこの設定画面を自ユーザに提供する。感情動作パターン設定画面として、感情動作パターンテーブル160の表示は、さまざまな構成で実現できるが、たとえば、図２に示すような感情動作パターンテーブルをこのフォーマットどおりに表示してもよい。
【０１０８】
出力部34は、感情パターン表示信号514に応じて感情動作パターン設定画面を示す出力データ130を出力して自ユーザに感情動作パターン設定画面を提供し、自ユーザが感情動作パターン設定画面を参照して感情動作パターンを書き換える設定操作を可能にする。
【０１０９】
感情動作パターン設定部502に入力する感情動作パターン指定信号512は、たとえば、通信端末14に接続する外部機器上のGUI（Graphic User Interface）や組み込みボタンなどのユーザインタフェースにおいてユーザの操作に応じて発生するものでよい。したがって、ユーザが感情動作パターン設定画面を参照して感情動作パターンを書き換える場合、このときの設定操作に応じて感情動作パターンテーブルの書き換えを示す感情動作パターン指定信号512が発生し、感情動作パターン設定部502に入力する。
【０１１０】
また、他の実施例として、画像コミュニケーションシステム600の通信端末14において、合成画像生成部は、図11に示すように、キャラクタデータの更新を管理するキャラクタ管理部を備えて、更新したキャラクタデータに応じた感情動作パターンを感情動作パターン設定部に設定することができる。図11では、合成画像生成部26において、キャラクタ管理部604を含んだ構成例を示しているが、合成画像生成部200、300および410においても同様に構成することができる。
【０１１１】
本実施例において、画像コミュニケーションシステム600のIPネットワーク12は、図11に示すように、複数のキャラクタデータを有するキャラクタ管理センタ602と接続し、たとえば、通信端末14がIPネットワーク12を介してキャラクタ管理センタ602に所定のキャラクタデータのダウンロードを指示すると、そのキャラクタデータを得ることができる。
【０１１２】
また、本実施例の通信端末14は、上述のいずれかの実施例における通信端末14または402と同様に構成されて動作するものでよいが、本実施例では特に、キャラクタ管理部604を備えた合成画像生成部26を含んでいる。また、ここでは、上述の実施例における通信端末と同一の構成に関しては、図11における記載および詳細な説明を省略する。
【０１１３】
キャラクタ管理部604は、キャラクタデータをダウンロードする機能を有し、本実施例では、通信部30およびIPネットワーク12を介してキャラクタ管理センタ602と通信可能とし、キャラクタデータのダウンロードを指示する制御信号614をキャラクタ管理センタ602に通知して、キャラクタ管理センタ602からキャラクタデータをダウンロードすることができる。
【０１１４】
キャラクタ管理部604は、たとえば、ユーザの操作に応じてキャラクタデータのダウンロードを指示する制御信号612を受け取り、この制御信号612に応じてキャラクタデータのダウンロードを指示する制御信号614を通信部30に供給する。このとき、この制御信号614に示されるダウンロードの指示が、通信部30およびIPネットワーク12を介してキャラクタ管理センタ602に通知されるので、キャラクタ管理センタ602は、制御信号612に応じたキャラクタデータをIPネットワーク12および通信部30を介してキャラクタ管理部604に供給する。
【０１１５】
また、キャラクタ管理部604は、キャラクタ管理センタ602からダウンロードしたキャラクタデータを保持してメモリに記憶し、保持しているキャラクタデータのいずれかを画像合成部56で用いるキャラクタデータとして更新する機能を有する。
【０１１６】
キャラクタ管理部604は、たとえば、ユーザの操作に応じてキャラクタデータの更新を指示する制御信号612を受け取り、この制御信号612に応じたキャラクタデータを画像合成部56で用いるキャラクタデータとして更新する。このとき、キャラクタ管理部604は、制御信号612に応じたキャラクタデータに対応する情報として、基本感情IDおよび基本感情データなどの基本感情パラメータ616を基本感情生成部50に、キャラクタの頂点情報、テクスチャ情報および変形パラメータなどのキャラクタデータパラメータ618を画像合成部56に、感情動作パターンテーブル620を感情動作パターン設定部502に供給して、それぞれで格納される情報を更新する。また、感情動作パターン設定部502は、感情動作パターン記憶部48における感情動作パターンテーブル160を感情動作パターンテーブル516に書き換える。
【０１１７】
このように、本発明の合成画像生成部は、キャラクタ管理部604を備えることにより、キャラクタデータのダウンロードおよび更新をユーザの所望の操作に応じて行うことができる。
【０１１８】
また、他の実施例として、画像コミュニケーションシステム700は、図12に示すように、複数の通信端末702および704の間で画像を含まないコミュニケーションデータを相互に通信するもので、通信端末702は、コミュニケーションデータを送信するとき、合成画像生成部710で表情パケット752および制御パケット754を生成し、これらのパケットをマルチプレクサ（MUX）部712で連結して、連結したパケットデータ756を通信部30およびIPネットワーク12を介して他の通信端末704に供給するもので、他方、コミュニケーションデータを受信するとき、IPネットワーク12および通信部30を介して他の通信端末704から供給されたパケットデータ758をデマルチプレクサ（DEMUX）部714で受け取り、DEMUX部714でパケットデータ758に基づいて表情パケット760および制御パケット762を抽出し、合成画像生成部710で表情パケット760および制御パケット762に基づいて画像データ772を生成して出力部34に供給することによりして自ユーザに提供するものである。
【０１１９】
本実施例において、画像コミュニケーションシステム700は、多数の通信端末を配置して相互に接続してもよいが、図の複雑化を避けるため、図12では２つの通信端末702および704のみが示されている。また、他の通信端末704は、通信端末702と同様に構成される必要がある。
【０１２０】
通信端末702は、上述のいずれかの実施例における通信端末14または402と同様に構成されて動作するものでよいが、本実施例では特に、合成画像生成部710、MUX部712およびDEMUX部714を含んでいる。また、ここでは、上述の実施例における通信端末と同一の構成に関しては、図12における記載および詳細な説明を省略する。
【０１２１】
通信端末702において、合成画像生成部710は、図12に示すように、表情パケット生成部722および制御パケット生成部724で表情パケット752および制御パケット754をそれぞれ生成してMUX部712に供給し、また、表情パケット760および制御パケット762に基づいて画像合成部726で画像データ772を生成して出力部34に供給する。
【０１２２】
表情パケット生成部722は、表情特徴抽出部52から表情データ152を入力し、表情データ152に基づいて表情パケット752を生成するもので、たとえば、ｎフレーム分（ｎ＞＝０）の表情データ152を通信パケット化するものでよい。
【０１２３】
制御パケット生成部724は、視点制御部206からの視点パラメータ228および背景画像選択部208からの背景画像パラメータ230に基づいて制御パケット754を生成するもので、たとえば、視点パラメータ228および背景画像パラメータ230をｍフレーム分（ｍ＞＝０）まとめてパケット化するものでよい。
【０１２４】
また、制御パケット生成部724は、背景画像パラメータ230として背景画像IDを用いて制御パケット754を生成するとよく、これにより、送受信するパケットデータの容量を減少する。
【０１２５】
また、画像合成部726は、DEMUX部714からの表情パケット760および制御パケット762に基づいて画像データ772を生成し、この画像データ772を出力部34に供給するものである。
【０１２６】
画像合成部726は、たとえば、画像合成部210と同様に構成されて、所定のキャラクタデータと表情パケット760が示す表情データとを合成してキャラクタ合成画像を生成し、さらに、制御パケット762が示す視点パラメータおよび背景画像パラメータに基づいてキャラクタ合成画像を描画するような合成画像データ772を生成する。
【０１２７】
また、画像合成部726は、複数の背景画像をあらかじめ保持して、背景画像パラメータである背景画像IDに応じて背景画像を切り替えるようにするとよい。
【０１２８】
また、合成画像生成部710は、図12では、音声解析部42、感情解析部44、表情特徴抽出部52、動作制御部202、感情動作パターン記憶部204、視点制御部206を含んで表情データ、視点パラメータおよび背景画像パラメータを得るように構成されるが、上述の実施例における合成画像生成部26、200、300または410のいずれかと同様に構成されて表情データ、視点パラメータおよび背景画像パラメータを得てもよい。
【０１２９】
たとえば、合成画像生成部710は、表情合成部54を含んで合成表情データ154を表情パケット生成部722に供給し、合成表情データ154に基づいて表情パケット752を生成してもよく、定型アニメーション制御部306を含んで表情データ326を表情パケット生成部722に供給し、表情データ326に基づいて表情パケット752を生成してもよい。
【０１３０】
また、合成画像生成部710は、感情動作パターン設定部502やキャラクタ管理部604を含んで感情動作パターン記憶部48における感情動作パターンテーブルを書き換え可能にしてもよい。
【０１３１】
MUX部712は、合成画像生成部710からの表情パケット752および制御パケット754を連結してパケットデータ756を生成し、このパケットデータ756を通信部30およびIPネットワーク12を介して他の通信端末704に供給するものである。
【０１３２】
DEMUX部714は、他の通信端末704から送信されてIPネットワーク12および通信部30を介して供給されたパケットデータ758を入力し、このパケットデータ758から表情データを含む表情パケット760、および視点パラメータおよび背景画像パラメータを含む制御パケット762を抽出して、合成画像生成部710の画像合成部726へ供給するものである。
【０１３３】
また、図示しないが、MUX部712は、パケットデータ756を、自端末702のDEMUX部714に供給してもよく、これに応じてDEMUX部714および合成画像生成部710の画像合成部726が動作して画像データ772が出力部34に供給されて、ユーザは、出力部34から画像が提供されて自己が送信した合成画像を確認することができる。また、DEMUX部714、画像合成部726および出力部34は、自端末702が送信する合成画像と、他端末から受信する合成画像とを同時に提供するように動作してもよい。
【０１３４】
また、通信端末702は、MUX部712からのパケットデータ756を自端末702のDEMUX部714に供給せずに、合成画像生成部710において、視点パラメータおよび背景画像パラメータをパケット化する前に画像合成部726に供給するようにしてもよい。
【０１３５】
本実施例において、通信端末702は、画像を送信しないので、符号化部28では、音声入力部22からの音声データ118のみを入力して符号化するようにしてもよい。また、本実施例の復号化部32は、他の端末704から供給されるデータ126を復号化すると音声データ128のみが得られ、この音声データ128を出力部34に供給する。
【０１３６】
ところで、本発明は、上述の実施例のいずれかにおける合成画像生成部を抜き出して、たとえば、画像合成装置などの独立した装置として構成してもよい。
【０１３７】
また、本発明の画像合成装置、通信端末および画像コミュニケーションシステムは、上述の実施例における基本感情の制御、視点の制御、背景画像の切り替え、および定型アニメーションの起動制御などの機能を自由に組み合わせて構成してもよく、その組み合わせに応じて感情動作パターン記憶部に感情動作パターンを設定するものであればよい。
【０１３８】
また、本発明の画像コミュニケーションシステムは、キャラクタ選択機能、ガイダンス機能やライセンス管理方法などを好適に組み合わせて構成されてもよく、また、課金システムと組み合わせて構成されてもよい。
【図面の簡単な説明】
【０１３９】
【図１】本発明の画像コミュニケーションシステムの一実施例を示すブロック図である。
【図２】図１に示す画像コミュニケーションシステムにおける感情動作パターンの例図である。
【図３】図１に示す画像コミュニケーションシステムにおける通信端末の動作手順を説明するフローチャートである。
【図４】本発明の画像コミュニケーションシステムにおける合成画像生成部の他の実施例を示すブロック図である。
【図５】図４に示す合成画像生成部における感情動作パターンの例図である。
【図６】本発明の画像コミュニケーションシステムにおける合成画像生成部の他の実施例を示すブロック図である。
【図７】図６に示す合成画像生成部における感情動作パターンの例図である。
【図８】本発明の画像コミュニケーションシステムの他の実施例を示すブロック図である。
【図９】本発明の画像コミュニケーションシステムの他の実施例を示すブロック図である。
【図１０】本発明の画像コミュニケーションシステムにおける通信端末の他の実施例を示すブロック図である。
【図１１】本発明の画像コミュニケーションシステムの他の実施例を示すブロック図である。
【図１２】本発明の画像コミュニケーションシステムの他の実施例を示すブロック図である。
【符号の説明】
【０１４０】
10  画像コミュニケーションシステム
12  IPネットワーク
14、16  通信端末
22  音声入力部
24  画像入力部
26  合成画像生成部
28  符号化部
30  通信部
32  復号化部
34  出力部
42  音声解析部
44  感情解析部
46  動作制御部
48  感情動作パターン記憶部
50  基本感情生成部
52  表情特徴抽出部
54  表情合成部
56  画像合成部
【図１】
2006330958.tif 000003
【図２】
2006330958.tif 000004
【図３】
2006330958.tif 000005
【図４】
2006330958.tif 000006
【図５】
2006330958.tif 000007
【図６】
2006330958.tif 000008
【図７】
2006330958.tif 000009
【図８】
2006330958.tif 000010
【図９】
2006330958.tif 000011
【図１０】
2006330958.tif 000012
【図１１】
2006330958.tif 000013
【図１２】
2006330958.tif 000014
【手続補正書】
【提出日】平成18年4月20日(2006.4.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
【特許文献１】特許第3593067号
【特許文献２】特願2004-381300号
【特許文献３】特開2005-38160号
【特許文献４】特開2004-236186号
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
また、本実施例の合成画像生成部26において、音声解析部42は、音声入力部22から供給される音声データ118に周波数分析およびパワー分析などの信号処理を施し、処理後の音声データ142を感情解析部44に供給するものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
感情解析部44は、音声解析部42からの音声データ142の音声特性に基づいて感情パラメータ144を検出するもので、本実施例では、感情ID（IDentification）および感情の強度を含む感情パラメータ144を検出して動作制御部46に供給する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
たとえば、感情解析部44は、音声データ142を所定のフレームごとに時系列に分離し、これらのフレーム間のパワー偏差、パワー差分の平均値およびパワー差分の偏差を求めることにより感情パターンや興奮度合いなどの感情に関する情報を抽出して、これらの情報に基づいて感情IDおよび感情の強度を含む感情パラメータ144を検出することができる。また、感情解析部44は、このような抽出手段に限らず、その他の手段を用いて感情パラメータ144を検出してもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
この音声信号112は、音声入力部22で音声データ118に変換されて合成画像生成部26へ供給され、画像信号114は、画像入力部24で画像データ120に変換されて合成画像生成部26へ供給される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
定型アニメーション制御部306は、定型アニメーションID 324に応じた時系列の表情データ326、視点制御ID 224および背景画像ID 226を順次、画像合成部308、視点制御部206および背景画像選択部206に供給する。しかし、定型アニメーション制御部306は、たとえば、背景画像ID 226が示す画像が、時系列で変化しない場合には、画像合成部308における画像更新タイミングごとに背景画像ID 226を出力しなくとも１回だけ背景画像選択部208に供給すればよく、このように、各画像更新タイミングでは、画像を変化させるようなIDだけ供給するようにしてもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
画像合成部308は、画像合成部210と同様に構成されて、定型アニメーション制御部306からの表情データ326、視点制御部206からの視点パラメータ228および背景画像選択部208からの背景画像パラメータ230に基づいて所定のキャラクタデータを変形させたキャラクタ合成画像を生成して合成画像データ122を出力するものでよい。
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2006330958.tif 000015
【手続補正９】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2006330958.tif 000016
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2006330958.tif 000017
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2006330958.tif 000018
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2006330958.tif 000019
【手続補正１３】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2006330958.tif 000020