(57)【要約】【課題】簡単な操作で、コミュニケーションに効果的に反映させることができるようにした技術を提供する。【解決手段】曲げ、傾き、回転などのセンサを備えた触覚デバイス５を用いると共に、顔写真を、目、鼻等の基準軸を以て領域分割し、前記触覚デバイスに対するユーザの操作量対応に曲げ、傾き、回転などの処理を、曲げ、傾き、回転などのセンサ検出量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにする。【選択図】      図９
2005182846.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも曲げ、傾き、回転のいずれか１つのセンサを備えた触覚デバイスを操作手段として用いると共に、コンテンツを前記触覚デバイスに対するユーザの操作量に対応して調整処理するようにしたことを特徴とするコミュニケーション情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチモーダルデータを利用したコミュニケーション情報処理方法に関する。
【背景技術】
【０００２】
遠隔地の相手とコミュニケーションをとるための装置として、従来より主に音声を用いるもの（例えば、電話）、文字情報を用いるもの（例えば、メールシステム、チャットシステム）、画像を用いるもの（例えば、ＴＶ（テレビ）電話）などがある。また、実験段階ではあるが、触覚を伝え合う装置（例えば、HotJiveやIntouch）も開発されている。
【０００３】
このような従来のコミュニケーションシステムにおいて、相手に自己の状況や雰囲気を伝達する手段として最も普及しているのは、絵文字であろう。
【０００４】
この絵文字とは文字符号コードで規定されているキャラクタの組み合わせで構成される例えば、^_^ や (^^; などの如きの表現形式であり、「笑い」や「冷や汗」といった送り手の情況を文字情報として伝達するものである。
【０００５】
これは、ＴＶ電話など対面で互いの顔表情を見合って話し合う状況下にある場合よりも、より直接的に感情表現、伝達ができるというメリットがある。しかしながら、表現力として十分と言えるほどのものではない。
【０００６】
触覚を伝えあう装置を用いたコミュニケーションシステムにしても、より直接的な触れ合いの実現には有効であるが、その触覚情報から相手の状況を推測することは困難である。
【０００７】
以上は、装置を介した人対人のコミュニケーションシステムについての話であるが、人対機械のコミュニケーションシステムにおいても、ＧＵＩ（GraphicalUser Interface：画面上に表示されたアイコンやウインドウなどのグラフィカルな要素を、マウスなどのポインティング・デバイスを用いてコンピュータを操作する方式のインターフェース）やエージェントシステムに代表されるよう、テキスト、音声、画像などマルチモーダルな情報呈示を組み合わせることで、より分かり易い情報伝達を目指してきた。
【０００８】
しかし、呈示されるマルチモーダルデータは相互に関連づけが行われているにとどまり、モードをまたがった変換や合成、さらには、ユーザの情況に応じたメディアの呈示が行われているとは言えない。
【０００９】
あるメディアを別のメディアに変換して呈示する技術には、音声から動画を自動生成する、Microsoft社の開発した“MediaPlayer7”などがある。ＣＤ（コンパクトディスク）やＷｅｂ（ウェブ）上に存在する音楽ソースを再生すると、その信号成分を解析することで、波形的なデータやグラフィックスシンボルの拡大縮小や変形表示を実時間で行うことができる。
【００１０】
しかし、波形データやグラフィックスシンボルなどマッピングの対象は変えることができてもマッピングされるべきメタ信号（音信号から変換されて得られるもの）は固定されており、同じＣＤをかければ、生成される動画データは同じものになり、周囲の状況にとって変化するものではない。
【００１１】
しかし、本来、人間のおかれる身体的状況や心理的状況は刻一刻と変化するものであり、親密なコミュニケーションを図るためには、それらの状況を適時考慮した呈示技術というものが必要となってくる。
【００１２】
このように従来のコミュニケーション技術では、使用者や相手の情況を的確に伝えることができていないため、一方的な情報の伝達や垂れ流しが行われることになり、一般ユーザにとって情報機器が扱いにくいものになったり、不毛な誹謗、中傷メールがやりとりされるといった問題を生んだりする原因の一つとなっている。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上述したように、従来のコミュニケーション装置では、入出力が一対一に対応しているだけであり、相手の雰囲気や状況を伝達するレベルに達していない。
【００１４】
より親密なコミュニケーションをはかるためには、より多くのモーダリティを用いかつそれらを直接伝達するのではなく、変換して伝送、提示することが必要である。
【００１５】
そこで、この発明の目的とするところは、簡単な操作で、コミュニケーションに効果的に反映させることができるようにした利用することができるようにしたコミュニケーション画像生成方法を提供することにある。
【課題を解決するための手段】
【００１６】
本発明は、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、コンテンツを、前記触覚デバイスに対するユーザの操作量対応に調整処理するようにする。
【００１７】
この処理により、ユーザの触覚デバイスの操作対応にコンテンツの調整、例えば、コンテンツが音楽データならばその音楽のテンポやピッチ、音程などの変化に反映させたり、コンテンツがゲームソフトであるならばそのゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
【発明の効果】
【００１８】
本発明によれば、より親密なコミュニケーションを図ることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施例について、図面を参照しながら説明する。
【００２０】
（本発明の原理的構成）はじめに、本発明の原理的構成を説明する。本発明は、コミュニケーションのための自己の状況を相手方に伝達するための一手法として、自己の生体情報を自己の静止画としての顔写真に反映させるようにするもので、生体情報対応に顔画像を折り畳み変形加工させて、表情をつくるようにするものである。
【００２１】
本発明においては、平常顔の画像を用意し、これを縦にｎ分割し、これら分割した各区画毎に幅を縮める方向に変形したり、分割線を上方向にシフトしたり、下方向にシフトしたりすることで、笑い顔や悲しみ顔といった様々な顔の表情を作成する。
【００２２】
具体的には、本発明においては、例えば、図１に示すように、顔を縦４分割して顔画像を変形の基本となる４領域１，２，３，４に分ける。顔画像を分割する上で基準となる画像特徴としては顔画像上の“右目”、“左目”、“鼻”、および“口”の各中心位置、および“顔”の輪郭情報などである。
【００２３】
顔を縦に短冊型分割するのは分割した各領域について、一辺を平行移動操作して変形することで得られる顔の表情が、自然体に近いものとなり、違和感が少ないためである。
【００２４】
顔画像を変形させる際に基本となる画像領域を右目、左目、そして口の中心を通る縦軸を基準に、これらの縦軸と画像境界との交点、および画像端点、あるいは顔輪郭を包摂する四辺形領域との交点、および四辺形領域端点の４頂点で構成される４つの短冊状画像領域に分割する（図１参照）。
【００２５】
分割領域を構成する４頂点の位置情報と、領域内画像情報を保持しておき、分割領域の四辺形が長方形でない場合、４頂点の位相情報に基づき、画像情報のリサンプリングを行い、長方形領域に正規化して保持しておく。
【００２６】
本発明では、分割領域の変形を、触覚デバイスのセンサデータを元に、前記顔画像の分割設定した４領域１，２，３，４について、その各構成領域における頂点情報を変化させ、変形具合を決定する。ここでは、変形具合の決定に、例えば、図２に示すように、３関節を有する波板状（屏風状、蛇腹状）の弾力性ある触覚デバイス５上に曲げセンサ５ａ、ジャイロセンサ５ｂ、加速度センサ５ｃなど、各種センサを設置し、これらセンサの検出情報を用いることにする。この触覚デバイス５は人の手のひらに収まる程度の大きさとし、人の手の動きを検出させる。
【００２７】
図２に示す触覚デバイス５はあくまでも一例であるが、ここでは各関節に曲げセンサ５ａを設置してあるほか、本体に加速度を計測する加速度センサ５ｃ、および傾きを計測するジャイロセンサ５ｂを設置して“曲げ情報”、“加速度情報”、“傾き情報”の３種の情報を取得するようにしてある。
【００２８】
そして、この触覚デバイス５を関節部分で山谷山と折り曲げた際の各関節に設置された曲げセンサ出力、つまり関節の曲がり具合を、分割領域の幅に対応させることにする。対応の仕方としては、第１関節の曲がり具合から、第１画像領域１の幅を決定し、第２関節の曲がり具合から、第２、および第３の分割画像領域２，３の幅を決定し、第３関節の曲がり具合から、第４の分割画像領域４の幅を決定することにする。つまり、触覚デバイス５を強く押し曲げると、合成用分割領域（領域１，２，３，４）の幅が狭くなり、触覚デバイス５を引き伸ばすと、合成用分割領域が広くなるようにする。また、触覚デバイス５の傾き具合を測る加速度センサ５ｃ出力を、前記顔画像の右目、左目を通る２本の分割線上に存在する分割画像領域頂点の上下方向画像配置を決定するものとする。つまり、触覚デバイス５を奥に傾けると、２本の分割線を画面上、上方向にシフトさせ（つまり、２本の分割線上に存在する全ての分割画像頂点を画面上、上方向にシフトさせ）、手前に傾けた場合、下方向にシフトさせるようにマッピング処理する。同様に、取得される触覚デバイス５の回転姿勢を測るジャイロセンサ５ｂ出力を、前記顔画像の右目、左目を通る2本の分割線上に存在する分割画像領域頂点の左右方向画像配置を決定するものとする。つまり、触覚デバイス５を右に回転させると、２本の分割線を、右方向にシフトさせ、逆に触覚デバイスを左に回転させると、分割線が左方向にシフトするよう設定する。
【００２９】
変形後の顔画像合成は、前記分割した領域１，２，３，４を合成用の分割領域として、対応する分割領域内に存在する画像情報をセンサ情報対応にマッピングし、顔画像を再合成する。
【００３０】
前記３関節型の触覚デバイス５を用いた場合、平常の表情の顔画像（図３（ａ））が、触覚デバイス５を押し曲げることで、合成される顔画像が細長く表示され、逆に、引き伸ばすことで顔が横伸びした形で表示されることになる。触覚デバイスを奥に傾けると、２本の分割線が上方向にシフトし、その結果、図３（ｂ）の画像の如く、笑った印象を与える顔画像を合成することができる。逆に手前に傾けると、下方向にシフトし、その結果、図３（ｃ）の如く、悲しんだ印象を与える顔画像を合成させることができる。
【００３１】
両目を通る２本の分割線を上下方向にシフトさせることで、このように異なる印象を与える顔変形画像を合成できる。
【００３２】
さらに、触覚デバイス５を右方向に回転させると、分割線が右方向にシフトする結果、分割画像領域の相対横幅比率が変化し、右に向いた印象を与える顔画像を合成することができる。逆に左に回転させると、左に向いた印象を与える顔画像を合成することができる。
【００３３】
上記の各種状況センサ出力と、マルチモーダルデータ変更のための分割領域変形場所との関連づけは、これに固定したものではなく、任意の組み合わせが可能である。この場合、触覚デバイスの変形具合と、生成される顔画像の変形具合の関係は上記と異なったものになる。
【００３４】
このように、本発明の原理は、平常顔の顔写真を、目、鼻等の基準軸を以て短冊型に領域分割し、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにしたことにより、様々な、顔の表情や仕草を平常顔より得ることができるようにした。これにより、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現でき、顔文字で表現出来ない変化に富んだ表情を表示してコミュニケーションに利用することができる。しかも、対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【００３５】
つぎに、このような本発明の応用の例を説明する。
【００３６】
（第１の実施例）図４は、上述の原理を適用した本発明のコミュニケーションシステムの一実施例に関わる構成図であり、触覚デバイスを備えたユーザ用のコミュニケーション端末（以下、端末とよぶ）１００ａ〜１００ｎと、これとは別に設置される演算装置１５０とからなる。
【００３７】
演算装置１５０は、本発明の原理を適用した画像合成処理機能を有するものであり、データ送受信装置１０６および記憶装置１０４およびマルチモーダルデータ変更装置１０５からなる。
【００３８】
本発明のコミュニケーションシステムにおいては、複数ユーザがそれぞれ端末を持ち、他のユーザと演算装置１５０を介してコミュニケーションする。図４では単純に、ある端末１００ａと別のある端末１００ｎとの間でコミュニケーションするものと仮定するが、交信端末がさらに増えても原理的には変わらない。
【００３９】
端末１００ａ〜１００ｎには、顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサ１０１と、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つ以上（以下、マルチモーダルデータと呼ぶ）を提示するデータ提示装置１０２と、状況センサの出力を送信し、かつマルチモーダルデータを受信するデータ送受信装置１０３とから構成される。
【００４０】
状況センサ１０１としては、例えば、ＣＣＤやＣＭＯＳなどの撮像デバイスを用いたカメラ（撮像手段）のように、顔画像を取得するものがある。更には状況センサ１０１には、端末１００ａ〜１００ｎに対するユーザの触り具合や握り具合を計測することが可能な前述の触覚デバイス５がある。ここでは、状況センサ１０１として、端末１００ａ〜１００ｎに、それぞれ撮像手段と、触覚デバイス５が設けられている構成であるものとする。
【００４１】
この触覚デバイス５には、上述したように、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されており、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測できるものである。
【００４２】
その他、本実施例では用いないが、状況センサ１０１には、体の各部の動きを取得する手段なども考えられ、この体の各部位の動きを取得する手段としては、ユーザの筋肉に発生する電位を取得する方法や各部の動きを加速度センサで取得する方法、関節やひじの曲げなどを曲げセンサで取得する方法、体の各部につけられた小型ＣＣＤやＣＭＯＳカメラから求めたオプティカルフローを求め、それぞれの相対位置変化から動作を取得するなどの様々な手段が考えられ、必要に応じて適宜採用して利用すると良い。
【００４３】
一方、端末１００ａ〜１００ｎにそれぞれ設けられる前記データ提示装置１０２としては、画像を提示するディスプレイ、音を提示するスピーカ、振動パターンを提示する振動子アレイ、温度変化パターンを提示するペルチエ素子アレイなどがある。
【００４４】
また、端末１００ａ〜１００ｎにそれぞれ設けられるデータ送受信装置１０３はデータの送信および受信を行う装置である。このデータ送受信装置１０３でのデータ伝送は無線であっても有線であってもよい。無線通信ならば無線ＬＡＮ（Local Area Network）や近距離無線通信方式であるBluetooth（TM）、また、有線通信ならモデムなどのインタフェースを利用できる。
【００４５】
各端末１００ａ〜１００ｎは、無線、有線により、演算装置１５０と接続されている。この演算装置１５０は、記憶装置１０４と、マルチモーダルデータ変更装置１０５と、データ送受信装置１０６とから構成されるが、これらのうち、記憶装置１０４はマルチモーダルデータを記憶するためのものであって、ハードディスクのようなリードライト可能で大容量の記憶手段が用いられる。
【００４６】
また、演算装置１５０の持つマルチモーダルデータ変更装置１０５は、各端末１００ａ〜１００ｎから送信されたセンサ情報のうち、少なくとも一つ以上の出力または同出力の組み合わせ方または同出力と前記記憶装置１０４に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置１０４内のマルチモーダルデータを実時間で変更させる処理を行うものであり、データ送受信装置１０６は、各端末からのセンサ情報を受信し、変更されたマルチモーダルデータを伝送するためのものである。
【００４７】
次に、このような構成のハードウェアを用いたコミュニケーションサービスの一実施例として、使用者の握り具合に応じて、顔画像の変形を伝達し合うようにしたアプリケーション例を説明する。
【００４８】
図５は、第１の実施例における処理の流れを表したフローチャートである。図５の処理の流れをもとに説明を行う。
【００４９】
まず、ある端末１００ｍのユーザは自己の持つ端末１００ｍの前記状況センサ１０１を用い、自己の状況情報の取得を行う（図５のステップＳ-２０１）。前記状況センサ１０１には、端末１００ｍに対するユーザの触り具合や握り具合を計測することが可能な触覚デバイス５があるので、この触覚デバイス５を利用することにする。
【００５０】
前述したように、この触覚デバイス５には、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されており、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測でき、状況情報として取得できる。
【００５１】
取得されたユーザの状況情報は、端末１００ｍの前記データ送受信装置１０３にて演算装置１５０へと送信される（図５のステップＳ−２０２）。そして、ユーザの状況情報は演算装置１５０におけるデータ送受信装置１０３を介して取り込まれてマルチモーダル変更装置１０５へと送られる。
【００５２】
一方、演算装置１５０においては、その記憶装置１０４にユーザの顔画像あるいはユーザ以外の顔画像が記憶されているものとする。この顔画像は、演算装置１５０の持つデータ受信装置１０６において、あらかじめユーザ以外から伝送されてきたものであってもよい。
【００５３】
次に、演算装置１５０においては自己の持つマルチモーダルデータ変更装置１０５により、ユーザの状況情報対応にマルチモーダルデータに対する所定の変更処理を行う（図５のステップＳ−２０４）。
【００５４】
ここでは、マルチモーダルデータとして顔画像を扱うものとしてこれに対する変更処理を説明を行う。
【００５５】
＜マルチモーダルデータ変更装置の構成と処理例＞図６はマルチモーダルデータ変更装置１０５の構成例を示したものである。本マルチモーダルデータ変更装置１０５は、受信されたユーザの状況情報対応に顔画像の変更処理を行うものであり、与えられた画像からその特徴を抽出する画像特徴抽出手段９０１、前記画像特徴抽出手段９０１で抽出した画像特徴に基づき、分割画像領域を設定するための分割領域設定手段９０２、この分割領域設定手段９０２で設定した分割領域に含まれる画像情報を保持しておくための分割画像保持手段９０３、分割領域を変形するための分割領域変形手段９０４、前記分割領域変形手段９０４で変形した分割領域に、前記分割画像保持手段９０３に保存しておいた該当する分割領域の画像を再合成するための画像再合成手段９０５とから構成される。
【００５６】
このような構成のマルチモーダルデータ変更装置１０５の作用を説明する。
【００５７】
図７は、本マルチモーダル変更装置１０５における、処理の流れを表したものであり、これをもとにユーザの状況情報対応に顔画像の変更処理を行う例を説明する。
【００５８】
ここでは、平常顔をもとに、様々な表情変化をさせた顔画像の生成について説明する。顔画像を変更させるために、顔画像を変形の基本となる複数の領域に分割することを考える。この場合、まずはじめに、顔画像を分割する上で基準となる画像特徴を抽出する（図７のステップＳ−１００１）。顔画像上の特徴として、右目、左目、鼻、および口の中心位置、および顔の輪郭情報などを抽出する。
【００５９】
次にマルチモーダルデータ変更装置１０５は画像領域の設定を行う（図７のステップＳ-１００２）。顔画像を変形させる際に基本となる画像領域の設定を行うのが、このステップＳ-１００２での顔画像分割領域設定処理である。
【００６０】
顔画像を右目、左目、そして口の中心を通る縦軸を基準に、ここで設定した縦軸と画像境界との交点、および画像端点、あるいは前記画像特徴の抽出（図７のステップＳ−１００１）で抽出した顔輪郭を包摂する四辺形領域との交点、および四辺形領域端点の４頂点で構成される４つの短冊状画像領域に分割するものとする（図１参照）。
【００６１】
次に、マルチモーダルデータ変更装置１０５は分割顔画像情報の取得を行う（図７のステップＳ−１００３）。この処理は、分割した各領域に含まれる画像情報を保持しておくための処理である。例えば、分割領域を構成する４頂点の位置情報と、領域内画像情報を記憶装置１０４に保持しておく。分割領域の四辺形が長方形でない場合、４頂点の位相情報に基づき、画像情報のリサンプリングを行い、長方形領域に正規化して保持しておく。
【００６２】
顔特徴の抽出（図７のステップＳ−１００１）から分割顔画像情報の取得（図７のステップＳ−１００３）までの処理は、変更する対象の顔画像が変更されない限り、あらかじめ一度行っておけばよい。
【００６３】
次に、マルチモーダルデータ変更装置１０５は分割領域の変形処理を行う（図７のステップＳ-１００４）。この分割領域の変形処理では、演算装置１５０で受信した相手端末１００ａあるいは１００ｎからのセンサデータ（ユーザの状況情報）を元に、前記顔画像分割領域の設定（図７のステップＳ-１００２）で領域設定した各分割領域を構成する頂点情報を変化させ、変形具合を決定する処理を行う。
【００６４】
ここでは、変形具合の決定に、例えば、図２で説明した３関節を有する触覚デバイス５を用いるとし、触覚デバイス５上に設置した各種センサ情報を用いることにする。上述したように、図２の例の場合、触覚デバイス５にはその各関節に、曲げセンサ５ａが設置してあるほか、本体に加速度を計測する加速度センサ５ｂ、および傾きを計測するジャイロセンサ５ｃが設置してある。
【００６５】
この触覚デバイス５を関節部分で山谷山と折り曲げた際の各関節に設置された曲げセンサ５ａ出力、つまり関節の曲がり具合を、分割領域の幅に反映させる。その反映のさせ方としては、第１関節の曲がり具合から、第１画像領域１の幅を決定させ、第２関節の曲がり具合から、第２、および第３の分割画像領域２，３の幅を決定させ、第３関節の曲がり具合から、第４の分割画像領域４の幅を決定させるようにする。これにより、ユーザが端末１００を手で握って、当該端末１００の触覚デバイス５を強く押し曲げると、合成用分割領域の幅が狭くなり、触覚デバイス５の握りを緩めて引き伸ばすと、合成用分割領域が広くなるように処理させることができる。
【００６６】
また、触覚デバイス５の傾き具合を測る加速度センサ５ｂ出力を、前記顔画像分割領域の設定（図７のステップＳ-１００２）で設定した右目、左目を通る２本の分割線上に存在する分割画像領域頂点の上下方向画像配置の決定に反映させようにする。つまり、触覚デバイス５を奥に傾けると、２本の分割線を画面上、上方向にシフトさせ（つまり、２本の分割線上に存在する全ての分割画像頂点を画面上、上方向にシフトさせ）、手前に傾けた場合、下方向にシフトさせるようにマッピング処理させる。
【００６７】
同様に、取得される触覚デバイス５の回転姿勢を測るジャイロセンサ５ｃ出力については、前記顔画像分割領域の設定（図７のステップＳ-１００２）で設定した右目、左目を通る２本の分割線上に存在する分割画像領域頂点の左右方向画像配置の決定に反映させるようにするものとする。つまり、触覚デバイス５を右に回転させると、２本の分割線を、右方向にシフトさせるように反映させ、逆に触覚デバイスを左に回転させると、分割線が左方向にシフトするように反映させる。
【００６８】
この結果、各種センサ５ａ，〜５ｃ出力と画像合成領域（領域１，２，３，４）の設定に関連したマッピングは図２のＭの如きに反映されることになる。
【００６９】
次に、マルチモーダルデータ変更装置１０５は変形後の顔画像合成処理に移る。この処理では、前記分割領域の変形（図７のステップＳ-１００４）で設定した合成用の分割領域に、前記顔画像分割領域の設定（図７のステップＳ-１００３）で設定した対応する分割領域内に存在する画像情報をマッピングする。そして、これにより、再合成顔画像を得る（図７のステップＳ-１００５）。その結果、変形後の顔画像が得られる。
【００７０】
前記３関節型の触覚デバイス５を使用した場合、触覚デバイス５を押し曲げることで、合成される顔画像が細長く表示され、逆に、引き伸ばすことで顔が横伸びした形で表示されることになる。また、触覚デバイス５を奥に傾けると、目の位置を通る２本の分割線がそれぞれ触覚デバイス５の傾き対応に上方向にシフトさせたかたちでマッピングする結果、当該上方向シフトにより、笑った印象を与える顔画像を合成することができる。逆に手前に傾けると、目の位置を通る２本の分割線が触覚デバイス５の傾き対応に下方向にシフトさせたかたちでマッピングする結果、当該下方向シフトにより、悲しんだ印象を与える顔画像を合成させることができる。
【００７１】
更に、触覚デバイス５を右方向に回転させると、その回転量対応に分割線を右方向にシフトさせるように画像をマッピング処理する。その結果、分割画像領域１，２，３，４の相対横幅比率が変化し、右に向いた印象を与える顔画像が合成されることになる。逆に左に回転させると、その回転量対応に分割線を左方向にシフトさせるように画像をマッピング処理し、その結果として左に向いた印象を与える顔画像が合成されることになる。
【００７２】
尚、上記の各種状況センサ出力と、マルチモーダルデータ変更のための分割領域変形場所との関連づけは、これに固定したものではなく、任意の組み合わせが可能である。この場合、触覚デバイス５の変形具合と、生成される顔画像の変形具合の関係は上記と異なったものになる。
【００７３】
以上により、マルチモーダルデータ変更装置１０５において前記記憶装置１０４から取り出した顔画像データが端末側からの各種状況センサ出対応に変更され、新たな顔画像データが合成されたことになる。
【００７４】
マルチモーダルデータ変更装置１０５によるこのような顔画像データ合成の処理が終わるとマルチモーダルデータの送信処理に移る（図５のステップＳ-２０５）。マルチモーダルデータの送信は、前記演算装置１５０におけるマルチモーダル変更装置１０５において、変形後の顔画像合成（図７のステップＳ-１００５）で合成した顔画像をデータ送受信装置１０６に送り、データ送受信装置１０６はこれを端末１００ａあるいは１００ｎへマルチモーダルデータとしてデータ伝送する。
【００７５】
端末１００ａあるいは１００ｎでは、この伝送されてきたマルチモーダルデータの受信処理を行う（図５のステップＳ-２０６）。
【００７６】
端末１００ａあるいは１００ｎにおける当該受信処理は、前記マルチモーダルデータの送信（図５のステップＳ-２０５）で使用者あるいは使用者以外から伝送された顔画像データをコミュニケーション端末１００ａまたは１００ｎのデータ送受信装置１０３で受信するためのもので、受信したマルチモーダルデータは、変形された顔画像データとしてデータ提示装置１０２に表示される（図５のステップＳ−２０７）。
【００７７】
上記第１の実施例では、マルチモーダルデータとして顔画像データを用いたが、マルチモーダルデータに音データを用いる構成とすることもできる。この場合、前記マルチモーダルデータ変更装置１０５において、触覚デバイス５に設置された曲げセンサ５ａの出力を例えば、音強度、加速度センサ５ｂの出力を例えば、ピッチ（音高さ）、ジャイロセンサ５ｃの出力を例えばテンポ（リズム）に割り当てて変更する。もちろん、これはあくまでも一例であってこれらの組み合わせはこれに固定されるものではなく、任意の組み合わせが可能である。
【００７８】
これらの対応づけにより、再生中の音楽データに対し、ユーザは触覚デバイス５を操作することで、音楽データを実時間で変更して楽しむことが可能となる。
【００７９】
また、上記の第１の実施例では、端末同士のコミュニケーションを想定したが、同様のアプリケーションとしては、対戦型のゲームへの応用が考えられる。例えば、演算装置１５０上で各端末１００ａ〜１００ｎから送られた状況センサデータ（状況情報）を得点に置き換え、その得点を元に勝敗をマルチモーダルデータでフィードバックするシステム等が考えられる。
【００８０】
さらに、上記の第１の実施例では、それぞれの端末１００ａ〜１００ｎからの状況センサ出力を演算装置１５０で統合し、全員に同じマルチモーダルデータをフィードバックするシステム等も考えられる。例えば、不特定多数のコミュニティ参加者の全体的意志がどうなっているかを把握したい場合に使用する。
【００８１】
図８は、各端末１００ａ〜１００ｎからの状況センサ出力を統合し、コミュニティ全体の意思を反映した画面を演算装置１５０で生成し、ここで生成した画面データを各端末１００ａ〜１００ｎへ画像データとして伝送し、表示させるようにする。このことで、コミュニティ全体の動向を共有するシステムの概要を示すようにした例である。この結果、不特定多数のコミュニティ参加者の全体的意志がどうなっているかを各自の端末で知ることができるシステムとなる。
【００８２】
以上の第１の実施例は、マルチモーダルデータ変更装置１０５を端末１００ａ〜１００ｎ以外のものに設けた構成としたものであった。次に、マルチモーダルデータ変更装置１０５を端末１００ａ〜１００ｎ自身に持たせる構成とする例を説明する。
【００８３】
（第２の実施例）第２の実施例はマルチモーダルデータ変更装置１０５を端末側に設けるようにした例であって、以下、詳細を説明する。
【００８４】
図９は、本発明のコミュニケーションシステムの第２実施例に関わる構成図であり、３００ａ，〜３００ｎは本発明によるコミュニケーション端末（以下、端末と呼ぶ）であって、基本的構成は第１の実施例の端末１００ａ〜１００ｎと同様であって、複数のユーザがそれぞれ自己の端末３００ａ，〜３００ｎを持って、他のユーザの端末３００ａ，〜３００ｎと演算装置３５０を介してコミュニケーションする点でも第1の実施例と同じである。
【００８５】
第２の実施例における端末３００ａ，〜３００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ３０１と、前記状況センサ３０１のセンサ出力データを伝送し、かつ使用者および使用者以外から伝送されたセンサ出力データを受信するデータ送受信装置３０２と、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも１つ以上（以下、マルチモーダルデータと呼ぶ）を記憶する記憶装置３０３と、前記データ送受信装置３０２で受信した少なくとも一つ以上の状況センサ出力、または同出力の組み合わせ方または同出力と前記記憶装置３０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置３０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置３０４と、変更されたマルチモーダルデータを使用者に提示するデータ提示装置３０５とから構成される。
【００８６】
第1の実施例と同様、各端末３００ａ，〜３００ｎは、無線通信あるいは有線通信により、外部の演算装置３５０と接続されている。この演算装置３５０は、センサデータ変更装置３０６およびデータ送受信装置３０７を備える。
【００８７】
センサデータ変更装置３０６は、各端末３００ａ〜３００ｎから送信されたセンサ情報（状況情報）のうち、少なくとも一つ以上の出力による顔画像の変更処理または同出力の組み合わせによる顔画像変更処理を行うものである。
【００８８】
データ送受信装置３０７は各端末３００ａ〜３００ｎからのセンサデータの受信、センサデータ変更装置３０６にて変更されたデータを端末３００ａ〜３００ｎに送信するものである。
【００８９】
図１０は、第２の実施例における処理の流れを示したものである。図１０をもとに第２の実施例のコミュニケーションシステムの作用を説明する。
【００９０】
ユーザの状況取得（図１０のステップＳ-４０１）は第１の実施例におけるＳ-２０１と同様な処理であるため、説明は省略する。
【００９１】
ユーザの状況取得が終わると、得られた状況データを送信する（図１０のステップＳ-４０２）。ステップＳ-４０１で取得したセンサ出力データ（前記ユーザの状況情報）をデータ送受信装置３０２により、ユーザあるいはユーザ以外に伝送する処理である。
【００９２】
ユーザの触り具合や握り具合を計測することが可能な第１の実施例に記載の触覚デバイス５を用いた場合、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力を時系列で伝送することになる。
【００９３】
次に、状況データの受信処理を行う（図１０のステップＳ−４０３）。これは、前記状況データの送信（図１０のステップＳ−４０２）で各端末３００ａ〜３００ｎから送られてきた状況データを演算装置３５０のデータ送受信装置３０６において受信する処理である。
【００９４】
状況データを受信したならば、次にこの受信した状況データの変更をする（図１０のステップＳ−４０４）。状況データの変更処理は、前記状況データの受信（図１０のステップＳ−４０３）で受信したユーザあるいはユーザ以外から伝送された状況センサデータを変更するための処理である。
【００９５】
この場合の変更とは、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力が変換されたもの、またはそれらの統合が行われたものである。
【００９６】
ここで変更した状況データは、演算装置２０のデータ送受信装置３０６より送信され（図１０のステップＳ−４０５）、各端末３００ａ〜３００ｎそれぞれのデータ送受信装置３０２で受信されることになる（図１０のステップＳ−４０６）。
【００９７】
次にマルチモーダルデータの変更処理を行う（図１０のステップＳ−４０７）。この処理は、端末３００ａ〜３００ｎ上のマルチモーダルデータ変更装置３０４において、前記変換状況データの受信処理（図１０のステップＳ−４０６）において受信した状況データに基づき、前記記憶装置３０３に格納されたマルチモーダルデータを変更するための処理である。
【００９８】
マルチモーダルデータ変更装置３０４におけるこの変更処理とは、顔画像データを用いた場合、第１の実施例で説明した方法と同様な状況データ（状況情報）対応のマッピング法により、顔画像データを変更して合成する処理である。
【００９９】
顔画像データの変更が済むと次にマルチモーダルデータの呈示を行う（図１０のステップＳ-４０８）。これにより、前記マルチモーダルデータの変更処理（Ｓ−４０７）で得られた変形した合成顔画像が、データ呈示装置３０５に表示される。
【０１００】
第１の実施例に記載した対戦型ゲームに本実施形態を適用した場合、あるユーザから送られた状況データの組み合わせパターンから、他のユーザのセンサデータ強度を抑制するといった使い方が考えられる。これは、必殺技のような特定のアクションパターン（複数センサ出力時系列の組み合わせ）を入力したユーザが、一定時間、他のユーザに優先して自分の行動をシステムに反映させることができるといったような効果の付与に利用できる。この結果、その一定時間の間、他のユーザが自分の行動結果が十分に反映されず、ハンディキャップを負った状況を生成するといったことができ、ゲーム性を一層高める効果が期待できる。また、第１の実施例同様に参加者全員の意思表示などへのアプリケーション応用も考えられる。
【０１０１】
さらに、状況センサデータとして心拍や皮膚温度の計測データが同時に演算装置に送られてきた場合、そのユーザの興奮状態（のめりこみ度）を判定し、触覚デバイス５上の状況センサ出力のデータ変化を強調するといった使い方もできる。例えば、心拍や皮膚温度がある閾値を超えると、のめりこみ度が高いと判断し、状況センサの出力強度を高め、端末側に強調された状況データを送信するわけである。使用者は、強調された状況データに基づき変更されたマルチモーダルデータがフィードバックされることになり、ユーザの状況により感度が変化するシステムが構成でき、よりシステムへののめりこみ度を向上させることが期待できる。
【０１０２】
この場合に第１の実施例との違いは、変更されたマルチメディアデータよりデータ量の少ない状況センサ出力を送受信することで、同様な画像効果を、より効率的に実現するためのシステムを構築することができるという点である。
【０１０３】
上記第２の実施例では、マルチモーダルデータとして顔画像データを用いた場合であるが、マルチモーダルデータを音データにした場合、前記マルチモーダルデータ変更装置３０４におけるセンサ出力と音楽データとの関連づけは、第１の実施例の場合と同様に行うことで、音を実時間で変化させて楽しむことができる。
【０１０４】
次に別の例を第３の実施例として説明する。
【０１０５】
（第３の実施例）図１１は、本発明のコミュニケーション装置の第３実施例に関わる構成図であり、端末同士で直接コミュニケーションを図ることができるようにしたシステムである。
【０１０６】
５００ａ〜５００ｎが本発明による端末であり、当該端末５００ａ〜５００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ５０１と、前記状況センサ５０１の出力を伝送し、かつ使用者以外のセンサデータを受信するデータ送受信装置５０２、画像、音、振動パターン、温度変化パターンのデータのうち少なくとも１つ以上（以下、マルチモーダルデータと呼ぶ）を記憶する記憶装置５０３と、前記データ送受信装置５０２で受信した少なくとも一つ以上の状況センサ出力、または同出力の組み合わせ方または同出力と前記記憶装置５０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置５０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置５０４と、マルチモーダルデータを使用者に提示するデータ提示装置５０５とで構成される。
【０１０７】
図１２は、第３の実施例のシステムにおける処理の流れを示したものである。図１２に示す処理ステップのうち、ユーザの状況取得（図１２のステップＳ−６０１）からマルチモーダルデータの呈示（Ｓ−６０５）までは、第２の実施例における、状況取得（図１２のステップＳ−４０１）から状況データの送信（図１２のステップＳ−４０２）、および変換状況データの受信（図１２のステップＳ−４０６）からマルチモーダルデータの呈示（図１２のステップＳ−４０８）までの処理と基本的には同じであるが、状況データの送信先が演算装置でなく、端末５００ａ〜５００ｎ相互間であり、送信された状況データを直接、端末５００ａ〜５００ｎ相互間で受信する点だけが異なる。
【０１０８】
すなわち、各端末５００ａ，〜５００ｎは、無線通信あるいは有線通信により、互いに接続されている。これら各端末５００ａ，〜５００ｎは、マルチモーダルデータ変更装置５０４およびデータ送受信装置５０２および記憶装置５０３および状況センサ５０１およびデータ呈示装置５０５とを備える。
【０１０９】
すなわち、まず、ある端末５００のユーザは自己の持つ端末１００の前記状況センサ５０１を用い、自己の状況情報の取得を行う（図１２のステップＳ−６０１；ユーザの状況取得処理）。
【０１１０】
ユーザの状況取得が終わると、得られた状況データを送信する（図１２のステップＳ-６０２）。ステップＳ-６０１で取得したセンサ出力データ（前記ユーザの状況情報）をデータ送受信装置５０２により、ユーザあるいはユーザ以外に伝送するわけである。
【０１１１】
ユーザの触り具合や握り具合を計測することが可能な第１の実施例に記載の触覚デバイス５を用いた場合、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力を時系列で伝送することになる。
【０１１２】
次に、相手方端末は状況データの受信処理を行う（図１２のステップＳ−６０３）。これは、前記状況データの送信（図１２のステップＳ−６０２）で各端末５００ａ〜５００ｎから送られてきた状況データを自己のデータ送受信装置５０２において受信する処理である。
【０１１３】
状況データを受信した端末は、次にこの受信した状況データを用いて当該状況データ対応に顔画像の変更処理をする（図１２のステップＳ−６０４）。状況データ対応の顔画像変更処理は、状況データ、すなわち、曲げセンサ５ａ、加速度センサ５ｂ、およびジャイロセンサ５ｃ出力対応に、行うマルチモーダルデータの変更処理である。この処理は、前記受信した変換状況データを用いて端末５００ａ〜５００ｎ上のマルチモーダルデータ変更装置５０４が前記記憶装置３０３に格納されたマルチモーダルデータに対して行う処理であって、この変更処理とは、顔画像データを用いた場合、第１の実施例で説明した方法と同様な状況データ（状況情報）対応のマッピング法により、顔画像データを変更して合成する処理である。
【０１１４】
顔画像データの変更が済むと次にマルチモーダルデータの呈示を行う（図１２のステップＳ-６０５）。これにより、前記マルチモーダルデータの変更処理で得られた変形した合成顔画像が、ユーザの端末５００におけるデータ呈示装置５０５に表示される。
【０１１５】
第１の実施例に記載した対戦型ゲームに本実施形態を適用した場合、あるユーザから送られた状況データの組み合わせパターンから、他のユーザのセンサデータ強度を抑制するといった使い方が考えられる。これは、必殺技のような特定のアクションパターン（複数センサ出力時系列の組み合わせ）を入力したユーザが、一定時間、他のユーザに優先して自分の行動をシステムに反映させることができるといったような効果の付与に利用できる。この結果、その一定時間の間、他のユーザが自分の行動結果が十分に反映されず、ハンディキャップを負った状況を生成するといったことができ、ゲーム性を一層高める効果が期待できる。また、第１の実施例同様に参加者全員の意思表示などへのアプリケーション応用も考えられる。
【０１１６】
さらに、状況センサデータとして心拍や皮膚温度の計測データが同時に演算装置に送られてきた場合、そのユーザの興奮状態（のめりこみ度）を判定し、触覚デバイス５上の状況センサ出力のデータ変化を強調するといった使い方もできる。例えば、心拍や皮膚温度がある閾値を超えると、のめりこみ度が高いと判断し、状況センサの出力強度を高め、端末側に強調された状況データを送信するわけである。使用者は、強調された状況データに基づき変更されたマルチモーダルデータがフィードバックされることになり、ユーザの状況により感度が変化するシステムが構成でき、よりシステムへののめりこみ度を向上させることが期待できる。
【０１１７】
この場合に第１の実施例との違いは、変更されたマルチメディアデータよりデータ量の少ない状況センサ出力を送受信することで、同様な画像効果を、より効率的に実現するためのシステムを構築することができるという点である。
【０１１８】
上記第３の実施例においても、マルチモーダルデータとして顔画像データを用いる方式の他、マルチモーダルデータを音データにした場合、前記マルチモーダルデータ変更装置５０４におけるセンサ出力と音楽データとの関連づけを、第１の実施例の場合と同様に行うことで、音を実時間で変化させて楽しむことができる。
【０１１９】
このように、この第３の実施例において第２の実施例との違いは、演算装置３５０を用いることなく端末５００ａ〜５００ｎにおいて状況データの送受信を行い、端末内で直接、この状況データ対応に画像の変更処理を行うようにしている点である。
【０１２０】
この場合、演算装置３５０のような状況データ変換処理のための装置を外部に用意する必要がないため、複数台の端末５００ａ〜５００ｎのうち、少なくとも２台があればよく、簡易にシステムを構築することができる。
【０１２１】
また、データ量の少ない状況センサ出力を送受信することで、ネットワーク負荷の低いシステムが構築できるメリットもある。
【０１２２】
（第４の実施例）図１３は、本発明のコミュニケーション装置の第４実施例に関わる構成図であり、端末同士で直接コミュニケーションを図るシステムである。端末７００ａ〜７００ｎは、ユーザの顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位またはユーザの周囲環境の温度、湿度、明るさのうち少なくとも１つ以上を計測する状況センサ７０１と、画像、音、振動パターン、温度変化パターンのデータのうち、少なくとも１つ以上（以下、これらをマルチモーダルデータと呼ぶ）を記憶する記憶装置７０３と、少なくとも一つ以上の前記状況センサ７０１の出力、または同出力の組み合わせ方または同出力と前記記憶装置７０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置７０３内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置７０４と、前記マルチモーダルデータ変更装置７０４で変更したマルチモーダルデータを送受信するためのデータ送受信装置７０２と、前記データ送受信手段７０２で受信したマルチモーダルデータを使用者に提示するデータ提示装置７０５と、で構成される。
【０１２３】
図１４は、第４の実施例における本システムの処理の流れを示したものである。各処理は、第３の実施例におけるものと同一処理であるため、説明は省略する。
【０１２４】
第４の実施例における本システムの第３の実施例との違いは、端末から別の端末へ送信するデータが、第３の実施例のように状況データではなく、状況データを用いて変更処理した処理済みのマルチモーダルデータとした点である。
【０１２５】
第４の実施例における端末７００ａ〜７００ｎにはそれぞれ状況センサ７０１を備えている。状況センサ７０１としては触覚デバイス５を用いており、前述したようにこの触覚デバイス５には、曲げセンサ５ａ、加速度センサ５ｂ、ジャイロセンサ５ｃが搭載されていて、ユーザが触覚デバイス５を手に持ち、変形させたり、動かしたり、姿勢を変えたりした場合に、その状況を計測でき、状況データ（状況情報）として取得できる。この状況データを用いて顔画像の変更処理を行う。
【０１２６】
端末７００ａ〜７００ｎにおいては、それぞれ記憶装置７０３にユーザの顔画像あるいはユーザ以外の顔画像が記憶されているものとする。この顔画像は、端末７００ａ〜７００ｎの持つデータ送受信装置７０２において、あらかじめユーザ以外から伝送されて受信されたものであってもよい。
【０１２７】
マルチモーダルデータ変更装置７０４では、記憶装置７０３に記憶されたこの顔画像に対して、少なくとも一つ以上の前記状況センサ７０１の出力、または同出力の組み合わせ方または同出力と前記記憶装置７０３に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上のマルチモーダルデータを実時間で変更させる（図１４のステップＳ−８０２）。
【０１２８】
そして、このようにして得たマルチモーダルデータをデータ送受信装置７０２は相手端末へと送信する（図１４のステップＳ−８０３）。
【０１２９】
そして、相手端末では自己の持つデータ送受信装置７０２によりこの送信されてきたマルチモーダルデータを受信する（図１４のステップＳ−８０４）。そして、この受信したマルチモーダルデータを自己のデータ提示装置７０５に提示する（図１４のステップＳ−８０５）。
【０１３０】
すなわち、第４の実施例の特徴は、前述したような触覚デバイス５を用いて構成された状況センサ７０１を備えたユーザの端末７００ａ〜７００ｎ側でユーザの状況取得（図１４のステップＳ−８０１）した後、その取得した状況データを用いてマルチモーダルデータの変更処理（図１４のステップＳ−８０２）を実時間で行って得たマルチモーダルデータを端末相互間での送信データとしているという点である。
【０１３１】
この構成によれば、第３の実施例と同様に、演算装置を別途用意する必要がないため、端末が少なくとも２つ以上あればよく、簡易にシステムを構築することができる。
【０１３２】
また、第３の実施例の場合、相手端末上に提示されるマルチモーダルデータは、相手端末側の前記マルチモーダルデータ変更装置５０４に実装された状況データの処理手順に依存するが、本第４の実施例では、ユーザ側の端末上で意図したマルチモーダルデータ変更データを生成し、相手側に伝送することが可能であり、ユーザの意図を反映させた効果を付加したマルチモーダルデータを相手端末上に呈示させることができるというメリットがある。
【０１３３】
以上、種々の実施例を説明したが要するに本発明は、平常顔の顔写真を、目、鼻等の基準軸を以て短冊型に領域分割し、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにしたものである。この処理により、様々な、顔の表情や仕草を平常顔より得ることができるようになり、従って、この技術により、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現して提示できるようになり、触覚デバイスの操作対応に変化させて表情に富んだ顔画像を表示してコミュニケーションに利用することができるようになると共に、触覚デバイスの操作対応に音楽のテンポやピッチ、音程などの変化に反映させたり、ゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
【０１３４】
しかも、顔写真を用いる方式の場合、表情豊かに表示されるのは対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【０１３５】
［１］コミュニケーション画像生成装置は、第１には、少なくとも曲げ、傾き、回転のうちの１つのセンサを備えた触覚デバイスと、与えられた顔画像を、目、鼻等の基準軸を以て領域分割する分割手段と、前記触覚デバイスに対するユーザの操作量に対応した曲げ、傾き、回転などの変化に応じて前記分割手段によって領域分割された顔画像をマッピング処理し、合成する合成手段とを具備することを特徴とする。
【０１３６】
すなわち、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、顔写真を、目、鼻等の基準軸を以て領域分割し、前記触覚デバイスに対するユーザの操作量対応に曲げ、傾き、回転などの処理を、曲げ、傾き、回転などのセンサ検出量対応に所定の変形をさせるべく、マッピング処理し、顔画像を合成するようにする。
【０１３７】
具体的には、平常顔の顔写真データを用意し、目、鼻等の基準軸を以て例えば短冊型に領域分割し、各分割領域に対して、曲げ、傾き、回転といった処理を、曲げ、傾き、回転などのセンサを備えた触覚デバイスに対するユーザの操作量対応に所定の変形をさせるべく、マッピング処理し、表情を変更させた顔画像を合成して提示する。
【０１３８】
この処理により、様々な、顔の表情や仕草を平常顔より得ることができるようになり、従って、この技術により、動画を伝送せずとも、一枚の顔画像から種々の表情を擬似的に再現して提示できるようになり、触覚デバイスの操作対応に変化させて表情に富んだ顔画像を表示してコミュニケーションに利用することができるようになる。
【０１３９】
しかも、顔写真を用いる方式の場合、表情豊かに表示されるのは対話相手の本人の顔画像であるから、よりリアルに感情を伝達できるものとなる。
【０１４０】
［２］また、曲げ、傾き、回転などのセンサを備えた触覚デバイスを用いると共に、コンテンツを、前記触覚デバイスに対するユーザの操作量対応に調整処理するようにする。
【０１４１】
この処理により、ユーザの触覚デバイスの操作対応にコンテンツの調整、例えば、コンテンツが音楽データならばその音楽のテンポやピッチ、音程などの変化に反映させたり、コンテンツがゲームソフトであるならばそのゲームの必殺技への反映などの応用もでき、これによって、音楽データを実時間で変更して楽しむことができたり、ゲーム性を豊かにすることができたり、といった応用のみちが拓ける。
【０１４２】
［３］コミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンの各データのうち少なくとも一つを使用者に提示する提示装置と、前記状況センサ出力およびマルチモーダルデータを送受信するためのデータ送受信装置、とから構成される複数のコミュニケーション端末と、マルチモーダルデータを記憶した記憶装置と、前記状況センサ出力およびマルチモーダルデータを前記コミュニケーション端末との間で送受信するデータ送受信装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置とから構成される演算装置とを備えることを特徴とする。
【０１４３】
このような構成のコミュニケーション装置においては、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち、少なくとも一つ以上を状況センサが計測しており、コミュニケーション端末は前記演算装置にこの計測した結果を送信している。そして、前記演算装置においては各々の前記コミュニケーション端末より送信された前記状況センサの出力に基づいて前記マルチモーダルデータを変換し、変換したマルチモーダルデータを各々の前記コミュニケーション端末に伝送し、コミュニケーション端末の提示装置に提示させることにより使用者同士のコミュニケーションを図る。
【０１４４】
この結果、状況センサに対するユーザの操作量対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【０１４５】
［４］コミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つを使用者に提示する提示装置と、前記マルチモーダルデータを記憶する記憶装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置と、前記状況センサ出力を送受信するためのデータ送受信装置とから構成される複数のコミュニケーション端末とから構成される。
【０１４６】
このような構成のシステムは、コミュニケーション端末の状況センサは、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち、少なくとも一つ以上を計測しており、コミュニケーション端末は他のコミュニケーション端末にこの計測した結果を送信している。そして、各コミュニケーション端末においては各々他の前記コミュニケーション端末より送信された前記状況センサの出力に基づいて前記記憶装置に格納されたマルチモーダルデータを前記マルチモーダルデータ変更装置にて変更し、前記提示装置に提示する。
【０１４７】
この結果、状況センサに対するユーザの操作量対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【０１４８】
［５］コミュニケーション装置は、使用者の顔画像、体の各部位の動き、音声、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、マルチモーダルデータである画像、音、振動パターン、温度変化パターンのデータのうち少なくとも一つを使用者に提示する提示装置と、前記マルチモーダルデータを記憶する記憶装置と、前記記憶装置に記憶されたマルチモーダルデータを変更するためのマルチモーダルデータ変更装置と、前記マルチモーダルデータ変更装置によって変更されたマルチモーダルデータを送受信するデータ送受信装置とから構成される。
【０１４９】
この結果、状況センサの検出したユーザの状況対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、例えば、様々な、顔の表情や仕草を平常顔より得て表示すると云ったことが出来て、コミュニケーションに効果的に利用することができるようになる。
【０１５０】
［６］コミュニケーション装置は、複数のコミュニケーション端末（以下、端末とよぶ）で構成され、各端末は、使用者の顔画像、体の各部位の動き、体温、脳波、心拍、皮膚電位または使用者の周囲環境の温度、湿度、明るさのうち少なくとも一つ以上を計測する状況センサと、画像、音、振動パタン、温度変化パタンのデータのうち少なくとも一つ以上（以下、マルチモーダルデータと呼ぶ）を記憶するための記憶装置と、前記状況センサ出力のうち少なくとも一つ以上の出力または同出力の組み合わせまたは、同出力と前記記憶装置に記憶されたマルチモーダルデータとの組み合わせ方に応じて、少なくとも一つ以上の前記記憶装置内のマルチモーダルデータを実時間で変更させるマルチモーダルデータ変更装置と、前記マルチモーダルデータ変更装置において変更されたマルチモーダルデータを送受信するためのデータ送受信装置と、前記データ送受信装置で受信したマルチモーダルデータを使用者に提示するデータ提示装置と、で構成されることを特徴とする。
【０１５１】
この結果、状況センサの検出したユーザの状況対応に他のユーザのコミュニケーション端末に所定の提示をさせることができるようになり、コミュニケーションに効果的に利用することができるようになる。
【０１５２】
なお、本発明は上述した実施形態に限定されるものではなく、種々変形して実施可能である。また、本発明において、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１５３】
また、本発明における実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＭＯなど）、半導体メモリなどの記録媒体に格納して頒布することもでき、また、ネットワークを介しての伝送により、頒布することもできる。
【図面の簡単な説明】
【０１５４】
【図１】本発明原理を説明するための図であって、本発明の原理におけるマルチモーダルデータ変更処理で用いる顔画像データを４つの画像領域に分割した様子を表した図である。
【図２】本発明原理を説明するための図であって、本発明において用いる３関節型触覚デバイスに装着された曲げセンサ、加速度センサ、およびジャイロセンサと、各センサの出力値に対応して変化する分割画像領域箇所を示した図である。
【図３】本発明原理を説明するための図であって、変化させた分割画像領域に顔画像のマッピングにより異なる印象を与える顔表情が合成される様子を説明するものであって、両目を通る２本の分割線を上下方向にシフトさせた際に生成される、異なる印象を与える顔変形画像例を示す図である。
【図４】本発明を説明するための図であって、本発明のコミュニケーション装置の第１の実施例の構成を示すブロック図である。
【図５】本発明を説明するための図であって、本発明のコミュニケーション装置の第１実施例における処理の流れ図である。
【図６】本発明を説明するための図であって、本発明システムにおけるマルチモーダルデータ変更装置での処理手段の構成図である。
【図７】本発明を説明するための図であって、本発明システムにおけるマルチモーダルデータ変更装置での処理の流れを示す図である。
【図８】本発明を説明するための図であって、本発明のコミュニケーション装置の第１実施形態を用い、コミュニティの全体動向共有システムを構築した際の概要を示した図である。
【図９】本発明を説明するための図であって、本発明のコミュニケーション装置の第２の実施例の構成を示すブロック図である。
【図１０】本発明を説明するための図であって、本発明のコミュニケーション装置の第２の実施例における処理の流れを示す図である。
【図１１】本発明を説明するための図であって、本発明のコミュニケーション装置の第３の実施例の構成を示すブロック図である。
【図１２】本発明を説明するための図であって、本発明のコミュニケーション装置の第３の実施例における処理の流れを示す図である。
【図１３】本発明を説明するための図であって、本発明のコミュニケーション装置の第４の実施例の構成を示すブロック図である。
【図１４】本発明を説明するための図であって、本発明のコミュニケーション装置の第４の実施例における処理の流れを示す図である。
【符号の説明】
【０１５５】
５…触覚デバイス
５ａ…曲げセンサ
５ｂ…加速度センサ
５ｃ…ジャイロセンサ
１００ａ〜１００ｎ，３００ａ，〜３００ｎ，５００ａ〜５００ｎ，７００ａ〜７００ｎ…コミュニケーション端末
１０１，３０１，５０１，７０１…状況センサ
１０４，３０３，５０３，７０３…記憶装置
１０５…マルチモーダルデータ変更装置
１５０，３５０…演算装置
３０２，５０２，７０２…データ送受信装置
３０４，５０５，７０４…マルチモーダルデータ変更装置
３０５，７０５…データ提示装置
９０１…画像特徴抽出手段
９０２…分割領域設定手段
９０３…分割画像保持手段
９０４…分割領域変形手段
９０５…画像再合成手段。
【図１】
2005182846.tif 000003
【図２】
2005182846.tif 000004
【図３】
2005182846.tif 000005
【図４】
2005182846.tif 000006
【図５】
2005182846.tif 000007
【図６】
2005182846.tif 000008
【図７】
2005182846.tif 000009
【図８】
2005182846.tif 000010
【図９】
2005182846.tif 000011
【図１０】
2005182846.tif 000012
【図１１】
2005182846.tif 000013
【図１２】
2005182846.tif 000014
【図１３】
2005182846.tif 000015
【図１４】
2005182846.tif 000016