(57)【要約】【課題】複数で互いの画像を参照して会話し、かつ話題提供して広告効果の向上を図ることができる情報交換装置を提供。【解決手段】サービス提供システムの情報配信装置12は、通信制御部20で受信データの画像データ58および62をそれぞれ画像混合部34と画像混合部36に供給して通信相手側へのデータ交換を行い、画像混合部34および36にそれぞれデータ提供部25の画像生成部30から共通データとして生成した画像データ74および76を供給してそれぞれ、画像データ58および62と混合し、混合した画像データ66および64にそれぞれ音声データ56および60を加えたデータ46および44を通信制御手部20に供給して、通信制御手部20から相互接続中の通信端末装置すべてに提供する。【選択図】図１
2005268858.tif 000002
【特許請求の範囲】
【請求項１】
複数の通信端末装置からのデータを受信し、前記通信端末装置毎に供給されるデータを選別し、該選別されたデータを互いに通信中の通信相手となる前記通信端末装置に送信する通信制御手段と、
前記通信端末装置毎に受信したデータに対する共通データを提供するデータ提供手段と、
前記共通データと前記通信相手の通信端末装置に供給するデータを混合し、前記通信相手の通信端末装置に供給するデータとして前記通信制御手段に出力するデータ混合手段とを含むことを特徴とする情報交換装置。
【請求項２】
請求項１に記載の情報交換装置において、前記データ提供手段は、前記受信したデータのそれぞれを基に前記共通データの提供を規定する第１の条件に一致するかを検出する条件検出手段と、
該検出された結果の継続性を第２の条件とし、第２の条件に応じて制御信号を出力する制御手段と、
該制御信号に応じて前記共通データを生成するデータ生成手段とを含むことを特徴とする情報交換装置。
【請求項３】
請求項２に記載の情報交換装置において、前記データ生成手段は、第２の条件に応じて前記共通データとしてキャラクタ画像を生成することを特徴とする情報交換装置。
【請求項４】
請求項３の情報交換装置において、データ提供手段は、文字データを記憶する文字記憶手段を含み、
前記データ生成手段は、第２の条件に応じて前記共通データとして前記文字データを画像データに変換し、前記キャラクタ画像とともに、生成することを特徴とする情報交換装置。
【請求項５】
請求項１ないし４のいずれか一項に記載の情報交換装置において、該装置は、前記データに音声データおよび画像データを含むことを特徴とする情報交換装置。
【請求項６】
請求項２、３、４または５に記載の情報交換装置において、前記条件検出手段は、第１の条件として通信接続中のデータが示す通話音量が規定値以下にあるか否かを検出し、
前記制御手段は、第２の条件として前記規定値以下にある通話音量の検出タイミングから該通話音量の状態が所定の時間以上継続するか否かに応じて前記制御信号を生成することを特徴とする情報交換装置。
【請求項７】
請求項２ないし６のいずれか一項に記載の情報交換装置において、前記データ提供手段は、第１の条件を満たす期間に応じて割り当てる値を記憶する値記憶手段を含み、
前記データ生成手段は、複数種類のキャラクタ画像を設け、
前記制御手段は、前記検出タイミングから該検出が示す通話音量状態の継続期間に応じた値を前記値記憶手段から読み出して、該読み出した値を積算させ、該積算値が所定の閾値に達するまで繰り返しながら、前記複数種類のキャラクタ画像のうち、一つのキャラクタ画像の生成を制御し、前記所定の閾値以上の積算値に応じて他のキャラクタ画像の生成を制御することを特徴とする情報交換装置。
【請求項８】
請求項４ないし７のいずれか一項に記載の情報交換装置において、前記文字記憶手段は、広告を表す文字データを格納することと特徴とする情報交換装置。
【請求項９】
請求項３の情報交換装置において、データ提供手段は、問題、選択肢および正解をクイズデータとして記憶するクイズ記憶手段と、
前記復号したデータのうち、画像データを示す最も大きく変化した位置を検出する位置検出手段とを含み、
前記データ生成手段は、第２の条件に応じて前記共通データとして前記クイズデータを画像データに変換し、前記キャラクタ画像を前記検出した位置に向かって移動させて、生成することを特徴とする情報交換装置。
【請求項１０】
請求項９に記載の情報交換装置において、前記データ生成手段は、前記キャラクタ画像を前記検出した位置に向かって移動させ、ある時点における前記キャラクタ画像の位置により前記クイズデータの選択肢に対する値を表すことを特徴とする情報交換装置。
【請求項１１】
請求項１ないし10のいずれか一項に記載の情報交換装置において、該装置は、ネットワークを介して複数の通信端末装置と接続され、前記データを交換しながら、前記共通データを通信相手の通信端末装置に提供することを特徴とする通信システム。
【請求項１２】
請求項１ないし10のいずれか一項に記載の情報交換装置を用いた情報配信装置において、ネットワークに接続されている前記複数の通信端末装置のうち、該情報配信装置と相互に接続され、通信中の通信端末装置それぞれに対する前記共通データとして前記キャラクタ画像とともに、前記広告データおよび前記クイズデータの少なくとも一方を画像データにして提供するサービス提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報交換装置に関し、本発明の情報交換装置は、たとえばネットワークに接続されているテレビ電話や携帯電話機等の複数の通信端末装置が相互に接続され、通信中の通信端末装置から供給されるデータを交換しながら、共通の情報を交換したデータに含めて送出する装置に関するものである。また、本発明の情報交換装置は、複数の通信端末装置とともにネットワークに接続され、情報交換装置を介して通信端末装置間の通信を図るシステムや情報交換装置を情報配信装置として用い、情報配信装置から共通データを通信中の通信端末装置にサービスとして提供するシステムに関するものである。
【背景技術】
【０００２】
通信は、通信回線の高速化および大容量化にともない従来の電話機等を用いて音声だけで行われていたコミュニケーションに対して音声および画像を伝送するコミュニケーションが広く行われている。このようなコミュニケーション手段の一例がテレビ電話システムである。近年、テレビ電話システムは、一般家庭用電話機や携帯電話機等において適用されている。この画像を含んだコミュニケーション手段は、伝送メディアが音声に限られていた従来の電話機に比べて話者の表情等の言外に表した情報も同時に通信相手に伝えることができる。このため、このシステムは、感情表現が豊かなコミュニケーションを可能にしている。
【０００３】
このテレビ電話によるコミュニケーションは、従来の音声だけによる電話と比べてより実際に会って話す感覚に近づいた通信が可能になったと言える。このことから、通信は、単に情報を伝達することだけに留まらず、究極的には実際に会って話す感覚と同じコミュニケーションを可能にすることを目指すことになることがわかる。
【０００４】
また、音声だけの電話であっても、さして重要とは思えない内容の会話を延々と続ける、いわゆる長電話をする人が増えてきている現状がある。このことから、電話の役割は、単に要件の情報伝達することだけが目的ではなくなってきていると言える。したがって、電話に求められているものは、会話の内容が重要なのではなく、「互いがつながっている」と感じる連帯感や親近感を重要視していると考えることができる。
【０００５】
具体的には、実際に人と人が出会って話しをしているとき、偶然に動物と出会うことがある。このとき、会話している者同士が出会った動物に対してたとえば、「かわいいね」等と会話するだけで、コミュニケーションにおける互いの親密さが増して、心を通わすことができる。
【特許文献１】特開平9−247276号公報
【特許文献２】特開2002−158991号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、テレビ電話に関しても、長電話のように「互いにつながっている」と感じることを目的とする場合、上述したような状況で「同じものを見て同じ様に感じる」ことができれば、非常に効果的である。
【０００７】
しかしながら、従来のテレビ電話では、画像を見ることが可能であるにも拘わらず、これに近い感覚を得ることは難しかった。
【０００８】
特許文献１のテレビ電話システム、付加サービス提供装置は、テレビ電話システムの画像が周期的に広告に切り替わるシステムを開示している。このシステムは、通話中の利用者同士が「同じものを見る」ことを意図して構成されたものではない。これは、接続処理中に広告を表示することを主眼に記載されている点から明らかである。
【０００９】
また、特許文献２の映像配信方法、映像配信システムおよび映像配信装置は、配信映像に広告を挿入する方法を提案している。この提案は、映像配信という言葉を使用していることから、テレビ会議やテレビ電話における通話のように複数の利用者が互いの画像を参照しながら、会話することを想定したものではなく、利用者のユーザ端末から挿入情報を含む挿入映像配信制御用情報を映像配信装置に送り、本映像の要求時に要求のあったユーザ端末に本映像を配信している。
【００１０】
本発明はこのような従来技術の欠点を解消し、複数で互いの画像を参照して会話し、かつ話題提供して広告効果の向上を図ることができる情報交換装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は上述の課題を解決するために、複数の通信端末装置からのデータを受信し、通信端末装置毎に供給されるデータを選別し、この選別されたデータを互いに通信中の通信相手となる通信端末装置に送信する通信制御手段と、通信端末装置毎に受信したデータに対する共通データを提供するデータ提供手段と、共通データと通信相手の通信端末装置に供給するデータを混合し、通信相手の通信端末装置に供給するデータとして符号化および復号手段に出力するデータ混合手段とを含むことを特徴とする。
【００１２】
本発明の情報交換装置は、通信制御手段にて受信したデータを通信相手の通信端末装置に供給するデータとしてデータ交換し、このデータとデータ提供手段からの共通データとを混合し、この混合したデータを通信制御手段から相互接続中の通信相手である通信端末装置すべてに提供する。これにより、通信相手の通信端末装置にて送信元のデータとともに、共通データが示す画像を確認することができる。
【発明を実施するための最良の形態】
【００１３】
次に添付図面を参照して本発明による情報交換装置の実施例を詳細に説明する。
【００１４】
本実施例は、本発明の情報交換装置をサービス提供システム10の情報配信装置12に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１５】
サービス提供システム10は、図２に示すように、情報配信装置12、ならびに通信端末装置14および16を含む。サービス提供システム10において、上述した構成要素12, 14および16は、それぞれネットワーク18に接続されている。サービス提供システム10は、ネットワーク18を介して通信端末装置14と通信端末装置16との間でデータ通信を行うように情報配信装置12にデータを供給し、情報配信装置12が有するデータ交換機能により供給されるデータを通信相手側の通信端末装置それぞれに送るようにして情報をやり取りする通信システムである。
【００１６】
また、本実施例の情報配信装置12は、後段で詳述されるように、情報配信装置12の制御により通信端末装置14と通信端末装置16との間の通信において、共通する情報を画像データとして生成し、通信端末装置14および16からそれぞれ供給される画像と共通情報の画像とを合成または混合し、通信に共通情報を付加して、配信する機能も有している。このようにデータを配信しながら、互いの通信相手とのデータを交換して通信することにより、サービス提供システム10は、後述するように通信端末装置それぞれに画像ペットを表示させるとともに、広告やクイズといった情報を配信している。
【００１７】
情報配信装置12は、図１に示すように、通信制御部20、圧伸部22および24、データ提供部25ならびに画像混合部34および36を含む。データ提供部25は、無音検出部26、制御部28、画像生成部30および広告記憶部32を備えている。以下、各構成要素についてそれぞれ説明する。
【００１８】
通信制御部20は、供給されるデータ38を通信端末装置毎に圧伸部22および24のいずれか一方に供給し、かつこの供給に対応してデータ38を出力させる制御機能を有している。通信制御部20は、圧伸部22および24にそれぞれデータ40および42を出力するように接続され、かつ圧伸部22および24からそれぞれデータ44および46を入力するように接続されている。
【００１９】
圧伸部22および24は、それぞれ、復号と符号化の機能を有し、復号部および符号化部の組で設け、音声データおよび画像データを扱っている。圧伸部22は復号部48および符号化部50を有し、圧伸部24は復号部52および符号化部54を有する。
【００２０】
復号部48は、復号した音声データ56を無音検出部26および符号化部54のそれぞれに供給し、復号した画像データ58を画像混合部34に供給している。符号化部54および画像混合部34は、データ40を出力する通信端末装置の通信相手側との通信に寄与する構成要素である。
【００２１】
また、復号部52は、復号した音声データ60を無音検出部26および符号化部50のそれぞれに供給し、復号した画像データ62を画像混合部36に供給している。符号化部50および画像混合部36は、データ42を出力する通信端末装置の通信相手側との通信に寄与する構成要素である。
【００２２】
符号化部50は、通信相手からの音声データ60と後述する混合した画像データ64とを符号化し、データ44として通信制御部20に出力する。符号化部54は、通信相手からの音声データ56と後述する混合した画像データ66とを符号化し、データ46として通信制御部20に出力する。
【００２３】
無音検出部26は、図示しないが、通信する双方から供給される復号した音声データ56および60の音量測定機能部を有している。音量測定機能部は、供給される音声データ56および60の音量を検出し、この音量がともにあらかじめ設定した閾値以下にある場合に無音状態とし、これ以外を有音状態とする。音量測定機能部は、無音状態と有音状態の状態検出信号68を制御部28に出力する。状態検出信号68は、検出した状態に応じて計測開始タイミングと計測終了タイミングになる。
【００２４】
制御部28は、無音期間を判定し、画像生成部30を制御する機能を有している。制御部28は、状態検出信号68の計測開始タイミングから計測終了タイミングが供給されるまでの時間を計測し、この計測時間があらかじめ設定した時間を越えたか否かを判定している。本実施例では、無音期間を５秒に設定している。制御部28は、設定した無音期間以上にわたって無音状態になったとの判定に応じて制御信号または画像生成指令70を画像生成部30に出力する機能を有する。
【００２５】
画像生成部30は、制御部28からの指令70と広告記憶部32からのデータ72に基づき画像を生成する機能を有している。画像生成部30は、生成した画像データ74および76をそれぞれ、画像混合部34および36に出力する。生成する画像には、ペットのキャラクタ画像等がある。
【００２６】
広告記憶部32は、広告の文章を記憶するメモリである。広告には、図３に示す内容のデータ78が格納されている。広告記憶部32は、文字データに限定されるものでなく、あらかじめ作成しておいた動画データを記憶しておいてもよい。これにより、画像生成部30の処理を軽減させることができる。また、広告記憶部32は、データの種類を広告だけに限定されるものではなく、後述するようにエンターテイメント性を有するデータを格納して、利用するようにしてもよい。
【００２７】
本実施例におけるデータ提供部25は、少なくとも、無音検出部26、制御部28および画像生成部30を含むことが好ましく、これにより、画像ペットを生成する。本実施例のようにデータ提供部25は、広告記憶部32を含めて構成すると、広告データ72を画像生成部30に供給して画像データに変換して、他の画像とともに、通信中の通信端末装置14および16に提供することができる。
【００２８】
画像混合部34および36は、２つの画像を混合して出力する機能を有している。２つの画像混合とは、２つの画像の前後関係を決めて、この後に重ね合わせて、半透明処理するアルファブレンディングにより１つの画像に合成することを意味している。アルファブレンディングは、通常、重ね合わせる上側の画像における各画素に不透明度を表すアルファ値を設定して、実行するが、アルファ値が設定されていない場合、あらかじめ色とアルファ値とを対応付けして実行するとよい。
【００２９】
画像混合部36は、復号部52からの画像データ62で表す画像上に画像生成部30からの画像データ76が表す画像を重ねて、混合した結果の画像データ64を符号化部50に出力する。同様に、画像混合部34は、復号部48からの画像データ58で表す画像上に画像生成部30からの画像データ74が表す画像を重ねて、混合した結果の画像データ66を符号化部54に出力する。また、画像混合部34および36は、画像混合する機能だけを説明したが、画像と同時に音声も混合するようにしてもよい。
【００３０】
なお、本実施例では、符号化されたデータを復号するように説明したが、これは設けなくてもよい。たとえば、MPEG-4（Moving Picture Experts Group-4）ではオブジェクト毎に符号化することが可能なので、画像生成部30が出力した画像データ74および76を新たなオブジェクトとして符号化し、それぞれ元の画像データ58または62に追加するようにしてもよい。
【００３１】
通信端末装置14および16は、テレビ電話端末装置であり、図４に示す構成要素を含む。通信端末装置14は、入出力部80、圧伸部82および通信制御部84を具備している。入出力部80は、撮像部86、マイクロフォン88、モニタ90およびスピーカ92を有している。
【００３２】
撮像部86は入射光を取り込み、この入射光を光電変換し、得られる撮像信号をディジタル化して、出力する機能を有している。撮像部86は、圧伸部82の符号化部94に画像データ96を出力する。マイクロフォン88は、外部の音声を集音し、アナログ音声信号に変換し、さらに、これをディジタル化して、出力する機能を有している。マイクロフォン88は、圧伸部82の符号化部94に音声データ98を出力する。モニタ90は、ディスプレイ等の画像表示機能を有し、たとえば液晶モニタ等を使用する。モニタ90は、圧伸部82の復号部100から供給される画像データ102を表示する。スピーカ92は、供給される音声データを外部に発音する機能を有し、圧伸部82の復号部100から供給される音声データ104を音に変換して、出力する。
【００３３】
圧伸部82は、符号化部94および復号部100を含む。符号化部94は、供給される画像データ96および音声データ98を符号化し、圧縮したデータ106として通信制御部84に出力する。また、復号部100は、通信制御部84から供給されるデータ108を復号して、伸長して元の画像データ102および音声データ104を入出力部80に出力する。
【００３４】
通信制御部84は、データ106の出力とデータ108の入力を制御し、外部のネットワーク18を介して通信制御する機能を有する。
【００３５】
図４の通信端末装置16は、通信端末装置14と同じ構成要素を含み、各構成要素は同じ機能を有している。通信端末装置16は、入出力部110、圧伸部112および通信制御部114を具備している。入出力部110は撮像部116、マイクロフォン118、モニタ120およびスピーカ122を有し、圧伸部112は符号化部118および復号部120を有する。
【００３６】
図２に示したサービス提供システム10は通信端末装置14と通信端末装置16との間で双方向の伝送を同時に行う。通信端末装置14から通信端末装置16への伝送において、通信端末装置14は、図４の撮像部86およびマイクロフォン88から入力された画像データ96および音声データ98を符号化部94で符号化し、ネットワーク18を経由して、図１の情報配信装置12に送る。
【００３７】
情報配信装置12は、通信端末装置14からのデータを通信制御部20で受信し、この受信データ40を復号部48で復号して、伸長した音声データ56と画像データ58に戻す。この画像データ58は、画像生成部30の出力画像と画像混合部34で混合される。混合した画像データ66は、音声データ56とともに符号化部54で符合化される。符号化したデータ46は、通信制御部20、ネットワーク18を順に経由して通信端末装置16に送られる。通信端末装置16では、通信制御部114を介して復号部120にデータ46が供給される。復号部120では、データ46が復号され、画像データと音声データに戻される。この画像データはモニタ114に表示され、音声データはスピーカ116から出力される。
【００３８】
逆に、通信端末装置16から通信端末装置14への伝送において、通信端末装置16は、図４の撮像部110およびマイクロフォン112から入力された画像データおよび音声データを符号化部118で符号化し、ネットワーク18を経由して、図１の情報配信装置12に送る。
【００３９】
情報配信装置12は、通信端末装置16からのデータを通信制御部20で受信し、この受信データ42を復号部52で復号して、伸長した音声データ60と画像データ62に戻す。この画像データ62は、画像生成部30の出力画像と画像混合部36で混合される。混合した画像データ64は、音声データ60とともに符号化部50で符合化される。符号化したデータ44は、通信制御部20、ネットワーク18を順に経由して通信端末装置14に送られる。通信端末装置14では、通信制御部84を介して復号部100にデータ44が供給される。復号部100では、データ44が復号され、画像データ102と音声データ104に戻される。この画像データ102はモニタ90に表示され、音声データ104はスピーカ92から出力される。
【００４０】
なお、本実施例では、２台の通信端末装置14および16を相互接続した通信を説明したが、実際には一般の電話交換機と同様に、２台以上の複数の通話が同時に発生しても構わない。
【００４１】
次に情報配信装置12における無音期間に応じた画像生成の制御について動作を説明する。図５に示すように、制御部20の制御ルーチンは、通信中、常に動作している。無音検出部26では供給される音声データ56および60からともに無音状態にあるか否か判断する（ステップS10）。少なくとも、一方の音声データが有音のとき（NO）、無音状態にないと判断して、無音状態の検出に戻る（ステップS10へ）。音声データがともに無音のとき（YES）、無音検出部26は、状態検出信号68を制御部28に供給する。
【００４２】
制御部28では、状態検出信号68に応じて時間計測するカウンタ（図示せず）を動作させる（ステップS12）。カウンタは状態変化を検出して次の状態検出信号68が供給されるまで計測を継続する。
【００４３】
次にこの計測にともない得られるカウント値が、本実施例で設定した５秒以上か否かを判断する（ステップS14）。カウント値が、５秒未満のとき（NO）、無音状態の検出に戻る（ステップS10）。また、カウント値が５秒以上のとき（YES）制御部28は、画像生成部30に画像生成の指令（制御信号）70を出力する（ステップS16）。画像生成部30は、制御部28の制御に応じて画像の表示処理を行う。表示処理としては、たとえばペットを表す画像、画像ペットを生成する処理である。制御部28は、画像生成部30の表示処理が終了したか否かを監視する（ステップS18）。監視結果が画像生成部30の表示処理終了を示していないとき（NO）、監視を継続する（ステップS18へ）。監視結果が表示処理の終了を示しているとき（YES）、カウント値をゼロにリセットして、無音状態の検出に戻る（ステップS10へ）。
【００４４】
また、制御部28には、後述するように閾値としてのカウント値を複数設定し、カウント値に応じて対応するキャラクタ画像を生成するようにしてもよい。
【００４５】
このように動作することにより、無音期間があらかじめ設定した時間を経過すると、画像生成部30で生成された画像が通信中の通信端末装置14および16に規則的に状況を反映させて、送出される。
【００４６】
次に画像生成部30の動作について図６を参照しながら、説明する。画像生成部30は、制御部28からの指令70に応じて画像を生成する（ステップS30）。生成する画像は、図７に示す画像ペット122が画面124の端から歩いて、画面124内に矢印Aが示す方向に入ってくるように生成する。
【００４７】
次に画像ペット122に対してランダムな動作をさせる（ステップS32）。ランダムな動作とは、図７のペットが犬を表しており、画像ペット122を座り込ませたり歩き回ったりさせる動作をランダムに決定し、実際の動物がそこにいるような画像を一定時間が経過するまで連続的に生成する。これにより、画像ペット122に対する動画が生成され、結果として通信接続中の通信端末装置のモニタに表示される。生成される動画の内、一枚画像の例を図８に示す。図８の画像ペット122は、図７の位置とまったく異なる位置に移動している。
【００４８】
次に画像ペット122の連続生成に応じて画像の生成開始から一定時間が経過したか否かを判断する（ステップS34）。一定時間が経過した場合（YES）、画像ペット122は、図８の破線で囲まれた案内位置またはホームポジション126へ移動させる（ステップS36）。また、一定時間が経過していない場合（NO）、ランダム処理（ステップS32）に戻る。
【００４９】
次に画像ペット122が案内位置126に着いた後、イベント処理を実行する（サブルーチンSUB1）。広告を示すイベント処理については、後段でさらに説明する。
【００５０】
一つのイベントの処理後、イベントすべてを完了したか否か判断する（ステップS38）。イベント未完の場合（NO）、ランダム処理（ステップS32）に戻り、この処理以降の一連の処理を繰り返す。また、イベントがすべて終了した場合（YES）、画像ペット122が画面124から外へ出て行く画像を生成する（ステップS40）。この処理後、画像生成の処理を終了に移行させて、終了する。
【００５１】
次に前述したイベント処理について説明する。画像生成部30は、図９に示すように、広告記憶部32から格納している広告データ72を読み出す（サブステップSS10）。
【００５２】
次に広告データ72を１行分ずつ適当な間隔を開けて順次画像表示されるように調整する（サブステップSS12）。ただし、広告記憶部32内で１行の文字列であっても、モニタの表示幅が狭く、表示できない場合、この文字列を複数行に渡って表示するように調整して表示させてもよい。
【００５３】
調整された文字列を出力する（サブステップSS14）。この後、１つ分の広告の表示が終了したか否か判断する（サブステップSS16）。表示が未完の場合（NO）文字列の表示調整（サブステップSS12）に戻って、これ以降の処理を繰り返す。また、広告表示が終了した場合（YES）、処理をリターンに移行して、イベント処理を終了する。
【００５４】
次に画像混合について具体的に説明する。図10は、画像混合の原理を説明している。図10(A)は、画像生成部30によるイベント処理を含む画像の生成を示す。画像生成部30は、画面124を斜線で表示された背景領域128と広告を表示する領域130に分割するように設定されている。広告表示領域130には、画像生成部30の機能により画像ペット122および調整された広告文字が表す画像が表示されている。
【００５５】
たとえば、画像混合部34は、画像混合を行う上でアルファ値をあらかじめ設定している。背景領域128には、完全な透明を示すアルファ値＝0、広告表示領域130には半透明を示すアルファ値＝0.5およびこれらの領域以外には完全に不透明示すアルファ値＝1が設定されている。
【００５６】
ここで、図10(B)には通信端末装置から復号部48を介して供給されている画像が示されている。
【００５７】
画像混合部34は、図10(A)と図10(B)の画像を混合すると、図10(C)に示す画像が得られる。また、図３の広告データをイベント処理による調整表示させると、画像混合部34は、図11(A), (B)および(C)に示す画像132, 134および136を時間経過に従って出力変化させた画像を出力する。
【００５８】
なお、図11の例は、復号部48の出力画像に変化がない場合であるが、これに限定されず、実際には、復号部48から供給される図10(B)の出力画像も変化するので、図11の画像が変化することは明らかである。
【００５９】
このように動作させることにより、登場する画像ペット122が通話中の利用者双方から確認できるので、話題を提供することになり易い。また、無音期間を検出して、画像ペット122の登場タイミングを提供しているから、通信中の会話を阻害しない。かわいい画像ペット122を画面124に登場させることから、広告は、利用者を広告領域130に注目させることができ、これにより、広告の効果を上げることができる。
【００６０】
さらに、広告文が画像ペット122からの問いかけの体裁を採ることにより、通話している利用者にとって話題提供の一つとして受け取らせて、広告としての疎外感を感じなくて済む。また、話題として取り上げられることにより、広告の効果を向上させることができる。
【００６１】
次に本発明の情報交換装置を適用した情報配信装置12における他の実施例について説明する。以後の実施例において、共通する構成要素には、先の実施例で使用した参照符号を用いて、このときの説明内容がとくに異なる場合以外は説明の煩雑さを避けるため説明を省略する。
【００６２】
本実施例は、図12に示すように、先の実施例におけるデータ提供部25にポイント記憶部138を追加している。ポイント記憶部138は、制御部28で計測した無音状態の時間に対応した加算ポイントを記憶するメモリである。ポイント記憶部138は、図13に示すようにあらかじめ設定した期間別に加算ポイントがポイント表として割り振られている。ポイント記憶部138は、図示しない制御部28の制御に応じて期間別の加算ポイント140が読み出される。
【００６３】
制御部28は、無音期間の計測および画像生成の指令機能を有するとともに、ポイント記憶部138が格納する加算ポイントを参照して、ポイントの更新およびこの更新ポイントに応じた画像ペットの種類を指示する機能を有している。このように制御部28の機能を設けることにより、無音期間の検出結果に応じて出力させるペットの種類を変化させる制御を画像生成部30に行わせる。
【００６４】
画像生成部30は、生成する画像ペット122を複数種類、あらかじめ用意している。画像生成部30は、制御部28からの制御信号70に応じて指示された画像ペット122を生成する。
【００６５】
次に本実施例における制御部28の動作について図14を参照しながら、説明する。制御部28の動作は、図５の基本的な動作にポイントの更新、画像ペットの選択およびポイントのクリア処理等が含まれている。無音期間の検出判断（ステップS10）およびカウント（ステップS12）に応じて無音期間を取得している。取得した無音期間の設定された閾値に対する大きさを判断する（ステップS14）。ここまでの手順は、図５の手順と同じである。本実施例では、この判断により動作を変えている。この無音期間が示すカウント値が５秒未満のとき（NO）、ポイントの更新に進む（ステップS22へ）。また、カウント値が５秒以上のとき（YES）、画像ペットの選択に進む（ステップS24へ）。
【００６６】
ポイントの更新は、図13の無音期間と加算ポイントとの対応関係から、現ポイントと加算ポイントとを合計し、合計したポイントを制御部28のレジスタに格納する。この更新によりポイントは累積加算される。この更新後、無音状態の検出判断に戻る（ステップS10へ）。また、画像ペットの選択とは、画像ペットを選択するポイントの閾値をあらかじめ設定しておき、上述したレジスタに格納されている現在のポイントをこの閾値に対する大小を判断して選ぶことである。本実施例では、ポイントの閾値を100に設定している。現ポイントが100以上か否かを判断している（ステップS24）。現ポイントが100未満のとき（NO）、画像ペットを犬にする設定に進む（ステップS26へ）。また、現ポイントが100以上のとき（YES）、画像ペットをゾウにする設定に進む（ステップS28へ）。
【００６７】
現ポイントは無音状態に応じてポイントを累積させて、更新し、ポイントが100未満の間、画像ペットとして犬が設定される（ステップS26）。この設定後、表示の指示に進む（ステップS16へ）。また、累積したポイントが100以上に達したならば画像ペットにゾウを設定する（ステップS28）。この設定後、制御部28は、累積加算されたポイントをクリアする（ステップS30）。このクリア後、表示指示に進む（ステップS16へ）。
【００６８】
制御部28は、画像生成部30に選択した画像を生成するように指令（制御信号）70を出力する（ステップS16）。画像生成部30は、制御部28の制御に応じて犬またはゾウの画像を生成し、表示処理を行う。制御部28は、画像生成部30の表示処理が終了したか否かを監視する（ステップS18）。監視結果が画像生成部30の表示処理終了を示していないとき（NO）、監視を継続する（ステップS18へ）。監視結果が表示処理の終了を示しているとき（YES）、カウント値をゼロにリセットして、無音状態の検出に戻る（ステップS10へ）。
【００６９】
なお、本実施例では、画像ペット122の種類を無音期間が示す時間でポイント化し、このポイントを積算した積算値とスレッショルドとする所定のポイントとを比較して決定したが、これに限定されるものではなく、たとえば最大または最小音量の値とその回数や後述するように変化が最大になる位置を用いて、種類を決定するようにしてもよい。
【００７０】
このように動作することにより、無音期間があらかじめ設定した時間を経過すると、画像生成部30で生成された画像が通信中の通信端末装置14および16に送出されるが、前述した用件によって、希に違うペットを表示させることができ、利用者に「驚き」を提供できる。画像ペットの選択を複数設けることにより、心理的に「次はどんなペットが現れるのだろう」という期待感も利用者にもたらすことができる。
【００７１】
本実施例における画像ペットには、規則性に基づく出現であることから、意図的に画像ペットを選択的に出現させることができ、利用者にゲーム感覚的な遊びの要素も提供できる。このように魅力的な要素を利用者に提供して、興味を引くことにより、広告の効果を向上させることができる。
【００７２】
次に本発明の情報交換装置を適用した情報配信装置12における他の実施例について説明する。本実施例は、図１が示したデータ提供部25に位置検出部142およびクイズ記憶部144を備えている。ただし、クイズ記憶部144は、広告記憶部32の代わりに相当している。
【００７３】
位置検出部142は、復号部48および52から画像データ58および62を入力している。位置検出部142は、画像データ58および62のそれぞれにおいて、１フレーム前に供給された画像と現在供給される画像とをそれぞれ比較して、双方の画像の内、最も変化の激しい位置を検出し、この検出した位置を情報として送出する機能を有している。換言すると、最も大きな動きベクトルの検出を意味している。位置検出部142は、検出データ146を制御部28に出力している。
【００７４】
クイズ記憶部144は、広告記憶部32と同じメモリであり、記憶内容は、図16に示すように、複数の問題と各問題に対する解答を格納している。また、各問題には、クイズの選択肢が複数設けられている。クイズ記憶部144は、制御部28の制御によりクイズデータ148を制御部28に出力する。
【００７５】
制御部28は、無音期間の計測および画像生成の指令機能を有するとともに、位置検出部142から取得した位置情報146を画像生成部30に出力する機能を有している。画像生成部30には、位置情報を含む制御信号70およびクイズデータ148が供給されている。画像生成部30は、画像ペットの生成機能にとともに、制御部28から供給される位置情報に基づいて画像ペットを移動させる機能を有している。画像生成部30の機能により、結果として、画像ペット122を検出された画像の変化が最も大きい位置に移動させて、通信端末装置のモニタに表示される。
【００７６】
なお、本実施例は、通話中の双方の通信端末装置14および16からの画像を対象に変化の最大位置を検出する構成を説明したが、通信端末装置14および16の片方からの画像データだけを対象に変化の最大位置を検出するようにしてもよい。
【００７７】
次に本実施例における画像生成部30の動作について図17および図18を参照しながら、説明する。本実施例は、基本的に図６に示した画像生成処理の手順に同じである。しかしながら、本実施例のイベント処理（サブルーチンSUB2）は、クイズの表示にともなって図９の手順（サブルーチンSUB1）と処理内容が相違している。したがって、本実施例ではこの点に重点をおいて、説明する。
【００７８】
図17に示すクイズ記憶部144からクイズデータ148を読み出して、取得する（サブステップSS20）。取得したクイズデータ148の内、間題および選択肢を表す画像を順次生成し、出力する（サブステップSS22）。この画像生成の直後に表示カウントを初期化する（サブステップSS24）。表示カウントは利用者が問題の解答を考える時間を表している。表示は秒単位にするとよい。
【００７９】
次に、解答枠画像を生成する（サブステップSS26）。図19に示すように、解答枠画像150は、選択肢の数に応じて形成され、解答枠画像における各枠内には選択肢を表す項目(A), (B)および(C)も画像として形成されている。本実施例では、表示カウントがゼロの時点で画像ペット122の位置する項目が利用者の解答として選択したものとしている。したがって、画像ペット122が解答枠画像150の左上枠内にいた場合(A)、右上枠内にいた場合(B)、左下枠内にいた場合(C)および右下枠内にいた場合「無回答」をそれぞれ、選択したとみなす。
【００８０】
次に、表示カウントを初期化した時点から経過した時間に基づいてカウントの値を更新する画像を生成する（サブステップSS28）。画像生成部30は生成した画像データ74を画像混合部34に供給する。画像データ74を表す画像は、図20(A)に示す画像152である。斜線領域は、背景領域を示している。表示カウントは、表示カウント領域154内に表示される。
【００８１】
ここで、復号部48から供給される画像データ58は、図20(B)に示す画像の場合、画像混合部34は、図20(A)と図20(B)とをアルファブレンディングすることにより、図20(C)に示す画像を出力する。具体的に、設定するアルファ値としては、斜線部分を透明に0、白領域を半透明に0.5、それ以外を完全に不透明1とする。この設定で、画像混合部34は、図20(C)の画像を出力するようになる。
【００８２】
画像生成部30は、制御部28から動きが最も激しい位置を取得し、取得した位置に画像ペット122を移動目標位置に設定する（サブステップSS30）。すなわち、本実施例では、解答と画像ペットの位置とを対応付けることから、利用者が解答を示した位置と判断するためである。
【００８３】
次に画像ペット122がまだ目標位置にいないことを判断する（サブステップSS32）。すでに移動目標の位置にいる場合（NO）、表示カウントの判断に進む（サブステップSS34）。移動目標の位置にまだいない場合（YES）、画像ペット122の移動処理に進む（サブステップSS36）。画像ペット122の移動処理は、制御部28から供給された移動目標に向けて画像ペット122を一定距離移動させる（サブステップSS36）。この移動させる画像生成の後、表示カウントの確認に進む（サブステップSS34へ）。
【００８４】
表示カウントの確認は、表示カウントがゼロか否かを判断する（サブステップSS34）。表示カウントがゼロでない場合（NO）、表示カウントの表示更新に戻り（サブステップSS28へ）、この表示カウントの確認までの処理を繰り返す。この繰返しにより、画像生成部30は、画像ペット122を利用者が所望する位置に移動させながら、表示カウントの変更も行うことができる。また、表示カウントがゼロになった場合（YES）、接続子Aを介して図18に進む。
【００８５】
次に解答枠画像150および表示カウント領域154の画像を消去する（サブステップSS38）。図示しないが、この後、直ちに画像ペット122が占めていた位置に新たに解答枠画像を生成する（サブステップSS40）。解答が正解か否か判断する（サブステップSS42）。解答が正解の場合（YES）、正解を意味する画像を生成する（サブステップSS44）。また、解答が不正解の場合（NO）、不正解を意味する画像を生成する（サブステップSS46）。これらの画像生成の後、リターンに移行して、イベント処理を終了し、メインルーチンに戻る。
【００８６】
なお、情報配信装置12は、少なくとも、無音継続時間およびポイントのいずれか一方に応じて画像ペット122のキャラクタ画像を選択し、出力させるようにすることが好ましい。また、画像ペット122は、利用者固有の画像ペットを設定してもよい。また、情報配信装置12は、送信画像の両方を基に移動させるようにしたが、それぞれの送信画像が示す変化の最大位置に移動させるように制御してもよい。さらに、本実施例では、変化の最大位置検出を前フレームとの比較で判断したが、この処理に限定されない。処理方法としては、たとえば、MPEG-2における圧縮では画像の動き情報を利用するので、この検出を圧縮時の情報に基づいて実施してもよい。
【００８７】
このように動作させることにより、通話中の通信端末装置12および14から送信されるすべての画像の中で最も変化が大きい場所に画像ペット122を移動させようとすることから、話者同士で競争させることができる。この競争の元としてエンターテイメント性を有するクイズを提供することができる。また、クイズ形式で広告を行えば、正答率を目安にして広告の効果を評価することができるから、この正解率に応じて広告料を設定することも可能になる。
【００８８】
以上のように構成することにより、通信制御部20で受信データの画像データ58および62をそれぞれ画像混合部34と画像混合部36に供給して通信相手側へのデータ交換を行い、画像混合部34および36にそれぞれデータ提供部25の画像生成部30から共通データとして生成した画像データ74および76を供給してそれぞれ、画像データ74および76と画像データ58および62とを混合し、この混合した画像データ66および64ならびに音声データ56および60を画像データ66と音声データ56の組とするデータ46および画像データ64と音声データ60の組とするデータ44を通信制御手部20に供給し、通信制御部20から相互接続中の通信相手である通信端末装置14および16すべてに提供する。これにより、通信相手の通信端末装置14および16にて送信元のデータとともに、共通データが示す画像を確認することができる。この確認により、会話を阻害することなく、通信中に第３者から話題が提供さ、提供する話題に広告を入れることで、広告効果を向上させることができる。
【００８９】
データ提供部25は、無音検出部26で復号されたデータのそれぞれを基に共通データの提供する無音状態の有無を検出し、この無音状態の検出を制御部28に供給し、制御部28で所定の時間以上にわたって無音状態が継続されるか否かに応じて制御信号70を画像生成部30に出力し、画像生成部30で制御信号70に応じて画像を表す共通データ74および76を生成することにより、所定の時間以上に続く無音状態をコミュニケーションの低下と判断して、この低下を回避するように話題を提供することができる。
【００９０】
画像生成部30は、上述した２つの条件を満足する状況に応じてキャラクタ画像を生成することにより、キャラクタ画像、すなわち画像ペット122の特徴によってコミュニケーションに利用者が親近感や連帯感を持てるように誘引することができる。
【００９１】
また、データを提供する無音検出部26、制御部28および画像生成部30とともに、広告記憶部32を含むことにより、記憶されている広告データ72を画像データに変換し、キャラクタ画像とともに、広告画像を含む画像データ74および76を生成することにより、たとえば広告文が画像ペット122からの問いかけの体裁を採ることができ、広告だけの表示に比べて疎外感なく、広告を受け入れられるようにでき、広告効果を向上させることができる。
【００９２】
データ40および42には、音声データおよび画像データを含むことにより、たとえば画像表示に同期した音声を出力することにより、コミュニケーションの向上を図ることができる。
【００９３】
より具体的に無音検出部26は、通信接続中のデータが示す通話音量が規定値以下にあるか否かを検出して、制御部28に検出結果として無音状態の検出タイミングと有音状態の検出タイミングを示す状態検出信号68を送出し、制御部28は、状態検出信号68の検出タイミング間の時間を計測し、計測結果の時間が所定の時間以上継続するか否かに応じて制御信号70を生成し、画像生成部30に出力することにより、画像ペット122を通信接続中の通信端末装置14および16に提供し、コミュニケーションが活発になるように促すことができる。
【００９４】
データ提供部25は、ポイント記憶部138で無音状態を満たす期間に応じて割り当てる値を記憶し、画像生成部30には、複数種類のキャラクタ画像を設け、制御部28は、状態検出信号68の供給される検出タイミングから無音状態の継続期間に応じた値をポイント記憶部138から読み出して、この読み出したポイントを積算させ、この積算したポイントが所定の閾値に達するまで繰り返しながら、複数種類のキャラクタ画像のうち、犬の画像ペットを生成するように制御し、所定の閾値以上の積算したポイントに応じてゾウの画像ペットを生成するように制御することにより、規則性を持たせながら、利用者に驚きを提供することができる。驚きに応じて利用者に興味を引かせることで広告の効果も上げることができる。
【００９５】
広告記憶部32は、広告を表す文字データを格納することが好ましく、より多くの広告情報を扱うことが可能である。
【００９６】
データ提供部25は、図１の構成に位置検出部142をさらに加え、広告記憶部32をクイズ記憶部144にして、広告の情報でなく、問題、選択肢および正解を出力してクイズを通信する利用者の双方に提供することにより、通話中にエンターテイメント性を提供することができる。位置検出部142は、復号したデータのうち、画像データを示す変化した最大の位置を制御部28に供給し、この検出位置に向かって画像ペット122を移動させるように制御する。画像生成部30は、無音状態および無音状態の継続時間に応じて共通データとしてクイズデータ146を画像データに変換し、画像ペット122を検出位置に向かって移動させるように生成する。データ提供部25は、画像ペット122とクイズデータを画像生成することより、クイズ形式で広告を行うと、正答率で広告の認知度等を基に評価することができ、これに応じた広告料を設定することができる。
【００９７】
画像生成部30は、画像ペットを最大変化の位置に向かって移動させ、ある時点における画像ペットによりクイズデータの選択肢に対する値を表すことにより、クイズの解答を入力するインタフェースとして機能させることができる。
【００９８】
サービス提供システム10は、ネットワーク18に情報配信装置12、複数の通信端末装置14および16のそれぞれを接続し、情報配信装置12で通信接続する通信端末装置からのデータを交換しながら、画像ペットや広告等の共通データを通信相手の通信端末装置に提供することにより、円滑なコミュニケーションを提供することができる。
【００９９】
サービス提供システム10は、共通データとして画像ペット122とともに、広告データおよびクイズデータの少なくとも一方を画像データにして提供することにより、コミュニケーションの向上を図るだけでなく、同時に広告を提供することで単なる広告の提供に比べて広告効果の高いシステムを提供することができる。
【図面の簡単な説明】
【０１００】
【図１】本発明の情報交換装置を適用した実施例における情報配信装置の概略的な構成を示すブロック図である。
【図２】図１の情報配信装置および複数の通信端末装置がネットワークを介して相互に接続されたサービス提供システムを示す図である。
【図３】図１の広告記憶部に格納される広告内容の一例を示す図である。
【図４】図２の通信端末装置それぞれの概略的な構成を示すブロック図である。
【図５】図１の情報配信装置における制御部の動作手順を説明するフローチャートである。
【図６】図１の情報配信装置における画像生成部の動作手順を説明するフローチャートである。
【図７】図６の手順において生成した画像ペットの登場シーンの一例を示す図である。
【図８】画像ペットの表示をランダムにして生成する画像の例を示す図である。
【図９】図６のイベント処理を説明するフローチャートである。
【図１０】図１の画像生成部における画像混合の原理を説明する図である。
【図１１】図10の画像混合にて時間経過順に生成される画像を説明する図である。
【図１２】本発明の情報交換装置を適用した他の実施例における情報配信装置の概略的な構成を示すブロック図である。
【図１３】図12のポイント記憶部に記憶されるポイント表を説明する図である。
【図１４】図12の情報配信装置における制御部の動作手順を説明するフローチャートである。
【図１５】本発明の情報交換装置を適用したさらに他の実施例における情報配信装置の概略的な構成を示すブロック図である。
【図１６】図15のクイズ記憶部に記憶されるクイズの内容を説明する図である。
【図１７】図15の情報配信装置における画像生成部の動作手順を説明するフローチャートである。
【図１８】図17に続く動作手順を説明するフローチャートである。
【図１９】図15の画像生成部により生成される解答枠画像と選択肢を説明する図である。
【図２０】図15の情報配信装置における画像生成と供給される画像とを画像混合して得られる画像を説明する図である。
【符号の説明】
【０１０１】
10  サービス提供システム
12  情報配信装置
14, 16  通信端末装置
18  ネットワーク
20  通信制御部
22, 24  圧伸部
26  無音検出部
28  制御部
30  画像生成部
32  広告記憶部
34, 36  画像混合部
【図１】
2005268858.tif 000003
【図２】
2005268858.tif 000004
【図３】
2005268858.tif 000005
【図４】
2005268858.tif 000006
【図５】
2005268858.tif 000007
【図６】
2005268858.tif 000008
【図７】
2005268858.tif 000009
【図８】
2005268858.tif 000010
【図９】
2005268858.tif 000011
【図１０】
2005268858.tif 000012
【図１１】
2005268858.tif 000013
【図１２】
2005268858.tif 000014
【図１３】
2005268858.tif 000015
【図１４】
2005268858.tif 000016
【図１５】
2005268858.tif 000017
【図１６】
2005268858.tif 000018
【図１７】
2005268858.tif 000019
【図１８】
2005268858.tif 000020
【図１９】
2005268858.tif 000021
【図２０】
2005268858.tif 000022