(57)【要約】【課題】通信開始を従来よりも短くしたり、データを扱う通信システムの負荷を抑えたりすることができる画像配信システムおよび情報端末装置を提供。【解決手段】サービス提供システム10は、モデル配信部24でモデルデータにライセンス情報を付加して配信することによりライセンス情報が付加されたモデルデータを取得要求した端末装置に格納することによりモデルデータをダウンロードした本人またはダウンロードした相手との通信でしか利用できないように利用を制限し、開始時に送信端末装置14から相手先にモデルデータを送付しなくても、通信を開始し、画像を受信端末装置16に表示させることができ、セッション管理部26を設けて送信端末装置14と受信端末装置16とのセッションを管理する。【選択図】図１
2007053605.tif 000002
【特許請求の範囲】
【請求項１】
情報を取り込んで、該情報を送信先に送信する送信端末装置と、該送信端末装置からの前記情報を受信し、画像を表示する受信端末装置と、前記送信端末装置と前記受信端末装置とが用いるサービス情報を提供し、これらの装置を管理するサーバとを含む画像配信システムにおいて、前記サーバは、前記送信端末装置と前記受信端末装置とのセッションを管理する管理手段と、
前記サービス情報を取得する要求に応じて該サービス情報の利用許諾を示すライセンス情報を付加して配信する配信手段とを含むことを特徴とする画像配信システム。
【請求項２】
請求項１に記載のシステムにおいて、前記管理手段は、前記送信端末装置から供給される情報を受信するセッション受信手段と、
該セッション受信手段からの情報をセッションに参加する受信端末装置すべてに送信するセッション送信手段を含むことを特徴とする画像配信システム。
【請求項３】
請求項２に記載のシステムにおいて、前記管理手段は、前記セッション受信手段で前記情報として供給されるパケットに含まれる表情情報と音声情報とを分解し、前記セッション受信手段と前記セッション送信手段との間に、前記表情情報を多重化する多重化手段と、
前記セッション受信手段と前記セッション送信手段との間に、前記音声情報をミキシングするミキシング手段とを含み、
前記セッション送信手段は、多重化した表情情報とミキシングした音声情報を一形式にまとめて出力することを特徴とする画像配信システム。
【請求項４】
情報を取り込んで、該情報を送信先に送信する送信端末装置と、該送信端末装置からの前記情報を受信し、画像を表示する受信端末装置と、前記送信端末装置と前記受信端末装置とが用いるサービス情報およびこれらの装置を管理するサーバとを含む画像配信システムにおいて、前記サーバは、
前記送信端末装置と前記受信端末装置とのセッションを管理する管理手段と、
前記サービス情報を取得する要求に応じて供給される前記サービス情報を管理し、前記管理手段に該サービス情報を提供する提供手段とを含み、
前記管理手段は、前記セッション受信手段で前記情報として供給されるパケットに含まれる表情情報と音声情報とを分解し、前記セッション受信手段と前記セッション送信手段との間に、前記表情情報と前記サービス情報に基づいてレンダリングに用いる画像データを生成する画像生成手段と、
前記セッション受信手段と前記セッション送信手段との間に、前記音声情報を復号する音声復号手段とを含み、
前記セッション送信手段は、生成した画像データと復号した音声データを一形式にまとめて出力することを特徴とする画像配信システム。
【請求項５】
請求項４に記載のシステムにおいて、前記管理手段は、前記送信端末装置の台数に応じて前記セッション受信手段、前記画像生成手段および前記音声復号手段を一組ずつ設け、
前記画像生成手段それぞれからの前記画像データを多重化する画像多重化手段と、
前記音声復号手段それぞれからの前記復号した音声データをミキシングする音声ミキシング手段とが、前記セッション送信手段の前に配設されることを特徴とする画像配信システム。
【請求項６】
請求項４または５に記載のシステムにおいて、前記提供手段は、前記サービス情報におけるライセンス情報を管理して、前記管理手段に該サービス情報を提供することを特徴とする画像配信システム。
【請求項７】
ユーザからの情報を入力する第１のセンサ手段と、
音を入力する第２のセンサ手段と、
前記情報を基に解析し、表情情報を生成する情報生成手段と、
第２のセンサ手段から入力された音を符号化して、符号化した音データにする符号化手段と、
マルチキャストアドレスを格納するアドレス格納手段と、
前記表情情報および前記符号化した音データを送信する送信手段とを含むことを特徴とする情報端末装置。
【請求項８】
情報を取り込んで、該情報を送信先に送信する送信端末装置と、該送信端末装置からの前記情報を受信し、画像を表示する受信端末装置と、前記送信端末装置と前記受信端末装置とが用いるサービス情報を提供し、これらの装置を管理するサーバとを含む画像配信方法において、該方法は、
前記サービス情報の取得を前記サーバに要求する第１の工程と、
前記サーバが格納するサービス情報にライセンス情報を付加する第２の工程と、
前記ライセンス情報の付加されたサービス情報を取得の要求元に戻し、格納する第３の工程と、
前記要求元を前記送信端末装置とし、通信相手とする受信端末装置に前記サービス情報を転送する第４の工程と、
前記受信端末装置に格納したサービス情報および転送されたサービス情報のいずれかを選択して、用いる第５の工程とを含み、
選択したサービス情報と前記送信端末装置で得られた表情情報とに基づいて画像を生成することを特徴とする画像配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像配信システムおよび情報端末装置、ならびにその画像配信方法に関するものである。本発明の画像配信システムは、たとえば映像・音声通信を用いたテレビ電話、テレビ会議、ビデオチャット等のビジュアルコミュニケーション等に関するものである。また、本発明の情報端末装置は、ネットワーク負荷、サーバ負荷やクライアント負荷をそれぞれ軽減させ、より快適なビジュアルコミユニケーションを実現するものに関するものである。さらに、本発明の画像配信方法は、とくに、システムにおける各種の負荷を抑制し、情報端末装置間での画像通信に関するものである。
【背景技術】
【０００２】
これまで、画像配信システムによってたとえば、映像・音声通信を用いたテレビ電話、テレビ会議、ビデオチャット等のように、画像を見ながら通信する技術が各種提案されてきている。このような提案の一例としては、特許文献１のアニメーションチャットシステムおよびその方法がある。また、特許文献２には、画像コミュニケーション機能付き情報端末装置および画像配信システムが開示される。送信端末装置は映像データを出力するのではなく、表情の動きデータを受信端末装置に送信し、受信端末装置では、表情の動きデータを基にモデルデータのポリゴン情報を変形させ、キャラクタを連続的に生成させることによりアニメーションを表示させている。
【０００３】
【特許文献１】大韓民国登録特許10−016966号公報
【特許文献２】日本国特許第3593067号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したシステムでは、通信開始時に自分として表示させるモデルデータを相手に送付するシーケンスを通すことから、実際の通信開始まで、時間を要してしまう。また、チャットセッションにおいては、表情の動きデータをサーバ経由させて相手側の情報端末装置に送信すると、サーバに負荷がかかってしまう。
【０００５】
本発明はこのような従来技術の欠点を解消し、通信開始を従来よりも短くしたり、データを扱う通信システムの負荷を抑えたりすることができる画像配信システムおよび情報端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は上述の課題を解決するために、情報を取り込んで、この情報を送信先に送信する送信端末装置と、この送信端末装置からの情報を受信し、画像を表示する受信端末装置と、送信端末装置と受信端末装置とが用いるサービス情報を提供し、これらの装置を管理するサーバとを含む画像配信システムにおいて、サーバは、送信端末装置と受信端末装置とのセッションを管理する管理手段と、サービス情報を取得する要求に応じてこのサービス情報の利用許諾を示すライセンス情報を付加して配信する配信手段とを含むことを特徴とする。
【０００７】
本発明の画像配信システムは、配信手段でサービス情報にライセンス情報を付加して配信することによりライセンス情報が付加されたサービス情報を格納することによりサービス情報をダウンロードした本人またはダウンロードした相手との通信でしか利用できないように利用を制限し、開始時に送信端末装置から相手先にサービス情報を送付しなくても、通信を開始し、画像を受信端末装置に表示させることができ、管理手段を設けて送信端末装置と受信端末装置とのセッションを管理することができる。
【０００８】
また、本発明は上述の課題を解決するために、情報を取り込んで、この情報を送信先に送信する送信端末装置と、この送信端末装置からの情報を受信し、画像を表示する受信端末装置と、送信端末装置と受信端末装置とが用いるサービス情報およびこれらの装置を管理するサーバとを含む画像配信システムにおいて、サーバは、送信端末装置と受信端末装置とのセッションを管理する管理手段と、サービス情報を取得する要求に応じて供給されるサービス情報を管理し、管理手段にこのサービス情報を提供する提供手段とを含み、管理手段は、セッション受信手段で情報として供給されるパケットに含まれる表情情報と音声情報とを分解し、セッション受信手段とセッション送信手段との間に、表情情報とサービス情報に基づいてレンダリングに用いる画像データを生成する画像生成手段と、セッション受信手段とセッション送信手段との間に、音声情報を復号する音声復号手段とを含み、セッション送信手段は、生成した画像データと復号した音声データを一形式にまとめて出力することを特徴とする。
【０００９】
本発明の画像配信システムは、提供手段から管理手段にサービス情報を提供し、管理手段のセッション受信手段で情報として供給されるパケットに含まれる表情情報と音声情報とを分解し、セッション受信手段とセッション送信手段との間に画像生成手段を設け、この画像生成手段で表情情報とサービス情報に基づいてレンダリングに用いる画像データを生成し、セッション受信手段とセッション送信手段との間に設けた音声復号手段で音声情報を復号し、セッション送信手段で生成した画像データと復号した音声データを一形式にまとめて出力することで相手先と通信にサーバを介しているが、セッションに参加する人数が増えるほどネットワークの負荷を軽減することができ、送信端末装置と受信端末装置に互いの端末情報を渡すことなく、サーバで一元管理し、端末間通信をセキュアに実現する。
【００１０】
さらに、本発明は上述の課題を解決するために、ユーザからの情報を入力する第１のセンサ手段と、音を入力する第２のセンサ手段と、情報を基に解析し、表情情報を生成する情報生成手段と、第２のセンサ手段から入力された音を符号化して、符号化した音データにする符号化手段と、マルチキャストアドレスを格納するアドレス格納手段と、表情情報および符号化した音データを送信する送信手段とを含むことを特徴とする。
【００１１】
本発明の情報端末装置は、アドレス格納手段から読み出したマルチキャストアドレスにより第１および第２のセンサ手段で取り込んだ情報や音をそれぞれ情報生成手段と符号化手段に供給して、表情情報および符号化した音データにして、表情情報および符号化した音データを送信手段から出力することによりサーバを介することなく、小規模なネットワークを実現させ、効率的な画像通信を可能にする。
【００１２】
そして、本発明は上述の課題を解決するために、情報を取り込んで、この情報を送信先に送信する送信端末装置と、この送信端末装置からの情報を受信し、画像を表示する受信端末装置と、送信端末装置と受信端末装置とが用いるサービス情報を提供し、これらの装置を管理するサーバとを含む画像配信方法において、この方法は、サービス情報の取得をサーバに要求する第１の工程と、サーバが格納するサービス情報にライセンス情報を付加する第２の工程と、ライセンス情報の付加されたサービス情報を取得の要求元に戻し、格納する第３の工程と、要求元を送信端末装置とし、通信相手とする受信端末装置にサービス情報を転送する第４の工程と、受信端末装置に格納したサービス情報および転送されたサービス情報のいずれかを選択して、用いる第５の工程とを含み、選択したサービス情報と送信端末装置で得られた表情情報とに基づいて画像を生成することを特徴とする。
【００１３】
本発明の画像配信方法は、サービス情報の取得をサーバに要求し、サーバが格納するサービス情報にライセンス情報を付加し、ライセンス情報の付加されたサービス情報を取得の要求元に戻し、格納し、要求元を送信端末装置とし、通信相手とする受信端末装置にサービス情報を転送し、受信端末装置に格納したサービス情報および転送されたサービス情報のいずれかを選択して、用いて選択したサービス情報と送信端末装置で得られた表情情報とに基づいて画像を生成することから、サービス情報をダウンロードした本人またはダウンロードした相手との通信でしか利用できないように利用を制限し、開始時に送信端末装置から相手先にサービス情報を送付しなくても、通信を開始することができ、開始までの時間を短縮することができる。
【発明を実施するための最良の形態】
【００１４】
次に添付図面を参照して本発明による画像配信システムの実施例を詳細に説明する。
【００１５】
本実施例は、本発明の画像配信システムをサービス提供システム10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１６】
サービス提供システム10は、サーバ12、送信端末装置14および受信端末装置16を含む。サービス提供システム10は、ネットワーク18を介してサーバ12、送信端末装置14および受信端末装置16とそれぞれ通信する。
【００１７】
ここで、ネットワーク18は、IP（Internet Protocol）ネットワークでもよい。また、ネットワーク18は、有線・無線で構築してもよく、赤外線通信やブルートゥース（Bluetooth）等を用いてもよい。
【００１８】
サーバ12は、送信端末装置14および受信端末装置16からのモデル取得要求によるモデル配信、送信端末装置14-受信端末装置16間のセッション管理を行ない、データ通信をサポートする機能を有する。サーバ12は、セッション管理の内、セッション開始ではSIP（Session Initiation Protocol）を端末装置間の接続開始において適用する。サーバ12は、モデルデータベース（Data Base）部20、ユーザデータベース部22、モデル配信部24およびセッション管理部26を含む。モデルDB部20およびユーザDB部22はストレージである。モデルDB部20はキャラクタアニメーションを形成する上に基準に用いるモデルデータを格納する機能を有し、格納するモデルデータを供給される情報に応じて読み出すデータベース機能を有する。モデルデータには、２次元/３次元のポリゴン情報とテクスチャ情報が含まれる。モデルデータは、たとえば表情のないキャラクタの顔部位における位置情報を有する基準データとして格納されている。
【００１９】
ユーザDB部22は、ユーザ名、メールアドレス、ニックネームおよびパスワード等、ならびに日時、使用時間および課金等の使用に関する情報をユーザ情報として管理し、送信端末装置14、受信端末装置16を操作するユーザを一意に識別する機能を有し、ユーザ情報を供給される情報に応じて読み出すデータベース機能を有する。モデルDB部20はモデル配信部24に接続され、ユーザDB部22はモデル配信部24およびセッション管理部26に接続される。
【００２０】
モデル配信部24は、送信端末装置14および受信端末装置16からネットワーク18を介して供給されるモデル取得要求を受信する機能を有する。また、モデル配信部24は、供給されたモデル取得要求をモデルDB部20およびユーザDB部22にそれぞれ送信する機能を有する。さらに、モデル配信部24は、モデル取得要求に応じてモデルDB部20から供給されるモデルデータとユーザDB部22からのユーザ情報とを付加し、付加した情報を送信元に配信する機能を有する。
【００２１】
セッション管理部26は、ユーザDB部22を介して供給されるクライアント端末装置のログイン状態や通信状態を監視する機能を有する。また、セッション管理部26は、送信端末装置14−受信端末装置16との間通信におけるデータ通信、とくにセッション開始の管理をサポートする機能を有する。
【００２２】
送信端末装置14は、サーバ12に対してモデルデータを取得するように要求する機能、モデルデータを格納する機能、入力した顔画像からユーザの表情を解析し、表情データを生成する機能および入力したユーザの音声を符号化し、符号化した音声データを生成する機能を有する。これらの機能を実現させるため、送信端末装置14は、モデル格納部28、モデル管理部30、ディジタルカメラ32、画像解析部34、マイクロフォン36、音声符号化部38および送受信部40を含む。
【００２３】
ここで、表情データは、顔部位の位置データを送ってもよいが、時系列的に得られる各顔部位の位置データ間の差分、すなわち変化量を送るようにしてもよい。このように変化量を送ると、データ量を小さくすることができる。これによりサービス提供システム10は、通信における転送効率を向上させ、通信負荷を低下させることができる。
【００２４】
モデル格納部28は、ストレージまたはメモリである。モデル格納部28は、サーバ12から取得したモデルデータを格納し、ユーザの要求に応じて格納されたモデルデータを読み出すデータベース機能を有する。モデル格納部28には、モデル配信部24からダウンロードしたモデルデータが送受信部40の受信機能、モデル管理部30を介して供給される。また、モデル格納部28は、ユーザの指示に応じてモデルデータを読み出して送受信部40に出力する。
【００２５】
モデル管理部30は、送信端末装置14にてサーバ12に対してモデルデータの取得を要求する機能を有する。また、モデル管理部30は、ダウンロードしたモデルデータをモデル格納部28に出力する機能を有する。さらに、モデル管理部30は、ユーザの指示に応じてモデルデータを管理し、指示に対応するモデルデータを受信端末装置16に出力する機能を有する。
【００２６】
ディジタルカメラ32は、ユーザの顔画像をディジタル化して、顔画像データを入力する機能を有する。ディジタルカメラ32は、顔画像データを画像解析部34に出力する。後述する表情データの生成に用いる入力手段は、音声入力センサ、すなわちマイクロフォンやキー操作、テキスト入力、イベントセンサにより情報を入力するようにしてもよい。これらのセンサを用いた場合、これに対応する解析手段、たとえば音声認識手段、入力情報解析手段等を設けることが好ましい。
【００２７】
画像解析部34は、画像データに含まれるユーザの表情を抽出し、解析する機能を有する。表情解析とは、たとえばユーザの特徴的な部位である目、口、鼻等の位置を検出し、検出した位置情報を基に顔の部位を解析し、部位と位置情報を関係付けた表情データとして生成することである。この表情データは、ユーザの目・口・顔位置等を正規化し、時系列的に求めることにより表情の変化、すなわち表情の動きを表わすパラメータに対応している。画像解析部34は、表情データを送受信部40に出力する。
【００２８】
なお、画像解析は、顔画像からの表情解析に限定されず、体の動き等の解析を反映し、体全体の動画像を生成し、キャラクタアニメーションを実現してもよい。また、表情データは、図示しないが画像解析に限定されず、ユーザの音声解析から口に関する表情データを生成したり、テキストの解析から口に関する表情データを生成したり、あらかじめ決められた動作を基に表情データを生成してもよい。
【００２９】
マイクロフォン36は、ユーザの音声や周囲の音を入力し、ディジタル化する機能を有する。マイクロフォン36は、音声データを音声符号化部38に出力する。
【００３０】
音声符号化部38は、入力した音声データを符号化する機能を有する。音声符号化部38は音声データを符号化することにより音声データを圧縮し、送受信部40に出力する。
【００３１】
送受信部40は、送信に着目すると、モデルデータ、表情データおよび符号化した音声データを送信形式に対応するパケットに変換して送信先に出力する機能を有する。また、送受信部40は、サーバ12から供給されるデータ、とくにセッション確立の通信状態の受信する機能も有する。このように送受信部40は、送信先としてサーバ12に出力したり、直接的に受信端末装置16に出力したりする。
【００３２】
受信端末装置16は、受信したパケットから表情データと符号化した音声データをそれぞれ分解する機能、分解した表情データを基準とするモデルデータに反映させて、たとえばポリゴン画像を生成する機能、生成したポリゴン画像を表示する機能、符号化した音声データを復号する機能および音声を再生出力する機能を有する。これらの機能を実現させるため、受信端末装置16は、送受信部42、モデル管理部44、モデル格納部46、画像生成部48、モニタ50、音声復号部52およびスピーカ54を含む。
【００３３】
送受信部42は、受信に着目すると、パケットを受信し、パケットの中から表情データおよび音声データを分解する機能を有する。ただし、モデルデータは後述する動作にて説明するように、最初に一回だけ送信端末装置14から供給される。送受信部42は、サーバ12に対してモデル取得要求を送信する機能も有する。送受信部42は、供給されるモデルデータ、表情データおよび符号化した音声データをモデル管理部44、画像生成部48および音声復号部52にそれぞれ供給する。
【００３４】
モデル管理部44およびモデル格納部46は、送信端末装置14のモデル管理部30およびモデル格納部28に同じ機能を有する。同じ説明の繰り返しを避けるためこれらの機能についての説明を省略する。
【００３５】
画像生成部48は、モデルデータが有する顔の部位における特徴位置を表情データに応じて移動させることにより顔の部位を変形させる機能およびこの変形したモデルデータを基にレンダリング処理してポリゴン画像を生成する機能を有する。画像生成部48は、これらの機能により生成した画像データを順次モニタ50に出力する。
【００３６】
モニタ50は、供給される画像データを連続的に表示する機能により動画像表示する。
【００３７】
音声復号部52は、符号化した音声データを復号して、展開する機能を有する。音声復号部52は、この機能により復号した音声データをスピーカ54に出力する。
【００３８】
スピーカ54は、音声データをアナログ音声に変換する機能を有する。スピーカ54は、送信端末装置14で取り込んだ音または音声を再生する。
【００３９】
なお、本実施例は、送信端末装置14と受信端末装置16とで区別し、片方向のデータ通信だけの例を示したが、送信端末装置14に受信端末装置16と同じ機能を実装させ、双方向通信を実現することも可能である。また、画像および音声の入力は、ディジタルカメラ32およびマイクロフォン36に限定されるものでなく、ファイル入力やその他の入力手段を用いてもよい。さらに、画像および音声の出力は、モニタ50およびスピーカ54に限定されるものでなく、ファイル出力やその他の出力手段を用いてもよい。サービス提供システム10におけるデータ通信には、リアルタイム性を重視したRTP（Real Time Protocol）が用いられる。
【００４０】
次にサービス提供システム10におけるP2P（Peer to Peer）通信の動作を説明する。この場合、図２に示すように、モデルデータのダウンロード、モデルデータの転送、セッション確立およびデータ通信により行なわれる。
【００４１】
サーバ12からモデルデータをダウンロードする手順において、ユーザは時刻T10にて送信端末装置14を起動し、図示しない操作部を操作して、モデル管理部30にモデルデータのダウンロードを要求する。時刻T12にてモデル管理部30はモデル取得要求を送受信部40に供給し、送受信部40からネットワーク18を介しサーバ12にモデル取得要求を出力する（モデル取得要求56）。
【００４２】
サーバ12は、モデル取得要求を受信し、時刻T14にてモデル配信部24は、受信した送信端末装置14がサービス提供システム10のユーザか否かを確認する。ユーザ確認は、ユーザDB部22に格納されているユーザ情報とモデル取得要求に含まれるユーザ情報とを照合して、確認する。ここで、ユーザ確認に失敗した場合、モデル配信部24は、モデル取得要求は受理しないと判断し、ダウンロード拒否を送信端末装置14に出力する（要求拒否58）。送信端末装置14は、要求拒否58の受信に応じて動作を終了する。
【００４３】
また、モデル配信部24は、ユーザ確認に成功した場合、時刻T16にてモデルDB部20から該当するモデルデータを取り出す。モデル配信部24は、モデルデータにライセンス情報を持たせるため、時刻T18にて取り出したモデルデータにユーザ情報を付加する。ライセンス情報は、たとえばユーザDB部22に格納されているユーザ情報やユーザID（IDentification）を暗号化したもので、モデルデータの先端に付加する。モデル配信部24は、時刻T20にてネットワーク18を介してモデルデータ60を送信端末装置14に出力する。
【００４４】
送信端末装置14は、供給されたモデルデータ60を受信し、受信したモデルデータ60をモデル管理部30に送る。モデル管理部30は、受信したモデルデータ60をモデル格納部28に格納する。送信端末装置14は、ライセンス情報が付加されたモデルデータを格納することにより、モデルデータをダウンロードした本人またはダウンロードした相手との通信でしか利用できないように利用を制限することができる。この結果、開始時に送信端末装置14から相手先にモデルデータを送付しなくても、通信を開始して、画像を受信端末装置16に表示させることができる。これによりストレスなく通信を開始することができる。
【００４５】
次に送信端末装置14は受信端末装置16にモデルデータを転送する。この転送処理を説明する。送信端末装置14は、時刻T22にてモデル格納部28からモデルデータを取り出す。送信端末装置14は時刻T24にてこの取り出したモデルデータ62を、たとえばSMTPやFTP等のプロトコルを使用し、受信端末装置16に送信する。
【００４６】
受信端末装置16は、ネットワーク18を介して供給されたモデルデータ52を受信する。受信端末装置16は、時刻T26にて受信したモデルデータ62をモデル格納部46に格納する。モデルデータの転送は、通信によるデータ転送に限定されるものでなく、ネットワークを介さずたとえばCD（Compact Disk）/FD（Floppy Disk）/半導体メモリ媒体等により受信端末装置16に配布するようにしてもよい。
【００４７】
送信端末装置14は、時刻T28にてサーバ12のセッション管理部26に対してセッションヘの参加、ログイン64を要求する。また、同様に受信端末装置16は、時刻T30にてセッション管理部26に対してセッションヘの参加、ログイン66を要求する。
【００４８】
セッション管理部26では、ユーザDB部22を用い、送信端末装置14および受信端末装置16のユーザを確認する。セッション管理部26でユーザ確認に失敗した場合、時刻T32にてセッションを確立できないとするセッション拒否68および70をセッション確立要求のあった装置に出力する。セッション拒否を受信した装置は、セッション動作を終了させる。また、ユーザ確認に成功した場合、セッション管理部26は、時刻T34にてユーザ確認の成功を報知する確認信号72および74をそれぞれ、送信端末装置14および受信端末装置16に出力する。
【００４９】
次に送信端末装置14は、時刻T36にてセッションに参加している受信端末装置16に接続要求信号76をセッション管理部26に出力する。セッション管理部26は、時刻T38にて受信端末装置16に対し接続要求信号78を出力する。
【００５０】
図３に示すように、受信端末装置16では、接続要求信号78を受けて、時刻T40にて接続の許可を判断する。受信端末装置16は、接続要求を拒絶した場合、セッションが確立されず、時刻T42にて接続拒否80をセッション管理部26に出力する。時刻T43にてサーバ12は、送信端末装置14に接続拒否81を送り、接続を終了する。また、接続要求を許諾した場合、受信端末装置16は、時刻T44にてモデル格納部46からモデルデータを選択する。この選択は、モデル管理部44で行なわれる。モデルデータは、表示するキャラクタアニメーションの基本として用いるものであり、このとき選択できるモデルデータは、送信端末装置14のユーザ情報が格納されたモデルデータまたは受信端末装置16のユーザ情報が格納されたモデルデータである。受信端末装置16は、時刻T46でセッション管理部26に識別情報を通知する（識別通知82）。識別情報は、たとえばIPアドレスであってもよい。また、識別情報は、ネットワーク18を用いたデータ通信の際に端末装置を識別できるものであればなんでもよい。
【００５１】
セッション管理部26は、時刻T48にて送信端末装置14に受信端末装置16の識別情報84を通知する。次にデータ通信に進む。
【００５２】
送信端末装置14は、識別情報84の受信後、時刻T50にてディジタルカメラ32から顔画像をフレーム単位で取得し、画像解析部34に出力する。また、送信端末装置14は、時刻T50にてマイクロフォン36で音声および周囲の音を取り込んで、ディジタル化し、音声データを音声符号化部38に出力する。
【００５３】
画像解析部34は、時刻T52にて画像データを入力とし、画像データに含まれるユーザの顔の各部位、たとえば目、口、鼻、眉等の位置データを表情抽出として画像処理により検出し、無表情の顔の状態における位置データと検出した位置データとの差分データを表情データとして生成する。画像解析部34は、生成した表情データを送受信部40に出力する。同時に音声符号化部38は、時刻T52にて供給される音声データを入力とし、ITU-T（International Telecommunication Union-Telecommunication standardization sector）勧告G.722規格やG.729規格等の音声コーデックにより音声データを符号化して圧縮する。音声符号化部38は、符号化した音声データを送受信部40に出力する。
【００５４】
ここで、ITU-T勧告G.722は、64kbpsにおける7kHzオーディオ・コーデックのための比信号歪の試験についての規格であり、ITU-T勧告G.729は、音声符号化方式の勧告の1つであり、CS-ACELP（Conjugate Structure Algebraic Code Excited Linear Prediction：共役構造代数励振型線形予測）によってアナログ電話帯域（3.4kHz≒4kHz）の信号を8kHzでサンプリングし、8kbpsの伝送速度を実現する方式である。
【００５５】
送受信部40では、時刻T54にて供給される表情データおよび符号化した音声データを入力し、設定する。送受信部40は、表情データおよび符号化した音声データをパケット化して、パケットデータを生成する。時刻T50〜T54の動作をリアルタイムに連続して行なう。
【００５６】
送受信部40は、時刻T56にて表情データおよび符号化した音声データを含むパケット86を受信端末装置16の送受信部42に出力する。
【００５７】
受信端末装置16において、送受信部42にて、供給されたパケットデータ86を受信する。送受信部42は時刻T58にて受信したパケットデータ86から表情データおよび符号化した音声データを分解して、取り出す。取り出した表情データは画像生成部48に出力する。また、同時に、取り出した音声データは音声復号部52に出力する。モデル管理部44は、モデル格納部46からモデルデータを読み込む際にライセンス情報を復号し、ユーザ情報を取り出す。取り出したユーザ情報と送信端末装置14から事前に供給されたモデルデータとの一致、すなわち使用可能なモデルか否かとして判断する。また、取り出したユーザ情報が受信端末装置16自身の場合にも使用することができる。換言すると、自分でダウンロードしたモデルデータを使うこともできることを意味する。
【００５８】
画像生成部48は、時刻T60にて供給された表情データと事前に選択されているモデルデータを基にポリゴン画像を生成する。画像生成部48は、生成した画像データをモニタ50に出力する。音声復号部52は、前述した規格の音声コーデックで符号化された音声データを展開して、元に復元する。音声復号部52は、生成した音声データをスピーカ54に出力する。
【００５９】
モニタ50では、時刻T62で供給された画像を表示する。この表示と同時にスピーカ54から音声を出力する。受信端末装置16は受信後の時刻T58〜T62の動作をリアルタイムに連続して行なう。
【００６０】
このように動作させると、モデルデータのライセンスに関して、モデルデータにダウンロードしたユーザのユーザ情報を埋め込み、ダウンロードした本人か、ダウンロードした相手との通信でしか利用できないように利用を制限することできる。このモデルデータのライセンスを保持した配布を可能にすると、開始時にモデルデータを送付することがないことから、データ通信はストレスを感じることなく開始できる。また、受信端末装置16でモデルデータを選択できることから、受信端末装置16の仕様や受信者の気分に応じて好きなキャラクタ（モデルデータ）を選択して、表示できるという効果も得ることができる。
【００６１】
さらに、映像通信のような帯域を大幅に使用するのではなく、表情データのよう表情の動き情報と音声データを送信することで、使用帯域を抑制し、ネットワークの負荷を軽減することが可能となる。サービス提供システム10は、データ通信においてサーバ12を介さずに相手の端末装置と通信するため、サーバ12の負荷も軽減させることができる。
【００６２】
次にサーバ12を経由する通信について説明する。サービス提供システム10の基本的な構成要素は先の実施例と同じ構成要素を含む。同じ説明の繰り返しによる煩雑さを避けるため説明を省略する。
【００６３】
セッション管理部26は、図４に示すように、セッション受信管理部88およびセッション送信管理部90を含んでもよい。セッション受信管理部88は、送信端末装置14から送信されたパケットデータを受信する機能を有する。受信したパケットデータは、セッション送信管理部90に出力される。
【００６４】
セッション送信管理部90は、受信したパケットデータをこのサービス供給のセッションに参加する受信端末装置16を含むすべてに送信する、１対多の出力機能を有する。セッション送信管理部90は、パケットデータを各受信端末装置に出力する。
【００６５】
この場合、モデルデータのダウンロード、モデルデータの転送、セッション確立およびデータ通信の送信は、図２および図３に示したように、その手順に同じであるため記載を省略する。
【００６６】
図４のセッション管理部26のセッション受信管理部88は、送信端末装置14から送信されたパケットデータ86を受信する。セッション受信管理部88は、パケットデータ86をセッション送信管理部90に出力する。セッション送信管理部90は、図５に示すように、供給されたパケットデータ86を受信端末装置16含むセッションに参加するｎ台の受信端末装置に対しそれぞれ、パケットデータ86を時刻T57にて送信する。
【００６７】
受信端末装置16は、セッション管理部26から供給されたパケットデータ86を受信する。受信端末装置16は、パケットデータ86を基に時刻T58〜T62の処理を行なう。
【００６８】
このように動作させると、前述したライセンスの保持したモデルデータの配布を可能にして、ストレスのない通信の開始および適用するモデルの自由な選択、ならびに便用帯域の抑制によるネットワーク負荷の軽減するとともに、サーバ12を介して、相手端末装置との通信するため、多人数のセッションになればなるほど、ネットワークの負荷をより一層軽減することが可能となる。
【００６９】
また、サーバ12を介して通信することから、送信端末装置・受信端末装置にお互いの端末情報を渡さなくて済み、端末情報をサーバ12にて一元管理するため、端末装置間の通信をセキュアに実現することができる。
【００７０】
また、サービス提供システム10は、サーバ12にて複数の送信端末装置から供給されるパケットデータを多重化するようにしてもよい。サーバ12のセッション管理部26を図６に示す。図６のセッション管理部26は、図４の構成要素に表情データ多重化部92および音声ミキシング部94を含む。これらの構成要素を含むことから、セッション受信管理部88は、供給されるパケットデータを分解して、表情データと符号化した音声データとを分類する。セッション受信管理部88は、分類した表情データを表情データ多重化部92に出力する。また、セッション受信管理部92は、分類した符号化した音声データを音声ミキシング部94に出力する。
【００７１】
表情データ多重化部92は、供給される表情データを多重化する機能を有する。表情データ多重化部92は、多重化した表情データをセッション送信管理部90に出力する。この多重化により、パケットに付加されるヘッダを不要にしてデータの転送効率を向上させることができる。
【００７２】
音声ミキシング部94は、供給される符号化した音声データを混合する機能を有する。音声ミキシング部94は、ミキシングした、符号化した音声データをセッション送信管理部90に出力する。また、音声ミキシング部94は、符号化した音声データを復号し、復号した音声データをミキシングしている。このミキシングした音声信号を、再び符号化して、セッション送信管理部90に出力するとよい。ミキシングによりそれぞれパケットのデータ領域に格納して転送していた音声データを集約して転送することが可能になる。したがって、ミキシングによってもパケットの転送効率を向上させることができる。このようにして、セッション送信管理部90は、多重化した表情データとミキシングした後で符号化した音声データをそれぞれパケット化し、図５の時刻T57にてセッションに参加する受信端末装置すべてにパケットデータを出力する。
【００７３】
このように動作させることにより、先の効果に加えて、サーバ12を介して相手端末装置との通信を行なうことから、多人数セッションの場合において、サーバ12の負荷が多少高くなるが、表情データの多重化および音声データの多重化処理することで、ネットワークにかかる負荷をより一層軽減することができる。
【００７４】
また、サービス提供システム10は、前述したサーバ12、送信端末装置14および受信端末装置16を有する点で、先の実施例と同じである。しかしながら、図７に示すように、サーバ12は、モデルDB部20、ユーザDB部22およびモデル配信部24だけを含む。サーバ12には、セッション管理部26が含まない。図７に示す送信端末装置14および受信端末装置16には、これまでセッション管理部26が担っていた機能の一部を実現させるマルチキャストアドレス格納部96とマルチキャストアドレス格納部98を一つずつ設ける点に特徴がある。
【００７５】
送信端末装置14は、取得した表情データ、符号化した音声データを、マルチキャストアドレス格納部96から読み出したマルチキャストアドレスに送信する。
【００７６】
受信端末装置16は、供給されたパケットデータを受信し、受信したパケットデータが受信すべきものか否かを判断する機能を有する。この機能を送受信部42に持たせ、送受信部42は、装置自身が有するマルチキャストアドレス格納部98からのマルチキャストアドレスと受信したパケットデータのマルチキャストアドレスとを比較し、判断して、判断に応じて受信する。
【００７７】
この場合、サービス提供システム10は、モデルデータのダウンロード、モデルデータの転送およびデータ通信の手順を踏めばよい。すなわちセッション確立させる手順が不要である。
【００７８】
この実施例におけるサービス提供システム10は、図８に示すように、モデルデータのダウンロード、モデルデータの転送およびデータ通信の時刻T54までの動作は、先の実施例と同じである。時刻T56にて送受信部40は読み出したマルチキャストアドレスに対してパケットデータ86を送信する。受信端末装置16の送受信部42では、マルチキャストアドレスからのパケットデータ86を送信先としての確認に応じて受信する。この受信後の動作は、先の実施例における受信処理に同じである。
【００７９】
このように動作させると、先の実施例と同様の効果を奏するとともに、マルチキャストアドレスを使用することでセッション管理が不要になり、マルチキャストアドレス機能を有する小規模ネットワークネットにおいて効率的な通信を実現させることが可能になる。
【００８０】
次に記載するサービス提供システム10には、図９に示すように、送信端末装置14および受信端末装置16を最も簡略化した構成要素で形成し、サーバ12にサーバモデル管理部100を設けることに特徴がある。
【００８１】
送信端末装置14は、ディジタルカメラ32、画像解析部34、マイクロフォン36、音声符号化部38および送受信部40を含み、モデル格納部28およびモデル管理部30を配していない。また、受信端末装置16は、さらに簡素化される。すなわち送受信部42、モニタ50およびスピーカ54だけを有し、これまで設けていたモデル管理部44、モデル格納部46、画像生成部48および音声復号部52を設けていない。
【００８２】
さらに、サーバ12は、モデル配信部24にモデル管理機能を加えたサーバモデル管理部100を配する。サーバモデル管理部100は、ユーザ毎に使用するモデルデータを管理する機能を有し、セッション管理部26に対し、セッションに参加するユーザが使用するモデルデータ102を送出する機能を有する。
【００８３】
セッション管理部26は、図10に示すように、図４のセッション受信管理部88およびセッション送信管理部90に、画像生成部48および音声復号部52を含む。画像生成部48および音声復号部52は、ともに、セッション受信管理部88とセッション送信管理部90との間に配する。
【００８４】
セッション受信管理部88は、供給されるパケットデータをデパケット化することでパケットを分解し、分解により得られる表情データと符号化した音声データとを分類する機能を有する。セッション受信管理部88は、表情データを画像生成部48に出力し、符号化した音声データを音声復号部52に出力する。また、セッション送信管理部90には、生成した画像データを入力し、復号により復元された音声データを入力する。セッション送信管理部90は、供給された画像データと音声データを基にしたMPEG（Moving Picture Experts Group）形式等の映音データを生成する機能と、セッションに参加する受信端末装置に映音データを動画像データとして送信する機能とを有する。
【００８５】
受信端末装置16の送受信部42は、動画像データを受信し、受信した動画像データを復元して再生する機能を有する。送受信部42は、再生された映像データおよび音声データをそれぞれ、モニタ50とスピーカ54に出力する。図示しないが音声データがスピーカ54に供給される前にアナログ変換されるのは言うまでもない。
【００８６】
サービス提供システム10もモデルデータの選択、セッション確立およびデータ通信の手順に従って処理する。まず、モデルデータの選択としてユーザは、時刻T10にて送信端末装置14に対しモデルデータの選択を要求する。送信端末装置14は、時刻T12にて選択するモデルデータに対するモデル取得要求56をサーバモデル管理部100に通知する。
【００８７】
サーバモデル管理部100では、時刻T14にてユーザDB部22を用いてモデル取得要求からユーザを確認する。ユーザ確認が失敗した場合、サーバモデル管理部100はモデル選択の取得失敗を要求拒否58として、送信端末装置14に通知し、処理を終了する。また、ユーザの確認が成功した場合、時刻T16にてモデルDB部20から該当するモデルデータをサーバモデル管理部100に供給して、取得する。モデルデータにライセンス情報を持たせるため、時刻T18にて取り出したモデルデータにユーザ情報を付加する。サーバモデル管理部100は、時刻T19にて取得したモデルデータをセッション管理部26に渡す。セッション管理部26は、供給されるモデルデータを基に、たとえば表情を持つポリゴン画像の元データを生成する機能を有する。このことからわかるように、送信端末装置14にモデルデータを送らずに済ますことができる。
【００８８】
次に送信端末装置14と受信端末装置16との間のセッション開始を確立させる。手順はこれまでと同様である。
【００８９】
図11に示すように、送信端末装置14は、顔画像および音声の入力、この画像解析による表情データ抽出および音声符号化、設定およびパケット化、ならびにパケットの送信を順次時刻T50〜T56にて処理する。パケットデータ86は、サーバ12のセッション管理部26に送信する。
【００９０】
セッション管理部26のセッション受信管理部88は、パケットデータ86を受信する。セッション受信管理部88は、時刻T64にてパケットデータ86を分解する。セッション受信管理部88は、パケットデータ88を分解した中から、表情データと符号化した音声データを分類して、取り出す。セッション受信管理部88は、表情データと符号化した音声データとをそれぞれ、画像生成部48と音声復号部52に出力する。
【００９１】
画像生成部48は、時刻T66にてサーバモデル管理部100から供給される事前に選択したモデルデータと表情データに基づいてポリゴン画像を生成する。同時に、音声復号部52は、符号化した音声データを復元する。生成した画像と音声データは、セッション送信管理部90に供給される。
【００９２】
セッション送信管理部90は、時刻T68にてポリゴン画像の元データと音声データをMPEG形式にまとめて、映音データ92を生成する。セッション管理部26は、セッション送信管理部90からセッションに参加する受信端末装置16を含む複数の受信端末装置に対して、送信する。
【００９３】
受信端末装置16では、セッション管理部26からの映像データ92を送受信部42で受信する。送受信部42は、映音データ92を復元し、映像データ（ポリゴン画像の元データ）と音声データとをそれぞれ、モニタ50とスピーカ54に出力する。時刻T70にてモニタ50は画像を表示し、スピーカ54は音声を出力する。
【００９４】
このように動作させると、前述した実施例の効果を奏するとともに、端末装置がモデルデータを所有しなくてもサーバで一括管理することで、モデルデータのライセンスを遵守できる。また、送信端末装置の通信は大幅な広帯域を用いず、表情データと音声データを送信し、サーバにて画像を生成し、配信することで、上りのネットワーク帯域を削減することができる。さらに、サーバ上で画像データを生成することから、サービス提供システム10は受信端末装置の負荷を軽減するとともに、受信端末装置は一般的な映像通信のレンダリング機能を有するだけで済む。
【００９５】
さらに、セッション管理部26の構成について図12を示す。セッション管理部26は、図６および図10の構成要素を組み合わせたものである。図12のセッション管理部26は、送信端末装置14aおよび14bの２系統に対応した構成である。この構成に合うように、セッション受信管理部88aおよび88bを含む。セッション受信管理部88aおよび88bには、サーバモデル管理部100からモデルデータ102aおよび102bがそれぞれ供給される。セッション受信管理部88aおよび88bの機能は先の実施例の記載と同じ機能を有する。セッション受信管理部88aは、表情データと符号化した音声データとをそれぞれ、画像生成部48aと音声復号部52aとに供給する。また、セッション受信管理部88bは、表情データと符号化した音声データとをそれぞれ、画像生成部48bと音声復号部52bとに供給する。
【００９６】
画像生成部48aおよび48bは、生成したポリゴン画像の元データを画像多重化部92aに供給する。音声復号部52aおよび52bは、復号した音声データを音声ミキシング部94に供給する。
【００９７】
画像多重化部92aは、供給される画像の元データを１枚化または多重化して、多重化した画像データをセッション送信管理部90に出力する。音声ミキシング部94は、供給される音声データをミキシングして、得られた音声データをセッション送信管理部90に出力する。
【００９８】
セッション送信管理部90は、MPEG形式等の映音データをセッションに参加する受信端末装置に送信する。
【００９９】
本実施例における動作は、図13に示すように、送信端末装置14および104と受信端末装置16およびその他の受信端末装置との多対多のデータ通信に特徴がある。送信端末装置14では、時刻T50〜T56にて、それぞれ、顔画像および音声の入力、画像解析および音声符号化、データ設定およびパケット化、ならびにパケットの送出を順次行なう。送信端末装置14は、パケットデータ86aをサーバ12のセッション管理部26に送出する。送信端末装置104では、時刻T72〜T78にて、時刻T50〜T56での処理と同じ処理を行なう。送信端末装置104は、パケットデータ86bをセッション管理部26に出力する。
【０１００】
セッション管理部26のセッション受信管理部88aでパケットデータ86aを受信し、セッション受信管理部88bでパケットデータ86bを受信する。セッション受信管理部88aおよび88bは、時刻T64にてパケット分解し、表情データを画像生成部48aおよび48bに供給し、符号化した音声データを音声復号部52aおよび52bに供給する。
【０１０１】
時刻T66にて画像生成部48aは、モデルデータ102aと表情データとに基づいてポリゴン画像の元データを生成し、画像生成部48bもモデルデータ102bと表情データとに基づいてポリゴン画像の元データを生成する。生成したポリゴン画像の元データは、画像多重化部92aに出力する。また、時刻T66にて音声復号部52aおよび52bは、それぞれに供給される符号化した音声データを復号し、音声ミキシング部94に出力する。
【０１０２】
時刻T80にて画像多重化部92aでは、画像データを多重化または画像の１枚化を行ない、セッション送信管理部90に出力する。また、同時に音声ミキシング部94では、復号した音声データをミキシングし、ミキシングした音声データをセッション送信管理部90に出力する。
【０１０３】
時刻T68にてセッション送信管理部90は、MPEG等の規格に応じて多重化した画像データとミキシングした音声データをまとめて、映音データを生成し、セッションに参加する受信端末装置に送信する。
【０１０４】
受信端末装置16は、時刻T70にて送受信部42で受信したデータを画像データとミキシングした音声データに分解し、モニタ50とスピーカ54に供給し、出力する。
【０１０５】
このように動作させると、前述した効果を奏するだけでなく、複数の送信者と複数の受信者との間のセッションにおいて、サーバ12の負荷が多少高くなっても、扱う通信の帯域削減と供給する情報を多重化やミキシングして、相手先と通信することにより通信におけるネットワークの負荷をより一層軽減することができる。端末情報は、サーバにて一元管理することから、端末装置間の通信をセキュアに実現することができる。
【図面の簡単な説明】
【０１０６】
【図１】本発明に係る画像配信システムを適用したサービス提供システムにおける概略的な構成を示すブロック図である。
【図２】図１のサービス提供システムにおける動作を説明するシーケンシャルチャートである。
【図３】図２の動作に続く動作を説明するシーケンシャルチャートである。
【図４】図１のサーバにおけるセッション管理部の構成を示すブロック図である。
【図５】図４のセッション管理部を適用したサービス提供システムにおける動作を説明するシーケンシャルチャートである。
【図６】図１のセッション管理部における他の構成を示すブロック図である。
【図７】本発明に係る画像配信システムを適用したサービス提供システムにおける概略的な構成を示すブロック図である。
【図８】図７のサービス提供システムにおけるデータ通信のシーケンシャルチャートである。
【図９】本発明に係る画像配信システムを適用したサービス提供システムにおける概略的な構成を示すブロック図である。
【図１０】図９のセッション管理部における他の構成を示すブロック図である。
【図１１】図９のサービス提供システムにおける動作を説明するシーケンシャルチャートである。
【図１２】図１のセッション管理部における他の構成を示すブロック図である。
【図１３】図12に示したセッション管理部を適用したサービス提供システムにおけるデータ通信の動作を説明するシーケンシャルチャートである。
【符号の説明】
【０１０７】
10  サービス提供システム
12  サーバ
14  送信端末装置
16  受信端末装置
18  ネットワーク
20  モデルDB部
22  ユーザDB部
24  モデル配信部
26  セッション管理部
【図１】
2007053605.tif 000003
【図２】
2007053605.tif 000004
【図３】
2007053605.tif 000005
【図４】
2007053605.tif 000006
【図５】
2007053605.tif 000007
【図６】
2007053605.tif 000008
【図７】
2007053605.tif 000009
【図８】
2007053605.tif 000010
【図９】
2007053605.tif 000011
【図１０】
2007053605.tif 000012
【図１１】
2007053605.tif 000013
【図１２】
2007053605.tif 000014
【図１３】
2007053605.tif 000015