(57)【要約】【課題】比較的簡単なやり方で、通話音声にあわせて携帯電話端末の表示画面にキャラクタのアニメーションを表示できる携帯電話端末および携帯電話端末の制御方法を提供する。【解決手段】携帯電話端末の記憶手段（３１１）に、予めキャラクタを表すキャラクタデータを格納しておき、受信した音声信号のレベルを検出し、音声レベルに応答して画像表示手段（３０２）にキャラクタのアニメーションを表示する。キャラクタデータはキャラクタの主要部からなるパーツの変形形体であるサブパーツからなり、音声信号レベルに応じてサブパーツを交換する。また、通話中に相手端末からキャラクタの制御信号を受けキャラクタを動作させることができる。【選択図】  図３
2005064939.tif 000002
【特許請求の範囲】
【請求項１】
画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、音声信号のレベルを検出する音声レベル監視手段と、音声レベルに応答してキャラクタをアニメーション表示する制御手段とを含む携帯電話端末。
【請求項２】
通話相手の携帯電話端末のキャラクタを制御する制御信号の挿入手段と、通話相手の携帯電話端末から受ける受信信号からキャラクタを制御する制御信号を抽出する制御信号抽出手段とを含む請求項１記載の携帯電話端末。
【請求項３】
画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、通話相手の携帯電話端末から送られる制御信号に応答して前記画像表示手段にキャラクタの動作を表示する制御手段とを含む携帯電話端末。
【請求項４】
画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、音声信号のレベルを検出する音声レベル監視手段と、音声レベルに応答してキャラクタをアニメーション表示する制御手段とを含む携帯電話端末において、自端末のキー操作によって自端末に表示されるキャラクタを動作させることができる携帯電話端末。
【請求項５】
前記キャラクタデータはキャラクタの主要部分を構成する複数のキャラクタパーツからなり、前記キャラクタパーツは前記キャラクタの主要部分の形状を変形した複数のサブパーツを有する請求項1、２、３または４記載の携帯電話端末。
【請求項６】
前記制御手段は、音声レベルに応答して前記キャラクタの特定のキャラクタパーツのサブパーツを切り替えてアニメーションを表示する請求項５記載の携帯電話端末。
【請求項７】
前記特定のキャラクタパーツが口の部分である請求項６記載の携帯電話端末。
【請求項８】
前記キャラクタは電話番号を割当てられている携帯電話端末の所有者に似せたキャラクタである請求項６記載の携帯電話端末。
【請求項９】
画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、音声信号のレベルを検出する音声レベル監視手段と、音声レベルに応答して前記画像表示手段にキャラクタをアニメーション表示する制御手段と、キー操作に応答して相手携帯電話端末のバイブレータの制御信号を発生する手段とを含む携帯電話端末。
【請求項１０】
受信信号から前記バイブレータの制御信号を抽出する手段を有する請求項９記載の携帯電話端末。
【請求項１１】
画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、音声信号のレベルを検出する音声レベル監視手段と、音声レベルに応答して前記画像表示手段にキャラクタをアニメーション表示する制御手段と、キー操作に応答して発生する通話相手の携帯電話端末の画像表示手段に表示面の背景をフラッシュさせる制御信号の挿入手段とを含む携帯電話端末。
【請求項１２】
通話相手携帯電話端末から受ける受信信号から画像表示手段の表示面の背景をフラッシュさせる制御信号を抽出する制御信号抽出手段を含む請求項１１記載の携帯電話端末。
【請求項１３】
画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、音声信号のレベルを検出する音声レベル監視手段と、音声レベルに応答して前記画像表示手段にキャラクタをアニメーション表示する制御手段と、通話相手携帯電話端末のキャラクタを制御する制御信号の挿入手段と、通話相手の携帯電話端末から受ける受信信号からキャラクタを制御する制御信号を抽出する制御信号抽出手段とを含む携帯電話端末であって、電話帳データを記憶する記憶手段を備え、電話帳データの電話番号にリンクしてキャラクタを記憶する携帯電話端末。
【請求項１４】
前記電話番号にリンクしたキャラクタは、その電話番号を割当てられた携帯電話端末の所有者のキャラクタである請求項１３記載の携帯電話端末。
【請求項１５】
発信操作によって電話番号情報を含む呼信号を送出するステップと、電話番号に対応して記憶したキャラクタを検索し表示するステップと、相手携帯端末との呼の確立後に行う通話ステップと、前記通話ステップで受信した音声信号のレベルを監視するステップと、所定レベル以上の前記音声レベルのときに前記キャラクタのアニメーション表示をするステップとを含む携帯電話端末の制御方法。
【請求項１６】
受信呼信号に含まれる電話番号情報に応答して電話番号に対応して記憶したキャラクタを検索するステップと、検索されたキャラクタを表示するステップと、呼確立後に行う通話ステップと、前記通話ステップで受信した音声信号のレベルを監視するステップと、所定レベル以上の前記音声レベルのときに前記キャラクタのアニメーション表示をするステップとを含む携帯電話端末の制御方法。
【請求項１７】
前記通話ステップにおいてキー操作でキャラクタのアニメーションを表示するステップを含む請求項１５または１６記載の携帯電話端末の制御方法。
【請求項１８】
前記通話ステップにおいてキー操作で携帯電話端末のバイブレータを動作させるステップを含む請求項１５または１６記載の携帯電話の制御方法。
【請求項１９】
携帯電話端末にキャラクタのアニメーションを表示するために用いるキャラクタデータのサービス提供方法であって、携帯電話端末が写真データファイルを添付してメール送信するステップと、メールサーバがメールを受信して前記写真データファイルを抽出するステップと、前記写真データファイルをコンテンツ加工サーバに転送するステップと、コンテンツ加工サーバが前記写真テータファイルを基に複数の主要部パーツに分解するステップと前記主要部の変形形体である複数のサブパーツを作成するステップとを含むデータ加工ステップと、前記データ加工ステップで得られた加工ファイルを前記メールサーバに転送するステップとを有し、前記メールサーバは前記加工ファイルを添付して前記携帯電話端末に送信するキャラクタデータのサービス提供方法。
【請求項２０】
前記主要部に分解するステップは前記写真テータファイルから写真の簡略画像データに加工するステップと、前記簡略画像データから主要部分に分解するステップとを含む請求項１９記載のキャラクタデータのサービス提供方法。
【請求項２１】
前記携帯電話端末は前記加工データファイルを抽出し電話帳に登録するステップを含む請求項１９記載のキャラクタデータのサービス提供方法。
【請求項２２】
携帯電話端末にキャラクタのアニメーションを表示するためのキャラクタデータを作成するサーバであって、写真データファイルから写真の主要部であるキャラクタパーツを作成する手段と、前記主要部のキャラクタパーツの変形形体である複数のサブパーツを作成する手段とを含むアニメーションファイルを作成するサーバ。
【請求項２３】
携帯電話端末にキャラクタのアニメーションを表示するためのキャラクタデータの作成をサーバに実行させるプログラムであって、写真データファイルから写真の複数の主要部のキャラクタパーツを作成するステップと、前記主要部のキャラクタパーツの変形形体である複数のサブパーツを作成するステップとを含むキャラクタデータをサーバに実行させるプログラム。
【請求項２４】
電話番号を指定させるステップと、前記電話番号を含む情報で呼を設定するステップと、電話帳を検索するステップと、電話帳に登録されたキャラクタを選択し表示するステップと、呼の確立に応答して前記キャラクタの主要部のキャラクタパーツに対応する変形形体を表すサブパーツを切り替えてアニメーションを表示するステップとを携帯電話端末に実行させるプログラム。
【請求項２５】
前記アニメーションを表示するステップは、受信音声信号に応答してサブパーツを切り替えるステップを含む請求項２４記載の携帯電話端末に実行させるプログラム。
【請求項２６】
電話番号を指定させるステップと、前記電話番号を含む情報で呼を設定するステップと、電話帳を検索するステップと、電話帳に登録されたキャラクタを選択し表示するステップと、呼の確立に応答して前記キャラクタの主要部のキャラクタパーツの変形形体を表す複数のサブパーツを切り替えてアニメーションを表示するステップとを携帯電話端末に実行させるコンピュータに読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話端末に関し、特に通話中にキャラクタのアニメーション表示機能を有する携帯電話端末およびその制御方法に関する。
【背景技術】
【０００２】
携帯電話端末のデイスプレイに、キャラクタや風景などの静止画を通話中に表示できる製品が知られている。
【０００３】
また、通話中にキャラクタのアニメーションの表示ができる携帯電話端末も提案されている。これらは、通話中のコミュニケーションの向上を意図したものである。
【０００４】
このような技術として、特開２００１−１８６２２２号公報(特許文献１)は、アニメーション画像メモリーに格納した絵、たとえば花などのアニメーションを携帯電話の音声着信あるいは音声発信などの動作を検知して表示部に表示する携帯電話機を開示している。しかし、ここで開示されている技術は、通話者の会話とは無関係にアニメーションを表示するものである。
【０００５】
特開２００２−２１５１８０号公報(特許文献２)は、送受信される音声信号を基に、受信側の通信装置のデイスプレイ装置上に表示される顔のアニメーションを表示するものであるが、受信側通信装置の信号処理などに大掛かりなシステムが必要になる。すなわち、開示された発明は、受信側の通信装置に、一定の音声パターンと、これに対応した基本骨格モデルの顔表情の推移パターンとからなるデータを関連付けた動作推論データベースを設けておき、受信した音声データから抽出した音声パターンを基に、データベースから顔表情推移パターンを検索し、抽出された顔表情の推移パターンと受信した音声信号とをタイミングが一致するように関連付けるとともに、受信側の通信装置に登録してある顔形状モデルに、顔表情の推論データから得られた推移パターンの動作をマッピングして動画像を生成している。
【０００６】
特開２００３−９６４号公報（特許文献３）は、携帯電話機玩具に関するもので、電話をかける操作を行うと、あらかじめ用意されている動物たとえば、猫などの動作が少しずつ異なる複数枚の画面データを切り替えて、画像表示部にアニメーションを表示するものであるが、通話音声に基づいて動くアニメーションではない。
【０００７】
特開２００３−１６４７５号公報(特許文献４)は、被写体の顔画像入力から顔の特徴点を抽出し、その特徴点の座標データを、キャラクタ画像とともに受信端末に送り、受信端末側で、キャラクタ画像を特徴点の座標データに対応して変更して表示し、動画表示をしようとするものである。この公報に開示された発明は、キャラクタデータも相手端末に送信するもので、その情報を送るための手段を設ける必要がある。
【０００８】
【特許文献１】特開２００１−１８６２２２号公報
【特許文献２】特開２００２−２１５１８０号公報
【特許文献３】特開２００３−９６４号公報
【特許文献４】特開２００３−１６４７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
これら従来の技術は、アニメーションが音声信号と無関係であったり、キャラクタ情報を送信側から送る必要があったり、端末に大掛かりなシステムを必要としている。
【００１０】
したがって、この発明は、比較的簡易なやり方で、通話音声にあわせて携帯電話端末の表示画面にキャラクタのアニメーションを表示できる携帯電話端末および携帯電話端末の制御方法を提供することにある。
【００１１】
この発明の他の目的は、携帯電話ユーザに似せたキャラクタを通話音声レベルに合わせて動作させることのできる携帯電話端末およびその制御方法を提供することにある。
【００１２】
この発明の別の目的は、キャラクタを通話者の反応によって動作させることのできる携帯電話端末およびその制御方法を提供することにある。
【００１３】
この発明のさらに別の目的は、この種の携帯電話端末に使用するキャラクタデータの作成方法を提供することにある。
【００１４】
さらにこの発明は、この種の携帯電話端末に使用されるキャラクデータの作成依頼を受けて作成し携帯電話端末に配信するサービス方法を提供することにある。
【課題を解決するための手段】
【００１５】
この発明によれば、画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、音声信号のレベルを検出する音声レベル監視手段と、音声レベルに応答してキャラクタをアニメーション表示する制御手段とを含む携帯電話端末が得られる。
【００１６】
この発明によれば、また、画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、通話相手の携帯電話端末から送られる制御信号に応答して前記画像表示手段にキャラクタの動作を表示する制御手段とを含む携帯電話端末が得られる。
【００１７】
また、この発明によれば、画像表示手段と、キャラクタを表すキャラクタデータを格納する記憶手段と、音声信号のレベルを検出する音声レベル監視手段と、音声レベルに応答してキャラクタをアニメーション表示する制御手段とを含む携帯電話端末において、自端末のキー操作によって自端末に表示されるキャラクタを動作させることができる携帯電話端末が得られる。
【００１８】
さらにこの発明によれば、発信操作によって電話番号情報を含む呼信号を送出するステップと、電話番号に対応して記憶したキャラクタを検索し表示するステップと、相手携帯端末との呼の確立後に行う通話ステップと、通話ステップで受信した音声信号のレベルを監視するステップと、所定レベル以上の音声レベルのときにキャラクタのアニメーション表示をするステップとを含む携帯電話端末の制御方法が得られる。
【００１９】
この発明によればまた、受信呼信号に含まれる電話番号情報に応答して電話番号に対応して記憶したキャラクタを検索するステップと、検索されたキャラクタを表示するステップと、呼確立後に行う通話ステップと、通話ステップで受信した音声信号のレベルを監視するステップと、所定レベル以上の音声レベルのときにキャラクタのアニメーション表示をするステップとを含む携帯電話端末の制御方法が得られる。
【００２０】
この発明によれば、携帯電話端末にキャラクタのアニメーションを表示するために用いるキャラクタデータのサービス提供方法であって、携帯電話端末が写真データファイルを添付してメール送信するステップと、メールサーバがメールを受信して写真データファイルを抽出するステップと、写真データファイルをコンテンツ加工サーバに転送するステップと、コンテンツ加工サーバが写真テータファイルを基に複数の主要部パーツに分解するステップと主要部の変形形体である複数のサブパーツを作成するステップとを含むデータ加工ステップと、前記データ加工ステップで得られた加工ファイルをメールサーバに転送するステップとを有し、メールサーバは加工ファイルを添付して携帯電話端末に送信するキャラクタデータのサービス提供方法が得られる。
【００２１】
この発明によればまた、携帯電話端末にキャラクタのアニメーションを表示するためのキャラクタデータの作成をサーバに実行させるプログラムであって、写真データファイルから写真の複数の主要部のキャラクタパーツを作成するステップと、前記主要部のキャラクタパーツの変形形体である複数のサブパーツを作成するステップとを含むキャラクタデータをサーバに実行させるプログラムが得られる。
【００２２】
この発明によれば、電話番号を指定させるステップと、電話番号を含む情報で呼を設定するステップと、電話帳を検索するステップと、電話帳に登録されたキャラクタを選択し表示するステップと、呼の確立に応答してキャラクタの主要部のキャラクタパーツに対応する変形形体を表すサブパーツを切り替えてアニメーションを表示するステップとを携帯電話端末に実行させるプログラムが得られる。
【００２３】
さらにこの発明によれば、キャラクタデータはキャラクタの主要部分を構成する複数のキャラクタパーツからなり、キャラクタパーツはキャラクタの主要部分の形状を変形した複数のサブパーツをからなっている。そして、音声レベルに応答して前記キャラクタの特定のキャラクタパーツのサブパーツを切り替えてアニメーションを表示する。
【００２４】
さらに、本発明の望ましい実施形態では、キャラクタは電話番号を割当てられている携帯電話端末の所有者に似せたキャラクタである。
【００２５】
また、本発明の実施の形態によれば、キー操作に応答して相手携帯電話端末のバイブレータを制御する。
【００２６】
また、本発明の実施の形態によれば、キー操作に応答して発生する通話相手の携帯電話端末の画像表示手段に表示面の背景をフラッシュさせる制御を行う。
【発明の効果】
【００２７】
本発明は、相手通話者の音声レベルに応答して通話者に似せたキャラクタの口の部分が画面上で動くから、実の動画に比べて遥かに少ない情報量で音声だけでない画像をともなった通話を楽しむことができる。
【００２８】
本発明は、また、通話者はその反応をキー操作で特定して送信し、相手端末の表示部にキャラクタの表情を表示させることができるから、親しい友達同士のコミュニケーションにより豊かな情報を与えることができる。
【００２９】
この発明ではまた、自端末で自ら制御してその自端末を動作させ、その端末に表示される相手キャラクタを動作させることができるので、いわば、娯楽としての手段を提供できる。
【００３０】
本発明の携帯電話端末は、相手通話者に似せたキャラクタを格納させ、そのキャラクタを相手通話者の音声レベルなどに合わせて動作させると、キャラクタを用いた擬似的なテレビ電話機能を提供することができる。キャラクタのデータはあらかじめ携帯電話端末に保存してあるので通信インフラストラクチャに負荷をかけることなく擬似TV電話機能を提供できる。キャラクタの動作には端末側に機能を追加すればよい。したがってまた、第２世代の携帯電話通信システムに適用できる。携帯電話ユーザと通信事業者との間で特別な契約も不要である。
【００３１】
本発明はまた、通常のTV電話にはないインタラクテイプなコミュニケーションを行うことができる。すなわち、通話者間で特定の操作を行い制御信号として相手端末に送り、キャラクタや相手端末のデバイスを操作できるので、生身の映像にはないキャラクタが持つ特徴ある動作を実現できる。これは第3世代の携帯電話システムが普及し本格的なTV電話環境が整った場合でも有用である。
【００３２】
さらに、本発明では、キャラクタ作成サービスプロバイダがキャラクタ作成に専用のサーバを設け、メールに添付して送信されてくる写真からデータ量を削減したキャラクタデータに加工してファイルを提供するサービスのビジネスモデルを提供するので、携帯電話ユーザが自らキャラクタデータを作成しなくともよい。
【発明を実施するための最良の形態】
【００３３】
本発明の実施の形態について図を参照して説明する。
【実施例１】
【００３４】
図１は、本発明の携帯電話端末とネットワークとの信号のシークエンスおよび携帯電話端末における処理を説明する図である。
【００３５】
図１において、１０１，１０３は無線機を内蔵する携帯電話機端末(MS)で、１０１は発信側、１０３は着信側の端末である。両端末はネットワーク１０２を介して通信を行う。携帯電話端末１０１は、相手端末と通話する時に、電話番号を入力し（Ｓ１０１）、あるいは自端末が備える電話帳を用いて電話帳から所望の相手電話番号を選択し、発信操作（Ｓ１０２）によって相手電話番号を含む信号をネットワークに送出し、呼設定(SETUP)を行う。発信操作に応答して電子電話帳に格納された電話番号と対応して格納されているキャラクタを読出し、そのキャラクタの静止画を自端末の表示画面に表示する（Ｓ１０４）。
【００３６】
相手側携帯端末１０３は、ネットワーク（網）のインタフェースから送られる呼設定(SETUP)信号を受け、着信キー操作で着信・フッキング動作を行う（Ｓ１０７）。これによって、呼設定受付（CALL PROC）信号が網インタフェースに送られる。携帯電話端末１０１は網インタフェースから呼設定受付信号を受ける。
【００３７】
携帯電話端末１０３はALERT信号を送り、端末１０１はALERT信号を網から受ける。端末１０３はCONNECT信号を送り、網は端末１０１に応答（CONNECT）信号を送ると、それに応答して応答確認(CONNECT  ACK)信号を返す。網は端末１０３に応答確認信号を送る。これらのシークエンスで呼が確立する。
【００３８】
端末103は、SETUP信号に含まれる電話番号に応答して電話帳機能を起動させ、対応する電話番号を検索する（Ｓ１０５）。検索の結果その電話番号が記憶されていれば、電話番号に対応して格納されたキャラクタの有無を調べ、キャラクタが登録されているときは、キャラクタを読出し、表示画面にその静止画を表示する（Ｓ１０６）。
【００３９】
呼の確立がなされると、通話状態に入り、両端末間で通話が行われる。通話状態では、各端末は相手電話番号に対応するキャラクタのアニメーションを表示できる（Ｓ１０８）。キャラクタのアニメーションの表示は、受信した音声信号のレベルに応答して行うことができる。アニメーションの表示については後に詳述する。
【００４０】
通話を終了するときには、例えば端末101からキー操作により、切断（DISCONNECT）信号を網に送り、網は端末103に切断信号を送る。端末103は開放(RELEASE)信号を返し、網は端末１０１に開放信号を送る。これに応答して解放完了(RELEASE  COMPLETE)信号を網に送り、端末103は網から解放完了信号を受けて終話状態になる。
【００４１】
図1に関して説明した呼設定から呼の確立、通話、切断から解放に至るシークエンスは第2世代移動通信方式（２G）をそのまま利用している。したがって、ネットワークに新たな機能を追加せずに既存の方式でキャラクタアニメーションを表示できる。
【００４２】
図2は、この発明の携帯電話端末の外観を示す図である。携帯電話端末１０１は、電話番号を入力したり各種操作を行うキー操作部２１、入力した電話番号や各種設定項目を表示させたり、キャラクタやアニメーションを表示する表示部２２、写真撮影を行うカメラ部２３、受話器２４、送話器２５を有する。また、通話時にキャラクタのアニメーションを見ながら相手と通話を行うことができるようにイヤホンやマイク機能を備えたヘッドセット２６を接続できる。２７はシリアルインタフェースである。
【００４３】
したがって、携帯電話端末には、通常の通話機能のほかに電話帳機能、アニメーション表示機能、写真撮影機能、メール送受信機能などが実装されている。
【００４４】
図３は、携帯電話端末内部の機能ブロック図である。図において、携帯電話端末１０１は、キー操作部を構成し入力手段として機能する各種キー３０１、表示部3０2、着信通話時に音声の送受を行うマイク３０３およびスピーカ３０４、着信などを知らせるバイブレータ３２０を有する。また、携帯電話端末は、無線アクセス網とのインタフェースとして電波を送受するアンテナ３０５、ＰＣ等外部端末と直接接続するためのシリアルインタフェース３０６を有する。さらに、送受信部３０７、信号処理部３０８、記憶部３０９、制御部３００を含む。
【００４５】
送受信部３０７は、アンテナが捕らえた電波で誘起される高周波信号を増幅して信号処理部３０８に供給する受信部(図示せず)と、信号処理部３０８からの信号を増幅してアンテナに供給する送信部 (図示せず) とを有する。
【００４６】
信号処理部３０８は、マイク３０３からの受話信号をAD変換し、さらに変調を行う。また送受信部からの信号を復調し、DA変換して、スピーカ３０４へ送る。
【００４７】
記憶部３０９は、一時的にあるいは固定的に保持するメモリー部であり、携帯電話１０１を制御する各種のプログラムを記憶しているほかに、電話帳データ部３１２およびキャラクタデータ部３１１に各データを電気的に展開して記憶している。
【００４８】
制御部３００は、内部にCPUを備え、送受信部３０７、信号処理部３０８を制御するほか、キー入力を受け付けて必要な処理を行い、表示部３０２にキャラクタおよびそのアニメーションを表示するための制御を行う。また、携帯電話端末のその他の各種機能動作を制御する。このため各機能ブロックと電気的に結合している。
【００４９】
図４は、信号処理部３０８の内部を示す機能ブロック図である。図において、信号処理部は、変調復調部４１、音声CODEC４２、音声レベル監視部４３を有する。音声CODEC42は、音声アナログ信号をデジタルベースバンド信号に変換するAD変換部(図示せず)とデジタルベースバンド信号をアナログ音声信号に変換するDA変換部（図示せず）からなっている。変復調部４１は、ベースバンド信号を搬送波に乗せるための変調および変調された高周波信号からベースバンド信号を取り出す復調を行う。
【００５０】
音声レベル監視部43は、通話相手から受信した音量レベルを監視し、所定のレベル以上であれば、通話相手が喋っていると判断し、結果を制御部４０に知らせる。図５を併せて参照すると、受信した音量レベルの波形５０a、５０b、５０ｃが表示されているが、所定レベル５１より大きな区間５２では、相手が喋っていると判断され、レベル５１以下の区間５３では相手はしゃべっていないと判断される。
【００５１】
図6は、本発明で表示されるキャラクタの表示例を示す。図において、携帯電話端末の表示部２２には、通話相手のキャラクタ６１が、携帯電話の電波や電池の状態を表示するアイコン６２とともに表示されている。また、相手の電話番号６３、操作ガイドなどを示すメニュー６４も表示されている。
【００５２】
記憶部３０９(図３)のキャラクタデータ部３１１には、キャラクタの特徴部分を表す複数の主要部（パーツ）、主要部パーツの変形形状を表す複数のバリエーション(サブパーツ)が記憶されている。
【００５３】
記憶部３０９（図３）の電話帳データは、図7に示すように、氏名、電話番号、メールアドレス、住所などを要素とするデータ構造を有する。さらに電話帳データのデータ要素としてキャラクタデータを示すIDが登録されている。電話番号が選択されると、その電話番号に対応して記憶されているキャラクタIDが特定され、これを基にキャラクタデータ部からキャラクタパーツを読出して図６に示すように表示する。
【００５４】
図8を参照すると、同図はキャラクタ、キャラクタの主要部パーツおよび主要部の変形形状を示すバリエーションの関係を作成プロセスと共に模式的に示してある。キャラクタは人物の顔を中心とする部分である。主要部のパーツ８２は、顔の輪郭、頭部とその輪郭、眉毛、耳、鼻、口、首、シャツなどである。バリエーション８３は、口について説明すると、口元の各種の変形形状を示す。また、図示していないが、眉毛では、眉毛が三角形状と通常の形状が、目では、丸まった形状の目と通常の形状などである。
【００５５】
図9のフローチャートを参照して、通話段階でのアニメーション表示について説明する。呼が確立して（Ｓ９０２）通話状態に入ると、静止画のキャラクタ表示ステップ(S９０１)から次のステップに入る。それは音声レベル監視結果に基づいてキャラクタを動作するステップである。音声レベル監視結果に基づくキャラクタの動作は主として口の動きである。制御部は、音声レベルを定期的に監視し（S９０３）、受話音声のレベルが規定値以上かを判断し（S９０４）、規定値以下であれば、主要部のパーツを所定の座標位置に配置して静止した表情の表示を行う（S９０５）。
【００５６】
規定値レベル以上であると、主として口元を表すパーツのバリエーションを交換して表示する（S９０６）。例えば、図8の口のバリエーションを順次切り替えまたはランダムに切り替えて表示する。この切替えは、図５の音声波形の時間軸方向でのサンプリング点で音声レベルを監視しその結果によって切替えを行う。したがって、サンプリング周期である一定時間経過時（Ｓ９０９）に再びステップＳ９０３に戻る。これによって、表示部にキャラクタの口元が動いてアニメーション表示が行われる。
【００５７】
サンプリング周期ごとに音声レベルを監視してサブパーツを取替えてキャラクタ動作を行うが、終話が検出されると、キャラクタ表示終了処理が行われる（Ｓ９１０）。
【００５８】
上記実施例では、サンプリング毎に音声レベルを検出しているが、音声の再生ではなくキャラクタのアニメーションであることを考えると、サンプリング周期よりもっと長い周期であってもよい。このほうが情報量を少なくでき処理が容易である。また、口元のサブパーツも情報量を減らす点から2点ないし3点でもよい。
【００５９】
個々のサブパーツは、情報として表示上基準となるポイントおよびその座標をもっている。キャラクタ画像表示の際には、ポイントと座標を基にサブパーツを組み立てキャラクタの表示を行う。
【００６０】
説明の簡略化のために、図１０を参照して顔の輪郭、口および眼鏡をパーツとしたキャラクタの表示方法について説明する。図で、１２０１はパーツである眼鏡の一つのバリエーションであるサブパーツ、1202はパーツであるの口の１つのバリエーションであるサブパーツ、１２０３はパーツである顔の輪郭のバリエーションの１つサブパーツである。各サブパーツは、サブパーツごとの原点に相当するポイント（この例では各サブパーツの左上隅ダイヤのマーク）とこのポイントのキャラクタを表示ずる座標軸上の座標を持っている。パーツ１２０１については（１２、３０）で、パーツ１２０２については（６４、２４）で、パーツ１２０３については（１２，１２）でポイントの座標が表されている。
【００６１】
そしてキャラクタとして表示するときには、サブパーツのポイントに割当てられた座標にしたってパーツを配置するように合成し、キャラクタ１２０４を表示する。図９のＳ９０１のキャラクタ表示（静止画）は、このようにして合成して表示されたものである。
【００６２】
このように各サブパーツは座標により位置が管理されているため、一部のサブパーツを取替えて表情に変化を持たせることができる。
【００６３】
同図の１２０５は、パーツ口の１つのバリエーションを他のバリエーションであるサブパーツに取替えて表示したものである。
【００６４】
また、同図の１２０６は、サブパーツのポイントの座標を変更して表情に変化を与えて表示したものである。すなわち、眼鏡のサブパーツのポイントと、口のサブパーツのポイントの座標を変更したものである。
【００６５】
実施例1は上述のように相手通話者の音声レベルに応答して通話者に似せたキャラクタの口の部分が画面上で動くから、実の動画に比べて遥かに少ない情報量で音声だけでない画像をともなった通話を楽しむことができる。
【実施例２】
【００６６】
実施例１は、音声信号レベルが所定値を超えているかどうかに同期してキャラクタの動作を表現するものであったが、実施例２では、通話中に挿入される制御信号に応答したアニメーション表示である。実施例１に関して説明した主要な部分は共通であるのでそこで用いた図なども参照し、異なる点を中心に説明する。
【００６７】
図１１を参照すると、実施例２で使用される信号処理部３０８は、自端末制御信号抽出部４５および相手端末制御信号挿入部４４を有する。制御信号挿入部４４は、相手携帯電話端末操作のための制御信号を、例えば音声フレームのヘッダの空きビットに入れるなどして、ベースバンド信号帯域内に挿入する。制御信号は、通話中に特定のキー操作がされたときに制御部で作成されて供給される。
【００６８】
制御信号抽出部４５は、相手端末でベースバンド帯域内に挿入した制御信号を抽出し、制御部に供給する。抽出された制御信号は制御部で解釈され、該当する制御を行う。
【００６９】
この制御信号は携帯電話端末の、通話状態におけるキー操作部のキーの種類、キーの押下動作に対応して一意に定まるように予め定めてある。図１２を参照すると、キーの種類１，２，３によって、また、キー操作の仕方が、短押し、長押し、2回押であるかよって相手端末での動作の意味を割り付けてマトリックス表示してある。
【００７０】
このマトリックスは、送信側端末および受信側端末に共通である。したがって、例えば、通話中にキー1を短押しした場合には、その押下に対応するキャラクタの笑い顔を指定する制御信号が制御部で作られ、相手側に送られる。同様にキー２の短押し、キー3の短押しはキャラクタの怒り顔および泣き顔をそれぞれ意味する。
【００７１】
制御部は制御信号の意味が、笑い顔を意味する場合には、例えば、通常の目の形状を丸い形状の目のバリエーションに変えて表示をする。怒り顔を意味する場合には、通常の眉毛から山形形状の眉毛のバリエーションに切り替えて表示をする。キャラクタの泣き顔を意味するときには、目に涙を浮かべた目のバリエーションに切り替えて表示する。
【００７２】
キー1およびキー２の２回押しはそれぞれキャラクタ表示のズームインおよびズームアウトを意味する。また、キー２の長押しは、キャラクタの背景をピカピカ光らせる動作すなわちフラッシュを意味する。
【００７３】
また、キャラクタの動作ではないが、キー1の長押しは、バイブレータの所定の周期の作動を意味する。さらに、キー３の長押しは、バイブレータの間欠動作を意味する。
【００７４】
図１３を参照すると、キャラクタの静止画が表示され（S１３１）、呼の確立が行われると（Ｓ１３２）、制御部３００（図３）は自端末制御信号抽出部４５（図１１）からの制御信号をモニターし（Ｓ１３３）、制御信号が何を意味するのかを特定し（S１３４）、その特定された内容に応じて対応するサブパーツを交換表示し、あるいはバイブレータを作動させる（Ｓ１３５）。制御信号の検出は終話が検出されるまで行われるので、制御信号によって表示に変化をもたせることができる。終話が検出されると（Ｓ１３６）キャラクタ表示終了の処理を行う（Ｓ１３７）。
【００７５】
このようにして通話をしながら通話者はその反応をキー操作で特定して送信し、相手端末の表示部にキャラクタの表情を表示させることができる。さらに、特定のキー操作で話者の反応を相手端末のバイブレータの動作によって伝えることができる。すなわち、通話により豊かな情報を与えることができるから、親しい友達同士のコミュニケーションに適している。
【実施例３】
【００７６】
実施例３は、自端末からの制御で自端末に表示している通話相手のキャラクタを動作させるものである。このような場合として例えば、相手が話していないときでも、すなわち音声レベル同期オブジェクトが動作していない場合でも、定期的に目のパーツのバリエーションを交換することでキャラクタに瞬きをさせることができる。また、頭部や肩のパーツの座標を変更することで、あたかもキャラクタが頷いているような動作をさせることができる。
【００７７】
この種のキャラクタを自端末で自ら制御して動作させての使用は、親しい友人との通話中に、相手通話者のキャラクタを他方の通話者が自らの意思で動作させるものでいわば娯楽としての利用である。
【００７８】
図１４を参照すると、キャラクタの静止画表示（Ｓ１４１）から、呼確立（Ｓ１４２）を経て、制御部は内部タイマ割込みの発生を監視する（Ｓ１４３）。割込みがあると、割込みの意味を特定し（Ｓ１４４）、その意味するところにしたがって対応サブパーツ交換表示または対応サブパーツの移動を行う（Ｓ１４５）。そして内部タイマ割込みが繰返されて動作として表現される。なお、対応サブパーツの移動は、サブパーツの座標を動かすことによって行う。
【実施例４】
【００７９】
実施例４は、音声レベルに応答したキャラクタ動作、内部タイマ割込みによる動作、制御信号による動作を統合的に扱うことのできる携帯電話端末の実施例である。
【００８０】
上記各実施例について説明したことの大部分が本実施例にも適用できるので、特に本実施例に関係する部分の説明にとどめる。信号処理部としては、図１１のものが使用できる。
【００８１】
図１５を参照すると、キャラクタの静止画表示（Ｓ１５１）から、呼確立（Ｓ１５２）を経て、キャラクタの動作表示のステップに入る。音声レベルを監視するタイマ割込みが発生すると（S１５３）、制御部は音声レベルを監視し（Ｓ１５７）、規定レベル値以上であるとキャラクタのサブパーツを交換する（Ｓ１５９）。音声に応答して動くキャラクタの主たる部分は口であるので、この場合は例えば口のサブパーツを交換する。音声レベルが規定値を超えないときは、例えば口元を閉じた静止状態のサブパーツを表示する（Ｓ１６０）。
【００８２】
音声レベル監視タイマ割込みが発生していない場合には、自端末の表示部に表示されているキャラクタの自端末の操作によって行う割込みの発生があるかを監視する（Ｓ１５４）。割込みがあると、その意味を特定し（Ｓ１６１）、サブパーツ交換または対応サブパーツを移動して表示する。このような割込みの例としては既に実施例３で説明している。
【００８３】
ステップＳ１５４で割込の発生がない場合、相手端末から送られる制御信号の有無を検出する（Ｓ１５５）。検出するとその制御信号の意味を特定し（S１６３）、対応するパーツのサブパーツ交換を行い、あるいはバイブレータを作動させる（Ｓ１６４）。このような制御信号の例としては実施例２に関して説明している。
【００８４】
制御信号が検出されないときは、終話の検出（Ｓ１５６）を行い、検出されるとキャラクタ表示終了処理を行う（Ｓ１６５）。終話の検出がない場合には、音声レベル監視タイマ割込（Ｓ１５３）に戻って処理が行われる。
【００８５】
上述のように本実施例では、通話者の会話での反応や意思に基づいて多彩なキャラクタの動作表示を行うことができる。
【実施例５】
【００８６】
次に、キャラクタデータの提供サービス方法について、図１６を参照して説明する。
【００８７】
図において、１０１は携帯電話端末、１１１はメールサーバ、１１２は、コンテンツ作成サーバ(コンテンツエンジン)である。携帯電話機端末のカメラ２３（図２）で、例えば、端末の所有者の顔写真を撮影し（Ｓ１７１）、メール機能を用いてその写真ファイルをメールに添付して（Ｓ１７２）キャラクタデータを提供するするサービスプロバイダのメールサーバ１１１に送信する（Ｓ１７３）。メールサーバはメールを受信し（Ｓ１７４）、添付ファイルを抽出し（Ｓ１７５）、コンテンツエンジン１１２に転送する。コンテンツエンジンは、後述するようにデータの加工を行い（Ｓ１７６）、そのデータをメールサーバに転送すると、メールサーバは加工データファイルをメールに添付して（Ｓ１７７）携帯電話端末１０１にネットワーク経由で送る（Ｓ１７８）。
【００８８】
携帯電話端末１０１はメールを受信すると（Ｓ１７９）、データファイルを抽出し（１８０）、記憶部３０９（図３）のキャラクタデータ部３１１に保存するとともに、電話帳データ部３１２に電話番号に対応させてキャラクタのIDの登録をする（Ｓ１８１）（図７）。
【００８９】
コンテンツエンジンでのデータの加工を、図8を参照して説明する。コンテンツエンジンは受け取った写真データを単純化するレタッチ加工によりキャラクタ画像のデータにする（Ｓ８１）。次に、そのキャラクタの主要部を取り出して複数のパーツに分ける（Ｓ８２）。この作業はキャラクタの輪郭を判定してトリミングすることによって行う。各パーツを編集し、次に、その変形形状を表わすバリエーションを複数作り出す（Ｓ８３）。このとき、パーツの自然な形態を意識的に誇張して変形することですなわちデフォルメ（Deformer）を加え、あるいは単純化する。このような加工作業によって、写真データに比べ、総データ量を削減することができる。
【００９０】
個々のサブパーツは、実施例1に関して図1０で説明したように、後に組み合わせてキャラクタ表示ができるように情報として表示上基準となるポイントおよびその座標をもっている。
【００９１】
このようにして作成されたパーツ、サブパーツをグループ化した上で、メールサーバ経由で携帯電話端末にキャラクタデータを送信する。
【実施例６】
【００９２】
この発明には実施例の各種変形が考えられる。例えば、図4および図１１において、音声レベルの監視を音声CODEC４２の出力側のアナログ信号で行っているが、入力側で監視してもよい。
【００９３】
また、図１１の信号処理部では制御信号挿入部４４、制御信号抽出部４５を設けキャラクタ動作の制御信号を送っているが、制御信号の送り方として、一方の端末から相手の端末にメールを送信して通知し、その通知を制御信号としてキャラクタを動作させてもよい。この場合リアルタイムでの相手端末操作は困難になるが、制御信号挿入部、制御信号抽出部を必要としないため携帯電話端末の構造を単純化できる。
【００９４】
また、実施例２において、キー操作による相手端末動作は図１２に示すものに限定されるものではない。例えば、キー操作に応じて相手端末の表示部の表示面背景色を変化させ、あるいはキャラクタ部分や特定のパーツ（目や口）の表示色を変化させるようにしてもよい。
【００９５】
また、先の実施例の説明では、携帯電話端末はカメラ機能を備えているとして説明したが、カメラ機能のない携帯電話端末の場合、PC等からインターネットでメールサーバへキャラクタ作成依頼を行ってもよい。この場合依頼元のPCアドレスとキャラクタを利用する携帯電話端末アドレスが異なるので、最終アドレスを指定してキャラクタ作成サービスプロバイダに送る。
【００９６】
また、メール機能を持たない携帯電話端末についても、PC等からメールサーバへキャラクタ作成を依頼することになるが、出来上がったキャラクタデータはPC等が受ける。この場合最終的にキャラクタデータを携帯電話端末に保存するために、シリアルインタフェースやＢｌｕｅｔｏｏｔｈインタフェースを用いてデータ転送をする。
【図面の簡単な説明】
【００９７】
【図１】本発明の携帯電話端末とネットワークとの信号のシークエンスおよび携帯電話端末における処理を説明する図である。
【図２】本発明の携帯電話端末の外観を示す図である。
【図３】本発明の携帯電話端末内部の機能ブロック図である。
【図４】本発明の実施例1に用いる信号処理部の内部を示す機能ブロック図である。
【図５】実施例1に関する音声信号レベルの変動波形を示す図である。
【図６】本発明で表示されるキャラクタの表示例を示す図である。
【図７】電話帳のデータ構造を示す図である。
【図８】キャラクタ、キャラクタの主要部パーツおよび主要部の変形形状を示すバリエーションの関係を示す図ある。
【図９】実施例１のキャラクタ動作を示すフローチャートである。
【図１０】キャラクタのサブパーツおよびサブパーツを配置したキャラクタを示す図である。
【図１１】実施例２に用いる信号処理部の内部を示す機能ブロック図である。
【図１２】キーの種類、キー操作の仕方によって決まる相手端末動作の関係を示すマトリックスである。
【図１３】実施例2のキャラクタ動作を説明するためのフローチャートである。
【図１４】実施例３のキャラクタ動作を説明するためのフローチャートである。
【図１５】実施例４のキャラクタ動作を説明するためのフローチャートである。
【図１６】キャラクタデータの提供サービス方法について説明する図である。
【符号の説明】
【００９８】
１０１，１０３  携帯電話端末  
１０２  ネットワーク
１１１  メールサーバ
１１２  コンテンツ作成サーバ
１２０１  眼鏡のサブパーツ
１２０２  口のサブパーツ
１２０３  顔の輪郭のサブパーツ
２１  キー操作部
２２  表示部
２３  カメラ部
２４  受話器
２５  送話器
２６  ヘッドセット
２７  シリアルインタフェース
３００  制御部
３０１  各種キー
３０２  表示部
３０３  マイク
３０４  スピーカ
３０５  アンテナ
３０６  シリアルインタフェース
３０７  送受信部
３０８  信号処理部
３０９  記憶部
３１１  キャラクタデータ部
３１２  電話帳データ部
４１  変復調部
４２  音声CODEC
４３  音声レベル監視部
４４  制御信号挿入部
４５  制御信号抽出部
【図１】
2005064939.tif 000003
【図２】
2005064939.tif 000004
【図３】
2005064939.tif 000005
【図４】
2005064939.tif 000006
【図５】
2005064939.tif 000007
【図６】
2005064939.tif 000008
【図７】
2005064939.tif 000009
【図８】
2005064939.tif 000010
【図９】
2005064939.tif 000011
【図１０】
2005064939.tif 000012
【図１１】
2005064939.tif 000013
【図１２】
2005064939.tif 000014
【図１３】
2005064939.tif 000015
【図１４】
2005064939.tif 000016
【図１５】
2005064939.tif 000017
【図１６】
2005064939.tif 000018