(57)【要約】【課題】  特殊な画像処理機能を備えていない装置であっても表現力を持たせた３Ｄアニメーションを撮像画像に合成させる。【解決手段】  携帯電話１ａは、合成画像作成システムサーバ６から提示される画像データを選択していくことで、合成画像作成システムサーバ６で３Ｄアニメーションファイルを生成する。該３Ｄアニメーションファイルをメールに添付して送信する場合、合成画像作成システムサーバ６は、受信側の表示性能を判別し、受信側が３Ｄアニメーションファイルを表示可能であれば、メール本文と３Ｄアニメーションファイルと送信し、表示不可であれば、メール本文と３ＤアニメーションファイルをＧＩＦファイル（複数）に変換して送信する。【選択図】      図１
2008097621.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
この撮像手段によって撮像された画像データに合成させる３Ｄアニメーションデータの動きを選択する動き選択手段と、
前記撮像手段によって撮像された画像データと前記動き選択手段によって動きが選択された３Ｄアニメーションデータとを合成する合成手段と、
この合成手段によって合成された状態を表示する表示手段と、
を具備することを特徴とする携帯端末。
【請求項２】
前記合成させる３Ｄアニメーションデータの環境光の光源方向を設定する設定手段を更に具備し、
前記合成手段は、前記設定手段によって設定された光源方向を背景データとした３Ｄアニメーションデータを前記撮像手段によって撮像された画像データと合成することを特徴とする請求項１に記載の携帯端末。
【請求項３】
複数の画像データから著作権フラグが付加されていない画像データを選択する画像データ選択手段を更に具備し、
前記合成手段は、前記撮像手段によって撮像された画像データと前記動き選択手段によって動きが選択された３Ｄアニメーションデータとに加え、前記画像データ選択手段によって選択された画像データを更に合成することを特徴とする請求項１に記載の携帯端末。
【請求項４】
前記表示手段によって合成された状態を記憶する記憶手段を更に具備することを特徴とする請求項１乃至３の何れかに記載の携帯端末。
【請求項５】
撮像部と表示部とを備えた携帯端末が具備するコンピュータを、
前記撮像部にて撮像された画像データに合成させる３Ｄアニメーションデータの動きを選択する動き選択手段、
前記撮像部にて撮像された画像データと前記動き選択手段によって動きが選択された３Ｄアニメーションデータとを合成する合成手段、
この合成手段によって合成された状態を前記表示部に表示させる表示制御手段、
として機能させることを特徴とする合成画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像機能を備えた携帯端末及び合成画像表示プログラムに関する。
【背景技術】
【０００２】
従来より、携帯電話はメール作成・送受信機能を備え、最近では、デジタルカメラ等の撮像機能を内蔵することにより、作成したメール内容に撮像された画像を添付して送信する機能を備えたものが存在する。このような携帯電話において、メールに添付する画像データを予め用意された画像データと合成したり、あるいは画像データを立体化したり、さらに、アクションなどの効果を持たせたりして、画像データの表現力を持たせ、メールによる情報伝達をより効果的にすることが考えられる。例えば、画像の立体化としては、撮像画像からテクスチャ画像データを作成するシステムが知られており、撮像した画像により豊かな表現力を持たせる場合、有効な方法である（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２０００−２０７３５号公報 第１１頁 図１６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような画像合成や立体化、アクション付加などの画像加工処理は、一般に、コンピュータなどの処理能力の高い装置でない限り、携帯電話のような特殊な画像処理機能を備えていない装置では不可能であった。また、加工された画像データは、一般に知られるＪＰＥＧ、ＰＮＧといった画像形式では展開不可能なデータであり、また、ファイルサイズも複数かつ非常に大きく、特に無線によるダウンロードの際はデータエラーを起こす危険性があり、携帯電話などのような装置で実行可能するには困難であった。
【０００５】
そこで本発明は、特殊な画像処理機能を備えていない装置であっても表現力を持たせた３Ｄアニメーションを撮像画像に合成させることができる携帯端末、及び、合成画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明は、撮像手段と、この撮像手段によって撮像された画像データに合成させる３Ｄアニメーションデータの動きを選択する動き選択手段と、前記撮像手段によって撮像された画像データと前記動き選択手段によって動きが選択された３Ｄアニメーションデータとを合成する合成手段と、この合成手段によって合成された状態を表示する表示手段と、を具備することを特徴とする。
【０００７】
また、請求項２記載の発明は、上記請求項１記載の発明において、前記合成させる３Ｄアニメーションデータの環境光の光源方向を設定する設定手段を更に具備し、前記合成手段は、前記設定手段によって設定された光源方向を背景データとした３Ｄアニメーションデータを前記撮像手段によって撮像された画像データと合成することを特徴とする。
【０００８】
また、請求項３記載の発明は、上記請求項１記載の発明において、複数の画像データから著作権フラグが付加されていない画像データを選択する画像データ選択手段を更に具備し、前記合成手段は、前記撮像手段によって撮像された画像データと前記動き選択手段によって動きが選択された３Ｄアニメーションデータとに加え、前記画像データ選択手段によって選択された画像データを更に合成することを特徴とする。
【０００９】
また、請求項４記載の発明は、上記請求項１乃至３の何れかに記載の発明において、前記表示手段によって合成された状態を記憶する記憶手段を更に具備することを特徴とする。
【００１０】
上記目的達成のため、請求項５記載の発明は、撮像部と表示部とを備えた携帯端末が具備するコンピュータを、前記撮像部にて撮像された画像データに合成させる３Ｄアニメーションデータの動きを選択する動き選択手段、前記撮像部にて撮像された画像データと前記動き選択手段によって動きが選択された３Ｄアニメーションデータとを合成する合成手段、この合成手段によって合成された状態を前記表示部に表示させる表示制御手段、として機能させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、特殊な画像処理機能を備えていない装置であっても表現力を持たせた３Ｄアニメーションを撮像画像に合成させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を、携帯電話によるメール送受信システムに適用した一実施例として、図面を参照して説明する。
【００１３】
Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるメール送受信システムの構成を示すブロック図である。図において、携帯電話（無線通信端末／データ通信装置）１ａ，１ｂは、撮像機能と画像メモリとを備え、自身の撮像機能で撮像した画像データの一部を切り出し、該画像データの一部と、合成画像作成システムサーバ６との間で通信しながら、該合成画像作成システムサーバ６上で３Ｄアニメーションファイルを作成する機能を備えている。
【００１４】
また、携帯電話１ａ，１ｂは、画像メモリに格納された３Ｄアニメーションファイルを合成画像作成システムサーバ６に登録する機能および該３Ｄアニメーションファイルをメールに添付して送信するように指示する機能を備えている。また、携帯電話１ａ，１ｂは、合成画像作成システムサーバ６からの３Ｄアニメーションファイル付きメールを受信する機能を備えている。なお、３Ｄアニメーションには、動作を表現できるアクションを指定することが可能となっている。
【００１５】
また、携帯電話９は、上記携帯電話１ａ，１ｂとは異なる通信サービス事業者７に接続された端末であり、３Ｄアニメーションファイルを作成する機能、および３Ｄアニメーションファイルを直接閲覧する機能を有していないが、一般的なＧＩＦファイル（ＧＩＦアニメーション）による再生機能は有している。
【００１６】
無線基地局２，２、または無線基地局２は、公衆回線網４を介して携帯電話１ａ、１ｂ、または携帯電話９のユーザが加入する通信サービス事業者（インターネットプロバイダを含む）３または７に接続する。
【００１７】
通信サービス事業者（インターネットプロバイダを含む）３は、主なサービスとして提供している携帯電話サービスに必要とする交換機３１の他、無線基地局２をＡＰ（アクセス・ポイント）として、携帯電話１ａ、１ｂをＷＷＷ５に接続するためのシステム（Ｗｅｂサーバ３２、データベース３５）、メールシステム（メールサーバ３３）を備えている。通信サービス事業者７も同様に、主なサービスとして提供している携帯電話サービスに必要とする交換機７１の他、無線基地局２をＡＰ（アクセス・ポイント）として、携帯電話９をＷＷＷ５に接続するためのシステム（Ｗｅｂサーバ７２、データベース７５）、メールシステム（メールサーバ７３）を備えている。
【００１８】
公衆回線網４は、アナログ、デジタル電話回線網である。ＷＷＷ５は、所謂インターネットである。
【００１９】
合成画像作成システムサーバ６は、ＷＷＷ５に接続するためのシステム（便宜的にＷｅｂサーバ６１、データベース６３）、メールシステム（メールサーバ６２）を備えている。該合成画像作成システムサーバ６は、携帯電話１ａ，１ｂからの要求に応じて、携帯電話で撮像された画像データに予め用意された３Ｄアニメーションを合成して作成するための各種選択画面や、最終的な３Ｄアニメーションを提示する。最終的な３Ｄアニメーションは、データベース６３に保存し、上記携帯電話１ａ，１ｂからの指示に従って、３Ｄアニメーションファイルが実行されるＷｅｂメール形式（Ｗｅｂブラウザによる閲覧可能）のメッセージを転送する。
【００２０】
このとき、相手端末が３Ｄアニメーションファイルを再生可能な端末（送信側と同一キャリアを利用する端末）であるか、３Ｄアニメーションファイルを再生不可な端末（他社のキャリアを利用する端末）であるかを判別し、３Ｄアニメーションファイルを再生可能な端末である場合には、３Ｄアニメーションファイルが添付されたメッセージをそのまま転送し、３Ｄアニメーションファイルを再生不可な端末である場合には、３ＤアニメーションファイルをＧＩＦファイルに変更してメッセージを転送する。
【００２１】
次に、図２（ａ），（ｂ）は、携帯電話１ａ，１ｂの外観図（開状態：正面図および背面図）である。本実施形態における携帯電話１ａ、１ｂは、蓋部と本体部からなる二つ折り構造である。アンテナ１１は、図１において、通信サービス事業者３の無線基地局２と交信を行うためのものである。また、スピーカ１２は、蓋部の前面側に設けられており、音声出力を行う。表示部（メイン表示部）１３は、カラー液晶であり、１２０ドット（幅）×１６０ドット（高さ）である。該表示部１３には、３Ｄアニメーションファイルの実行とメッセージとを同時に表示可能となっている。
【００２２】
キー操作部１４は、本体部の前面に設けられており、各種機能キー（メールキー１４１、アドレスキー１４２、ファンクションキー１４３）、テンキー１４４などからなる。メールキー１４１は、メール機能を起動し、メールメニューを表示するためのものである。アドレスキー１４２は、送信先のメールアドレスを選択する際に用いるアドレス帳を開くためのものである。テンキー１４４は、電話番号や文字の入力の際に使用する。マイク１５は、本体部の下部に設けられており、音声入力を行う。
【００２３】
サブ表示部１６は、蓋部の背面に設けられている。ＬＥＤ１７は、透明、または半透明部材で構成され、着信の際、発光する。撮像レンズ１８は、蓋部２の背面、上記サブ表示部１６の下部に設けられている。報知スピーカ１９は、着信などを報知するものであり、蓋部を本体部に閉じた状態でも報知音が聞こえるように、本体部の裏面に配置されている。
【００２４】
次に、図３は、携帯電話１ａ，１ｂの構成を示すブロック図である。無線送受信部２０は、無線によりアンテナ１１を介して音声やデータ（メールデータやＷｅｂメールメッセージ）を送受し変調／復調する。無線信号処理部２１は、無線送受信部２０で受信した音声やデータ（メールデータやＷｅｂメールメッセージ）を復調し、あるいは無線送受信部２０へ送信するための音声やデータを変調するなどの無線通信に必要な処理をする。制御部２２は、各種動作および全体の動作を制御する。
【００２５】
画像メモリ２３は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像され、画像処理プログラム領域２４１３に格納されたプログラムにより圧縮符号化された画像ファイルや、ＷＷＷ５を介してダウンロードした画像ファイルを格納するためのメモリである。ＲＯＭ２４は、書換可能なＦｌａｓｈ ＲＯＭで構成され、本発明の特徴となる、後述の各種プログラムを格納する。
【００２６】
ドライバ２５は、表示部１３を駆動させる。ドライバ２６は、サブ表示部１６を駆動させる。加入者情報記憶部２７は、本携帯電話１を呼び出すための電話番号や、操作者（加入者）のＩＤ等、プロフィールデータを格納する。ＲＯＭ２８は、制御部１８を制御する各種プログラムなどを格納する。ＲＡＭ２９は、無線通信端末として必要な各種データを記憶し、かつ制御部２５が動作する上で必要なデータを格納するとともに、メールデータも格納記憶する。
【００２７】
音声信号処理部２００は、マイク１５から入力された音声信号を符号化処理したり、無線信号処理部２１から出力された信号に基づいて復号化してスピーカ１２を駆動させ、音声を出力する。撮像モジュール１８１は、ＣＣＤ、若しくはＣＭＯＳで構成され、カラー画像を取り込む。ＤＳＰ１８２は、撮像モジュール１８１に取り込まれた画像を符号化処理する。報知デバイス１９２は、報音スピーカ１９、バイブレータ１９１、ＬＥＤ１７を駆動させるためのドライバである。
【００２８】
次に、図４は、携帯電話１ａ，１ｂにおけるＲＯＭ２４のメモリエリアの構成を示す概念図である。該ＲＯＭ２４は、本実施形態の特徴であるソフトウェアプログラムを格納する。ＲＯＭ２４は、メールソフトウェアプログラム領域２４１、画像処理プログラム領域２４１３およびその他のプログラム領域２４１４からなる。
【００２９】
メールソフトウェアプログラム領域２４１は、既知のメールソフトウェアプログラムを格納する領域２４１１と、３Ｄアニメーションファイルビューワプログラムを格納する領域２４１２とに分かれている。なお、３Ｄアニメーションファイルビューワプログラムは、合成画像作成システムサーバ６を介してＷＷＷ５からダウンロードするようにしてもよい。
【００３０】
画像処理プログラム領域２４１３は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像され、デジタル符号化された画像を、ＪＰＥＧ方式やＰＮＧ、ＧＩＦ方式で圧縮処理するための画像処理プログラムを格納する。該画像処理プログラムは、本第１の実施の形態では、３Ｄアニメーションファイル作成に際して、撮像した画像データの一部から３Ｄアニメーションに用いる領域を抽出するような加工処理も行う。その他のプログラム領域２４１４は、上記以外のアプリケーションプログラムなどが格納する。
【００３１】
次に、図５は、携帯電話１ａ，１ｂにおけるＲＡＭ２９のメモリエリアの構成を示す概念図である。ＲＡＭ２９は、アドレス帳データ格納領域２９１、メールデータ格納領域２９２、添付ファイル格納領域２９３およびその他・ワークメモリ２９４からなる。アドレス帳データ格納領域２９１は、氏名、電話番号、メールアドレス等を一組のレコードとして複数格納する。
【００３２】
メールデータ格納領域２９２は、メールソフトウェアを使用して作成されたメールデータや、受信したメールデータを格納する。添付ファイル格納領域２９３は、メールにファイルが添付されている場合、このファイルを格納する。その他・ワークメモリ２９４は、その他のワークメモリとして各種データを格納する。また、３Ｄアニメーションファイル格納領域２９５は、メールに添付されてきた３Ｄアニメーションファイルを格納する。なお、携帯電話９についても、無線送受信部２０、無線信号処理部２１による変復調処理を除き基本的な回路構成は同様だが、携帯電話１ａ，１ｂとは異なる通信サービス会社に属するため、３Ｄアニメーションファイル格納領域２９５を備えていない。
【００３３】
Ａ−２．第１実施形態の動作
次に、上述した第１実施形態の動作について説明する。ここで、図６および図７は、本第１実施形態による３Ｄアニメーションファイル作成処理を説明するためのフローチャートである。なお、当該処理の実行に先立って、携帯電話１ａでは、撮影モジュール１８１、ＤＳＰ１８２により撮像され、画像データが画像メモリ２３に格納されているものとする。
【００３４】
（１）３Ｄアニメーション作成処理
携帯電話１ａにおいて、トップページ表示状態で「３Ｄアニメーションを作る」が選択されると、合成画像作成システムサーバ６にアクセスする（ステップＳａ１０）。合成画像作成システムサーバ６では、ログオン処理を行い（ステップＳｂ１０）、作成手順ＣＧＩを読み出し、画像選択画面を転送する（ステップＳｂ１２）。
【００３５】
携帯電話１ａでは、図９（ａ）に示す画像選択画面を表示し（ステップＳａ１２）、図９（ｂ）に示すように、予め撮影した携帯電話端末内の画像ファイルを選択する（ステップＳａ１４）。次に、図９（ｃ）に示すように、選択した画像ファイルを表示部１３に表示した状態で、切り取り枠１３１を表示して３Ｄアニメーションとして用いる部分、すなわち合成範囲を選択する（ステップＳａ１６）。次に、送信指示が検出されたか否かを判断し（ステップＳａ１８）、送信指示が検出されなければ、ステップＳａ１４へ戻り、送信指示が検出されると、合成範囲を合成画像作成システムサーバ６へ送信する。この段階で、携帯電話１ａ（１ｂ）には、図１０（ａ）に示すように、切り取りが完了した合成範囲部分の画像が表示される。合成画像作成システムサーバ６では、合成範囲を受信すると、カテゴリ選択画面を転送する（ステップＳｂ１４）。
【００３６】
携帯電話１ａでは、図１０（ｂ）に示すカテゴリ選択画面を表示し（ステップＳａ２０）、どのような３Ｄアニメーションを作成するかカテゴリを選択する（ステップＳａ２２）。次に、送信指示が検出されたか否かを判断し（ステップＳａ２４）、送信指示が検出されなければ、ステップＳａ２２へ戻り、送信指示が検出されると、選択したカテゴリを合成画像作成システムサーバ６へ送信する。合成画像作成システムサーバ６では、カテゴリを受信すると、選択されたカテゴリに属するＢＯＤＹ選択画面を転送する（ステップＳｂ１６）。
【００３７】
携帯電話１ａでは、図１０（ｃ）に示すＢＯＤＹ選択画面を表示し（ステップＳａ２６）、３Ｄアニメーションに用いるＢＯＤＹを選択する（ステップＳａ２８）。次に、送信指示が検出されたか否かを判断し（ステップＳａ３０）、送信指示が検出されなければ、ステップＳａ２８へ戻り、送信指示が検出されると、選択したＢＯＤＹを合成画像作成システムサーバ６へ送信する。合成画像作成システムサーバ６では、ＢＯＤＹを受信すると、３Ｄアニメーションの動きを決めるためのアクション選択画面を転送する（ステップＳｂ１８）。
【００３８】
携帯電話１ａでは、図１０（ｄ）に示すアクション選択画面を表示し（ステップＳａ３２）、３Ｄアニメーションの動きを決めるためのアクションを選択する（ステップＳａ３４）。次に、送信指示が検出されたか否かを判断し（ステップＳａ３６）、送信指示が検出されなければ、ステップＳａ３４へ戻り、送信指示が検出されると、選択したアクションを合成画像作成システムサーバ６へ送信する。合成画像作成システムサーバ６では、アクションを受信すると、３ＤアニメーションファイルとＧＩＦフィルとを作成し、データベース６３に格納する（ステップＳｂ２０）。次に、作成した３Ｄアニメーションを携帯電話１ａに転送する（ステップＳｂ２２）。
【００３９】
携帯電話１ａでは、３Ｄアニメーションビューワを起動し、図１０（ｅ）に示すように、受信した３Ｄアニメーションを表示する（ステップＳａ３８）。次に、図１０（ｆ）の画面で、作成した３Ｄアニメーションファイルをダウロードする指示があったか否かを判断し（ステップＳａ４０）、ダウンロードの指示があると、３Ｄアニメーションファイルを、ＲＡＭ２９の３Ｄアニメーションファイル格納領域２９５へ格納する（ステップＳａ４２）。なお、図１０（ｆ）の画面で、Ｗｅｂメールによるメッセージ送信を選択することも可能である。
【００４０】
ここで、合成画像作成システムサーバ６で作成される３Ｄアニメーションファイルについて説明する。図８は、３Ｄアニメーションファイルの構成を示す概念図である。３Ｄアニメーションファイルは、ヘッダ部とデータソース部とからなる。ヘッダ部は、ファイル名データ、著作権フラグデータ、プロパティデータ、画像サイズデータからなる。データソース部は、背景データ部、データサイズ部、実体データ部からなる。背景データ部には、背景色データ、環境光強さデータ、平行光強さデータ、平行光光源方向データが含まれる。データサイズ部には、モデルデータサイズ、アニメーションデータサイズ、テクスチャデータサイズ、環境ビットマップデータサイズ、視点データサイズが含まれる。実体データ部には、モデルデータの実体、アニメーションデータの実体、テクスチャデータの実体、環境ビットマップデータの実体、視点データの実体（コマ毎に視点位置が格納され、複数のコマを順次読み出してサイクリックにアクションを起こさせるデータ）が含まれる。本発明の３Ｄアニメーションデータの特徴は、図示するように、１つのファイルとして構成されているところにある。
【００４１】
これは、従来の３Ｄアニメーションを実行するシステムが少なくとも３つのファイル（モデルデータ、アニメーションデータ、テクスチャデータ）により構成されるが、このようなファイル構造をそのまま携帯電話のような小型の表示デバイスを備え、且つ、システムに負荷をかけ難い機器に適用させるのは困難であるために１ファイルとして構成されている。また、図８のファイル構成において、実行に不可欠なデータはなるべくファイルの先頭に設定し、それ以外データ、すなわち、携帯電話単体で後で設定可能なデータについてはファイルの後の方に設定されている。すなわち、環境ビットマップデータの実体や視点データの実体等は、存在しなくても３Ｄアニメーションを表示できるため、省略してもファイル全体に影響の無い位置に設定されている。
【００４２】
（２）メール送信処理
次に、上述した３Ｄアニメーションファイルを添付してメールを送信する動作について説明する。ここで、図１１は、メール送信処理を説明するためのフローチャートである。まず、携帯電話１ａでは、メール送信が検出されたか否かを判断し（ステップＳａ５０）、メール送信が指示されなければ当該処理を終了する。一方、メール送信が指示されると、合成画像作成システムサーバ６にメール送信を要求する。合成画像作成システムサーバ６では、メール作成ＣＧＩを起動させてメール送信要求に従って、Ｗｅｂメール作成画面を読み出し、携帯電話１ａに転送する（ステップＳｂ５０）。
【００４３】
携帯電話１ａでは、Ｗｅｂメール作成画面上で、メール本文を入力するメール作成処理、送信先のメールアドレスを入力するアドレス入力処理を実行する（ステップＳａ５２）。次に、決定指示を検出したか否かを判断し（ステップＳａ５４）、決定指示がない場合には、ステップＳａ５２へ戻り、編集作業を継続する。一方、決定指示が検出されると、決定指示が合成画像作成システムサーバ６へ送信される。合成画像作成システムサーバ６では、ユーザＩＤ登録されている３Ｄアニメーションファイルのリストを作成して送信する。
【００４４】
携帯電話１ａでは、上記自身のユーザＩＤで登録している３Ｄアニメーションファイルのリストを表示する（ステップＳａ５６）。ユーザは、該３Ｄアニメーションファイルのリストからメールに添付する３Ｄアニメーションファイルを選択する（ステップＳａ５８）。次に、決定指示を検出したか否かを判断し（ステップＳａ６０）、決定指示がない場合には、ステップＳａ５８へ戻り、３Ｄアニメーションファイルの選択を継続する。一方、決定指示が検出されると、決定指示が合成画像作成システムサーバ６へ送信される。合成画像作成システムサーバ６では、作成されたメール（テキスト）に選択された３Ｄアニメーションファイルを添付したＷｅｂメールコンテンツを作成し、データベースにＵＲＬを付けて保存する（ステップＳｂ５４）。
【００４５】
（３）メール着信処理
次に、上述した３Ｄアニメーションファイルが添付されたメールを受信する動作について説明する。ここで、図１２は、メール着信処理を説明するためのフローチャートである。まず、携帯電話１ｂ（または９）では、メールを着信したか否かを判断し（ステップＳｃ１０）、メールを着信していなければ、当該処理を終了する。一方、メールを着信した場合には、報知スピーカ１９により着信を報知し（ステップＳｃ１２）、ユーザによる開封指示が検出されたか否かを判断する（ステップＳｃ１４）。そして、開封指示がない場合には、ステップＳｃ１２へ戻り、着信報知を継続する。
【００４６】
一方、開封指示があると、メールヘッダを表示し（ステップＳｃ１６）、ＵＲＬ指示を検出したか否かを判断する（ステップＳｃ１８）。ここで、ユーザがメールに記述されているＵＲＬを指示すると、合成画像作成システムサーバ６にアクセスする。
【００４７】
合成画像作成システムサーバ６では、携帯電話１ｂ（または９）からアクセスを受けると、アクセスを要求した端末の認識情報（メーカー名、型番、ブラウザのバージョン等）を判別するための端末確認処理を行い（ステップＳｂ６０）、３Ｄアニメーションデータの表示が可能であるか否かを判断する（ステップＳｂ６２）。そして、アクセス要求した端末が３Ｄアニメーションデータを表示可能である場合、すなわち、携帯電話１ｂであった場合には、メール本文と３ＤアニメーションファイルとからなるＷｅｂメールコンテンツを転送する（ステップＳｂ６４）。
【００４８】
一方、アクセス要求した端末が３Ｄアニメーションデータを表示不可である場合、すなわち、異なるキャリアの携帯電話９であった場合には、メール本文とＧＩＦファイルからなるＷｅｂメールコンテンツを転送する（ステップＳｂ６６）。
【００４９】
携帯電話１ｂ（または９）では、受信したファイルに添付される画像ファイルの再生に対応するビューワを起動する（ステップＳｃ２０）。すなわち、携帯電話１ｂの場合には、３Ｄアニメーションビューワとブラウザを起動し、携帯電話９の場合には、Ｗｅｂブラウザを起動する。次いで、合成画像作成システムサーバ６からのメール本文と３Ｄアニメーションファイル（またはＧＩＦファイル）とを表示し（ステップＳｃ２２）、当該処理を終了する。
【００５０】
上述した第１実施形態によれば、合成画像作成システムサーバ６と連携させながら、３Ｄアニメーションファイルを作成するようにしたので、演算能力の低い携帯電話１ａでも、撮像した画像データを一部とする３Ｄアニメーションファイルを作成することができる。また、３Ｄアニメーションの共通部分のデータ（ＢＯＤＹ、アクション）、３Ｄアニメーションファイルを、合成画像作成システムサーバ６に保存しておくので、携帯電話のようにＣＰＵの処理能力やメモリ容量に限度があっても、３Ｄアニメーションファイルを作成することができる。また、メール着信側の端末の能力を判別し、それに応じたファイル形式で送信するので、同じキャリアの端末以外であっても、３Ｄアニメーションを表示させることができる。
【００５１】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。上述した第１実施形態では、予め撮影した画像データを元に合成画像作成システムサーバ６と連携して３Ｄアニメーションファイルを作成したが、本第２実施形態では、撮影からの一連の操作により合成画像作成システムサーバ６と連携して３Ｄアニメーションファイルを作成することを特徴としている。なお、システム、携帯電話の構成は、上述した第１実施形態と同じであるので説明を省略する。
【００５２】
Ｂ−１．第２実施形態の動作
次に、本第２実施形態の動作について説明する。ここで、図１３は、本第２実施形態の動作（一部）を説明するためのフローチャートである。なお、第１実施形態と同じ部分についてはこれを参照して説明を省略する。
【００５３】
まず、携帯電話１ａにおいて、トップページ表示状態で「３Ｄアニメーションを作る」が選択されると、合成画像作成システムサーバ６にアクセスする（図６のステップＳａ１０）。合成画像作成システムサーバ６では、ログオン処理を行い（図６のステップＳｂ１０）、作成手順ＣＧＩを読み出し、作成手順ＣＧＩを起動し、切り取り枠データを転送する（図１３のステップＳｂ１２）。
【００５４】
携帯電話１ｂでは、切り取り枠データを受信してバッファリングし（ステップＳａ７０）、撮像モジュール１８１、ＤＳＰ１８２を起動する（ステップＳａ７２）。次に、切り取り枠１３１付きで、レンズ１８、撮像モジュール１８１を介して撮像している映像をリアルタイムでスルー表示し（ステップＳａ７４）、シャッターが操作されたか否かを判断する（ステップＳａ７６）。シャッターが操作されなければ、ステップＳａ７４へ戻り、切り取り枠１３１付きのスルー表示を継続する。
【００５５】
ユーザは、表示部１３に表示される切り取り枠１３１付きの撮像されている映像を見ながら、切り取り枠１３１内に所望する被写体が入るように構図を決め、シャッターを操作する。そして、シャッターが操作されると、撮像された画像データから切り取り枠１３１内の画像データを抽出し、該切り取り枠１３１内の画像データを合成画像作成システムサーバ６へ送信し、図６のステップＳａ２０へ進む。合成画像作成システムサーバ６では、携帯電話１ａから切り取り枠１３１内の画像データを受信すると、カテゴリ選択画面を転送し（ステップＳｂ７２）、図６のステップＳｂ１６へ進む。
【００５６】
以下、上述した第１実施形態と同様の処理により３Ｄアニメーションファイルを作成する。また、メール送信処理、メール着信処理についても上述した第１実施形態と同様である。
【００５７】
上述した第２実施形態によれば、その場で撮像した画像データから３Ｄアニメーションファイルを直接作成することができる。
【００５８】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。前述した第１または第２実施形態では、合成画像作成システムサーバ６との連携により３Ｄアニメーションファイルを作成したが、本第３実施形態では、携帯電話１ａ（または１ｂ）自体で３Ｄアニメーションファイルを作成することを特徴としている。
【００５９】
Ｃ−１．第３実施形態の構成
本第３実施形態によるシステム構成、携帯電話１ａ（または１ｂ）の構成は、基本的には、前述した第１実施形態と同じであるが、端末自体で３Ｄアニメーションファイルを作成するために、携帯電話１ａ（または１ｂ）のＲＯＭ２４のメモリ構成は図１４に示すようになる。すなわち、３Ｄアニメーションファイルビューワプログラムに代えて、３Ｄアニメーションデータ作成プログラムを格納する領域２４２を設けている。
【００６０】
Ｃ−１．第３実施形態の動作
次に、本第３実施形態の動作について説明する。ここで、図１５および図１６は、本第３実施形態による携帯電話１ａ（または１ｂ）の動作を説明するためのフローチャートである。まず、３Ｄアニメーションファイル作成モードにおいて、メニューを表示し（ステップＳａ８０）、該メニューから新規作成が選択されたか否かを判断する（ステップＳａ８２）。そして、新規作成が選択されると、切り取り枠データを読み込み（ステップＳａ８４）、撮像モジュール１８１、ＤＳＰ１８２を起動する（ステップＳａ８６）。
【００６１】
次に、切り取り枠１３１付きで、レンズ１８、撮像モジュール１８１を介して撮像している映像をリアルタイムでスルー表示し（ステップＳａ８８）、シャッターが操作されたか否かを判断する（ステップＳａ９０）。シャッターが操作されなければ、ステップＳａ８８へ戻り、切り取り枠１３１付きのスルー表示を継続する。
【００６２】
ユーザは、表示部１３に表示される切り取り枠１３１付きの撮像されている映像を見ながら、切り取り枠１３１内に所望する被写体が入るように構図を決め、シャッターを操作する。そして、シャッターが操作されると、撮像された画像データから切り取り枠１３１内の画像データを抽出し、該切り取り枠１３１内の画像データをバッファリングする（ステップＳａ９２）。
【００６３】
次に、３Ｄアニメーションに用いるＢＯＤＹ選択画面を表示し（ステップＳａ９８）、ＢＯＤＹが選択されたか否かを判断する（ステップＳａ１００）。ユーザは、ＢＯＤＹ選択画面から３Ｄアニメーションに用いるＢＯＤＹを選択する。そして、ＢＯＤＹが選択されると、環境光・光源設定画面を表示し（ステップＳａ１０２）、環境光・光源の設定完了が検出されたか否かを判断する（ステップＳａ１０４）。ユーザは、環境光・光源を設定する。
【００６４】
そして、環境光・光源が設定されると、３Ｄ化された画像データのプレビューを表示し（ステップＳａ１０６）、決定が検出されたか否かを判断する（ステップＳａ１０８）。ユーザは、３Ｄ化された画像データのプレビューを確認し、これでＯＫならば決定を指示し、変更する場合には、変更を指示する。ここで、ユーザが変更を指示した場合には、変更部分に応じて、ステップＳａ８０、Ｓａ９８、Ｓａ１０２へ戻る。
【００６５】
一方、ユーザが決定を指示した場合には、背景画像選択画面を表示し（ステップＳａ１１２）、新規作成が選択されたか否かを判断する（ステップＳａ１１４）。ここで、ユーザが新規作成を選択した場合には、レンズ１８、撮像モジュール１８１を介して撮像している映像をリアルタイムでスルー表示し（ステップＳａ１１６）、シャッターが操作されたか否かを判断する（ステップＳａ１１８）。シャッターが操作されなければ、ステップＳａ１１６へ戻り、スルー表示を継続する。そして、シャッターが操作されると、そのときの撮影した画像をバッファリングする（ステップＳａ１２４）。
【００６６】
一方、背景画像選択画面から新規作成を選択しなかった場合には、著作権フラグのない画像ファイルを読み出してリスト表示し（ステップＳａ１２０）、いずれかが選択されたか否かを判断する（ステップＳａ１２２）。そして、いずれかが選択されると、該選択された画像をバッファリングする（ステップＳａ１２４）。
【００６７】
いずれの場合も、３Ｄ化された画像データと背景画像とを合成し、再度、プレビュー表示する（ステップＳａ１２６）。ユーザは、プレビューを確認し、これでＯＫならば決定を指示し、変更する場合には、変更を指示する。ここで、ユーザが変更を指示した場合には、ステップＳａ１１２へ戻り、再度、背景画像の選択を行う。
【００６８】
一方、ユーザが決定を指示した場合には、アクション選択画面を表示し（ステップＳａ１３０）、いずれかのアクションが選択されたか否かを判断する（ステップＳａ１３２）。そして、いずれかのアクションが選択されると、３Ｄ化された画像データの完成状態を表示する（ステップＳａ１３４）。ユーザは、完成状態を確認し、保存・上書きを行うか否かを指示する。そして、保存・上書きが指示されると、３Ｄ化された画像データとアクションとから３Ｄアニメーションファイルを作成し、上書き更新処理を行う（ステップＳａ１３８）。一方、破棄が指示された場合には、バッファをクリアし、ステップＳａ８０のメニュー表示へ戻るか、当該処理を終了する（ステップＳａ１４０）。
【００６９】
上述した第３実施形態によれば、携帯電話の演算能力やメモリ容量に余裕があった場合、自端末内で３Ｄアニメーションファイルを作成するようにしたので、別途サーバを設置することなく、容易に３Ｄアニメーションファイルをメール送信することができる。
【００７０】
また、第３実施の形態においては、３Ｄアニメーションファイルを撮像時からすべて携帯電話で作成するようにしたが、これに限らず、携帯電話では負担のかかる処理（例えば、モデルデータやテクスチャデータの作成処理）を第１、および、第２の実施の形態の、合成画像作成システムサーバ６に依存し、携帯電話ではその他のデータ（例えばアニメーションデータ、環境ビットマップデータ、視点データ）を作成するようにしても良い。
【図面の簡単な説明】
【００７１】
【図１】本発明の第１実施形態によるメール送受信システムの構成を示すブロック図である。
【図２】携帯電話１ａ，１ｂの外観図（開状態：正面図および背面図）である。
【図３】携帯電話１ａ，１ｂの構成を示すブロック図である。
【図４】ＲＯＭ２４のメモリエリアの構成を示す概念図である。
【図５】ＲＡＭ２９のメモリエリアの構成を示す概念図である。
【図６】本第１実施形態による３Ｄアニメーションファイル作成処理を説明するためのフローチャートである。
【図７】本第１実施形態による３Ｄアニメーションファイル作成処理を説明するためのフローチャートである。
【図８】３Ｄアニメーションファイルの構成を示す概念図である。
【図９】本第１実施形態による携帯電話１ａの画面遷移例を示す模式図である。
【図１０】本第１実施形態による携帯電話１ａの画面遷移例を示す模式図である。
【図１１】本第１実施形態によるメール送信処理を説明するためのフローチャートである。
【図１２】本第１実施形態によるメール着信処理を説明するためのフローチャートである。
【図１３】本発明の第２実施形態の動作（一部）を説明するためのフローチャートである。
【図１４】本発明の第３実施形態によるＲＯＭ２４のメモリ構成を示す概念図である。
【図１５】本第３実施形態による携帯電話１ａ（または１ｂ）の動作を説明するためのフローチャートである。
【図１６】本第３実施形態による携帯電話１ａ（または１ｂ）の動作を説明するためのフローチャートである。
【符号の説明】
【００７２】
１ａ，１ｂ  携帯電話
２  無線基地局
４  公衆回線網
５  ＷＷＷ
９  携帯電話
３，７  通信サービス事業者
３１  交換機
３２  Ｗｅｂサーバ
３３  メールサーバ
３５  データベース
４  公衆回線網
５  ＷＷＷ
６  合成画像作成システムサーバ
６１  Ｗｅｂサーバ
６２  メールサーバ
６３  データベース
７１  Ｗｅｂサーバ
７２  メールサーバ
７５  データベース
１１  アンテナ
１２  スピーカ
１３  表示部
１４  キー入力部
１５  マイク
１６  サブ表示部
１７  ＬＥＤ
１８  撮像レンズ
１９  報知スピーカ
２０  無線送受信部
２１  無線信号処理部
２２  制御部
２３  画像メモリ
２４  Ｆｌａｓｈ  ＲＯＭ
２５  ドライバ
２６  ドライバ
２７  加入者情報記憶部
２８  システムＲＯＭ
２９  ＲＡＭ
１８１  撮像モジュール
１８２  ＤＳＰ
１９２  ドライバ
２００  音声信号処理部
【図１】
2008097621.tif 000003
【図２】
2008097621.tif 000004
【図３】
2008097621.tif 000005
【図４】
2008097621.tif 000006
【図５】
2008097621.tif 000007
【図６】
2008097621.tif 000008
【図７】
2008097621.tif 000009
【図８】
2008097621.tif 000010
【図９】
2008097621.tif 000011
【図１０】
2008097621.tif 000012
【図１１】
2008097621.tif 000013
【図１２】
2008097621.tif 000014
【図１３】
2008097621.tif 000015
【図１４】
2008097621.tif 000016
【図１５】
2008097621.tif 000017
【図１６】
2008097621.tif 000018