(57)【要約】【課題】  動画像から効率よくフレームを抽出する。【解決手段】  復号化部７１が動画像データＭ１を構成するフレームのうち、それのみで符号化が可能なＩフレームデータＦｒＩ０のみを復号化する。パレットデータ生成部７２が復号化されたＩフレームデータＦｒＩ１からパレットデータＰ０を生成し、処理部７３がパレットデータＰ０を参照してＩフレームデータＦｒＩ１のみから減色動画像生成用フレームＦｒ３を生成する。そして、フレーム合成部７４が減色動画像生成用フレームＦｒ３を合成し、さらに符号化部７５が符号化を行って、減色動画像データＲ１を生成する。【選択図】          図５
2005136567.tif 000002
【特許請求の範囲】
【請求項１】
フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像を、所定数の色を有する減色動画像に変換する際に参照されるパレットデータを生成する生成手段を備えたパレットデータ生成装置において、
前記生成手段は、前記フレーム内予測符号化フレームから前記パレットデータを生成する手段であることを特徴とするパレットデータ生成装置。
【請求項２】
前記生成手段は、前記フレーム内予測符号化フレームとともに、前記順方向フレーム間予測符号化フレームからも前記パレットデータを生成する手段であることを特徴とする請求項１記載のパレットデータ生成装置。
【請求項３】
前記生成手段は、前記減色動画像の出力先のフレームレートに応じて、前記フレーム内予測符号化フレームから前記パレットデータを生成するか、前記フレーム内予測符号化フレームおよび前記順方向フレーム間予測符号化フレームから前記パレットデータを生成するかを選択する手段であることを特徴とする請求項１記載のパレットデータ生成装置。
【請求項４】
フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像から所定数のフレームをサンプリングし、該サンプリングされた該所定数のフレームから、該所定数のフレームが連続的に切り替わる減色動画像またはマルチメディア画像を生成する画像生成手段を備えた画像生成装置において、
前記フレーム内予測符号化フレームをサンプリングするサンプリング手段を備え、
前記画像生成手段は、該サンプリング手段がサンプリングしたフレームから前記減色動画像または前記マルチメディア画像を生成する手段であることを特徴とする画像生成装置。
【請求項５】
前サンプリング手段は、前記フレーム内予測符号化フレームとともに、前記順方向フレーム間予測符号化フレームをサンプリングする手段であることを特徴とする請求項４記載の画像生成装置。
【請求項６】
前記サンプリング手段は、前記マルチメディア画像の出力先のフレームレートに応じて、前記フレーム内予測符号化フレームをサンプリングするか、前記フレーム内予測符号化フレームおよび前記順方向フレーム間予測符号化フレームをサンプリングするかを選択する手段であることを特徴とする請求項４記載の画像生成装置。
【請求項７】
請求項１から３のいずれか１項記載のパレットデータ生成装置をさらに備え、
前記画像生成手段は、前記サンプリング手段がサンプリングしたフレームを、前記パレットデータを参照して該所定数の色を有する減色動画像に変換することにより前記減色動画像を生成する手段であることを特徴とする請求項４から６のいずれか１項記載の画像生成装置。
【請求項８】
動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信装置において、
前記送信要求端末装置の機種を判別する機種判別手段と、
請求項４から７のいずれか１項記載の画像生成装置とを備え、
該送信要求端末装置の機種が、動画像を表示できないが減色動画像またはマルチメディア画像を表示できる場合に、前記要求された動画像を減色動画像またはマルチメディア画像に変換し、該減色動画像または該マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とする動画像配信装置。
【請求項９】
動画像が添付された電子メールを該電子メールの送信先である送信先端末装置に送信するメール中継装置において、
前記送信先端末装置の機種を判別する機種判別手段と、
請求項４から７のいずれか１項記載の画像生成装置とを備え、
前記送信先端末装置の機種が前記動画像を表示できないが減色動画像またはマルチメディア画像を表示できる場合に、前記添付された動画像を減色動画像またはマルチメディア画像に変換し、該減色動画像または該マルチメディア画像を前記動画像に代えて前記送信先端末装置に送信することを特徴とするメール中継装置。
【請求項１０】
フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像を、所定数の色を有する減色動画像に変換する際に参照されるパレットデータを生成するパレットデータ生成方法において、
前記フレーム内予測符号化フレームから前記パレットデータを生成することを特徴とするパレットデータ生成方法。
【請求項１１】
フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像から所定数のフレームをサンプリングし、該サンプリングされた該所定数のフレームから、該所定数のフレームが連続的に切り替わる減色動画像またはマルチメディア画像を生成する画像生成方法において、
前記フレーム内予測符号化フレームのみをサンプリングし、
該サンプリングしたフレームから前記減色動画像または前記マルチメディア画像を生成することを特徴とする画像生成方法。
【請求項１２】
フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像を、所定数の色を有する減色動画像に変換する際に参照されるパレットデータを生成するパレットデータ生成方法をコンピュータに実行させるためのプログラムにおいて、
前記フレーム内予測符号化フレームから前記パレットデータを生成する手順を有することを特徴とするプログラム。
【請求項１３】
フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像から所定数のフレームをサンプリングし、該サンプリングされた該所定数のフレームから、該所定数のフレームが連続的に切り替わる減色動画像またはマルチメディア画像を生成する画像生成方法をコンピュータに実行させるためのプログラムにおいて、
前記フレーム内予測符号化フレームのみをサンプリングする手順と、
該サンプリングしたフレームから前記減色動画像または前記マルチメディア画像を生成する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を減色動画像に変換する際に用いられるパレットデータを生成する装置および方法、動画像から減色動画像やＦｌａｓｈ（登録商標）形式等のマルチメディア画像を生成する画像生成装置および方法、動画像を携帯端末装置等に配信する動画像配信装置、動画像が添付された電子メールを中継して送信先に送信するメール中継装置並びにパレットデータ生成方法および画像生成方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラやスキャナ等により取得される画像は、ＲＧＢ各色８ビットの合計２４ビットの色すなわち約１６７７万色の色を表現することが可能である。しかしながら、画像を再生する装置によっては、これよりも少ない（例えば２５６色）の色数しか表現できない場合がある。また、ウェブサイトにおいて利用頻度が高いｇｉｆやｐｎｇ等の画像フォーマットが扱うことが可能な色は２５６色である。したがって、デジタルカメラ等により取得された画像を、表現可能な色数が少ない再生装置に表示したり、ｇｉｆやｐｎｇ等の画像フォーマットに変換する場合には、１６７７万色の色数を２５６色に減色する減色処理を行う必要がある。
【０００３】
従来よりこのような減色処理は、減色処理を行う画像を２５６色で表現するのに最適な２５６色のパレット色からなるパレットデータを生成し、パレットデータのパレット色の中から、画素毎に変換すべき色を選択して各画素を減色していくことにより行っている。
【０００４】
また、デジタルビデオカメラにより取得された動画像をリアルタイムで減色処理して、静止画像が連続的に切り替わることによる動きのある画像（以下減色動画像とする）を生成する方法が提案されている（特許文献１参照）。この方法は、動画像に含まれる１／６０秒毎に変化するフレームをコマ落ちさせることなくリアルタイムで減色処理するために、各フレーム毎にパレットデータを生成するのではなく、数フレーム毎にパレットデータを生成し、数フレーム単位で１つのパレットデータを用いて減色処理を行う方法である。
【０００５】
一方、複数のフレームをコマ送り表示させつつ音声と同期させながらインタラクティブに表示可能なフォーマットの画像を生成することも行われている。このようなフォーマットの画像としては、例えばMacromedia社が開発したＦｌａｓｈ（登録商標）が挙げられる。
【０００６】
Ｆｌａｓｈとは、音声やベクターグラフィックスのアニメーションを組み合わせたＷｅｂ表示用ベクトル型グラフィックアニメーションであり、ＳＷＦというファイルフォーマットで表現され、ベクトル表現された図形や写真等のグラフィックスアニメーション等を音声と同期させながら表示画面上においてインタラクティブに表示することができる。このようなＦｌａｓｈを用いることにより、複数のフレームがコマ送り表示されるマルチメディア画像を生成することができる。
【０００７】
また、Ｆｌａｓｈは上述したｇｉｆやｐｎｇ等の減色動画像を扱うことが可能であるが、これに限定されるものではなく、ＪＰＥＧフォーマット等の種々のフォーマットの画像を扱うことが可能である。
【０００８】
一方、カメラ付き携帯電話機等の携帯端末装置の機能の向上は著しく、通信速度の向上とも相まって、動画像を撮影し、撮影した動画像を電子メールに添付して送信したり、動画像コンテンツを配信する動画像配信サーバにアクセスして、所望とする動画像コンテンツをダウンロードして再生可能な携帯端末装置が提案されている。
【０００９】
ここで、動画像を構成するフレームとしては、そのフレーム内でのみ圧縮を行うことによりそのフレーム自身で画像を構成することが可能なフレーム内符号化フレーム、フレーム内圧縮の他に時間軸順方向のみの予測を取り入れ、フレーム内符号化フレームとの差異を元にした圧縮を行った順方向フレーム間予測符号化フレーム、およびフレーム内圧縮の他に前後フレームとの差異を利用した双方向予測的圧縮を採用した双方向フレーム間予測符号化フレームがある。順方向フレーム間予測符号化フレームは、フレーム内の情報とその前のフレーム内符号化フレームまたは順方向フレーム間予測符号化フレームの情報から復元されるため、フレーム内符号化フレームに比べると圧縮率は高くなる。また、双方向フレーム間予測符号化フレームは、順方向フレーム間予測符号化フレームよりもさらに圧縮率は高くなる。
【００１０】
動画像のフォーマットがＭＰＥＧである場合は、フレーム内符号化フレームはＩフレーム（Intra Picture）、順方向フレーム間予測符号化フレームはＰフレーム（Predictive Picture）、双方向フレーム間予測符号化フレームはＢフレーム（Bidirectionally Predictive Picture）と称される。そして、ＭＰＥＧにおいては、ＧＯＰ（Group of Picture）という固まりフレームの単位で圧縮・伸長が行われる。例えば、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ（ＩはＩフレーム、ＰはＰフレーム、ＢはＢフレーム）のように、１５フレーム単位でＧＯＰが構成される。
【特許文献１】特開平１１−２５９６４０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、カメラ付きの携帯装置を用いて撮影することにより得られた動画像のフォーマットとしては、例えばＭＰＥＧが用いられている。ＭＰＥＧは高画質を維持しつつも高い圧縮率にて圧縮を行うことができるため、数十秒の長い動画像を撮影することが可能となっている。また、フレーム数としても１００を超える動画像を撮影することが可能である。
【００１２】
しかしながら、動画像から生成される減色動画像やＦｌａｓｈのようなマルチメディア画像においては圧縮率や画質に限界があり、数フレームのみからしか画像を構成することができない。このため、減色処理を行う際に用いられるパレットを生成するためのフレームや、減色動画像およびマルチメディア画像を生成するフレームの抽出の仕方を工夫しないと、減色動画像およびマルチメディア画像の画質が低下したり、減色動画像およびマルチメディア画像の生成に長時間を要するものとなってしまう。
【００１３】
本発明は上記事情に鑑みなされたものであり、動画像から効率よくフレームを抽出することを目的とする。
【課題を解決するための手段】
【００１４】
本発明によるパレットデータ生成装置は、フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像を、所定数の色を有する減色動画像に変換する際に参照されるパレットデータを生成する生成手段を備えたパレットデータ生成装置において、
前記生成手段が、前記フレーム内予測符号化フレームから前記パレットデータを生成する手段であることを特徴とするものである。
【００１５】
なお、本発明によるパレットデータ生成装置においては、前記生成手段を、前記フレーム内予測符号化フレームとともに、前記順方向フレーム間予測符号化フレームからも前記パレットデータを生成する手段としてもよい。
【００１６】
また、本発明によるパレットデータ生成装置においては、前記生成手段を、前記減色動画像の出力先のフレームレートに応じて、前記フレーム内予測符号化フレームから前記パレットデータを生成するか、前記フレーム内予測符号化フレームおよび前記順方向フレーム間予測符号化フレームから前記パレットデータを生成するかを選択する手段としてもよい。
【００１７】
本発明による画像生成装置は、フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像から所定数のフレームをサンプリングし、該サンプリングされた該所定数のフレームから、該所定数のフレームが連続的に切り替わる減色動画像またはマルチメディア画像を生成する画像生成手段を備えた画像生成装置において、
前記フレーム内予測符号化フレームをサンプリングするサンプリング手段を備え、
前記画像生成手段は、該サンプリング手段がサンプリングしたフレームから前記減色動画像または前記マルチメディア画像を生成する手段であることを特徴とするものである。
【００１８】
なお、本発明による画像生成装置においては、前サンプリング手段を、前記フレーム内予測符号化フレームとともに、前記順方向フレーム間予測符号化フレームをサンプリングする手段としてもよい。
【００１９】
また、本発明による画像生成装置においては、前記サンプリング手段を、前記マルチメディア画像の出力先のフレームレートに応じて、前記フレーム内予測符号化フレームをサンプリングするか、前記フレーム内予測符号化フレームおよび前記順方向フレーム間予測符号化フレームをサンプリングするかを選択する手段としてもよい。
【００２０】
また、本発明による画像生成装置においては、本発明によるパレットデータ生成装置をさらに備えるものとし、
前記画像生成手段を、前記サンプリング手段がサンプリングしたフレームを、前記パレットデータを参照して該所定数の色を有する減色動画像に変換することにより前記減色動画像を生成する手段としてもよい。
【００２１】
本発明による動画像配信装置は、動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信装置において、
前記送信要求端末装置の機種を判別する機種判別手段と、
本発明による画像生成装置とを備え、
該送信要求端末装置の機種が、動画像を表示できないが減色動画像またはマルチメディア画像を表示できる場合に、前記要求された動画像を減色動画像またはマルチメディア画像に変換し、該減色動画像または該マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とするものである。
【００２２】
本発明によるメール中継装置は、動画像が添付された電子メールを該電子メールの送信先である送信先端末装置に送信するメール中継装置において、
前記送信先端末装置の機種を判別する機種判別手段と、
本発明による画像生成装置とを備え、
前記送信先端末装置の機種が前記動画像を表示できないが減色動画像またはマルチメディア画像を表示できる場合に、前記添付された動画像を減色動画像またはマルチメディア画像に変換し、該減色動画像または該マルチメディア画像を前記動画像に代えて前記送信先端末装置に送信することを特徴とするものである。
【００２３】
本発明によるパレットデータ生成方法は、フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像を、所定数の色を有する減色動画像に変換する際に参照されるパレットデータを生成するパレットデータ生成方法において、
前記フレーム内予測符号化フレームから前記パレットデータを生成することを特徴とするものである。
【００２４】
本発明による画像生成方法は、フレーム内予測符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームからなる動画像から所定数のフレームをサンプリングし、該サンプリングされた該所定数のフレームから、該所定数のフレームが連続的に切り替わる減色動画像またはマルチメディア画像を生成する画像生成方法において、
前記フレーム内予測符号化フレームのみをサンプリングし、
該サンプリングしたフレームから前記減色動画像または前記マルチメディア画像を生成することを特徴とするものである。
【００２５】
なお、本発明によるパレットデータ生成方法および画像生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２６】
本発明によるパレットデータ生成装置および方法によれば、フレーム内符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームのうち、フレーム内符号化フレームからパレットデータを生成するようにしたものである。ここで、フレーム内符号化フレームは、単独で画像を再現することが可能であり、動画像には数フレーム毎に必ず含まれているものである。このため、パレットデータを生成するためのフレームを効率よく抽出することができる。さらに、抽出したフレームのみを復号化すれば他のフレームを復号化しなくてもパレットデータを生成できるため、パレットデータを効率よく生成することができる。
【００２７】
また、フレーム内符号化フレームとともに順方向フレーム間予測符号化フレームをも用いてパレットデータを生成することにより、生成されたパレットデータを用いて減色動画像を生成した際に、フレーム内符号化フレームのみから生成されたパレットデータを用いる場合と比較して、高画質の減色動画像を生成することができる。
【００２８】
また、減色動画像の出力先のフレームレートに応じて、フレーム内符号化フレームからパレットデータを生成するか、フレーム内符号化フレームおよび順方向フレーム間予測符号化フレームからパレットデータを生成するかを選択することにより、出力先のフレームレートに応じたパレットデータを生成することができ、その結果、出力先のフレームレートに応じた画質の減色動画像を生成することができる。
【００２９】
本発明による画像生成装置および方法によれば、フレーム内符号化フレームおよび順方向フレーム間予測符号化フレームを含む複数フレームのうち、フレーム内符号化フレームをサンプリングして減色動画像またはマルチメディア画像を生成するようにしたものである。ここで、フレーム内符号化フレームは、単独で画像を再現することが可能であり、動画像には数フレーム毎に必ず含まれているものである。このため、減色動画像またはマルチメディア画像を生成するためのフレームを効率よく抽出することができる。さらに、抽出したフレームのみを復号化すれば他のフレームを復号化しなくても減色動画像またはマルチメディア画像を生成できるため、減色動画像またはマルチメディア画像を効率よく生成することができる。
【００３０】
また、フレーム内符号化フレームとともに順方向フレーム間予測符号化フレームをもサンプリングして減色動画像またはマルチメディア画像を生成することにより、フレーム内符号化フレームのみから生成された減色動画像またはマルチメディア画像よりも単位時間当たりのフレーム数が多い減色動画像またはマルチメディア画像を生成することができ、これにより、より高画質の減色動画像またはマルチメディア画像を生成することができる。
【００３１】
また、減色動画像またはマルチメディア画像の出力先のフレームレートに応じて、フレーム内符号化フレームのみをサンプリングするか、フレーム内符号化フレームおよび順方向フレーム間予測符号化フレームをサンプリングするかを選択することにより、出力先のフレームレートに応じた減色動画像またはマルチメディア画像を生成することができ、その結果、出力先のフレームレートに応じた画質の減色動画像またはマルチメディア画像を生成することができる。
【００３２】
本発明の動画像配信装置によれば、動画像の送信を要求した送信要求端末装置の機種が判別され、その送信要求端末装置の機種が、動画像を表示できないが減色動画像またはマルチメディア画像を表示できる場合に、本発明による画像生成装置と同様に動画像から減色動画像またはマルチメディア画像が生成され、減色動画像またはマルチメディア画像が動画像に代えて送信要求端末装置に送信される。このため、携帯端末装置が動画像を表示できなくても、減色動画像またはマルチメディア画像により高画質の動画像を擬似的に表示することができる。
【００３３】
本発明によるメール中継装置によれば、動画像が添付された電子メールの送信先である送信先端末装置の機種が判別され、その送信先端末装置の機種が、動画像を表示できないが減色動画像またはマルチメディア画像を表示できる場合には、本発明による動画像変換装置と同様に動画像から減色動画像またはマルチメディア画像が生成され、マルチメディア画像が動画像に代えて送信先端末装置に送信される。このため、携帯端末装置が動画像を表示できなくても、減色動画像またはマルチメディア画像により電子メールに添付されて送信された高画質の動画像を擬似的に表示することができる。
【発明を実施するための最良の形態】
【００３４】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるパレットデータ生成装置、画像生成装置および動画像配信装置を適用した動画像配信システムの構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態による動画像配信システムは、動画像配信サーバ１を備え、動画像コンテンツ作成装置であるパソコン２等において作成した動画像データＭ０を動画像配信サーバ１に保管し、携帯電話機、ＰＨＳ、ＰＤＡ等の携帯端末装置３から動画像の配信のリクエストを携帯電話通信網を介して動画像配信サーバ１に対して行って、動画像配信サーバ１から携帯端末装置３に動画像データＭ０を配信するものである。
【００３５】
なお、本実施形態においては、動画像データＭ０のフォーマットはＭＰＥＧとし、動画像データＭ０を構成する各フレームは、そのフレーム内でのみ圧縮を行うことによりそのフレーム自身で画像を構成するフレーム内符号化フレームであるＩフレーム、フレーム内圧縮の他に時間軸順方向のみの予測を取り入れ、フレーム内符号化フレームとの差異を元にした圧縮を行った順方向フレーム間予測符号化フレームであるＰフレーム、およびフレーム内圧縮の他に前後フレームとの差異を利用した双方向予測的圧縮を採用した双方向フレーム間予測符号化フレームであるＢフレームからなるものとする。
【００３６】
図１に示すように、動画像配信サーバ１は、動画像蓄積部１１と、リクエスト受信部１２と、機種判別部１３と、動画像フォーマット変換部１４と、動画像変換部１５と、画像出力部１６とを備える。
【００３７】
動画像蓄積部１１は、パソコン２が作成した動画像データＭ０を複数蓄積する。なお、動画像データＭ０は所定の圧縮形式により符号化されて動画像蓄積部１１に蓄積される。
【００３８】
リクエスト受信部１２は、携帯端末装置３が送信した動画像配信のリクエストを受信する。なお、携帯端末装置３が送信した動画像配信のリクエストには、リクエストを行う動画像データＭ０のファイル名および携帯端末装置３の機種を表す機種情報が含まれる。
【００３９】
機種判別部１３は、リクエストに含まれる機種情報に基づいて、携帯端末装置３の機種を判別する。
【００４０】
動画像フォーマット変換部１４は、リクエストに含まれるファイル名を有する動画像データＭ０を動画像蓄積部１１から読み出し、さらに動画像データＭ０を復号化して機種判別部１３が判別した携帯端末装置３の機種に応じて、読み出した動画像データＭ０のフォーマットを変換する。この際、動画像フォーマット変換部１４は、機種とフォーマットとの関係を表すテーブルを参照して動画像データＭ０のフォーマットを変換する。
【００４１】
図２は機種とフォーマットとの関係を表すテーブルを示す図である。図２に示すように、テーブルＴ１は、携帯端末装置３が携帯電話機である場合の機種毎（Ａ００１，Ａ００２，Ｂ００１等）に、動画像の表示の可否、マルチメディア画像の表示の可否、画面サイズ、表示可能色数、表示可能な減色動画像のコマ数、扱うことが可能なデータ容量（単位ＫＢ）が割り当てられている。そして、動画像フォーマット変換部１４は、テーブルＴ１を参照して、リクエストを行った機種の表示画面サイズおよび表示可能色数に適合するように動画像データＭ０のフォーマットを変換してフォーマット変換済みの動画像データＭ１を生成する。なお、動画像データＭ１は符号化される。
【００４２】
動画像変換部１５は、リクエストを行った携帯端末装置３が動画像を表示できない機種である場合に、さらにリクエストを行った携帯端末装置３がマルチメディア画像を表示可能であるか否かを判定し、マルチメディア画像を表示可能である場合には、フォーマット済みの動画像データＭ１をマルチメディア画像データＦ１に変換する。また、マルチメディア画像も表示できない場合には、フォーマット済みの動画像データＭ１を減色動画像データＲ１に変換する。
【００４３】
図３は動画像変換部１５の詳細な構成を示す概略ブロック図である。図３に示すように、動画像変換部１５は、動画像入力部５１と、出力フォーマット決定部５２と、マルチメディア画像生成部５３と、減色動画像生成部５４と、生成画像出力部５５とを備える。
【００４４】
動画像入力部５１は、フォーマット変換済みの動画像データＭ１の動画像変換部１５への入力を受け付ける。
【００４５】
出力フォーマット決定部５２は、テーブルＴ１を参照して、リクエストを行った携帯端末装置３がマルチメディア画像を表示可能である場合には、動画像データＭ１をマルチメディア画像生成部５３に入力する。また、マルチメディア画像も表示できない場合には、動画像データＭ１を減色動画像生成部５４に入力する。
【００４６】
マルチメディア画像生成部５３は、動画像データＭ１からマルチメディア画像データＦ１を生成する。図４はマルチメディア画像生成部５３の詳細な構成を示す概略ブロック図である。図４に示すようにマルチメディア画像生成部５３は、符号化制御部６１と、復号化部６２と、フレーム内符号化部６３と、フォーマット成形部６４とを備える。
【００４７】
符号化制御部６１は、最終的に得られるマルチメディア画像データＦ１のデータ容量がリクエストを行った携帯端末装置３が扱うことが可能なデータ容量（以下データ容量Ｋとする）以下となるように復号化部６２およびフレーム内符号化部６３を制御する。なお、データ容量Ｋは圧縮されたマルチメディア画像データＦ１を取り扱うことが可能なデータ容量Ｋ１およびこれを展開した場合にデータを取り扱うことが可能なデータ容量Ｋ２の双方を含む。
【００４８】
復号化部６２は、動画像データＭ１を構成する複数のフレームデータＦｒ０からＩフレームを表すＩフレームデータＦｒＩ０のみを抽出し、これを復号化して復号化済みのＩフレームデータＦｒＩ１を取得する。ここで、本実施形態においては、動画像データＭ１のフォーマットはＭＰＥＧであり、ＭＰＥＧフォーマットには、動画像データＭ１を構成するフレームの種類を表す情報がフレーム単位で付与されている。例えば、フォーマットがＭＰＥＧ１の場合、フレームは、シーケンス層およびＧＯＰ層の下位のピクチャ層に含まれるが、ピクチャ層のＰＣＴ（Picture type）というデータには、そのピクチャ層により表されるフレームが、Ｉフレーム、ＰフレームおよびＢフレームのいずれであるかを表す情報が含まれている。また、フォーマットがＭＰＥＧ４の場合には、ＶＯＰ（Video Object Plane）にその内部に格納されているフレームが、Ｉフレーム、ＰフレームおよびＢフレームのいずれであるかを表す情報が含まれている。したがって、復号化部６２は、動画像データＭ１に含まれるＰＣＴやＶＯＰ等の情報を用いて、動画像データＭ１を構成するフレームデータからＩフレームデータＦｒＩ０のみを抽出し、これを復号化して復号化済みのＩフレームデータＦｒＩ１を生成する。
【００４９】
フレーム内符号化部６３は、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるようにＩフレームデータＦｒＩ１のそれぞれをＪＰＥＧ形式にて圧縮して圧縮済みのフレームデータＦｒ２を生成する。さらに、フレーム内符号化部６３は、圧縮済みのフレームデータＦｒ２をフォーマット成形部６４においてフォーマットを成形することにより生成されるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ１以下となるか否かおよび展開後のマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ２以下となるかを判定する。そしてこの判定が肯定された場合には圧縮済みのフレームデータＦｒ２をフォーマット成形部６４に入力する。一方、この判定が否定された場合には、その旨の情報を符号化制御部６１に送信する。符号化制御部６１はこの旨の情報を受信すると、さらにサンプリングするフレーム数を少なくするよう復号化部６２を再制御するとともに、圧縮率を高くするようフレーム内符号化部６３を再制御する。
【００５０】
すなわち、フレームが単一の色のみからなる等単純な画像であるか、細かな被写体を含む等により複雑なものであるかによって、圧縮済みのフレームデータＦｒ２のデータ容量は異なるものとなる。また、マルチメディア画像データＦ１の展開後のデータ容量も、単純な画像か複雑な画像かによって異なるものとなる。このため、フレームの複雑さによっては生成されたマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下とならない場合がある。したがって、フォーマット成形部６４において生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下とならない場合に、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるように、再度サンプリングおよびフレームデータＦｒ１の符号化を行うようにしたものである。
【００５１】
フォーマット成形部６４は、圧縮済みのフレームデータＦｒ２をＦｌａｓｈフォーマットに成形してマルチメディア画像データＦ１を生成する。具体的には、各フレームデータＦｒ２の表示間隔等、各フレームをコマ送り表示させるために必要な情報をフレームデータＦｒ２に付与しつつ各フレームデータＦｒ２を並べることによりフレームデータＦｒ２のフォーマットを成形してマルチメディア画像データＦ１を生成する。なお、マルチメディア画像データＦ１に音声を付与したい場合には、フォーマット成形部６４において音声データがマルチメディア画像データＦ１に含められる。
【００５２】
減色動画像生成部５４は、リクエストを行った携帯端末装置３が動画像およびマルチメディア画像を表示できない機種である場合に、フォーマット済みの動画像データＭ１を減色動画像データＲ１に変換する。図５は減色動画像生成部５４の詳細な構成を示す概略ブロック図である。図５に示すように減色動画像生成部５４は、復号化部７１と、パレットデータ生成部７２と、処理部７３と、フレーム合成部７４と、符号化部７５とを備える。
【００５３】
復号化部７１は、マルチメディア画像生成部５３の復号化部６２と同様に、動画像データＭ１を構成するフレームデータからＩフレームデータＦｒＩ０のみを抽出し、これを復号化して復号化済みのＩフレームデータＦｒＩ１を生成する。この際、テーブルＴ１を参照して、減色動画像データＲ１を送信する携帯端末装置３が再生可能なコマ数に対応するようにＩフレームデータＦｒＩ０を抽出する。なお、マルチメディア画像生成部５３の復号化部６２が生成したＩフレームデータＦｒＩ１を用いることにより、減色動画像生成部５４の復号化部７１を省略することができる。
【００５４】
パレットデータ生成部７２はＩフレームデータＦｒＩ１から減色処理に必要な色数のパレットデータＰ０を生成する。具体的にはメディアンカット法等を用いてパレットデータＰ０を生成することができるが、これに限定されるものではない。
【００５５】
ここで、メディアンカット法は、ＩフレームデータＦｒＩ１を構成するＲＧＢの各色データをＲＧＢの３次元空間にプロットし、３次元空間上の色データが存在する範囲におけるメディアン値を求め、これをパレットデータを構成する１つのパレット色とし、さらにメディアン値により空間を２つに分割して、分割された空間におけるメディアン値を求めることを、パレットデータの色数（例えば２５６色）が得られるまで繰り返すことにより、パレットデータを構成するパレット色を求める方法である。
【００５６】
処理部７３は、ＩフレームデータＦｒＩ１に対して、パレットデータＰ０を用いて減色処理を施す。減色処理の方法としては、誤差拡散法等を用いることができる。これにより、減色されたフレームデータＦｒ３が生成される。
【００５７】
フレーム合成部７４は、処理部７３が生成したフレームデータＦｒ３を時系列順に並べて１つのファイルとなるように合成することにより、各フレームの画像が連続的に切り替わって再生される減色生動画像データＲ０を生成する。
【００５８】
符号化部７５は、減色生動画像データＲ０を符号化して減色動画像データＲ１を生成する。この際、携帯端末装置３が取り扱うことが可能なデータ容量Ｋ以下となるように符号化を行う。なお、減色動画像データＲ１のファイルフォーマットとしては、アニメーションｇｉｆやｐｎｇのアニメーションｇｉｆに対応するフォーマットのｍｎｇを用いることができるが、これに限定されるものではない。
【００５９】
生成画像出力部５５は、マルチメディア画像生成部５３が生成したマルチメディア画像データＦ１または減色動画像生成部５４が生成した減色動画像データＲ１を画像出力部１６に出力する。
【００６０】
次いで、第１の実施形態において行われる処理について説明する。図６は第１の実施形態において行われる処理を示すフローチャートである。携帯端末装置３が送信した動画像配信のリクエストをリクエスト受信部１２が受信すると処理が開始され、機種判別部１３がリクエストに含まれる機種情報に基づいて、携帯端末装置３の機種を判別する（ステップＳ１）。続いて、動画像フォーマット変換部１４が、リクエストに含まれるファイル名を有する動画像データＭ０を動画像蓄積部１１から読み出し（ステップＳ２）、テーブルＴ１を参照してリクエストを行った携帯端末装置３の機種に適合するように、動画像データＭ０のフォーマットを変換してフォーマット変換済みの動画像データＭ１を取得する（ステップＳ３）。
【００６１】
次いで、動画像変換部１５が動画像データＭ１の入力を受け付けるとともに（ステップＳ４）、リクエストを行った携帯端末装置３が動画像を表示できる機種であるか否かを判定する（ステップＳ５）。ステップＳ５が否定されると、出力フォーマット決定部５２がテーブルＴ１を参照して、リクエストを行った携帯端末装置３がマルチメディア画像を表示可能であるか否かを判定し（ステップＳ６）、ステップＳ６が肯定されるとマルチメディア画像生成部５３が動画像データＭ１に対してマルチメディア画像生成処理を施す（ステップＳ７）。
【００６２】
なお、ステップＳ５が肯定されるとステップＳ９に進み、生成画像出力部５５が動画像データＭ１を画像出力部１６に出力し、画像出力部１６がリクエストを行った携帯端末装置３に動画像データＭ１を送信し（ステップＳ１０）、処理を終了する。
【００６３】
図７はマルチメディア画像生成処理のフローチャートである。まず、符号化制御部６１が最終的に得られるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるように復号化部６２およびフレーム内符号化部６３を制御する（ステップＳ２１）。そして、復号化部６２がフレームデータＦｒ０からＩフレームデータＦｒＩ０のみを抽出してこれを復号化して復号化済みのＩフレームデータＦｒＩ１を生成する（ステップＳ２２）。
【００６４】
図８はＩフレームデータＦｒＩ０の復号化処理のフローチャートである。まず、動画像データＭ１を構成する全フレームについて処理が終了したか否かを判定し（ステップＳ３１）、ステップＳ３１が否定されると、処理の対象となるフレームがＩフレームであるか否かを判定する（ステップＳ３２）。ステップＳ３２が肯定されると、そのＩフレームを表すＩフレームデータＦｒＩ０を抽出し（ステップＳ３３）、抽出したＩフレームデータＦｒＩ０を復号化してＩフレームデータＦｒＩ１を生成し（ステップＳ３４）、ステップＳ３１へ戻る。なお、ステップＳ３２が否定された場合もステップＳ３１へ戻る。ステップＳ３１が肯定されると処理を終了する。
【００６５】
図７に戻り、さらに、フレーム内符号化部６３がＩフレームデータＦｒＩ１を符号化して圧縮済みのフレームデータＦｒ２を生成する（ステップＳ２３）。続いて、フレーム内符号化部６３が、フォーマット成形部６４においてフレームデータＦｒ２から生成されるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるか否かを判定する（ステップＳ２４）。ステップＳ２４が否定されると、フレーム内符号化部６３はその情報を符号化制御部６１に入力する。符号化制御部６１は最終的に得られるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるように復号化部６２およびフレーム内符号化部６３を再制御し（ステップＳ２５）、ステップＳ２２に戻る。復号化部６２およびフレーム内符号化部６３は、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるまで、ステップＳ２２以降の処理を繰り返す。
【００６６】
ステップＳ２４が肯定されると、フォーマット成形部６４がフレームデータＦｒ２をＦｌａｓｈフォーマットに成形してマルチメディア画像データＦ１を生成し（ステップＳ２６）、マルチメディア画像生成処理を終了する。
【００６７】
図６に戻り、生成画像出力部５５がマルチメディア画像生成処理により生成されたマルチメディア画像データＦ１を画像出力部１６に出力する（ステップＳ１０）。画像出力部１６はマルチメディア画像データＦ１をリクエストを行った携帯端末装置３に送信し（ステップＳ１１）、処理を終了する。
【００６８】
一方、ステップＳ６が否定されると減色動画像生成部５４が動画像データＭ１に対して減色動画像生成処理を施す（ステップＳ８）。
【００６９】
図９は減色動画像生成処理のフローチャートである。まず、復号化部７１がフレームデータＦｒ０からＩフレームデータＦｒＩ０のみを抽出してこれを復号化して復号化済みのＩフレームデータＦｒＩ１を生成する（ステップＳ４１）。このＩフレームデータＦｒＩ１の生成の処理は図８に示すフローチャートと同様の処理により行われる。そして、パレットデータ生成部７２が、ＩフレームデータＦｒＩ１からパレットデータＰ０を生成する（ステップＳ４２）。
【００７０】
次いで、処理部７３が、ＩフレームデータＦｒＩ１に対して、パレットデータＰ０を用いて減色処理を施して減色されたフレームデータＦｒ３を生成する（ステップＳ４３）。次いで、フレーム合成部７４が、処理部７３が生成したフレームデータＦｒ３を時系列順に並べることにより１つのファイルとなるように合成して減色生動画像データＲ０を生成し（ステップＳ４４）、符号化部７５が減色生動画像データＲ０を符号化して減色動画像データＲ１を生成し（ステップＳ４５）、減色処理を終了する。
【００７１】
図６に戻り、生成画像出力部５５が減色動画像生成処理により生成された減色動画像データＲ１を画像出力部１６に出力する（ステップＳ９）。画像出力部１６は減色動画像データＲ１をリクエストを行った携帯端末装置３に送信し（ステップＳ１０）、処理を終了する。
【００７２】
携帯端末装置３においては、マルチメディア画像データＦ１、減色動画像データＲ１または動画像データＭ１が受信される。ここで、携帯端末装置３が動画像を表示可能なものである場合には動画像データＭ１が送信され、動画像を表示できる。一方、携帯端末装置３が動画像を表示できないがマルチメディア画像を表示可能なものである場合にはマルチメディア画像データＦ１が送信され、動画像データＭ１からサンプリングされたフレームが連続的に切り替わる動きのある高画質の画像が表示される。
【００７３】
また、携帯端末装置３が動画像およびマルチメディア画像を表示できない場合には減色動画像データＲ１が送信され、減色動画像データＲ１に基づいて、動画像データＭ１からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
【００７４】
このように、第１の実施形態においては、動画像データＭ１を構成する複数のフレームデータＦｒ１のうち、ＩフレームデータＦｒＩのみを用いてマルチメディア画像データＦ１または減色動画像データＲ１を生成するようにしたものである。このため、減色動画像データＲ１またはマルチメディア画像データＦ１を生成するためのフレームを効率よく抽出することができる。さらに、抽出したＩフレームデータＦｒＩ０のみを復号化すれば他のフレームを復号化しなくても減色動画像データＲ１またはマルチメディア画像データＦ１を生成できるため、減色動画像データＲ１またはマルチメディア画像データＦ１を効率よく生成することができる。
【００７５】
また、動画像データＭ１を構成する複数のフレームデータＦｒ１のうち、ＩフレームデータＦｒＩのみを用いて減色処理を行うためのパレットデータＰ０を生成しているため、パレットデータＰ０を生成するためのフレームを効率よく抽出することができる。さらに、抽出したＩフレームデータＦｒＩ０のみを復号化すれば他のフレームを復号化しなくてもパレットデータＰ０を生成できるため、パレットデータＰ０を効率よく生成することができる。
【００７６】
また、リクエストを行った携帯端末装置３の特性に応じて動画像データＭ１からマルチメディア画像データＦ１を生成しているため、生成されたマルチメディア画像データＦ１をリクエストを行った携帯端末装置３に確実に表示することができる。
【００７７】
また、生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下とならない場合には、フレームデータＦｒ１の再度のサンプリングおよびフレームデータＦｒ２の再度の符号化を、生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下となるまで繰り返すようにしたため、携帯端末装置３が取り扱うことが可能なデータ容量Ｋに適合する容量のマルチメディア画像データＦ１を生成することができる。
【００７８】
また、リクエストを行った携帯端末装置３が動画像もマルチメディア画像も表示できない場合には、リクエストのあった動画像データＭ０を減色動画像データＲ１に変換して送信するようにしたため、携帯端末装置３が動画像およびマルチメディア画像を表示できなくても、画質は落ちるものの減色動画像データＲ１により動画像を擬似的に表示することができる。
【００７９】
次いで、本発明の第２の実施形態について説明する。図１０は本発明の第２の実施形態によるパレットデータ生成装置、画像生成装置およびメール中継装置を適用したメールシステムの構成を示す概略ブロック図である。図１０に示すように、第２の実施形態によるメールシステムは、メール中継サーバ１０１を備え、動画像を撮影可能なカメラ付きの携帯電話機、ＰＨＳ、ＰＤＡ等の携帯端末装置３から送信された、動画像が添付された電子メールをメール中継サーバ１０１において中継して、電子メールの送信先に送信するものである。
【００８０】
図１０に示すように、メール中継サーバ１０１は、メール受信部１１１と、動画像分離部１１２と、機種判別部１１３と、画像蓄積部１１４と、動画像変換部１１５と、画像添付部１１６と、ＵＲＬ添付部１１７と、メール送信部１１８と、リクエスト受信部１１９と、画像読み出し部１２０と、画像送信部１２１とを備える。
【００８１】
メール受信部１１１は、ある携帯端末装置３が送信した動画像を表す動画像データＭ０が添付された電子メールＥ０を受信する。
【００８２】
動画像分離部１１２は、電子メールＥ０から動画像データＭ０を分離して、電子メールＥ０の動画像データＭ０以外の情報からなるメール本体Ｅ１を生成する。なお、メール本体Ｅ１はメール本文と送信者のメールアドレス、送信先のメールアドレス等の各種情報を含むヘッダとからなる。動画像分離部１１２はメール本体Ｅ１および動画像データＭ０を機種判別部１１３に入力する。
【００８３】
機種判別部１１３は、メール本体Ｅ１のヘッダに含まれる送信先の携帯端末装置３のメールアドレスに基づいて、メールアドレスと機種とを対応づけたデータベース１１３Ａを参照して、送信先の携帯端末装置３が動画像を表示可能であるか否かを判定する。また、送信先の携帯端末装置３が、画像が添付された電子メールをそのまま受信可能なものであるか否かも判定する。
【００８４】
ここで、機種判別部１１３の判定結果は下記に示すものとなる。
【００８５】
（１）送信先の携帯端末装置３が動画像を表示可能であり、画像が添付された電子メールをそのまま受信可能である。
【００８６】
（２）送信先の携帯端末装置３が動画像を表示可能ではなく、画像が添付された電子メールをそのまま受信可能である。
【００８７】
（３）送信先の携帯端末装置３が動画像を表示可能であり、画像が添付された電子メールをそのまま受信可能でない。
【００８８】
（４）送信先の携帯端末装置３が動画像を表示可能ではなく、画像が添付された電子メールをそのまま受信可能でない。
【００８９】
上記（１）のように判定された場合、機種判別部１１３は動画像変換部１１５に処理を行わせることなく動画像データＭ０を画像添付部１１６に入力する。また、動画像分離部１１２はメール本体Ｅ１を画像添付部１１６に入力する。
【００９０】
上記（２）のように判定された場合、機種判別部１１３は動画像データＭ０を動画像変換部１１５に入力し、動画像変換部１１５に処理を行わせる。また、動画像分離部１１２はメール本体Ｅ１を画像添付部１１６に入力する。
【００９１】
上記（３）のように判定された場合、機種判別部１１３は動画像変換部１１５に処理を行わせることなく動画像データＭ０を画像蓄積部１１４に入力する。また、動画像分離部１１２はメール本体Ｅ１をＵＲＬ添付部１１７に入力する。
【００９２】
上記（４）のように判定された場合、機種判別部１１３は動画像データＭ０を動画像変換部１１５に入力し、動画像変換部１１５に処理を行わせる。また、動画像分離部１１２はメール本体Ｅ１をＵＲＬ添付部１１７に入力する。
【００９３】
画像蓄積部１１４は、動画像データＭ０および動画像変換部１１５が生成した減色動画像データＲ１を蓄積する。
【００９４】
動画像変換部１１５は、送信先の携帯端末装置３が動画像を表示できない機種である場合に、さらに送信先の携帯端末装置３がマルチメディア画像を表示可能であるか否かを判定し、マルチメディア画像を表示可能である場合には、動画像データＭ０をマルチメディア画像データＦ１に変換する。また、マルチメディア画像も表示できない場合には、動画像データＭ０を減色動画像データＲ１に変換する。なお、動画像変換部１１５は、上記第１の実施形態における動画像配信サーバ１の動画像変換部１５と同一の構成を有し、かつ同一の処理を行うため、ここでは詳細な説明は省略する。
【００９５】
画像添付部１１６は、送信先の携帯端末装置３が画像が添付された電子メールをそのまま受信可能である場合に、メール本体Ｅ１に動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１を添付して画像が添付された電子メールＥ２を生成する。
【００９６】
ＵＲＬ添付部１１７は、送信先の携帯端末装置３が画像が添付された電子メールをそのまま受信可能でない場合に、メール本体Ｅ１に動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１の画像蓄積部１１４における蓄積場所のＵＲＬを添付してＵＲＬが添付された電子メールＥ３を生成する。
【００９７】
メール送信部１１８は、電子メールＥ２または電子メールＥ３を送信先の携帯端末装置３に携帯電話通信網を介して送信する。
【００９８】
リクエスト受信部１１９は、ＵＲＬが添付された電子メールＥ３を受信した携帯端末装置３による画像のダウンロードのリクエストを受信する。なお、携帯端末装置３による動画像配信のリクエストには、動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１の蓄積先のＵＲＬが含まれる。
【００９９】
画像読み出し部１２０は、リクエスト受信部１１９が受信したリクエストに含まれるＵＲＬを参照して、動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１を画像蓄積部１１４から読み出す。
【０１００】
画像送信部１２１は、画像読み出し部１２０が読み出した動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１を、リクエストを行った携帯端末装置３に携帯電話通信網を介して送信する。
【０１０１】
次いで、第２の実施形態において行われる処理について説明する。図１１は第２の実施形態において行われる処理を示すフローチャートである。ある携帯端末装置３が送信した動画像データＭ０が添付された電子メールＥ０をメール受信部１１１が受信すると処理が開始され、動画像分離部１１２が電子メールＥ０から動画像データＭ０を分離する（ステップＳ１０１）。次いで、機種判別部１１３がメール本体Ｅ１のヘッダに含まれる送信先携帯端末装置３のメールアドレスに基づいてデータベース１１３Ａを参照して、送信先の携帯端末装置３が上記（１）〜（４）のいずれに該当するかを判定する（ステップＳ１０２）。
【０１０２】
（１）に該当する場合、図１２に示すフローチャートに進み、機種判別部１１３が動画像データＭ０を、動画像分離部１１２がメール本体Ｅ１をそれぞれ画像添付部１１６に入力する（ステップＳ１０３）。画像添付部１１６は、動画像データＭ０をメール本体Ｅ１に添付して画像が添付された電子メールＥ２を生成し（ステップＳ１０４）、メール送信部１１８が電子メールＥ２を送信先の携帯端末装置３に送信し（ステップＳ１０５）、処理を終了する。
【０１０３】
電子メールＥ２を受信した携帯端末装置３は動画像を表示可能であることから、電子メールＥ２に添付された動画像データＭ０が表示される。
【０１０４】
一方、（２）に該当する場合、図１３に示すフローチャートに進み、機種判別部１３が動画像データＭ０を動画像変換部１１５に入力し、動画像分離部１１２がメール本体Ｅ１を画像添付部１１６に入力する（ステップＳ１０６）。動画像変換部１１５は、動画像データＭ０に対して動画像変換処理を行う（ステップＳ１０７）。なお、動画像変換処理は、上記第１の実施形態と同様に、動画像データＭ１を構成する複数のフレームデータＦｒ１のうちのＩフレームデータＦｒＩ１のみを用いてマルチメディア画像データＦ１または減色動画像データＲ１を生成することにより行われる。
【０１０５】
ステップＳ１０７に続き、画像添付部１１６は、マルチメディア画像データＦ１または減色動画像データＲ１をメール本体Ｅ１に添付して画像が添付された電子メールＥ２を生成し（ステップＳ１０８）、メール送信部１１８が電子メールＥ２を送信先の携帯端末装置３に送信し（ステップＳ１０９）、処理を終了する。
【０１０６】
電子メールＥ２を受信した携帯端末装置３は動画像を表示可能ではないため、受信した電子メールＥ２に添付されたマルチメディア画像データＦ１または減色動画像データＲ１に基づいて、動画像データＭ０からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
【０１０７】
（３）に該当する場合、図１４に示すフローチャートに進み、機種判別部１１３が動画像データＭ０を画像蓄積部１１４に入力し、動画像分離部１１２がメール本体Ｅ１をＵＲＬ添付部１１７に入力する（ステップＳ１１０）。画像蓄積部１１４は動画像データＭ０を蓄積する（ステップＳ１１１）。ＵＲＬ添付部１１７は、動画像データＭ０の蓄積先のＵＲＬをメール本体Ｅ１に添付してＵＲＬが添付された電子メールＥ３を生成し（ステップＳ１１２）、メール送信部１１８が電子メールＥ３を送信先の携帯端末装置３に送信し（ステップＳ１１３）、処理を終了する。
【０１０８】
（４）に該当する場合、図１５に示すフローチャートに進み、機種判別部１１３が動画像データＭ０を動画像変換部１１５に入力し、動画像分離部１１２がメール本体Ｅ１をＵＲＬ添付部１１７に入力する（ステップＳ１１４）。動画像変換部１１５は、動画像データＭ０に対して動画像変換処理を行う（ステップＳ１１５）。画像蓄積部１１４は動画像変換処理により生成されたマルチメディア画像データＦ１または減色動画像データＲ１を蓄積する（ステップＳ１１６）。ＵＲＬ添付部１１７は、マルチメディア画像データＦ１または減色動画像データＲ１の蓄積先のＵＲＬをメール本体Ｅ１に添付してＵＲＬが添付された電子メールＥ３を生成し（ステップＳ１１７）、メール送信部１１８が電子メールＥ３を送信先の携帯端末装置３に送信し（ステップＳ１１８）、処理を終了する。
【０１０９】
上記（３）および（４）の場合において、電子メールＥ３を受信した携帯端末装置３は、動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１のダウンロードのリクエストをメール中継サーバ１に対して行う。
【０１１０】
図１６はリクエストが行われた際にメール中継サーバ１において行われる処理を示すフローチャートである。リクエスト受信部１１９がダウンロードのリクエストを受信すると処理が開始され、画像読み出し部１２０がリクエストに含まれるＵＲＬを参照して画像蓄積部１１４から動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１を読み出す（ステップＳ１５１）。そして、画像送信部１２１が動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１をリクエストを行った携帯端末装置３に送信し（ステップＳ１５２）、処理を終了する。
【０１１１】
携帯端末装置３においては、動画像データＭ０、マルチメディア画像データＦ１または減色動画像データＲ１が受信される。ここで、携帯端末装置３が動画像を表示可能なものである場合には動画像データＭ０が送信され、動画像が表示される。一方、携帯端末装置３が動画像を表示できないがマルチメディア画像を表示可能なものである場合にはマルチメディア画像データＦ１が送信され、動画像データＭ０からサンプリングされたフレームが連続的に切り替わる動きのある高画質の画像が表示される。
【０１１２】
また、携帯端末装置３が動画像およびマルチメディア画像を表示できない場合には減色動画像データＲ１が送信され、減色動画像データＲ１に基づいて、動画像データＭ０からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
【０１１３】
このように、第２の実施形態においても、第１の実施形態と同様に、動画像データＭ１を構成する複数のフレームデータＦｒ１のうち、ＩフレームデータＦｒＩのみを用いてマルチメディア画像データＦ１または減色動画像データＲ１を生成するようにしたため、減色動画像データＲ１またはマルチメディア画像データＦ１を生成するためのフレームを効率よく抽出することができる。さらに、抽出したＩフレームデータＦｒＩ０のみを復号化すれば他のフレームを復号化しなくても減色動画像データＲ１またはマルチメディア画像データＦ１を生成できるため、減色動画像データＲ１またはマルチメディア画像データＦ１を効率よく生成することができる。
【０１１４】
また、動画像データＭ１を構成する複数のフレームデータＦｒ１のうち、ＩフレームデータＦｒＩ０のみを用いて減色処理を行うためのパレットデータＰ０を生成しているため、パレットデータＰ０を生成するためのフレームを効率よく抽出することができる。さらに、抽出したＩフレームデータＦｒＩ０のみを復号化すれば他のフレームを復号化しなくてもパレットデータＰ０を生成できるため、パレットデータＰ０を効率よく生成することができる。
【０１１５】
なお、上記第２の実施形態においては、動画像分離部１１２において動画像データＭ０が添付された電子メールＥ０を一時的に保管しておき、機種判別部１１３が上記（１）のように判定した場合には、動画像データＭ０が添付された電子メールＥ０をそのままメール送信部１１８から送信先の携帯端末装置３に送信してもよい。
【０１１６】
また、上記第２の実施形態においては、メール中継サーバ１０１を、送信先の携帯端末装置３が、画像が添付された電子メールをそのまま受信可能であるか否かに拘わらず電子メールを中継するものとしているが、送信先の携帯端末装置３が画像が添付された電子メールをそのまま受信可能である場合に特化したものとなるようにメール中継サーバ１０１を構成することも可能である。このように構成したメール中継サーバ（１０１Ａとする）を第３の実施形態として図１７に示す。図１７に示すメール中継サーバ１０１Ａは、図１０に示すメール中継サーバ１０１と比較して、画像蓄積部１１４、ＵＲＬ添付部１１７、リクエスト受信部１１９、画像読み出し部１２０および画像送信部１２１が除かれたものとなる。
【０１１７】
逆に、送信先の携帯端末装置３が画像が添付された電子メールをそのまま受信できない場合に特化したものとなるようにメール中継サーバ１０１を構成することも可能である。このように構成したメール中継サーバ（１０１Ｂとする）を第４の実施形態として図１８に示す。図１８に示すメール中継サーバ１０１Ｂは、図１０に示すメール中継サーバ１０１と比較して、画像添付部１１６が除かれたものとなる。
【０１１８】
なお、上記第１から第４の実施形態においては、マルチメディア画像生成部５３および減色動画像生成部５４において、動画像データＭ１を構成する複数のフレームデータＦｒ０のうち、ＩフレームデータＦｒＩ０のみを用いてマルチメディア画像データＦ１および減色動画像データＲ１を生成しているが、動画像データＭ１を構成するＩフレームデータＦｒＩ０、ＰフレームデータＦｒＰ０およびＢフレームデータＦｒＢ０のうち、ＩフレームデータＦｒＩ０に加えてＰフレームデータＦｒＰ０を用いてマルチメディア画像データＦ１および減色動画像データＲ１を生成してもよい。
【０１１９】
図１９はＩフレームデータＦｒＩ０およびＰフレームデータＦｒＰ０の復号化処理のフローチャートである。まず、動画像データＭ１を構成する全フレームについて処理が終了したか否かを判定し（ステップＳ２０１）、ステップＳ２０１が否定されると、処理の対象となるフレームがＢフレームであるか否かを判定する（ステップＳ２０２）。ステップＳ２０２が否定されると、そのフレームはＢフレーム以外のＩフレームまたはＰフレームであるとして、ＩフレームデータＦｒＩ０またはＰフレームデータＦｒＰ０を抽出し（ステップＳ２０３）、抽出したＩフレームデータＦｒＩ０またはＰフレームデータＦｒＰ０を復号化してＩフレームデータＦｒＩ１またはＰフレームデータＦｒＰ１を生成し（ステップＳ２０４）、ステップＳ２０１へ戻る。なお、ステップＳ２０２が肯定された場合もステップＳ０１へ戻る。ステップＳ２０１が肯定されると処理を終了する。
【０１２０】
また、携帯端末装置３のフレームレートに応じて、ＩフレームデータＦｒＩ０のみからマルチメディア画像データＦ１および減色動画像データＲ１を生成するか、ＩフレームデータＦｒＩ０およびＰフレームデータＦｒＰ０の双方からマルチメディア画像データＦ１および減色動画像データＲ１を生成するかを選択するようにしてもよい。以下、この処理について説明する。図２０は携帯端末装置３のフレームレートに応じて、ＩフレームデータＦｒＩ０のみからマルチメディア画像データＦ１および減色動画像データＲ１を生成するか、ＩフレームデータＦｒＩ０およびＰフレームデータＦｒＰ０の双方からマルチメディア画像データＦ１および減色動画像データＲ１を生成するかを選択する処理を示すフローチャートである。なお、この処理は、マルチメディア画像生成部５３および減色動画像生成部５４において行われるが、ここではマルチメディア画像生成部５３がこの処理を行うものとして説明する。
【０１２１】
まず、マルチメディア画像生成部５３は、携帯端末装置３のフレームレートが所定のしきい値以上であるか否かを判定する（ステップＳ２１１）。具体的には、図２に示すテーブルＴ１を参照して、マルチメディア画像データＦ１または減色動画像データＲ１を配信または送信する携帯端末装置３の機種に対応する表示可能な減色動画像のコマ数または扱うことが可能なデータ容量の情報を取得し、表示可能な減色動画像のコマ数が所定値以上であるかまたはデータ容量が所定値以上であるか否かを判定する。
【０１２２】
ステップＳ２１１が肯定されると、動画像データＭ１を構成する全フレームについて処理が終了したか否かを判定し（ステップＳ２１２）、ステップＳ２１２が否定されると、処理の対象となるフレームがＢフレームであるか否かを判定する（ステップＳ２１３）。ステップＳ２１３が否定されると、そのフレームはＢフレーム以外のＩフレームまたはＰフレームであるとして、ＩフレームデータＦｒＩ０またはＰフレームデータＦｒＰ０を抽出し（ステップＳ２１４）、抽出したＩフレームデータＦｒＩ０またはＰフレームデータＦｒＰ０を復号化してＩフレームデータＦｒＩ１またはＰフレームデータＦｒＰ１を生成し（ステップＳ２１５）、ステップＳ２１２へ戻る。なお、ステップＳ２１３が肯定された場合もステップＳ２１２へ戻る。ステップＳ２１２が肯定されると処理を終了する。
【０１２３】
一方、ステップＳ２１２が否定されると、動画像データＭ１を構成する全フレームについて処理が終了したか否かを判定し（ステップＳ２１６）、ステップＳ２１６が否定されると、処理の対象となるフレームがＩフレームであるか否かを判定する（ステップＳ２１７）。ステップＳ２１７が肯定されると、そのＩフレームを表すＩフレームデータＦｒＩ０を抽出し（ステップＳ２１８）、抽出したＩフレームデータＦｒＩ０を復号化してＩフレームデータＦｒＩ１を生成し（ステップＳ２１９）、ステップＳ２１６へ戻る。なお、ステップＳ２１７が否定された場合もステップＳ２１６へ戻る。ステップＳ２１６が肯定されると処理を終了する。
【０１２４】
また、上記第１から第４の実施形態においては、パレットデータ生成部７２において、動画像データＭ１を構成する複数のフレームデータＦｒ１のうち、ＩフレームデータＦｒＩ０のみを用いてパレットデータＰ０を生成しているが、上記と同様に動画像データＭ１を構成するＩフレームデータＦｒＩ０、ＰフレームデータＦｒＰ０およびＢフレームデータＦｒＢ０のうち、ＩフレームデータＦｒＩ０およびＰフレームデータＦｒＰ０を用いてパレットデータＰ０を生成してもよい。また、携帯端末装置３のフレームレートに応じて、ＩフレームデータＦｒＩ０のみからパレットデータＰ０を生成するか、ＩフレームデータＦｒＩ０およびＰフレームデータＦｒＰ０の双方からパレットデータＰ０を生成するかを選択するようにしてもよい。
【０１２５】
なお、上記第１から第４の実施形態においては、マルチメディア画像としてＦｌａｓｈフォーマットを有するものを用いているが、複数のフレームをコマ送り表示させつつインタラクティブに表示可能なフォーマットであればこれに限定されるものではない。
【０１２６】
また、上記第１から第４の実施形態において、マルチメディア画像データＦ１に動画像データＭ０に含まれる音声を含めることも可能である。
【０１２７】
なお、上記第１から第４の実施形態におけるマルチメディア画像生成部５３、減色動画像生成部５４および減色動画像生成部５４に含まれるパレットデータ生成部７２のそれぞれを、動画像からマルチメディア画像または減色動画像を生成する画像生成装置、および動画像からパレットデータを生成するパレットデータ生成装置として単独で用いてもよい。
【０１２８】
また、上記第１から第４の実施形態においては、動画像データＭ０のフォーマットとしてＭＰＥＧを用いているが、動画像を構成するフレームとして、そのフレーム内でのみ圧縮を行うことによりそのフレーム自身で画像を構成するフレームであるフレーム内符号化フレーム、およびフレーム内圧縮の他に時間軸順方向のみの予測を取り入れ、フレーム内符号化フレームとの差異を元にした圧縮を行った順方向フレーム間予測符号化フレームを含むフォーマットであれば、任意のフォーマットの動画像データに対して本発明を適用することができる。
【図面の簡単な説明】
【０１２９】
【図１】本発明の第１の実施形態によるパレットデータ生成装置、画像生成装置および動画像配信装置を適用した動画像配信サーバを用いた動画像配信システムの構成を示す概略ブロック図
【図２】機種とフォーマットとの関係を表すテーブルを示す図
【図３】動画像変換部の詳細な構成を示す概略ブロック図
【図４】マルチメディア画像生成部の詳細な構成を示す概略ブロック図
【図５】減色動画像生成部の詳細な構成を示す概略ブロック図
【図６】第１の実施形態において行われる処理を示すフローチャート
【図７】マルチメディア画像生成処理のフローチャート
【図８】Ｉフレームデータの復号化処理のフローチャート
【図９】減色動画像生成処理のフローチャート
【図１０】本発明の第２の実施形態によるパレットデータ生成装置、画像生成装置およびメール中継装置を適用したメールシステムの構成を示す概略ブロック図
【図１１】第２の実施形態において行われる処理を示すフローチャート（その１）
【図１２】第２の実施形態において行われる処理を示すフローチャート（その２）
【図１３】第２の実施形態において行われる処理を示すフローチャート（その３）
【図１４】第２の実施形態において行われる処理を示すフローチャート（その４）
【図１５】第２の実施形態において行われる処理を示すフローチャート（その５）
【図１６】リクエストが行われた際にメール中継サーバにおいて行われる処理を示すフローチャート
【図１７】本発明の第３の実施形態によるパレットデータ生成装置、画像生成装置およびメール中継装置を適用したメールシステムの構成を示す概略ブロック図
【図１８】本発明の第４の実施形態によるパレットデータ生成装置、画像生成装置およびメール中継装置を適用したメールシステムの構成を示す概略ブロック図
【図１９】ＩフレームデータおよびＰフレームデータの復号化処理のフローチャート
【図２０】ＩフレームデータおよびＰフレームデータの双方またはＩフレームデータのみを選択的に復号化する処理のフローチャート
【符号の説明】
【０１３０】
１    動画像配信サーバ
２    パソコン
３    携帯端末装置
１１    動画像蓄積部
１２    リクエスト受信部
１３    機種判別部
１４    動画像フォーマット変換部
１５    動画像変換部
１６    画像出力部
５１    動画像入力部
５２    出力フォーマット決定部
５３    マルチメディア画像生成部
５４    減色動画像生成部
５５    生成画像出力部
６１    符号化制御部
６２，７１    復号化部
６３    フレーム内符号化部
６４    フォーマット成形部
７２    パレットデータ生成部
７３    処理部
７４    フレーム合成部
７５    符号化部
１０１，１０１Ａ，１０１Ｂ    メール中継サーバ
１１１    メール受信部
１１２    動画像分離部
１１３    機種判別部
１１４    画像蓄積部
１１５    動画像変換部
１１６    画像添付部
１１７    ＵＲＬ添付部
１１８    メール送信部
１１９    リクエスト受信部
１２０    画像読み出し部
１２１    画像送信部
【図１】
2005136567.tif 000003
【図２】
2005136567.tif 000004
【図３】
2005136567.tif 000005
【図４】
2005136567.tif 000006
【図５】
2005136567.tif 000007
【図６】
2005136567.tif 000008
【図７】
2005136567.tif 000009
【図８】
2005136567.tif 000010
【図９】
2005136567.tif 000011
【図１０】
2005136567.tif 000012
【図１１】
2005136567.tif 000013
【図１２】
2005136567.tif 000014
【図１３】
2005136567.tif 000015
【図１４】
2005136567.tif 000016
【図１５】
2005136567.tif 000017
【図１６】
2005136567.tif 000018
【図１７】
2005136567.tif 000019
【図１８】
2005136567.tif 000020
【図１９】
2005136567.tif 000021
【図２０】
2005136567.tif 000022