(57)【要約】【課題】高画素表示画面を有する携帯端末装置等の表示装置に減色動画像のようにコマ送り表示される画像を高画質に表示できるようにする。【解決手段】リクエスト受信部１２において、携帯端末装置３からの動画像の送信リクエストを受け付け、機種判別部１３が携帯端末装置３の機種を判別する。動画像フォーマット変換部１４が機種に応じたフォーマットとなるように動画像データＭ０を変換する。携帯電話端末装置３が動画像データを表示できないが複数のフレームを高画質にコマ送り表示させるマルチメディア画像を表示できる場合、動画像変換部１５が動画像データＭ１をマルチメディア画像データＦ１に変換する。この際、携帯端末装置３のデータ容量等を考慮する。画像出力部１６が、マルチメディア画像データＦ１をリクエストを行った携帯端末装置３に送信する。【選択図】          図１
2004356998.tif 000002
【特許請求の範囲】
【請求項１】
動画像から複数のフレームをサンプリングするサンプリング手段と、
該複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮してマルチメディアフォーマットのマルチメディア画像を生成するマルチメディア画像生成手段とを備えたことを特徴とする動画像変換装置。
【請求項２】
前記マルチメディア画像生成手段は、前記マルチメディア画像を表示する表示装置の特性に応じて、該表示装置に表示可能なように該マルチメディア画像を生成する手段であることを特徴とする請求項１記載の動画像変換装置。
【請求項３】
前記マルチメディア画像生成手段は、前記表示装置の特性に応じて前記複数のフレームを拡大縮小するサイズ変更手段と、
前記表示装置が取り扱い可能なデータ容量となるように、前記複数のフレームを前記２次元方向に冗長性を考慮した圧縮形式にて圧縮するフレーム圧縮手段と、
該圧縮された複数のフレームのフォーマットを成形して前記マルチメディア画像を生成するフォーマット成形手段とを備えてなることを特徴とする請求項２記載の動画像変換装置。
【請求項４】
前記フレーム圧縮手段は、前記生成されるマルチメディア画像が前記表示装置が取り扱い可能なデータ容量とならない場合に、前記フレームの圧縮率の変更および／または前記複数のフレームからのフレームの間引きを、前記マルチメディア画像が前記データ容量となるまで繰り返す手段であることを特徴とする請求項３記載の動画像変換装置。
【請求項５】
前記表示装置が携帯端末装置であることを特徴とする請求項２から４のいずれか１項記載の動画像変換装置。
【請求項６】
動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信装置において、
前記送信要求端末装置の機種を判別する機種判別手段と、
該送信要求端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記要求された動画像を該マルチメディア画像に変換する動画像変換手段とを備え、
前記マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とする動画像配信装置。
【請求項７】
前記送信要求端末装置の機種が前記動画像および前記マルチメディア画像を表示できないが減色動画像を表示できる場合に、前記要求された動画像を減色動画像に変換する減色動画像変換手段とを備え、
前記減色動画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とする請求項６記載の動画像配信装置。
【請求項８】
前記動画像変換手段が、請求項１から５のいずれか１項記載の動画像変換装置からなることを特徴とする請求項６または７記載の動画像配信装置。
【請求項９】
動画像から複数のフレームをサンプリングし、
該複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮してマルチメディアフォーマットのマルチメディア画像を生成することを特徴とする動画像変換方法。
【請求項１０】
動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信方法において、
前記送信要求端末装置の機種を判別し、
該送信要求端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記要求された動画像を該マルチメディア画像に変換し、
前記マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とする動画像配信方法。
【請求項１１】
動画像から複数のフレームをサンプリングする手順と、
該複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮してマルチメディアフォーマットのマルチメディア画像を生成する手順とを有することを特徴とする動画像変換方法をコンピュータに実行させるためのプログラム。
【請求項１２】
動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信方法をコンピュータに実行させるためのプログラムにおいて、
前記送信要求端末装置の機種を判別する手順と、
該送信要求端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記要求された動画像を該マルチメディア画像に変換する手順と、
前記マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を例えばＦｌａｓｈ（登録商標）形式のマルチメディア画像に変換する動画像変換装置および方法、動画像を携帯端末装置等に配信する動画像配信装置および方法並びに動画像変換方法および動画像配信方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
デジタルカメラやスキャナ等により取得される画像は、ＲＧＢ各色８ビットの合計２４ビットの色すなわち約１６７７万色の色を表現することが可能である。しかしながら、画像を再生する装置によっては、これよりも少ない（例えば２５６色）の色数しか表現できない場合がある。また、ウェブサイトにおいて利用頻度が高いｇｉｆやｐｎｇ等の画像フォーマットが扱うことが可能な色は２５６色である。したがって、デジタルカメラ等により取得された画像を、表現可能な色数が少ない再生装置に表示したり、ｇｉｆやｐｎｇ等の画像フォーマットに変換する場合には、１６７７万色の色数を２５６色に減色する必要がある。
【０００３】
従来よりこのような減色処理は、減色処理を行う画像を２５６色で表現するのに最適な２５６色のパレット色からなるパレットデータを生成し、パレットデータのパレット色の中から、画素毎に変換すべき色を選択して各画素を減色していくことにより行っている。
【０００４】
また、デジタルビデオカメラにより取得された動画像をリアルタイムで減色処理して、静止画像が連続的に切り替わることによる動きのある画像（以下減色動画像とする）を生成する方法が提案されている（特許文献１参照）。この方法は、動画像に含まれる１／６０秒毎に変化するフレームをコマ落ちさせることなくリアルタイムで減色処理するために、各フレーム毎にパレットデータを生成するのではなく、数フレーム毎にパレットデータを生成し、数フレーム単位で１つのパレットデータを用いて減色処理を行う方法である。
【０００５】
一方、カメラ付き携帯電話機等の携帯端末装置の機能の向上は著しく、通信速度の向上とも相まって、動画像を撮影し、撮影した動画像を電子メールに添付して送信したり、動画像コンテンツを配信する動画像配信サーバにアクセスして、所望とする動画像コンテンツをダウンロードして再生可能な携帯端末装置が提案されている。
【０００６】
また、静止画像ではあるが、カメラ付きの携帯端末装置から送信された画像が添付された電子メールに対して、送信先の端末装置の種類に応じて適切な画像処理を施すメール中継装置が提案されている（特許文献２参照）。このようなメール中継装置を用いれば、送信先の携帯端末装置が有する画面サイズ、画面の明るさや色合い等に適した画像となるように画像データに画像処理を施して、画像添付電子メールを送信することができる。
【０００７】
ところで、携帯端末装置の表示画面の高画素化が進み、従来よりも縦横が２倍すなわち画素数で４倍となる表示画面を搭載した携帯端末装置が市場に出回りつつある。このような、携帯端末装置にその表示画面の画素数に見合った画像を用意すれば、従来よりも高精細な画像を表示することができる。
【０００８】
【特許文献１】
特開平１１−２５９６４０号公報
【０００９】
【特許文献２】
特願２００２−２１４２１５号
【００１０】
【発明が解決しようとする課題】
しかしながら、表示画面の高画素化が進んでも、携帯端末装置に搭載される画像表示のためのメモリの容量はコスト等の面から高容量とはなっていないのが現状である。例えば、表示画面の画素数が４倍となってもメモリの容量は２倍にしかなっていない。
【００１１】
一方、ｇｉｆやｐｎｇ等の減色動画像フォーマットは、画像上の一方向すなわち１次元方向についての冗長性を考慮して圧縮処理を行っている。このため、一方向に同じ画素値を有する画素が並んでいる場合には圧縮率を高めることができるが、その一方向に直交する方向については、圧縮率を高めることができないものである。
【００１２】
このため、高画素の表示画面を有する携帯端末装置に減色動画像フォーマットを有する減色動画像を表示する場合、例えば画素数を４倍としつつも圧縮後の容量を２倍にまでしかできないという制限があるため、画質を低減させたり、表示するフレーム数を低減したり、解像度を低減する等して、減色動画像フォーマットの画像のデータ容量を少なくしなければならない。しかしながら、上記減色動画像フォーマットの画像は表示可能な色数が元々２５６色しかないため、データ容量を少なくすると、携帯端末装置自体は高精細に画像を表示可能であるにも拘わらず、表示される画像は非常に画質が悪いものとなる。
【００１３】
また、動画像を再生可能な携帯端末装置に動画像コンテンツを配信した場合、その携帯端末装置には動画像を表示することができるが、機種によっては動画像を表示できない場合がある。このため、そのような携帯端末装置においては、たとえその機種に応じて適切に画像処理が施された動画像を配信してもそれを表示することができない。
【００１４】
本発明は上記事情に鑑みなされたものであり、高画素の表示画面を有する携帯端末装置等の表示装置に減色動画像のようにコマ送り表示される画像を高画質に表示できるようにすることを第１の目的とする。
【００１５】
また、本発明は、動画像を表示できない表示装置においても、その動画像を擬似的に表示できるようにすることを第２の目的とする。
【００１６】
【課題を解決するための手段】
本発明による動画像変換装置は、動画像から複数のフレームをサンプリングするサンプリング手段と、
該複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮してマルチメディアフォーマットのマルチメディア画像を生成するマルチメディア画像生成手段とを備えたことを特徴とするものである。
【００１７】
「マルチメディアフォーマットのマルチメディア画像」とは、複数のフレームをコマ送り表示させつつ音声と同期させながらインタラクティブに表示可能なフォーマットの画像を意味し、例えばＭａｃｒｏｍｅｄｉａ社が開発したＦｌａｓｈ（登録商標）を用いることができるがこれに限定されるものではない。また、音声と同期させないフォーマットも「マルチメディアフォーマットのマルチメディア画像」に含めるものとする。
【００１８】
Ｆｌａｓｈとは、音声やベクターグラフィックスのアニメーションを組み合わせたＷｅｂ表示用ベクトル型グラフィックアニメーションであり、ＳＷＦというファイルフォーマットで表現され、ベクトル表現された図形や写真等のグラフィックスアニメーション等を音声と同期させながら表示画面上においてインタラクティブに表示することができる。このようなＦｌａｓｈを用いることにより、複数のフレームがコマ送り表示されるマルチメディア画像を生成することができる。
【００１９】
また、Ｆｌａｓｈは上述したｇｉｆやｐｎｇ等の減色動画像を扱うことが可能であるが、本発明においては、ｇｉｆやｐｎｇフォーマットのように、１次元方向に冗長性を考慮した圧縮形式ではなく、ＪＰＥＧフォーマットのように、２次元方向の冗長性を考慮した圧縮形式にて複数のフレームを圧縮する。
【００２０】
なお、本発明による動画像変換装置においては、前記マルチメディア画像生成手段は、前記マルチメディア画像を表示する表示装置の特性に応じて、該表示装置に表示可能なように該マルチメディア画像を生成する手段であってもよい。
【００２１】
「表示装置の特性」としては、表示装置の解像度、表示装置が扱うことが可能なデータ容量、表示装置の出力色数等を用いることができる。
【００２２】
「表示装置に表示可能なようにマルチメディア画像を生成する」とは、マルチメディア画像に用いるフレーム数、各フレームの表示間隔、表示するサイズ、表示する色数、マルチメディア画像のデータ容量、展開後のデータ容量等が、表示装置の特性と適合し、表示装置側において何ら加工を加えることなく表示可能なようにマルチメディア画像を生成することをいう。
【００２３】
なお、前記マルチメディア画像生成手段は、前記表示装置の特性に応じて前記複数のフレームを拡大縮小するサイズ変更手段と、
前記表示装置が取り扱い可能なデータ容量となるように、前記複数のフレームを前記２次元方向に冗長性を考慮した圧縮形式にて圧縮するフレーム圧縮手段と、
該圧縮された複数のフレームのフォーマットを成形して前記マルチメディア画像を生成するフォーマット成形手段とを備えてなるものであってもよい。
【００２４】
この場合、前記フレーム圧縮手段は、前記生成されたマルチメディア画像が前記表示装置が取り扱い可能なデータ容量とならない場合に、前記フレームの圧縮率の変更および／または前記複数のフレームからのフレームの間引きを、前記マルチメディア画像が前記データ容量となるまで繰り返す手段であってもよい。
【００２５】
また、本発明による動画像変換装置においては、前記表示装置が携帯端末装置であってもよい。
【００２６】
本発明による動画像配信装置は、動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信装置において、
前記送信要求端末装置の機種を判別する機種判別手段と、
該送信要求端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記要求された動画像を該マルチメディア画像に変換する動画像変換手段とを備え、
前記マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とするものである。
【００２７】
なお、本発明による動画像配信装置においては、前記送信要求端末装置の機種が前記動画像および前記マルチメディア画像を表示できないが減色動画像を表示できる場合に、前記要求された動画像を減色動画像に変換する減色動画像変換手段とを備え、
前記減色動画像を前記動画像に代えて前記送信要求端末装置に送信するようにしてもよい。
【００２８】
また、本発明による動画像配信装置においては、前記動画像変換手段が、本発明による動画像変換装置からなるものであってもよい。
【００２９】
本発明による動画像変換方法は、動画像から複数のフレームをサンプリングし、
該複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮してマルチメディアフォーマットのマルチメディア画像を生成することを特徴とするものである。
【００３０】
本発明による動画像配信方法は、動画像の送信を要求した送信要求端末装置に、該要求された動画像を送信する動画像配信方法において、
前記送信要求端末装置の機種を判別し、
該送信要求端末装置の機種が、動画像を表示できないがマルチメディアフォーマットのマルチメディア画像を表示できる場合に、前記要求された動画像を該マルチメディア画像に変換し、
前記マルチメディア画像を前記動画像に代えて前記送信要求端末装置に送信することを特徴とするものである。
【００３１】
なお、本発明による動画像変換方法および動画像配信方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００３２】
【発明の効果】
本発明による動画像変換装置および方法によれば、動画像から複数のフレームがサンプリングされ、複数のフレームが２次元方向に冗長性を考慮した圧縮形式にて圧縮されてマルチメディアフォーマットのマルチメディア画像が生成される。ここで、動画像からサンプリングされたフレームは、上記減色動画像のフォーマットであるｇｉｆやｐｎｇフォーマットのように１次元方向の冗長性を考慮した圧縮形式ではなく、ＪＰＥＧのように２次元方向の冗長性を考慮した圧縮形式にて圧縮されてマルチメディア画像に含められることとなる。また、２次元方向の冗長性を考慮した圧縮方式の方が１次元方向の冗長性を考慮した圧縮方式よりも、画質を維持しつつデータ容量を低減できるものである。したがって、本発明によれば、減色動画像と比較してデータ容量を低減しつつも、コマ送り表示される画像を高画質に生成することができ、これにより、高画素の表示画面を有する携帯端末装置等の表示装置にコマ送り表示される画像を高画質に表示することができる。
【００３３】
また、マルチメディア画像を表示する表示装置の特性に応じて、表示装置に表示可能なようにマルチメディア画像を生成することにより、生成されたマルチメディア画像を確実に表示装置に表示することができる。
【００３４】
また、表示装置の特性に応じてフレームを拡大縮小し、表示装置が取り扱い可能なデータ容量となるように複数のフレームを２次元方向に冗長性を考慮した圧縮形式にて圧縮し、圧縮された複数のフレームのフォーマットを成形してマルチメディア画像を生成することにより、表示装置の表示画面のサイズおよび表示装置が扱うことが可能なデータ容量を考慮してマルチメディア画像を生成することができ、これにより、生成されたマルチメディア画像をより確実に表示装置に表示することができる。
【００３５】
また、フレームが単一の色のみからなる等単純な画像であるか、細かな被写体を含む等により複雑なものであるかによって、フレームの圧縮後の容量は異なるものとなる。また、圧縮されたフレームの展開後の容量も、単純な画像か複雑な画像かによって異なるものとなる。このため、フレームの複雑さによっては生成されたマルチメディア画像のデータ容量（展開前後の双方を含む）が表示装置が取り扱い可能なデータ容量とならない場合がある。したがって、生成されるマルチメディア画像が表示装置が取り扱い可能なデータ容量とならない場合に、フレームの圧縮率の変更および／または複数のフレームからのフレームを間引くことを表示装置が取り扱い可能なデータ容量となるまで繰り返すことにより、表示装置が取り扱い可能なデータ容量のマルチメディア画像を生成することができる。
【００３６】
また、表示装置を携帯端末装置とすることにより、携帯端末装置においてマルチメディア画像を表示することができる。
【００３７】
本発明の動画像配信装置および方法によれば、動画像の送信を要求した送信要求端末装置の機種が判別され、その送信要求端末装置の機種が、動画像を表示できないが２次元方向に冗長性を考慮した圧縮形式の画像を用いたマルチメディアフォーマットのマルチメディア画像を表示できる場合に、動画像がマルチメディア画像に変換され、マルチメディア画像が動画像に代えて送信要求端末装置に送信される。このため、携帯端末装置が動画像を表示できなくても、マルチメディア画像により動画像を擬似的に表示することができる。
【００３８】
また、動画像の送信を要求した送信要求端末装置の機種が、動画像およびマルチメディア画像を表示できないが減色動画像を表示できる場合に、動画像が減色動画像に変換され、減色動画像が動画像に代えて送信要求端末装置に送信される。このため、送信要求端末装置が動画像およびマルチメディア画像を表示できなくても、減色動画像により動画像を擬似的に表示することができる。
【００３９】
また、本発明による動画像配信装置および方法において、上記本発明による動画像変換装置および方法と同様に動画像からマルチメディア画像を得ることにより、減色動画像と比較してデータ容量を低減しつつも、コマ送り表示される画像を高画質に生成することができ、これにより、高画素の表示画面を有する携帯端末装置等の表示装置にコマ送り表示される画像を高画質に表示することができる。
【００４０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による動画像変換装置および動画像配信装置を適用した動画像配信サーバを用いた動画像配信システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による動画像配信システムは、動画像配信サーバ１を備え、動画像コンテンツ作成装置であるパソコン２等において作成した動画像データＭ０を動画像配信サーバ１に保管し、携帯電話機、ＰＨＳ、ＰＤＡ等の携帯端末装置３から動画像の配信のリクエストを携帯電話通信網を介して動画像配信サーバ１に対して行って、動画像配信サーバ１から携帯端末装置３に動画像データＭ０を配信するものである。
【００４１】
図１に示すように、動画像配信サーバ１は、動画像蓄積部１１と、リクエスト受信部１２と、機種判別部１３と、動画像フォーマット変換部１４と、動画像変換部１５と、画像出力部１６とを備える。
【００４２】
動画像蓄積部１１は、パソコン２が作成した動画像データＭ０を複数蓄積する。なお、動画像データＭ０は所定の圧縮形式により符号化されて動画像蓄積部１１に蓄積される。
【００４３】
リクエスト受信部１２は、携帯端末装置３が送信した動画像配信のリクエストを受信する。なお、携帯端末装置３が送信した動画像配信のリクエストには、リクエストを行う動画像データＭ０のファイル名および携帯端末装置３の機種を表す機種情報が含まれる。
【００４４】
機種判別部１３は、リクエストに含まれる機種情報に基づいて、携帯端末装置３の機種を判別する。
【００４５】
動画像フォーマット変換部１４は、リクエストに含まれるファイル名を有する動画像データＭ０を動画像蓄積部１１から読み出し、さらに動画像データＭ０を復号化して機種判別部１３が判別した携帯端末装置３の機種に応じて、読み出した動画像データＭ０のフォーマットを変換する。この際、動画像フォーマット変換部１４は、機種とフォーマットとの関係を表すテーブルを参照して動画像データＭ０のフォーマットを変換する。
【００４６】
図２は機種とフォーマットとの関係を表すテーブルを示す図である。図２に示すように、テーブルＴ１は、携帯端末装置３が携帯電話機である場合の機種毎（Ａ００１，Ａ００２，Ｂ００１等）に、動画像の表示の可否、マルチメディア画像の表示の可否、画面サイズ、表示可能色数、表示可能な減色動画像のコマ数、扱うことが可能なデータ容量（単位ＫＢ）が割り当てられている。そして、動画像フォーマット変換部１４は、テーブルＴ１を参照して、リクエストを行った機種の表示画面サイズおよび表示可能色数に適合するように動画像データＭ０のフォーマットを変換してフォーマット変換済みの動画像データＭ１を生成する。なお、動画像データＭ１は符号化される。
【００４７】
動画像変換部１５は、リクエストを行った携帯端末装置３が動画像を表示できない機種である場合に、さらにリクエストを行った携帯端末装置３がマルチメディア画像を表示可能であるか否かを判定し、マルチメディア画像を表示可能である場合には、フォーマット済みの動画像データＭ１をマルチメディア画像データＦ１に変換する。また、マルチメディア画像も表示できない場合には、フォーマット済みの動画像データＭ１を減色動画像データＲ１に変換する。
【００４８】
図３は動画像変換部１５の詳細な構成を示す概略ブロック図である。図３に示すように、動画像変換部１５は、動画像入力部５１と、復号化部５２と、出力フォーマット決定部５３と、マルチメディア画像生成部５４と、減色動画像生成部５５と、生成画像出力部５６とを備える。
【００４９】
動画像入力部５１は、フォーマット変換済みの動画像データＭ１の動画像変換部１５への入力を受け付ける。
【００５０】
復号化部５２は、符号化されている動画像データＭ１を復号化して生動画像データＭ１′を生成する。
【００５１】
出力フォーマット決定部５３は、テーブルＴ１を参照して、リクエストを行った携帯端末装置３がマルチメディア画像を表示可能である場合には、生動画像データＭ１′をマルチメディア画像生成部５４に入力する。また、マルチメディア画像も表示できない場合には、生動画像データＭ１′を減色動画像生成部５５に入力する。
【００５２】
マルチメディア画像生成部５４は、生動画像データＭ１′からマルチメディア画像データＦ１を生成する。図４は、マルチメディア画像生成部５４の詳細な構成を示す概略ブロック図である。図４に示すようにマルチメディア画像生成部５４は、フレーム分離部６１と、符号化制御部６２と、フレームサンプリング部６３と、フレーム内符号化部６４と、フォーマット成形部６５とを備える。
【００５３】
フレーム分離部６１は、生動画像データＭ１′をフレーム単位の画像データ（以下フレームデータＦｒ０とする）に分離する。例えば本実施形態においては１フレームは１／６０秒の動画像を表すものである。
【００５４】
符号化制御部６２は、最終的に得られるマルチメディア画像データＦ１のデータ容量がリクエストを行った携帯端末装置３が扱うことが可能なデータ容量（以下データ容量Ｋとする）以下となるようにフレームサンプリング部６３およびフレーム内符号化部６４を制御する。なお、データ容量Ｋは圧縮されたマルチメディア画像データＦ１を取り扱うことが可能なデータ容量Ｋ１およびこれを展開した場合データを取り扱うことが可能なデータ容量Ｋ２の双方を含む。
【００５５】
フレームサンプリング部６３は、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるように、複数のフレームデータＦｒ０からフレームデータをサンプリングしてサンプリングされたフレームデータＦｒ１を生成する。
【００５６】
フレーム内符号化部６４は、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるようにサンプリングされたフレームデータＦｒ１のそれぞれを２次元方向の冗長性を考慮した圧縮方式であるＪＰＥＧ形式にて圧縮して圧縮済みのフレームデータＦｒ２を生成する。さらに、フレーム内符号化部６４は、圧縮済みのフレームデータＦｒ２をフォーマット成形部６５においてフォーマットを成形することにより生成されるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ１以下となるか否かおよび展開後のマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ２以下となるかを判定する。そしてこの判定が肯定された場合には圧縮済みのフレームデータＦｒ２をフォーマット成形部６５に入力する。一方、この判定が否定された場合には、その旨の情報を符号化制御部６２に送信する。符号化制御部６２はこの旨の情報を受信すると、さらにサンプリングするフレーム数を少なくするようフレームサンプリング部６３を再制御するとともに、圧縮率を高くするようフレーム内符号化部６４を再制御する。
【００５７】
すなわち、フレームが単一の色のみからなる等単純な画像であるか、細かな被写体を含む等により複雑なものであるかによって、圧縮済みのフレームデータＦｒ２のデータ容量は異なるものとなる。また、マルチメディア画像データＦ１の展開後のデータ容量も、単純な画像か複雑な画像かによって異なるものとなる。このため、フレームの複雑さによっては生成されたマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下とならない場合がある。したがって、フォーマット成形部６５において生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下とならない場合に、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるように、再度サンプリングおよびフレームデータＦｒ１の符号化を行うようにしたものである。
【００５８】
フォーマット成形部６５は、圧縮済みのフレームデータＦｒ２をＦｌａｓｈフォーマットに成形してマルチメディア画像データＦ１を生成する。具体的には、各フレームデータＦｒ２の表示間隔等、各フレームをコマ送り表示させるために必要な情報をフレームデータＦｒ２に付与しつつ各フレームデータＦｒ２を並べることによりフレームデータＦｒ２のフォーマットを成形してマルチメディア画像データＦ１を生成する。なお、マルチメディア画像データＦ１に音声を付与したい場合には、フォーマット成形部６５において音声データがマルチメディア画像データＦ１に含められる。
【００５９】
減色動画像生成部５５は、リクエストを行った携帯端末装置３が動画像およびマルチメディア画像を表示できない機種である場合に、フォーマット済みの動画像データＭ１を減色動画像データＲ１に変換する。図５は減色動画像生成部５５の詳細な構成を示す概略ブロック図である。図５に示すように、減色動画像生成部５５は、フレーム分離部７１と、基準フレーム生成部７２と、パレットデータ生成部７３と、フレームサンプリング部７４と、処理部７５と、フレーム合成部７６と、符号化部７７とを備える。
【００６０】
フレーム分離部７１は、マルチメディア画像生成部５４のフレーム分離部６１と同様に、生動画像データＭ１′をフレーム単位の画像データすなわちフレームデータＦｒ０に分離する。
【００６１】
基準フレーム生成部７２は、フレームデータＦｒ０からパレットデータの生成に用いられる基準フレームデータＢ０を生成する。ここで、基準フレームデータＢ０としては、各フレームを時系列順に並べた場合における先頭のフレームデータＦｒ０を用いるものとする。なお、任意のフレームデータを基準フレームデータＢ０としてもよく、全フレームデータＦｒ０または全フレームデータＦｒ０から選択した複数のフレームデータＦｒ０′を１つの画像データとなるように合成し、この合成したフレームデータを基準フレームデータＢ０として生成してもよい。また、全フレームデータＦｒまたは全フレームデータＦｒ０から選択した複数のフレームデータＦｒ０′を平均することにより基準フレームデータＢ０を生成してもよい。なお、複数のフレームデータＦｒ０′としては、後述するフレームサンプリング部７４がサンプリングしたフレームデータを用いてもよい。
【００６２】
パレットデータ生成部７３は、基準フレームデータＢ０から減色処理に必要な色数のパレットデータＰ０を生成する。具体的にはメディアンカット法等を用いてパレットデータＰ０を生成することができるが、これに限定されるものではない。
【００６３】
ここで、メディアンカット法は、基準フレームデータＢ０を構成するＲＧＢの各色データをＲＧＢの３次元空間にプロットし、３次元空間上の色データが存在する範囲におけるメディアン値を求め、これをパレットデータを構成する１つのパレット色とし、さらにメディアン値により空間を２つに分割して、分割された空間におけるメディアン値を求めることを、パレットデータの色数（例えば２５６色）が得られるまで繰り返すことにより、パレットデータを構成するパレット色を求める方法である。
【００６４】
フレームサンプリング部７４は、フレームデータＦｒ０から減色動画像を構成するフレームデータをサンプリングする。具体的には、図２に示すテーブルＴ１を参照して、リクエストを行った携帯端末装置３が表示することが可能な減色動画像のコマ数の情報を取得し、このコマ数に相当する数のフレームデータをサンプリングする。この際、サンプリングするフレームデータは、動画像データＭ０の再生時間をコマ数により等分した時間におけるフレームデータとすればよい。なお、フレームデータをサンプリングするのみならず、フレーム間において補間を行って新たなフレームデータを生成してもよい。
【００６５】
処理部７５は、フレームサンプリング部７４がサンプリングしたフレームデータＦｒ３に対して、パレットデータＰ０を用いて減色処理を施す。減色処理の方法としては、誤差拡散法等を用いることができる。これにより、減色されたフレームデータＦｒ４が生成される。
【００６６】
フレーム合成部７６は、処理部７５が生成したフレームデータＦｒ４を時系列順に並べて１つのファイルとなるように合成することにより、各フレームの画像が連続的に切り替わって再生される減色生動画像データＲ０を生成する。
【００６７】
符号化部７７は、減色生動画像データＲ０を符号化して減色動画像データＲ１を生成する。この際、携帯端末装置３が取り扱うことが可能なデータ容量Ｋ以下となるように符号化を行う。なお、減色動画像データＲ１のファイルフォーマットとしては、アニメーションｇｉｆやｐｎｇのアニメーションｇｉｆに対応するフォーマットのｍｎｇを用いることができるが、これに限定されるものではない。
【００６８】
生成画像出力部５６は、マルチメディア画像生成部５４が生成したマルチメディア画像データＦ１または減色動画像生成部５５が生成した減色動画像データＲ１を画像出力部１６に出力する。
【００６９】
次いで、本実施形態において行われる処理について説明する。図６は、本実施形態において行われる処理を示すフローチャートである。携帯端末装置３が送信した動画像配信のリクエストをリクエスト受信部１２が受信すると処理が開始され、機種判別部１３がリクエストに含まれる機種情報に基づいて、携帯端末装置３の機種を判別する（ステップＳ１）。続いて、動画像フォーマット変換部１４が、リクエストに含まれるファイル名を有する動画像データＭ０を動画像蓄積部１１から読み出し（ステップＳ２）、テーブルＴ１を参照してリクエストを行った携帯端末装置３の機種に適合するように、動画像データＭ０のフォーマットを変換してフォーマット変換済みの動画像データＭ１を取得する（ステップＳ３）。
【００７０】
次いで、動画像変換部１５が動画像データＭ１の入力を受け付けるとともに（ステップＳ４）、リクエストを行った携帯端末装置３が動画像を表示できる機種であるか否かを判定し（ステップＳ５）、ステップＳ５が否定されると、復号化部５２が動画像データＭ１を復号化して生動画像データＭ１′を取得する（ステップＳ６）。そして、出力フォーマット決定部５３がテーブルＴ１を参照して、リクエストを行った携帯端末装置３がマルチメディア画像を表示可能であるか否かを判定し（ステップＳ７）、ステップＳ７が肯定されるとマルチメディア画像生成部５４が生動画像データＭ１′に対してマルチメディア画像生成処理を施す（ステップＳ８）。
【００７１】
なお、ステップＳ５が肯定されるとステップＳ１０に進み、生成画像出力部５６が動画像データＭ１を画像出力部１６に出力し、画像出力部１６がリクエストを行った携帯端末装置３に動画像データＭ１を送信し（ステップＳ１１）、処理を終了する。
【００７２】
図７はマルチメディア画像生成処理のフローチャートである。まず、フレーム分離部６１が生動画像データＭ１′をフレーム単位の画像データであるフレームデータＦｒ０に分離し（ステップＳ２１）、符号化制御部６２が最終的に得られるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるようにフレームサンプリング部６３およびフレーム内符号化部６４を制御する（ステップＳ２２）。
【００７３】
そして、フレームサンプリング部６３が、フレームデータＦｒ０からマルチメディア画像データＦ１を構成するフレームデータＦｒ１をサンプリングする（ステップＳ２３）。さらに、フレーム内符号化部６４がフレームデータＦｒ１を符号化して圧縮済みのフレームデータＦｒ２を生成する（ステップＳ２４）。続いて、フレーム内符号化部６４が、フォーマット成形部６５においてフレームデータＦｒ２から生成されるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるか否かを判定する（ステップＳ２５）。ステップＳ２５が否定されると、フレーム内符号化部６４はその情報を符号化制御部６２に入力する。符号化制御部６２は最終的に得られるマルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるようにフレームサンプリング部６３およびフレーム内符号化部６４を再制御し（ステップＳ２６）、ステップＳ２３に戻る。フレームサンプリング部６３およびフレーム内符号化部６４は、マルチメディア画像データＦ１のデータ容量がデータ容量Ｋ以下となるまで、ステップＳ２３以降の処理を繰り返す。
【００７４】
ステップＳ２５が肯定されると、フォーマット成形部６５がフレームデータＦｒ２をＦｌａｓｈフォーマットに成形してマルチメディア画像データＦ１を生成し（ステップＳ２７）、マルチメディア画像生成処理を終了する。
【００７５】
図６に戻り、生成画像出力部５６がマルチメディア画像生成処理により生成されたマルチメディア画像データＦ１を画像出力部１６に出力する（ステップＳ１０）。画像出力部１６はマルチメディア画像データＦ１をリクエストを行った携帯端末装置３に送信し（ステップＳ１１）、処理を終了する。
【００７６】
一方、ステップＳ７が否定されると減色動画像生成部５５が生動画像データＭ１′に対して減色動画像生成処理を施す（ステップＳ９）。
【００７７】
図８は、減色動画像生成処理のフローチャートである。まず、フレーム分離部７１が生動画像データＭ１′をフレーム単位の画像データであるフレームデータＦｒ０に分離し（ステップＳ３１）、基準フレーム生成部７２が、フレームデータＦｒ０から基準フレームデータＢ０を生成する（ステップＳ３２）。そして、パレットデータ生成部７３が、基準フレームデータＢ０からパレットデータＰ０を生成する（ステップＳ３３）。
【００７８】
一方、フレームサンプリング部７４が、フレームデータＦｒ０から減色動画像を構成するフレームデータＦｒ３をサンプリングする（ステップＳ３４）。なお、ステップＳ３４の処理を先に行ってもよく、ステップＳ３２，Ｓ３３およびステップＳ３４の処理を並列に行ってもよい。
【００７９】
そして、処理部７５が、フレームサンプリング部７４がサンプリングしたフレームデータＦｒ３に対して、パレットデータＰ０を用いて減色処理を施して減色されたフレームデータＦｒ４を生成する（ステップＳ３５）。次いで、フレーム合成部７６が、処理部７５が生成したフレームデータＦｒ４を時系列順に並べることにより１つのファイルとなるように合成して減色生動画像データＲ０を生成し（ステップＳ３６）、符号化部７７が減色生動画像データＲ０を符号化して減色動画像データＲ１を生成し（ステップＳ３７）、減色処理を終了する。
【００８０】
図６に戻り、生成画像出力部５６が減色動画像生成処理により生成された減色動画像データＲ１を画像出力部１６に出力する（ステップＳ１０）。画像出力部１６は減色動画像データＲ１をリクエストを行った携帯端末装置３に送信し（ステップＳ１１）、処理を終了する。
【００８１】
携帯端末装置３においては、マルチメディア画像データＦ１、減色動画像データＲ１または動画像データＭ１が受信される。ここで、携帯端末装置３が動画像を表示可能なものである場合には動画像データＭ１が送信され、動画像を表示できる。一方、携帯端末装置３が動画像を表示できないがマルチメディア画像を表示可能なものである場合にはマルチメディア画像データＦ１が送信され、動画像データＭ１からサンプリングされたフレームが連続的に切り替わる動きのある高画質の画像が表示される。
【００８２】
また、携帯端末装置３が動画像およびマルチメディア画像を表示できない場合には減色動画像データＲ１が送信され、減色動画像データＲ１に基づいて、動画像データＭ１からサンプリングされたフレームが連続的に切り替わる動きのある画像が表示される。
【００８３】
このように、本実施形態においては、動画像の送信を要求した携帯端末装置３の機種を判別し、その機種が動画像を表示できないがマルチメディア画像を表示できるものである場合には、リクエストのあった動画像データＭ０をマルチメディア画像データＦ１に変換して送信するようにしたものである。ここで、マルチメディア画像データＦ１は、減色動画像データＲ１とは異なり、ＪＰＥＧのように２次元方向の冗長性を考慮した圧縮形式にて圧縮されたフレームデータＦｒ２が含められるため、データ容量を低減しつつも減色動画像データＲ１と比較して、コマ送り表示される画像を高画質に生成することができる。したがって、携帯端末装置３が動画像を表示できず、かつ取り扱うことが可能なデータ容量に制限があっても、マルチメディア画像データＦ１により、動画像を擬似的にかつ高画質に表示することができ、これにより、携帯端末装置３が高画素の表示画面を有する場合にもコマ送り表示される画像を高画質に表示できる。
【００８４】
また、リクエストを行った携帯端末装置３の特性に応じて動画像データＭ１からマルチメディア画像データＦ１を生成しているため、生成されたマルチメディア画像データＦ１をリクエストを行った携帯端末装置３に確実に表示することができる。
【００８５】
また、生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下とならない場合には、フレームデータＦｒ１の再度のサンプリングおよびフレームデータＦｒ２の再度の符号化を、生成されるマルチメディア画像データＦ１がデータ容量Ｋ以下となるまで繰り返すようにしたため、携帯端末装置３が取り扱うことが可能なデータ容量Ｋに適合する容量のマルチメディア画像データＦ１を生成することができる。
【００８６】
また、リクエストを行った携帯端末装置３が動画像もマルチメディア画像も表示できない場合には、リクエストのあった動画像データＭ０を減色動画像データＲ１に変換して送信するようにしたため、携帯端末装置３が動画像およびマルチメディア画像を表示できなくても、画質は落ちるものの減色動画像データＲ１により動画像を擬似的に表示することができる。
【００８７】
また、動画像データＭ１から減色動画像データＲ１を生成する際に、１つのパレットデータＰ０のみを生成しているため、上記特許文献１に記載された方法のように、数フレーム毎にパレットデータを生成する必要がなくなり、これにより、装置の規模を大きくすることなく、動画像データＭ０から減色動画像データＲ１を得ることができる。
【００８８】
なお、上記実施形態においては、マルチメディア画像としてＦｌａｓｈフォーマットを有するものを用いているが、複数のフレームをコマ送り表示させつつインタラクティブに表示可能なフォーマットであればこれに限定されるものではない。
【００８９】
また、上記実施形態において、マルチメディア画像データＦ１に動画像データＭ０に含まれる音声を含めることも可能である。
【００９０】
また、上記実施形態においては、１つのパレットデータＰ０のみを生成して動画像データＭ１から減色動画像データＲ１を生成しているが、上記特許文献１に記載された方法のように、数フレーム毎にパレットデータを生成して動画像データＭ１から減色動画像データＲ１を生成してもよい。また、これらの方法に限らず、動画像データＭ１から減色動画像データＲ１を生成できれば任意の方法を適用することができる。
【００９１】
なお、上記実施形態におけるマルチメディア画像生成部５４を、動画像をマルチメディア画像に変換する動画像変換装置として単独で用いてもよい。この場合、図９に示すように動画像データＭ０を復号化するとともに、マルチメディア画像を表示する表示装置に適合するフォーマットとなるように復号化された動画像データＭ０′を変換するために、復号化部５２および動画像フォーマット変換部１４を備えるものとなる。
【図面の簡単な説明】
【図１】本発明の実施形態による動画像変換装置および動画像配信装置を適用した動画像配信サーバを用いた動画像配信システムの構成を示す概略ブロック図
【図２】機種とフォーマットとの関係を表すテーブルを示す図
【図３】動画像変換部の詳細な構成を示す概略ブロック図
【図４】マルチメディア画像生成部の詳細な構成を示す概略ブロック図
【図５】減色動画像生成部の詳細な構成を示す概略ブロック図
【図６】本実施形態において行われる処理を示すフローチャート
【図７】マルチメディア画像生成処理のフローチャート
【図８】減色動画像生成処理のフローチャート
【図９】動画像変換装置の構成を示す概略ブロック図
【符号の説明】
１    動画像配信サーバ
２    パソコン
３    携帯端末装置
１１    動画像蓄積部
１２    リクエスト受信部
１３    機種判別部
１４    動画像フォーマット変換部
１５    動画像変換部
１６    画像出力部
５１    動画像入力部
５２    復号化部
５３    出力フォーマット決定部
５４    マルチメディア画像生成部
５５    減色動画像生成部
５６    生成画像出力部
６１，７１    フレーム分離部
６２    符号化制御部
６３，７４    フレームサンプリング部
６４    フレーム内符号化部
６５    フォーマット成形部
７２    基準フレーム生成部
７３    パレットデータ生成部
７５    処理部
７６    フレーム合成部
７７    符号化部
【図１】
2004356998.tif 000003
【図２】
2004356998.tif 000004
【図３】
2004356998.tif 000005
【図４】
2004356998.tif 000006
【図５】
2004356998.tif 000007
【図６】
2004356998.tif 000008
【図７】
2004356998.tif 000009
【図８】
2004356998.tif 000010
【図９】
2004356998.tif 000011