(57)【特許請求の範囲】
【請求項１】
通信端末と通信回線で接続され、通信端末に動画データを送信する動画送信装置であって、
動画データを各フレーム毎の静止画に変換する動画処理部と、
前記通信端末との通信速度を検出する通信速度検出部と、
検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定する制御部と、
前記制御部で決定された単位時間当たり通信可能な静止画の枚数に基づいて前記動画処理部で変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成し、動画とする静止画再合成部と、
動画を構成する連続した再合成静止画を通信端末に送出する静止画送出部と、からなる動画送信装置。
【請求項２】
前記動画送信装置は前記動画処理部で変換された静止画の連続する複数フレーム間でシーン変化を検出するシーン変化検出部を有し、前記シーン変化検出部でシーン変化が検出された場合には前記静止画再合成部において当該シーン変化を有する静止画フレームを統一値を算出する対象としない請求項１の動画送信装置。
【請求項３】
前記静止画再合成部は、連続するフレームの２枚又は４枚から１枚の静止画を再合成する請求項１又は２記載の動画送信装置。
【請求項４】
通信端末に送信するための動画データを合成するためにコンピュータに、
動画データを各フレーム毎の静止画に変換するステップと、
前記通信端末との通信速度を検出するステップと、
検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定するステップと、
前記決定された単位時間当たり通信可能な静止画の枚数に基づいて前記変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成して連続した再合成静止画を送出用の動画とするステップと、を実行させるための動画合成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画送信装置及び動画合成プログラムに関するものであり、特に、通信端末と通信回線で接続され通信端末に動画データを送信する動画送信装置、及びそのための動画データを合成する動画合成プログラムに関する。
【０００２】
【従来の技術】
近年、携帯電話や個人情報端末（ＰＤＡ）などの携帯端末のサービスも第３世代が開始しようとしており、携帯端末の伝送帯域が向上し、携帯端末のネットワーク上でも動画を含む情報量の多いコンテンツが配信されるようになってきた。
【０００３】
しかしながら、携帯端末は消費電力や実装されるデバイスの制限などにより、パソコンに代表される設置型の端末と同等の情報量のコンテンツを再生することはできないのが現状である。これは、携帯端末に対しての通信路が小さいことにより通信できる情報量が制限されていることにもよる。
【０００４】
特開２００１−１１９６６１では、動画像データから等時間隔で特定の静止画を切り出し、それを早送りデータとして利用する技術が開示されている。しかし、この早送りデータはコンテンツ全体の内容確認用に使用されるためのもので動画データの情報量低減を直接の目的としていないため、動画再生能力の低い携帯端末でもスムーズに動画が再生されることは企図されていない。
【０００５】
【発明が解決しようとする課題】
本発明は、上記の事情を考慮して、通信路が小さく動画再生能力が低い携帯端末でもスムーズに動画が再生される動画送信装置及び動画合成プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の本発明は、通信端末と通信回線で接続され、通信端末に動画データを送信する動画送信装置であって、動画データを各フレーム毎の静止画に変換する動画処理部と、前記通信端末との通信速度を検出する通信速度検出部と、検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定する制御部と、前記制御部で決定された単位時間当たり通信可能な静止画の枚数に基づいて前記動画処理部で変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成し、動画とする静止画再合成部と、動画を構成する連続した再合成静止画を通信端末に送出する静止画送出部と、からなる動画送信装置、からなる。
【０００７】
請求項１の本発明によれば、動画処理部で動画データを各フレーム毎の静止画に変換し、通信速度検出部でこの動画送信装置と通信端末との通信速度を検出し、制御部において通信速度検出部で検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定し、静止画再合成部で前記制御部で決定された単位時間当たり通信可能な静止画の枚数に基づいて前記動画処理部で変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成し、静止画送出部で連続した再合成静止画を通信端末に送出する。
【０００８】
複数フレームの画像の統一値を算出する方法としては、当該複数フレームの各画素を平均化したり、当該複数フレームの最大値を統一値としたり、当該複数フレームの最小値を統一値としたりする方法がある。
【０００９】
請求項２の本発明は、前記動画送信装置は前記動画処理部で変換された静止画の連続する複数フレーム間でシーン変化を検出するシーン変化検出部を有し、前記シーン変化検出部でシーン変化が検出された場合には前記静止画再合成部において当該シーン変化を有する静止画フレームを統一値を算出する対象としない請求項１の動画送信装置、からなる。
【００１０】
請求項２の本発明によれば、シーン変化検出部が前記動画処理部で変換された静止画の連続する複数フレーム間でシーン変化を検出し、前記シーン変化検出部でシーン変化が検出された場合には前記静止画再合成部が当該シーン変化を有する静止画フレームを統一値を算出する対象としない。シーン変化を有する静止画フレームを統一値の算出対象とすると、統一化する対象のなかに急激に変化した画像のフレームが含まれることになり、この画像も統一化対象にすると統一化した後の画像が不明確なものになってしまう可能性があるからである。
【００１１】
請求項４の本発明は、通信端末に送信するための動画データを合成するためにコンピュータに、動画データを各フレーム毎の静止画に変換するステップと、前記通信端末との通信速度を検出するステップと、検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定するステップと、前記決定された単位時間当たり通信可能な静止画の枚数に基づいて前記変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成して連続した再合成静止画を送出用の動画とするステップと、を実行させるための動画合成プログラム、からなる。
【００１２】
請求項４の本発明によれば、動画データを各フレーム毎の静止画に変換し、通信しようとする通信端末との通信速度を検出し、検出された通信速度に基づいて前記通信端末に単位時間当たり通信可能な静止画の枚数を決定し、前記決定された単位時間当たり通信可能な静止画の枚数に基づいて前記変換された静止画の連続する複数フレームの画像の統一値を算出して静止画を再合成して連続した再合成静止画を前記通信端末への送出用の動画とする。
【００１３】
複数フレームの画像の統一値を算出する方法としては、上記請求項１の発明の説明で述べた通りの方法がある。
【００１４】
【発明の実施の形態】
以下、添付図面に従って本発明の実施の形態を詳説する。
【００１５】
本実施の形態では、動画サーバからインターネット回線を介して動画再生機である携帯電話に動画像データを送信する例を説明する。
【００１６】
図１は、携帯電話４がインターネット回線を介して動画サーバ２に接続されている図である。動画サーバ２から携帯電話４のユーザが指定した動画像データがインターネット回線を介して携帯電話４に送信される。
【００１７】
図２は、動画サーバ２の構成を示すブロック図である。
【００１８】
動画サーバ２は、シーン検出部６、ＣＰＵ８、作業メモリ１０、動画処理部１２、通信速度検出部１４、動画データベース１６、通信インターフェース１８、静止画保管メモリ２０、静止画合成部２２、静止画送出部２４がバス２５を介して接続された構成になっている。作業メモリ１０はデータを一時的に格納して各種作業をするためのメモリである。通信インターフェース１８はインターネット網に接続されている。
【００１９】
本実施の形態の作用を説明する。
【００２０】
図５は、動画像データ送信のリクエストを受けてから動画像データを送信するまでの動画サーバ２の作動の流れを示したフローチャートである。
【００２１】
まず、携帯電話４から所望の動画像データを送信するよう動画サーバ２にリクエストが発せられるので、動画サーバ２はそのリクエストを受信する（ステップ３０）。携帯電話４のユーザは、キーワード等を入力して動画データベース１６で所望のデータを検索することもできる。この場合は、動画データベース１６での検索結果を携帯電話４に送信して提供可能な動画像のリストを携帯電話４のユーザに知らせる。
【００２２】
ユーザの入力により送信してほしい動画像データが選択され、送信するべき動画が動画サーバ２内で特定される（ステップ３２）。特定された動画が動画処理部１２において各フレーム毎に静止画に変換される（ステップ３４）。ここで変換された静止画のフレームが図３、図４に示すオリジナルフレーム２６である。元の動画像データがＭＰＥＧの場合には、直前のフレームに対する動きの差分が入れられることになる。なお、変換された静止画のフレームは静止画保管メモリ２０にて保管される。
【００２３】
通信速度検出部１４において携帯電話４と動画サーバ２との間の通信速度が検出される（ステップ３６）。検出した通信速度に基づいて、ＣＰＵ８が単位時間当たりの通信可能な静止画の枚数を計算する（ステップ３８）。図示しないメモリには予めどの通信速度なら単位時間にどれくらいの静止画枚数を通信可能であるかのデータが格納されている。
【００２４】
静止画保管メモリ２０内に保管されている連続する静止画フレームの中に、動画符号列に含まれる動きベクトルに基づくシーン変化点があるかどうかをシーン検出部６で判断する（ステップ４０）。シーン変化点とは、隣接する静止画フレームの対応する各画素の差をとってその差が大きい場合にシーン変化点とみなされる。シーン変化点があると判断された場合は、シーン変化が存在する静止画フレームを一旦後述する平均化対象から除去する（ステップ４２）。
【００２５】
その後、ステップ３８で計算された単位時間当たりの通信可能な静止画の枚数のデータに基づいて、静止画合成部２２において平均化するべき連続する複数のフレームを選択する（ステップ４４）。すなわち、何枚の連続するオリジナルフレームで後述する平均値を算出するかを決定する。単位時間当たりの通信可能な静止画の枚数が多ければ少数の連続する静止画フレームで平均化することができ、単位時間当たりの通信可能な静止画の枚数が少なければ多数の連続する静止画フレームで平均化しなければならない。
【００２６】
ステップ４０でシーン変化点が検出されない場合はこのステップ４４に移行する。
【００２７】
静止画合成部２２において、選択された連続する複数フレームの各ピクセルの平均値を算出し（ステップ４６）、算出した平均値を取って静止画を再合成する（ステップ４８）。図３は、オリジナルフレーム２６にシーン変化点が存在しない場合に送出フレーム２８を再合成する状態を示した模式図である。図４は、オリジナルフレーム２６にシーン変化点が存在する場合に送出フレーム２８を再合成する状態を示した模式図である。
【００２８】
図３では、ステップ４４で述べた連続する複数フレームの選択として４枚の連続するオリジナルフレーム２６を選択している。そして４フレームで各ピクセルの平均値を算出し（ステップ４６）、その平均値から１つの静止画フレームを送出フレーム２８として生成している（ステップ４８）。そして複数の送出フレーム２８が連続状態になって１つの動画データを形成する。
【００２９】
図４では、オリジナルフレームにおいてシーン変化点が検出されたため（ステップ４０）、シーン変化が存在する静止画フレームを平均化対象から除去する（ステップ４２）。したがって、ステップ４４で述べた連続する複数フレームの選択として４枚の連続するオリジナルフレーム２６を選択した場合でも、シーン変化が存在する前のフレームは２枚で平均化対象とされ、シーン変化中の２枚は平均化対象から外され、その後の４枚が平均化対象として選択されている。尚、シーン変化フレーム及びその後の３枚のフレームをまとめて平均化対象にすることはしない。
【００３０】
そして４フレーム又は２フレームで各ピクセルの平均値を算出し（ステップ４６）、その平均値から１つの静止画フレームを送出フレーム２８として生成している（ステップ４８）。そして複数の送出フレーム２８が連続状態になって１つの動画データを形成する。シーン変化を有するオリジナルフレームを平均値の算出対象としないのは、平均化する対象のなかに急激に変化した画像のフレームが含まれることになり、この画像も平均化対象にすると平均した後の画像が不明確なものになってしまうからである。
【００３１】
再合成した連続静止画は静止画送出部２４に送られ（ステップ５０）、通信インターフェース１８からインターネット網を介して携帯電話４に送出される（ステップ５２）。携帯電話４では受信した連続静止画が動画状態となって再生される。携帯電話４では送られてきた動画データを解凍することなしに動画を再生できるので、解凍機能を搭載する必要がない。
【００３２】
本形態によれば、動画像のフレーム数は減るが、携帯電話に処理能力を必要とする動画再生機能を搭載することなく、携帯電話上でスムーズに変化する動画を再生することができる。
【００３３】
本形態では動画送信装置として動画サーバを用いて説明したが、動画サーバ以外の本発明の機能を有する送信装置なら適用可能である。また、図５に示す手順で送出用フレームを生成するプログラムも本発明の範囲内である。
【００３４】
【発明の効果】
請求項１の本発明によれば、複数フレームの静止画の統一値を算出する機能を有しているので、動画像のフレーム数が減っても通信端末で動画像をスムーズに再生することができ、動画再生機能が搭載されていない携帯端末や画像処理能力が低い端末でも動画の再生をすることができる。
【００３５】
請求項２の本発明によれば、再合成した静止画が明瞭になるので、送信されてきた動画が何を表示しているかを見ている者が即座に理解できる利点を有する。
【００３６】
請求項３の本発明によれば、複数フレームの静止画の統一値を算出するステップを有しているので、動画像のフレーム数が減っても通信端末で動画像をスムーズに再生することができ、動画再生機能が搭載されていない携帯端末や画像処理能力が低い端末でも動画の再生をすることができる。
【図面の簡単な説明】
【図１】携帯電話がインターネット回線を介して動画サーバに接続されている図。
【図２】動画サーバの構成を示すブロック図。
【図３】オリジナルフレームにシーン変化点が存在しない場合に送出フレームを再合成する状態を示した模式図。
【図４】オリジナルフレームにシーン変化点が存在する場合に送出フレームを再合成する状態を示した模式図。
【図５】動画像データ送信のリクエストを受けてから動画像データを送信するまでの動画サーバの作動の流れを示したフローチャート。
【符号の説明】
２…動画サーバ、４…携帯電話、６…シーン検出部、８…ＣＰＵ、１０…作業メモリ、１２…動画処理部、１４…通信速度検出部、１８…通信インターフェース、２０…静止画保管メモリ、２２…静止画合成部、２４…静止画送出部、２６…オリジナルフレーム、２８…送出フレーム
【図１】
0004066235.tif 000002
【図２】
0004066235.tif 000003
【図３】
0004066235.tif 000004
【図４】
0004066235.tif 000005
【図５】
0004066235.tif 000006