(57)【要約】【課題】  動画像データを送信する処理において、画質の劣化を抑制しつつ処理能力の異なる再生装置で円滑な再生を可能とする技術を提供する。【解決手段】  本発明は、動画像データ再生装置に動画像データを送信する動画像送信装置を提供する。本動画像送信装置は、動画像データから注目オブジェクトを含む複数のオブジェクトを抽出するオブジェクト抽出部と、動画像データ再生装置の再生環境を表す再生環境情報に応じて複数のオブジェクト毎に圧縮率を決定する圧縮率決定部と、決定された各圧縮率に基づいて複数のオブジェクトを圧縮しつつ動画像データを符号化する符号化部と、符号化された動画像データを送信する送信部とを備える。注目オブジェクトの圧縮率は、複数のオブジェクトのうちの他のオブジェクトの圧縮率よりも低くなるように設定されていることを特徴とする。【選択図】  図５
2006101063.tif 000002
【特許請求の範囲】
【請求項１】
動画像データ再生装置に動画像データを送信する動画像送信装置であって、
動画像データから注目オブジェクトを含む複数のオブジェクトを抽出するオブジェクト抽出部と、
前記動画像データ再生装置の再生環境を表す再生環境情報を受信するとともに、前記再生環境情報に応じて前記複数のオブジェクト毎に圧縮率を決定する圧縮率決定部と、
前記決定された各圧縮率に基づいて前記複数のオブジェクトを圧縮しつつ前記動画像データを符号化する符号化部と、
前記符号化された動画像データを送信する送信部と、
を備え、
前記注目オブジェクトは、前記動画像データで表示される画像領域のうち比較的に注目を引く注目領域を含む画像領域であり、
前記注目オブジェクトの圧縮率は、前記複数のオブジェクトのうちの他のオブジェクトの圧縮率よりも低くなるように設定されていることを特徴とする、動画像送信装置。
【請求項２】
請求項１記載の動画像送信装置であって、
前記注目オブジェクトは、人間の顔を含む画像領域である特定のオブジェクトを含む、動画像送信装置。
【請求項３】
請求項１または２に記載の動画像送信装置であって、
前記再生環境情報は、前記動画像データ再生装置のデコード性能を表すデコード性能情報を含み、
前記圧縮レベル決定部は、前記デコード性能情報に応じて、前記圧縮レベルを決定する、動画像送信装置。
【請求項４】
請求項１ないし３のいずれかに記載の動画像送信装置であって、
前記符号化部は、前記他のオブジェクトの更新レートを少なくする符号化処理モードを有する、動画像送信装置。
【請求項５】
請求項４記載の動画像送信装置であって、
前記符号化部は、前記他のオブジェクトをスプライト符号化するスプライト符号化処理モードを有する、動画像送信装置。
【請求項６】
請求項１ないし５のいずれかに記載の動画像送信装置であって、
前記再生環境情報は、前記動画像データ再生装置と前記動画像送信装置との間の通信レートに関する情報を表す通信環境情報を含み、
前記圧縮レベル決定部は、前記通信環境情報に応じて、前記圧縮レベルを変更する、動画像送信装置。
【請求項７】
請求項６記載の動画像送信装置であって、
前記符号化部は、前記変更された圧縮レベルで実時間で前記符号化を実行する、動画像送信装置。
【請求項８】
動画像送信装置から所定の符号化で符号化された動画像データである符号化データを受信するとともに再生する動画像データ再生装置であって、
前記動画像データ再生装置の再生環境を表す再生環境情報を送信する送信部と、
前記受信した符号化データを逆符号化する逆符号化部と、
前記逆符号化された符号化データを再生する再生部と、
を備え、
前記所定の符号化は、前記動画像データから抽出された注目オブジェクトを含む複数のオブジェクト毎に前記再生環境情報に応じて決定された各圧縮率に基づいて前記複数のオブジェクトを圧縮しつつ実行され、
前記注目オブジェクトは、前記動画像データで表示される画像領域のうち比較的に注目を引く注目領域を含む画像領域であり、
前記注目オブジェクトの圧縮率は、前記複数のオブジェクトのうちの他のオブジェクトの圧縮率よりも低くなるように設定されていることを特徴とする、動画像データ再生装置。
【請求項９】
動画像データ再生装置に動画像データを送信する方法であって、
（ａ）動画像データから注目オブジェクトを含む複数のオブジェクトを抽出する工程と、
（ｂ）前記動画像データ再生装置の再生環境を表す再生環境情報を受信するとともに、前記再生環境情報に応じて前記複数のオブジェクト毎に圧縮率を決定する工程と、
（ｃ）前記決定された各圧縮率に基づいて前記複数のオブジェクトを圧縮しつつ前記動画像データを符号化する工程と、
（ｄ）前記符号化された動画像データを送信する工程と、
を備え、
前記注目オブジェクトは、前記動画像データで表示される画像領域のうち比較的に注目を引く注目領域を含む画像領域であり、
前記注目オブジェクトの圧縮率は、前記複数のオブジェクトのうちの他のオブジェクトの圧縮率よりも低くなるように設定されていることを特徴とする、動画像送信方法。
【請求項１０】
動画像データ再生装置に動画像データを送信するための処理をコンピュータに実行させるためのコンピュータプログラムであって、
（ａ）動画像データから注目オブジェクトを含む複数のオブジェクトを抽出する機能と、
（ｂ）前記動画像データ再生装置の再生環境を表す再生環境情報を受信するとともに、前記再生環境情報に応じて前記複数のオブジェクト毎に圧縮率を決定する機能と、
（ｃ）前記決定された各圧縮率に基づいて前記複数のオブジェクトを圧縮しつつ前記動画像データを符号化する機能と、
（ｄ）前記符号化された動画像データを送信する機能と、
を前記コンピュータに実現させるプログラムを備え、
前記注目オブジェクトは、前記動画像データで表示される画像領域のうち比較的に注目を引く注目領域を含む画像領域であり、
前記注目オブジェクトの圧縮率は、前記複数のオブジェクトのうちの他のオブジェクトの圧縮率よりも低くなるように設定されていることを特徴とする、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データのデータサイズを圧縮する技術に関する。
【背景技術】
【０００２】
近年、動画像データの提供がＤＶＤといった記録媒体や有線のネットワークを経由する通信だけでなく、携帯電話やＰＤＡといった移動体通信にも広がっている。このような通信対象の拡大に伴って、動画像データの提供対象となる再生装置の対象も拡大している。
【０００３】
このような再生装置の拡大は、再生装置の処理能力のバラツキの拡大の要因となっている。このように提供対象の再生装置に処理能力のバラツキが想定される場合には、たとえば動画像データの画像サイズを調整して動画像データを提供することが行われている。
【０００４】
【特許文献１】特開２００４−５６６３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、画像サイズの調整は、表示画像サイズの縮小や解像度の低下の原因となって、動画像の視認性を過度に劣化させる場合があるという問題が生じていた。
【０００６】
この発明は、従来技術における上述の課題を解決するためになされたものであり、動画像データを送信する処理において、画質の劣化を抑制しつつ処理能力の異なる再生装置で円滑な再生を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、動画像データ再生装置に動画像データを送信する動画像送信装置であって、
動画像データから注目オブジェクトを含む複数のオブジェクトを抽出するオブジェクト抽出部と、
前記動画像データ再生装置の再生環境を表す再生環境情報を受信するとともに、前記再生環境情報に応じて前記複数のオブジェクト毎に圧縮率を決定する圧縮率決定部と、
前記決定された各圧縮率に基づいて前記複数のオブジェクトを圧縮しつつ前記動画像データを符号化する符号化部と、
前記符号化された動画像データを送信する送信部と、
を備え、
前記注目オブジェクトは、前記動画像データで表示される画像領域のうち比較的に注目を引く注目領域を含む画像領域であり、
前記注目オブジェクトの圧縮率は、前記複数のオブジェクトのうちの他のオブジェクトの圧縮率よりも低くなるように設定されていることを特徴とする。
【０００８】
本発明の動画像送信装置によれば、動画像データから抽出された複数のオブジェクトのうち比較的に注目を引く注目領域を含む画像領域である注目オブジェクトの圧縮率を他よりも低くして符号化することができるので、様々な受信再生環境において注目領域を含む画像領域を鮮明に再生可能な動画像データを提供することができる。
【０００９】
ここで、「注目領域」は、たとえば画像部分の重要度を示す重要度指標を所定の算出方法で算出し、この重要度指標の高い領域として検出するようにしても良いし、後述する方法で検出しても良い。「再生環境情報」には、動画像データ再生装置のデコード性能や通信レート、ユーザによって指定されたユーザ設定情報といった種々の情報を含む。「オブジェクト」は、画像中の一部の領域やＡＶオブジェクトを含む広い概念である。
【００１０】
上記動画像送信装置において、前記注目オブジェクトは、人間の顔を含む画像領域である特定のオブジェクトを含むようにしても良い。
【００１１】
こうすれば、人間の顔を含む画像領域を鮮明に再生可能な動画像データを提供することができる。
【００１２】
上記動画像送信装置において、前記再生環境情報は、前記動画像データ再生装置のデコード性能を表すデコード性能情報を含み、
前記圧縮レベル決定部は、前記デコード性能情報に応じて、前記圧縮レベルを決定するようにしても良い。
【００１３】
こうすれば、デコード性能が異なる様々な再生機器に対して、そのデコード性能に応じた動画像データを提供することができる。ここで、他のオブジェクトの高圧縮率化は、たとえば以下の方法で実現することができる。すなわち、画素のサブサンプル(間引き)や階調数の削減、高周波成分のさらなる削減、フレーム画像の流用といった種々の方法で実現することができる。
【００１４】
画素のサブサンプルは、たとえば「他の領域」においては縦方向と横方向の少なくとも一方について、２個に１個の割合で画素を間引く処理である。階調数の削減は、たとえばＹＣｂＣｒの階調数を２５６階調からＣｂＣｒについてのみ１２８階調や６４階調に削減することによって実現することができる。フレーム画像の流用は、画素値の変動を少なくして、可変長符号化による圧縮率を結果的に高める効果を奏する。
【００１５】
上記動画像送信装置において、前記符号化部は、前記他のオブジェクトの更新レートを少なくする符号化処理モードを有するようにしても良い。
【００１６】
注目オブジェクト以外の他のオブジェクトは、一般に動きが少ないので、更新レートを少なくしても動画質の劣化は小さく、注目される領域でもないので視聴者に過度の画質の劣化を感じさせることなくビットレートを大きく節減することができる。ここで、更新レートを少なくすることには、更新を少なくとも一定時間停止することも含む。
【００１７】
上記動画像送信装置において、前記符号化部は、前記他のオブジェクトをスプライト符号化するスプライト符号化処理モードを有するようにしても良い。
【００１８】
他のオブジェクトをスプライト符号化すれば、注目オブジェクトの背後部分の画像情報を動画像再生装置側が有することになるので、他のオブジェクトが停止した状態で注目オブジェクトが移動しても空白部分が生じさせないようにすることができる。
【００１９】
上記動画像送信装置において、前記再生環境情報は、前記動画像データ再生装置と前記動画像送信装置との間の通信レートに関する情報を表す通信環境情報を含み、
前記圧縮レベル決定部は、前記通信環境情報に応じて、前記圧縮レベルを変更するようにしても良い。
【００２０】
こうすれば、変動する通信レートがボトルネックとなるような受信環境においても、その環境に応じた動画像データを提供することができる。
【００２１】
上記動画像送信装置において、前記符号化部は、前記変更された圧縮レベルで実時間で前記符号化を実行するようにしても良い。
【００２２】
なお、本発明は、動画像データ再生装置、動画像データ生成の方法または装置の機能をコンピュータに実現させるためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の種々の形態で実現することができる。
【発明を実施するための最良の形態】
【００２３】
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．本発明の実施例における動画像データ提供システムの構成：
Ｂ．本発明の第１実施例における動画像データ提供処理：
Ｃ．本発明の第２実施例における動画像データ提供処理：
Ｄ．変形例：
【００２４】
Ａ．本発明の実施例における動画像データ提供システムの構成：
図１は、本発明の第１実施例におけるネットワークシステムの構成を示す説明図である。このネットワークシステムは、有線ＬＡＮ（Local Area Network）と無線ＬＡＮとで構成されている。有線ＬＡＮは、動画像データの提供が可能なサーバＳＶと、パーソナルコンピュータ２２０と、無線ＬＡＮアクセスポイント１６とを接続している。無線ＬＡＮは、無線ＬＡＮアクセスポイント１６と、２つのパーソナルコンピュータ２００、２１０と、プロジェクタ１００とを接続している。これにより、動画像データ提供用のサーバＳＶは、有線ＬＡＮと無線ＬＡＮとを介して、３つのパーソナルコンピュータ２００、２１０、２２０と、プロジェクタ１００とに接続されていることになる。
【００２５】
図１に示されるネットワークは、たとえば社内会議の一場面を想定して構成されたものである。具体的には、社員の１人が話者としてプロジェクタ１００を用いてプレゼンテーションを行っており、複数の社員が聴衆としてプレゼンテーションを聞いている状況である。複数の社員の１人は有線ＬＡＮに接続されたパーソナルコンピュータ２２０を使用しており、他の社員は無線ＬＡＮアクセスポイント１６とアクセス可能な自己のパーソナルコンピュータ２００、２１０を会議室に持ち込んで使用している。パーソナルコンピュータ２００、２１０は、動画像データ提供用のサーバＳＶにとっては動画像データのデコード性能が未知の再生装置である。
【００２６】
このネットワークは、社内会議において、パーソナルコンピュータ２００、２１０、２２０のユーザは、パーソナルコンピュータ２００、２１０、２２０を操作してサーバＳＶに対して動画像データの送信を要求することができる。プロジェクタ１００を使用する話者は、サーバＳＶを操作してスクリーンＳＣに動画像を表示させることができる。
【００２７】
なお、本実施例では、パーソナルコンピュータ２００、２１０、２２０だけでなく、プロジェクタ１００もデコーダを搭載しているものとしている。符号化された動画像データの方がＲＧＢデータやＹＣｒＣｂデータといった画像データよりもデータ量が少ないので、通信環境（たとえば無線ＬＡＮ）による制限が緩和されて高画質の動画像表示を実現することができるからである。
【００２８】
図２は、本発明の第１実施例におけるサーバＳＶの構成を示す説明図である。サーバＳＶは、画像処理のための演算処理を実行するＣＰＵ１１と、ＲＯＭ１２と、画像データやアプリケーションプログラムを一時的に格納するＲＡＭ１３と、画像処理のためのアプリケーションソフトや動画像データを格納するハードディスク１４と、動画像データベース部３０やユーザインターフェース部１８といった外部機器や有線ＬＡＮとの間のインターフェースを司るＩ／Ｆ回路１５とを備えている。
【００２９】
動画像データベース部３０は、デジタルビデオカメラ３０ａ、ＤＶＤ３０ｂ、およびハードディスク３０ｃを動画像データの供給源として有している。動画像データは、時系列的に連続するフレーム画像データの集合としてサーバＳＶに供給される。ユーザインターフェース部１８は、操作表示画面を表示するディスプレイ１８ａと、ユーザからの入力を受け付けるキーボード１８ｂやマウス１８ｃを備えている。
【００３０】
サーバＳＶは、３つのパーソナルコンピュータ２００、２１０、２２０と、プロジェクタ１００とにプレゼンテーション用の同一の画像を提供することができる。話者は、たとえばプロジェクタ１００によって映し出された画面上をレーザーポインターで示しつつプレゼンテーションを行うことができる。このプレゼンテーションでは、静止画像だけでなく動画像の表示も行われるものとしている。
【００３１】
図３は、サーバＳＶが備えるハードディスク１４の内容を示す説明図である。ハードディスク１４は、２組の動画像データＭＰ１、ＭＰ２を格納している。動画像データＭＰ１は、同一の画像について、高ビットレートの動画像データＭＰ１Ｈと、中ビットレートの動画像データＭＰ１Ｍと、低ビットレートの動画像データＭＰ１Ｌと、を含んでいる。動画像データＭＰ２は、同一の画像について、高ビットレートの動画像データＭＰ２Ｈと、中ビットレートの動画像データＭＰ２Ｍと、低ビットレートの動画像データＭＰ２Ｌと、を含んでいる。このように、複数のビットレートで同一の動画像を表示するための動画像データを有しているのは、受信側の再生環境に応じて適したビットレートの動画像データを供給するためである。
【００３２】
この動画像データ提供システムでは、動画像データ提供用のサーバＳＶは、有線ＬＡＮと無線ＬＡＮとを介して、３つのパーソナルコンピュータ２００、２１０、２２０と、プロジェクタ１００とに接続されている。３つのパーソナルコンピュータ２００、２１０、２２０と、プロジェクタ１００とは、デコード性能や通信環境が異なる。このため、高ビットレートの動画像データを一律に提供すると、たとえば一部の再生機器でデコード性能が対応できない場合や再生機器の性能を十分に発揮できない場合が生ずる。
【００３３】
後述する各実施例の動画像データ提供処理では、受信側のデコード性能や通信環境に応じて適切なビットレートの動画像データが送信されるので、各再生機器のデコード性能や通信環境の能力を十分に発揮させることができる。
【００３４】
Ｂ．本発明の第１実施例における動画像データ提供処理：
図４は、本発明の第１実施例における動画像データ提供処理の内容を示すフローチャートである。この処理は、動画像データ準備処理（ステップＳ１００）と動画像データ送信処理（ステップＳ２００）とを備えている。
【００３５】
動画像データ準備処理は、動画像データベース部３０から供給された動画像データを符号化して、高中低の３つのビットレートの動画像データを生成した後に、これをハードディスク１４に格納する処理である。動画像データ送信処理は、こうして格納された３つのビットレートの動画像データのいずれかを、受信側の再生環境に応じて選択するとともに選択された動画像データを送信する処理である。
【００３６】
図５は、本発明の第１実施例における動画像データ準備処理の内容を示すフローチャートである。ステップＳ１１０では、サーバＳＶは、動画像データベース部３０から動画像データＭＰ１Ｒを入力する。この動画像データは、本実施例では、符合化前の時系列的に連続するフレーム画像データの集合として供給される。
【００３７】
ステップＳ１２０では、サーバＳＶは、動画像データＭＰ１Ｒ（図６（Ａ））のフレーム画像の中から注目領域を抽出する。「注目領域」は、典型的には人間にとって目立ち易い領域である。第１実施例では、人間の顔を含む領域が注目領域として検出される。図６（Ｂ）は、動画像データＭＰ１Ｒの中で２つの注目領域ＰＡが検出された状態を示している。この注目領域ＰＡは、顔領域を包含する所定の幾何形状に設定することができる。所定の幾何形状は、たとえば矩形としても良いし顔領域に一致した多値形状としても良い。
【００３８】
なお、画像内の顔領域を検出する方法としては、例えば信学技報（Technical Report of IEICE），PRMU2001-217，pp.87-94(2002−1)，「背景と顔の方向に依存しない顔の検出と顔方向の推定」に記載された方法を利用することができる。この資料では、顔領域の検出だけでなく、顔方向の推定についても記載されているが、本実施例では顔領域の検出だけを行えば良い。また、他の種々の顔領域検出方法を利用することも可能である。
【００３９】
ステップＳ１３０では、サーバＳＶは、動画像データＭＰ１Ｒの符号化の際に行われる圧縮の圧縮率を注目領域と他の領域とに分けて決定する。本実施例では、「注目領域」については、予め設定された標準の圧縮率で符号化処理が行われ、「他の領域」については、３種類の圧縮率で符号化処理が行われるように構成されている。
【００４０】
「他の領域」の符号化処理は、たとえば高ビットレートの動画像データＭＰ１Ｈの生成では、「注目領域」と同一の圧縮率で符号化処理が行われ、中ビットレートの動画像データＭＰ１Ｍの生成では、「注目領域」よりも高い圧縮率で符号化処理が行われ、低ビットレートの動画像データＭＰ１Ｌの生成では、さらに高い圧縮率で符号化処理が行われる。
【００４１】
このように、「他の領域」においてのみ圧縮率を高めているのは、「注目領域」の画質を維持して、視聴者に画質の過度の劣化を感じさせないようにするためである。さらに、一般に、「注目領域」は、他の領域よりも面積的に小さいので、他の領域の高圧縮率化は顕著な効果を奏することができる。
【００４２】
高圧縮率化は、たとえば以下の方法で実現することができる。すなわち、画素のサブサンプル(間引き)や階調数の削減、高周波成分のさらなる削減、フレーム画像の流用といった種々の方法で実現することができる。画素のサブサンプルは、たとえば「他の領域」においては縦方向と横方向の少なくとも一方について、２個に１個の割合で画素を間引く処理である。階調数の削減は、たとえばＹＣｂＣｒの階調数を２５６階調からＣｂＣｒについてのみ１２８階調や６４階調に削減することによって実現することができる。
【００４３】
フレーム画像の流用は、以下のようにしてビットレートの削減に寄与する。第１に、フレーム画像を流用すると、画素値の変動が少なくなるので、可変長符号化による圧縮率を高める効果を奏する。第２に、たとえば非注目領域（他のオブジェクト）の画像の更新レートを少なくしてビットレートを少なくすることができる。
【００４４】
注目オブジェクト以外の他のオブジェクトは、一般に動きが少ないので、更新レートを少なくしても動画質の劣化は小さく、注目される領域でもないので視聴者に過度の画質の劣化を感じさせることなくビットレートを大きく節減することができるという利点がある。ここで、更新レートを少なくすることには、更新を少なくとも一定時間停止することも含む。
【００４５】
さらに、他のオブジェクトの更新レートを少なくする方法は、スプライト符号化と組み合わせることによって、より顕著な効果を奏する。更新レートが少なくなる他のオブジェクトをスプライト符号化すれば、注目オブジェクトの背後部分の画像情報を動画像再生装置側が有することになるので、他のオブジェクトが停止した状態で注目オブジェクトが移動しても空白部分が生じないからである。
【００４６】
ステップＳ１４０では、サーバＳＶは、設定された圧縮方法によって符号化処理を行う。ステップＳ１５０では、サーバＳＶは、符号化された３種類の動画像データをハードディスク１４に格納する。
【００４７】
図７は、本発明の第１実施例における動画像データ送信処理（図５）の内容を示すフローチャートである。ステップＳ２１０では、サーバＳＶは、動画像データ要求信号を受信する。動画像データ要求信号は、本実施例では、３つのパーソナルコンピュータ２００、２１０、２２０のいずれかから受信する。
【００４８】
なお、サーバＳＶが有線ＬＡＮと無線ＬＡＮとを介し、３つのパーソナルコンピュータ２００、２１０、２２０とプロジェクタ１００とを制御して、動画像を表示させる場合には、このプロセスは省略されることになる。
【００４９】
ステップＳ２２０では、サーバＳＶは、デコード性能情報を要求する。デコード性能情報とは、動画像データ要求信号の発信元のデコード性能を表す情報である。デコード性能情報の要求は、動画像データ要求信号の送信元に対して行われる。
【００５０】
ステップＳ２３０では、サーバＳＶは、動画像データを選択する。動画像データの選択は、受信したデコード性能情報に応じて行われる。たとえばデコード性能情報によって表されるデコード性能と２つの閾値に基づいて、デコード性能がいずれの閾値よりも高いときには、高ビットレートの動画像データＭＰ１Ｈが選択され、デコード性能が２つの閾値の間にある場合には、中ビットレートの動画像データＭＰ１Ｍが選択され、デコード性能がいずれの閾値よりも低いときには、低ビットレートの動画像データＭＰ１Ｌが選択される。
【００５１】
ステップＳ２４０では、サーバＳＶは、選択された動画像データを動画像データ要求信号の発信元に送信する。このようにして、動画像データ要求信号の発信元のデコード性能に適したビットレートの動画像データが送信されることになる。
【００５２】
このように、第１実施例では、視聴者に画質の過度の劣化を感じさせることなく、再生装置のデコード性能に適したビットレートの動画像データを送信することができるので、様々な再生環境において安定して再生可能な動画像データを提供することができる。
【００５３】
Ｃ．本発明の第２実施例における動画像データ提供処理：
図８は、本発明の第２実施例における動画像データ送信処理の内容を示すフローチャートである。この動画像データ送信処理は、動画像データ要求信号の発信元のデコード性能だけでなく、動画像データ要求信号の発信元との間の通信環境をも考慮して、動画像データが選択される点で第１実施例の処理と異なる。具体的には、ステップＳ２３０とステップＳ２４０が、ステップＳ２５０〜ステップＳ２９０に変更されている。
【００５４】
さらに、本発明の第２実施例では、サーバＳＶは、動画像データベース部３０から供給される動画像データを実時間で符号化する点で第１実施例と異なる。
【００５５】
ステップＳ２５０では、サーバＳＶは、通信レート（送信レート）を計算する。送信レートは、たとえば送信先から応答確認のあったパケットで送信が行われた動画像データのデータ量を、送信に要した時間で除することによって計算することができる。
【００５６】
ステップＳ２６０では、サーバＳＶは、圧縮率を決定する。圧縮率の決定は、ステップＳ２２０で受信したデコード性能情報と送信レートとに応じて行われる。具体的には、デコード性能情報で表された性能で停止することなく再生可能であって、変動する送信レートより十分に小さいビットレートとなる程度の圧縮率に決定される。
【００５７】
ステップＳ２７０では、サーバＳＶは、決定された圧縮率に基づいて実時間で符号化を行う。実時間で符号化された動画像データは、所定数のパケットに分割されて動画像データ要求信号の発信元に送信される（ステップＳ２８０）。動画像データの送信は、ステップＳ２５０〜ステップＳ２８０の処理を、たとえば１０秒ごとに繰り返すことによって完了させることができる（ステップＳ２９０）。
【００５８】
このように、第２実施例では、視聴者に画質の過度の劣化を感じさせることなく、再生装置のデコード性能だけでなく通信環境にも適したビットレートの動画像データを送信することができるので、様々な受信環境や通信環境において安定して再生可能な動画像データを提供することができる。
【００５９】
なお、たとえば一定レベルの通信レートが保証されているとともに既知である場合には、通信レートとデコード性能のうち低い方に応じて、圧縮率を一度だけ決定すればよい。さらに、受信側のユーザがビットレートを指定するようにしても良い。
【００６０】
また、送信途中でのビットレートの変更は、必ずしも実時間での符号化を前提とする物ではない。たとえば各ビットレートの動画像データを１０秒ごとに分割してハードディスク１４に格納しておいて、通信環境に応じて１０秒ごとにビットレートの切替ができるように構成しても良い。
【００６１】
Ｄ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、たとえば次のような変形も可能である。
【００６２】
Ｄ−１．上述の各実施例では、人間の顔を含む領域が注目領域として検出されているが、他の方法、たとえば画像部分の重要度を示す重要度指標ＭＩを所定の算出方法で算出し、この重要度指標ＭＩの高い領域として検出するようにしても良い。重要度指標ＭＩの算出方法としては、例えば特開２００１−１２６０７０号公報に記載されている方法を採用可能である。この公報に記載されている方法では、「誘目度」を、重要度指標ＭＩとして採用する。この誘目度は、人間の主観に合ったパラメータであり、対象画像ＭＦの画像位置における物理的（特徴色の異質度、テクスチャの異質度、形の異質度および面積の異質度など）に基づいて定量的に決定される値である。この方法では、誘目度が閾値以上である画像部分（あるいはその画像部分を包含する矩形領域）が注目領域ＰＡとして検出される。
【００６３】
Ｄ−２．上述の各実施例では、ＬＡＮ経由で動画像データ提供システムが構成されているが、インターネットを介在するようにしても良い。さらに、通信プロトコルは、有線ＬＡＮと無線ＬＡＮの双方でＴＣＰ／ＩＰプロトコールを使用するようにしても良いし、たとえば無線ＬＡＮだけにＢＬＵＥＴＯＯＴＨ（登録商標）を使用するようにしても良い。
【００６４】
Ｄ−３．上述の各実施例では、動画像データ再生装置としてパーソナルコンピュータやプロジェクタが使用されているが、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ：携帯型情報端末)や携帯電話、液晶ビューワといった動画像データを表示できる物であれば良い。一方、上述の各実施例では、動画像送信装置としてサーバが使用されているが、ＰＤＡや携帯電話といった動画像データを送信できる物であれば良い。通信態様としては、携帯電話同士や携帯電話とＰＤＡというような多様な組合せに対して、本発明は、適用可能である。
【００６５】
Ｄ−４．上述の各実施例では、符合化前の元動画像データを複数の異なる圧縮率で符号化しているが、符合化された動画像データを再度符号化するような構成としても良い。
【００６６】
Ｄ−５．上述の各実施例では、注目領域と他の領域というように領域毎にオブジェクトを分割して、分割されたオブジェクト毎に圧縮率を変更しているが、たとえば符号化にＭＰＥＧ−４規格のエンコーダを使用する場合には、抽出されたＡＶオブジェクト毎に圧縮率を変更するように構成しても良い。本発明は、ＭＰＥＧ−４を含む種々の規格の符号化処理に適用することが可能である。
【００６７】
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【００６８】
本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施例におけるネットワークシステムの構成を示す説明図。
【図２】本発明の第１実施例におけるサーバＳＶの構成を示す説明図。
【図３】サーバＳＶが備えるハードディスク１４の内容を示す説明図。
【図４】本発明の第１実施例における動画像データ提供処理の内容を示すフローチャート。
【図５】本発明の第１実施例における動画像データ準備処理の内容を示すフローチャート。
【図６】本発明の第１実施例における注目領域検出処理の様子を示す説明図。
【図７】本発明の第１実施例における動画像データ送信処理の内容を示すフローチャート。
【図８】本発明の第２実施例における動画像データ送信処理の内容を示すフローチャート。
【符号の説明】
【００７０】
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…ハードディスク
１５…Ｉ／Ｆ回路
１６…無線ＬＡＮアクセスポイント
１８…ユーザインターフェース部
３０…動画像データベース部
１００…プロジェクタ
２００、２１０、２２０…パーソナルコンピュータ
ＳＶ…サーバ
【図１】
2006101063.tif 000003
【図２】
2006101063.tif 000004
【図３】
2006101063.tif 000005
【図４】
2006101063.tif 000006
【図５】
2006101063.tif 000007
【図６】
2006101063.tif 000008
【図７】
2006101063.tif 000009
【図８】
2006101063.tif 000010