(57)【要約】【課題】動画を用いたネットワークアプリケーションでは、ネットワークの輻輳時に、動画ストリームのパケットが欠落する。【解決手段】重要度判定部６０は、カメラ３２により撮影される動画像のフレームの入力と、サーバ３０に設けられたスイッチからの手動操作による入力と、マイクからの音声入力とを受け付け、画像フレームの重要度をフレーム単位で判定する。エンコーダ６４は、カメラ３２により取得される画像フレームを圧縮符号化し、動画ストリームを生成する。パケタイザ６６は、動画ストリームをパケット化し、タグ付け部６８に与える。タグ付け部６８は、画像フレーム毎に設定された重要度を動画ストリームのパケットのヘッダに優先度タグとして付加する。送信部７０は、パケットの優先度制御機能をもつルータで構成されるネットワーク２０に優先度タグ付きのパケットを送信する。【選択図】図２
2007158410.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された人物の動画像の重要度を前記人物の顔画像から取得される特徴量にもとづいてフレーム単位で判定する重要度判定部と、
前記動画像のフレームを符号化する符号化部と、
符号化された前記フレームをパケットに変換するパケット化部と、
前記パケットのヘッダに前記重要度を反映した優先度タグを付加するタグ付け部と、
パケットの優先度制御機能をもつルータで構成されるネットワークに前記優先度タグが付けられたパケットを送信する送信部とを含むことを特徴とする画像符号化装置。
【請求項２】
前記重要度判定部は、前記人物の音声レベルも特徴量として利用して前記人物の動画像の重要度をフレーム単位で判定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記重要度判定部は、前記人物が手動で所定の操作を行った場合に、その操作が行われている間にキャプチャされる前記フレームについては前記重要度を加算することを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
パケットの優先度制御機能をもつルータで構成されるネットワークからヘッダに優先度タグが付けられたパケットからなる動画ストリームを複数受信する受信部と、
所定期間内に受信された複数のパケットのそれぞれのヘッダから前記優先度タグを取得し、前記所定期間内で最も優先度の高い優先度タグをもつパケットが属する動画ストリームを優先動画ストリームと判定する優先度判定部と、
前記複数の動画ストリームの各々を復号して複数の動画像を再生する復号部と、
前記優先動画ストリームをもとに再生される動画像が強調表示される態様にて前記複数の動画像を画面上で合成する合成部とを含むことを特徴とする画像復号装置。
【請求項５】
前記復号部は、前記複数の動画ストリームの各々の復号処理を並行して行うための実行単位である複数のスレッドを含み、前記複数のスレッドは優先度スケジューリングされて計算資源が割り当てられ、優先度の高い優先度タグをもつパケットが属する動画ストリームは優先度の高いスレッドに割り当てられて復号処理されることを特徴とする請求項４に記載の画像復号装置。
【請求項６】
前記複数の動画ストリームの復号処理に割り当てるべき前記計算資源の不足により、各動画ストリームをもとに再生される各動画像の復号処理が本来再生されるべき時間に間に合わない場合、優先度の低い優先度タグをもつパケットが属する動画ストリームの復号処理に割り当てられた前記スレッドが停止状態にスケジューリングされ、そのスレッドに割り当てられた計算資源が解放されることを特徴とする請求項５に記載の画像復号装置。
【請求項７】
複数の画像符号化装置にネットワークを介して画像復号装置が接続された画像処理システムであって、
前記複数の画像符号化装置の各々は、
カメラで撮影された動画像の重要度をフレーム単位で判定する重要度判定部と、
前記動画像のフレームを符号化する符号化部と、
符号化された前記フレームをパケットに変換するパケット化部と、
前記パケットのヘッダに前記重要度を反映した優先度タグを付加するタグ付け部と、
パケットの優先度制御機能をもつルータで構成されるネットワークに前記優先度タグが付けられたパケットを送信する送信部とを含み、
前記画像復号装置は、
前記複数の画像符号化装置の各々から、前記ネットワークを介してヘッダに前記優先度タグが付けられたパケットからなる動画ストリームを受信する受信部と、
所定期間内に受信された複数のパケットのそれぞれのヘッダから前記優先度タグを取得し、前記所定期間内で最も優先度の高い優先度タグをもつパケットが属する動画ストリームを優先動画ストリームと判定する優先度判定部と、
前記複数の画像符号化装置からの前記動画ストリームの各々を復号して複数の動画像を再生する復号部と、
前記優先動画ストリームをもとに再生される動画像が強調表示される態様にて前記複数の動画像を画面上で合成する合成部とを含むことを特徴とする画像処理システム。
【請求項８】
パケットの優先度制御機能をもつルータで構成されるネットワークからヘッダに優先度タグが付けられたパケットからなる動画ストリームを複数受信するステップと、
一定期間内に受信された複数のパケットのそれぞれのヘッダから前記優先度タグを取得し、前記一定期間内で最も優先度の高い優先度タグをもつパケットが属する動画ストリームを優先動画ストリームと判定するステップと、
前記複数の動画ストリームの各々を復号して複数の動画像を再生するステップと、
前記優先動画ストリームをもとに再生される動画像が強調表示される態様にて前記複数の動画像を画面上で合成するステップとをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画データを符号化する画像符号化装置、動画データを復号する画像復号装置、および動画ストリームを送受信して再生するための画像処理システムに関する。
【背景技術】
【０００２】
インターネット通信など様々な通信媒体を介した画像、音声データ等のデータ転送が盛んに行われている。特に、最近では、インターネット上のデータ転送において、従来から利用されているダウンロード型伝送方式に加えて、ストリーム型伝送方式によるサービスが増加してきている。
【０００３】
ダウンロード型伝送方式において映像ファイルや音声ファイルといったマルチメディアデータを伝送する場合、配信サーバからデータファイルを一旦受信側端末の記憶媒体にダウンロードして、その後、記憶媒体から再生することになる。よって、この方式ではファイルを完全に転送が終わるまでは再生することができず、長時間再生やリアルタイム再生などには不向きである。
【０００４】
一方、ストリーム型伝送方式は、送信側から受信端末にデータ転送が行われている間に、並列して受信データの再生処理を実行するものであり、インターネット電話、遠隔テレビ会議、ビデオオンデマンドといったインターネットサービスに利用されている。
【０００５】
ストリーム型伝送方式は、例えば画像データのＭＰＥＧ圧縮処理により生成されるＭＰＥＧストリームをＩＰ（Internet Protocol）パケットに格納してインターネット上を転送させ、ＰＣやＰＤＡ、携帯電話等の各通信端末において受信させるシステム等において使用され、各種のアプリケーションの開発が進められている。このような技術は、ビデオオンデマンドやライブ映像のストリーミング配信、あるいはビデオ会議、テレビ電話などのリアルタイム通信において有効である。
【０００６】
インターネットは、ベストエフォートでパケットを転送する。したがって、転送するデータ量を増やし、ネットワークに負荷をかけると、ネットワークが過負荷状態になり、パケットが破棄され、データが欠損するなどの問題がある。そこでインターネットにおいてネットワーク品質を保証するためのルータの技術としてＤｉｆｆＳｅｒｖ（Differentiated Services）を中心とする優先度機能付きネットワークが提案されており、パケット単位で優先度を設定することができる。
【０００７】
ＤｉｆｆＳｅｒｖは、一例として、ルータにパケット優先制御機能をもたせることで実現される。ルータには優先度の異なる２つのキューが設けられる。優先度の高いキューに入れられたパケットは、必ずサービスされ、パケットロスは生じない。一方、優先度の低いキューのパケットは、優先度の高いキューが空の時にのみサービスされる。たとえば、ルータにより転送されるストリームの帯域を測定し、５Ｍｂｐｓを超えた分のパケットのＩＰヘッダのＴｏＳフィールドなどにＬｏｗであることを示すマークを付け、５Ｍｂｐｓ以内であれば、パケットのヘッダにＨｉｇｈであることを示すマークを付ける。ルータにおいて、Ｈｉｇｈとマーク付けされたパケットは優先度の高いキューに入れられ、Ｌｏｗとマーク付けされたパケットは優先度の低いキューに入れられる。このようにパケットの優先制御をすることで、このストリームについて５Ｍｂｐｓの最低帯域が保証される。
【０００８】
特許文献１には、低ビットレートに対応したコーデック方法を用いて数多くの画像を一覧することができ、ある特定画像が選ばれたときには高ビットレートに対応したコーデック方法を用いてその特定画像を提供する装置が開示されている。
【特許文献１】特開２００３−３７８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
インターネットではすべてのパケットを平等に扱うため、複数人参加型の動画付きチャットなどのネットワークアプリケーションでは、ネットワークが輻輳すると、参加者全員の動画ストリームのパケットが平等に損失するため、発言している人の動画データが欠落するといった問題がある。上述のＤｉｆｆＳｅｒｖでは、パケット毎に優先度をつけることができるが、チャットなどの複数人参加型のネットワークアプリケーションにおいて、どのように動画ストリームのパケットに優先度をつければよいか、適切な判断基準が設けられていない。また、優先度制御機能のあるネットワークを前提として優先すべき動画ストリームのパケットに優先度がつけられ、ルータでパケットの優先制御が行われた場合であっても、パケットを受信した端末において、優先すべき動画ストリームの画像を優先的に表示するための何らかの仕組みが必要となる。
【００１０】
本発明はこうした課題に鑑みてなされたものであり、その目的は、動画ストリームをネットワークで送受信する場合に、動画ストリームの優先度制御を効果的に行って動画を再生することのできる技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある態様の画像符号化装置は、カメラで撮影された人物の動画像の重要度を前記人物の顔画像から取得される特徴量にもとづいてフレーム単位で判定する重要度判定部と、前記動画像のフレームを符号化する符号化部と、符号化された前記フレームをパケットに変換するパケット化部と、前記パケットのヘッダに前記重要度を反映した優先度タグを付加するタグ付け部と、パケットの優先度制御機能をもつルータで構成されるネットワークに前記優先度タグが付けられたパケットを送信する送信部とを含む。
【００１２】
ここで、「人物の顔画像から取得される特徴量」とは、たとえば、人物の視線方向、口の動き、画面内で顔が占める割合などの顔画像認識から得られる特徴量である。
【００１３】
本発明の別の態様は、画像復号装置である。この装置は、パケットの優先度制御機能をもつルータで構成されるネットワークからヘッダに優先度タグが付けられたパケットからなる動画ストリームを複数受信する受信部と、所定期間内に受信された複数のパケットのそれぞれのヘッダから前記優先度タグを取得し、前記所定期間内で最も優先度の高い優先度タグをもつパケットが属する動画ストリームを優先動画ストリームと判定する優先度判定部と、前記複数の動画ストリームの各々を復号して複数の動画像を再生する復号部と、前記優先動画ストリームをもとに再生される動画像が強調表示される態様にて前記複数の動画像を画面上で合成する合成部とを含む。
【００１４】
本発明のさらに別の態様は、画像処理システムである。この画像処理システムは、複数の画像符号化装置にネットワークを介して画像復号装置が接続された画像処理システムである。前記複数の画像符号化装置の各々は、カメラで撮影された動画像の重要度をフレーム単位で判定する重要度判定部と、前記動画像のフレームを符号化する符号化部と、符号化された前記フレームをパケットに変換するパケット化部と、前記パケットのヘッダに前記重要度を反映した優先度タグを付加するタグ付け部と、パケットの優先度制御機能をもつルータで構成されるネットワークに前記優先度タグが付けられたパケットを送信する送信部とを含む。前記画像復号装置は、前記複数の画像符号化装置の各々から、前記ネットワークを介してヘッダに前記優先度タグが付けられたパケットからなる動画ストリームを受信する受信部と、所定期間内に受信された複数のパケットのそれぞれのヘッダから前記優先度タグを取得し、前記所定期間内で最も優先度の高い優先度タグをもつパケットが属する動画ストリームを優先動画ストリームと判定する優先度判定部と、前記複数の画像符号化装置からの前記動画ストリームの各々を復号して複数の動画像を再生する復号部と、前記優先動画ストリームをもとに再生される動画像が強調表示される態様にて前記複数の動画像を画面上で合成する合成部とを含む。
【００１５】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、ネットワークにおいて送受信される動画ストリームの優先度制御を効果的に行うことのできる。
【発明を実施するための最良の形態】
【００１７】
図１は、実施の形態に係る画像処理システムの構成図である。画像処理システムは、実写映像を利用するチャットなどのネットワーク参加型のアプリケーションを実行するものである。複数の参加者（ここでは４人）は、各サーバ３０ａ〜３０ｄに接続されたカメラ３２ａ〜３２ｄにより自分の姿を撮影する。
【００１８】
各サーバ３０ａ〜３０ｄは、各カメラ３２ａ〜３２ｄによって撮影された動画像４０ａ〜４０ｄを圧縮符号化し、複数の動画ストリーム＃１〜＃４を生成する。
【００１９】
各サーバ３０ａ〜３０ｄは、優先度制御付きパケット通信網（以下、単にネットワークという）２０に接続されており、ネットワーク２０を介して各動画ストリーム＃１〜＃４のパケットをクライアント１０に送信する。
【００２０】
ネットワーク２０は、パケットの優先制御機能を有するルータで構成されており、パケットを優先度にしたがって転送する。ルータは、一例として、ＤｉｆｆＳｅｒｖの仕様を実装したものであり、優先度別にパケットをキューイングし、ネットワークの輻輳時には優先度の高いパケットを優先して転送し、優先度の低いパケットは破棄する。
【００２１】
クライアント１０は、ネットワーク２０を介して各サーバ３０ａ〜３０ｄから動画ストリーム＃１〜＃４を受信し、受信された動画ストリーム＃１〜＃４を復号して画像を再生する。クライアント１０は、各サーバ３０ａ〜３０ｄの画像を合成してディスプレイに表示する。クライアント１０は、各サーバ３０ａ〜３０ｄの画像の内、少なくとも１つの画像を強調して表示する。たとえば、合成画像５０において、動画ストリーム＃１が優先表示されるべきストリームであり、他の動画ストリーム＃２〜＃４の画像の輝度が落とされることで、動画ストリーム＃１の画像が相対的に強調表示される。
【００２２】
以下、複数のサーバ３０ａ〜３０ｄ、複数のカメラ３２ａ〜３２ｄを総称して言う場合は、それぞれサーバ３０、カメラ３２とする。
【００２３】
図２は、サーバ３０の構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
【００２４】
サーバ３０は、重要度判定部６０と、重要度保持部６２と、エンコーダ６４と、パケタイザ６６と、タグ付け部６８と、送信部７０とを含む。
【００２５】
重要度判定部６０は、カメラ３２により撮影される動画像のフレームの入力と、サーバ３０に設けられたマウス、キーボード、ボタン、スイッチなどの入力デバイスを用いたユーザの手動操作による入力と、マイクからの音声入力とを受け付け、画像フレームの重要度をフレーム単位で判定する。
【００２６】
重要度判定部６０は、画像フレーム内の人物の顔画像を抽出し、視線がカメラを向いている場合や画面内の顔が占める割合が高い場合に、画像フレームの重要度が高いと判定する。また、重要度判定部６０は、マイクからの音声入力のレベルが所定の閾値以上である場合に、人物が話をしていると判断し、画像フレームの重要度が高いと判定する。
【００２７】
さらに、重要度判定部６０は、参加者がスイッチ等を操作している間にキャプチャされる画像フレームについては重要度が高いと判定する。これらの重要度の判断基準は適宜組み合わせたり、いずれかの判断基準を優先することもできる。たとえば、手動でスイッチ等を操作している間は、視線がカメラを向いていない場合や、音声レベルが低い場合でも、画像フレームの重要度を通常より高くしてもよい。
【００２８】
重要度保持部６２は、重要度判定部６０により判定された画像フレームの重要度をフレーム単位で保持する。
【００２９】
エンコーダ６４は、カメラ３２により取得される画像フレームを圧縮符号化し、動画ストリームを生成する。パケタイザ６６は、生成された動画ストリームをパケット化し、タグ付け部６８に与える。タグ付け部６８は、画像フレーム毎に設定された重要度を重要度保持部６２から取得し、その重要度を動画ストリームのパケットのヘッダに優先度タグとして付加する。これにより、重要度の高い画像フレームのパケットには優先度の高い優先度タグが付けられる。重要度の値をそのまま優先度タグの値としてもよく、所定の変換式により重要度の値を優先度タグの値に変換してもよい。
【００３０】
送信部７０は、優先度タグの付けられたパケットをネットワーク２０を介してクライアント１０に送信する。
【００３１】
図３は、クライアント１０の構成図である。同図も機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
【００３２】
クライアント１０は、受信部８０と、優先度判定部８２と、複数のデコーダ８４ａ〜８４ｄと、画像合成部８６とを含み、表示装置８８が接続されている。
【００３３】
受信部８０は、ネットワーク２０を介して複数のサーバ３０から送信される複数の動画ストリームのパケットを受信する。
【００３４】
優先度判定部８２は、所定期間内に受信された複数のパケットに付けられた優先度タグの値を評価し、その所定期間内で最も優先度の高い優先度タグの値を取得する。優先度判定部８２は、最も優先度の高い優先度タグの付けられたパケットが属する動画ストリームをその時点での最優先動画ストリームであると判定する。優先度判定部８２は、最優先動画ストリームの識別番号を画像合成部８６に与える。
【００３５】
優先度判定部８２は、最優先動画ストリームだけでなく、優先度が第２、第３に高い動画ストリームを判定して、優先度順に動画ストリームの識別番号を画像合成部８６に与えてもよい。
【００３６】
優先度判定を行う所定期間は、たとえば、４フレーム分のパケットが受信されるまでの時間としてもよい。優先度判定を行う所定期間を数十ミリ秒〜数秒などある程度短い時間に設定すると、優先度判定部８２は、複数のサーバ３０から送信される動画ストリームの優先度の変化を短い時間で捉えて優先動画ストリームを判定することができ、画像合成部８６が優先動画ストリームの強調再生表示をする際、リアルタイム性をもたせることができる。
【００３７】
複数のデコーダ８４ａ〜８４ｄは、受信される動画ストリームの数だけ設けられる。ここでは、４つのサーバ３０ａ〜３０ｄに応じて４つのデコーダ８４ａ〜８４ｄが設けられる。受信部８０は、受信された複数の動画ストリームの各々を各デコーダ８４ａ〜８４ｄに入力する。各デコーダ８４ａ〜８４ｄは、各動画ストリームを復号して動画像を再生し、画像合成部８６に画像データを与える。
【００３８】
各デコーダ８４ａ〜８４ｄは、並列に動作可能なソフトウエアの実行単位であるスレッドであってもよい。スレッドは優先度にもとづいてスケジューリングされてもよい。第１デコーダに対応するスレッドが最も高い優先度を割り当てられ、第２デコーダ、第３デコーダ、第４デコーダの順に各スレッドに割り当てられる優先度を低くしてもよい。この場合、第１デコーダには、優先度判定部８２により最優先動画ストリームと判定された動画ストリームを入力するようにして、優先的にリソースが割り当てられて復号処理が行われるようにする。また、第２、第３、第４の優先動画ストリームを第２デコーダ、第３デコーダ、第４デコーダにそれぞれ入力するようにしてもよい。
【００３９】
ＣＰＵがビジー状態になるなど計算資源不足のため、すべての動画ストリームの復号処理を再生時間に間に合わせて行うことができない状況になった場合、スケジューラは、最優先動画ストリームを復号するデコーダのスレッドを残して、その他の動画ストリームを復号するデコーダのスレッドを一時停止状態にしてもよい。これにより、クライアント１０の負荷が高くなった場合でも、少なくとも最優先動画ストリームだけは必要な計算資源が確保されて再生して表示することができる。
【００４０】
画像合成部８６は、各デコーダ８４ａ〜８４ｄから復号された動画像データを受け取り、画面内に合成する。画像合成部８６は、優先度判定部８２から最優先動画ストリームの識別番号を受け取っており、最優先動画ストリームの画像を強調して他の動画ストリームの画像と合成する。画像合成部８６は、優先度判定部８２から複数の動画ストリームの優先順位を示す識別番号リストを受け取っている場合は、その優先順位に合わせた強調度合いで各動画ストリームの画像の強調処理を行い、各動画ストリームの画像を合成してもよい。
【００４１】
図４は、サーバ３０による動画符号化手順を説明するフローチャートである。
【００４２】
カメラ３２により動画像の１フレームをキャプチャする（Ｓ１０）。動画像がキャプチャされていない場合（Ｓ１０のＮ）、ステップＳ１０を繰り返す。重要度判定部６０は、キャプチャされたフレームの重要度を判定し、重要度保持部６２に保持する（Ｓ１２）。
【００４３】
図５は、重要度判定ステップＳ１２を詳しく説明するフローチャートである。
【００４４】
フレーム単位の重要度を初期値であるゼロに設定する（Ｓ３０）。キャプチャされた画像フレーム内の人物の顔画像を画像認識アルゴリズムを利用して抽出する（Ｓ３２）。
【００４５】
マイクの入力レベルが所定の閾値以上である場合（Ｓ３４のＹ）、重要度判定部６０は、重要度を１だけ加算し（Ｓ３６）、マイクの入力レベルが所定の閾値未満である場合（Ｓ３４のＮ）、重要度を変更しない。
【００４６】
次に、画像認識により得られた顔画像から視線方向を検出し、視線がカメラの方を向いているなら（Ｓ３８のＹ）、重要度判定部６０は、重要度を１だけ加算し（Ｓ４０）、視線がカメラの方を向いていない場合（Ｓ３８のＮ）、重要度を変更しない。
【００４７】
さらに、画面内において顔が占める割合が所定の閾値以上である場合（Ｓ４２のＹ）、重要度判定部６０は、重要度を１だけ加算し（Ｓ４４）、顔が占める割合が所定の閾値未満である場合（Ｓ４２のＮ）、重要度を変更しない。
【００４８】
さらに、手動スイッチが押されている場合（Ｓ４６のＹ）、重要度判定部６０は、重要度を２だけ加算し（Ｓ４８）、手動スイッチが押されていない場合（Ｓ４６のＮ）、重要度を変更しない。
【００４９】
以上の各ステップを経て、重要度判定処理が終わり、リターンする。なお、ここでは、マイクの入力レベルが高い場合、視線がカメラを向いている場合、および画面内の顔の占める割合が高い場合に重要度を１だけ加算し、手動スイッチが押された場合に重要度を２だけ加算したが、各判定基準における重要度の加算量はこれに限らない。重要度の加算量を適宜変更することにより、複数の判定基準を重み付けして重要度を評価することができる。
【００５０】
再び、図４を参照する。エンコーダ６４は、キャプチャされたフレームをＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧ２０００、ＭＰＥＧ（Moving Picture Experts Group）、ＭＰＥＧ２、ＭＰＥＧ４などの仕様にしたがって符号化する（Ｓ１４）。
【００５１】
エンコーダ６４によりフレームを符号化するにあたり、ステップＳ１２で判定されたフレームの重要度が低い場合には、フレームレートを下げたり、色数を落としたり、解像度を下げるなど、再生画像の品質を犠牲にして符号量を下げる方向に符号化のパラメータを変更してもよい。また、ＪＰＥＧ２０００の階層符号化において高周波成分をカットすることで符号量を抑えるようにしてもよい。このように重要度が低いフレームについては符号量を減らすことで、重要度の低い動画ストリームがネットワークにかける負荷を減らすことができる。
【００５２】
パケタイザ６６は、符号化データをＩＰパケットに変換する（Ｓ１６）。キャプチャされたフレームの重要度が１以上である場合（Ｓ１８のＹ）、タグ付け部６８は、重要度保持部６２に保持された重要度の値を優先度タグとしてパケットのヘッダに付ける（Ｓ２０）。キャプチャされたフレームの重要度が０である場合（Ｓ１８のＮ）、ステップＳ２０の優先度タグ付けの処理をスキップする。
【００５３】
送信部７０は、優先度タグが適宜付けられたパケットを送信する（Ｓ２２）。ネットワーク２０を構成するパケット優先度制御機能をもつルータにおいて、優先度タグが付けられたパケットは優先度タグの値に応じて優先的に転送される。優先度タグが付けられていないパケットは輻輳時には破棄される可能性がある。
【００５４】
図６は、ＩＰパケットのデータフォーマットを示す。ＩＰパケットはヘッダとデータからなる。ヘッダは、バージョン番号、ヘッダ長、ＴＯＳ（Type Of Service）、パケット長、識別子、フラグ、断片（フラグメント）オフセット、ＴＴＬ（Time To Live）、プロトコル、ヘッダチェックサム、送信元ＩＰアドレス、宛先ＩＰアドレス、およびオプションの各フィールドを含む。
【００５５】
ＴＯＳフィールドは、８ビットからなり、その内、６ビットがＤｉｆｆＳｅｒｖで用いられるＤＳ（Differentiated Services）フィールドである。ＤＳフィールドには、ＤｉｆｆＳｅｒｖ対応のルータなどが行う優先度制御動作を決めるためのＤＳＣＰ（Differentiated Services Code Point）と呼ばれる値が設定される。
【００５６】
重要度保持部６２は、ＩＰヘッダのＴＯＳフィールド内のＤＳフィールドに重要度を示す優先度タグの値を書き込む。重要度が０であるなら、ＴＯＳフィールドは変更されない。
【００５７】
図７は、クライアント１０による画像復号手順を説明するフローチャートである。
【００５８】
受信部８０は、ネットワーク２０を介していずれかのサーバ３０ａ〜３０ｄから動画ストリームを受信した場合（Ｓ６０のＹ）、これ以降の動画ストリームの復号処理を行い、いずれのサーバからも動画ストリームを受信しない場合（Ｓ６０のＮ）、ステップＳ６０を繰り返す。
【００５９】
優先度判定部８２は、所定期間内に受信された動画ストリームの複数のパケットのヘッダから優先度タグを取得する（Ｓ６２）。
【００６０】
優先度判定部８２は、所定期間内で取得された複数のパケットの優先度タグの値を評価して、最も高い優先度を選び、最も高い優先度をもつパケットが属する動画ストリームをその時点での最優先動画ストリームと決定する（Ｓ６４）。優先度判定部８２は、最優先動画ストリームの識別番号を画像合成部８６に渡す（Ｓ６６）。
【００６１】
複数のデコーダ８４ａ〜８４ｄは、各ストリームを復号し、動画を再生する（Ｓ６８）。画像合成部８６は、優先度判定部８２から取得した最優先動画ストリームの識別番号にもとづき、最優先動画ストリームをもとに再生された画像を強調する処理を行う（Ｓ７０）。
【００６２】
画像合成部８６は、強調処理された最優先動画ストリームの画像と、他の動画ストリームの画像とを画面内で合成し、表示装置８８に表示する（Ｓ７２）。１フレームの表示処理が終われば、ステップＳ６０に戻り、次のフレームの復号処理が行われる。
【００６３】
画像合成部８６は、最優先動画ストリームの強調表示処理の例として、最優先動画ストリームの画像の周りを枠で囲ったり、最優先動画フレームの画像だけをカラー表示し、それ以外の動画ストリームの画像を白黒にしたり、輝度を落としてもよい。また、最優先動画ストリームの画像を中央に配置したり、特殊効果を付けて表示してもよい。また、最優先動画ストリームの画像の表示サイズを大きくしたり、フレームレートを高くしてもよい。
【００６４】
図８（ａ）〜（ｃ）は、画像合成部８６による強調表示の例である。図８（ａ）は、最優先動画ストリーム＃１の枠が太く表示された例である。図８（ｂ）は、最優先動画ストリーム＃１以外のストリーム＃２〜＃４の輝度が落とされ、相対的に最優先動画ストリーム＃１が強調表示された例である。図８（ｃ）は、最優先動画ストリーム＃１が中央に配置される形で４つの動画ストリーム＃１〜＃４が合成された例である。
【００６５】
以上説明したように、本実施の形態によれば、ＤｉｆｆＳｅｒｖのような優先度制御機能をもつネットワーク２０を前提として、サーバ３０で画像フレームを符号化してパケット化する際に重要なフレームのパケットのヘッダに優先度タグを設定しておくことで、ネットワークにおいて重要なストリームのフレームのデータがパケット落ちせずにクライアント１０に到達する。また、クライアント１０では、ネットワーク２０で優先度制御された重要なストリームのフレームを受信し、重要なストリームの画像を強調表示することができる。
【００６６】
クライアント１０において強調表示されるべき重要な動画ストリームのパケットが、あらかじめサーバ３０で優先度タグを付けられてネットワーク２０で優先的に転送され、破棄されることがないため、クライアント１０は、重要な動画ストリームのパケットを確実に受信して、その動画ストリームを高品質で再生して効果的に強調表示することができる。仮に、優先度タグが付けられていなければ、強調表示されるべき動画ストリームのパケットがネットワーク２０で輻輳時に破棄される可能性があり、強調表示したくてもフレーム落ちして表示することができなくなることを避けることができる。これにより、重要な動画ストリームデータをネットワーク上で保護しつつ、スムーズな動画付きチャットなどのネットワークアプリケーションを実行することができる。
【００６７】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。
【００６８】
実施の形態では、優先度の高い動画ストリームの画像を強調表示したが、優先度の低い、あるいは、そもそも優先度タグが付けられていないパケットが属する動画ストリームの画像については輝度を落とすなど品質を下げる処理を行い、優先度の高い動画ストリームが相対的に強調表示されるようにしてもよい。
【００６９】
実施の形態では、サーバクライアント型のシステムを前提として説明したが、本発明は、ピアツーピア型のシステムにおいても同様に実現することができる。
【図面の簡単な説明】
【００７０】
【図１】実施の形態に係る画像処理システムの構成図である。
【図２】図１のサーバの構成図である。
【図３】図１のクライアントの構成図である。
【図４】図２のサーバによる動画符号化手順を説明するフローチャートである。
【図５】図４の重要度判定処理の手順を説明するフローチャートである。
【図６】ＩＰパケットのデータフォーマットを示す図である。
【図７】図３のクライアントによる画像復号手順を説明するフローチャートである。
【図８】図３の画像合成部による強調表示の例を説明する図である。
【符号の説明】
【００７１】
１０  クライアント、  ２０  ネットワーク、  ３０  サーバ、  ３２  カメラ、  ４０  入力画像、  ５０  合成画像、  ６０  重要度判定部、  ６２  重要度保持部、  ６４  エンコーダ、  ６６  パケタイザ、  ６８  タグ付け部、  ７０  送信部、  ８０  受信部、  ８２  優先度判定部、  ８４  デコーダ、  ８６  画像合成部、  ８８  表示装置。
【図１】
2007158410.tif 000003
【図２】
2007158410.tif 000004
【図３】
2007158410.tif 000005
【図４】
2007158410.tif 000006
【図５】
2007158410.tif 000007
【図６】
2007158410.tif 000008
【図７】
2007158410.tif 000009
【図８】
2007158410.tif 000010