(57)【要約】【課題】伝送中にパケットの欠落が発生した場合に、パケットロスによるエラーを含む参照フレームの使用を回避できる映像伝送システムを提供することにある。【解決手段】映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムの映像送信装置１０であって、送信対象の映像フレームを符号化する映像符号化部１００は、伝送中でのパケット欠落によるフレーム上のエラー位置を示すエラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止する符号化制御部３１０を含む。【選択図】      図１
2007288604.tif 000002
【特許請求の範囲】
【請求項１】
映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムの映像送信装置であって、
送信対象の映像フレームを符号化する映像符号化手段と、
伝送中に欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する判定手段と、
前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力する手段と、
前記エラー位置情報を記憶する記憶手段と、
前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止する制御手段と
を具備したことを特徴とする映像送信装置。
【請求項２】
前記制御手段は、
パケット単位の符号化データを受信して復号化する映像復号化装置に対して、前記エラー位置情報により指定される前記画面上の位置に対応する符号化データが欠落された参照フレームの使用を禁止する指示を行なうことを特徴とする請求項１に記載の映像送信装置。
【請求項３】
前記エラー位置の符号化データが欠落された参照フレームが存在する場合に、当該エラー位置に対応する正常な符号化データを含む正常な参照フレームを使用して、前記エラー位置の符号化データを回復させるエラー回復処理を実行するエラー回復手段を有することを特徴とする請求項１または請求項２のいずれか１項に記載の映像送信装置。
【請求項４】
前記エラー回復手段は、
前記正常な参照フレームが存在しない場合には、前記エラー位置の符号化データを、前記エラー位置に対応する部分映像データをフレーム内符号化データに符号化して回復することを特徴とする請求項３に記載の映像送信装置。
【請求項５】
前記エラー位置の符号化データが欠落された参照フレームが存在する場合に、前記エラー位置の符号化データを、前記エラー位置に対応する部分映像データをフレーム内符号化データに符号化して、前記エラー位置の符号化データを回復させるエラー回復処理を実行するエラー回復手段を有することを特徴とする請求項１または請求項２のいずれか１項に記載の映像送信装置。
【請求項６】
映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムに適用する映像伝送方法であって、
送信対象の映像フレームを符号化して伝送するときに、パケットの欠落を検出するステップと、
前記欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定するステップと、
前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力するステップとを有し、
前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止することを特徴とする映像伝送方法。
【請求項７】
パケット単位の符号化データを受信して復号化する映像復号化装置に対して、前記エラー位置情報により指定される前記画面上の位置に対応する符号化データが欠落された参照フレームの使用を禁止する指示を行なうことを特徴とする請求項６に記載の映像伝送方法。
【請求項８】
前記エラー位置の符号化データが欠落された参照フレームが存在する場合に、当該エラー位置に対応する正常な符号化データを含む正常な参照フレームを使用して、前記エラー位置の符号化データを回復させるエラー回復処理を実行することを特徴とする請求項６に記載の映像伝送方法。
【請求項９】
前記正常な参照フレームが存在しない場合には、前記エラー位置の符号化データを、前記エラー位置に対応する部分映像データをフレーム内符号化データに符号化して回復することを特徴とする請求項８に記載の映像伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、映像符号化データをパケット化して伝送する映像伝送システムに関し、特に、パケット欠落発生に伴う映像品質劣化の回復技術に関する。
【背景技術】
【０００２】
通常の映像監視システムでは、監視カメラにより撮影されたアナログ映像信号がそのまま伝送されて、テレビジョン（ＴＶ）モニタの画面上に映像を表示することで、監視業務が可能になっている。
【０００３】
ところで、通信ネットワークの大容量化や広域化が進んだ結果として、アナログ映像信号をディジタル符号化（以下単に符号化と表記する）した映像符号化データをパケット化して、ネットワーク上で伝送する映像伝送システムが一般化されつつある。このようなシステムは、ディジタル・テレビジョン放送以外にも、例えば遠隔地などに設置した監視カメラにより映像監視を行なう前記の映像監視システムにも適用されつつある。
【０００４】
このような映像伝送システムにおいて、伝送中にパケットの欠落が発生すると、受信側で映像信号を再生する場合に再生映像品質が劣化することになる。通常では、パケット欠落の発生による再生映像品質の劣化を回復させるためには、いわゆるイントラ符号化フレームと呼ぶフレーム内符号化データ（例えば、ＭＰＥＧ方式でのＩブロックまたはＩピクチャ）が必要となる。しかし、近年の符号化効率の追求により、劣化の回復ポイントであるイントラ符号化フレームの送信間隔が広がっているために、回復までに時間を要する。
【０００５】
従来では、パケットの欠落があった場合に、受信側から送信側に対して、欠落したパケットの再送要求を行うシステムが提案されている（例えば、特許文献１及び２を参照）。このようなシステムであれば、欠落パケットを再送させることにより、再生映像品質の劣化を回復させることが可能となる。しかしながら、再送パケットが到着するまでの待ち時間だけ映像表示が停止することになる。このため、受信側では、伝送された符号化データをある程度バッファリングしなければならないので、映像再生には遅延が発生する。また、再送パケットを伝送することで、ネットワーク帯域を消費し、さらなるパケット欠落の発生要因にもなる。
【０００６】
そこで、パケットロスを検出した場合に、該当するパケットデータが再生されたと仮定した場合の画面上の表示位置を特定して、送信側で、その後のフレームの表示位置および周辺のみをイントラブロックとして符号化して伝送する方法が考えられる。この方法であれば、再生映像の品質劣化の回復までに要する時間を短縮できる。
【０００７】
ところで、符号化データを復号化する受信側では、パケットロスによるエラーを含む画面（フレーム）がフレーム間予測の参照フレームとして使用されると、当該エラーが長期間にわたって伝播する事態を回避できない問題がある。特に、近年では、ＩＴＵ−Ｔ（International Telecommunication Union − Telecommunication Standardization Sector）機関によるＨ．２６４／ＡＶＣ規格による映像符号化方式が注目されており、この規格による映像符号化方式では、参照フレームの選択に対する自由度が増えている（例えば、非特許文献１を参照）。
【特許文献１】特開平１１−３３１８３９号公報
【特許文献２】特開２０００−３４１２５２号公報
【非特許文献１】改定版Ｈ．２６４／ＡＶＣ教科書，（株）インプレス，２００６年１月１日発行（特に、第８２頁，図４−１を参照）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述したように、伝送中にパケットの欠落が発生した場合に、符号化データを復号化する受信側では、パケットロスによるエラーを含む画面（フレーム）がフレーム間予測の参照フレームとして使用される可能性がある。特に、Ｈ．２６４／ＡＶＣ規格による映像符号化方式では、従来のＭＰＥＧ（Moving Picture coding Expert Group）２，４規格等の方式と比較して、エラーを含む画面が参照フレームとして長期間使用される可能性が増大してきている。
【０００９】
そこで、本発明の目的は、伝送中にパケットの欠落が発生した場合に、パケットロスによるエラーを含む参照フレームの使用を回避できる映像伝送システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の観点に従った映像伝送システムは、映像フレームを符号化した符号化データをパケット単位に分割して伝送する映像伝送システムの映像送信装置であって、送信対象の映像フレームを符号化する映像符号化手段と、伝送中に欠落されたパケットを示すパケットロス情報に従って、当該パケットに含まれる符号化データが、他の符号化データの復号化での予測画像として使用される参照フレームの符号化データであるか否かを判定する判定手段と、前記判定手段の判定結果が前記参照フレームの符号化データの場合で、前記欠落が検出されたパケットに含まれる符号化データが再生されるときの画面上の位置を特定し、当該位置をエラー位置として示すエラー位置情報を出力する手段と、前記エラー位置情報を記憶する記憶手段と、前記エラー位置情報に従って、前記欠落が検出されたパケットに対応するエラー部分を含む参照フレームの使用を禁止する制御手段とを備えた構成である。
【発明の効果】
【００１１】
本発明によれば、伝送中にパケットの欠落が発生した場合に、パケットロスによるエラーを含む参照フレームの使用を回避できる映像伝送システムを提供できる。従って、パケットロスによるエラーの長期伝播を防止することが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下図面を参照して、本発明の実施形態を説明する。
【００１３】
［映像伝送システムの構成］
図１は、本実施形態に関する映像伝送システムの構成を示すブロック図である。
【００１４】
システムは大別して、図１に示すように、映像送信部１０と、映像受信部２０と、伝送媒体であるネットワーク３０とを有する。
【００１５】
映像送信部１０は、映像入力装置１１から入力される複数の映像フレームからなる映像信号１１０を符号化する映像符号化部１００と、映像パケット送信部１０１と、パケット情報テーブル１０２と、パケットロス情報受信部１０３と、比較エラー位置検出部１０４とを有する。なお、映像フレームは、単にフレームと表記する。
【００１６】
映像入力装置１１は、例えば監視カメラなどの映像撮影用カメラである。映像符号化部１００は、ＩＴＵ−Ｔ機関によるＨ．２６４／ＡＶＣ規格による映像符号化方式に従って、映像信号１１０を、フレームを分割したスライス単位で符号化する。
【００１７】
映像パケット送信部１０１は、映像符号化部１００によりスライス単位で符号化された映像符号化データ（以下単に符号化データと表記する）１１１をパケット単位の伝送信号に変換し、ネットワーク３０を通じて映像受信部２０に送信する。映像パケット送信部１０１は、映像パケット伝送のトランスポート層プロトコルとして、エラーによるデータの再送が発生しないＵＤＰ(User Datagram Protocol)を使用する。映像符号化部１００は、符号化データ１１１を映像パケット送信部１０１に出力すると共に、後述するパケット情報をパケット情報テーブル１０２に記録する。
【００１８】
パケット情報テーブル１０２は、図２に示すように、送信したパケットのヘッダに含まれるシーケンス番号とタイムスタンプ以外に、後述する符号化モード及び画面上の位置に関するパケット情報を記録するためのテーブルである。パケット情報テーブル１０２は、不要になった古い記録データが逐次上書き消去される。また、パケット情報テーブル１０２は、ネットワークの伝送遅延と、比較エラー位置検出部１０４の処理時間によって決められるテーブルサイズを有する。
【００１９】
ここで、画面上の位置（画面上位置）に関する情報とは、映像受信部２０で、映像符号化データが再生されるときの表示画面上の位置または範囲を意味する再生位置を示す情報である。また、映像符号化部１００では、映像符号化は、画面を正方形に区切ったブロック単位で行われて、画面上の左上位置から右下位置の順に伝送される。このため、パケット情報テーブル１０２には、パケット毎の開始ブロックと終了ブロックからなる画面上位置が記録される。
【００２０】
なお、パケット化は、例えばＩＥＴＦ(Internet Engineering Task Force)のＲＦＣ(Request for Comments)３９８４に準じて行われる。このため、同じパケットには、複数のフレーム（画面）の符号化データが混在して含まれる事はない。換言すれば、各パケットは、１つのフレーム内の部分符号化データのみからなる。
【００２１】
映像受信部２０は、映像パケット受信部２００と、映像復号化部２０１と、パケットロス検出部２０２と、パケットロス情報送信部２０３とを有する。
【００２２】
映像パケット受信部２００は、映像送信部１０から送信されたパケットを受信し、当該パケットからペイロード（映像コンテンツである符号化データ）を取り出して映像復号化部２０１に出力する。映像復号化部２０１は、Ｈ．２６４／ＡＶＣ規格に従って符号化データを復号化し、映像出力装置２１に出力する。映像出力装置２１は、復号化された映像信号を再生して、表示画面上に表示する映像モニタなどを含む。
【００２３】
映像パケット受信部２００は、受信したパケットのヘッダをパケットロス検出部２０２に転送する。パケットのヘッダは、図３に示すように、例えばＩＥＴＦ(Internet Engineering Task Force)のＲＦＣ(Request for Comments)３５５０の規格により規定されている形式からなる。
【００２４】
ここで、シーケンス番号は１パケット毎に連続で採番される。タイムスタンプは、そのフレームの時間情報である。タイムスタンプが同じパケットは、同じフレームを分割して生成されたことを表している。具体的には、図２に示すように、例えばシーケンス番号０１２３，０１２４の各パケットは、同一フレーム内で画面上位置が異なる符号化データをそれぞれ有するものである。
【００２５】
パケットロス検出部２０２は、転送されたヘッダからシーケンス番号を抽出し、当該シーケンス番号が不連続の場合には、パケットが欠落していると判定する。具体的には、パケットロス検出部２０２は、例えばシーケンス番号０１２３の次に、シーケンス番号０１２５のヘッダが入力された場合には、シーケンス番号０１２４のヘッダを有するパケットが欠落したと判定する。
【００２６】
パケットロス検出部２０２は、パケット欠落を検出した場合に、その検出結果をパケットロス情報送信部２０３に出力する。パケットロス情報送信部２０３は、当該検出結果に応じた情報を、ネットワーク３０を通じて映像送信部１０のパケットロス情報受信部１０３宛てに送信する。パケットロス情報送信部２０３は、送信情報として、欠落した前後のパケットのシーケンス番号とタイムスタンプを含むパケットロス情報を送信する。
【００２７】
映像送信部１０では、パケットロス情報受信部１０３は、受信したパケットロス情報を比較エラー位置検出部１０４に転送する。比較エラー位置検出部１０４は、送信時にパケット情報テーブル１０２に記録されたパケット情報と、受信したパケットロス情報とを比較して、エラーで欠落したパケットに含まれる符号化データが再生されたときの画面上位置（画面上の再生範囲）を特定する。比較エラー位置検出部１０４は、特定した画面上位置を示すエラー位置情報を映像符号化部１００に出力する。
【００２８】
比較エラー位置検出部１０４は、欠落したパケットの符号化モードとして、他のスライス（符号化データ）の復号化での予測画像として使用（参照）される参照フレームの符号化データである場合に、エラー位置情報を映像符号化部１００に出力する。即ち、比較エラー位置検出部１０４は、欠落したパケットの符号化モードが参照フレームの符号化データでない場合には、エラー位置情報を出力しない。
【００２９】
ここで、Ｉスライスとは、他のフレームを予測画像として参照することなく、復号化できるフレーム内符号化データである。
【００３０】
映像符号化部１００は、後述するように、次に送信する参照フレームで、比較エラー位置検出部１０４からのエラー位置情報により特定された部分（画面上の位置）のフレーム内符号化（以下部分イントラ符号化と表記する場合がある）を実行する。なお、動き補償が行われているので、その動きベクトル範囲である周辺部も部分イントラ符号化の対象とすることが好ましい。
【００３１】
部分イントラ符号化がなされるフレームは、参照画像となりえるフレームに限定される。エラー位置情報が送られた次のフレームであって、全画面がイントラ符号化されて、それ以前の参照フレームがクリアされるＩＤＲフレームの場合には、エラー位置情報は無視される。
【００３２】
［映像符号化部の構成］
図５は、本実施形態に関する映像符号化部１００の構成を示すブロック図である。
【００３３】
映像符号化部１００は、変換量子化部３０１と、エントロピー符号化部３０２と、逆量子化・逆変換部３０３と、デブロッキングフィルタ３０４と、参照フレームメモリ３０５と、符号化モード切替部３０６と、画面内予測部３０７と、動き補償部３０８と、動き検出部３０９と、符号化制御部３１０と、出力バッファ３１１と、エラー位置メモリ３１２とを有する。
【００３４】
本実施形態の映像符号化部１００は、Ｈ．２６４／ＡＶＣ規格による映像符号化方式を適用した方式である。動き補償部３０８は、参照フレームメモリ３０５に格納された複数の参照フレームから選択した参照フレームからの動きを推定して予測信号を作成する。即ち、動き補償部３０８は、動き検出部３０９により映像信号１１０から検出された動きベクトルに基づいて、参照フレームからのフレーム間予測画面を作成する。
【００３５】
変換量子化部３０１は、映像信号１１０（符号化する映像）と予測信号との残差信号をＤＣＴ（Discrete Cosine Transform:離散コサイン変換）量子化を行なう。エントロピー符号化部３０２は、変換量子化部３０１によるＤＣＴ量子化された信号に対して可変長符号化処理を実行し、当該符号化データを出力バッファ３１１に格納する。映像パケット送信部１０１は、出力バッファ３１１に格納されたフレーム単位の符号化データ（映像符号化データ）１１１をパケット単位の伝送信号に変換し、ネットワーク３０を通じて映像受信部２０に送信することになる。画面内（イントラ）予測部３０７は、変換量子化部３０１によるＤＣＴ量子化された信号から、同じ画面内の画像サンプルを使用して、別の位置の画像サンプルを予測する。
【００３６】
さらに、逆量子化・逆変換部３０３は、変換量子化部３０１の逆処理を実行する。またねデブロッキングフィルタ３０４は、符号化時に、ブロック境界部で生じる歪を減少させるためのフィルタである。
【００３７】
以上のような機能処理部と共に、本実施形態の映像符号化部１００は、全体の制御及び符号化モード切替部３０６を制御して符号化タイプを選択する機能を有する符号化制御部３１０、及びエラー位置メモリ３１２を有する。
【００３８】
符号化制御部３１０は、比較エラー位置検出部１０４から出力されるエラー位置情報をエラー位置メモリ３１２に格納する。さらに、符号化制御部３１０は、当該エラー位置情報に基づいて、符号化モード切替部３０６を制御するための制御情報４００を出力する。また、符号化制御部３１０は、参照フレームメモリ３０５に格納された複数の参照フレームから参照フレームを選択するための情報４１０を出力する。さらに、符号化制御部３１０は、後述するように、エラーを含む参照フレームの使用を禁止するために、映像受信部２０に対して参照フレームメモリから当該エラーを含む参照フレームを削除するためのコマンド４２０を出力する。
【００３９】
［作用効果］
以下、図４から図８を参照して、本実施形態のシステムに関する作用効果を説明する。
【００４０】
まず、映像送信部１０では、映像符号化部１００は、例えば監視カメラである映像入力装置１１から入力された映像信号１１０を、フレーム（画面）を分割したスライス単位で符号化した符号化データ１１１を生成する。映像パケット送信部１０１は、符号化データ１１１をパケット単位の伝送データに変換し、ネットワーク３０を通じて映像受信部２０に送信する。
【００４１】
映像受信部２０では、受信したパケットに含まれる符号化データを映像信号に復号化して映像出力装置２１に出力する。映像出力装置２１は、復号化された映像信号を再生して、映像モニタの表示画面上に表示する。
【００４２】
ここで、図７のフローチャートに示すように、映像受信部２０では、パケットロス検出部２０２が受信される一連のパケットから欠落したパケットを検出すると、パケットロス情報送信部２０３はパケットロス情報を映像送信部１０のパケットロス情報受信部１０３に送信する（ステップＳ１のＹＥＳ）。
【００４３】
パケットロス情報受信部１０３は、パケットロス情報を受信すると、比較エラー位置検出部１０４に出力する（ステップＳ２）。比較エラー位置検出部１０４は、当該パケットロス情報と、送信時にパケット情報テーブル１０２に記録されたパケット情報とを比較して、エラーで欠落したパケットを特定する。
【００４４】
さらに、比較エラー位置検出部１０４は、パケット情報テーブル１０２から欠落したパケットの画面上の位置（画面上の再生範囲）を特定する（ステップＳ３）。ここで、比較エラー位置検出部１０４は、エラーで欠落したパケットの符号化モードに基づいて、当該符号化データが参照フレームであるか否かを判定する（ステップＳ４）。比較エラー位置検出部１０４は、判定結果が参照フレームではない場合には、他のフレームの復号化での予測画像として参照されない符号化データであるため、本実施形態でのエラー回復処理を実行しない（ステップＳ４のＮＯ）。
【００４５】
一方、欠落したパケットの符号化モードが参照フレームの場合には、比較エラー位置検出部１０４は、特定した画面上位置を示すエラー位置情報を映像符号化部１００に出力する（ステップＳ５）。
【００４６】
図４は、パケットロス（パケット欠落）が発生したときの状態を説明するための図である。即ち、伝送中の参照フレームから例えば２パケットの欠落が発生した場合に、図４に示すように、当該参照フレームを予測画像として参照するスライスの復号化では、再生映像の品質劣化が発生する。
【００４７】
本実施形態のシステムは、その後に送信するフレームでの欠落パケットに対応する部分映像を部分イントラ符号化して伝送する機能を有するため、エラー回復を実現できる（図８のステップＳ１２を参照）。これにより、エラー回復されたフレームを予測画像として参照するスライスの復号化では、再生映像の品質を回復することができる。
【００４８】
ところで、本実施形態のシステムに適用するＨ．２６４／ＡＶＣ規格による映像符号化方式では、スライスの符号化時に、参照フレームを自由に選択できる。このため、図６に示すように、前記の部分イントラ符号化によりエラー回復させたフレーム６１以降で、当該フレーム６１より以前のエラーを含むフレーム６０を参照して、復号化されるフレーム６２が発生する。このフレーム６２は、エラー（パケット欠落）を含むフレーム６０を参照するため、再生映像の品質が劣化する。さらに、復号化されるフレーム６２が参照フレームであれば、それ以降のフレーム６３，６４の復号化時に、参照フレームとして使用される可能性がある。図６において、時間Ｔｄは、パケットロス情報の伝達と、エラー位置の特定処理に伴う遅延時間を意味する。
【００４９】
要するに、Ｈ．２６４／ＡＶＣ規格による映像符号化方式では、伝送中のパケット欠落によるエラーを含む参照フレーム６０が発生する場合、当該参照フレーム６０が、映像受信部２０において長期間使用される可能性がある。換言すれば、パケットロスによるエラーの長期伝播が発生する可能性がある。
【００５０】
そこで、本実施形態の映像符号化部１００は、以下のような伝送中のパケット欠落によるエラーの対策処理を実行する。
【００５１】
映像符号化部１００では、図５に示すように、符号化制御部３１０は、伝送中にパケット欠落が発生すると、比較エラー位置検出部１０４から出力されるエラー位置情報をエラー位置メモリ３１２に格納する。エラー位置情報は、前述したように、欠落したパケットが参照フレームの場合であって、当該欠落部分を再生したときに、画面上の位置を示す情報である。
【００５２】
符号化制御部３１０は、エラーを含む参照フレームの使用を禁止するために、映像受信部２０に対して参照フレームメモリから当該エラーを含む参照フレームを削除するためのコマンド４２０を出力する。このコマンド４２０は、映像パケット送信部１０１により映像パケット受信部２００に送信されて、映像復号化部２０１に与えられる。
【００５３】
映像復号化部２０１では、長期間にわたって参照される参照フレームにエラーが発生した場合には、利用されない参照フレームが参照フレームメモリに蓄積されていく。このため、正常な参照フレームが有効に使用されないため、復号化される映像の再生画質が低下する。これに対応するために、符号化制御部３１０がコマンド４２０を送信することで、映像復号化部２０１は、エラーのある参照フレームを参照フレームメモリから削除でき、参照フレームメモリに格納されている正常な参照フレームの有効に活用することができる。
【００５４】
さらに、符号化制御部３１０は、図８のフローチャートに示すような手順で、エラー回復処理を実行する。
【００５５】
通常の符号化処理では、符号化制御部３１０は、予め設定された規則または符号化効率の高さに基づいて、参照フレームを選択するための情報４１０を出力して、参照フレームメモリ３０５に格納された複数の参照フレームから参照フレームを選択する。映像符号化部１００は、選択された参照フレームを予測画像として、映像信号１１０に対するスライス単位の符号化処理を行なう。
【００５６】
ここで、パケットロスの発生により、映像復号化部２０１において参照フレームにエラーが発生している状況下で、映像符号化部１００が、当該エラーを含む参照フレームを使用するように選択すると、前述したように、再生映像の品質が劣化する。
【００５７】
そこで、本実施形態の符号化制御部３１０は、エラーを含む参照フレームを使用するような状況が予想される場合には、エラー回復のための特別な符号化処理を実行する。即ち、符号化制御部３１０は、参照フレームメモリ３０５に格納された複数の参照フレームの中に、エラーを含む参照フレームが存在するか否かを判定する（ステップＳ１０）。符号化制御部３１０は、エラーを含む参照フレームが存在する場合に、使用していない正常な参照フレームが参照フレームメモリ３０５に存在するか否かを判定する（ステップＳ１１）。
【００５８】
使用していない正常な参照フレームがなくなると、符号化制御部３１０は、制御情報４００を出力して符号化モード切替部３０６を制御し、画面内予測部３０７を動作させて、
エラー位置情報に従ってエラー発生位置とその周辺部のみの映像部分をイントラ（面内）符号化する部分イントラ符号化処理を実行する（ステップＳ１２）。即ち、映像送信部１０は、その後に送信するＰフレームでの欠落パケットに対応する部分映像を、部分イントラ符号化して伝送することにより、当該エラーを回復したＰフレームを伝送する（図６の６１を参照）。
【００５９】
一方、使用していない正常な参照フレームが存在する場合には、符号化制御部３１０は、当該正常な参照フレームを使用して、映像信号１１０に対する仮の符号化処理を実行し、エラーを含まないフレームに変更する（ステップＳ１３）。但し、時間的に近い参照フレームではないと、発生符号量が増大して期待する圧縮率や、映像再生品質が得られない場合がある。このような場合には、符号化制御部３１０は、符号化モード切替部３０６を制御して画面内予測部３０７を動作させて、部分イントラ符号化処理を実行する（ステップＳ１４のＮＯ，Ｓ１２）。
【００６０】
符号化制御部３１０は、当該正常な参照フレームを使用して仮の符号化処理を実行し、当該仮符号化の結果を採用して、エラーを含まない参照フレームに変更するエラー回復処理を行なう（ステップ１４のＹＥＳ，Ｓ１５）。
【００６１】
以上のようにして本実施形態によれば、伝送中にパケット欠落が発生すると、比較エラー位置検出部１０４から出力されるエラー位置情報をエラー位置メモリ３１２に格納する。このエラー位置情報を使用して、エラーを含む参照フレームを、映像復号化部２０１において使用を禁止するような制御を実現できる（コマンド４２０の説明を参照）。
【００６２】
さらに、エラー位置情報に基づいて、エラーが発生した部分（ブロック）を含むフレームを参照フレームとせずに、別の正常な参照フレーム、または部分イントラ符号化したブロックを含むフレームを参照フレームとすることができる。従って、図６に示すように、映像復号化部２０１において、エラー回復されたフレーム６１を参照フレームとして、フレーム６２の復号化処理を行なうことができる。
【００６３】
従って、パケットロスの発生によりエラーを含む参照フレームを、長期間にわたって使用されることを回避できるため、特にＨ．２６４／ＡＶＣ規格などのように、参照フレームの選択に対する自由度が大きい映像符号化方式には有効である。
【００６４】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施形態に関する映像伝送システムの構成を示すブロック図。
【図２】本実施形態に関するパケット情報テーブルの一例を示す図。
【図３】本実施形態に関するパケットのヘッダ形式の一例を示す図。
【図４】本実施形態に関するエラー回復処理を説明するための図。
【図５】本実施形態に関する映像符号化部の構成を示すブロック図。
【図６】本実施形態に関するエラー回復処理を説明するための図。
【図７】本実施形態に関するパケットロス検出処理の手順を説明するためのフローチャート。
【図８】本実施形態に関するエラー回復処理の手順を説明するためのフローチャート。
【符号の説明】
【００６６】
１０…映像送信部、１１…映像入力装置、２０…映像受信部、２１…映像出力装置、
３０…ネットワーク、１００…映像符号化部、１０１…映像パケット送信部、
１０２…パケット情報テーブル、１０３…パケットロス情報受信部、
１０４…比較エラー位置検出部、２００…映像パケット受信部、
２０１…映像復号化部、２０２…パケットロス検出部、
２０３…パケットロス情報送信部、３０１…変換量子化部、
３０２…エントロピー符号化部、３０３…逆量子化・逆変換部、
３０４…デブロッキングフィルタ、３０５…参照フレームメモリ、
３０６…符号化モード切替部、３０７…画面内予測部、３０８…動き補償部、
３０９…動き検出部、３１０…符号化制御部、３１１…出力バッファ、
３１２…エラー位置メモリ。
【図１】
2007288604.tif 000003
【図２】
2007288604.tif 000004
【図３】
2007288604.tif 000005
【図４】
2007288604.tif 000006
【図５】
2007288604.tif 000007
【図６】
2007288604.tif 000008
【図７】
2007288604.tif 000009
【図８】
2007288604.tif 000010