(57)【要約】【課題】パケットの消失による映像劣化を低減する。【解決手段】映像／パケット変換装置３のパケットマッピング部１１は、圧縮信号のスライス毎に、複数のスライスのデータが同一のパケットにマッピングされたスライス境界パケットを生成しないようにパケットマッピング処理を行う。パケットマッピング部１１は、データのサイズが固定長のサイズよりも小さい場合、パディングを行う。これにより、複数のスライスのデータが同一のパケットにマッピングされることがないから、映像／パケット変換装置３から送信されたパケットが消失した場合には、当該パケットに含まれるデータに対応する１つのスライスの映像のみが劣化することとなる。【選択図】図３
2020022087.tif 000002
【特許請求の範囲】
【請求項１】
映像の圧縮信号をパケットに変換し、当該パケットを送信する映像／パケット変換装置において、
映像信号を入力し、当該映像信号を符号化し、前記圧縮信号を生成する映像圧縮部と、
前記映像圧縮部により生成された前記圧縮信号を構成する複数のスライスについて、異なる前記スライスに含まれるそれぞれのデータが１つの前記パケットに格納されず、１つの前記スライスに含まれる前記データが１つの前記パケットに格納されるように、パケットマッピングを行うパケットマッピング部と、
前記パケットマッピング部による前記パケットマッピングに従って、前記スライスに含まれる前記データを前記パケットに格納し、当該パケットを送信する送信部と、
を備えたことを特徴とする映像／パケット変換装置。
【請求項２】
請求項１に記載の映像／パケット変換装置において、
前記パケットマッピング部は、
前記圧縮信号を構成する前記複数のスライスのそれぞれについて、所定サイズを基準として分割し、複数の分割データを生成し、
当該スライスにおける前記複数の分割データのうちの最後の分割データのサイズが、前記所定サイズよりも小さい場合、前記所定サイズとなるように、前記最後の分割データにパディングを行い、
前記複数の分割データのうちパディング後の前記最後の分割データを除く前記分割データ、及びパディング後の前記最後の分割データをマッピング後データとして前記送信部に出力し、
前記送信部は、
前記パケットマッピング部により出力された前記マッピング後データを入力し、当該マッピング後データを含むパケットを生成し、当該パケットを送信する、ことを特徴とする映像／パケット変換装置。
【請求項３】
パケットを受信し、当該パケットを映像の圧縮信号に変換し、当該圧縮信号から映像信号を復元するパケット／映像変換装置において、
前記パケットを受信し、当該パケットから前記映像のデータを抽出する受信部と、
前記受信部により抽出された前記データが、前記圧縮信号を構成する複数のスライスのうちのいずれかのスライスにおける最後の分割データである場合、当該最後の分割データに付加されたパディングデータを削除し、
前記受信部により抽出された前記データのうち前記パディングデータが削除された前記最後の分割データを除く前記データ、及び前記パディングデータが削除された前記最後の分割データを用いて、デマッピングの処理を行い、前記圧縮信号を生成するパケットデマッピング部と、
前記パケットデマッピング部により生成された前記圧縮信号を復号し、前記映像信号を復元する映像復号部と、
前記パケットを送信する送信側により、前記圧縮信号を構成する前記複数のスライスのそれぞれが所定サイズを基準とした分割データに分割され、異なる前記スライスに含まれるそれぞれの前記分割データが１つの前記パケットに格納されず、１つの前記スライスに含まれる前記分割データが１つの前記パケットに格納されるようにパケットマッピングが行われた場合に、
前記パケットデマッピング部による前記デマッピングの処理を、前記パケットマッピングに対する逆の処理とする、ことを特徴とするパケット／映像変換装置。
【請求項４】
コンピュータを、請求項１または２に記載の映像／パケット変換装置として機能させるためのプログラム。
【請求項５】
コンピュータを、請求項３に記載のパケット／映像変換装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮した映像をパケット化し、パケットをネットワークへ伝送するパケット伝送システムにおいて、パケットの消失による映像劣化を低減する映像／パケット変換装置、パケット／映像変換装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、映像信号を圧縮して伝送帯域を節約し、かつ、ＩＰパケット化してＩＰパケットを汎用のイーサネット（登録商標）ネットワークへ伝送することにより、映像信号を既存のインフラで効率的に共有する番組制作システムが知られている。この番組制作システムの標準化がＳＭＰＴＥ（米国映画テレビ技術者協会）で議論されている。
【０００３】
映像信号を圧縮してＩＰパケット化し、ＩＰパケットをネットワークへ伝送するパケット伝送システムは、数多く検討されてきた。例えば、特許文献１には、映像信号の１映像フレームをウェーブレット（Wavelet）変換し、周波数成分毎に階層化してデータ量を削減する符号化（エントロピー符号化等）を行い、階層化した信号単位でパケット化する技術が記載されている。
【０００４】
特許文献１のパケット伝送システムでは、許容される遅延時間が１映像フレームのサンプリング時間以上である。このため、受信側は、当該映像フレームに関係する階層化信号の全てを受信することにより、元の映像フレームを再生することができる。
【０００５】
一方、前述の番組制作システムでは、許容される遅延時間が１映像フレームのサンプリング時間以下であり、低遅延処理が必要とされる。このため、この低遅延を実現するには、映像フレームを複数のブロック（スライス）に区切り、スライス毎に圧縮及び復元処理を行うことが所望される。
【０００６】
また、非特許文献１には、１映像フレーム内で、ＴＵ（Transmission Unit）であるスライス毎にウェーブレット変換を適用して符号化することでデータを圧縮し、圧縮信号をパケットにマッピングして伝送する規定が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１５２５４４号公報
【非特許文献】
【０００８】
【非特許文献１】SMPTE RDD34，“LLVC-Low Latency Video Codec for Network Transfer”
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前述の非特許文献１の規定を適用したパケット伝送システムでは、圧縮信号のパケットマッピング処理の際に、複数のスライス（複数のＴＵ）のデータが同一のパケットにマッピングされてしまうことがある。
【００１０】
以下、複数のスライスのデータが同一のパケットにマッピングされたパケットを「スライス境界パケット」という。通常のパケットには、１つのスライスのデータが格納されるのに対し、スライス境界パケットには、複数のスライスのデータが格納されることとなる。
【００１１】
ここで、パケット化されたデータが伝送路を介して伝送されると、信号レベルの低下等に起因して、パケットの一部が消失することがあり得る。通常のパケットが消失した場合には、当該パケットに含まれるスライスに限定して、受信側で映像復号した際に映像劣化が生じる。
【００１２】
これに対し、スライス境界パケットが消失した場合には、当該パケットに含まれる複数のスライスに対応した広い範囲で映像劣化が生じるため、映像品質が損なわれてしまう。
【００１３】
以下、スライス境界パケットが消失した場合に、受信側で映像復号した際に広い範囲で映像劣化が生じる点について詳細に説明する。図９は、映像圧縮処理例を説明する図である。
【００１４】
前述のとおり、番組制作システムでは、許容される遅延時間が１映像フレームのサンプリング時間以下であり、低遅延処理が必要とされる。このため、送信側は、映像信号の１映像フレームを、複数のスライスを単位として分割し、それぞれのスライスに対して圧縮処理を適用する。
【００１５】
図９では、送信側は、１映像フレームをスライスＳ１〜Ｓ４に分割するものとする。スライスＳ１はライン１〜４からなり、スライスＳ２はライン５〜８からなり、スライスＳ３はライン９〜１２からなり、スライスＳ４はライン１３〜１６からなるものとする。
【００１６】
送信側は、スライスＳ１〜Ｓ４のそれぞれに対してウェーブレット変換を適用し、スライス内の画素情報を、高周波成分及び低周波成分の４つに分ける。これにより、レベル０の階層の低周波成分画像（以下、ＬＬ０画像という。）及び高周波成分画像（以下、ＨＬ０画像、ＬＨ０画像及びＨＨ０画像という。）が生成される。ＬＬ０画像は、元の映像フレームを水平及び垂直方向に１／２ダウンサンプルした最も低周波の信号である。レベル０の階層のＬＬ０画像、ＨＬ０画像、ＬＨ０画像及びＨＨ０画像を用いることで、元の画素数の映像フレームを復元することができる。
【００１７】
次に、送信側は、レベル０の階層のＬＬ０画像に再度ウェーブレット変換を適用し、高周波成分及び低周波成分の４つに分ける。これにより、レベル１の階層の低周波成分画像（以下、ＬＬ１画像という。）及び高周波成分画像（以下、ＨＬ１画像、ＬＨ１画像及びＨＨ１画像という。）が生成される。レベル０の階層はレベル１よりも浅く、レベル１の階層はレベル０よりも深い。
【００１８】
このように、ウェーブレット変換を用いた映像信号の階層化では、元の映像フレームを複数のスライスＳ１〜Ｓ４に分け、スライスＳ１〜Ｓ４のそれぞれに対してウェーブレット変換を複数回適用する。これにより、映像信号を低周波成分画像及び高周波成分画像に分けることができる。さらに、エントロピー符号化等によって情報量を削減することで、非可逆の圧縮信号を構成することができる。
【００１９】
図９に示すように、１映像フレームを構成するスライスＳ１〜Ｓ４のそれぞれにウェーブレット変換を適用して符号化することで、圧縮信号が生成される。圧縮信号は、（符号化された）スライスＳ１〜Ｓ４のＬＬ１画像、ＨＬ１画像、ＬＨ１画像、ＨＨ１画像、ＨＬ０画像、ＬＨ０画像及びＨＨ０画像から構成される。圧縮信号に含まれるスライスＳ１〜Ｓ４のＬＬ１画像、ＨＬ１画像、ＬＨ１画像及びＨＨ１画像は、Ｓ１〜Ｓ４のＬＬ０画像から生成される。
【００２０】
図１０は、従来のパケットマッピング処理例を説明する図であり、前述の非特許文献１に記載された処理を示す。Ａ〜Ｌは、スライス内の所定位置のデータを示し、右側の図における実線の四角は、パケットを示す。送信側は、図１０の左側に示す圧縮信号（図９右側に示した圧縮信号に相当）を、パケットにマッピングする。
【００２１】
具体的には、送信側は、スライスＳ１〜Ｓ４の順番に、かつ、深い階層（レベル１の階層）から浅い階層（レベル０の階層）へ向けて、同階層ではＬＬ，ＨＬ，ＬＨ，ＨＨの順番に、圧縮信号をパケットにマッピングする。この場合、階層化信号間のパケットマッピング（異なる階層化信号を同一のパケットにマッピングすること）は許容される。
【００２２】
これにより、圧縮信号は、図１０の右側に示すパケットにマッピングされる。スライスＳ１においては、データＡ，Ｂを含むパケット、データＣ，Ｄを含むパケット、データＥ，Ｆを含むパケット、データＧを含むパケット、データＨを含むパケット等が生成される。
【００２３】
また、スライスＳ１，Ｓ２の境界においては、スライスＳ１のデータＩ及びスライスＳ２のデータＪを含むスライス境界パケット（α）が生成される。同様に、スライスＳ２，Ｓ３の境界においては、スライスＳ２のデータＫ及びスライスＳ３のデータＬを含むスライス境界パケット（β）が生成される。
【００２４】
このように、従来のパケットマッピング処理により、複数のスライスのデータが同一のパケットにマッピングされ、スライス境界パケット（α，β等）が生成される。具体的には、スライスＳ１のデータＩであるＨＨ０画像のデータ、及びスライスＳ２のデータＪであるＬＬ１画像のデータが、同一のスライス境界パケット（α）にマッピングされる。また、スライスＳ２のデータＫであるＨＨ０画像のデータ、及びスライスＳ３のデータＬであるＬＬ１画像のデータが、同一のスライス境界パケット（β）にマッピングされる。
【００２５】
図１１は、パケット消失時の映像劣化の影響範囲を説明する図である。図１０のパケットマッピング処理により生成されたパケットが伝送され、パケットの一部が消失した場合を想定する。図１１の左側における実線の四角は、パケットを示す。
【００２６】
図１１（１）は、スライス境界パケット以外のパケット（通常のパケット）が消失した場合を説明する図である。
【００２７】
スライスＳ１のデータＣ，Ｄを含むパケットが消失した場合、スライスＳ１に関係するパケットが消失したため、映像復号後の映像フレームでは、スライスＳ１の映像が劣化することとなる。スライスＳ２〜Ｓ４の映像劣化はない。
【００２８】
図１１（２）は、スライス境界パケットが消失した場合を説明する図である。スライスＳ１のデータＩ及びスライスＳ２のデータＪを含むスライス境界パケットが消失した場合、スライスＳ１，Ｓ２に関係するパケットが消失したため、映像復号後の映像フレームでは、スライスＳ１，Ｓ２の映像が劣化することとなる。スライスＳ３，Ｓ４の映像劣化はない。
【００２９】
このように、前述の非特許文献１の規定を適用したパケット伝送システムでは、スライス境界パケットが消失すると、当該スライス境界パケットに含まれるデータに対応する複数のスライスに跨って、広い範囲に映像劣化が生じてしまう。
【００３０】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、パケットの消失による映像劣化を低減可能な映像／パケット変換装置、パケット／映像変換装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【００３１】
前記課題を解決するために、請求項１の映像／パケット変換装置は、映像の圧縮信号をパケットに変換し、当該パケットを送信する映像／パケット変換装置において、映像信号を入力し、当該映像信号を符号化し、前記圧縮信号を生成する映像圧縮部と、前記映像圧縮部により生成された前記圧縮信号を構成する複数のスライスについて、異なる前記スライスに含まれるそれぞれのデータが１つの前記パケットに格納されず、１つの前記スライスに含まれる前記データが１つの前記パケットに格納されるように、パケットマッピングを行うパケットマッピング部と、前記パケットマッピング部による前記パケットマッピングに従って、前記スライスに含まれる前記データを前記パケットに格納し、当該パケットを送信する送信部と、を備えたことを特徴とする。
【００３２】
また、請求項２の映像／パケット変換装置は、請求項１に記載の映像／パケット変換装置において、前記パケットマッピング部が、前記圧縮信号を構成する前記複数のスライスのそれぞれについて、所定サイズを基準として分割し、複数の分割データを生成し、当該スライスにおける前記複数の分割データのうちの最後の分割データのサイズが、前記所定サイズよりも小さい場合、前記所定サイズとなるように、前記最後の分割データにパディングを行い、前記複数の分割データのうちパディング後の前記最後の分割データを除く前記分割データ、及びパディング後の前記最後の分割データをマッピング後データとして前記送信部に出力し、前記送信部が、前記パケットマッピング部により出力された前記マッピング後データを入力し、当該マッピング後データを含むパケットを生成し、当該パケットを送信する、ことを特徴とする。
【００３３】
さらに、請求項３のパケット／映像変換装置は、パケットを受信し、当該パケットを映像の圧縮信号に変換し、当該圧縮信号から映像信号を復元するパケット／映像変換装置において、前記パケットを受信し、当該パケットから前記映像のデータを抽出する受信部と、前記受信部により抽出された前記データが、前記圧縮信号を構成する複数のスライスのうちのいずれかのスライスにおける最後の分割データである場合、当該最後の分割データに付加されたパディングデータを削除し、前記受信部により抽出された前記データのうち前記パディングデータが削除された前記最後の分割データを除く前記データ、及び前記パディングデータが削除された前記最後の分割データを用いて、デマッピングの処理を行い、前記圧縮信号を生成するパケットデマッピング部と、前記パケットデマッピング部により生成された前記圧縮信号を復号し、前記映像信号を復元する映像復号部と、前記パケットを送信する送信側により、前記圧縮信号を構成する前記複数のスライスのそれぞれが所定サイズを基準とした分割データに分割され、異なる前記スライスに含まれるそれぞれの前記分割データが１つの前記パケットに格納されず、１つの前記スライスに含まれる前記分割データが１つの前記パケットに格納されるようにパケットマッピングが行われた場合に、前記パケットデマッピング部による前記デマッピングの処理を、前記パケットマッピングに対する逆の処理とする、ことを特徴とする。
【００３４】
さらに、請求項４のプログラムは、コンピュータを、請求項１または２に記載の映像／パケット変換装置として機能させることを特徴とする。
【００３５】
また、請求項５のプログラムは、コンピュータを、請求項３に記載のパケット／映像変換装置として機能させることを特徴とする。
【発明の効果】
【００３６】
以上のように、本発明によれば、パケットの消失による映像劣化を低減することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態による映像／パケット変換装置及びパケット／映像変換装置を含むパケット伝送システムの全体構成例を示す概略図である。
【図２】本発明の実施形態による映像／パケット変換装置の構成例を示すブロック図である。
【図３】パケットマッピング部の処理例（固定長パケットの場合）を示すフローチャートである。
【図４】パケットマッピング部の処理例（固定長パケットの場合）を説明する図である。
【図５】パケットマッピング部の処理例（可変長パケットの場合）を説明する図である。
【図６】本発明の実施形態によるパケット／映像変換装置の構成例を示すブロック図である。
【図７】パケットデマッピング部の処理例（固定長パケットの場合）を示すフローチャートである。
【図８】シミュレーション結果を説明する図である。
【図９】映像圧縮処理例を説明する図である。
【図１０】従来のパケットマッピング処理例を説明する図である。
【図１１】パケット消失時の映像劣化の影響範囲を説明する図である。
【発明を実施するための形態】
【００３８】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、複数のスライスのデータを同一のパケットにマッピングしないように、すなわちスライス境界パケットを生成しないように、パケットマッピング処理を行うことを特徴とする。
【００３９】
〔パケット伝送システム〕
図１は、本発明の実施形態による映像／パケット変換装置及びパケット／映像変換装置を含むパケット伝送システムの全体構成例を示す概略図である。このパケット伝送システム１は、カメラ２、映像／パケット変換装置３、パケット／映像変換装置４及びモニター５を備えて構成される。映像／パケット変換装置３及びパケット／映像変換装置４は、イーサネット（登録商標）、インターネット等の伝送路６を介して接続される。
【００４０】
カメラ２は、撮影された対象物の映像信号を映像／パケット変換装置３へ出力する。映像／パケット変換装置３は、カメラ２から映像信号を入力し、映像信号を圧縮して圧縮信号を生成し、圧縮信号にパケットマッピング処理を施すことで、映像信号をパケットに変換する。そして、映像／パケット変換装置３は、パケットを、伝送路６を介してパケット／映像変換装置４へ送信する。
【００４１】
本発明の実施形態では、映像／パケット変換装置３において、スライス境界パケットを生成しないようにパケットマッピング処理を行い、所望のパケットサイズのパケットを生成するために、データのパディングを行う。
【００４２】
パケット／映像変換装置４は、映像／パケット変換装置３から伝送路６を介して送信されたパケットを受信し、パケットにパケットデマッピング処理を施して圧縮信号を生成し、圧縮信号を復号することで、パケットを映像信号に変換する。そして、パケット／映像変換装置４は、復元した映像信号をモニター５へ出力する。
【００４３】
本発明の実施形態では、パケット／映像変換装置４において、映像／パケット変換装置３のパケットマッピング処理に対応したパケットデマッピング処理を行う。
【００４４】
モニター５は、パケット／映像変換装置４から映像信号を入力し、映像信号を画面表示する。
【００４５】
〔映像／パケット変換装置３〕
次に、図１に示した映像／パケット変換装置３について説明する。図２は、本発明の実施形態による映像／パケット変換装置３の構成例を示すブロック図である。この映像／パケット変換装置３は、映像圧縮部１０、パケットマッピング部１１及び送信部１２を備えている。送信部１２は送信バッファ１３を備えている。
【００４６】
映像圧縮部１０は、カメラ２から映像信号を入力し、図９に示したとおり、映像信号の１映像フレームを例えば複数のスライスＳ１〜Ｓ４に分割し、スライスＳ１〜Ｓ４のそれぞれに対しウェーブレット変換を適用して符号化し、圧縮信号を生成する。そして、映像圧縮部１０は、圧縮信号をパケットマッピング部１１に出力する。
【００４７】
これにより、伝送帯域を狭くすることができ、効率的な映像伝送が可能となる。映像圧縮には、復元した際に視覚的に映像劣化を感じない非可逆圧縮を用いることが多い。圧縮率をどの程度に設定するかは、一般的には使用できる伝送帯域幅、及び映像復号までにかかる遅延時間がどれだけ許容できるかによる。
【００４８】
テレビ放送等で用いられる圧縮は、伝送帯域は数十Ｍｂｐｓであるのに対して許容遅延は数秒であるため、元の映像は１／１００程度に圧縮される。一方、番組制作で用いる圧縮は、高品質な映像の伝送が要求されるため、伝送帯域はＧｂｐｓクラスであるが、許容遅延は１映像フレーム以下であることが多いため、元の映像は数分の１に圧縮される。
【００４９】
パケットマッピング部１１は、映像圧縮部１０から圧縮信号を入力し、１映像フレームの圧縮信号のスライス毎に、スライス境界パケットを生成しないようにパケットマッピング処理を行う。つまり、パケットマッピング部１１は、１映像フレームの圧縮信号を構成する複数のスライスについて、異なるスライスに含まれるそれぞれのデータが１つのパケットに格納されず、１つのスライスに含まれるデータが１つのパケットに格納されるように、パケットマッピング処理を行う。
【００５０】
また、パケットマッピング部１１は、所望のパケットサイズのパケットを生成するために、データのパディングを行う。そして、パケットマッピング部１１は、１映像フレームについて、スライス毎のマッピング後のデータ及びパディング情報を生成して送信部１２に出力する。
【００５１】
図３は、パケットマッピング部１１の処理例（固定長パケットの場合）を示すフローチャートである。パケットマッピング部１１は、映像圧縮部１０から圧縮信号を入力する（ステップ３０１）。そして、パケットマッピング部１１は、１映像フレームの圧縮信号を構成する複数のスライスのそれぞれについて、圧縮信号を先頭から順番に、予め設定された所定サイズを基準としたデータ（固定長のデータ）に分割し、分割したデータをパケットにマッピングする（ステップ３０２）。
【００５２】
ここで、１つのスライスについて、圧縮信号が先頭から順番に固定長のデータに分割されると、分割後の最後のデータは、そのサイズが固定長よりも小さいか、または固定長と同じになる。
【００５３】
パケットマッピング部１１は、分割したデータをパケットにマッピングする際に、スライスにおける最後のデータのサイズが固定長よりも小さいか否かを判定する（ステップ３０３）。
【００５４】
パケットマッピング部１１は、ステップ３０３において、最後のデータのサイズが固定長よりも小さいと判定した場合（ステップ３０３：Ｙ）、最後のデータにパディングを行う（ステップ３０４）。具体的には、パケットマッピング部１１は、固定長から最後のデータのサイズを減算して不足サイズを求め、最後のデータに、不足サイズ分のパディングデータを付加する。これにより、パディングデータが付加された固定長のデータが得られる。
【００５５】
パケットマッピング部１１は、パディングデータの数（不足サイズ）等を含むパディング情報を生成する（ステップ３０５）。このパディング情報は、最後のデータに対応する情報として生成される。
【００５６】
一方、パケットマッピング部１１は、ステップ３０３において、最後のデータのサイズが固定長よりも小さくないと判定した場合（ステップ３０３：Ｎ）、すなわち最後のデータのサイズが固定長であると判定した場合、ステップ３０６へ移行する。
【００５７】
パケットマッピング部１１は、ステップ３０３（Ｎ）またはステップ３０５から移行して、マッピング後データを設定する。すなわち、パケットマッピング部１１は、ステップ３０２にて分割により得られた固定長のデータ、及び、ステップ３０４にてパディング処理により得られたパディング後の固定長のデータをマッピング後データとする（ステップ３０６）。
【００５８】
パケットマッピング部１１は、全てのスライスについて、マッピング後データを生成する処理及びパディング情報を生成する処理が完了したか否かを判定する（ステップ３０７）。
【００５９】
パケットマッピング部１１は、ステップ３０７において、全てのスライスについて処理が完了していないと判定した場合（ステップ３０７：Ｎ）、ステップ３０２へ移行し、次のスライスについて処理を行う。
【００６０】
パケットマッピング部１１は、ステップ３０７において、全てのスライスについて処理が完了したと判定した場合（ステップ３０７：Ｙ）、スライス毎のマッピング後データ及びパディング情報を送信部１２に出力する（ステップ３０８）。
【００６１】
図４は、パケットマッピング部１１の処理例（固定長パケットの場合）を説明する図であり、特に、図３のステップ３０２〜３０４の処理を示している。Ａ〜Ｌは、スライス内の所定位置のデータを示し、図４の右側における実線の四角は、パケットを示す。
【００６２】
まず、パケットマッピング部１１は、ステップ３０２のとおり、スライスＳ１について、レベル１の階層からレベル０の階層へ向けて、同階層ではＬＬ，ＨＬ，ＬＨ，ＨＨの順番に、圧縮信号を固定長のデータに分割する。そして、パケットマッピング部１１は、分割したデータをパケットにマッピングする。
【００６３】
パケットマッピング部１１は、ステップ３０３，３０４のとおり、スライスＳ１の最後のデータＩのサイズが固定長よりも小さいと判定し、最後のデータＩにパディングを行う（図４のα）。
【００６４】
次に、パケットマッピング部１１は、ステップ３０７から移行してステップ３０２のとおり、スライスＳ２について、スライスＳ１の場合と同様に、圧縮信号を順番に固定長のデータに分割し、分割したデータをパケットにマッピングする。
【００６５】
パケットマッピング部１１は、ステップ３０３，３０４のとおり、スライスＳ２の最後のデータＫのサイズが固定長よりも小さいと判定し、最後のデータＫにパディングを行う（図４のβ）。パケットマッピング部１１は、スライスＳ３，Ｓ４についても同様の処理を行う。
【００６６】
このように、パケットマッピング部１１は、スライスＳ１〜Ｓ４毎に、スライスＳ１〜Ｓ４の順番に、かつ、レベル１の階層からレベル０の階層へ向けて、同階層ではＬＬ，ＨＬ，ＬＨ，ＨＨの順番に、圧縮信号を固定長のデータに分割する。そして、パケットマッピング部１１は、分割したデータをパケットにマッピングする。この場合、パケットマッピング部１１は、分割したデータのサイズが固定長のサイズに対して足りない場合に、パディングを行い、後に続くスライスのデータを別のパケットにマッピングする。
【００６７】
これにより、図４の右側に示すように、スライスＳ１について、データＡ，Ｂを含むパケット、データＣ，Ｄを含むパケット、データＥ，Ｆを含むパケット、データＧを含むパケット、データＨを含むパケット、データＩ及びパディングデータを含むパケット等が、後段の送信部１２にて生成される。
【００６８】
また、スライスＳ２について、データＪを含むパケット、データＫ及びパディングデータを含むパケット等が、後段の送信部１２にて生成される。全てのスライスＳ１〜Ｓ４において、隣り合う異なるスライスＳ１〜Ｓ４のデータは、同一のパケットにマッピングされることはなく、スライス境界パケットは生成されない。
【００６９】
尚、図３及び図４は、各スライスＳ１〜Ｓ４のデータを固定長パケットにマッピングする場合の図である。固定長パケットにマッピングすることにより、後述するパケット／映像変換装置４は、同期再生及び誤り訂正の処理等を簡易に行うことができる。これに対し、本発明は、可変長パケットにマッピングする場合にも適用がある。
【００７０】
図５は、パケットマッピング部１１の処理例（可変長パケットの場合）を説明する図である。Ａ〜Ｌは、スライス内の所定位置のデータを示し、図５の右側における実線の四角は、パケットを示す。
【００７１】
パケットマッピング部１１は、スライスＳ１について、レベル１の階層からレベル０の階層へ向けて、同階層ではＬＬ，ＨＬ，ＬＨ，ＨＨの順番に、圧縮信号を所定サイズのデータに分割し、分割したデータを可変長パケットにマッピングする。
【００７２】
パケットマッピング部１１は、スライスＳ１の最後のデータＩについて、そのサイズが所定サイズよりも小さい場合であっても、パディングを行うことなく、当該サイズのデータＩを可変長パケットにマッピングする（図５のα）。スライスＳ２についても同様である（図５のβ）。
【００７３】
このように、可変長パケットにマッピングすることにより、パディングを行う必要がないから、処理負荷を低減することができる。
【００７４】
図２に戻って、送信部１２は、パケットマッピング部１１からマッピング後データ及びパディング情報を入力する。そして、送信部１２は、マッピング後データをＲＴＰパケットのペイロードに格納すると共に、パディング情報については、そのパディングデータを含むマッピング後データが格納されたＲＴＰパケットに対応する拡張ヘッダに格納する。
【００７５】
また、送信部１２は、マッピング後データがパディングデータを含むか否かを示すパディング有無情報を生成し、これを、当該マッピング後データが格納されたＲＴＰパケットに対応する拡張ヘッダに格納する。
【００７６】
これにより、パディングデータを含むマッピング後データは、パディングデータを含むことを示すパディング有無情報、及びパティング情報と共に、同一のパケットに格納される。また、パディングデータを含まないマッピング後データは、パディングデータを含まないことを示すパディング有無情報と共に、同一のパケットに格納される。
【００７７】
送信部１２は、マッピング後データを格納したペイロードにＲＴＰ／ＵＤＰ／ＩＰ／拡張ヘッダを付加することで、パケットを生成し、パケットを送信バッファ１３に格納する。そして、送信部１２は、送信バッファ１３からパケットを読み出し、パケットを、伝送路６を介してパケット／映像変換装置４へ送信する。
【００７８】
以上のように、本発明の実施形態の映像／パケット変換装置３によれば、パケットマッピング部１１は、圧縮信号のスライス毎に、スライス境界パケットを生成しないようにパケットマッピング処理を行い、データのサイズが固定長のサイズよりも小さい場合、パディングを行うようにした。
【００７９】
これにより、異なるスライスのデータが同一のパケットにマッピングされることがないから、映像／パケット変換装置３から送信されたパケットが消失した場合には、当該パケットに含まれるデータに対応する１つのスライスの映像のみが劣化することとなる。
【００８０】
従来は、スライス境界パケットの消失によって映像劣化範囲が拡大していたが、本発明の実施形態では、スライス境界パケットが生成されないから、スライス境界近傍のパケットが消失しても、映像劣化範囲を限定的とすることができる。
【００８１】
したがって、パケットの消失による映像劣化を低減することができ、高品質な映像伝送が実現可能となる。
【００８２】
〔パケット／映像変換装置４〕
次に、図１に示したパケット／映像変換装置４について説明する。図６は、本発明の実施形態によるパケット／映像変換装置４の構成例を示すブロック図である。このパケット／映像変換装置４は、受信部２０、パケットデマッピング部２２及び映像復号部２３を備えている。受信部２０は、受信バッファ２１を備えている。
【００８３】
受信部２０は、映像／パケット変換装置３から伝送路６を介してパケットを受信し、パケットを受信バッファ２１に格納する。そして、受信部２０は、受信バッファ２１からパケットを読み出し、パケットのペイロードからマッピング後データを抽出すると共に、パケットのヘッダからパディングデータ有無情報及びパディング情報を抽出する。
【００８４】
受信部２０は、パケット毎に、マッピング後データ及びパディングデータ有無情報（パディングデータ無しを示す情報）、または、マッピング後データ、パディングデータ有無情報（パディングデータ有りを示す情報）及びパディング情報をパケットデマッピング部２２に出力する。
【００８５】
ここで、受信部２０が受信するパケットには、異なるスライスのデータが含まれていないから、パケットから抽出されたマッピング後データにも、異なるスライスのデータが含まれていない。
【００８６】
パケットデマッピング部２２は、受信部２０からマッピング後データ、パディングデータ有無情報及びパディング情報を入力し、図２及び図３に示したパケットマッピング部１１の逆の処理を行う。すなわち、パケットデマッピング部２２は、パディングデータ有無情報からパディングデータの有無を判断し、パディングデータを含むマッピング後データからパディングデータを削除し、パケットデマッピング処理を行い、元の圧縮信号を生成する。そして、パケットデマッピング部２２は、圧縮信号を映像復号部２３に出力する。
【００８７】
図７は、パケットデマッピング部２２の処理例（固定長パケットの場合）を示すフローチャートである。パケットデマッピング部２２は、受信部２０からマッピング後データ、パディングデータ有無情報及びパディング情報を入力し、１映像フレームの圧縮信号のスライス毎に、デマッピングを行う（ステップ７０１）。
【００８８】
パケットデマッピング部２２は、デマッピングの際に、パディングデータ有無情報に基づいて、マッピング後データにパディングデータが含まれているか否かを判定する（ステップ７０２）。
【００８９】
パケットデマッピング部２２は、ステップ７０２において、マッピング後データにパディングデータが含まれていると判定した場合（ステップ７０２：Ｙ）、パディング情報からパディングデータ数を抽出する。
【００９０】
パケットデマッピング部２２は、パディングデータを含むマッピング後データから、パディングデータ数のパディングデータを削除し、パディングデータ削除後のデータを生成する（ステップ７０３）。
【００９１】
一方、パケットデマッピング部２２は、ステップ７０２において、マッピング後データにパディングデータが含まれていないと判定した場合（ステップ７０２：Ｎ）、ステップ７０４へ移行する。
【００９２】
パケットデマッピング部２２は、ステップ７０２（Ｎ）またはステップ７０３から移行して、同一のスライスにおいて、パディングデータを含まないマッピング後データを分割データとし、パディングデータ削除後のマッピング後データを最後の分割データとする（ステップ７０４）。分割データは、図２に示したパケットマッピング部１１により分割されたスライスに含まれるデータ（最後のデータを除く）に対応し、最後の分割データは、パケットマッピング部１１により分割されたスライスに含まれる最後のデータに対応する。
【００９３】
パケットデマッピング部２２は、１映像フレームの圧縮信号の全てのスライスについて、全てのマッピング後データの処理が完了したか否かを判定する（ステップ７０５）。
【００９４】
パケットデマッピング部２２は、ステップ７０５において、全てのマッピング後データの処理が完了していないと判定した場合（ステップ７０５：Ｎ）、ステップ７０２へ移行し、次のマッピング後データについて処理を行う。
【００９５】
パケットデマッピング部２２は、ステップ７０５において、全てのマッピング後データの処理が完了したと判定した場合（ステップ７０５：Ｙ）、分割データ及び最後の分割データから例えば図４に示した圧縮信号を生成するためのデマッピング処理を行い、圧縮信号を映像復号部２３に出力する（ステップ７０６）。
【００９６】
図４の例では、パケットデマッピング部２２は、スライスＳ１〜Ｓ４毎に、分割データ及び最終の分割データを、図４のとおりマッピングした順番に並べる。そして、パケットデマッピング部２２は、パケットマッピング部１１によるパケットマッピング処理の逆の処理を行い、圧縮信号を生成する。つまり、パケットデマッピング部２２は、スライスＳ１〜Ｓ４毎に、スライスＳ１〜Ｓ４の順番に、かつ、レベル１の階層からレベル０の階層へ向けて、同階層ではＬＬ，ＨＬ，ＬＨ，ＨＨの順番に、分割データ及び最後の分割データから圧縮信号を生成する。
【００９７】
図６に戻って、映像復号部２３は、パケットデマッピング部２２から圧縮信号を入力し、図２に示した映像圧縮部１０の逆の処理を行う。すなわち、映像復号部２３は、圧縮信号を復号して逆ウェーブレット変換を適用し、例えばスライスＳ１〜Ｓ４のデータを生成し、スライスＳ１〜Ｓ４のデータを合成して映像信号を復元する。そして、映像復号部２３は、映像信号をモニター５へ出力する。
【００９８】
尚、図７に示した処理例は、固定長パケットを対象とする例である。パケット／映像変換装置４は、固定長パケットを処理することにより、同期再生及び誤り訂正の処理等を簡易に行うことができる。
【００９９】
これに対し、本発明は、可変長パケットにも適用がある。この場合、パケット／映像変換装置４は、マッピング後データに対してパディングデータを削除する必要がないから、処理負荷を低減することができる。
【０１００】
以上のように、本発明の実施形態のパケット／映像変換装置４によれば、受信部２０は、伝送路６を介して受信したパケットからマッピング後データ、パディングデータ有無情報及びパディング情報を抽出する。パケットデマッピング部２２は、パディングデータ有無情報に基づいて、マッピング後データからパディングデータを削除し、パケットデマッピング処理を行い、圧縮信号を生成する。映像復号部２３は、圧縮信号を復号する等して映像信号を復元する。
【０１０１】
受信部２０が受信したパケットには、異なるスライスのデータが含まれていないから、パケットが消失したとしても、当該パケットに含まれるデータに対応する１つのスライスの映像のみが劣化することとなる。
【０１０２】
従来は、スライス境界パケットの消失によって映像劣化範囲が拡大していたが、本発明の実施形態では、スライス境界パケットが存在しないから、スライス境界近傍のパケットが消失しても、映像劣化範囲を限定的とすることができる。
【０１０３】
したがって、パケットの消失による映像劣化を低減することができ、高品質な映像伝送が実現可能となる。
【０１０４】
〔シミュレーション結果〕
次に、シミュレーション結果について説明する。図８は、シミュレーション結果を説明する図である。図８（１）は、従来技術において、スライス境界パケットが消失した場合のモニター５に表示された映像の概略を示し、図８（２）は、本発明の実施形態において、パディング後のデータを含むパケットが消失した場合のモニター５に表示された映像の概略を示す。
【０１０５】
図８（１）から、スライス境界パケットが消失したことにより、黒色の横線の箇所（α）に示すように、映像が劣化していることがわかる。スライス境界パケットには、複数のスライスのデータが含まれているから、当該パケットが消失することで、複数のスライスに跨って広範囲に映像劣化が発生する。このときのＰＳＮＲ（ピーク信号対雑音比）は２５ｄＢであった。
【０１０６】
一方、図８（２）から、パディング後のデータを含むパケットが消失したことにより、黒色の横線の箇所（β）に示すように、映像が劣化していることがわかる。しかし、この映像劣化の範囲は、図８（１）よりも狭くなっている。これは、パディング後のデータを含むパケットには、１つのスライスのデータが含まれているから、当該パケットが消失することで、１つのスライスのみに劣化が発生するからである。このときのＰＳＮＲは５４ｄＢであった。
【０１０７】
このように、図８（１）（２）のシミュレーション結果から、本発明の実施形態は、従来技術に比べ、パケットの消失による映像劣化を低減することができ、高品質な映像伝送を実現することができる。
【０１０８】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記映像／パケット変換装置３の映像圧縮部１０は、映像信号のスライスＳ１〜Ｓ４のそれぞれに対しウェーブレット変換を適用する際に、図４及び図９の例では、レベル１の階層まで変換するようにした。本発明は、階層の深さを限定するものではなく、レベル２以上の階層まで変換するようにしてもよい。
【０１０９】
尚、本発明の実施形態による映像／パケット変換装置３及びパケット／映像変換装置４のハードウェア構成としては、通常のコンピュータを使用することができる。映像／パケット変換装置３及びパケット／映像変換装置４は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【０１１０】
映像／パケット変換装置３に備えた映像圧縮部１０、パケットマッピング部１１及び送信部１２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、パケット／映像変換装置４に備えた受信部２０、パケットデマッピング部２２及び映像復号部２３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０１１１】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【０１１２】
１  パケット伝送システム
２  カメラ
３  映像／パケット変換装置
４  パケット／映像変換装置
５  モニター
６  伝送路
１０  映像圧縮部
１１  パケットマッピング部
１２  送信部
１３  送信バッファ
２０  受信部
２１  受信バッファ
２２  パケットデマッピング部
２３  映像復号部
【図１】
2020022087.tif 000003
【図２】
2020022087.tif 000004
【図３】
2020022087.tif 000005
【図４】
2020022087.tif 000006
【図５】
2020022087.tif 000007
【図６】
2020022087.tif 000008
【図７】
2020022087.tif 000009
【図８】
2020022087.tif 000010
【図９】
2020022087.tif 000011
【図１０】
2020022087.tif 000012
【図１１】
2020022087.tif 000013