(57)【要約】【課題】符号データを送信しネットワークを介し受信したデータを復号するまでの低遅延化を図る。【解決手段】画像送信装置(101)は、画像データを取り込んで符号化し、１フレーム内の符号データを所定の単位で出力する符号化部(102)と、符号化部(102)から出力されるデータサイズを所定のサイズに一致させるためにパディングを付加するパディング処理部(107)と、パディング処理部(107)によるパディング付加の完了を受けてパケット化を行うパケット処理部(103)と、符号データやパケットデータを保持するメモリ(105)とを備える。画像受信装置(201)は、画像送信装置(101)からのパケットを受信し、前記パケットを分離する分離処理部(202,203)と、所定の単位で圧縮データを復号し、ストリームを出力する復号化処理部(204)とを備える。【選択図】図１
2009177447.tif 000002
【特許請求の範囲】
【請求項１】
画像送信装置と画像受信装置とを備えた動画像送受信システムであって、
前記画像送信装置は、
画像データを取り込んで符号化し、１フレーム内の符号データを所定の単位で出力する符号化部と、
前記符号化部から出力されるデータサイズを所定のサイズに一致させるためにパディングを付加するパディング処理部と、
前記パディング処理部によるパディング付加の完了を受けてパケット化を行うパケット処理部と、
前記パケット処理部によりパケット化されたデータをネットワーク送信するネットワーク送信部と、
符号データやパケットデータを保持するメモリとを備え、
前記画像受信装置は、
前記画像送信装置からのパケットを受信するネットワーク受信部と、
前記ネットワーク受信部により受信されたパケットを分離する分離処理部と、
所定の単位で圧縮データを復号し、ストリームを出力する復号化処理部とを備える、
ことを特徴とする動画像送受信システム。
【請求項２】
請求項１において、
前記符号化部の所定の単位はH.264のNALユニット単位である、
ことを特徴とする動画像送受信システム。
【請求項３】
請求項１において、
前記符号化部の所定の単位はMPEG-4のビデオパケット単位である、
ことを特徴とする動画像送受信システム。
【請求項４】
請求項１において、
前記符号化部の所定の単位はMPEG-2のスライス単位である、
ことを特徴とする動画像送受信システム。
【請求項５】
請求項１において、
前記パケット処理部によるパケット化はPESパケットおよびTSパケットの処理である、
ことを特徴とする動画像送受信システム。
【請求項６】
請求項１において、
前記パケット処理部によるパケット化はネットワークのパケット処理である、
ことを特徴とする動画像送受信システム。
【請求項７】
請求項１において、
前記画像受信装置は、
受信したパケットを分離し復号化する際にパディングデータの削除処理を行わず、当該パディングデータが付加された状態で復合化する、
ことを特徴とする動画像送受信システム。
【請求項８】
請求項１において、
前記復合化処理部の所定の単位はH.264のNALユニット単位である、
ことを特徴とする動画像送受信システム。
【請求項９】
請求項１において、
前記復合化処理部の所定の単位はMPEG-4のビデオパケット単位である、
ことを特徴とする動画像送受信システム。
【請求項１０】
請求項１において、
前記復合化処理部の所定の単位はMPEG-2のスライス単位である、
ことを特徴とする動画像送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画ストリームの転送をネットワーク上で低遅延で行う送受信システムに関するものである。
【背景技術】
【０００２】
従来の動画像送受信システムにおいて、近年、動画像圧縮技術としてMPEG-2やH.264といった動画像信号圧縮の国際規格がある。ビデオやオーディオなどのメディア情報(以下、マルチメディア情報)は同時並行して発生する。マルチメディア情報を通信チャネルで伝送し受信側で再現するためには、同期情報とともに１本のストリームに多重化する必要がある。このような多重化を実現する国際標準のひとつにTS(Transport Stream)がある。TSでは、符号化されたメディア情報を個々のメディアごとに適当な単位でパケット化して可変長のPES(Packetized Elementary Stream)パケットを構成し、さらに固定長のTSパケット単位に分割した後に多重化する。
【０００３】
１つのTSパケットを構成して送信するためには、１つのTSパケットを構成するための符号化済みデータが揃っている必要があるため、特に低ビットレートの符号化においてはパケット化の処理遅延が問題となる。この処理遅延を小さくするため、従来の多重化方法として、１つのTSパケットを構成するために不足しているデータ量と同量の冗長データ(スタッフィングデータ)を多重化層において挿入し、符号化済みデータとあわせて１つのTSパケットを構成するものがある。しかし、スタッフィングデータはもともとのメディア情報とは無関係のデータであるため、送出されるTSパケットに極力含めないことが望ましい。そこで、PESパケット長を固定長にし、さらにその固定長をTSパケットにおけるペイロードのサイズの整数倍にするような方法が考案されている(例えば、特許文献１参照)。
【０００４】
しかしながら上記の方法では、PESパケットを固定長にすることによって、TSパケットを構成する場合に必要なESデータが揃えられず、TSパケットを送出できない場合がある。
【０００５】
これを解決するために、一定の時間間隔で符号化されたメディア情報データ量をパケット化可能なデータ量であるか監視する方法がある(特許文献２参照)。これにより、パケット化するために必要なサイズ分の符号化メディア情報が揃うまで符号化メディア情報を保持しておいて、符号化メディア情報が揃ってからパケット化を行うことによって、符号化メディア情報が揃えられずにパケットを送出できないことがなくなる。また、パケットサイズ監視において、メディア情報が所定のデータサイズ分揃わなかったことを検知した場合に、パケットがデータサイズに揃うようにスタッフィングを行い調整する方法がある。
【特許文献１】特開2003-108194号公報
【特許文献２】特開2005-101860号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の動画像送受信システムにおいては、スタッフィングデータはパケット化の際に挿入されるため、受信部ではスタッフィングデータの削除処理が必要であり、復号化は１フレーム分の符号データが揃わなければ復号化することができず、受信してから復号化するまでの処理時間がかかる。符号化メディア情報を一定周期で監視する場合、周期が短い場合は監視処理負荷が増大し、周期が長いと伝送遅延の軽減を十分に満たすことができないため、最も効率よい状態に調整することが困難である。
【課題を解決するための手段】
【０００７】
本発明の動画像送受信システムは、画像送信装置と画像受信装置とを備え、前記画像送信装置は、画像データを取り込んで符号化し、１フレーム内の符号データを所定の単位で出力する符号化部と、前記符号化部から出力されるデータサイズを所定のサイズに一致させるためにパディングを付加するパディング処理部と、前記パディング処理部によるパディング付加の完了を受けてパケット化を行うパケット処理部と、前記パケット処理部によりパケット化されたデータをネットワーク送信するネットワーク送信部と、符号データやパケットデータを保持するメモリとを備え、前記画像受信装置は、前記画像送信装置からのパケットを受信するネットワーク受信部と、前記ネットワーク受信部により受信されたパケットを分離する分離処理部と、所定の単位で圧縮データを復号し、ストリームを出力する復号化処理部とを備えることを特徴とする。
【０００８】
また、上記動画像送受信システムにおいて、前記符号化部の所定の単位は、H.264のNALユニット単位，または，MPEG-4のリスタートマーカー単位(ビデオパケット単位)，または，MPEG-2のスライス単位であることを特徴とする。
【０００９】
上記動画像送受信システムによれば、１フレームより小さい単位でパケット化処理の所定の単位にあわせてパディングを付加することができる。
【００１０】
また、上記動画像送受信システムにおいて、前記パケット処理部によるパケット化はPESパケットおよびTSパケットの処理，または，ネットワークのパケット処理であることを特徴とする。
【００１１】
上記動画像送受信システムによれば、パケット処理時のスタッフィング処理を省くことができ１フレーム分の符号化データが生成前に復号化可能なパケットデータを送信することができる。
【００１２】
また、上記動画像送受信システムにおいて、前記画像受信装置は、受信したパケットを分離し復号化する際にパディングデータの削除処理を行わず、当該パディングデータが付加された状態で復合化することを特徴とする。
【００１３】
また、上記動画像送受信システムにおいて、前記復号化処理部の所定の単位は、H.264のNALユニット単位，または，MPEG-4のビデオパケット単位，または，MPEG-2のスライス単位であることを特徴とする。
【００１４】
上記動画像送受信システムによれば、復号化処理においてパディングの削除処理を省くことができ１フレーム分より小さい単位で復号化できることからデータの低遅延化が実現できる。
【発明の効果】
【００１５】
本発明による動画像送受信システムによれば、１フレームより細かい復号化可能な単位毎にパケット化処理を行い、パケット化前に復号化時に付加された状態で復号化可能な無効パディングデータを付加することにより、受信部側でスタッフィング削除処理を省くことが可能である。また、１フレームより細かい単位で復号化できることから、符号データを送信してからネットワークを介し受信したデータを復号するまでの低遅延を図ることができる。
【発明を実施するための最良の形態】
【００１６】
図１は、本発明の実施の形態に係る動画像送受信システムの構成を示すブロック図である。このシステムは、画像送信装置１０１と、画像受信装置２０１とを備えている。画像送信装置１０１は、メディア情報をネットワークを介して画像受信装置２０１に送信する。画像受信装置２０１は、画像送信装置１０１からネットワークを介して送られてくるメディア情報を受信する。
【００１７】
画像送信装置１０１は、ビデオ情報を取り込みNALユニット単位でH.264符号化し、符号化したデータサイズがパケット化を行う所定のサイズ単位に一致するように符号データにパディングデータを付加して出力する符号化処理部１０２と、符号化処理部１０２よりNALユニット単位で通知を受けパケット化を行うパケット処理部１０３と、パケット化されたデータをネットワーク送信するネットワーク送信部１０４と、符号データやパケットデータを保持する蓄積部(メモリ)１０５とを備える。
【００１８】
符号化処理部１０２は、ビデオ情報を取り込みNALユニット単位でH.264符号化して出力する符号化部１０６と、符号化されたデータサイズがパケット化を行う所定のサイズ単位に一致するように符号データにパディングデータを付加するパディング処理部１０７とを備える。
【００１９】
パケット化処理部１０３は、PESパケット化をおこなうPESパケット処理部１０８と、PESパケットをTSパケット化するTSパケット処理部１０９と、複数のTSパケットよりネットワーク送信パケット化を行うネットワークパケット処理部１１０とを備える。
【００２０】
画像受信装置２０１は、ネットワークを介して受信したネットワークパケットを出力するネットワーク受信部２０２と、ネットワークパケットの分離を行いTSパケットを分離するパケット分離部２０３と、分離されたNALユニット単位に復号化を行う復号化部２０４とを備える。
【００２１】
パケット分離部２０３は、ネットワークパケットの分離を行うネットワークパケット分離部２０５と、TSパケットの分離を行うTSパケット分離部２０６とを備える。
【００２２】
図２は、図１に示した画像送信装置１０１によるメディア情報の送信処理の流れを示すフローチャートである。以下、図２を参照しつつ説明する。
【００２３】
ステップＳ１０１において外部からビデオ情報が入力される。このビデオ情報は符号化処理部１０６においてNALユニット単位でH.264符号化される(Ｓ１０２)。１フレーム分の符号化が完了したか否かがステップＳ１０３で判定され、１フレーム分の符号化が完了していないときはステップＳ１０４へすすみ、完了しているときはステップＳ１０５へすすむ。ステップＳ１０４では、１つのNALユニット分の符号化が完了したか否かが判定され、完了しているときはステップＳ１０５にすすみ、完了していないときはステップＳ１０３にもどる。ステップＳ１０５ではパケットアライメントの要否が判断される。具体的には、符号化データ量がTSパケットサイズ単位に一致する場合はパケットアライメントは不要と判断されステップＳ１０７にすすみ、符号化データ量がTSパケットサイズ単位に一致しない場合はパケットアライメントが必要と判断されステップＳ１０６にすすむ。ステップＳ１０６では、パディング処理部１０７にてH.264の無効データである“００”をパディングデータとしてTSパケットサイズ単位に一致するよう付加する。
【００２４】
符号化処理部１０６からNAL単位分の符号化完了の通知をうけたとき、ステップＳ１０７においてPESパケット化の要否が判定される。フレームの先頭の場合はPESパケット化が必要と判定されステップＳ１０８にすすみ、PESパケット後またはフレームの先頭以外の場合はPESパケット化は不要と判定されステップＳ１０９にすすむ。ステップＳ１０８では、PESパケット処理部１０８においてPESパケット(ヘッダ)を付加する。ステップＳ１０９では、TSパケット処理部１０９でTSパケット化を行う。
【００２５】
TSパケット化処理が完了したか否かがステップＳ１１０で判定され、完了したときはステップＳ１１２にすすみ、完了していないときはステップＳ１１１にすすむ。ステップＳ１１１では、TSパケット化したデータ量がネットワークパケットのサイズ量以上あるか否かが判定され、ある場合はステップＳ１１２にすすみ、ない場合はステップＳ１１０にもどる。ステップＳ１１２では、ネットワークパケット処理部１１０でネットワークパケット化処理が行われ、このネットワークパケットデータはネットワーク送信部１０４によりネットワーク配信される(Ｓ１１３)。
【００２６】
図３は、図１に示した画像受信装置２０１によるメディア情報の受信処理の流れを示すフローチャートである。以下、図３を参照しつつ説明する。
【００２７】
画像送信装置１０１からネットワーク配信されたネットワークパケットデータをネットワーク受信部２０２で受信する(Ｓ２０１)。受信したネットワークパケットの分離をネットワーク分離部２０５で行う(Ｓ２０２)。ステップＳ２０３においてNALユニット分のネットワークパケットの分離が完了したか否かが判定され、完了した場合はステップＳ２０４にすすむ。ステップＳ２０４では、TSパケット分離部２０６でTSパケットの分離を行い符号データを取り出す。ステップＳ２０５において符号データがNALユニット単位以上あるか否かが判定され、ある場合はステップＳ２０６にすすむ。ステップＳ２０６では、符号データを復号化部２０４にて復号化し出力する。前記符号データは送信装置１０１で付加したパディングデータも含んだ状態である。
【００２８】
なお、上記実施形態のコーデックは、H.264のNALユニット単位に限らず、MPEG-4のビデオパケット単位やMPEG-2のスライス単位処理等でも行ってもよい。
【００２９】
また、上記実施形態のパケット化処理は、PESパケット化やTSパケット化を行わずESデータをネットワーク配信する場合にもネットワークパケット単位に処理してもよい。
【００３０】
また、上記実施形態の処理をCPUのみでソフト処理でも行ってもよい。
【００３１】
このように上記実施形態で示したメディア情報処理方法を上述したいずれの機器・システムに用いることは可能である。
【産業上の利用可能性】
【００３２】
以上のように、本発明にかかる動画像送受信システムは、低遅延で動画像符号データをネットワーク経由で配信できるという効果を有し、ネットワークカメラ等として有用である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態における動画像送受信システムの構成を示すブロック図である。
【図２】図１に示した画像送信装置１０１の送信処理フロー図である。
【図３】図１に示した画像受信装置２０１の受信処理フロー図である。
【符号の説明】
【００３４】
１０１  画像送信装置
１０２  符号化処理部
１０３  パケット処理部
１０４  ネットワーク送信部
１０５  蓄積部
１０６  符号化部
１０７  パディング処理部
１０８  PESパケット処理部
１０９  TSパケット処理部
１１０  ネットワークパケット処理部
２０１  画像受信装置
２０２  ネットワーク受信部
２０３  パケット分離部
２０４  復号化部
２０５  ネットワークパケット分離部
２０６  TSパケット分離部
２０７  蓄積部
【図１】
2009177447.tif 000003
【図２】
2009177447.tif 000004
【図３】
2009177447.tif 000005