(57)【要約】【課題】複数の符号化ストリームを表示する場合に、遅延や破綻が生じないようにする。【解決手段】表示中の４つの画像１，２，３，４については、それらに対応してストリーム受信部５で受信した４つの符号化ストリームＳ３１〜Ｓ３４の全てのＩ，Ｐフレームをストリームバッファ９１〜９４に蓄積する。また、当該４つの符号化ストリームＳ３１〜Ｓ３４の全てのＩ，Ｐフレームをストリームバッファ９１〜９４から読み出して復号し、表示する。一方、非表示中の５つの画像５，６，７，８，９については、それらに対応してストリーム受信部５で受信した５つの符号化ストリームＳ３５〜Ｓ３９のＩフレームのみをストリームバッファ９５〜９９に蓄積する。【選択図】図２
2009071365.tif 000002
【特許請求の範囲】
【請求項１】
イントラフレームとインターフレームとを含む複数の動画像符号化ストリームを入力して復号し、ディスプレイに表示する動画像復号装置であって、
前記複数の動画像符号化ストリームを入力する入力手段と、
前記入力手段によって入力された前記複数の動画像符号化ストリームを、復号のためにそれぞれ一時的に保持するバッファと、
前記入力手段によって入力された前記複数の動画像符号化ストリームについて、インターフレームを間引かずに一時的に前記バッファに保持させる動作と、インターフレームを一部または全部間引いて一時的に前記バッファに保持させる動作とのうち一方を、装置能力および表示モードに基づき選択して行う選択保持手段と、
前記選択保持部によって前記バッファに一時的に保持された前記複数の動画像符号化ストリームを、前記装置能力および前記表示モードに基づき復号する選択復号手段と、
前記選択復号手段によって復号された前記動画像符号化ストリームを前記表示モードに基づき変換して前記ディスプレイに表示する変換表示手段と
を有する動画像復号装置。
【請求項２】
前記選択復号手段は、前記装置能力および表示モードに基づいて、次に表示する切替先の動画像ストリームを復号する場合、前記バッファに一時的に保持されたイントラフレームから復号する、請求項１に記載の動画像復号装置。
【請求項３】
前記選択復号手段は、前記装置能力および表示モードに基づいて、次に表示する切替先の動画像ストリームを予めイントラフレームから復号しておく、請求項１に記載の動画像復号装置。
【請求項４】
イントラフレームとインターフレームとを含む複数の動画像符号化ストリームを入力して復号し、ディスプレイに表示する動画像復号方法であって、
前記複数の動画像符号化ストリームを入力する工程と、
入力された前記複数の動画像符号化ストリームについて、インターフレームを間引かずに一時的にバッファに保持させる動作と、インターフレームを一部または全部間引いて一時的に前記バッファに保持させる動作とのうち一方を、装置能力および表示モードに基づき選択して行う工程と、
前記バッファに一時的に保持された前記複数の動画像符号化ストリームを、前記装置能力および前記表示モードに基づき復号する工程と、
前記復号された前記動画像符号化ストリームを前記表示モードに基づき変換して前記ディスプレイに表示する工程と
を有する動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の動画像符号化ストリームを復号して表示する動画像復号装置およびその方法に関する。
【背景技術】
【０００２】
本発明の従来技術として、例えば、複数の場所に設置された複数のカメラからの映像信号を選択し、その映像信号をフレーム単位で圧縮符号化した符号化ストリームを受信して、マルチ画面で表示するものがある(例えば、特許文献１参照。)。
【０００３】
【特許文献１】特開平１１−１６４２８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来技術では、フレーム間予測符号化により符号化された複数の動画像符号化ストリームを受信して切替表示している際、切替先の動画像符号化ストリームがインターフレームのタイミングで切替えられた場合、次のイントラフレームが受信されるまで復号できないので、動画像の表示に遅延が生じる、という問題があった。
【０００５】
また、複数の動画像符号化ストリームを受信してマルチ画面表示する場合、符号化ストリームを記憶するバッファの記憶容量や、復号部の復号能力等を超えると、マルチ画面の各表示画像が破綻するおそれもある。
【０００６】
本発明はかかる事情に鑑みてなされたものであり、複数の符号化ストリームを表示する場合に、遅延や破綻が生じないようにした動画像復号装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の動画像復号装置は、イントラフレームとインターフレームとを含む複数の動画像符号化ストリームを入力して復号し、ディスプレイに表示する動画像復号装置であって、前記複数の動画像符号化ストリームを入力する入力手段と、前記入力手段によって入力された前記複数の動画像符号化ストリームを、復号のためにそれぞれ一時的に保持するバッファと、前記入力手段によって入力された前記複数の動画像符号化ストリームについて、インターフレームを間引かずに一時的に前記バッファに保持させる動作と、インターフレームを一部または全部間引いて一時的に前記バッファに保持させる動作とのうち一方を、装置能力および表示モードに基づき選択して行う選択保持手段と、前記選択保持部によって前記バッファに一時的に保持された前記複数の動画像符号化ストリームを、前記装置能力および前記表示モードに基づき復号する選択復号手段と、前記選択復号手段によって復号された前記動画像符号化ストリームを前記表示モードに基づき変換して前記ディスプレイに表示する変換表示手段とを有する。
【０００８】
また、本発明の動画像復号方法は、イントラフレームとインターフレームとを含む複数の動画像符号化ストリームを入力して復号し、ディスプレイに表示する動画像復号方法であって、前記複数の動画像符号化ストリームを入力する工程と、入力された前記複数の動画像符号化ストリームについて、インターフレームを間引かずに一時的にバッファに保持させる動作と、インターフレームを一部または全部間引いて一時的に前記バッファに保持させる動作とのうち一方を、装置能力および表示モードに基づき選択して行う工程と、前記バッファに一時的に保持された前記複数の動画像符号化ストリームを、前記装置能力および前記表示モードに基づき復号する工程と、前記復号された前記動画像符号化ストリームを前記表示モードに基づき変換して前記ディスプレイに表示する工程とを有する。
【発明の効果】
【０００９】
本発明によれば、装置能力および表示モードに基づき複数の動画像符号化ストリームを選択してインターフレームを間引かずに一時的にバッファに保持させるか、またはインターフレームを一部または全部間引いて一時的にバッファに保持させ復号し、表示モードに基づき表示するので、複数の符号化ストリームを表示モードに基づき表示する場合に、遅延や破綻を防止することができる。
【発明を実施するための最良の形態】
【００１０】
＜第１実施形態＞
以下、本発明の第１実施形態に係る画像復号表示装置について説明する。
図１は、本発明の第１〜４実施形態に係る画像復号表示装置１が用いられる監視システムの構成図である。
図１に示すように、本実施形態の監視システムは、ネットワーク４を介して、複数（ここでは、便宜上９台とするが、９台以外でも勿論よい。）のカメラ３１〜３９と、画像復号表示装置１とが接続されている。
【００１１】
図２は、第１実施形態の画像復号表示装置１の機能ブロック図である。
図２に示すように、この画像復号表示装置１は、例えば、ストリーム受信部５、ストリーム選択蓄積部７、ストリームバッファ９１〜９９、選択復号部１１、表示バッファ１３１〜１３９、画像変換表示部１５および制御部１９を有する。なお、図２では、ストリームバッファ９１〜９９および表示バッファ１３１〜１３９は、符号化ストリームに応じて独立して設けて説明しているが、これに限らず、一のストリームバッファと表示バッファでも勿論良。また、ストリームバッファ９１〜９９および表示バッファ１３１〜１３９の最大バッファ容量は予め決まっている。
【００１２】
次にフローチャートを参照して本実施形態の動作を説明する。
図１に示すように、当該監視システムでは、カメラ３１〜３９が、それぞれ撮像結果を符号化して符号化ストリームＳ３１〜Ｓ３９としてネットワーク４を介し画像復号表示装置１に送信する。符号化方式としては、例えば、ＭＰＥＧ４が用いられ、符号化ストリームＳ３１〜Ｓ３９は、Ｉ(Intra)フレームおよびＰ(Predictive)フレームで構成される。ここで、Ｉフレームは、フレーム内予測のみを行って符号化されたフレームであり、当該フレームの情報のみで画像を復号できる。一方、Ｐフレームは、フレーム間予測を行って符号化されたフレームであり、時間的に過去に位置するＩ，Ｐフレームの復号結果を用いて復号される。すなわち、Ｐフレームの復号には、参照先のＩ，Ｐフレームの復号結果が必要である。なお、符号化方式として、ＭＰＥＧ２やＨ．２６４／ＡＶＣ等、その他の符号化方式でも勿論よい、動画像の符号化ストリーム以外のＪＰＥＧ等で符号化された静止画像データが含まれていても良い。
【００１３】
画像復号表示装置１では、図２に示すように、まず、ストリーム受信部５が符号化ストリームＳ３１〜Ｓ３９を受信して、ストリーム選択蓄積部７に出力する。
【００１４】
ストリーム選択蓄積部７は、本装置の装置能力および表示モードに応じた制御部１９からの制御信号に基づいて、動画像符号化ストリームＳ３１〜Ｓ３９を選択して、インターフレームを間引かずに一時的にストリームバッファ９１〜９９に保持させるか、またはインターフレームを一部または全部間引いて一時的にストリームバッファ９１〜９９に保持させる。
【００１５】
ここで、本装置の装置能力とは、選択復号部１１の復号能力は勿論のこと、ストリームバッファ９１〜９９の容量や、表示バッファ１３１〜１３９の容量等も含む、画像復号装置１全体の装置能力のことをいう。つまり、選択復号部１１の復号能力も、ストリームバッファ９１〜９９や表示バッファ１３１〜１３９の容量も有限で限界があるので、それらの限界値ないしはある程度許容値を見込んだ装置能力を越えないよう制御部１９が制御する。なお、これらを動的に制御する場合には、選択復号部１１やストリーム選択蓄積部７あるいはストリームバッファ９１〜９９、表示バッファ１３１〜１３９等から制御部１９に装置能力算定の基準となる復号の負荷状態やバッファ残量が出力され、制御部１９がそれらに基づいて動的に制御信号を出力する必要がある。また、表示モードとは、ディスプレイ２に複数の動画像符号化ストリームＳ３１〜Ｓ３９を選択して表示する際のマルチ画像の画面数や、大きさ、解像度等のことをいう。なお、表示モードの切替えは、ユーザによる操作部２１からの制御部１９への画像切替指示に基づいても良いし、あるいは制御部１９が巡回モードプログラム等に基づいて定期的等の自動的に切替えるようにしてもよい。
【００１６】
図３（Ａ）〜（Ｄ）は、第１実施形態における画面の切替例を説明するための図である。
図３は、選択復号部１１が動画像符号化ストリーム４つ分の復号能力を持ち、かつ、図３（Ａ）に示すように４画面表示モードの場合の動作例である。つまり、この場合、選択復号部１１は４つの符号化ストリームＳ３１〜Ｓ３４の復号処理で最大の負荷になり、他の動画像符号化ストリームＳ３５〜Ｓ３９の復号はできない。
【００１７】
そのため、ストリーム選択蓄積部７は、動画像符号化ストリームＳ３１〜Ｓ３４については、図３（Ａ）に示すように、装置能力および表示モードに応じた制御部１９からの制御信号に基づいて、画像切替指示が入力する７フレーム後のそれぞれ画像１〜４を表示する間は、Ｉ，Ｐ全てのフレームをストリームバッファ９１〜９４に蓄積する一方、画像５〜８の表示に切替られた８フレーム以降は、Ｐフレームを間引いて最新のＩフレーム一つのみ更新して一時的に蓄積するようにする。
【００１８】
すると、選択復号部１１は、装置能力および表示モードに応じた制御部１９からの制御信号に基づいて、それぞれ画像１〜４として表示する間は、ストリームバッファ９１〜９４各々からＩ、Ｐフレームを読み出し復号して、復号したフレームをそれぞれ表示バッファ１３１〜１３４に記憶一方、画像５〜８の表示に切替られた場合は、復号を行わない。
【００１９】
これにより、画像変換表示部１５も、表示モードに応じた制御部１９からの制御信号に基づいて、画像切替指示が入力する前の７フレーム目までは、画像１〜４を表示する。
【００２０】
これに対し、ストリーム選択蓄積部７は、動画像符号化ストリームＳ３５〜Ｓ３８について、図３（Ｃ）に示すように、装置能力および表示モードに応じた制御部１９からの制御信号に基づいて、画像１〜４を表示している間はそれぞれＰフレームを間引いてＩフレームのみをストリームバッファ９５〜９８に蓄積する一方、画像５〜８の表示に切替られた８フレーム目以降は、最初に受信するＩフレームからＩ，Ｐフレームをストリームバッファ９５〜９９に記憶する。つまり、図３に示す場合あれば、１０フレーム目までは、５フレーム目にＩフレームを記憶する場合を除き、受信したＰフレームを全て破棄し、１０フレーム目から受信したＩ，Ｐ全てのフレームを記憶する。
【００２１】
そして、選択復号部１１は、図３（Ｂ）に示すように、画像切替指示のあった８フレーム目と、その次の９フレーム目は、装置能力および表示モードに応じた制御部１９からの制御信号に基づいて、５フレーム目に記憶しておいた同一のＩフレームを復号して表示バッファ１３５〜１３９に記憶し、１０フレーム目以降は記憶しておいたＩ，Ｐ全てのフレームを順次復号して表示バッファ１３５〜１３９に書き込む。
【００２２】
これにより、画像変換表示部１５は、表示モードに応じた制御部１９からの制御信号に基づいて、画像切替指示のあった８フレーム目と次の９フレーム目は、５フレーム目に記憶しておいた同一のＩフレームを復号した画像５〜８をディスプレイ２に表示する一方、１０フレーム目以降は表示バッファ１３５〜１３８に記憶されたＩフレームから順にＩ，Ｐフレームをディスプレイ２に表示する。
【００２３】
なお、図３（Ｃ）に示すように、画像９は表示されないので、画像９に対応する動画像ストリームＳ３９は、Ｐフレームが間引かれて最新の一枚のＩフレームのみがストリームバッファ９９に上書きで記憶され、復号もその後の表示もされない。
【００２４】
このように、第１実施形態の画像復号表示装置１では、受信した複数の動画像符号化ストリームＳ３１〜Ｓ３８を装置能力および表示モードに基づき選択して、インターフレームを間引かずに一時的にストリームバッファ９５〜９８に保持させるか、またはインターフレームを全部間引いて一時的に保持させ、ストリームバッファ９５〜９８に一時的に保持された複数の動画像符号化ストリームＳ３１〜Ｓ３８を装置能力および表示モードに基づき復号し、表示モードに基づき変換してディスプレイ２に表示するので、マルチ画像表示を行う場合でも、各画像を遅延や破綻させずに表示することができる。
【００２５】
また、表示していない動画像符号化ストリームの場合でも、最新のＩフレームのみはストリームバッファに記憶されているので、画像切替指示が発生しても、遅延なく当該Ｉフレームを選択復号部１１で復号して、それに応じた画像をディスプレイ２に表示できるので、従来のように切替先の符号化ストリームのＩフレームがストリームバッファに書き込まれるまで待つ必要が無くなり、画像の切替に伴う遅延時間を短縮できる。
【００２６】
なお、上記実施形態では、上記画像切替指示後に、符号化ストリームＳ３５〜Ｓ３８については、次のＩフレーム以降、全てのフレームをストリームバッファ９５〜９８に書き込んだが、上記画像切替指示直後から、全てのフレームをストリームバッファ９５〜９８に記憶し、既に記憶されているＩフレームの復号結果を用いて、Ｐフレームを復号および表示するようにしてもよい。
【００２７】
また、本実施形態では、４画像を新たな４画像に切り換えて表示する場合について例示して説明したが、本発明では、これに限定されるものではなく、４画像を１つの画像に切り換えたり、９画像に切り換えたり、さらには、４画像表示でも各画像の大きさを変える等、本装置の装置能力および表示モードに基づく限り任意である。
【００２８】
また、本実施形態では、非表示中の動画像ストリームについては、最新の１つのＩフレームのみをストリームバッファに記憶する場合を例示したが、本発明では、復号能力に余裕があれば、最新の複数のＩフレームをストリームバッファに蓄積するようにしても勿論よく、さらには画像切替指示が発生する前に予めそれら非表示中の動画像ストリームを復号して表示バッファに蓄積するようにしてもよい。この場合における画像切替指示が発生した場合の表示は、当該画像切替指示が発生してから次の切替先画像のＩフレームが入力するまでの期間に応じて、ストリームバッファに蓄積しておいた複数のＩフレームのうち古いＩフレームから順に復号して表示、あるいは既に復号され表示バッファに蓄積されていればそれを読み出して表示することになる。
【００２９】
＜第２実施形態＞
上記第１実施形態では、図３に示すように非表示の画像については最新のＩフレームのみを一時的に保持しておき、画像切替指示後は、次の最新のＩフレームが受信されるまでその一次的に保持しておいたＩフレームを復号して表示するように説明したが、この第２実施形態では、装置能力および表示モードに基づき復号能力やバッファ容量等の装置能力に余裕がある場合に、非表示の符号化ストリームについてもＩ，Ｐフレームを一定量だけ一次的に保持し復号するようにしたものである。なお、装置の構成は、図１に示す第１実施形態と変わらないので、それを参照して説明する。
【００３０】
図４は、第２実施形態における表示画面の切替例を説明するための図であり、１画像を新たな１画像に順次切替えてディスプレイ２に表示する場合を示している。
【００３１】
ここで、第２実施形態の画像復号表示装置１では、例えば巡回モード等の表示モードを採用しており、次に切替表示される画像を特定可能であるとする。つまり、この画像復号表示装置１の制御部１９では、図４（Ａ）に示すように、例えば７フレーム後と１４フレーム後に制御部１９から画像切替指示を出力するように、画像１→２→３の順に一定の間隔で画像を切替えるタイミングが事前に分かっており、選択復号部１１の復号能力に非表示の動画像ストリームを復号する余裕があると判断した場合、次に表示する画像についてもその切替が起こる前に、本装置の装置能力に基づいて、つまり選択復号部１１の復号能力や、ストリームバッファ９１〜９９全体の容量等を超えないように所定量のＩ、Ｐフレームの蓄積と復号を行う。
【００３２】
これにより、第２実施形態では、１画面表示等の場合のように、選択復号部１１の処理に余裕がある場合、非表示中の画像についても、画像切替タイミングから所定数前のフレームを予め復号を行うことにより、画像切替タイミング後、即時に切替先の画像を表示可能にする。
【００３３】
つまり、符号化ストリームＳ３１の場合、７フレーム後の画像切替指示の入力までは画像１として表示されるので、図４（Ｂ）に示すように、Ｐフレームを間引かずにＩ、Ｐフレームをストリームバッファ９１に記憶し、選択復号部１１がそのＩ、Ｐフレームを順次読出して復号し、画像変換表示部１５がその復号データに基づき画像１をディスプレイ２に表示する。そして、７フレーム後の画像切替指示の入力後は、Ｉフレームのみを保持する。なお、Ｉフレームを保持するのは、イベント的にユーザからの突然の画像切替指示が入る場合があるからであり、このような突然の画像切替指示が入力した場合には、次のＩフレームが入力するまで、記憶しておいた最新のＩフレームを復号して再生できるからである。
【００３４】
また、符号化ストリームＳ３２の場合、７フレーム後の画像切替指示入力から１４フレーム後の画像切替指示入力までは画像２として表示されるので、図４（Ｃ）に示すように、７フレーム後の画像切替指示の入力により画像２の表示に切り替わると制御部１９は認識しているので、８フレーム目のＰフレームから正しく復号して再生できるように、符号化ストリームＳ３１の復号再生中にかからず、５フレーム目のＩフレームから記憶および復号をする。これにより、８フレーム目のＰフレームから正しく復号して再生することができる。なお、１４フレーム後の画像切替指示入力以降は、画像２の表示は終了するので、画像１と同様に最新のＩフレームのみを記憶するようにする。
【００３５】
また、符号化ストリームＳ３３の場合、１４フレーム後の画像切替指示入力以降に画像３として表示され、１５フレーム目はＩフレームであるので、図４（Ｄ）に示すように、１４フレーム目のＩフレームまでは、最新のＩフレームのみを記憶しておき、１５フレーム目のＰフレームから正しく復号して再生できるように、１４フレーム目のＩフレームから復号する。これにより、１５フレーム目のＰフレームから正しく復号して再生することができる。なお、例えば、１４フレーム目がＩフレームではなく、１２フレーム目がＩフレームである場合には、図４（Ｂ）に示す場合と同様に、符号化ストリームＳ３２の復号再生中にかからず、１２フレーム目のＩフレームから記憶および復号をする。
【００３６】
このように、第２実施形態の画像復号表示装置１では、画像切替指示が発生するタイミングが事前に分かっているため、画像切替指示発生時に切替え先符号化ストリームにてＰフレームを受信している場合でも、事前にそのＰフレームの復号に必要な切替え先符号化ストリームのＩフレームから蓄積および復号しておくので、画像切替指示が発生した直後がＰフレームでも遅延なしに正しく復号再生して画像をディスプレイ２に表示できる。
【００３７】
なお、この第２実施形態では、１画面表示の切替えの場合に説明したが、これは例示であり、２画面表示の切替、４画面表示の切替でも、さらには、１画面表示から２画面表示への異なる画面数の切替え等、選択復号部１１の復号能力に余裕があれば、表示モードに基づいてその復号能力を超えない範囲で第２実施形態は適用可能である。
【００３８】
＜第３実施形態＞
第３実施形態の画像復号装置は、表示モードに基づいて本装置の復号能力以上の数の画像を同時に表示する場合に、本装置の装置能力、つまり選択復号部１１の復号能力や、ストリームバッファ９１〜９９や表示バッファ１３１〜１３９全体の記憶容量、等を超えないように、一部の画像についてはＩ、Ｐフレーム双方を復号して表示する一方、他の画像についてはＩフレームのみを復号して表示するように制御するものである。なお、本実施形態は、上記第１実施形態で一例として説明した４画像表示の状態、または上記第２実施形態で説明した１画像表示からの切り換えられた場合にも、適用される。
【００３９】
図５は、第３実施形態における表示画面を説明するための図である。
ここでは、一例として、復号能力として４つまでの符号化ストリームの復号能力を有するが、９つの符号化ストリームＳ３１〜Ｓ３９を受信して、図５（Ａ）に示すように、９画像を同時に表示する。
【００４０】
つまり、第３実施形態の画像復号装置は、フレームレートを３０フレーム／秒とすると、本装置の復号能力は１秒間に復号可能なフレーム数は１２０である。前述の通り、Ｉフレーム以外のＰフレームは復号順通り全て復号しないと次のＰフレームが復号できないので、例えば、３画像はフルフレーム（３０×３＝９０フレーム／秒）で復号するものとすると、残り６画像はＩフレームのみ（１×６＝６フレーム／秒）復号することができる。
【００４１】
そこで、図５（Ｂ）に示すように、ストリーム選択蓄積部７は、制御部１９からの装置能力および表示モードに応じた制御信号に基づいて、符号化ストリームＳ３１〜Ｓ３３についてはＩ，Ｐフレーム全てをストリームバッファ９１〜９３に書き込む一方、残りの符号化ストリームＳ３４〜Ｓ３９については、図５（Ｃ）に示すように、Ｉフレームのみをストリームバッファ９４〜９９に書き込む。各フレームが、ＩかＰかはストリームのヘッダ部で判定することができる。
【００４２】
これにより、選択復号部１１は、制御部１９からの装置能力および表示モードに応じた制御信号に基づいて、ストリームバッファ９１〜９９に保持された符号化ストリームＳ３１〜Ｓ３９を復号して表示バッファ１３１〜１３９に出力し、画像変換表示部１５は制御部１９からの表示モードの指示に基づきディスプレイ２に図５（Ａ）に示すように画像１〜９の９画面表示を行う。
【００４３】
このように、第３実施形態の画像復号装置では、表示モードに基づいて本装置の復号能力以上の数の画像を同時に表示する場合には、本装置の復号能力を超えないように、一部の画像についてはＩ、Ｐフレーム双方を復号して表示する一方、他の画像についてはＩフレームのみを復号して表示するように制御するので、マルチ画像表示を行う場合でも、各画像を破綻させずに表示することができる。
【００４４】
＜第４実施形態＞
上記実施形態では、Ｉ，Ｐフレームからなる一方向予測の符号化ストリームにより説明したが、第４実施形態では、Ｂフレームを含む双方向予測の符号化ストリームを復号する場合について説明する。
【００４５】
そのため、第４実施形態の選択復号部１１では、制御部１９からの装置能力および表示モードに応じた制御信号に基づいて、選択復号部１１の復号性能を超えそうになると、Ｂフレームは復号せずに、マルチ画面の表示を行うようにする。なお、ストリームバッファ９１〜９９の最大記憶容量を超えない限りは、Ｂフレームはストリームバッファ９１〜９９に蓄積しても、蓄積しなくもどちらでも良い。
【００４６】
図６は、図２に示す画像復号表示装置１において、Ｉ，Ｐ，Ｂフレームで構成される符号化ストリームＳ３１〜Ｓ３９を受信した場合に、９画像を同時表示する場合の処理を説明するための図である。
【００４７】
ストリーム選択蓄積部７は、制御部１９からの装置能力および表示モードに応じた制御信号に基づいて、ストリーム受信部５が受信した符号化ストリームＳ３１〜３９のフレームのうち、全てのＩ，Ｐフレームをストリームバッファ９１〜９９に書き込む一方、Ｂフレームはストリームバッファ９１〜９９に書き込まない。なお、これでも、そこまでの装置能力、すなわちトリームバッファ９１〜９９のバッファ容量や選択復号部１１の復号能力等がない場合、優先度の低い符号化ストリームからＰフレームを蓄積、復号せず、破棄する一方、復号能力に余裕があれば、Ｂフレームを蓄積、復号する符号化ストリームがあっても勿論良い。
【００４８】
すると、選択復号部１１が制御部１９からの装置能力および表示モードに応じた制御信号に基づいてストリームバッファ９１〜９９から符号化ストリームＳ３１〜Ｓ３９のＩ，Ｐフレームを読み出して復号し、その復号結果を表示バッファ１３１〜１３９に記憶し、画像変換表示部１５が制御部１９からの表示モードに基づいて表示バッファ１３１〜１３９からＩ，Ｐフレームを読み出し画像１〜９としてディスプレイ２に表示する。
【００４９】
このとき、画像変換表示部１５は、Ｂフレームの表示タイミングでは、Ｂフレームが蓄積されていないので、それ以前のＩ，Ｐフレームの画像を復号して表示する。
【００５０】
このように、第４実施形態では、Ｂフレームを含む双方向予測の符号化ストリームを復号して表示する場合でも、制御部１９からの装置能力および表示モードに応じた制御信号に基づいて、かかる符号化ストリームを蓄積、復号、表示することにより、マルチ画像表示を行う場合でも、各画像を破綻させずに表示することができる。
【００５１】
なお、この第４実施形態でも、上記第１〜３実施形態と同様に、マルチ画面の切替を行っても良く、その際には、制御部１９からの装置能力および表示モードに応じた制御信号に基づいてその符号化ストリーム中のＰ、Ｂフレームを適宜破棄し、Ｉピクチャのみは蓄積するようにする。
【００５２】
また、本発明は、上記実施形態には限定されない。すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上記実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【００５３】
また、上記実施形態では、本発明を監視システムに適用した場合を例示したが、複数の番組の画像ストリームを配信するデジタル放送において受信装置でチャンネルを切替る場合にも同様に適用可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１実施形態に係る画像復号表示装置が適用される監視システムの構成例を示す図である。
【図２】第１実施形態の画像復号表示装置の構成例を示すブロック図である。
【図３】第１実施形態の動作例を説明するための図である。
【図４】第２実施形態の動作例を説明するための図である。
【図５】第３実施形態の動作例を説明するための図である。
【図６】第４実施形態の動作例を説明するための図である。
【符号の説明】
【００５５】
１…画像復号表示装置
２…ディスプレイ
３１〜３９…カメラ
４…ネットワーク
５…ストリーム受信部
７…ストリーム選択蓄積部
９１〜９９…ストリームバッファ
１１…選択復号部
１３１〜１３９…表示バッファ
１５…画像変換表示部
【図１】
2009071365.tif 000003
【図２】
2009071365.tif 000004
【図３】
2009071365.tif 000005
【図４】
2009071365.tif 000006
【図５】
2009071365.tif 000007
【図６】
2009071365.tif 000008