(57)【要約】【課題】複数のストリームをストリーム毎のフレームレート差によらず各ストリーム間の同期をとって表示する。【解決手段】出力画像選択部１７において、表示部１５のＳＴＣとフレームのＰＴＳとを比較して、ＳＴＣがＰＴＳを過ぎたものの中で最もＳＴＣに近いフレームが格納されたメモリ領域を抽出先として選択できるように、フレームが格納されたメモリ内の領域に、現時点で選択すべきフレームか否かを示す選択情報を記述する。表示部１５は、選択情報に基づいてメモリ１４からフレームを抽出して合成し、デコーダ１３は、選択情報によってメモリの領域を解放してよいか保持すべきかを判別する。【選択図】  図１
2004221900.tif 000002
【特許請求の範囲】
【請求項１】
符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像情報復号装置において、
上記複数の画像圧縮情報を分割する分割手段と、
上記分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号手段と、
上記画像データと上記出力時刻情報とを記憶する記憶手段と、
基準時刻情報を生成する基準時刻情報生成手段と、
上記基準時刻情報と上記出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報を有する画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を上記記憶手段に記述する出力画像選択手段と、
上記記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして上記基準時刻に同期して表示する表示手段と
を備えることを特徴とする画像情報復号装置。
【請求項２】
上記表示手段は、単位時間当たりの表示画像フレーム数が可変であり、
上記基準時刻情報生成手段は、上記表示画像フレーム数を示す信号を受け取り、これに応じて上記基準時刻情報を変更することを特徴とする請求項１記載の画像情報復号装置。
【請求項３】
上記画像圧縮情報は、ＭＰＥＧ４方式に準拠していることを特徴とする請求項１記載の画像情報復号装置。
【請求項４】
上記出力時刻情報は、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）であることを特徴とする請求項３記載の画像情報復号装置。
【請求項５】
上記出力時刻情報は、単位時間当たりに受信される画像圧縮情報のフレーム数の逆数として上記復号手段において算出される値であることを特徴とする請求項１記載の画像情報復号装置。
【請求項６】
符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像情報復号方法において、
上記複数の画像圧縮情報を分割する分割工程と、
上記分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号工程と、
上記画像データと上記出力時刻情報とを記憶手段に記憶する記憶工程と、
基準時刻情報を生成する基準時刻情報生成工程と、
上記基準時刻情報と上記出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報を有する画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を上記記憶手段に記述する出力画像選択工程と、
上記記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして上記基準時刻に同期して表示手段に表示する表示工程と
を有することを特徴とする画像情報復号方法。
【請求項７】
上記表示工程では、表示手段に対して表示できる単位時間当たりの表示画像フレーム数が可変であり、
上記基準時刻情報生成工程では、上記表示画像フレーム数を示す信号を受け取り、これに応じて上記基準時刻情報を変更することを特徴とする請求項６記載の画像情報復号方法。
【請求項８】
上記画像圧縮情報は、ＭＰＥＧ４方式に準拠していることを特徴とする請求項６記載の画像情報復号方法。
【請求項９】
上記出力時刻情報は、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）であることを特徴とする請求項８記載の画像情報復号方法。
【請求項１０】
上記出力時刻情報は、単位時間当たりの受信フレーム数の逆数として上記復号工程にて算出される値であることを特徴とする請求項６記載の画像情報復号方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像情報復号装置及び画像情報復号方法に関し、特に、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように伝送路を介して送信側から受信側に動画像データを伝送し、受信された動画像データを受信側で実時間再生（ストリーミング）する場合に用いて好適な画像情報復号装置及び画像情報復号方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタルデータとして取り扱う際に、画像情報特有の冗長性を利用して、効率の高い情報の伝送及び蓄積を実現した画像情報変換方法及び装置が放送局と一般家庭との間の情報配信等において普及しつつある。
【０００３】
このような画像情報変換装置は、例えば、離散コサイン変換等の直交変換と動き補償により画像データを圧縮する方式に則っている。特に、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ：動画像符号化専門家会合）によって標準化されている画像符号化方式は、汎用画像符号化方式としてＩＳＯ／ＩＥＣ  １３８１８に定義されており、プロフェッショナル用途からコンシューマ用途まで、広範なアプリケーションに今後とも用いられるものと予想される。
【０００４】
このＭＰＥＧ方式のように、動き補償及び離散コサイン変換によって画像データを圧縮する画像情報変換装置では、画像データにおける符号化単位としての各マクロブロックにおいて、画像内符号化画像（以下、イントラ符号化画像と記す。）を用いるか、画像間符号化画像（以下、インター符号化画像と記す。）を用いるかの判定、参照画像フレームとして、前方予測符号化画像を用いるか、後方予測符号化画像を用いるか、双方向予測符号化画像を用いるかの判定等を行っている。
【０００５】
最近では、特に、インターネット等のネットワーク間データ伝送の普及と、マルチメディアデータを扱うことのできる携帯型端末の普及とともに、これらに対応した総合マルチメディア符号化方式が、ＭＰＥＧ４規格としてＩＳＯ／ＩＥＣ１４４９６に定義されている。ＭＰＥＧ４規格では、ＭＰＥＧ１，ＭＰＥＧ２およびＩＴＵ−Ｔ  Ｈ．２６３等に使用されるツールを基本とするものの、伝送すべき三次元空間情報を、空間内に位置するヒトや建物などのオブジェクト毎に個別符号化することにより符号化効率を高めるとともに、各オブジェクトの加工編集を可能にしている。
【０００６】
このＭＰＥＧ４規格では、各予測符号化で得られた各ピクチャを、動画像データとしてディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等の伝送路や、いわゆるインターネット等のネットワークを介して伝送して、送信先にて実時間再生する（以下、ストリーミングと記す。）ことを想定している。
【０００７】
このとき受信側では、伝送された符号化ビットストリームを受信した際に、誤り訂正処理、復号処理等を施しているが、伝送路のトラフィック等によっては、パケット喪失やデータエラー、フレームレートの変動は避けられない。特に、複数の画像データであるマルチストリームがある場合には、ネットワークの輻輳状況や各通信機器の能力差等によってフレームレートが変動する場合もある。また、機器によってフレームレートが異なる場合もある。
【０００８】
複数のマルチメディアデータを受け取ることができる復号装置では、図５に示すように、フレームレートが異なるマルチメディアデータを１つの画像データとして表示する場合、表示装置のフレームレートに合わせて画像データのフレームを選択することによってストリーム毎又は機器毎に異なるフレームレートを吸収して１つの表示装置にて同期して表示できるようにしている。
【０００９】
例えば、時刻Ｔ０とＴ１には、Ａ０、Ｂ０、Ｃ０を表示し、時刻Ｔ２には、Ａ１、Ｂ０、Ｃ０を表示し、時刻Ｔ３には、Ａ１、Ｂ１、Ｃ１を表示し、時刻Ｔ４及びＴ５には、Ａ２、Ｂ１、Ｃ１を表示して各ストリームや表示装置の表示可能フレームに合わせて複数のマルチメディアデータを同期表示している。
【００１０】
また、このほかにも、ひとつの表示装置で複数のストリーム間の同期をとって再生するための技術としては、複数送られるストリームのなかで主ストリームを決め、主ストリームの基準時刻情報に合わせて他のストリームのデコードや再生を行って、基準周波数の違いによって生じる同期再生時の不具合を解消する技術もある（例えば、特許文献１参照。）。
【００１１】
【特許文献１】
特開２００１−１９７０４８
【００１２】
【発明が解決しようとする課題】
ところが、このような複数ストリームの同期再生方法では、送られるストリームの本数が増加すればするほど表示すべき画像の選択パターンが増え、互いにフレームレートの異なるストリームを同期して表示するための処理が複雑化する。また、ネットワークの輻輳時などにフレームレートを低下させて一枚のフレームの画質を向上するような技術も提案されているが、この場合、フレームレートが頻繁に変動するため、同期再生・同期表示のための制御が困難であった。このように、従来の複数ストリームの同期再生方法では、以上のようなフレームレートの変化に対応するために、ネットワークの輻輳状態等を監視して即座に対応する処理を実行しなくては、複数ストリーム間の同期をとることが困難であった。
【００１３】
特に、オブジェクト符号化方式であるＭＰＥＧ４方式等において、例えば画像データをオブジェクト毎に分けて異なるストリームとしてリアルタイム受信リアルタイム再生（ストリーミング）するような場合を想定すると、上述したような表示フレームの選択制御では、ネットワークの状態等によって異なるフレームレートで送信される複数のストリーム間の表示の同期をとる処理が複雑で、表示画像の同期ずれを吸収できない場合が生じる。
【００１４】
更に近年では、ＣＲＴディスプレイ、液晶ディスプレイのように表示装置の種類も多様化しており、表示装置毎に表示フレームレートも異なっている。これに加えて表示装置の低消費電力化の手法として表示速度を低下させる等の技術もあり、送信されるストリーム間の同期をとるだけでなく表示装置自体の表示フレームレートの変動と表示すべきストリームとの同期をとる必要がある。
【００１５】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、複数のストリームを復号し画像を合成して表示する場合、ストリーム毎のフレームレート差に依存することなく各ストリーム間の同期をとって表示することができる画像信号復号装置及び画像信号復号方法に関する。
【００１６】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報復号装置は、符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像信号出力装置において、複数の画像圧縮情報を分割する分割手段と、分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号手段と、画像データと出力時刻情報とを記憶する記憶手段と、基準時刻情報を生成する基準時刻情報生成手段と、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報を有する画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述する出力画像選択手段と、記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして基準時刻に同期して表示する表示手段とを備えることを特徴とする。
【００１７】
ここで、表示手段は、単位時間当たりの表示画像フレーム数が可変であり、基準時刻情報生成手段は、表示画像フレーム数を示す信号を受け取り、これに応じて基準時刻情報を変更できる。
【００１８】
また、画像圧縮情報は、ＭＰＥＧ４方式に準拠していることが好ましく、出力時刻情報としては、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を用いる。画像圧縮情報にＰＴＳが含まれない場合は、この出力時刻情報を単位時間当たりの受信フレーム数の逆数として復号手段において算出すればよい。
【００１９】
また、本発明に係る画像情報復号方法は、符号化された複数の画像圧縮情報を受け取って一画像データとして出力する画像信号出力方法において、複数の画像圧縮情報を分割する分割工程と、分割された各々の画像圧縮情報を復号するとともに、復号して得た画像データを出力するべき時刻を示した出力時刻情報を抽出する復号工程と、画像データと出力時刻情報とを記憶手段に記憶する記憶工程と、基準時刻情報を生成する基準時刻情報生成工程と、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報が出力時刻情報を過ぎたものの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述する出力画像選択工程と、記憶手段に記述された選択情報にしたがって画像データを抽出し１つの画像データとして基準時刻に同期して表示手段に表示する表示工程とを有することを特徴とする。
【００２０】
ここで、表示工程では、表示手段に対して表示できる単位時間当たりの表示画像フレーム数が可変であり、基準時刻情報生成工程にて、表示画像フレーム数を示す信号を受け取り、これに応じて基準時刻情報が変更される。
【００２１】
また、画像圧縮情報は、ＭＰＥＧ４方式に準拠していることが好ましく、出力時間情報としては、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を用いる。画像圧縮情報にＰＴＳが含まれない場合は、この出力時刻情報を単位時間当たりの受信フレーム数の逆数として復号工程にて算出すればよい。
【００２２】
【発明の実施の形態】
本発明は、フレーム間相関を利用して画像データを圧縮して画像圧縮情報を得る画像情報復号装置であって、動画像データを再生してディスプレイ等に表示したり、テレビ会議システム、テレビ電話システム、放送用機器、マルチメディアデータベース検索システム等のように、いわゆるインターネット等の伝送路を介して送信側から受信側に複数の動画像データを伝送し受信側でこの複数の動画像データを実時間再生（ストリーミング）するときに、簡易な処理にて、異なるフレームレートで送られた画像データ間の同期をとって１つのモニタ（表示部）で同時に出力できるようにした装置である。
【００２３】
以下、本発明の具体例について、図面を参照して詳細に説明する。図１に示す画像情報復号装置は、外部の画像信号処理装置によって符号化され、ＰＥＳ
（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）化されて送られた画像データ（画像圧縮情報）を復号する装置であって、本具体例は、特に、ＭＰＥＧ４規格に対応したデコーダに適用した例である。本具体例では、外部から送られるシステムストリーム（Ｓｙｓｔｅｍ  Ｓｔｒｅａｍ）には、フレームレートが異なるストリーミングデータＡ，ストリーミングデータＢ，ストリーミングデータＣの３つのデータが含まれているものとして説明するが、実際にはストリームの個数は限定されない。
【００２４】
画像情報復号装置１は、外部よりストリーミングデータを受け取って復号する為の構成として、ストリーミングデータを受信する受信部１１と、受信した複数のストリーミングデータを分割するストリーム分割部１２と、分割されたストリーミングデータを復号するデコーダ１３ａ，１３ｂ，１３ｃと、復号して得られた画像データを出力する前にフレーム毎に一時格納するメモリ１４ａ，１４ｂ，１４ｃとを備えている。また、復号した画像データを出力する為の構成として、表示部１５と、表示部における表示フレームレートを定める基準となる時刻情報を生成する基準時刻情報生成部１６と、メモリ１４に格納されたフレームの出力タイミングを指定する出力画像選択部１７とを備えている。
【００２５】
受信部１１は、いわゆるインターネットのような外部ネットワークから送られるＰＥＳ化されたストリーミングデータを受信し、ストリーム分割部１２へ供給する。ストリーム分割部１２では、ストリーミングデータを分割し、それぞれ対応したデコーダ１３へ供給する。例えば、ストリーミングデータＡであればデコーダ１３ａへ、ストリーミングデータＢであればデコーダ１３ｂへ、ストリーミングデータＣであればデコーダ１３ｃへ供給される。
【００２６】
デコーダ１３ａ，１３ｂ，１３ｃは、それぞれ対応するストリーミングデータを復号し、復号して得た画像データをフレーム毎に対応したメモリ１４へ供給するとともに、このフレームを出力すべき時刻の情報（以下、出力時刻情報）もまたメモリ１４に供給する。この出力時刻情報としては、ＰＥＳ中に含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を用いる。但し、ＰＴＳが含まれないデータの場合には、出力時刻情報をデコーダ１３にて算出する。具体的には、デコーダ１３にてカウントされるフレームレートの逆数を算出し、これをを加算した値を出力時刻情報としてメモリ１４へ供給すればよい。
【００２７】
メモリ１４もデコーダ同様、ストリーミングデータ毎に設けられる。このメモリ１４は、デコーダ１３にて復号された画像データとこの画像データ（フレーム）の出力時刻情報とを一時的に格納する。また、メモリ１４には、格納された１フレーム分の画像データに対応付けて、このフレームが格納されたメモリ内の領域を保持するか解放するかを示す情報が記述されている。この情報は、後述する出力画像選択部１７によって記述される。メモリ１４の詳細な説明については、具体例を用いて後述する。
【００２８】
表示部１５は、メモリ１４から読み出した画像データを表示する。実際には、表示部１５は、メモリ１４に一時格納された各フレームの中から出力すべきタイミングで出力すべき画像データを抽出する機能と、これら抽出した画像データの同期をとって合成する機能と、合成して得られた画像データを表示する機能とを有している。また、表示部１５は、所定の表示速度で画像データを表示する度に基準時刻情報生成部１６に対して表示フレームレート（表示速度の逆数）を表す信号を通知する。
【００２９】
表示部１５は、画像データを抽出する機能及び抽出した画像データの同期をとって合成する機能として、出力画像選択部１７によってメモリ１４に記述された選択情報に基づいてメモリ１４からフレームを抽出し、これをストリーミングデータ毎に行い、抽出したフレームを合成して１つの画像データとして表示する。
【００３０】
基準時刻情報生成部１６は、表示部１５における表示動作の基準となる基準時刻情報、いわゆるＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）を生成している。ここでは、基準時刻情報生成部１６は、絶対時間をカウントするクロックを備え、このクロックのカウント値に表示部１５から送られる表示速度の逆数を加算することで表示動作のＳＴＣを生成している。そのため、表示フレームレートが変更されても、これに応じてＳＴＣを変更できる。
【００３１】
出力画像選択部１７は、基準時刻情報生成部１６にて生成されるＳＴＣと、デコーダ１３が復号した画像データとともにメモリ１４に格納された各画像データのＰＴＳ（含まれない場合は、フレームレートの逆数として算出される値）とを比較して、表示部１５が、ＳＴＣがＰＴＳを過ぎたものの中で最もＳＴＣに近いフレームが格納されたメモリ領域を抽出先として選択できるように、フレームが格納されたメモリ内の領域に、現時点で選択すべきフレームか否かを示す選択情報を記述する。
【００３２】
この選択情報により、デコーダ１３は、復号した画像データをメモリ１４に格納する際に、その領域を解放してよいか保持すべきか、すなわち、その領域に書き込みできるかできないかを判別している。書き込める領域がない場合、デコーダ１３は、復号処理を行わない。
【００３３】
したがって、このような構成を有する画像情報復号装置１は、ストリーミングデータを受信すると、ストリーム分割部１２において受信したストリームを分割し、ストリームに対応したデコーダ１３ａ，１３ｂ、１３ｃへ送出する。ストリーミングデータを受け取ったデコーダ１３は、これを復号し、復号して得た画像データを１フレーム毎にメモリ１４へ格納するとともに、このフレームを出力する時刻を示した出力時刻情報をメモリ１４に書き込む。出力画像選択部１７は、ＳＴＣと各フレームのＰＴＳとを比較し、出力するフレームとして選択するか否かを示す選択情報をフレームに対応付けてメモリ内の領域に記述する。表示部１５では、この選択情報に基づいてフレームを抽出し合成して表示している。
【００３４】
続いて、表示部１５がメモリ１４から表示フレームを抽出する動作を図２を用いて具体的に説明する。本具体例では、ストリーミングデータＡのフレームレートが１５フレーム／秒、ストリーミングデータＢのフレームレートが１０フレーム／秒、ストリーミングデータＣのフレームレートが７．５フレーム／秒であって、表示部１５の表示速度が３０フレーム／秒である。
【００３５】
メモリ１４は、上述したように、各ストリーミングデータの復号画像データを格納する領域ＭＡ，ＭＢ，ＭＣを有している。これらの各領域は、更にｍＡ１，ｍＡ２の２つの領域に分けられている。この領域ｍＡ１に、１フレーム分の画像データが格納できる。
【００３６】
メモリ１４には、デコーダ１３からの復号された画像データとこの画像データに付随した出力時刻情報（ＰＴＳ）とが記憶される。ｍＡ１には、Ａ０フレームとともにこのＡ０フレームのＰＴＳ  Ｔ０が記憶され、ｍＡ２には、Ａ１フレームとともにこのＡ１フレームのＰＴＳ  Ｔ２が記憶される。
【００３７】
また、メモリ１４には、上述したように出力画像選択部１７によって、表示部１５のＳＴＣがＰＴＳを過ぎたものの中で最も時間的にＳＴＣに近いフレームが出力されるように、このフレームが格納されたメモリ領域を画像データ抽出先として選択する選択情報が記述されている。すなわち、このメモリ領域に格納されたフレームを使用する間は、このフレームが格納された領域を選択すべきことを示すフラグ（図中○印で示す。）が記述され、このフレームを使用しなくなった時点で、このフレームが格納された領域を選択しないことを示すフラグ（図中×印）が記述される。
【００３８】
したがって、表示部１５は、選択情報に基づいてフレームを抽出すれば、図３に示すように、ストリーミングデータＡでは表示部１５のＳＴＣがＴ２，Ｔ３をカウントする間、フレームＡ１が表示され続け、ストリーミングデータＢではＳＴＣがＴ０，Ｔ１，Ｔ２をカウントする間、フレームＢ０が表示され続ける。このフレームを使用しなくなった時点で、この領域を選択しないことを示すフラグが出力画像選択部１７によって記述される。このフラグにより、デコーダ１３は、この領域に次なる１フレーム分の画像データを書き込む。図２に示す領域ｍＡ１におけるＳＴＣ  Ｔ２→Ｔ３、Ｔ６→Ｔ７、また、領域ｍＡ２におけるＳＴＣ
Ｔ４→Ｔ５がこれに相当する。
【００３９】
このように、出力画像選択部１７は、表示部１５のＳＴＣと各フレームの出力時刻情報であるＰＴＳとを比較して、抽出先メモリ領域を指定する選択情報をこの画像データとともに記述すればよく、各ストリーミングデータのフレームレートの変動を常時監視する必要はない。また、表示部１５における表示速度の変動を常時監視する必要もない。最終的に、各ストリーミングデータのフレームレートと表示部１５における表示フレームレートとの同期をとって一画面で表示できるようにフレームを抽出する処理は、表示部１５がメモリ１４の選択情報にしたがって画像データを抽出することにより達成されるため、従来に比べて、複数ストリーミングデータの同期再生がより簡易に実行できることになる。
【００４０】
また、デコーダ１３によって表示時刻情報をメモリへの格納する処理も、ＰＥＳから抽出したＰＴＳ、若しくはフレームレートの逆数の和として算出される値を加算していけばよく、表示部におけるＳＴＣの管理も簡便であるため、これらを実現するためのアルゴリズムも簡便でよい。
【００４１】
以上のように、デコーダ１３にてストリーミングデータのフレームレートを監視するようにし、表示部１５にて表示のための基準時刻情報を管理することによって、出力画像選択部１７にてストリーミングデータ毎のフレームレートや表示部における表示速度管理等を実行する必要がない。出力画像選択部１７では、ストリーミングデータの数がさらに増しても、選択情報に応じて画像データを抽出すればよいため、出力画像選択部１７にかかる負担も少ない。
【００４２】
なお、本発明は、上述した具体例のみに限定されず、本発明の要旨を逸脱しない範囲で変更可能である。例えば、図４に示すように、単一デコーダ２１により複数のストリーミングデータの復号を実行するようにしてもよい。この場合、デコーダ２１は、分割された個々のストリーミングデータの復号を時分割にて実行し、復号し終わった画像データから順番に各ストリーミングデータに対応したメモリに格納する。選択情報の記述、この選択情報に基づくフレームの抽出処理等は、図１に示した画像情報復号装置１と同様に実行できる。
【００４３】
【発明の効果】
以上詳細に説明したように、本発明に係る画像情報復号装置は、出力画像選択手段において、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報をもつ画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述し、表示手段では、この選択情報に基づいて出力画像データを抽出することによって、ストリーム毎のフレームレート差に依存することなく、各ストリームを合成して同期表示できる。
【００４４】
また、本発明に係る画像情報復号方法によれば、基準時刻情報と出力時刻情報とを比較して、該基準時刻情報よりも過去の出力時刻情報をもつ画像データの中で該基準時刻に最も近い出力時刻をもつ画像データが格納された領域を抽出先として選択するための選択情報を記憶手段に記述し、この選択情報に基づいて出力画像データを抽出することによって、ストリーム毎のフレームレート差に依存することなく、各ストリームを合成して同期表示できる。
【図面の簡単な説明】
【図１】本発明の具体例として示す画像情報復号装置を説明する構成図である。
【図２】上記画像情報復号装置において、メモリに格納される画像データと選択情報を説明する図である。
【図３】上記画像情報復号装置によって出力される復号画像データのフレームレートとＳＴＣとの関係を説明する図である。
【図４】本発明の別の実現例として示す画像情報復号装置を説明する構成図である。
【図５】従来の復号装置において、フレームレートが異なるマルチメディアデータを１つの画像データとして表示する場合を説明する図である。
【符号の説明】
１  画像情報復号装置、１１  受信部、１２  ストリーム分割部、１３  デコーダ、１４  メモリ、１５  表示部、１６  基準時刻情報生成部、１７  出力画像選択部、２１  デコーダ
【図１】
2004221900.tif 000003
【図２】
2004221900.tif 000004
【図３】
2004221900.tif 000005
【図４】
2004221900.tif 000006
【図５】
2004221900.tif 000007