(57)【特許請求の範囲】
【請求項１】
複数のイントラフレームおよびインターフレームからなる動画データを受信する動画データ受信部と、
前記動画データ受信部にて受信した動画データを蓄積するメディアバッファと、
前記動画データのそれぞれのインターフレームに含まれるイントラブロックの位置を示すイントラマップを記憶するイントラマップ記憶部と、
前記イントラマップ記憶部に記憶されたイントラマップに基づいて、前記メディアバッファに蓄積された最新のインターフレームから順に、インターフレームに含まれるイントラブロックの画像を抽出し、複数のインターフレームから抽出したイントラブロックの画像を組み合わせて擬似イントラフレームを生成する擬似イントラフレーム生成部と、
前記擬似イントラフレーム生成部にて生成された擬似イントラフレームを用いて、前記動画データ受信部にて受信する動画データの復号を開始するデコーダと、
を備える動画受信装置。
【請求項２】
前記擬似イントラフレーム生成部は、同じ位置のブロックに適用可能な複数のイントラブロックが抽出された場合は、新しいインターフレームから抽出したイントラブロックの画像を用いる請求項１に記載の動画受信装置。
【請求項３】
前記動画データ受信部にて受信した動画データから、前記動画データのイントラマップを生成するイントラマップ生成部を備え、
前記イントラマップ生成部にて生成されたイントラマップを前記イントラマップ記憶部に記憶する請求項１に記載の動画受信装置。
【請求項４】
前記動画データのフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを記憶する動きベクトルマップ記憶部を備え、
前記擬似イントラフレーム生成部は、複数のインターフレームから抽出したイントラブロックの画像を、動きベクトルマップに基づいて決まる位置に移動して組み合わせて、擬似イントラフレームを生成する請求項１に記載の動画受信装置。
【請求項５】
前記動画データ受信部にて受信した動画データから、前記動画データの動きベクトルマップを生成する動きベクトルマップ生成部を備え、
前記動きベクトルマップ生成部にて生成された動きベクトルマップを前記動きベクトルマップ記憶部に記憶する請求項４に記載の動画受信装置。
【請求項６】
複数のイントラフレームおよびインターフレームからなる動画データを受信する動画データ受信部と、
前記動画データ受信部にて受信した動画データを蓄積するメディアバッファと、
前記動画データのフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを記憶する動きベクトルマップ記憶部と、
前記動きベクトルマップ記憶部に記憶された動きベクトルマップに基づいて、最新のインターフレームから遡って前記最新のインターフレームを構成する各ブロックに相当するイントラフレーム中のイントラブロックを特定し、前記特定されたイントラブロックの画像を用いて擬似イントラフレームを生成する擬似イントラフレーム生成部と、
前記擬似イントラフレーム生成部にて生成された擬似イントラフレームを用いて、前記動画データ受信部にて受信する動画データの復号を開始するデコーダと、
を備える動画受信装置。
【請求項７】
前記動画データ受信部にて受信した動画データから、前記動画データの動きベクトルマップを生成する動きベクトルマップ生成部を備え、
前記動きベクトルマップ生成部にて生成された動きベクトルマップを前記動きベクトルマップ記憶部に記憶する請求項６に記載の動画受信装置。
【請求項８】
複数のイントラフレームおよびインターフレームからなる動画データを再生する動画データ再生部と、
前記動画データ再生部にて再生中の動画に基づいて、前記動画に含まれるインターフレームのそれぞれのイントラブロックの位置を示すイントラマップを生成するイントラマップ生成部と、
前記イントラマップ生成部にて生成されたイントラマップを前記動画データと共に送信する動画データ送信部と、
を備える動画再生装置。
【請求項９】
前記動画データ再生部にて再生中の動画に基づいて、前記動画のフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを生成する動きベクトルマップ生成部を備える請求項８に記載の動画再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画の復号化技術に関する。具体的には、時間的な相関に基づいて符号化されたフレーム間圧縮動画に対して、任意のフレームから復号を行う高速動画復号化技術に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータが一般家庭にも広く浸透し、動画伝送によるテレビ電話や撮影したムービー映像の編集などが簡単に行えるようになってきた。また、地上波デジタル放送の開始、ＤＶＤ（Digital Versatile Disk）レコーダやハードディスクレコーダの普及により、デジタル動画がますます身近なものとなってきている。
【０００３】
デジタル動画は、一般に膨大な情報量のデジタル情報を有するので、圧縮して用いられるのが普通である。上述した地上波デジタル放送やＤＶＤレコーダには、MPEG-2(ISO/IEC 13818-2 International Standard MPEG-2 Video)という動画圧縮規格が用いられている。テレビ電話にはITU-T H.263という動画圧縮規格がよく用いられている。
【０００４】
ＭＰＥＧ規格を始めとする多くの動画圧縮規格は、連続する画像フレームの時間方向での冗長性を利用したフレーム間圧縮技術を取り入れている。これは、３０フレーム毎秒といった短時間では、連続するフレームは相関が高いことに着目したものである。具体的には、ある特定のフレームをフレーム内の情報のみを利用して符号化する。その後続フレームは、直前のフレームとの差分である差分フレームを取得して符号化する。フレーム内の情報のみを利用して符号化されるフレームは、フレーム内符号化フレームもしくはイントラフレームと呼ばれる。後続フレームを符号化したものは、先行するフレームを利用して符号化されるため、フレーム間符号化フレームもしくはインターフレームと呼ばれる。
【０００５】
復号時には、最初にイントラフレームをフレーム内復号した後、後続のインターフレームを順次復号していく。インターフレームの復号は、まず差分フレームを復号し、復号された直前フレームと加算して行う。
【０００６】
実際のフレーム間圧縮符号化においては、フレームをいくつかのブロックに分割し、ブロック単位でフレーム内符号化、フレーム間符号化が選択される。フレーム内符号化が行われたブロックをイントラブロック、フレーム間符号化が行われたブロックをインターブロックと呼ぶ。イントラフレームはイントラブロックのみからなるフレームであり、インターフレームは、インターブロックを含むフレームである。
【０００７】
インターブロックの符号化においては、単純にブロック間の差分を求めるだけでなく、動きベクトルを導入し、当該ブロックと最も相関が高いブロックとの差分を求めることで圧縮率の向上を図っている。
【０００８】
イントラフレームはただちに復号可能である一方で、インターフレームは、インターブロックを含むために、すでに復号された直前フレーム内のブロックと加算することによって初めて復号可能になる。つまり、直前のフレームが復号された後でなければ復号することはできず、インターフレームは前方にある直近のイントラフレームから順番に復号をしてきた後でなければ復号できない。これは、時間方向での冗長性を利用するフレーム間圧縮では、共通に発生する問題点である。したがってＤＶＤレコーダで録画した映像のランダムアクセス再生においても、任意の位置から開始することはできず、再生開始位置は、イントラフレームの挿入位置に限られる。この問題点は、一見イントラフレームを頻繁に挿入することで回避可能に思えるが、イントラフレームは圧縮率が低いため、数多く挿入すると動画の圧縮率が著しく低下する。
【０００９】
フレーム間圧縮動画をインターフレームから復号することができないことに起因する不都合の一例として、多地点ＴＶ会議への参加が挙げられる。多地点ＴＶ会議の実現方法には二つある。すなわち、各端末で撮影した動画をＭＣＵと呼ばれる多地点会議装置に集め、ＭＣＵがすべての動画を合成したのち各端末に送り返す方法と、各端末が端末で撮影した動画を全ての端末に向けて同報送信し、各端末で送られた動画を合成する方法である。いずれの方法においても、動画圧縮にフレーム間圧縮技術が用いられていると、会議の途中で新たに参加する端末は、インターフレームから復号することができないため、次のイントラフレームの到着を待って再生を開始する。これにより、会議に参加したにも拘らず、しばらく画像が表示されない状態となる。
【００１０】
フレーム間圧縮動画をインターフレームから復号することができないことに起因する不都合の別な一例として、デジタル動画放送サービスの再生開始もしくはチャンネル切替えが挙げられる。放送サービスとして、地上波デジタル放送や衛星を使ったモバイル放送などが開始されているが、デジタルテレビ等の端末に用いられる復号器は、放送の受信を開始した場合やチャンネルを切り替えた場合に、当該受信チャンネルにおいて次のイントラフレームの到着を待って再生を開始している。
【００１１】
多地点ＴＶ会議において、新たな端末の参加時に即座に画像を復号して表示するための技術が、特許文献１に開示されている。特許文献１によれば、参加端末が第一のＴＶ会議実現方法ではＭＣＵに、第二のＴＶ会議実現方法では会議に既に参加している全ての端末に参加の通知を行う。その通知によって、ＭＣＵもしくは全ての会議参加端末は、端末で撮影された動画を一定時間フレーム内符号化してイントラフレームを送出する。これにより、新たな参加端末は即座にフレームを復号して表示することができる。
【特許文献１】特開平７−２９８２３１号
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１においては、会議参加通知後一定時間はイントラフレームが送信され続けるのでネットワーク帯域を圧迫する。また、通信相手に動的に符号化モードの変更を要求するので、リアルタイム符号化を行っているシステムにしか適応できないといった問題が残されている。
【００１３】
また、デジタル動画放送サービスの再生開始もしくはチャンネル切替えの場合に動画を復号し表示する技術においては、次のイントラフレームの到着を待って当該チャンネルの再生を開始するため、画面上にしばらく画像が表示されないという問題が生じる。
【００１４】
本発明は、かかる従来のフレーム間圧縮動画の復号化の問題に鑑みてなされたものであって、テレビ会議への途中参加やデジタル動画放送サービスの再生開始もしくはチャンネル切替えに際して、任意のフレームからフレーム間圧縮動画を復号することを可能とし、遅滞なく画面表示がなされる動画受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の動画受信装置は、複数のイントラフレームおよびインターフレームからなる動画データを受信する動画データ受信部と、前記動画データ受信部にて受信した動画データを蓄積するメディアバッファと、前記動画データのそれぞれのインターフレームに含まれるイントラブロックの位置を示すイントラマップを記憶するイントラマップ記憶部と、前記イントラマップ記憶部に記憶されたイントラマップに基づいて、前記メディアバッファに蓄積された最新のインターフレームから順に、インターフレームに含まれるイントラブロックの画像を抽出し、複数のインターフレームから抽出したイントラブロックの画像を組み合わせて擬似イントラフレームを生成する擬似イントラフレーム生成部と、前記擬似イントラフレーム生成部にて生成された擬似イントラフレームを用いて、前記動画データ受信部にて受信する動画データの復号を開始するデコーダとを備える。
【００１６】
このようにインターフレームに含まれるイントラブロックを抽出し、イントラブロックを組み合わせて擬似のイントラフレームを生成することにより、動画復号の指示があってから、次のイントラフレームを受信するまで待つことなく、擬似イントラフレームを用いて復号を開始することができる。
【００１７】
上記動画受信装置において、前記擬似イントラフレーム生成部は、同じ位置のブロックに適用可能な複数のイントラブロックが抽出された場合は、新しいインターフレームから抽出したイントラブロックの画像を用いてもよい。
【００１８】
このように新しいインターフレームから抽出したイントラブロックを用いることにより、現在受信中のフレームの画像に近い擬似イントラフレームを生成することができる。
【００１９】
上記動画受信装置は、前記動画データ受信部にて受信した動画データから、前記動画データのイントラマップを生成するイントラマップ生成部を備え、前記イントラマップ生成部にて生成されたイントラマップを前記イントラマップ記憶部に記憶してもよい。
【００２０】
このようにイントラマップを生成することにより、イントラマップのデータを受信せずに擬似イントラフレームを生成することができる。また、イントラマップを生成してイントラマップ記憶部に記憶しておくことにより、動画復号の指示があってから、イントラマップを生成する処理を行う必要がなく、迅速に復号処理を開始できる。
【００２１】
上記動画受信装置は、前記動画データのフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを記憶する動きベクトルマップ記憶部を備え、前記擬似イントラフレーム生成部は、複数のインターフレームから抽出したイントラブロックの画像を、動きベクトルマップに基づいて決まる位置に移動して組み合わせて、擬似イントラフレームを生成してもよい。
【００２２】
このように動きベクトルマップを用いることにより、動きの大きい動画の場合にも適切な擬似イントラフレームを生成することができる。
【００２３】
上記動画受信装置は、前記動画データ受信部にて受信した動画データから、前記動画データの動きベクトルマップを生成する動きベクトルマップ生成部を備え、前記動きベクトルマップ生成部にて生成された動きベクトルマップを前記動きベクトルマップ記憶部に記憶してもよい。
【００２４】
このように動きベクトルマップを生成することにより、動きベクトルマップのデータを受信せずに擬似イントラフレームを生成することができる。また、動きベクトルマップを生成して動きベクトルマップ記憶部に記憶しておくことにより、動画復号の指示があってから、動きベクトルマップを生成する処理を行う必要がなく、迅速に復号処理を開始できる。
【００２５】
本発明の別の態様の動画受信装置は、複数のイントラフレームおよびインターフレームからなる動画データを受信する動画データ受信部と、前記動画データ受信部にて受信した動画データを蓄積するメディアバッファと、前記動画データのフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを記憶する動きベクトルマップ記憶部と、前記動きベクトルマップ記憶部に記憶された動きベクトルマップに基づいて、最新のインターフレームから遡って、前記最新のインターフレームを構成する各ブロックに相当するイントラフレーム中のイントラブロックを特定し、前記特定されたイントラブロックの画像を用いて擬似イントラフレームを生成する擬似イントラフレーム生成部と、前記擬似イントラフレーム生成部にて生成された擬似イントラフレームを用いて、前記動画データ受信部にて受信する動画データの復号を開始するデコーダとを備える。
【００２６】
このように動きベクトルマップに基づいて最新のインターフレームからイントラフレームに遡り、イントラフレームの各ブロックの画像に基づいて擬似イントラフレームを生成することができる。これにより、動画復号の指示があってから、次のイントラフレームを受信するまで待つことなく、擬似イントラフレームを用いて復号を開始することができる。
【００２７】
上記動画受信装置は、前記動画データ受信部にて受信した動画データから、前記動画データの動きベクトルマップを生成する動きベクトルマップ生成部を備え、前記動きベクトルマップ生成部にて生成された動きベクトルマップを前記動きベクトルマップ記憶部に記憶してもよい。
【００２８】
このように動きベクトルマップを生成することにより、動きベクトルマップのデータを受信せずに擬似イントラフレームを生成することができる。また、動きベクトルマップを生成して動きベクトルマップ記憶部に記憶しておくことにより、動画復号の指示があってから、動きベクトルマップを生成する処理を行う必要がなく、迅速に復号処理を開始できる。
【００２９】
本発明の動画再生装置は、複数のイントラフレームおよびインターフレームからなる動画データを再生する動画データ再生部と、前記動画データ再生部にて再生中の動画に基づいて、前記動画に含まれるインターフレームのそれぞれのイントラブロックの位置を示すイントラマップを生成するイントラマップ生成部と、前記イントラマップ生成部にて生成されたイントラマップを前記動画データと共に送信する動画データ送信部とを備える。
【００３０】
このように動画の再生中にイントラマップを生成し、動画データを送信するときにイントラマップを送信することにより、動画を受信した装置において、イントラフレームを待たずに、任意のタイミングでイントラマップに基づいて動画の復号を開始することができる。
【００３１】
上記動画再生装置は、前記動画データ再生部にて再生中の動画に基づいて、前記動画のフレーム間のブロック毎の動きベクトルを示す動きベクトルマップを生成する動きベクトルマップ生成部を備えてもよい。
【００３２】
このように動画の再生中に動きベクトルマップを生成し、動画データを送信するときにイントラマップと共に動きベクトルマップを送信することにより、動画を受信した装置において、イントラフレームを待たずに、任意のタイミングで動画の復号を開始することができる。
【発明の効果】
【００３３】
本発明によれば、動画復号の指示があってから、次のイントラフレームを受信するまで待つことなく、擬似イントラフレームを用いて復号を開始することができ、テレビ会議への途中参加やデジタル動画放送サービスの再生開始もしくはチャンネル切替えに際して、遅延なく画面表示がなされるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、本発明は、以下の実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
【００３５】
（第１の実施の形態）
図１は、第１の実施の形態の動画受信装置が備える動画復号装置の構成を示す図である。図１を用いて動画復号のための構成について説明する前に、第１の実施の形態の動画受信装置が適用される動画送受信システムについて説明する。
【００３６】
図２は、第１の実施の形態の動画受信装置が適用される動画送受信システムの構成を示す図である。動画送受信システムは、フレーム間圧縮動画を送信するための動画送信装置１０１と、データの伝送媒体となる放送通信中継装置１０２と、送信されたフレーム間圧縮動画を受信し、復号化した後ディスプレイなどの出力装置に表示する動画受信装置１０３とを備えている。本実施の形態の動画復号装置は、動画受信装置１０３の内部に設置されている。
【００３７】
動画送信装置１０１は、動画をフレーム間圧縮するエンコーダ１０４を備え、図示しない送出部を用いて生成したフレーム間圧縮動画を送出することが可能である。動画送信装置１０１は、例えば放送局におけるデジタル放送を行うための動画放送サーバに相当し、あるいはテレビ会議システムにおけるＭＣＵに相当する。
【００３８】
放送通信中継装置１０２は、動画送信装置１０１から送信されたデータを動画受信装置１０３まで伝送する媒体の全てを包含するものである。放送においては放送衛星や送受信アンテナなどが放送通信中継装置１０２の一部であり、通信においては光ファイバやルータなどが放送通信中継装置１０２の一部である。放送通信中継装置１０２は、動画送信装置１０１から送信されたデータを放送や通信に限ることなく動画受信装置１０３まで伝送する。
【００３９】
動画受信装置１０３は、本発明の第１の実施の形態である動画復号装置（図１参照）を備え、受信したフレーム間圧縮動画を高速に復号し表示するものである。動画受信装置１０３は、例えばデジタルテレビに相当し、あるいはテレビ会議端末に相当するものである。
【００４０】
次に、動画送信装置１０１のエンコーダ１０４について説明する。エンコーダ１０４は、イントラマップ作成部１０５と動きベクトルマップ作成部１０６を備え、動画の各フレームを符号化する際に、フレーム毎にイントラマップと動きベクトルマップを生成する。イントラマップとは、フレームに含まれるイントラ符号化されたブロックの位置を示すマップであり、動きベクトルマップとは、フレームに含まれるインター符号化されたブロックの位置と動きベクトルの関係を示すマップである。
【００４１】
図３（ａ）は、イントラマップの例を示す図である。外枠は一枚のフレームを、フレーム内に敷き詰められた小さい長方形はフレームを構成するブロックを示す。図３（ａ）において、イントラブロックは「Ｉ」と表示する。イントラマップにより、当該フレームにおけるイントラブロックの位置を知ることができる。
【００４２】
図３（ｂ）は、動きベクトルマップの例を示す図である。外枠は一枚のフレームを、フレーム内に敷き詰められた小さい長方形はフレームを構成するブロックを示す。図３（ｂ）において、各インターブロックの中心に動きベクトルを表示する。これらのイントラマップおよび動きベクトルマップにより、当該フレームにおけるインターブロックの位置およびそのブロックの動きベクトルを知ることができる。
【００４３】
なお、図３（ａ）に示すイントラマップおよび図３（ｂ）に示す動きベクトルマップは一例であり、必要な情報であるイントラブロックの位置、インターブロックの位置および動きベクトルが得られる限り、配列、ビット列などマップとしての形態はこれに捉われるものではない。ここではエンコーダ１０４は、イントラマップ作成部１０５と動きベクトルマップ作成部１０６を備えるとしているが、どちらか一方しか備えないものであってもよい。
【００４４】
動画送信装置１０１は、フレーム間圧縮動画を送信する際に、エンコーダ１０４が有するイントラマップ作成部１０５がイントラマップを生成するときはイントラマップを、エンコーダ１０４が有する動きベクトルマップ作成部１０６が動きベクトルマップを生成するときは動きベクトルマップを併せて送信する。この結果として、動画像受信装置１０３は、フレーム間圧縮動画に同期して、イントラマップ、動きベクトルマップを受信する。動画像受信装置１０３は、イントラマップ、動きベクトルマップを利用することにより、インターフレームから即時に復号できる。
【００４５】
図４は、動画受信装置１０３の構成を示す図である。動画受信装置１０３は、フレーム間圧縮動画を受信するメディア受信部３０１と、イントラマップや動きベクトルマップを受信するマップ情報受信部３０２と、マップ情報受信部３０２にて受信したイントラマップや動きベクトルマップを用いてメディア受信部３０１にて受信したフレーム間圧縮動画を任意のフレームから即時に復号する動画復号装置３０３と、動画復号装置３０３が復号した非圧縮動画を外部に出力するための表示部３０４とから構成される。
【００４６】
メディア受信部３０１は、伝送されたデータの中からフレーム間圧縮画像のみを抽出するものであり、デジタル放送においては受信機やチューナの機能に相当し、通信においてはソケットインターフェイスやパケット再構築機能に相当する。メディア受信部３０１は、１ストリームに限らず複数のストリームを同時に受信し、動画復号装置３０３に送る。マップ情報受信部３０２は伝送されたデータの中からイントラマップと動きベクトルマップを抽出するものであり、抽出したマップを動画復号装置３０３に送る。
【００４７】
表示部３０４は、動画復号装置３０３によって復号された非圧縮画像を表示するものであり、例えばディスプレイに相当する。動画受信装置１０３は、以上の構成を有することにより、受信したフレーム間圧縮動画をインターフレームを含む任意のフレームから即時に復号することができる。
【００４８】
図１は、第１の実施の形態の動画復号装置３０３の構成を示す図である。動画復号装置３０３は、メディア受信部３０１が抽出したフレーム間圧縮動画の中から直近の複数フレーム分のフレーム間圧縮画像を蓄積するメディアバッファ４０１と、マップ情報受信部３０２にて抽出した最新の複数フレーム分のイントラマップおよび動きベクトルをそれぞれ格納するイントラマップメモリ４０２および動きベクトルマップメモリ４０３を備えている。
【００４９】
動画復号装置３０３は、イントラマップメモリ４０２および動きベクトルマップメモリ４０３に格納されたイントラマップや動きベクトルマップに基づいてメディアバッファ４０１に蓄積されたフレーム間圧縮画像から擬似イントラフレームを生成する擬似イントラフレーム生成器４０４と、フレーム間圧縮画像を復号するデコーダ４０６と、デコーダ４０６が出力した再構築画像を次のフレーム間圧縮画像の復号のために格納する再構築画像バッファ４０７と、デコーダ４０６への入力を切り替えるスイッチ４０５とを備えている。擬似イントラフレーム生成器４０４が生成する擬似イントラフレームとは、動画復号装置３０３に入力された最新のフレーム間圧縮画像を復号するための画像であり、当該最新のフレーム間圧縮画像より１フレーム前のフレーム間圧縮画像を復号した画像に相当する。メディアバッファ４０１、イントラマップメモリ４０２、動きベクトルマップメモリ４０３は、各データをフレーム毎に格納しており、フレーム単位でデータを取り出すことができる。再構築画像バッファ４０７は１フレーム分の非圧縮再構築画像を保持する。再構築画像バッファ４０７の再構築画像データは、新しいデータが入力されると上書きされる。
【００５０】
デコーダ４０６は、フレーム間圧縮動画をイントラフレームから復号する通常のデコーダである。デコーダ４０６には、フレーム間圧縮画像とその復号に用いられる画像が入力される。
【００５１】
なお、動画送信装置１０１からイントラマップもしくは動きベクトルマップのどちらかが送信されない場合は、送信されないマップに対応するメモリには何も蓄積されない。その場合は、イントラマップメモリ４０２と動きベクトルマップメモリ４０３の双方を具備する必要はなく、送信されるデータに対応するメモリを備えておくだけでよい。本実施の形態の以降の説明では、特に断らない限りイントラマップと動きベクトルマップの双方が送信され、動画復号装置３０３がイントラマップメモリ４０２と動きベクトルマップメモリ４０３の双方を具備しているものとする。
【００５２】
図５は、動画復号装置３０３の内部の動作を示す図である。まず、動画復号装置３０３は、メディア受信部３０１にて受信したメディアデータを読み込んでメディアバッファ４０１に格納すると共に、マップ情報受信部３０２にて受信したイントラマップおよび動きベクトルマップを読み込んで、イントラマップメモリ４０２および動きベクトルマップメモリ４０３のそれぞれに格納する（Ｓ５０１）。
【００５３】
この状態で、動画復号装置３０３は、デコード開始命令が入力されたか否かを判定する（Ｓ５０２）。デコード開始命令が入力されない場合には（Ｓ５０２でＮＯ）、動画復号装置３０３は、メディアバッファ４０１に読み込まれたフレームがイントラフレームか否かを判定する（Ｓ５０３）。読み込まれたフレームがイントラフレームである場合には（Ｓ５０３でＹＥＳ）、動画復号装置３０３は、メディアバッファ４０１、イントラマップメモリ４０２、動きベクトルマップメモリ４０３にリセット通知を送り、それぞれのメモリに格納されているデータをすべて消去する（Ｓ５０４）。その後、再度データを読み込む（Ｓ５０１）。読み込まれたフレームがイントラフレームでない場合には（Ｓ５０３でＮＯ）、メモリに格納されているデータを消去しないで、再度データを読み込む（Ｓ５０１）。
【００５４】
次に、データ読み込み中に（Ｓ５０１）にデコード開始命令が入力された場合（Ｓ５０２でＹＥＳ）の動作について説明する。デコード開始が入力された場合には、動画復号装置３０３の擬似イントラフレーム生成器４０４は、メディアバッファ４０１、イントラマップメモリ４０２、動きベクトルマップメモリ４０３から最も新しく入力されたフレームに係るフレーム間圧縮画像、イントラマップ、動きベクトルマップの各データを読み出す（Ｓ５０５）。
【００５５】
擬似イントラフレーム生成器４０４は、読み出したフレーム間圧縮画像、イントラマップ、動きベクトルマップの各データを用いて擬似イントラフレームの生成を行う。動画復号装置３０３は、擬似イントラフレーム生成器４０４による擬似イントラフレームの生成が完了したか否かを判定する（Ｓ５０６）。擬似イントラフレームの生成が完了しない場合には（Ｓ５０６）、メディアバッファ４０１、イントラマップメモリ４０２、動きベクトルマップメモリ４０３から次に新しく入力されたフレームに係るデータを読み出し（Ｓ５０５）、そのデータを用いて擬似イントラフレームの生成を行う。すなわち、動画復号装置３０３は、擬似イントラフレームを生成できるまで、新しい方から順にデータを読み出して擬似イントラフレームの生成を行う。
【００５６】
擬似イントラフレーム生成器４０４が、擬似イントラフレームの生成を完了した場合には、動画復号装置３０３はスイッチ４０５を擬似イントラフレーム生成器４０４の出力（接点Ａ、図１参照）と接続する（Ｓ５０７）。これにより、擬似イントラフレーム生成器４０４が生成した擬似イントラフレームがデコーダ４０６に入力される。
【００５７】
動画復号装置３０３のデコーダ４０６は、入力された擬似イントラフレームを用いて、受信部３０１から入力される最新のフレーム間圧縮画像を復号し、復号した再構築画像を動画復号装置３０３の外部および再構築画像バッファ４０７に出力する（Ｓ５０８）。
【００５８】
動画復号装置３０３は、デコードが終了したか否かを判定する（Ｓ５０９）。デコードが終了した場合には（Ｓ５０９でＹＥＳ）、デコーダ４０６は動作を終了し、データ読込みのステップに移行する（Ｓ５０１）。動画復号装置３０３は、スイッチ４０５を切断状態とする。
【００５９】
デコードが終了していない場合には（Ｓ５０９でＮＯ）、スイッチ４０５を再構築画像バッファ４０７の出力（接点Ｂ、図１参照）と接続し、再構築画像バッファ４０７に保持された再構築画像がデコーダ４０６に対して出力され（Ｓ５１０）、デコードを継続する（Ｓ５０８）。
【００６０】
以上のようにして、動画復号装置３０３は、フレーム間圧縮動画をイントラフレームとインターフレームにかかわらず受信した最新のフレームから即時に復号することができる。
【００６１】
次に、擬似イントラフレーム生成器４０４による擬似イントラフレームの生成の動作（Ｓ５０６）についてさらに詳細に説明する。図５のフローチャートですでに説明したように、擬似イントラフレーム生成器４０４には最新のフレームに係るフレーム間圧縮画像、イントラマップ、動きベクトルマップが入力され、それらを用いて擬似イントラフレームの生成を行い、擬似イントラフレームの生成が完了しない場合は、入力されたフレームより時間的に一つ前のフレームに係るフレーム間圧縮画像、イントラマップ、動きベクトルマップを繰り返し入力し、擬似イントラフレームを生成する。擬似イントラフレーム生成器４０４におけるイントラマップと動きベクトルマップを使った擬似イントラフレームの生成方法は複数考えられるが、その中から（ｉ）イントラマップのみを使う例（図６参照）、（ｉｉ）イントラマップと動きベクトルマップを使う例（図７参照）、（ｉｉｉ）動きベクトルマップのみを使う例（図１０参照）について示す。
【００６２】
図６は、擬似イントラフレーム生成器４０４におけるイントラマップのみを使う擬似イントラフレーム生成方法の一例を示す図である。説明の都合上、メディアバッファ４０１、イントラマップメモリ４０２に蓄積されているフレーム間圧縮画像およびイントラマップに番号を付ける。イントラフレームをフレーム０、フレーム０に係るイントラマップをイントラマップ０とし、後続のフレームをフレームｎ（ｎは自然数）、フレームｎに係るイントラマップをイントラマップｎ（ｎは自然数）とし、蓄積されている最新のフレーム及びイントラマップをそれぞれフレームＮ、イントラマップＮとする。また、擬似イントラフレーム生成器４０４は、擬似イントラフレームを生成するための画像メモリを有しているものとする。
【００６３】
擬似イントラフレーム生成器４０４は、画像メモリを初期化し、データ番号ｎをＮにリセットする（Ｓ６０１）。擬似イントラフレーム生成器４０４は、イントラマップメモリ４０２からイントラマップｎを読込み（Ｓ６０２）、イントラマップｎに基づいてフレームｎに含まれるイントラブロックをフレームｎから抽出する（Ｓ６０３）。フレームｎ内にイントラブロックが全く存在しない場合は、次のフレームへ処理を進めるためにｎをデクリメントし（Ｓ６０７）、次のフレームのイントラマップを読込み、同じ処理を繰り返す（Ｓ６０２）。
【００６４】
インターフレームｎからイントラブロックが抽出された場合には（Ｓ６０３でＹＥＳ）、擬似イントラフレーム生成器４０４は、フレームｎから抽出したイントラブロックを画像メモリに貼り付ける。擬似イントラフレーム生成器４０４は、抽出したイントラブロックの貼り付け位置にすでにイントラブロックが貼り付けられているか否かを判定する（Ｓ６０４）。該当する貼り付け位置にイントラブロックがまだ貼り付けられていない場合は（Ｓ６０４でＮＯ）、抽出したイントラブロックを貼り付ける。イントラブロックがすでに貼り付けられている場合には（Ｓ６０４でＹＥＳ）、イントラブロックの貼り付けを行わない。以上の動作を（Ｓ６０４、Ｓ６０５）を、１フレーム分から抽出したイントラブロックに対して行う。
【００６５】
擬似イントラフレーム生成器４０４は、画像メモリをチェックし、擬似イントラフレームの生成が完了しているかどうか、すなわち全てのブロックが貼付け済みであるかどうか判定する（Ｓ６０６）。擬似イントラフレームの生成が完了していない場合は（Ｓ６０６でＮＯ）、次のフレームに係るデータへ処理を行うためにｎをデクリメントし（Ｓ６０７）、次のフレームのイントラマップを読込み、同じ処理を繰り返す（Ｓ６０２）。擬似イントラフレームの生成が完了した場合は（Ｓ６０６でＹＥＳ）、画像メモリ内に保持された擬似イントラフレームを擬似イントラフレーム生成器４０４の外部へ出力する。
【００６６】
以上が、擬似イントラフレーム生成器４０４によるイントラマップのみを使う擬似イントラフレーム生成方法の動作である。メディアバッファ４０１に蓄積された複数のフレーム間圧縮画像の中に含まれるイントラブロックを貼り合わせることにより擬似イントラフレームを生成する。時間的に新しいフレーム間圧縮画像に含まれるイントラブロックを優先して利用することにより、実際の画像に近い擬似イントラフレームを生成することができる。
【００６７】
図７は、擬似イントラフレーム生成器４０４におけるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法の動作を示す図である。説明の都合上、メディアバッファ４０１、イントラマップメモリ４０２、動きベクトルマップメモリ４０３に蓄積されているフレーム間圧縮画像、イントラマップおよび動きベクトルマップに番号を付ける。番号の付け方は図６の説明の場合と同様とする。
【００６８】
擬似イントラフレーム生成器４０４は、画像メモリを初期化すると共に、データ番号ｎをＮにリセットする（Ｓ７０１）。擬似イントラフレーム生成器４０４は、イントラマップメモリ４０２からイントラマップＮを読込み（Ｓ７０２）、イントラマップＮに基づいてフレームＮに含まれるイントラブロックをフレームＮから抽出する。フレーム内にイントラブロックが存在する場合には（Ｓ７０３でＹＥＳ）、擬似イントラフレーム生成器４０４は、フレームＮから抽出したイントラブロックを画像メモリに貼り付け（Ｓ７０４）、次のフレームへ処理を進めるためにｎをデクリメントする（Ｓ７０５）。フレームＮ内にイントラブロックが全く存在しない場合は（Ｓ７０３でＮＯ）、イントラブロックの貼り付けのステップを行わないで、次のフレームへ処理を進めるためにｎをデクリメントする（Ｓ７０５）。
【００６９】
擬似イントラフレーム生成器４０４は、イントラマップｎと動きベクトルマップ（ｎ＋１）をイントラマップメモリ４０２と動きベクトルマップメモリ４０３からそれぞれ読込む。動きベクトルマップ（ｎ＋１）に基づいて、フレーム（ｎ＋１）のインターブロック毎に、フレームｎ内で動きベクトルの起点ブロックを確定する。起点ブロックとは、フレームｎの探索エリアの中で当該インターブロックと最も相関が高い位置にあるブロックである。
【００７０】
図８は、インターブロック、動きベクトル、起点ブロック、起点ブロックと重なるイントラブロック、シフトしたイントラブロックの関係を示す図である。図８には、フレームｎとフレームｎ＋１を示す。フレームｎよりフレームｎ＋１の方が時間的に新しいフレーム、すなわちフレームｎ＋１はフレームｎの後続フレームである。フレームｎ＋１内のインターブロックの一つをインターブロック８０１とし、インターブロック８０１の動きベクトルを動きベクトル８０２とする。
【００７１】
インターブロック８０１のフレームｎ＋１内での位置と動きベクトル８０２から、フレームｎ内で対応するブロックが確定する。フレームｎ＋１内のインターブロックに対応するブロックを起点ブロック８０３と呼ぶ。起点ブロックは、フレームｎ内のインターブロック８０１の画像と最も相関が画像を示すブロックである。インターブロック８０１の動きベクトルにより、起点ブロックの位置の画像ブロックが、フレームｎからフレームｎ＋１の時間にインターブロック８０１の位置へ移動したことが示される。
【００７２】
本例では、起点ブロック８０３はフレームｎ内の４つのブロックと重なっている。イントラマップｎからフレームｎに含まれるイントラブロックの位置がわかるので、起点ブロックと重なるイントラブロック８０４を特定することができる。本例では、イントラブロック８０４以外の３つのブロックはイントラブロックではない。起点ブロックが複数のイントラブロックと重なる場合には、例えば、重なり面積の最も大きいもの選択する等とすればよい。
【００７３】
図７に戻って、擬似イントラフレーム生成の動作の説明を続ける。擬似イントラフレーム生成器４０４は、フレームｎにおいて、起点ブロックと重なるイントラブロックがあるか否かを判定する（Ｓ７０８）。イントラブロックと重なるか否かの判定には、イントラマップｎを用いる。起点ブロックがイントラブロックと重なり合う場合には（Ｓ７０８でＹＥＳ）、重なり合ったフレームｎ内のイントラブロックをフレーム（ｎ＋１）のインターブロックと同位置へシフトする（Ｓ７０９）。
【００７４】
図８に示されるように、イントラブロック８０４をフレームｎ内でインターブロック８０１の位置にシフトしたものが、シフトしたイントラブロック８０５である。シフトしたイントラブロック８０５は、フレームｎ内の同位置のブロックに何ら影響を与えるものではない。
【００７５】
図７に戻って、擬似イントラフレーム生成器４０４は、シフトした位置の画像メモリに画像が貼り付けられているか否かを判定する（Ｓ７１０）。そのブロック位置にまだ画像が貼り付けられていない場合は（Ｓ７１０でＮＯ）、シフトしたイントラブロックを貼り付ける（Ｓ７１１）。そのブロック位置にすでに画像が貼り付けられている場合には（Ｓ７１０でＹＥＳ）、画像の貼り付けは行わない。イントラブロックと重なるか否かの判定において、起点ブロックがフレームｎに含まれるイントラブロックと重なり合わない場合には（Ｓ７０８でＮＯ）、何も行わない。この動作（Ｓ７０７〜Ｓ７１１）をフレーム（ｎ＋１）の中で動きベクトルを有するすべてのブロックに対して行う。
【００７６】
擬似イントラフレーム生成器４０４は、画像メモリをチェックし、擬似イントラフレームの生成が完了しているかどうか、すなわち全てのブロックが貼付け済みであるかどうか判定する（Ｓ７１２）。擬似イントラフレームの生成が完了していない場合は（Ｓ７１２でＮＯ）、次のフレームに係るデータへ処理を進めるためにｎをデクリメントし（Ｓ７０５）、次のフレームのイントラマップ、動きベクトルマップを読込み、同じ処理を繰り返す（Ｓ７０６）。擬似イントラフレームの生成が完了している場合には（Ｓ７１２でＹＥＳ）、画像メモリ内に保持された擬似イントラフレームを擬似イントラフレーム生成器４０４の外部へ出力する（Ｓ７１３）。
【００７７】
以上が、擬似イントラフレーム生成器４０４によるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法の一例である。メディアバッファ４０１に蓄積された複数のフレーム間圧縮画像の中から動きベクトルを用いてイントラブロックをシフトした後に貼り合わせ、擬似イントラフレームを生成するものであり、時間的に新しいフレーム間圧縮画像に含まれるイントラブロックを優先して利用することにより、実際の画像に近い擬似イントラフレームを生成することができる。
【００７８】
次に、擬似イントラフレーム生成器４０４における動きベクトルマップのみを使う擬似イントラフレーム生成方法の一例を図９および図１０を用いて説明する。説明の都合上、動きベクトルマップメモリ４０３に蓄積されている動きベクトルマップおよび対応するフレーム間圧縮画像に番号を付ける。ただし、動きベクトルマップのみを使う擬似イントラフレーム生成方法では、イントラフレーム以外のフレーム間圧縮画像は使用しないので、メディアバッファ４０１にはイントラフレームのみが蓄積されている。番号の付け方は図６の説明の場合と同様に、イントラフレームをフレーム０とし、後続のフレームをフレームｎ（ｎは自然数）、フレームｎに係る動きベクトルマップを動きベクトルマップｎ（ｎは自然数）とし、動きベクトルマップメモリ４０３に蓄積されている最新の動きベクトルマップを動きベクトルマップＮとする。
【００７９】
図９は、動きベクトルマップのみを使う擬似イントラフレーム生成方法について説明する図である。図９では、説明を簡単にするために蓄積されている最新の動きベクトルマップを動きベクトルマップ３（ｎ＝３）とし、フレーム３内のインターブロック１３０１に着目し、動きベクトルマップのみを使う擬似イントラフレーム生成方法について説明する。インターブロック１３０１の動きベクトル１３０２を用いて、フレーム２内の起点ブロック２を確定する。ここで、起点ブロックとは、図８で説明した起点ブロックと同じである。続いて、フレーム２内で、起点ブロックに重なったインターブロックを選択する。起点ブロックが複数のブロックと重なっている場合には、その中から一つのブロックを選択する。インターブロックの選び方は、例えば、起点ブロックとの重なり面積の最も大きいブロック等とすればよい。本例では、次のインターブロックとして、起点ブロックと重なり面積が最も大きいインターブロック１３０３が選ばれる。
【００８０】
次に、当該インターブロック１３０３の動きベクトル１３０４からフレーム１内の起点ブロック１を確定する。続いて、フレーム１内で次のインターブロックを選択する。このとき、起点ブロックと重なるすべてのブロックがイントラブロックである場合が考えられる。その場合には、起点ブロックそれ自体を動きベクトル（０，０）を有するインターブロックとみなし、動きベクトル（０，０）の始点は当該起点ブロックとする。本例では、起点ブロック１と重なるブロックは、すべてイントラブロックであるので、次のインターブロックを起点ブロック１とする。次に、インターブロックとみなされた当該起点ブロック１の動きベクトル１３０５からフレーム０内の起点ブロック０を確定する。フレーム０はイントラフレームであるので、インターブロックを選択するかわりに、イントラブロックを選択する。ブロックの選び方は、起点ブロックとの重なり面積の最も大きいブロック等とすればよい。本例では、起点ブロック０と重なり面積が最も大きいイントラブロック１３０６が選ばれる。
【００８１】
動きベクトルマップのみを使う擬似イントラフレーム生成方法では、選択したイントラブロック１３０６を、擬似イントラブロックを生成するためのイントラブロックとして利用する。このイントラブロックは、インターフレーム３の対応する位置に貼り付ける。そして、インターフレーム３内の全てのブロックについて同様の処理を行うことによりフレーム３の擬似イントラフレームを生成する。
【００８２】
図１０は、擬似イントラフレーム生成器４０４の動作の流れを説明する図である。図１０を参照して、擬似イントラフレーム生成器４０４の動作について説明する。擬似イントラフレーム生成器４０４は、画像メモリを初期化し、データ番号ｎをＮにリセットする（Ｓ１４０４）。擬似イントラフレーム生成器４０４は、動きベクトルマップメモリ４０３から動きベクトルマップｎを読込み、フレームｎ内のすべてのブロックに対してそれぞれ以下の処理（Ｓ１４０３〜Ｓ１４０５）を行う。なお、フレームｎ内のブロックにはそれぞれＩＤが付与されているものとする。
【００８３】
擬似イントラフレーム生成器４０４は、フレームｎ内のブロックがインターブロックである場合には、インターブロックの有する動きベクトルからフレームｎ−１内の起点ブロックｎ−１を確定する。ブロックが動きベクトルを有しないイントラブロック等である場合には、動きベクトル（０，０）を有するものとみなして起点ブロックｎ−１を確定する。起点ブロックｎ−１は、フレームｎのインターブロックのＩＤを継承する。
【００８４】
擬似イントラフレーム生成器４０４は、ｎ＝１であるか否か、すなわちフレームがイントラフレームであるか否かを判定する（Ｓ１４０４）。ｎ＝１でない場合には（Ｓ１４０４でＮＯ）、当該起点ブロックｎ−１と重なるインターブロックを決定する（Ｓ１４０５）。インターブロックの選び方は、起点ブロックとの重なり面積の最も大きいインターブロック等とすればよい。起点ブロックと重なるすべてのブロックがイントラブロックである場合には、起点ブロック自体を動きベクトル（０，０）のインターブロックとみなす。決定されたインターブロックは、起点ブロックｎ−１のＩＤを継承する。擬似イントラフレーム生成器４０４は、フレームｎ内の全てのブロックについて処理を終えると、次のフレームへ処理を進めるためにｎをデクリメントする（Ｓ１４０６）。
【００８５】
ｎ＝１である場合（Ｓ１４０４でＹＥＳ）、すなわちフレームがイントラフレームである場合、当該起点ブロックｎ−１と重なるイントラブロックを決定する。イントラブロックの選び方は、起点ブロックとの重なり面積の最も大きいイントラブロック等とすればよい。決定されたイントラブロックは、起点ブロックｎ−１のＩＤを継承する。
【００８６】
擬似イントラフレーム生成器４０４は、擬似イントラフレームを生成するために決定したイントラフレーム（フレーム０）内の各イントラブロックを、各イントラブロックが継承したＩＤに基づいて、図示しない内部の画像メモリの中のフレームｎ内の同じＩＤを有するブロックと同じ位置に貼り付ける（Ｓ１４０８）。擬似イントラフレーム生成器４０４は、画像メモリ内に保持された擬似イントラフレームを擬似イントラフレーム生成器４０４の外部へ出力する（Ｓ１４０９）。
【００８７】
以上が、擬似イントラフレーム生成器４０４による動きベクトルマップのみ使う擬似イントラフレーム生成方法の一例である。動きベクトルマップを用いて、ブロック毎に、各フレームで選択した動きベクトルを繋ぎ合せることにより、メディアバッファ４０１に蓄積されているイントラフレームに対して最新のフレームが有する動きベクトルを作成することができ、それを利用することにより擬似イントラフレームを生成することができる。
【００８８】
第１の実施の形態の動画復号装置３０３は、イントラマップメモリ４０２と動きベクトルマップメモリ４０３に格納されたイントラマップや動きベクトルマップを用いてメディアバッファ４０１に格納されたフレーム間圧縮画像から擬似イントラフレームを生成し、動画の復号に擬似イントラフレームを用いることにより、任意のタイミングで復号することが可能である。
【００８９】
また、動画受信装置１０３が動画復号装置３０３を備えることにより、テレビ会議への途中参加やデジタル動画放送サービスの再生開始もしくはチャンネル切替えに際して、フレーム間圧縮動画をインターフレームから即時に復号することができ、遅滞なき画面表示を実現することができる。
【００９０】
本実施の形態では、擬似イントラフレーム生成器４０４による擬似イントラフレーム生成方法を３つ示したが、イントラマップや動きベクトルマップを用いた擬似イントラフレーム生成方法はこれらに限定するものではなく、その他さまざまなバリエーションが考えられる。
【００９１】
（第２の実施の形態）
次に、第２の実施の形態について説明する。第２の実施の形態は、第１の実施の形態で説明したイントラマップ及び動きベクトルマップを用いた擬似イントラフレーム生成方法（以下、「基本方法」と呼ぶ）に基づいて改変するものである。
【００９２】
第２の実施の形態では、擬似イントラフレーム生成器４０４の内部の画像メモリに貼り付ける画像をブロックより細かい部分ブロック単位で行う。第１の実施の形態で説明した基本方法では、起点ブロックと重なるイントラブロック８０４をそのまま内部の画像メモリに貼り付けるが、第２の実施の形態では、起点ブロックと重なるイントラブロック８０４が起点ブロックと実際に重なっている部分のみを貼り付ける。
【００９３】
図１１は、第２の実施の形態における擬似イントラフレーム生成方法について説明する図である。図１１の上段には、各フレームと動きベクトル、起点ブロック、起点ブロックと重なるイントラブロックを示す。フレーム番号の付け方は、図８の場合と同様である。図１１の下段には、各フレームを処理した後の擬似イントラフレーム生成器４０４の内部の画像メモリの状態を部分的に示す。ここでは、説明を容易にするためフレームｎ＋１の中のインターブロック１５０１に着目し、インターブロック１５０１のブロック位置に相当する内部メモリ１５１２に貼り付ける画像がどのように生成されるかについて説明する。
【００９４】
インターブロック１５０１の動きベクトル１５０２より、フレームｎ内で起点ブロック１５０３が確定する。起点ブロック１５０３と重なるイントラブロックは、イントラブロック１５０４のみであるので、起点ブロック１５０３とイントラブロック１５０４の重なる部分ブロック１５１３をイントラブロック１５０４から切り出し、内部メモリ１５１２に貼り付ける。このとき起点ブロック１５０３の中で部分ブロック１５１３が占める位置と同位置に貼り付ける。
【００９５】
フレームｎ−１の処理に移行するに際して、フレームｎ内で起点ブロック１５０３と重なる面積が最大であるインターブロックの動きベクトル１５０５を利用する。動きベクトル１５０５より、フレームｎ−１内で起点ブロック１５０６が確定する。起点ブロック１５０６と重なるイントラブロックは、イントラブロック１５０７のみであるので、起点ブロック１５０６とイントラブロック１５０７の重なる部分ブロックをイントラブロック１５０７から切り出す。切り出した部分ブロックを内部メモリ１５１２に貼り付けるに際して、すでに貼り付けられた部分ブロック１５１３を上書きしないように、内部メモリ１５１２内の空いている部分にのみ貼り付ける。結果として当該部分ブロックから部分ブロック１５１３を差し引いたＬ字型の部分ブロック１５１４を貼り付けることになる。
【００９６】
フレームｎ−２の処理に移行するに際して、フレームｎ−１内で起点ブロック１５０６と重なる面積が最大であるインターブロックの動きベクトル１５０８を利用する。動きベクトル１５０８より、フレームｎ−２内で起点ブロック１５０９が確定する。起点ブロック１５０９と重なるイントラブロックは、イントラブロック１５１０とイントラブロック１５１１であるので、起点ブロック１５０９とイントラブロック１５１０、イントラブロック１５１１の重なる部分ブロックをイントラブロック１５１０、イントラブロック１５１１から切り出す。切り出した部分ブロックを内部メモリ１５１２に貼り付けるに際して、すでに貼り付けられた部分ブロック１５１３、部分ブロック１５１４を上書きしないように、内部メモリ１５１２内の空いている部分にのみ貼り付ける。結果として、Ｌ字型の部分ブロック１５１５を貼り付けることとなる。このとき、部分ブロック１５１５の貼付けにより、インターブロック１５０１のブロック位置に相当する内部メモリ１５１２内の空いているスペースはすべて埋まる。インターブロック１５０１のスペースがすべて埋まった時点で、インターブロック１５０１に対する擬似イントラブロックの生成処理は終了する。
【００９７】
第２の実施の形態の擬似イントラフレーム生成器４０４は、フレームｎ＋１内のインターブロック毎に、イントラブロックを部分ブロック単位でシフトしたのち貼り合わせることにより擬似イントラフレームを生成する。起点ブロックの位置の画像をそのまま利用し、かつ時間的に新しいフレーム間圧縮画像に含まれるイントラブロックを優先して利用することにより、実際の画像により近い擬似イントラフレームを生成することができる。
【００９８】
第２の実施の形態の変形例として、擬似イントラフレーム生成器４０４の内部の画像メモリに貼り付ける画像をブロックより細かい部分ブロック単位で処理してもよい。図１１において、フレームｎ−１の処理に移行するに際して、フレームｎ内で起点ブロック１５０３と重なる面積が最大であるインターブロックの動きベクトル１５０５を利用したが、変形例では、起点ブロック１５０３と重なるイントラブロック１５０４を除いた３つのインターブロックの有する動きベクトルの平均動きベクトルを利用する。その際に、動きベクトルの始点は、起点ブロック１５０３とする。それ以外の処理については、第２の実施の形態の擬似イントラフレーム生成方法と全く同じである。
【００９９】
第２の実施の形態の変形例において、次フレームの処理に移行する際の動きベクトルの選択方法が、起点ブロック１５０３と重なるイントラブロック１５０４を除いた３つのインターブロックの有する動きベクトルの起点ブロック１５０３と重なる面積に応じた加重平均動きベクトルを利用してもよい。その際に、動きベクトルの始点は、起点ブロック１５０３とする。それ以外の処理については、第２の実施の形態の擬似イントラフレーム生成方法と全く同じである。
【０１００】
以上、イントラマップと動きベクトルマップを用いる擬似イントラフレーム生成方法（基本方法）を第２の実施の形態とその変形例を挙げて説明したが、本発明は上記方法に限定されるものではなくその他さまざまな態様において実施し得る。
【０１０１】
（第３の実施の形態）
図１２は、本発明の第３の実施の形態の動画復号装置に係る動画送受信システムの構成を示す図である。第３の実施の形態の動画送受信システムは、フレーム間圧縮動画を送信するための動画送信装置９０１と、データの伝送媒体となる放送通信中継装置１０２と、送信されたフレーム間圧縮動画を受信し、ディスプレイなどの出力装置に表示する動画受信装置１０３とから構成される。放送通信中継装置１０２と動画受信装置１０３は第１の実施の形態で説明したものと同じである。第３の実施の形態の動画送信装置９０１の構成および動作が異なる。
【０１０２】
第１の実施の形態では、動画送信装置１０１がエンコーダを具備し、フレーム間圧縮画像の符号化の際にイントラマップや動きベクトルマップを生成していたのに対し、本実施の形態の動画送信装置９０１はデコーダを具備し、フレーム間圧縮画像の復号化の際にイントラマップや動きベクトルマップを生成する。本実施の形態の動画送信装置９０１を用いると、動画送信装置９０１に蓄積されたフレーム間圧縮動画を動画受信装置１０３に送信する場合や、第三者が送信したフレーム間圧縮動画を動画送信装置９０１が一旦受信し、動画受信装置１０３に転送する場合においてもイントラマップや動きベクトルマップを生成し、フレーム間圧縮動画とともに送信することが可能である。これにより、例えば放送通信中継装置１０２を近距離無線によるパーソナルエリアネットワーク（ＰＡＮ）であるとすると、インターネット上の動画サーバから送信されたフレーム間圧縮動画を動画送信装置９０１に相当するモバイルビューワが受信復号し当該モバイルビューワのディスプレイに表示すると同時に、モバイルビューワはＰＡＮを経由して動画受信装置１０３に相当する近くのデジタルテレビにフレーム間圧縮動画とともにイントラマップや動きベクトルマップを転送し即座に再生することが可能である。
【０１０３】
続いて、本実施の形態の動画送信装置９０１の構成および動作について説明する。動画送信装置９０１は、フレーム間圧縮動画を復号するためのデコーダ９０２を備えている。デコーダ９０２は、イントラマップ作成部９０３と動きベクトルマップ作成部９０４を備えている。イントラマップ作成部９０３および動きベクトルマップ作成部９０４は、フレーム間圧縮動画の各フレームを復号化する際に、フレーム毎にイントラマップと動きベクトルマップを生成する。この際生成されるイントラマップと動きベクトルマップは第１の実施の形態で説明したイントラマップおよびベクトルマップと同じである。動画送信装置９０１は、デコーダ９０２にフレーム間圧縮動画を提供するハードディスク、ＤＶＤなどの蓄積部９０５、もしくはメディア受信部９０６を備える。
【０１０４】
動画送信装置９０１は、蓄積部９０５に蓄積されたフレーム間圧縮動画、もしくは外部より送られてメディア受信部９０６が受信したフレーム間圧縮動画を、デコーダ９０２で復号し、図示しない表示部で再生する。デコーダ９０２内部のイントラマップ作成部９０３と動きベクトルマップ作成部９０４は、フレーム間圧縮動画の各フレームを復号化する際に、フレーム毎にイントラマップと動きベクトルマップを生成する。動画送信装置９０１は、図示しないネットワーク送信部を備え、蓄積部９０５もしくはメディア受信部９０６から取得したフレーム間圧縮動画を動画受信装置１０３へ送出する。フレーム間圧縮動画を送信する際に、イントラマップ作成部９０３が生成するイントラマップや、動きベクトルマップ作成部９０４が生成する動きベクトルマップを併せて送信する。これにより、動画像受信装置１０３は、フレーム間圧縮動画に同期して、イントラマップ、動きベクトルマップを受信し、それらを利用することによりインターフレームから即時に復号することができる。
【０１０５】
以上説明したように、本実施の形態の動画送信装置９０１はデコーダ９０２を備え、デコード時にイントラマップ、動きベクトルマップを生成して送信する。動画受信装置１０３は、第１の実施の形態と同様の動画復号装置３０３を備えることにより、テレビ会議への途中参加やデジタル動画放送サービスの再生開始もしくはチャンネル切替えに際して、フレーム間圧縮動画をインターフレームから即時に復号することができ、遅滞なく画面表示をすることができる。
【０１０６】
（第４の実施の形態）
図１３は、第４の実施の形態の動画復号装置に係る動画送受信システムの構成を示す図である。第４の実施の形態の動画送受信システムは、フレーム間圧縮動画を送信するための動画送信装置１００１と、データの伝送媒体となる放送通信中継装置１０２と、送信されたフレーム間圧縮動画を受信し、ディスプレイなどの出力装置に表示する動画受信装置１００３とから構成される。放送通信中継装置１０２は、第１の実施の形態のものと同じであり、動画送信装置１００１と動画受信装置１００３の構成および動作が異なる。
【０１０７】
第１の実施の形態の動画送信装置１０１がイントラマップ作成部１０５および動きベクトルマップ作成部１０６を含むエンコーダ１０４を具備し、フレーム間圧縮画像の符号化の際にイントラマップや動きベクトルマップを生成していたのに対し、本実施の形態の動画送信装置１００１は、イントラマップ作成部および動きベクトルマップ作成部を含まないエンコーダ１００２を備える。
【０１０８】
エンコーダ１００２は、動画符号化の際にイントラマップや動きベクトルマップを生成することができず、本実施の形態の動画送信装置１００１は、動画受信装置１００３に対してフレーム間圧縮動画とともにイントラマップや動きベクトルマップを送信しない。イントラマップや動きベクトルマップが送信されないことに鑑み、本実施の形態の動画受信装置１００３は、図示しないイントラマップ作成部および動きベクトルマップ作成部を具備し、受信したフレーム間圧縮動画からイントラマップおよび動きベクトルマップを作成する。
【０１０９】
図１４は、動画受信装置１００３の構成を示す図である。動画受信装置１００３は、フレーム間圧縮動画を受信するメディア受信部３０１と、イントラマップや動きベクトルマップを生成し、それらを用いてメディア受信部３０１の受信したフレーム間圧縮動画をインターフレームから即時に復号する動画復号装置１１０１と、動画復号装置１１０１が復号した非圧縮動画を外部に出力する表示部３０４とから構成される。メディア受信部３０１は第１の実施の形態のものと同じであり、伝送されたデータの中からフレーム間圧縮画像のみを抽出するものである。メディア受信部３０１は、デジタル放送においては受信機やチューナの機能に相当し、通信においてはソケットインターフェイスやパケット再構築機能に相当する。メディア受信部３０１は、１ストリームに限らず複数のストリームを同時に受信し、動画復号装置１１０１に送ることができる。表示部３０４も第１の実施の形態と同じであり、動画復号装置１１０１によって復号された非圧縮画像を表示する。表示部３０４は、例えばディスプレイである。動画受信装置１００３は、以上の構成を有することにより、受信したフレーム間圧縮動画をインターフレームから即時に復号することができる。
【０１１０】
図１５は、第４の実施の形態の動画復号装置１１０１の構成を示す図である。動画復号装置１１０１は、メディア受信部３０１が抽出したフレーム間圧縮動画の中から直近の複数フレーム分のフレーム間圧縮画像を蓄積しておくためのメディアバッファ４０１と、フレーム間縮圧動画からイントラブロックと動きベクトルを抽出し、イントラマップと動きベクトルマップをそれぞれ生成するイントラマップ生成部１２０１と動きベクトルマップ生成部１２０２と、イントラマップ生成部１２０１と動きベクトルマップ生成部１２０２が生成したイントラマップと動きベクトルマップをそれぞれ格納するためのイントラマップメモリ４０２と動きベクトルマップメモリ４０３とを備える。
【０１１１】
また、動画復号装置１１０１は、イントラマップメモリ４０２と動きベクトルマップメモリ４０３に格納されたイントラマップや動きベクトルマップに基づいてメディアバッファ４０１に格納されたフレーム間圧縮画像から擬似イントラフレームを生成する擬似イントラフレーム生成器４０４と、フレーム間圧縮画像を復号するデコーダ４０６と、デコーダ４０６が出力した再構築画像を次のフレーム間圧縮画像の復号のために格納する再構築画像バッファ４０７と、デコーダ４０６への入力を切り替えるスイッチ４０５とを備えている。
【０１１２】
擬似イントラフレーム生成器４０４が生成する擬似イントラフレームとは、動画復号装置１１０１に入力された最新のフレーム間圧縮画像を復号するために必要不可欠な画像であり、当該最新のフレーム間圧縮画像より１フレーム前のフレーム間圧縮画像を復号したものに相当する。メディアバッファ４０１、イントラマップメモリ４０２、動きベクトルマップメモリ４０３は、各データをフレーム毎に格納し、各データにフレーム単位でアクセスして取り出すことができるものである。再構築画像バッファ４０７は１フレーム分の非圧縮再構築画像を保持し、新しいデータが入力されると上書きされる。デコーダ４０６は、フレーム間圧縮動画をイントラフレームから復号することができる通常のデコーダである。
【０１１３】
動画復号装置１１０１は、イントラマップ作成部１２０１および動きベクトルマップ作成部１２０２を具備することにより、受信したフレーム間圧縮画像から擬似イントラフレームを生成するために必要なイントラマップや動きベクトルマップを生成することができる。生成されたイントラマップおよび動きベクトルマップは、それぞれイントラマップメモリ４０２および動きベクトルマップメモリ４０３に格納される。それ以外の動作については、第１の実施の形態の動画復号装置３０３と同じである。
【０１１４】
以上説明したように、本実施の形態の動画受信装置１００３は、イントラマップや動きベクトルマップが動画送信装置１００１から送信されない場合においても、動画復号装置１１０１がイントラマップ作成部１２０１および動きベクトルマップ作成部１２０２を具備することにより、擬似イントラフレームを生成するために必要なイントラマップや動きベクトルマップを生成することができ、インターフレームから即時に復号することが可能である。
【産業上の利用可能性】
【０１１５】
以上説明したように、本発明は、擬似イントラフレームを用いて任意のタイミングで復号を開始することができるというすぐれた効果を有し、テレビ会議端末やデジタルテレビ等に適用される動画復号装置として有用である。
【図面の簡単な説明】
【０１１６】
【図１】第１の実施の形態の動画復号装置の構成を示すブロック図
【図２】第１の実施の形態の動画復号装置に係る動画送受信システムの構成を示すブロック図
【図３】（ａ）イントラマップの一例を示す図（ｂ）動きベクトルマップの一例を示す図
【図４】第１の実施の形態における動画送受信システムの動画受信装置の内部構成を示すブロック図
【図５】第１の実施の形態の動画復号装置の動作の流れを示す流れ図
【図６】第１の実施の形態の擬似イントラフレーム生成器によるイントラマップのみを使う擬似イントラフレーム生成方法の一例を示す流れ図
【図７】第１の実施の形態の擬似イントラフレーム生成器によるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法の一例を示す流れ図
【図８】第１の実施の形態の擬似イントラフレーム生成器によるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法を説明する図
【図９】第１の実施の形態の擬似イントラフレーム生成器による動きベクトルマップのみを使う擬似イントラフレーム生成方法を説明する図
【図１０】第１の実施の形態の擬似イントラフレーム生成器による動きベクトルマップのみを使う擬似イントラフレーム生成方法の一例を示す流れ図
【図１１】第２の実施の形態の擬似イントラフレーム生成器によるイントラマップと動きベクトルマップを使う擬似イントラフレーム生成方法を説明する図
【図１２】第３の実施の形態の動画復号装置に係る動画送受信システムの構成を示すブロック図
【図１３】第４の実施の形態の動画復号装置に係る動画送受信システムの構成を示すブロック図
【図１４】第４の実施の形態における動画送受信システムの動画受信装置の内部構成を示すブロック図
【図１５】第４の実施の形態の動画復号装置の内部構成を示すブロック図
【符号の説明】
【０１１７】
１０１  動画送信装置
１０２  放送通信中継装置
１０３  動画受信装置
１０４  エンコーダ
１０５  イントラマップ作成部
１０６  動きベクトルマップ作成部
３０１  メディア受信部
３０２  マップ情報受信部
３０３  動画復号装置
３０４  表示部
４０１  メディアバッファ
４０２  イントラマップメモリ
４０３  動きベクトルマップメモリ
４０４  擬似イントラフレーム生成器
４０５  スイッチ
４０６  デコーダ
４０７  再構築画像バッファ
８０１  インターブロック
８０２  動きベクトル
８０３  起点ブロック
８０４  起点ブロックと重なるイントラブロック
８０５  シフトしたイントラブロック
９０１  動画送信装置
９０２  デコーダ
９０３  イントラマップ作成部
９０４  動きベクトルマップ作成部
１００１  動画送信装置
１００２  エンコーダ
１００３  動画受信装置
１１０１  動画復号装置
１２０１  イントラマップ作成部
１２０２  動きベクトルマップ作成部
【図１】
0004406623.tif 000002
【図２】
0004406623.tif 000003
【図３】
0004406623.tif 000004
【図４】
0004406623.tif 000005
【図５】
0004406623.tif 000006
【図６】
0004406623.tif 000007
【図７】
0004406623.tif 000008
【図８】
0004406623.tif 000009
【図９】
0004406623.tif 000010
【図１０】
0004406623.tif 000011
【図１１】
0004406623.tif 000012
【図１２】
0004406623.tif 000013
【図１３】
0004406623.tif 000014
【図１４】
0004406623.tif 000015
【図１５】
0004406623.tif 000016