(57)【要約】【課題】映像データへアクセスするための処理負荷を軽減する。【解決手段】データ転送方式の一態様は、符号化された映像データを入力し、映像データを復号してフレームデータを生成し、フレームデータを記憶し、新たに入力される映像データに応じて前記記憶したフレームデータを更新する、少なくとも一つの復号部２０と、復号部２０が復号したフレームデータを記憶し、フレームデータを加工する、少なくとも一つのフレーム処理部２２と、復号部２０が記憶するフレームデータをフレーム処理部２２に転送し、復号部２０が記憶するフレームデータの更新に応じて、フレーム処理部２２が記憶するフレームデータの更新に用いる更新データをフレーム処理部２２に転送するフレーム同期部２１と、を備える。【選択図】図１
2010074474.tif 000002
【特許請求の範囲】
【請求項１】
符号化された映像データを入力し、前記映像データを復号してフレームデータを生成し、前記フレームデータを記憶し、新たに入力される映像データに応じて前記記憶したフレームデータを更新する、少なくとも一つの復号手段と、
前記復号手段が復号したフレームデータを記憶し、前記フレームデータを加工する、少なくとも一つのフレーム処理手段と、
前記復号手段が記憶するフレームデータを前記フレーム処理手段に転送し、前記復号手段が記憶するフレームデータの更新に応じて、前記フレーム処理手段が記憶するフレームデータの更新に用いる更新データを前記フレーム処理手段に転送するフレーム同期手段と、を備えるデータ転送方式。
【請求項２】
前記復号手段は、新たに入力された映像データを復号して最新フレームデータを生成し、一つ前に復号した前回フレームデータと前記最新フレームデータとを記憶し、前記前回フレームデータから前記最新フレームデータへの更新に用いる更新データを生成し、前記更新データを記憶し、
前記フレーム同期手段は、前記更新データをフレーム処理手段へ転送し、
前記フレーム処理手段は、前記更新データを用いて、自己が記憶するフレームデータを更新することを特徴とする請求項１記載のデータ転送方式。
【請求項３】
前記復号手段は、
前記最新フレームデータと、前記前回フレームデータとを記憶する復号側フレームメモリと、
前記新たに入力された映像データを復号して前記最新フレームデータを生成し、前記フレームメモリに格納する復号処理手段と、
前記最新フレームデータと前記前回フレームデータとを比較し、比較結果に基づいて前記更新データを生成する更新情報生成手段と、
前記更新データを記憶する復号側更新情報メモリと、を備えることを特徴とする請求項２記載のデータ転送方式。
【請求項４】
前記フレーム処理手段は、
前記フレーム同期手段から転送された更新データを記憶する処理側更新情報メモリと、
前記復号処理手段が復号したフレームデータを記憶する処理側フレームメモリと、
前記更新データに基づいて、前記処理側フレームメモリが記憶するフレームデータを更新するフレーム更新手段と、
前記処理側フレームメモリに記憶するフレームデータを用いて、フレーム加工を行うフレーム加工手段と、を備えることを特徴とする請求項３記載のデータ転送方式。
【請求項５】
前記復号側更新情報メモリは、前記復号側フレームメモリに記憶するフレームデータが更新されたか否かを示す更新状況をさらに記憶し、
前記更新情報生成手段は、前記前回フレームデータと前記最新フレームデータとが一致する場合、前記更新状況を無、一致しない場合、前記更新状況を有に設定し、前記更新状況を前記更新情報メモリへ格納し、前記更新状況が有の場合、前記更新データを生成し、前記更新データを前記復号側更新情報メモリへ格納し、
前記フレーム同期手段は、前記処理側更新情報メモリが記憶する更新状況を読み出し、前記更新状況に基づいて、前記復号側フレームメモリに記憶するフレームデータが更新されたか否かを判定し、前記判定結果に基づいて前記更新データを前記処理側更新情報メモリへ書き込むことを特徴とする請求項４記載のデータ転送方式。
【請求項６】
前記更新情報生成手段は、前記前回フレームデータと前記最新フレームデータとの差分を抽出し、抽出した差分を用いて前記更新データを作成し、
前記フレーム更新手段は、前記更新データに含まれる差分を用いて、前記処理側フレームメモリに記憶するフレームデータを復元することを特徴とする請求項５記載のデータ転送方式。
【請求項７】
前記少なくとも一つの復号手段は、複数の復号手段であり、
各復号手段は、異なる内容の映像データを入力し、
前記復号側更新情報メモリは、自己の復号手段を識別する識別子を、前記更新状況及び前記更新データと対応づけて記憶し、
前記フレーム同期手段は、各復号手段が備える複数の復号側更新情報メモリを検索し、前記更新状況が有を示す識別子に対応づけられた更新データを抽出し、抽出した更新データを前記識別子と対応づけて前記フレーム処理手段に転送し、
前記処理側更新情報メモリは、前記識別子を記憶する領域を更に有し、前記更新データと前記識別子とを対応づけて記憶し、
前記処理側フレームメモリは、各復号手段が復号した少なくとも一つのフレームデータを前記識別子と対応づけて記憶することを特徴とする請求項５または６記載のデータ転送方式。
【請求項８】
前記フレーム更新手段は、前記識別子に対応づけた前記更新データを用いて、前記フレーム同期手段に記憶するフレームデータを更新し、
前記フレーム同期手段は、前記処理側更新情報メモリに記憶する識別子を読み出し、前記識別子に応じた復号手段の更新データを書き換えることを特徴とする請求項７記載のデータ転送方式。
【請求項９】
前記少なくとも一つのフレーム処理手段は、複数のフレーム処理手段を備え、
各フレーム処理手段が有するフレーム加工手段は、加工仕様に応じて異なる加工を実施し、
各フレーム処理手段が有する処理側フレームメモリは、前記加工仕様に応じて少なくとも一つのフレームデータを記憶し、
各フレーム処理手段が有する処理側更新情報メモリは、自己の処理側フレームメモリに記憶するフレームデータと対応づけた識別子を記憶し、
前記フレーム同期手段は、フレーム処理手段毎に、前記処理側更新情報メモリに記憶する識別子を読み出し、前記識別子に応じた復号手段の更新データを書き換えることを特徴とする請求項５記載のデータ転送方式。
【請求項１０】
前記フレーム同期手段は、前記更新状況の判定結果が有の場合、前記更新データに加え前記更新状況を前記フレーム処理手段に転送し、前記更新状況の判定結果が無の場合、前記更新状況を前記フレーム処理手段に転送し、
前記処理側更新情報メモリは、前記更新状況を記憶する領域をさらに有し、前記更新データと前記更新状況と対応づけて記憶することを特徴とする請求項６記載のデータ転送方式。
【請求項１１】
前記復号側更新情報メモリは、更新データが、差分であるか、フレームデータであるかを示す種別をさらに記憶し、
前記更新情報生成手段は、前記抽出した差分が所定値より小さい場合、前記種別を差分とし、前記差分を用いて更新データを生成し、前記抽出した差分が所定値より大きい場合、前記種別をフレームとし、フレームデータを用いて前記更新データを生成し、前記更新データと前記種別とを格納し、
前記処理側更新情報メモリは、前記種別を記憶する領域をさらに有し、
前記フレーム同期手段は、前記更新データと前記種別とを前記処理側更新情報メモリへ書き込み、
前記フレーム更新手段は、前記種別がフレームデータである場合、前記処理側フレームメモリに記憶するフレームデータを前記更新データと差し替えることを特徴とする請求項６記載のデータ転送方式。
【請求項１２】
前記少なくとも一つのフレーム処理手段は、複数のフレーム処理手段であり、
前記フレーム同期手段は、各フレーム処理手段に前記フレーム更新データを転送することを特徴とする請求項１乃至１１のいずれか一項に記載のデータ転送方式。
【請求項１３】
前記フレーム同期手段は、前記フレーム処理手段がフレームデータを加工するタイミングより前に、前記少なくとも一つの復号手段のフレームデータが更新されたか否かを検出し、前記更新データを前記フレーム処理手段に転送することを特徴とする請求項１乃至１２のいずれか一項に記載のデータ転送方式。
【請求項１４】
少なくとも一つの復号手段、前記少なくとも一つのフレーム処理手段、及び前記フレーム同期手段は、ネットワークを介して接続されていることを特徴とする請求項１乃至１３のいずれか一項に記載のデータ転送方式。
【請求項１５】
符号化された映像データを入力し、前記映像データを復号してフレームデータを生成して記憶する復号装置と、前記復号装置が復号したフレームデータを記憶し、前記フレームデータを加工するフレーム処理装置との間でフレームデータを転送するフレーム同期装置であって、
前記復号装置が記憶するフレームデータを前記フレーム処理装置に転送し、前記復号装置へ新たに入力される映像データに応じて、前記復号装置に記憶するフレームデータが更新されたことを検出し、検出した更新状況に応じて、前記フレーム処理装置が記憶するフレームデータの更新に用いる更新データを前記フレーム処理装置に転送するフレーム同期装置。
【請求項１６】
符号化された映像データを復号したフレームデータを、前記第一メモリに記憶し、
新たに入力される映像データに応じて、前記第一メモリに記憶したフレームデータを更新し、
前記第一メモリに記憶したフレームデータを、前記第一メモリとは異なる第二記憶記領域に転送し、
前記第二メモリに記憶したフレームデータを加工し、
前記第一メモリが記憶するフレームデータの更新に応じて、前記第二メモリが記憶するフレームデータの更新に用いる更新データを前記第二メモリへ転送するデータ転送方法。
【請求項１７】
前記第二メモリに記憶するフレームデータは、前記更新データを用いて、前記第一メモリに記憶するフレームデータと同じフレームデータに更新されることを特徴とする請求項１５記載のデータ転送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを転送方式に関し、特に、映像データを格納するメモリアクセスの処理負荷を軽減する転送方式に関する。
【背景技術】
【０００２】
リアルタイム映像処理システムでは、単純に映像の送受信を行うだけでなく、複数画像の合成等、様々なサービスを実現するためには映像に対する加工処理が必要となる。映像に対する加工処理では、符号化された映像データを一度復号し、非圧縮の画像データに対して処理を施さなければならない。加工処理の種類はサービスを受ける各ユーザによって様々であり、また柔軟に変更可能であることが要請される。このため、画像データを共通の装置を用いて処理するのが困難であり、サービスに応じた手段を用いて画像データを加工することが行われている。例えば、特許文献１〜４に関連する技術が開示されている。
【０００３】
符号化された映像データを一度非圧縮画像データ（フレームデータ）に復号し、そのフレームデータに対して処理を行うようなリアルタイム動画像処理システムの構成例を、図１１に示す。このシステム例は、復号部１０−０〜１０−Ｐ（Ｐ＞０の整数）、フレーム処理部１１−０〜１１−Ｑ（Ｑ＞０の整数）、及びフレームメモリ１２−０〜１２−Ｐから構成される。複数のフレームメモリ１２−０〜１２−Ｐが配置される領域を共有メモリ空間１３とする。復号部とフレームメモリの数（Ｐ＋１）は、入力動画像データの数に応じて決定される。また、フレーム処理部の数（Ｑ＋１）は、フレームデータを加工する種類に応じて決定される。
【０００４】
復号部１０−０〜１０−Ｐは、複数の入力動画像データ０〜Ｐに対して復号処理を行い、フレームデータ（フレーム化されたデータ）を共有メモリ空間１３へ出力する。このとき、復号部１０−０〜１０−Ｐは、共有メモリ空間１３が有するフレームメモリ１２−０〜１２−Ｐのうち予め対応づけられたメモリへ出力することになる。
【０００５】
フレームメモリ１２−０〜１２−Ｐは、復号部１０−０〜１０−Ｐが入力動画像データ０〜Ｐを復号して生成したフレームデータを格納する。
【０００６】
フレーム処理部１１−０〜１１−Ｑは共有メモリ空間１３中のフレームメモリ１２−０〜１２−Ｐから任意のフレームメモリを選択して参照し、フレーム処理を行う。ここで「フレーム処理」とは復号化されたフレームデータに対してそのサービスに応じた加工処理を施すものである。例えば、これには画像合成や画像サイズ変更等の再符号化の処理も含まれる。
【０００７】
図１１のシステムでは、フレームメモリ１２−０〜１２−Ｐは、復号部１０−０〜１０−Ｐとフレーム処理部１１−０〜１１−Ｑで使用する。すなわち、復号部１０−０〜１０−Ｐは、フレームデータを対応する共有メモリ空間１３内のフレームメモリ１２−０〜１２−Ｐへ書き込む。一方、フレーム処理部１１−０〜１１−Ｑは、フレームメモリ１２−０〜１２−Ｐに格納されたフレームデータを読み出す。このため、フレームメモリ１２−０〜１２−Ｐは、お互いがアクセス可能な共有メモリ空間１３に存在する必要がある。
【０００８】
ここで、配信先のユーザに応じた異なるフレーム処理をフレームデータへ施すシステムにおいて、ある一つの入力動画像データを一斉配信するような例を図１１のシステム構成例で考える。具体的な一例としては、テレビ会議の動画像データを各ユーザに一斉配信する場合である。
【０００９】
このような場合、各フレーム処理部１１−１〜１１−Ｑは、例えば、入力動画像データ０を各ユーザに応じた加工処理を施した後配信する。具体的には、入力動画像データ０は、復号部１０−０によって復号された後、フレームメモリ１２−０に出力される。そして、すべてのフレーム処理部１１−１〜１１−Ｑは、フレームメモリ１２−０に格納されたフレームデータを参照することになる。他の入力動画像データ１〜Ｎについても、同様に、復号部１〜Ｎによって復号され、出力される。そして、フレーム処理部１１−１〜１１−Ｑは、フレームメモリ１２−１〜１２−Ｐを参照することになる。
【特許文献１】特開２００１−１０３４８６号公報
【特許文献２】特開平５−１９１８０１号公報
【特許文献３】特開平６−３３４９８１号公報
【特許文献４】特開平１０−１３８２５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
図１１のようなシステムにおいて、復号部１０−０〜１０−Ｐは、復号処理したフレームデータをフレームメモリ１２−０〜１２−Ｐへ出力する。一方、フレーム処理部１１−１〜１１−Ｑは、共有メモリ空間が有するフレームメモリ１２−０〜１２−Ｐを参照する。このため、復号部１０−０〜１０−Ｐとフレームメモリ１２−０〜１２−Ｐ間で、フレームメモリ１２−０〜１２−Ｐへのアクセス競合が生じていた。従って、復号部１０−０〜１０−Ｐとフレーム処理部１１−０〜１１−Ｑのいずれかがフレームメモリ１２−０〜１２−Ｐをアクセスしているときには、待ち状態になり処理が滞っていた。
【００１１】
また、フレーム処理部１１−１〜１１−Ｑがそれぞれ独立して動作する場合、同一フレームメモリ１２−１〜１２−Ｐを複数のフレーム処理部１１−１〜１１−Ｑが同時に参照する事があり、フレームメモリ１２−１〜１２−Ｐに格納されたフレームデータを取得するための待ちが発生してしまう。このため、複数のフレームメモリ１２−０〜１２−Ｐ間で、フレームメモリ１２−０〜１２−Ｐへのアクセス競合が生じていた。従って、フレーム処理としての処理能力に影響を及ぼしていた。
【００１２】
このように、共有メモリ空間１３内のフレームメモリ１２−０〜１２−Ｐへのアクセスが競合することに伴って、処理負荷が生じているという問題があった。
【００１３】
本発明の目的は、映像データを利用するシステムにおいて、映像データへアクセスするための処理負荷を軽減する手法を提供することになる。
【課題を解決するための手段】
【００１４】
本発明に係るデータ転送方式の一態様は、符号化された映像データを入力し、前記映像データを復号してフレームデータを生成し、前記フレームデータを記憶し、新たに入力される映像データに応じて前記記憶したフレームデータを更新する、少なくとも一つの復号手段と、前記復号手段が復号したフレームデータを記憶し、前記フレームデータを加工する、少なくとも一つのフレーム処理手段と、前記復号手段が記憶するフレームデータを前記フレーム処理手段に転送し、前記復号手段が記憶するフレームデータの更新に応じて、前記フレーム処理手段が記憶するフレームデータの更新に用いる更新データを前記フレーム処理手段に転送するフレーム同期手段と、を備える。
【００１５】
また、本発明に係るフレーム同期装置の一態様は、符号化された映像データを入力し、前記映像データを復号してフレームデータを生成して記憶する復号装置と、前記復号装置が復号したフレームデータを記憶し、前記フレームデータを加工するフレーム処理装置との間でフレームデータを転送するフレーム同期装置であって、前記復号装置が記憶するフレームデータを前記フレーム処理装置に転送し、前記復号装置へ新たに入力される映像データに応じて、前記復号装置に記憶するフレームデータが更新されたことを検出し、検出した更新状況に応じて、前記フレーム処理装置が記憶するフレームデータの更新に用いる更新データを前記フレーム処理装置に転送する。
【００１６】
さらに、本発明に係るデータ転送方法の一態様は、符号化された映像データを復号したフレームデータを、前記第一メモリに記憶し、新たに入力される映像データに応じて、前記第一メモリに記憶したフレームデータを更新し、前記第一メモリに記憶したフレームデータを、前記第一メモリとは異なる第二記憶記領域に転送し、前記第二メモリに記憶したフレームデータを加工し、前記第一メモリが記憶するフレームデータの更新に応じて、前記第二メモリが記憶するフレームデータの更新に用いる更新データを前記第二メモリへ転送する。
【発明の効果】
【００１７】
本発明によれば、映像データへアクセスするための処理負荷を軽減させることが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。また、本明細書では、同じ構成要素が複数存在し、それぞれを区別する場合に、符号に"−ｎ"（ｎ≧０の整数）付加して、複数の構成要素それぞれを区別するものとする。例えば、図１では、複数の復号部２０−０、２０−１・・・２０−ｊ（ｊ＞０）を示している。図１を用いて説明する場合、復号部２０は、複数の復号部２０−０〜２０−ｊのいずれか一つまたは複数を示すものとし、復号部２０−０（あるいは、復号部２０−１など）は、複数の復号部のそれぞれを区別して示すものとする。
【００１９】
以下の説明において、入力動画像データ（映像データともいう）は、符号化されたデジタルデータであることを前提とする。また、出力動画像データは、復号した入力動画像データをフレーム処理（加工処理）したデジタルデータである。
【００２０】
図１は、本発明の実施形態１のデータ転送方式の構成例を示すブロック図である。データ転送方式は、例えば、符号化された動画像データを入力とし、動画像データを復号したフレームデータを加工後、リアルタイムに配信する動画処理システムに適用することができる。
【００２１】
図１に示すデータ転送方式は、復号部２０−０〜２０−Ｎ（Ｎ＞０の整数）、フレーム同期部２１、及びフレーム処理部２２−０〜２２−Ｍ（Ｍ＞０の整数）から構成される。復号部２０−０〜２０−Ｎ全体をデータ復号処理手段２００ということもある。また、フレーム処理部２２−０〜２２−Ｍ全体を加工処理手段２２０ということもある。
【００２２】
復号部２０は、入力動画像データを受け取り、入力動画像データを復号処理してフレームデータを生成し、フレームデータを自己の記憶領域内に記憶する。そして、新たに入力される入力動画像データに応じて、記憶したフレームデータを更新する更新状況（フレーム更新情報）を記憶する。復号部２０は、入力動画像データの数に応じて用意される。図１に示すデータ転送方式は、入力動画像データの数と同じ数の復号部２０を有する。また、復号部２０は、少なくとも入力動画像データの数が用意されていればよく、それ以上、具体的には、（Ｎ＋１）より多い数の復号部２０を備える場合であってもよい。この場合、入力動画像データが増えた場合に対応することが可能になる。各復号部２０−０〜２０−Ｎは、入力動画像データ０〜Ｎの一つと対応づけられている。各復号部２０−０〜２０−Ｎは、識別子（「フレーム識別子」、「動画像識別子」ともいう）によってどの入力動画像データを入力し処理するかを識別する。識別子は、入力動画像データと一対一の関係で付与される。従って、識別子は、復号部２０及び各復号部２０が復号したフレームデータと一対一の関係となる。
【００２３】
図２に復号部２０の構成例を示す。復号部２０は、復号処理部２０１、第一フレームメモリ２０２、第二フレームメモリ２０３、更新情報生成部２０４、更新情報メモリ（フレーム更新情報メモリ）２０５を備える。
【００２４】
復号処理部２０１は、符号化された入力動画像データを復号してフレームデータを生成し、自身のローカルメモリ内の第一フレームメモリ２０２、または第二フレームメモリ２０３に記憶するフレームデータを更新する。
【００２５】
第一フレームメモリ２０２、第二フレームメモリ２０３は、フレームデータを記憶する領域であり、最新のフレームデータと一つ前に復号処理したフレームデータとを交互に記憶する。具体的には、最新のフレームデータを前回書き込んでないメモリへ格納する。以降の説明では、二つのフレームデータのうち、新しく入力動画像データを復号処理したものを「最新フレームデータ」、一つ前に入力した入力動画像データを復号処理したものを「前回フレームデータ」として区別する。
【００２６】
更新情報生成部２０４は、最新フレームデータと前回フレームデータとを比較し、比較結果に基づいてフレーム更新情報を生成する。本実施形態では、最新フレームデータと前回フレームデータとを用いて、差分抽出を行い、差分情報の符号化・圧縮処理を行い、フレーム更新情報を更新する場合を一例として説明する。本実施形態のように差分抽出を用いてフレーム更新情報を生成する場合、機能を明確にするため、更新情報生成部の名称に替えて、「差分符号化処理部」ということもある。更新情報生成部２０４が差分符号化処理にて差分抽出を行うため、復号部２０は、第一フレームメモリ２０２と第二フレームメモリ２０３との２面以上のフレームメモリを必要とすることになる。
【００２７】
更新情報メモリ２０５は、更新情報生成部２０４が生成したフレーム更新情報を記憶する。更新情報メモリ２０５に記憶するフレーム更新情報は、フレーム同期部２１によって読み出される。更新情報メモリ２０５は、更新情報生成部２０４が書き込みを行う際には、フレーム同期部２１の読み出しとアクセスが競合しないような手順がとられる。
【００２８】
フレーム処理部２２は、復号部２０が復号したフレームデータを自己の記憶領域内に記憶し、フレームデータを加工し、出力動画像データを生成し、出力する。また、復号部２０が記憶するフレームデータが更新された場合に、復号部２０が生成したフレーム更新情報を用いて自己の記憶領域に記憶するフレームデータを更新する。フレーム処理部２２は、出力動画像データ数分必要である。すなわち、復号したフレームデータを用いて加工する仕様（形式）の種類の数必要となる。図１では、（Ｍ＋１）の数のフレーム処理部２２を備える例を示している。また、各フレーム処理部２２は、自己の記憶領域内に（Ｎ＋１）の数のフレームデータを記憶する記憶領域を必要とする。すなわち、フレーム処理部２２は、入力動画像データと復号部２０との数と一致する数のフレームデータを記憶する記憶領域を有する。
【００２９】
図３にフレーム処理部２２の構成例を示す。フレーム処理部２２は、更新情報メモリ２２１、フレーム更新部２２２、フレームメモリ２２３−０〜２２３−Ｎ（Ｎ＞０の整数）、及びフレーム加工部２２４を備える。フレームメモリの数（Ｎ＋１）は、復号部２０の数と同じである。
【００３０】
更新情報メモリ２２１は、復号部２０が生成したフレーム更新情報を記憶する。
【００３１】
フレーム更新部２２２では、更新情報メモリ２２１に記憶するフレーム更新情報に基づいて、フレームメモリ２２３が記憶するフレームデータを更新する。本実施形態では、復号部２０が備える更新情報生成部２０４は、差分抽出を行い、差分情報を符号化・圧縮処理したフレーム更新情報を生成する。従って、フレーム更新部２２２は、フレーム更新情報に含まれる差分符号化データからフレームメモリを復元し、自己の記憶領域内のフレームデータを更新する。本実施形態のように差分抽出を含むフレーム更新情報を用いてフレームデータを復元する場合、機能を明確にするため、フレーム更新部の名称に替えて、「フレーム復元処理部」ということもある。
【００３２】
フレームメモリ２２３−０〜２２３−Ｎは、復号部２０が復号したフレームデータを記憶する記憶領域である。フレームメモリ２２３は、すべての入力動画像データを復号したフレームデータを参照可能とするために、入力動画像データ数と同じまたはそれ以上の記憶領域を必要とする。図１の構成では、フレーム処理部２２は、Ｎ＋１と同じ数またはそれ以上のフレームメモリ２２３を有する必要がある。
【００３３】
フレーム加工部２２４は、フレームメモリ２２３に記憶するフレームデータを用いて、所望の仕様に加工して出力動画像データを生成し出力する。
【００３４】
フレーム同期部２１は、復号部２０が記憶するフレームデータをフレーム処理手段に転送する。また、復号部２０が記憶するフレームデータの更新に応じて、フレーム処理部２２が記憶するフレームデータの更新に用いるフレーム更新情報をフレーム処理部２２に転送する。本実施形態では、各復号部２０が記憶する更新情報メモリ２０５にフレーム更新情報を参照し、各フレーム処理部２２が更新情報メモリ２２１に記憶するフレーム更新情報と同期させる。フレーム同期部２１は、復号部２０からフレーム更新情報を取得し、一時的に記憶するテンポラリメモリ２１１を有する。また、フレーム同期部２１は、必要に応じて、フレーム同期部２２からフレーム更新情報を取得し、テンポラリメモリ２１１へ保持する。フレーム同期部２１の機能については、後述する動作の説明において詳述する。
【００３５】
図４にフレーム更新情報の一例を示す。復号部２０、フレーム処理部２２において記憶するフレーム更新情報とは、図４に示すような情報テーブルである。図４では、各復号部２０−０〜２０−Ｎが有する更新情報メモリ２０５に記憶するフレーム更新情報それぞれを符号７０−０〜７０−Ｎをつけて示している。また、各フレーム処理部２２−０〜２２−Ｎが有する更新情報メモリ２２１に記憶するフレーム更新情報それぞれを符号７２−０〜７２−Ｍをつけて示している。
【００３６】
フレーム更新情報は、構成要素として、「識別子」、「更新状況」、「種別」、「データ（更新データ）」を有する。以下にそれぞれの要素について説明する。
「識別子」は、復号部２０とフレーム処理部２２で対応するフレーム更新情報を識別するために使用する。識別子は、入力動画像データに対応させて付与される。
「更新状況」は、そのフレーム更新情報が更新されたか否かを判断するのに使用する。更新状況が有（例えば、Ｈｉｇｈ）か、無（例えば、Ｌｏｗ）かによって判定することができる。
「種別」は、更新されたデータが差分情報であるか、フレーム情報であるかを識別するのに使用する。種別については後述する。
「データ」は、復号部からフレーム処理部へ転送されるデータで、差分情報またはフレーム情報が格納される。図４では、データを格納する領域は空欄で示し、データ内容の表示を省略している。また、本実施形態では「データ」は、「更新状況」が有の場合に有効であり、無の場合には無効であることを前提とする。これにより、「更新状況」が無の場合に、データをクリアする必要がなくなる。
【００３７】
なお、復号部２０とフレーム処理部２２とが有する構成要素の名称が同じ場合、それぞれを区別するため、「復号側」、または、「処理側」という接頭辞をつけて区別する場合がある。例えば、「復号側更新情報メモリ」、「処理側フレームメモリ」などの名称によって区別する。また、復号部２０が備える第一フレームメモリ２０２と第二フレームメモリ２０３とをまとめて、「復号側フレームメモリ」ということもある。
【００３８】
次に、図１から図７を参照して動作について詳細に説明する。図５は、実施形態１の復号部２０の動作例を示すフローチャートである。図６は、実施形態１のフレーム処理部２２の動作例を示すフローチャートである。図７は、実施形態１のフレーム同期部２１の動作例を示すフローチャートである。まず復号部２０の動作フローについて、図３を使用して説明する。
【００３９】
復号処理部２０１は、入力動画像データを復号し、最新フレームデータを生成する（Ｓ３０１）。その後、前回更新したフレームメモリ面を判断する（Ｓ３０２）。例えば、復号処理部２０１は、第一フレームメモリ２０２と第二フレームメモリ２０３のどちらを使用したからのフラグを保持し、フレームメモリへ最新フレームデータを書き込んだ後、フラグを更新することによって、次回更新するフレームメモリを特定する。復号処理部２０１は、前回更新した面でないフレームメモリへ最新フレームデータを書き込んで更新する（Ｓ３０３，Ｓ３０４）。
【００４０】
次に更新情報生成部２０４は、前回更新した前回フレームデータと、今回更新した最新フレームメモリから、空間的な相関を考慮し、フレーム差分を算出し、差分情報を抽出する（Ｓ３０５）。更新情報生成部２０４は、差分の有無を判定し（Ｓ３０６）、差分がない場合（Ｓ３０６でＮＯ）、フレーム更新情報の「更新状況」を無にして（Ｓ３１３）処理を終了する。差分がある場合（Ｓ３０５でＹＥＳ）、更新情報生成部２０４は、差分情報量が一定の閾値内にあるかどうかを判断する（Ｓ３０７）。
【００４１】
差分情報が一定の閾値内である場合（Ｓ３０７でＹＥＳ）、更新情報生成部２０４は、転送の対象を差分情報とし（Ｓ３０８）、差分情報を可変長符号化する（Ｓ３１０）。例えば、更新情報生成部２０４は、差分情報をエントロピー符号化し可逆（lossless）圧縮する（Ｓ３１１）。例えばこの際局所的にフレーム変分がある場合、変分画像周辺部分のみを抽出した情報となる。差分抽出処理を簡略化したイメージを図８に示す。図８では、第一フレームメモリ２０２に最新フレームデータ、第二フレームメモリ２０３に前回フレームデータが記憶されている場合を一例として示している。
【００４２】
一方、差分情報が著しく大きい（閾値より大きい）と判断した場合（Ｓ３０７でＮＯ）、更新情報生成部２０４は、最新フレームデータのみを用いて（静止画として）可逆圧縮する（Ｓ３１１）。可逆圧縮には比較的大きな演算が必要になることから、演算器のスペックと伝送帯域とのトレードオフで転送情報を非圧縮情報とすることも可能である。
【００４３】
更新情報生成部２０４は、ステップＳ３１１で圧縮した情報を最新のフレーム更新情報として、復号部２０内の更新情報メモリ２０５へ書き込み、フレーム更新情報を更新する（Ｓ３１２）。以上図５を用いて説明したように、復号処理部２０１は、ステップＳ３０１からＳ３０４までを復号処理を実施し、更新情報生成部２０４は、ステップＳ３０５からＳ３１２までを差分符号化処理（更新情報生成処理）を実施する。
【００４４】
次にフレーム処理部２２の動作フローについて、図６を使用して説明する。図６中の変数ｉ（０≦ｉ≦Ｎの整数）は、処理するフレームメモリ２２３を指定する。すなわち、変数ｉは、識別子と対応づけられる。図６では、変数ｉに初期値零が設定され（Ｓ４０１）、変数ｉがＮ以下の場合、ステップＳ４０２からＳ４１２の処理を繰り返す。変数ｉは、例えば、図１〜３の符号において、入力動画像データｉ、復号部２０−ｉ、フレームメモリ２２３−ｉのように対応させることができる。
【００４５】
フレーム更新部２２２は、フレームメモリ２２３と対応づけられた識別子に応じて、更新情報メモリ２２１に記憶するフレーム更新情報の「更新状況」を取得し（Ｓ４０３）、更新の有無を判断する（Ｓ４０４）。更新がない場合（Ｓ４０４でＮＯ）、フレームメモリ更新の必要がないためそのままフレーム処理（Ｓ４１０）を継続する。一方、更新がある場合（Ｓ４０４でＹＥＳ）、フレーム更新部２２２は、フレーム更新情報に含まれる「種別」を参照し、フレーム更新情報に含まれる、復号部２０から転送されたデータの種別を判断する（Ｓ４０５）。
【００４６】
種別が「差分」情報である場合、転送されたデータは、復号部２０が差分情報を符号化した情報であることを示す。従って、フレーム更新部２２２は、転送されたデータを可変長復号し（Ｓ４０６）、差分情報と自身のフレームメモリ２２３に記憶するフレームデータとを基に、最新フレームデータの復元を行い（Ｓ４０８）、最新フレームデータ用いてフレームメモリ２２３を更新する（Ｓ４０９）。
【００４７】
種別が「フレーム」情報である場合、転送されたデータは、復号部２０においてフレーム差分情報が閾値を超えたと判断され、更新フレームのみを可逆圧縮した転送データであることを示す。従って、フレーム更新部２２２は、転送されたデータを可変長復号し（Ｓ４０７）、復号されたデータ（最新フレームデータ）を用いてフレームメモリを更新する（Ｓ４０９）。
【００４８】
種別は「差分」、「フレーム」に限らず、パターンを増やす事により、システムの負荷状況等に応じて転送データの符号化方法を変更する事も可能となる。
【００４９】
フレーム加工部２２４は、更新処理されたフレームメモリに記憶するフレームデータを使用してフレーム処理を行う（Ｓ４１０）。これら一連の処理は所有するフレームメモリ数分繰り返し実施される（Ｓ４１１、Ｓ４１２）。具体的には、フレーム処理部２２は、変数ｉを０からＮまでカウントアップすることによって、ｉ番目の復号部２０が有するフレーム更新情報に基づいて、ｉ番目のフレームメモリ２２３に記憶するフレームデータを更新する。以上図６を用いて説明したように、フレーム更新部２２２は、ステップＳ４０３からＳ４０９までのフレーム復元処理（フレーム更新処理）を実施する。
【００５０】
続いてフレーム同期部の動作フローを図７を用いて説明する。図７中の変数ｉ（０≦ｉ≦Ｎ）は、図６と同様であり、識別子と対応づけられる。図７では、変数ｉに初期値零が設定され（Ｓ５０１）、変数ｉがＮ以下の場合、ステップＳ５０２からＳ５１２の処理を繰り返す。また、図７中の変数ｊ（０≦ｉ≦Ｍの整数）は、処理対象とするフレーム処理部２２を指定する。図７では、変数ｊに初期値零が設定され（Ｓ５０６）、変数ｊがＭ以下の場合、ステップＳ５０７からＳ５１０の処理を繰り返す。変数ｊは、フレーム処理部２２−ｉのように対応する。
【００５１】
フレーム同期部２１は、復号部２０−０から復号部２０−Ｎそれぞれが記憶するフレーム更新情報を読み出し、自己のテンポラリメモリ２１１に記憶し、フレーム更新情報に基づいて「更新状況」を判定する（Ｓ５０３）。フレーム同期部２１は、「更新状況」が「有」である場合、フレーム更新情報の「更新状況」、「種別」、「データ」を転送対象とする。一方、フレーム同期部２１は、「更新状況」が「無」である場合、フレーム更新情報の「更新状況」を転送対象とする。転送対象とする項目から構成される転送用データ（転送用の更新情報）をテンポラリメモリ２１１へ生成する（Ｓ５０４、Ｓ５０５）。
【００５２】
フレーム同期部２１は、フレーム処理部２２−０からフレーム処理部２２−Ｎそれぞれが有する更新情報メモリ２２１内の該当する識別子のフレーム更新情報へ、転送用データを転送する（Ｓ５０６〜Ｓ５０８）。具体的には、フレーム同期部２１は、変数ｊを０からＭまでカウントアップする。これにより、フレーム処理部２２の各更新情報メモリ２２１へ、ｉ番目の復号部２０が有するフレーム更新情報に基づいて生成した転送用データを書き込む（Ｓ５０８）。また、フレーム同期部２１は、変数ｉを０からＮまでカウントアップすることによって、ｉ番目の復号部２０が有するフレーム更新情報を、各フレーム処理部２２が有する更新情報メモリ２２１へ反映させる。より具体的には、ｉ番目の復号部２０が有するフレーム更新情報に対応づけられる識別子に応じて、更新情報メモリ２２１が記憶するフレーム更新情報を更新する。
【００５３】
図４に、フレーム同期部２１がフレーム更新情報を更新する状況例を示している。図４では復号部２０−０および２０−１のフレーム更新情報（７０−０，７０−１）が「更新状況」が有であり、フレームデータが更新されていることを示している。復号部２０−Ｎのフレーム更新情報７０−Ｎは、「更新状況」が無の場合を示している。また、復号部２０−０の「種別」が「差分」情報で、復号部２０−１が「フレーム」情報である場合の例を示している。これらの情報がすべてのフレーム処理部２２のフレーム更新情報（７２−０〜７２−Ｍ）に反映される。図４では、フレーム更新情報７０−０に基づく転送用データの転送状況を、点線で示している。同様に、フレーム更新情報７０−１に基づく転送用データの転送状況を実線、フレーム更新情報７０−Ｎに基づく転送用データの転送状況を２点鎖線で示している。図４に示すように、各復号部２０が有するフレーム更新情報７０−０〜７０−Ｎは、各フレーム処理部２２のフレーム更新情報７２−０〜７２−Ｍそれぞれへ反映される。
【００５４】
このように、フレーム同期部２１は、図７に示す逐次処理を一定の周期で実施することによって、復号部２０とフレーム処理部２２との間でフレームデータへのアクセスが競合することなくフレームメモリの同期を実現する。また、フレーム同期部２１は、これら一連の動作を、フレーム処理部側でフレーム参照する周期よりも速い周期で実施するようにしなければならない。例えばフレーム処理部が５ＦＰＳ（Frame Per Second）で出力しなければならない符号器である場合、２００ミリ秒以下の周期で転送を行わないと、最新の復号フレームを符号化できなくなるためである。
【００５５】
このように、本実施形態によれば、フレーム同期部２１がフレームデータの転送処理を担うことによって、復号部２０とフレーム処理部２２との間、並びに、複数のフレーム処理部２２の間における、フレームデータを記憶するメモリへアクセスするときに生じる競合を回避することができる。例えば、フレーム処理部２２は、他のフレーム処理部２２との間でのフレームデータを記憶するメモリへアクセスするときの待ち合わせ処理がなくなる。これにより、フレーム処理部２２は、本来のフレーム処理に専念できることになり、安定した動作による性能向上が見込まれる。
【００５６】
また、情報量の多い非圧縮画像データの転送を可能な限り少なくすることによって、システム内の伝送におけるトラフィック負荷を軽減することができる。例えば、差分情報抽出により、転送用データの情報量を削減することによって実現することができる。このように、アクセス競合を回避し、あるいは、転送する情報量を削減することによって、フレームデータを記憶するメモリへアクセスする処理負荷を軽減することが可能となる。
【００５７】
（実施形態２）
実施形態１では、データ復号処理手段２００は複数の復号部２０を備える例を示したが、一つの復号部２０を備える場合であっても本発明のデータ転送方式及び方法を適用することはできる。具体的には、入力動画像データが一つの場合、一つの復号部２０が入力動画像データを復号処理してフレームデータを生成する。例えば、一つの場所で開催されている会議あるいは講演などの動画像データを、配信先に応じた仕様（形式）に加工する複数のフレーム処理部２２がフレーム処理する場合である。このような場合にも、復号部２０と複数のフレーム処理部２２の間、並びに複数のフレーム処理部２２の間において、フレームデータへのアクセスの競合を回避することができる。また、転送する情報量を削減することが可能である。
【００５８】
また、加工処理手段２２０は複数のフレーム処理部２２を備える例を示したが、一つのフレーム処理部２２を備える場合であっても本発明のデータ転送方式及び方法を適用することはできる。具体的には、複数の入力動画像データを一つのフレーム処理部２２がフレーム処理する場合である。例えば、配信先が一つの場合、あるいは複数であっても同じ仕様のデータを配信する場合である。このような場合にも、複数の復号部２０とフレーム処理部２２との間において、フレームデータへのアクセスの競合を回避することができる。また、転送する情報量を削減することが可能である。
【００５９】
さらに、一つの復号部２０と一つのフレーム処理部２２の構成であっても、本発明を適用することは可能である。この場合であっても、復号部２０とフレーム処理部２２との間において、フレームデータへのアクセスの競合を回避することができる。また、転送する情報量を削減することが可能である。
【００６０】
（実施形態３）
実施形態１では、フレーム同期部２１がフレーム更新情報を復号部２０の更新情報メモリ２０５から読み出す手順を説明した。しかしながら、復号部２０の更新情報生成部２０４がフレーム更新情報を生成した後、復号部２０（例えば、更新情報生成部２０４）がフレーム同期部２１へ送出するような構成をとってもよい。フレーム同期部２１は、例えば、ＦＩＦＯ（First In First Out）バッファを備え、フレーム更新情報を受け付けた順番に処理することによって、フレーム処理部２２が保持するフレーム更新情報を更新することができる。
【００６１】
また、図４は、フレーム更新情報の項目の一例を示したものであり、この項目に限られることはない。また、上述した４つの要素全部を有しない場合であってもよい。少なくとも、「データ」（更新データ）を有していればよい。例えば、入力動画像データが一つである場合、「識別子」を設定しなくても本発明に係るデータ転送方式及び方法を実現することができる。また、フレーム同期部２１がフレームデータを毎回復号部２０からフレーム処理部２２へ転送する場合、「種別」を必要としない。あるいは、フレーム同期部２１が転送する情報が一つの種類である場合、「種別」がなくても実現可能である。さらに、フレーム同期部２１が復号部２０からフレームデータまたは更新データのいずれかを受け付け、受け付けたフレームデータまたは更新データをフレーム処理部２２へ転送する手法を取る場合、「更新状況」を必要としない。さらに、これらを用いた種々の態様に応じて、更新情報メモリは、必要な要素をフレーム更新情報として記憶する領域を有するようにすればよい。また、図４の要素以外に、更新状況のレベルを示す情報を有するなどその他の要素を有する場合であってもよい。
【００６２】
（実施形態４）
復号部２０が備える更新情報生成部２０４は、実施形態１に説明したような、最新フレームデータと前回フレームデータとを用いて、差分抽出する場合に限られることはない。フレーム処理部２２が保持するフレームデータを、最新のフレームデータに更新することができる情報であればよい。従って、フレームデータを毎回送信する場合であってもよい。このような構成の場合、復号部２０は、一つのフレームメモリを備える構成で実現することも可能である。
【００６３】
実施形態１では、復号部２０は、二つのフレームメモリを有し、最新のフレームデータと一つ前のフレームデータとを記憶し、二つのフレームデータを用いてフレーム更新情報を生成する例を説明した。これに限られることはなく、例えば、フレーム更新情報を生成しないで、フレームデータが更新された場合、フレームデータそのもの（あるいは圧縮したデータ）を送信する形態の場合にも本発明を適用することは可能である。このような場合、差分情報を転送する場合に比べてデータ転送量は多くなることが想定される。しかしながら、本発明を適用することによって、復号部２０とフレーム処理部２２間、または、複数のフレーム処理部２２の間において、フレームデータへのアクセス競合は、回避される。また、入力動画像データの変化の状態（例えば、定期的に変更されるなど）の場合には、復号部２０がフレームデータの更新を示すフラグを有するなどすることによって、フレーム同期部２１がフレームデータを転送する回数を削減することが可能になる。
【００６４】
（実施形態５）
実施形態１では、フレーム処理部２２は、（Ｎ＋１）個のフレームメモリ２２３を備えることを前提として説明した。しかしながら、フレーム処理部２２は、（Ｎ＋１）個の入力動画像データのうち、利用する入力動画像データの数のフレームメモリ２２３を備える構成であってもよい。この場合、図４に示したフレーム更新情報７２についても、フレームメモリ２２３の数に対応する情報を記憶すればよい。従って、更新情報メモリ２２１は、利用するフレームメモリ２２３の数の情報を、フレーム更新情報を識別子と対応させて記憶することが可能である。
【００６５】
また、フレーム処理部２２が、フレーム更新情報をすべて記憶していない場合、フレーム同期部２１は、フレーム処理部２２の更新情報メモリ２２１に記憶する識別子を読み出し、更新情報メモリ２２１に記憶する識別子と一致する転送用データをフレーム処理部２２へ転送する。あるいは、フレーム同期部２１は、テンポラリメモリ２１１に各フレーム処理部２２が利用するフレームデータの識別子を保持することも可能である。これにより、転送用データの情報量を削減することができる。また、フレーム処理部２２は、フレームメモリ２２３と更新情報メモリ２２１の記憶領域を削減することができる。
【００６６】
（実施形態６）
実施形態１では、フレーム同期部２１は、「更新状況」の有無に応じて、フレーム更新情報から転送用データを生成してフレーム同期部２１へ転送する態様を説明したが、「更新状況」が有の場合のみ、転送用データを転送する態様であってもよい。図９に、「更新状況」が有の場合に、フレーム同期部２１がフレーム更新情報を転送する動作例のフローチャートを示す。図７と同じ符号の処理は実施形態１と同様である。また、図１０に、フレーム更新情報の転送状況を示す。図１０に示すように、フレーム同期部２１は、各復号部２０からフレーム更新情報を読み出す。フレーム同期部２１は、識別子０、１では、「更新状況」が有のため、フレーム更新情報をフレーム処理部２２へ転送するが、識別子Ｎでは「更新状況」が無のため、転送しない。
【００６７】
具体的には、図９において、フレーム同期部２１は、「更新状況」が有（Ｓ６０１で更新＝有）の場合に、各フレーム処理部２２にフレーム更新情報を転送する動作を実施する（Ｓ５０４〜Ｓ５１０）。ステップＳ６０２において、フレーム同期部２１は、「更新状況」、「種別」、及び「データ」をフレーム処理部２２へ転送する。この場合、「更新状況」が無の識別子に対応するフレーム更新情報は、書き換えられないため、フレーム処理部２２は、更新情報メモリ２２１に記憶する「更新状況」をクリアする必要が生じる。例えば、フレーム更新部２２２は、フレーム更新情報を用いてフレームメモリ２２３のフレームデータを更新した後、「更新状況」をクリア（例えば無にする）する。これにより、一度更新情報メモリ２２１に書き込まれたフレーム更新情報に基づいてフレームデータを更新した後、同じ情報を用いて再度フレームデータを更新することを回避できる。この場合、フレーム処理部２２内の処理は増えるものの、フレーム同期部２１がフレーム処理部２２へ転送する情報量を削減することになる。
【００６８】
（その他の実施形態）
本発明は、一例として、テレビ会議システムに適用することができる。例えば、ネットワーク上に分散して配置された復号部２０とフレーム処理部２２とから構成されるシステムであってもよい。各地点で撮影され、符号化された入力動画像データを各復号部２０が復号する。入力動画像データを利用するフレーム処理部２２は、各地点で撮影された複数の入力動画像データを加工し、出力動画像データを生成し、配信する。
【００６９】
また、ネットワーク上に分散して配置された復号部２０やフレーム処理部２２に限られることはない。本発明は、例えば、一つのコンピュータ内に復号部２０やフレーム処理部２２が搭載されたシステム（装置）に適用することも可能である。
【００７０】
さらに、本発明に係るデータ転送方式及び方法の一態様を、フレームデータを記憶する記憶領域に注目すると、フレームデータを記憶する第一メモリと第一メモリとは異なる第二メモリを配置し、フレーム同期部２１は、第一メモリから第二メモリへフレームデータを転送する。ここで、第一メモリは、復号部２０に配置されるフレームメモリ（第一フレームメモリ２０２、第二フレームメモリ２０３）に対応し、第二メモリは、フレーム処理部２２に配置されるフレームメモリ２２３に対応する。
【００７１】
より具体的には、データ転送方式及び方法は次の動作を実施している。まず、復号部２０は、符号化された映像データを復号したフレームデータを、第一メモリに記憶し、新たに入力される映像データに応じて、第一メモリに記憶したフレームデータを更新する。フレーム同期部２１は、第一メモリに記憶したフレームデータを、第一メモリとは異なる第二記憶記領域に転送する。フレーム処理部２２は、第二メモリに記憶したフレームデータを加工する。さらに、フレーム同期部２１は、第二メモリが記憶するフレームデータの更新に用いる更新データを第二メモリへ転送する。フレーム処理部２２は、更新データを用いて、第二メモリに記憶するフレームデータを、第一メモリに記憶するフレームデータと同じフレームデータに更新する。
【００７２】
なお、上記各実施形態では、入力動画像データを入力とし、出力動画像データを出力として説明したが、本発明は、動画像データを入出力する場合に限られるわけではない。テキストデータなどに比べ情報量の多い、映像データ、画像データ、写真など、ビットマップデータを扱うシステムに適用することができる。例えば、複数の静止画像データを入出力するデータ転送方式に適用することも可能である。このような場合にも、データをアクセスする際に発生する競合を回避することが可能である。例えば、符号化された複数の静止画像データが入力されるようなデータ転送方式において、複数の静止画像データを復号し、複数の静止画像データの全部あるいはその一部を用いて加工処理した後、静止画像データを出力する場合、復号した静止画像データへのアクセスの競合を回避することができる。特に、静止画像データを所定の周期で入力し、復号・加工した静止画像データを出力するようなデータ転送方式では、復号した静止画像データへのアクセスの競合を回避することができる。これにより、静止画像データへアクセスする処理負荷を軽減することが可能となる。
【００７３】
以上説明したように、本発明の実施形態のいずれか一つのデータ転送方式及び方法によれば、フレームデータを記憶するメモリへのアクセス競合を回避する手段を実現する。具体的には、共有メモリへのアクセス方式をやめ、復号部、フレーム処理部それぞれに専用のフレームメモリを配備する。また、フレーム同期部により各フレームメモリに記憶する内容を同期させる。これにより、フレームデータまたはフレームデータの更新情報の転送処理を復号部、フレーム処理部とは独立したフレーム同期部にて直列で処理させることによって、フレームデータを記憶するメモリへの重複アクセスによる競合を避けることが可能となる。さらに、復号部及びフレーム処理部は、フレームデータの転送を意識せず、自身のローカルメモリ領域のみを使用することによって、本来の処理（例えば、復号処理、フレーム処理）に専念することができる。
【００７４】
また、本発明の実施形態のいずれか一つのデータ転送方式及び方法によれば、伝送の負荷を軽減する手段を実現する。具体的には、復号部からフレーム処理部へ転送するフレームデータを、転送元フレームと転送先フレームの差分情報のみとし、フレーム処理部では差分情報を元にフレームを復元する手段を用いる。これによりデータ量の多い非圧縮画像データを、狭帯域においても欠落なしで転送することを可能とする。また、各復号部と各フレーム処理部の間で伝送される情報量を削減することができる。
【００７５】
より具体的には、フレーム処理部は、復号されたフレームデータに対して加工を施す。従って、復号部からフレーム処理部への伝送路を流れるデータは情報量の多い非圧縮画像データとなる。またフレームの使用用途（フレーム処理）は各フレーム処理部で異なる可能性があるため、復号部から出力されたデータをすべてのフレーム処理部で扱えるようにする必要がある。このように情報量が多いことから伝送路に十分な帯域（伝送容量）がない場合、たとえ各処理部が高い処理能力を有していても、帯域がボトルネックとなり復号部、フレーム処理部の個数が制限されてしまう。また高負荷による遅延等でサービスの低下を引き起こす可能性がある。このため、フレーム同期部２１がフレームデータの伝送を担うことにより、これらの問題を解決することができる。
【００７６】
このようにして、本発明に係るデータ転送方式及び方法は、情報量の多い映像データを扱うシステムにおいて、メモリへアクセスする処理負荷の軽減と、映像データを効率よく伝送するために情報を圧縮し転送のトラフィック負荷を軽減することを可能とする。
【００７７】
なお、本発明は上記に示す実施形態に限定されるものではない。本発明の範囲において、上記実施形態の各要素を、当業者であれば容易に考えうる内容に変更、追加、変換することが可能である。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施形態１のデータ転送方式の構成例を示すブロック図である。
【図２】復号部の構成例を示すブロック図である。
【図３】フレーム処理部の構成例を示すブロック図である。
【図４】フレーム更新情報の一例を示す図である。
【図５】実施形態１の復号部の動作例を示すフローチャートである。
【図６】実施形態１のフレーム処理部の動作例を示すフローチャートである。
【図７】実施形態１のフレーム同期部の動作例を示すフローチャートである。
【図８】復号部の処理の一例を示す図である。
【図９】実施形態６のフレーム同期部の動作例を示すフローチャートである。
【図１０】実施形態６において、フレーム更新情報が更新される状況例を示す図である。
【図１１】関連するリアルタイム動画像処理システムの構成例を示す図である。
【符号の説明】
【００７９】
２０−０〜２０−Ｎ  復号部、
２１  フレーム同期部
２２−０〜２２−Ｍ  フレーム処理部
２０１  復号処理部
２０２  第一フレームメモリ
２０３  第二フレームメモリ
２０４  更新情報生成部
２０５  更新情報メモリ
２２１  更新情報メモリ
２２２  フレーム更新部
２２３−０〜２２３−Ｎ  フレームメモリ
２２４  フレーム加工部
７０−０〜７０−Ｎ，７２−０〜７２−Ｍ  フレーム更新情報
【図１】
2010074474.tif 000003
【図２】
2010074474.tif 000004
【図３】
2010074474.tif 000005
【図４】
2010074474.tif 000006
【図５】
2010074474.tif 000007
【図６】
2010074474.tif 000008
【図７】
2010074474.tif 000009
【図８】
2010074474.tif 000010
【図９】
2010074474.tif 000011
【図１０】
2010074474.tif 000012
【図１１】
2010074474.tif 000013