(57)【特許請求の範囲】
【請求項１】
立体映像を構成する複数の映像データを取得する映像データ取得部と、
前記複数の映像データを同一の符号化マトリクスに構成して、誤り訂正符号を付加する誤り訂正符号部と、
を備え、
前記誤り訂正符号部は、視差が大きく立体映像効果が強い映像データと視差が小さく立体映像効果が弱い映像データとで前記誤り訂正符号を付加する際の冗長度を変更する、送信機。
【請求項２】
前記誤り訂正符号部は、時系列のタイミングが一致する前記複数の映像データを前記同一の符号化マトリクスに構成する、請求項１に記載の送信機。
【請求項３】
前記映像データ取得部にて取得された前記複数の映像データのそれぞれを独立して符号化する符号化部と、
前記符号化部にて符号化された前記複数の映像データをパケット化するパケット処理部と、を備え、
前記誤り訂正符号部は、前記パケット処理部でパケット化された前記複数の映像データを前記同一の符号化マトリクスに構成する、請求項１に記載の送信機。
【請求項４】
前記誤り訂正符号部は、符号化方式として、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式を用い、ベースとなる参照画像の映像符号化データと、参照画像との視差情報を用いて予測画像を生成するための符号化データとを前記同一の符号化マトリクスで処理する、請求項１に記載の送信機。
【請求項５】
前記誤り訂正符号部は、誤り訂正符号を付加する処理を輝度情報と色差情報とで相違させ、輝度情報を色差情報よりも重視して誤り訂正符号を付加する、請求項１に記載の送信機。
【請求項６】
誤り訂正符号部による誤り訂正符号の付加とともに、再送制御を併用してパケット損失を回復するための処理を行う、請求項１に記載の送信機。
【請求項７】
伝送路の帯域、視差情報、輝度情報、又は色差情報に応じて前記再送制御の処理を変更する、請求項６に記載の送信機。
【請求項８】
立体映像を構成する複数の映像データからなる受信データを受信する受信部と、
前記複数の映像データが同一の符号化マトリクスに構成されて誤り訂正符号が付加された前記受信データであって視差が大きく立体映像効果が強い映像データと視差が小さく立体映像効果が弱い映像データとで前記誤り訂正符号が付加される際の冗長度が変更された前記受信データに対して前記誤り訂正符号を用いて復号する誤り訂正復号部と、
を備える、受信機。
【請求項９】
前記受信データは、時系列のタイミングが一致する前記複数の映像データが前記同一の符号化マトリクスに構成されたものである、請求項８に記載の受信機。
【請求項１０】
前記誤り訂正復号部は、符号化方式として、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式を用い、ベースとなる参照画像の映像符号化データと、参照画像との視差情報を用いて予測画像を生成するための符号化データとを処理する、請求項８に記載の受信機。
【請求項１１】
前記誤り訂正復号部は、パケット損失がある場合に、損失データ箇所が立体映像を構成する左右映像の同じ位置に相当する部分、又は左右映像の相関のある部分を用いてパケット損失を回復する、請求項８に記載の受信機。
【請求項１２】
前記誤り訂正復号部は、誤り訂正符号を用いたパケット損失の回復とともに、再送制御を併用してパケット損失を回復するための処理を行う、請求項８に記載の受信機。
【請求項１３】
立体映像を構成する複数の映像データを取得する映像データ取得部と、
前記複数の映像データを同一の符号化マトリクスに構成して、誤り訂正符号を付加する誤り訂正符号部と、を有し、前記誤り訂正符号部は、視差が大きく立体映像効果が強い映像データと視差が小さく立体映像効果が弱い映像データとで前記誤り訂正符号を付加する際の冗長度を変更する送信機と、
前記複数の映像データからなる受信データを受信する受信部と、
前記誤り訂正符号が付加された前記受信データに対して前記誤り訂正符号を用いて復号する誤り訂正復号部と、を有する受信機と、
を備える通信システム。
【請求項１４】
立体映像を構成する複数の映像データを取得することと、
前記複数の映像データを同一の符号化マトリクスに構成し、視差が大きく立体映像効果が強い映像データと視差が小さく立体映像効果が弱い映像データとで誤り訂正符号を付加する際の冗長度を変更して、当該誤り訂正符号を付加することと、
を備える、送信方法。
【請求項１５】
立体映像を構成する複数の映像データからなる受信データを受信すること、
前記複数の映像データが同一の符号化マトリクスに構成されて誤り訂正符号が付加された前記受信データであって視差が大きく立体映像効果が強い映像データと視差が小さく立体映像効果が弱い映像データとで前記誤り訂正符号が付加される際の冗長度が変更された前記受信データに対して前記誤り訂正符号を用いて復号することと、
を備える、受信方法。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信機、受信機及び通信システム。
【背景技術】
【０００２】
従来、例えば下記の特許文献１に記載されているように、視差を有する左目用画像及び右目用画像を所定周期で交互にディスプレイに供給し、この画像を所定周期に同期して駆動される液晶シャッターを備える眼鏡で観察する方法が知られている。
【０００３】
また、下記の特許文献２には、ＦＥＣ（Forward  Error  Correction）によるエラー制御あるいは再送要求処理（ＡＲＱ）に基づくエラー制御等の態様をネットワークにおけるパケット損失、エラー発生状況に応じて変更してパケット転送することが記載されている。
【０００４】
また、立体映像の符号化方式として、例えば左右画面をそれぞれ独立したビデオとみなして符号化する方法と、多視点映像としてＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）により符号化する方式が知られている。下記の非特許文献１には、立体映像などの複数の映像データに対してＭＶＣによる符号化を行う手法が記載されている。また、下記の非特許文献２には、優先度に応じてＦＥＣの強度（冗長度）を変える方式が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特許第３７５７８５７号公報
【非特許文献】
【０００６】
【非特許文献１】木全英明、「多視点映像符号化ＭＶＣの国際標準化動向」、映像情報メディア学会誌  VOL. 61, No. 4 (2007)、p.426-430
【非特許文献２】AlexanderE. Mohr, Student Member, IEEE, Eve A. Riskin, Senior Member, IEEE, and RichardE. Lander, Member, IEEE, “Unequal Loss Protection: Graceful Degradation ofImage Quality over Packet Erasure Channels Tfrough Forward Error Correction”, “IEEE JOURNALON SELECTED AREAS IN COMMUNICATIONS”, VOL. 18, NO. 6, JUNE 2000, p.819-828
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、複数のカメラ入力映像を符号化してライブ中継やネットワーク伝送をする場合、遅延やパケット損失が起こることにより、映像の効果が損なわれる問題が生じていた。例えば、複数のカメラ入力映像として、立体映像を伝送する場合において、立体映像効果が強く、視差が大きい左右の映像の片側映像だけがネットワーク遅延のジッタやパケット損失などの原因で一部あるいは全部のデータが消失してしまった場合、そのまま表示すると立体映像の効果が得られないという問題が生じる。
【０００８】
また、このような問題を回避するために、パケット損失回復のためにＦＥＣ処理を行う場合があるが、放送局におけるライブ中継等の場合、映像の１フレーム未満の遅延が要求される。このため、ＦＥＣ処理を行うＦＥＣ符号化マトリクスを小さくしてＦＥＣ処理を行う必要があるが、マトリクスサイズを小さくするとパケット損失回復率が小さくなるなど遅延の大きさと回復率はトレードオフの関係にあった。従って、このようにパケット損失耐性が強くかつ低遅延で複数の映像を伝送できるシステムが求められていた。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、パケット損失耐性が強く、且つ低遅延で複数の映像データを伝送することが可能な、新規かつ改良された送信機、受信機及び通信システムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、立体映像を構成する複数の映像データを取得する映像データ取得部と、前記複数の映像データを同一の符号化マトリクスに構成して、誤り訂正符号を付加する誤り訂正符号部と、を備える、送信機が提供される。
【００１１】
また、前記誤り訂正符号部は、時系列のタイミングが一致する前記複数の映像データを前記同一の符号化マトリクスに構成するものであってもよい。
【００１２】
また、前記映像データ取得部にて取得された前記複数の映像データのそれぞれを独立して符号化する符号化部と、前記符号化部にて符号化された前記複数の映像データをパケット化するパケット処理部と、を備え、前記誤り訂正符号部は、前記パケット処理部でパケット化された前記複数の映像データを前記同一の符号化マトリクスに構成するものであってもよい。
【００１３】
また、前記誤り訂正符号部は、符号化方式として、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式を用い、ベースとなる参照画像の映像符号化データと、参照画像との視差情報を用いて予測画像を生成するための符号化データとを前記同一の符号化マトリクスで処理するものであってもよい。
【００１４】
また、前記誤り訂正符号部は、視差が大きく立体映像効果が強い映像データと視差が小さく立体映像効果が弱い映像データとで前記誤り訂正符号を付加する際の冗長度を変更するものであってもよい。
【００１５】
また、前記符号化部は、前記誤り訂正符号部と連動して、誤り訂正後のデータ量に応じて符号化のレートを調整するものであってもよい。
【００１６】
また、前記誤り訂正符号部は、誤り訂正符号を付加する処理を輝度情報と色差情報とで相違させ、輝度情報を色差情報よりも重視して誤り訂正符号を付加するものであってもよい。
【００１７】
また、誤り訂正符号部による誤り訂正符号の付加とともに、再送制御を併用してパケット損失を回復するための処理を行うものであってもよい。
【００１８】
また、伝送路の帯域、視差情報、輝度情報、又は色差情報に応じて前記再送制御の処理を変更するものであってもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、立体映像を構成する複数の映像データからなる受信データを受信する受信部と、前記複数の映像データが同一の符号化マトリクスに構成されて誤り訂正符号が付加された前記受信データに対して前記誤り訂正符号を用いて復号する誤り訂正復号部と、を備える、受信機が提供される。
【００２０】
また、前記受信データは、時系列のタイミングが一致する前記複数の映像データが前記同一の符号化マトリクスに構成されたものであってもよい。
【００２１】
また、前記誤り訂正復号部は、符号化方式として、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式を用い、ベースとなる参照画像の映像符号化データと、参照画像との視差情報を用いて予測画像を生成するための符号化データとを処理するものであってもよい。
【００２２】
また、前記誤り訂正復号部は、パケット損失がある場合に、損失データ箇所が立体映像を構成する左右映像の同じ位置に相当する部分、又は左右映像の相関のある部分を用いてパケット損失を回復するものであってもよい。
【００２３】
また、前記誤り訂正復号部は、誤り訂正符号を用いたパケット損失の回復とともに、再送制御を併用してパケット損失を回復するための処理を行うものであってもよい。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、立体映像を構成する複数の映像データを取得する映像データ取得部と、前記複数の映像データを同一の符号化マトリクスに構成して、誤り訂正符号を付加する誤り訂正符号部と、を有する送信機と、前記複数の映像データからなる受信データを受信する受信部と、前記誤り訂正符号が付加された前記受信データに対して前記誤り訂正符号を用いて復号する誤り訂正復号部と、を有する受信機と、を備える通信システムが提供される。
【００２５】
また、上記課題を解決するために、本発明の別の観点によれば、時系列に対応する複数の映像データを取得する映像データ取得部と、前記複数の映像データを同一の符号化マトリクスに構成して、誤り訂正符号を付加する誤り訂正符号部と、を備える、送信機が提供される。
【００２６】
また、前記誤り訂正符号部は、時系列のタイミングが一致する前記複数の映像データを前記同一の符号化マトリクスに構成するものであってもよい。
【００２７】
また、前記映像データ取得部にて取得された前記複数の映像データのそれぞれを独立して符号化する符号化部と、前記符号化部にて符号化された前記複数の映像データをパケット化するパケット処理部と、を備え、前記誤り訂正符号部は、前記パケット処理部でパケット化された前記複数の映像データを前記同一の符号化マトリクスに構成するものであってもよい。
【００２８】
また、前記誤り訂正符号部は、符号化方式として、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）符号化方式を用い、ベースとなる参照画像の映像符号化データと、参照画像との視差情報を用いて予測画像を生成するための符号化データとを前記同一の符号化マトリクスで処理するものであってもよい。
【００２９】
また、前記符号化部は、前記誤り訂正符号部と連動して、誤り訂正後のデータ量に応じて符号化のレートを調整するものであってもよい。
【発明の効果】
【００３０】
本発明によれば、パケット損失耐性が強く、且つ低遅延で複数の映像データを伝送することが可能な送信機、受信機及び通信システムを提供することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る通信システムの基本的な構成を示す模式図である。
【図２】本実施形態に係る低遅延ＦＥＣ処理方法を説明するための模式図である。
【図３】ＦＥＣ符号化マトリクス生成方法を示す模式図である。
【図４】優先度別ＦＥＣ制御符号化マトリクスの生成方法を示す模式図である。
【図５】優先度別ＦＥＣ制御、及びコーデック連携ＦＥＣ制御を行う構成例を示すブロック図である。
【図６】送信機の処理手順を示すフローチャートである。
【図７】受信機の処理手順を示すフローチャートである。
【図８】優先度別ＦＥＣ制御、コーデック連携ＦＥＣ制御に対応した処理と、動的ＱｏＳ制御に対応した処理を示すフローチャートである。
【図９】受信機の他の処理手順を示すフローチャートである。
【図１０】パリティパケットに設けられたＦＥＣ用ヘッダの情報を示す模式図である。
【発明を実施するための形態】
【００３２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３３】
なお、説明は以下の順序で行うものとする。
（１）本実施形態の概要
（２）システム構成例
（３）優先度別ＦＥＣ制御
（４）コーデック連携ＦＥＣ制御
（５）送信機の処理手順
（６）受信機の処理手順
【００３４】
（１）本実施形態の概要
本実施形態では、立体映像の伝送において、複数のカメラ入力映像を符号化して伝送する際に、低遅延で伝送し、かつパケット損失への耐性を高くするために同時刻の複数カメラ映像のパケットを同じＦＥＣ符号化マトリクス単位で処理を行う。また、符号化マトリクスにおいてパケット損失が回復できない場合にはそのマトリクス単位で相関のあるパケットに対してエラーコンシルメント処理を行うことにより、立体映像の効果を維持することを可能とする。なお、以下の説明では、複数カメラからの入力映像として右眼用画像と左眼用映像からなる立体映像を例示するが、本実施形態はこれに限定されるものではない。本実施形態は、時系列的に対応する複数の映像、例えば同一時間に取得された複数の映像を複数カメラから伝送するシステム等に広く適用でき、この場合においても、パケット損失耐性が強く、且つ低遅延で複数の映像データを伝送することが可能である。
【００３５】
また、本実施形態の符号化は、映像データの複数ラインをまとめて処理するラインブロック単位で行うラインベース符号化であるため、フレームあるいはフィールド未満の低遅延で処理可能である。また回復できないパケット損失の影響もラインブロック単位で処理することにより、画像フレームの一部分の劣化に抑えることができる。
【００３６】
更に、立体映像効果、すなわち視差の大小に応じて優先度を付け、画像品質に影響が大きいパケットにはＦＥＣのパリティを大きくし、影響が小さい場合にはパリティを少なくするなどのコンシルメント処理を行う。このため、立体映像効果を損なうことなく映像を提供できる。
【００３７】
本実施形態に係るシステムは、以下に説明する構成を前提としている。映像の符号化はラインベース、すなわち複数ライン（１本以上）のラインブロック単位で処理を行う低遅延符号化処理である。従って、ビデオフレーム単位でデータをバッファしてから符号化処理を行うものではなく、フレーム時間遅延未満の伝送および表示が可能であり、特にライブ映像配信などリアルタイムで映像伝送や中継放送を行うシステムに適用して好適である。本システムは、立体映像（３Ｄ）対応のカメラ出力映像を符号化してＩＰ伝送のためにパケット化し、さらにネットワークにおけるパケット損失を回復するためにＦＥＣ符号化をして送信し、受信側でＦＥＣ復号し、パケット損失を回復して映像復号・表示する。
【００３８】
（２）システム構成例
図１は、本実施形態に係る通信システム１００の基本的な構成を示す模式図である。図１に示すように、通信システム１００は、カメラ映像入力を有する送信機２００と、表示出力を有する受信機３００とを有して構成され、送信機２００と受信機３００とは、インターネットなどのネットワーク４００を介して接続されている。
【００３９】
立体映像は専用のカメラ５００でキャプチャーした映像を用いる。図１では、右眼用画像Ｒをキャプチャーするカメラ（Ｒ）５０２と左眼用画像Ｌをキャプチャーするカメラ（Ｌ）５０４から立体映像を取得する例を示している。このように、立体映像は、少なくとも２台のカメラでキャプチャーした映像を用いることができるが、１台のカメラであっても立体映像撮影に対応しているカメラであれば適用可能である。例えば、１眼タイプの３Ｄカメラであっても、左右映像を構成して３Ｄ効果を得るシステムであれば、本システムに適用できる。
【００４０】
図１に示すように、送信機２００は、３Ｄ処理部２０２、映像符号部２０４、パケット処理部２０６、ＦＥＣ符号化部２０８、送信部２１０を有して構成される。３Ｄ処理部２０２は、カメラ５００から出力された映像に対して、左右カメラの映像データのキャリブレーション等の情報処理と３Ｄ映像のための処理を行うことによって立体映像効果をもたらす。
【００４１】
３Ｄ処理を行った映像は映像符号部２０４において圧縮処理を行う。圧縮処理後、パケット処理部２０６にて通信のためのパケット化処理（ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）パケット化）が行われる。パケット処理部２０６から出力されたパケットは、ＦＥＣ符号化部２０８において、後述のＦＥＣ符号化マトリクスに配置されて、ＦＥＣ処理が行われる。これにより、パリティだけで構成されたパリティパケットが生成される。このパケットにヘッダ処理が行われ、送信部２１０からＵＤＰ／ＩＰパケットとしてネットワーク４００に送出される。
【００４２】
また、受信機３００は、受信部３０２、ＦＥＣ復号部３０４、パケット処理部３０６、映像復号部３０８を有して構成される。受信部３０２は、送信機２００からネットワーク４００を介して送信されたＩＰパケットを受信し、ＦＥＣ処理をされたデータをパケットのヘッダにて認識すると、ＦＥＣ復号部３０４にてＦＥＣマトリクスを形成し、パケット損失があればパリティパケット内のパリティを用いてＦＥＣ復号する。これにより、損失パケットを回復することができる。パケットデータから得られたコードストリームは、映像復号部３０８で復号され、３Ｄ表示装置５００へ左右映像のデータが出力される。パケット損失の回復処理においては、復号後に前のフレームから置き換え部分を選択して表示する。
【００４３】
図２は、本実施形態に係る低遅延ＦＥＣ処理方法を説明するための模式図である。ここでは、カメラ２台（カメラ５０２、カメラ５０４）を並べて、左右の映像（Ｒ画像、Ｌ画像）を３Ｄ撮影する例を用いて説明する。図２に示すように、Ｒ画像からパケットＲ１，Ｒ２，・・，Ｒ７，・・・が生成され、Ｌ画像からパケットＬ１，Ｌ２，・・，Ｌ７，・・・が生成される。本実施形態では、パケット単位でＦＥＣ処理を行う場合、一例として、図２に示すように４つのパケットを列方向に並べてマトリクスを構成する。
【００４４】
図３は、前提となるＦＥＣ符号化マトリクス生成方法を示す模式図であり、送信側の処理はＦＥＣ符号化部２０８で行われ、受信側の処理はＦＥＣ復号部３０４で行われる。本実施形態では、図３に示すように、４つのパケットで１つのＦＥＣ符号化マトリクスを構成している。送信機２００側では、ＦＥＣは列方向のバイト単位で、例えばリードソロモン（Ｒｅｅｄ−Ｓｏｌｏｍｏｎ）符号を用いて符号化を行い、パリティ数に応じてパリティデータを生成する。パリティデータは行方向に並べてパリティパケット（図３に示すＦＥＣパリティパケット）を生成し、パケットにＦＥＣ用のヘッダを付けて伝送する。また、受信機３００側では、ＦＥＣ復号部３０４において、あるパケットにエラー（ＬＯＳＳ）が生じていたことが検知されると、パリティパケットを用いてエラーが生じたデータを回復させる。
【００４５】
本実施形態において、低遅延用のコーデックでは、左右の画像データを、複数のラインで構成するラインブロック単位で符号化してパケット化して送信する。上述のように、４つのパケットで１つのＦＥＣ符号化マトリクスを構成する。このため、立体映像が通常の右眼用画像（Ｒ画像）と左眼目画像（Ｌ画像）の２データの場合、図２に示すＲ画像だけでＦＥＣ符号化マトリクスを生成することとすると、マトリクス生成のためには４パケット分の時間（ｔ１＋ｔ２）を要する。本実施形態では、同時刻のｔ１区間のＬ映像とＲ映像のそれぞれを符号化したパケットを用いることで、図２に示す時間ｔ１のみで４パケット分（パケットＲ１，Ｒ２，Ｌ１，Ｌ２）のデータを得ることができ、時間ｔ１の遅延でＦＥＣ符号化マトリクスを生成することが可能である。従って、本実施形態の手法によれば、符号化による遅延を最小限に抑えることが可能である。
【００４６】
符号化方式としては、一例としてＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）を用いる。ＭＶＣでは、時間方向の予測のみならず、複数のカメラ間の予測を取り入れる構造とする。すなわち、時間方向のフレームの予測のみならず、左右の画像Ｒ，Ｌの差分による予測を用いる。そして、ベースとなる参照画像の映像符号化データと、参照画像との視差情報を用いて予測画像を生成するための符号化データとを、それぞれをパケット化して、それらを同一のＦＥＣ符号化マトリクスで処理する。なお、ＭＶＣによる符号化方式については、前述した非特許文献１に記載されている方式を用いることができる。
【００４７】
（３）優先度別ＦＥＣ制御（ULP:Unequal  Loss  Protection）
次に、本実施形態に係る優先度別ＦＥＣ制御について説明する。図４は、優先度別ＦＥＣ制御符号化マトリクスの生成方法を示す模式図である。また、図５は、優先度別ＦＥＣ制御、及び後述するコーデック連携ＦＥＣ制御を行う構成例を示すブロック図である。
【００４８】
図５において、３Ｄ処理部２０２は、カメラ５００から送られた３Ｄ映像データの中から３Ｄ映像に関する視差情報、色差情報等を取得し、これに基づいて映像データの優先度を分類する。そして、優先度の情報は、ＦＥＣ符号化部２０８へ入力される。ＦＥＣ符号化部２０８では、優先度情報に基づいてＦＥＣの強度、すなわちパリティ数（冗長度）を変更する。
【００４９】
例えば、優先度が高いものから順に優先度Ａ、優先度Ｂ、優先度Ｃとし、優先度Ａの映像データにはパリティパケット２個、優先度Ｂの映像データにはパリティパケット１個、優先度Ｃの映像データにはパリティパケット０個を付加するものと予め定めておくものとする。この場合、ＦＥＣ符号化マトリクスに対して、図４に示すように、優先度Ａの期間ｔ１ではパリティパケット２個を付加し、優先度Ｃの期間ｔ２ではパリティパケットを付加せず、優先度Ｂの期間ｔ３ではパリティパケット１個を付加する。
【００５０】
立体映像の視覚的な飛び出し量や奥行きの深さが大きい場合、すなわち、Ｌ映像とＲ映像の視差が大きい場合は、立体映像としての効果が高いため、優先度が高く設定される。従って、立体映像としての効果が高い映像データに対しては、より多くのパリティが付加されて、データ損失が生じた場合に確実に回復させることができ、３Ｄ効果が損なわれてしまうことを抑止できる。一方、立体映像の飛び出し量や奥行きの深さが大きい場合は、３Ｄ映像としての重要度は比較的低いため、優先度が低く設定され、パリティパケットを少なくする。同様にして、Ｌ映像とＲ映像の色差、または輝度差が大きくなる程、優先度が高く設定される。以上のように、本実施形態に係る優先度別ＦＥＣ制御によれば、映像データに基づく優先度情報に応じてパリティパケットを付加することができ、優先度の高いデータに損失が生じた場合に、受信側で確実に回復することができる。
【００５１】
（４）コーデック連携ＦＥＣ制御
次に、本実施形態に係るコーデック連携ＦＥＣ制御について説明する。コーデック連携ＦＥＣ制御では、ＦＥＣ符号化部２０８において、優先度情報に基づいてパリティパケットが付加されたデータの総量を求める。通常、映像データを伝送する際は定められた一定のビットレート、または上限となるビットレート等が帯域の制約や契約した帯域幅などで決められている。このため、図５に示すように、ＦＥＣ符号化部２０８は、データの総量を示す情報をコーデック（映像符号部２０４）にフィードバックし、映像符号部２０４と連携して符号化後のビットレートを調整する。これにより、ＦＥＣ処理後のデータ総量を一定範囲以下に制御することができる。
【００５２】
図４の例で説明すると、優先度Ａの期間ｔ１ではパリティ２個を付加するが、ビットレートが定められた値を超える場合は、ビットレートが上限値を超えない範囲で映像符号部２０４により符号化のレートを調整する。映像符号部２０４では、データの間引き、補間等の処理により符号化のレートを調整する。同様に、優先度Ｃの期間ｔ２、優先度Ｂの期間ｔ３においても、ビットレートが上限値を超えない範囲で符号化レートを調整する。優先度が低い区間では、ビットレートが上限値を超えない範囲で、優先度で定められる数よりも多いパリティパケットを付加するようにしても良い。以上のようにして、優先度別ＦＥＣ制御による優先度に応じたパリティの付加とともに、定められたビットレート以下のデータ量で伝送を行うことが可能となる。
【００５３】
（５）送信機の処理手順
次に、本実施形態の送信機２００に係る処理手順について説明する。図６は、送信機２００の処理手順を示すフローチャートである。先ず、ステップＳ１０では、映像データがカメラ５００から入力されたか否かが判定される。映像データが入力された場合はステップＳ１２へ進み、映像データが入力されていない場合は処理を終了する。ステップＳ１２では、３Ｄ処理部２０２において３Ｄ処理を行い、映像データに含まれる左右映像の視差情報、色差情報等を取得する。また、ステップＳ１２の３Ｄ処理では、音声データの取得、字幕データの取得等の処理を行う。また、３Ｄデータをサイド・バイ・サイド、トップ・アンド・ボトム等のデータに変換する場合は、これらの変換処理を行う。
【００５４】
次のステップＳ１４では、映像符号化部２０４において映像データを符号化する処理を行う。次のステップＳ１６では、パケット処理部２０６にて映像データをパケットにする処理を行う。また、３Ｄ処理部２０２によるステップＳ１２では、左右の映像データが同時刻であるかを示す情報（図６に示すデータＤ１）などが取得されて、ステップＳ１８のＦＥＣ符号化処理の際に用いられる。この情報は、このデータは、３Ｄ処理の際に映像データに紐付けられており、ＦＥＣ符号化マトリクスの際に（ステップＳ１８）、相関したパケットとして同じマトリクスに入れるための判断に用いる。
【００５５】
そして、ステップＳ１８では、ＦＥＣ符号化部２０８によるＦＥＣ符号化処理を行い、次のステップＳ２０では、送信部２１０による送信処理を行う。
【００５６】
また、コーデック連携ＦＥＣ制御を行う場合は、ステップＳ１８のＦＥＣ符号化処理で得られる映像データのビットレートが所定値を超えないように、ステップＳ１４の符号化処理を行う。
【００５７】
（６）受信機の処理手順
次に、本実施形態の受信機３００に係る処理手順について説明する。図７は、受信機３００の処理手順を示すフローチャートである。先ず、ステップＳ３０では、受信部３０２にてパケットを受信したか否かを判定する。ステップＳ３０でパケットを受信した場合は、ステップＳ３２へ進む。一方、ステップＳ３０でパケットを受信していない場合は、処理を終了する。
【００５８】
ステップＳ３２では、ＦＥＣ復号部３０４においてＦＥＣ復号処理を行う。次のステップＳ３４では、ＦＥＣ復号処理により失われたデータの回復が完了したか否かを判定し、データの回復が完了した場合は、ステップＳ３６へ進み、パケット処理部３０６によるパケット処理を行う。
【００５９】
一方、ステップＳ３４においてデータの回復が完了しなかった場合は、ステップＳ３８以降の処理に進む。すなわち、パケット損失数がＦＥＣ処理による回復可能な数を超えている場合には、ＦＥＣよる完全なデータパケットの回復ができないため、ステップＳ３８以降の補間処理をするためのフローに進む。
【００６０】
ステップＳ３８では、左右の映像データについて、相関性の高い相関パケットが存在するか否かを判定する。相関パケットが存在しない場合は、ステップＳ４０へ進み、回復できなかったデータに対して補間処理を行う。このように、相関パケットがない場合、例えば左右映像に３Ｄ効果が無く、左右映像の情報に差が無い場合は、ステップＳ４０にて、失われたパケットだけを補間処理する。この場合、ステップＳ４０において、例えば前のフレームのデータを記憶データＤから抜き出し、置換するなどのエラーコンシルメント処理を行う。なお、前のフレームのデータ（記憶データＤ２）は、バッファ等に一時的に記憶しておく。また、右眼用の映像データのみ回復ができなかった場合は、左目用映像のみを表示する処理を行う。
【００６１】
一方、ステップＳ３８で相関パケットが存在する場合は、ステップＳ４２へ進む。ステップＳ４２では、相関パケットを特定する処理を行う。ここでは、例えば、複数フレームのうちのどのフレームで左右映像の相関が高いかを特定する。
【００６２】
図１０は、パリティパケットに設けられたＦＥＣ用ヘッダの情報を示す模式図である。左右映像の相関が高いか否かの情報は、図１０に示すＦＥＣ用のパケットヘッダに格納されたＦＥＣ相関情報フィールドに含まれている。ＦＥＣ相関情報フィールドには、相関情報、相関レベル、優先度、シーケンス番号、時刻情報等の情報が格納されている。このフィールドは、例えば相関の種類、相関レベル、優先度、どのパケットとどのパケットが相関しているかをシーケンス番号で示すなどの方法で、ＦＥＣ復号の際に相関パケットを特定するために使用される。
【００６３】
ステップＳ４２の後はステップＳ４４へ進む。ステップＳ４４では、パケット処理部３０６にて一括補間処理を行う。具体的には、左右映像に相関がある場合は、図１０に示すＦＥＣ用のパケットヘッダに格納されたＦＥＣ相関情報フィールドから、相関するパケットを特定し、損失したパケットと相関するパケットデータに基づいて補間処理を行う。
【００６４】
以上のように、図７の処理によれば、データの回復ができなかった場合は、相関パケットの有無に基づいてデータを補間処理することが可能となる。従って、左右映像の相関度に応じて最適な補間処理を行うことができる。
【００６５】
次に、送信機２００に係る他の処理手順について説明する。図８は、上述した優先度別ＦＥＣ制御、コーデック連携ＦＥＣ制御に対応した処理と、動的ＱｏＳ制御に対応した処理を示すフローチャートである。上述したように、優先度別ＦＥＣ制御では、視差が大きく立体映像効果が強いデータと、視差が小さく立体映像効果が弱いデータとで、ＦＥＣの強度を変えることにより、伝送におけるパケット損失の影響による立体映像効果の劣化を小さくする。優先度別ＦＥＣ制御を行う場合は、ステップＳ１２の３Ｄ処理において、映像データの優先度を分類する。そして、ステップＳ１８のＦＥＣ符号化処理において、優先度に応じたＦＥＣ符号化処理を行う。
【００６６】
従って、図８のステップＳ１８において、ＦＥＣ符号化処理部２０８は、優先するパケットに応じてパリティ数を変える処理を行う。
【００６７】
コーデック連携ＦＥＣ制御は、上述したように視差が大きく立体映像効果が強いデータと、視差が小さく立体映像効果が弱いデータとで、ＦＥＣの強度を変えることによって、伝送のための帯域幅の変動をＣＯＤＥＣの符号化レート制御と連動するものである。これにより、ＦＥＣ符号化後のパケットの伝送レートを一定のビットレートの範囲内で送信することを可能とするものである。従って、図８のステップＳ１８において、ＦＥＣ符号化処理部２０８は、ＦＥＣ符号化後のデータ総量をステップＳ１２の符号化処理にフィードバックする。そして、図８のステップＳ１２において、映像符号部２０４は、データ量に応じた補間処理を行い、総データ量が上限を超えないように制御する。
【００６８】
また、本実施形態に係る動的ＱｏＳ制御は、ＦＥＣ符号化処理部２０８において、ＡＲＱ(Auto  Repeat  Request)などの再送制御とＦＥＣを組み合わせてパケット損失を回復する処理を行う。ＡＲＱ制御については、前述した特許文献２に記載されている手法を用いることができる。より詳細には、パケット損失の回復方法として、ＦＥＣだけではなく、再送制御（ＡＲＱ）を併用したハイブリッドＱｏＳ制御によってパケット損失をより回復する。ＦＥＣ符号化処理部２０８は、ＦＥＣによるエラー訂正が可能であれば、ＦＥＣによるエラー訂正を実行する。また、ＦＥＣ符号化処理部２０８は、ＦＥＣによるエラー訂正が可能でなければ、再送要求としてＡＲＱ処理を実行する。この際、ＦＥＣ符号化処理部２０８は、再送要求のＲＴＣＰパケットを生成して、送信機２００へ送信する。従って、図８のステップＳ１８において、ＦＥＣ符号化処理部２０８は、再送制御とＦＥＣを組み合わせてパケット損失を回復するための処理を行い、受信機３００から再送要求を受信した場合は、パケットを再送する。なお、再送制御を行う場合、受信機３００の受信部３０２は送信部としても機能し、送信機２００の送信部２１０は受信部としても機能し、再送要求がネットワーク４００を介して受信機３００から送信機２００へ送られる。この際、伝送路の帯域、視差情報、輝度情報、色差情報等に応じてパケット損失回復のためのＱｏＳ制御方法や強度を変更するシステムにすることもできる。
【００６９】
図９は、受信機３００の他の処理手順を示すフローチャートである。図９は、ＦＥＣの強度を輝度情報と色差情報で変えること、例えば輝度情報を重視してＦＥＣ強度を高くする処理を示している。この場合、ステップＳ４０の補間処理については、先に説明した前のフレームデータを置き換える方法の他に、色差情報が損失して回復できない場合に、輝度（Ｙ）のみを補間する処理を行う。
【００７０】
また、図８で説明した送信機２００に対応する動的ＱｏＳ制御は、ステップＳ３４のＦＥＣ回復判定の結果、ＦＥＣで回復できない場合に、ＡＲＱによる再送要求を送信機２００へ送信する処理を行う。
【００７１】
（７）字幕情報、音声情報の取り扱い
次に、字幕情報の処理について説明する。字幕情報は映像以上に優先度を高くしても良く、映像情報に対して特別な情報として取り扱うことができる。一例として、字幕情報に対しては映像情報よりも冗長度を高くする。また、ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｅｃ）のレイヤーと優先度を利用した手法も考えられる。これはレイヤーの重要度に応じてＦＥＣの量を変える手法であるが、複数チャネルのレイヤー毎を１つの符号化マトリックスで行うことにより遅延時間を短くするための処理方法が可能である。
【００７２】
また音声（オーディオ）情報の取扱いについても同様に、複数チャネルのデータを１つのＦＥＣ  符号化マトリックスに多重化して処理を行い、またサラウンドなど関連するパケットをパケットロス時に一括処理することができる。
【００７３】
以上説明したように本実施形態によれば、低遅延でかつパケット損失に耐性のある３Ｄ映像のライブ伝送システムを構築することが可能となる。そして、パケット損失を回復できない場合にも、立体映像の効果を損なわない映像を補間処理によって提供できる。また、立体映像効果の強弱に応じたＦＥＣ処理を行うことで、立体映像の効果を損なわない映像を提供できる。更に、パケット損失に耐性を高めながらも、伝送帯域を一定以下に抑えることが可能となる。
【００７４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７５】
１００    通信システム
２００    送信機
２０２    ３Ｄ処理部
２０８    ＦＥＣ符号化部
３００    受信機
３０２    受信部
３０４    ＦＥＣ復号部
【図１】
0005768332.tif 000002
【図２】
0005768332.tif 000003
【図３】
0005768332.tif 000004
【図４】
0005768332.tif 000005
【図５】
0005768332.tif 000006
【図６】
0005768332.tif 000007
【図７】
0005768332.tif 000008
【図８】
0005768332.tif 000009
【図９】
0005768332.tif 000010
【図１０】
0005768332.tif 000011