(57)【要約】  動画像送信装置（１０）は、動画像信号を圧縮符号化することで、符号化パラメータ情報と符号化画素データとを生成する動画像符号化部（３１）と、動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化部（３０）と、符号化パラメータ情報と符号化付加情報とを並べて出力する符号化ユニット多重部（１６）と、符号化ユニット多重部（１６）から出力されたデータを用いて、符号化パラメータ情報と符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し送信するストリーム送信部（３２）とを備える。
2012153450.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を圧縮符号化することで、符号化された、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化部と、
前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化部と、
前記動画像符号化部および前記付加情報符号化部によって生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重部であって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重部と、
前記符号化ユニット多重部から出力されたデータを用いて、前記符号化パラメータ情報と前記符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し送信するストリーム送信部と
を備える動画像送信装置。
【請求項２】
前記付加情報は、前記動画像信号に示される動画像が、互いに異なる表示態様である第１動画像および第２動画像のいずれであるかを示す情報であり、
前記動画像符号化部は、
前記動画像信号が前記第１動画像である場合、第１識別ＩＤが付与された、前記符号化パラメータ情報および前記符号化画素データを生成し、
前記動画像信号が前記第２動画像である場合、前記第１識別ＩＤとは異なる第２識別ＩＤが付与された、前記符号化パラメータ情報および前記符号化画素データを生成する、
請求項１記載の動画像送信装置。
【請求項３】
前記付加情報は、前記動画像信号に示される動画像が、互いに異なる表示態様である第１動画像および第２動画像のいずれであるかを示す情報であり、
前記付加情報符号化部は、前記動画像信号に示される動画像が前記第１動画像および前記第２動画像の一方から他方に変更される場合、前記他方を示す符号化付加情報を生成し、
前記動画像符号化部は、前記他方を示す符号化付加情報が生成された場合に、前記符号化パラメータ情報を生成する、
請求項１記載の動画像送信装置。
【請求項４】
前記ストリーム送信部は、前記動画像信号に示される複数のピクチャで構成されるシーケンスごとに、前記複数のピクチャに対応する符号化パラメータ情報と符号化付加情報とを有する１つのパケットが含まれるように、前記符号化ストリームを生成する、
請求項１記載の動画像送信装置。
【請求項５】
前記付加情報は、前記動画像信号に示される動画像の表示態様が３Ｄであることを示す識別情報である、
請求項１記載の動画像送信装置。
【請求項６】
前記動画像信号に示される動画像の表示態様は３Ｄであり、
前記付加情報は、前記動画像信号の送信方式を特定するための識別情報である、
請求項１記載の動画像送信装置。
【請求項７】
前記動画像信号は、１つのフレーム領域内で並行して表示可能な２以上の動画像を示す信号であり、
前記付加情報は、前記フレーム領域内の、前記２以上の動画像それぞれの位置を示す位置情報である、
請求項１記載の動画像送信装置。
【請求項８】
前記動画像符号化部は、前記動画像信号に示される動画像の水平画素数または垂直画素数が変更された場合、前記符号化パラメータ情報を生成する、
請求項１記載の動画像送信装置。
【請求項９】
前記パラメータ情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、および、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）の少なくとも一方を含む、
請求項１〜８のいずれか１項に記載の動画像送信装置。
【請求項１０】
動画像信号を圧縮符号化することで、符号化されたパラメータ情報であって、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化ステップと、
前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化ステップと、
前記動画像符号化ステップおよび前記付加情報符号化ステップにおいて生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重ステップであって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重ステップと、
前記符号化ユニット多重ステップにおいて出力されたデータを用いて、前記符号化パラメータ情報と前記符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し送信するストリーム送信ステップと
を含む動画像送信方法。
【請求項１１】
動画像信号を符号化して符号化ストリームを生成し送信するためのプログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
動画像信号を圧縮符号化することで、符号化されたパラメータ情報であって、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化ステップと、
前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化ステップと、
前記動画像符号化ステップおよび前記付加情報符号化ステップにおいて生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重ステップであって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重ステップと、
前記符号化ユニット多重ステップにおいて出力されたデータを用いて、前記符号化パラメータ情報と前記符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し送信するストリーム送信ステップと、をコンピュータに実行させるためのプログラムである、
記録媒体。
【請求項１２】
動画像信号を圧縮符号化することで、符号化されたパラメータ情報であって、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化部と、
前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化部と、
前記動画像符号化部および前記付加情報符号化部によって生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重部であって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重部と、
前記符号化ユニット多重部から出力されたデータを用いて、前記符号化パラメータ情報と前記符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し送信するストリーム送信部と
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号を圧縮符号化することで得られるストリームをパケット単位で送信する動画像送信装置に関する。
【背景技術】
【０００２】
近年、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）または光ファイバを用いた高速ネットワーク環境が普及し、一般家庭でも数十Ｍｂｉｔ／ｓｅｃを越えるビットレートでのデータ通信が可能となっている。【０００３】
そこで、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣおよびＨ．２６４等の画像符号化技術を用いることで、専用回線を使用する企業だけでなく、一般家庭でもＴＶ放送品質またはＨＤＴＶ放送品質のＴＶ電話システムおよびＴＶ会議システムの導入が進むと予想される。【０００４】
さて、動画像信号は同じ時刻の画素の集合であるフレームが連続したものであると考えることができる。画素は、フレーム内での近傍画素との相関が強いことから、動画像信号を圧縮符号化する際に、フレーム内の画素の相関を利用した圧縮が行われる。【０００５】
また、連続するフレーム間では、画素の相関も強いことから、フレーム間の画素の相関を利用した圧縮も行われる。フレーム間の画素の相関とフレーム内の画素の相関を利用した圧縮符号化は画面間符号化と呼ばれる（この圧縮符号化により例えばＰフレームが生成される）。【０００６】
また、フレーム間の画素の相関を用いないがフレーム内の画素の相関を利用した圧縮符号化は画面内符号化と呼ばれる（この圧縮符号化によりＩフレームが生成される）。【０００７】
画面間符号化は、フレーム間の相関を利用しているため、画面内符号化よりも圧縮率が高い。【０００８】
ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣおよびＨ．２６４（非特許文献１参照）では、２次元の矩形領域の画素の集合であるブロック（もしくはマクロブロック）の単位で画面内符号化と画面間符号化とを切り替える。【０００９】
ブロックが１つ以上まとまった単位をスライスと呼び、これが画素値を正しく符号化または復号するための最小の伝送できる単位である。同じ時刻のスライスが１つ以上集まって構成されるのがフレームである。【００１０】
Ｈ．２６４等で圧縮されたデータは、パケットと呼ばれる単位で、ネットワークに送信される。Ｈ．２６４等で圧縮されたデータは、ネットワークではＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）網で送受信されるパケットであるＩＰパケットとして送信されるのが一般的である。ＩＰパケットには高速伝送に適したＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）パケットと、高信頼性伝送に適したＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）パケットとがある。【００１１】
更に、ＩＰパケットとして、ＵＤＰパケットに時間情報を付与したＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）パケットがある。大容量の動画像信号を高速に伝送する動画像送信においては、ＲＴＰパケットを使用するのが一般的である。【００１２】
Ｈ．２６４で圧縮されたデータをＲＴＰパケットに格納して伝送する方法については、ＲＦＣ３９８４（非特許文献２）に記載されている。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ＩＴＵ−Ｔ  Ｈ．２６４、“Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ”  、Ｍａｒｃｈ、２０１０
【非特許文献２】ＲＦＣ３９８４、“ＲＴＰ  Ｐａｙｌｏａｄ  Ｆｏｒｍａｔ  ｆｏｒ  Ｈ．２６４  Ｖｉｄｅｏ”  、Ｆｅｂｒｕａｒｙ、２００５
【発明の概要】
【発明が解決しようとする課題】
【００１４】
ここで、近年では３Ｄの動画像が注目を集めており、デジタル放送では３Ｄ動画像の放送が開始されている。このような放送に用いられる、３Ｄ動画像データを含むストリームには、例えば２Ｄと３Ｄとを識別するための識別情報等の情報を付加する必要がある。そのため、このようなストリームを効率よく伝送するための技術が必要となっている。【００１５】
本発明は、上記従来の課題を考慮し、データ量の増加が抑制され、かつ、エラー耐性の高い符号化ストリームを生成し送信する動画像送信装置および動画像送信方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の課題を解決するために、本発明の一態様に係る動画像送信装置は、動画像信号を圧縮符号化することで、符号化された、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化部と、前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化部と、前記動画像符号化部および前記付加情報符号化部によって生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重部であって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重部と、前記符号化ユニット多重部から出力されたデータを用いて、前記符号化パラメータ情報と前記符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し送信するストリーム送信部とを備える。【００１７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１８】
本発明によれば、データ量の増加が抑制され、かつ、エラー耐性の高い符号化ストリームを生成し送信する動画像送信装置および動画像送信方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施の形態１における動画像データのストリーム構造の一例を示す図である。
【図２】図２は、本発明の実施の形態１におけるＲＴＰパケット構造の第１の例を示す図である。
【図３】図３は、本発明の実施の形態１における動画像送信装置の機能構成の一例を示すブロック図である。
【図４】図４は、本発明の実施の形態１における動画像送信装置の基本的な処理の流れを示すフローチャートである。
【図５】図５は、本発明の実施の形態１における動画像符号化処理の第１のフローチャートである。
【図６】図６は、本発明の実施の形態１における動画像符号化処理の第２のフローチャートである。
【図７】図７は、本発明の実施の形態１におけるＲＴＰパケット生成処理のフローチャートである。
【図８】図８は、本発明の実施の形態１におけるＲＴＰパケット構造の第２の例を示す図である。
【図９】図９は、本発明の実施の形態１におけるＲＴＰパケット構造の第３の例を示す図である。
【図１０Ａ】図１０Ａは、２つの動画像が合成された動画像を示す模式図である。
【図１０Ｂ】図１０Ｂは、図１０Ａに示す２つの動画像のうちの一方のみを切り出して表示した場合を示す模式図である。
【図１０Ｃ】図１０Ｃは、図１０Ａに示す２つの動画像のうちの他方のみを切り出して表示した場合を示す模式図である。
【図１１】図１１は、本発明の実施の形態１における位置情報ＳＥＩの一部のデータ構成例を示す図である。
【図１２】図１２は、本発明の実施の形態２における記録媒体およびコンピュータシステムについての説明図である。
【図１３】図１３は、従来の２Ｄ／３Ｄ識別方法と２Ｄ／３Ｄ識別情報を説明するための図である。
【図１４】図１４は、従来の２Ｄ動画像データのストリーム構造の例を示す図である。
【図１５】図１５は、従来の３Ｄ動画像データのストリーム構造の例を示す図である。
【図１６】図１６は、従来のＲＴＰパケット構造の例を示す図である。
【図１７】図１７は、従来の動画像受信装置の機能構成の一例を示すブロック図である。
【図１８】図１８は、従来の動画像送信装置の機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２０】
（本発明の基礎となった知見）
本発明者は、３Ｄ動画像データを含むストリームを生成して送信する技術に関し、以下の問題が生じることを見出した。
【００２１】
近年では、上述のように、３Ｄの動画像が注目を集めており、デジタル放送では３Ｄ動画像の放送が開始されている。デジタル放送では既に２Ｄの受信機が普及しており、そのため、３Ｄ動画像の放送には、現在の２Ｄ放送を受信する受信機からの変更が少ない３Ｄ方式を採用することが重要であった。
【００２２】
そこで、動画像信号の水平画素数、垂直画素数、およびフレームレートを２Ｄと同じフレームに格納して３Ｄ放送を実現することになった。具体的な実現手法を、図１３に示す２Ｄ／３Ｄ識別情報と２Ｄ／３Ｄ識別情報有効範囲とを用いて説明する。
【００２３】
図１３（ａ）は従来の２Ｄ放送の画像である。２Ｄ画像の場合は、左眼用の画像と右眼用の画像とが同一である。
【００２４】
デジタル放送では、左眼用と右眼用の水平画素数を２Ｄの場合の半分にし、図１３（ｂ）のように左半分を左眼用の画像、右半分を右眼用の画像にして送信する。この送信方式を３Ｄサイド・バイ・サイド（Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ）方式と呼ぶ。
【００２５】
３Ｄサイド・バイ・サイド方式では、図１３（ｂ）のように合成された画像の水平画素数と垂直画素数とが図１３（ａ）の従来の２Ｄと同じなので、放送機器は２Ｄ対応のものがほとんどそのまま利用可能という長所がある。
【００２６】
ディスプレイでは、図１３（ｂ）の画像を表示する場合に、左半分を水平２倍に拡大して図１３（ａ）の２Ｄと同じ画素数にして左眼用の画像として表示する。また、当該画像の右半分を水平２倍に拡大して図１３（ａ）の２Ｄと同じ画素数にして右眼用の画像として表示する。
【００２７】
また、放送では現時点では使用されていないが、図１３（ｃ）のように上半分を左眼用、下半分を右眼用にすることも可能である。この送信方式を３Ｄトップ・アンド・ボトム（Ｔｏｐ−ａｎｄ−Ｂｏｔｔｏｍ）方式と呼ぶ。
【００２８】
ディスプレイでは、図１３（ａ）、図１３（ｂ）、および図１３（ｃ）の動画像信号を表示する場合に、どの送信方式に従った動画像信号であるかを識別し、上記のように左眼用の画像と右眼用の画像とを適切に分離して表示することが必要である。
【００２９】
そこで、従来、図１３（ｄ）に示すように、２Ｄであるか、３Ｄサイド・バイ・サイドであるか、３Ｄトップ・アンド・ボトムであるかを識別するための２Ｄ／３Ｄ識別情報が、０と１の符号語でストリームに多重化される。これにより得られたストリームは、動画像送信装置から動画像受信装置に伝送される。
【００３０】
また、この２Ｄ／３Ｄ識別情報は、フレーム単位で付与して当該フレームについてのみ有効としてもよい。２Ｄ／３Ｄ識別情報は、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）と呼ばれる、Ｉフレーム単位（つまり、２Ｄ／３Ｄ識別情報が付与されたフレームから、次のＩフレームの直前のフレームまで）で付与し、当該ＧＯＰの範囲で有効としてもよい。
【００３１】
なお、２Ｄ／３Ｄ識別情報の有効範囲を示すため、図１３（ｅ）に示すように、２Ｄ／３Ｄ識別情報有効範囲を０と１の符号語でストリームに多重化し、２Ｄ／３Ｄ識別情報と共に動画像送信装置から動画像受信装置に伝送する。
【００３２】
図１４は、従来の２Ｄ動画像データのストリーム構造の例を示す図である。
【００３３】
図１４に示すように、フレームの画素はスライス単位で符号化され、複数スライスで１つのフレームが構成される。また、最初のフレームにはＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、およびＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒ Ｓｅｔ）と呼ばれる、複数のフレームで共通して符号化／復号で参照する情報を含んでいる。
【００３４】
ＳＰＳはＳＰＳ＿ＩＤを含み、ＰＰＳはＳＰＳ＿ＩＤとＰＰＳ＿ＩＤとを含んでいる。更に各スライスは、符号化／復号で参照するＰＰＳとＳＰＳとを特定するために、ＰＰＳ＿ＩＤを含んでいる。
【００３５】
スライスを符号化／復号する際は、スライスに含まれるＰＰＳ＿ＩＤと同じＰＰＳ＿ＩＤを有するＰＰＳを参照する。更に、ＰＰＳに含まれるＳＰＳ＿ＩＤと同じＳＰＳ＿ＩＤを有するＳＰＳを参照する。
【００３６】
このようにして、複数のフレームの符号化／復号において、各スライスの符号化／復号で参照すべきＳＰＳとＰＰＳとを、複数のＳＰＳとＰＰＳの中から特定できる。
【００３７】
例えば、図１４では、フレーム０の各スライスのＰＰＳ＿ＩＤが“０”であることから、当該各スライスの符号化／復号では、フレーム０の最初のＰＰＳである、ＰＰＳ＿ＩＤ＝０のＰＰＳが参照されることがわかる。また、フレーム１〜３の各スライスのＰＰＳ＿ＩＤが“１”であることから、当該各スライスの符号化／復号では、フレーム０の２番目のＰＰＳである、ＰＰＳ＿ＩＤ＝１のＰＰＳが参照されることがわかる。
【００３８】
図１５は、従来の３Ｄ動画像データのストリーム構造の例を示す図である。
【００３９】
日本のデジタル放送では、図１５に示すストリーム構造が、３Ｄ動画像データのストリーム構造として使用されている。
【００４０】
図１４に示す従来の２Ｄ動画像データのストリーム構造の例と、図１５に示す従来の３Ｄ動画像データのストリーム構造の例との違いは、従来の３Ｄ動画像データのストリームには、ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｓｉｏｎ）と呼ばれる付加情報が付与されることである。
【００４１】
ＳＥＩは動画像の符号化／復号処理自体には不要であるが、システムとして有益な情報である。図１３（ｄ）および（ｅ）の２Ｄ／３Ｄ識別情報および２Ｄ／３Ｄ識別情報の有効範囲を示す情報はこのＳＥＩに該当する。
【００４２】
ＳＥＩには、当該ＳＥＩが付与されたフレームから復号再生可能なことを示すＳＥＩ、および、ストリーム受信後に復号開始するまでに受信バッファに蓄積する推奨量を示すＳＥＩなどがある。
【００４３】
ＳＥＩを各フレームに付与することで、ネットワークでストリームを伝送中にＳＥＩを含むパケットが失われた（ロスト）としても、当該ＳＥＩに対応するフレームの２Ｄ／３Ｄ識別を誤るのみで、複数のフレームについて連続して２Ｄ／３Ｄ識別を誤ることを防止できる。
【００４４】
図１６は、従来のＲＴＰパケット構造の例を示す図である。
【００４５】
図１６に示すように、符号化／復号するための単位であるスライス、並びに、複数のフレームで共通して符号化／復号で参照する情報の単位であるＳＰＳおよびＰＰＳの単位で、１つのネットワークの伝送単位であるＲＴＰパケットを構成する。
【００４６】
こうすることで、ネットワーク伝送中に１つのＲＴＰパケットが失われた場合、符号化／復号する単位でのデータの消失（ロスト）となるため、当該ＲＴＰパケットが失われたことによる影響が少ない。
【００４７】
仮に１つのＲＴＰパケットが複数のスライス、ＳＰＳまたはＰＰＳを含む場合、１つのＲＴＰパケットが失われることで、複数のスライス、ＳＰＳまたはＰＰＳを正しく復号できないため、復号した動画像の画質劣化が大きくなる。
【００４８】
図１７は、従来の動画像受信装置の機能構成の一例を示すブロック図である。
【００４９】
図１７に示す従来の動画像受信装置２００は、入力端子１２０、ストリーム受信部１２１、パケット分離部１２２、動画像復号部１２３、付加情報復号部１２４、表示制御部１２５、動画像表示部１２６、および動画像出力端子１２７を備える。また、動画像受信装置２００には、動画像出力端子１２７を介して、動画像表示装置１２８が接続されている。
【００５０】
入力端子１２０から入力された符号化ストリームはストリーム受信部１２１で受信され、ＲＴＰヘッダを除去されたパケットがパケット分離部１２２に入力される。パケット分離部１２２は、動画像の復号に必要なパケット（ＳＰＳ、ＰＰＳ、スライス）を動画像復号部１２３に入力し、動画像の表示に必要な情報のパケット（ＳＥＩ）を付加情報復号部１２４に入力する。
【００５１】
動画像復号部１２３は、パケット分離部１２２から入力された動画像の復号に必要なパケットを復号し、復号した動画像を動画像表示部１２６に入力する。更に、動画像復号部１２３はフレームの復号が完了したことを表示制御部１２５に通知する。
【００５２】
付加情報復号部１２４は、パケット分離部１２２から入力された、動画像の表示に必要な情報のパケットを復号し、２Ｄ／３Ｄ表示の方法を表示制御部１２５に通知する。
【００５３】
表示制御部１２５は、復号が完了したフレームが２Ｄであるか３Ｄであるかを判断し、動画像表示部１２６に、表示方法が２Ｄまたは３Ｄである旨を通知する。
【００５４】
なお、復号が完了したフレームと動画像の表示に必要な情報との関連付けは、パケット分離部１２２が付加情報復号部１２４に出力するパケットにフレーム番号を関連付けること、もしくはパケット分離部１２２が付加情報復号部１２４に出力するフレーム区切り情報の個数をカウントすることなどで行われる。
【００５５】
動画像表示部１２６は、表示制御部１２５の指示に基づいて、復号した動画像を動画像出力端子１２７から出力し、動画像表示装置１２８に表示させる。
【００５６】
動画像表示装置１２８が３Ｄ対応であれば、動画像表示部１２６は、動画像復号部１２３で復号した動画像そのままのフレームに、付加情報復号部１２４で復号した、フレームへの動画像の格納形式（図１３（ａ）〜（ｃ）参照）を示す情報を、動画像表示装置１２８への制御情報として付与する。さらに、動画像表示部１２６は、当該動画像を動画像表示装置１２８に入力する。これにより、動画像表示装置１２８が自動的に２Ｄ／３Ｄを判断して適切な表示を行うことができる。
【００５７】
入力端子１２０から入力された符号化ストリームが３Ｄ動画像であり、かつ、動画像表示装置１２８が３Ｄ非対応であれば、動画像表示部１２６は、動画像復号部１２３で復号した動画像の中で図１３（ｂ）または（ｃ）に示す左眼用動画像の部分だけを抽出して１フレームの大きさに拡大し、動画像表示装置１２８に入力する。これにより、動画像表示装置１２８は、適切な表示を行うことができる。
【００５８】
入力端子１２０から入力された符号化ストリームが２Ｄの場合は、動画像復号部１２３で復号した動画像をそのままのフレームで、動画像表示装置１２８に入力すれば、動画像表示装置１２８は正しく２Ｄの動画像が表示できる。
【００５９】
図１８は、従来の動画像送信装置の機能構成の一例を示すブロック図である。
【００６０】
図１８に示す従来の動画像送信装置１００は、動画像入力部１１２、動画像符号化部１１３、付加情報符号化部１１５、符号化ユニット多重部１１６およびストリーム送信部１１７を備える。
【００６１】
動画像撮像装置５０で撮像された動画像信号は動画像入力端子１１１経由で動画像入力部１１２に入力される。動画像入力部１１２は動画像信号に含まれる雑音除去などの画像処理を行い、動画像符号化部１１３に入力する。動画像符号化部１１３は動画像入力部１１２からの出力データを圧縮符号化し、符号化ユニット多重部１１６に出力する。
【００６２】
動画像撮像装置５０から動画像入力端子１１１に出力される動画像信号が、２Ｄおよび３Ｄのいずれであるかを示す２Ｄ／３Ｄ識別情報と、３Ｄの場合のフレーム内の格納形式（図１３（ａ）〜（ｃ）参照）を示す情報は、付加情報入力端子１１４から入力される。
【００６３】
付加情報入力端子１１４に入力される２Ｄ／３Ｄ識別情報等は、動画像撮像装置５０から自動で取得できる場合と、ユーザが明示的に指示することが必要な場合とがある。
【００６４】
付加情報入力端子１１４に入力された２Ｄ／３Ｄ識別情報等は、付加情報符号化部１１５で符号化されて、符号化ユニット多重部１１６に入力される。符号化ユニット多重部１１６は、動画像符号化部１１３の出力データと、付加情報符号化部１１５の出力データとを、図１５に示すデータの順に並べ替えて、ストリーム送信部１１７に入力する。ストリーム送信部１１７は、符号化ユニット多重部１１６の出力データを、図１６に示すようなＲＴＰパケットに構成し、当該ＲＴＰパケットからなる符号化ストリームを生成し出力する。
【００６５】
ここで、図１５のように各フレームにＳＥＩを含む場合には、各フレームにＳＥＩを含まない場合と比較すると、これらＳＥＩのデータ量の分だけビットレートの増加が必要である。そのため、低ビットレートの環境においてはそのＳＥＩのデータ量の増加を無視できなくなり、その結果、ビットレートの増加の必要が生じることになる。
【００６６】
また、ＳＥＩのデータ量の増加も無視できるような高ビットレートの環境であっても、ＳＥＩを含むパケットがネットワークで失われた場合、当該ＳＥＩに対応するフレームでは２Ｄ／３Ｄ識別を誤った状態で復号および表示される。その結果、１フレームではあるものの画質が劣化するという課題がある。
【００６７】
このような問題を解決するために、本発明の一態様に係る画像符号化装置は、動画像信号を圧縮符号化することで、符号化された、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化部と、前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化部と、前記動画像符号化部および前記付加情報符号化部によって生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重部であって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重部と、前記符号化ユニット多重部から出力されたデータを用いて、前記符号化パラメータ情報と前記符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し送信するストリーム送信部とを備える。
【００６８】
この構成によれば、当該動画像の表示制御のための付加情報と、当該動画像に対応するパラメータ情報とが含まれる１つのパケットが生成され、当該パケットを含む符号化ストリームが送信される。
【００６９】
そのため、当該符号化ストリームの伝送中に付加情報が失われた場合には、必ず、当該パラメータ情報も失われる。その結果、当該符号化ストリームを受信し復号する動画像受信装置では、当該動画像を復号できないことにより、当該付加情報の消失を確実に検出することができる。
【００７０】
つまり、本態様の動画像送信装置によれば、表示制御情報であるために復号処理に必須ではない付加情報の消失を、動画像受信装置に認識させることができる。そのため、動画像受信装置の側で、当該付加情報が用いられた適切な表示が実行される。
【００７１】
また、付加情報の消失を動画像受信装置に確実に認識させることができるため、例えば複数のピクチャそれぞれに付加情報を付加しない場合であっても、付加情報の消失による表示上のエラーを早期に解消させることができる。
【００７２】
このように、本態様の動画像送信装置によれば、データ量の増加が抑制され、かつ、エラー耐性の高い符号化ストリームを生成し送信することができる。
【００７３】
また、例えば、前記付加情報は、前記動画像信号に示される動画像が、互いに異なる表示態様である第１動画像および第２動画像のいずれであるかを示す情報であり、前記動画像符号化部は、前記動画像信号が前記第１動画像である場合、第１識別ＩＤが付与された、前記符号化パラメータ情報および前記符号化画素データを生成し、前記動画像信号が前記第２動画像である場合、前記第１識別ＩＤとは異なる第２識別ＩＤが付与された、前記符号化パラメータ情報および前記符号化画素データを生成するとしてもよい。
【００７４】
この構成によれば、当該動画像信号に示される動画像の表示態様が変更される場合に、符号化パラメータ情報および符号化画素データに共通して付与される識別ＩＤが変更される。
【００７５】
なお、動画像の表示態様が変更される場合とは、当該動画像が２Ｄから３Ｄに切り替わる場合、当該動画像の解像度が変更される場合、および、当該動画像が、１つの動画像のみで構成される通常の動画像信号から、並行して表示される複数の動画像を含む動画像信号に切り替わる場合などである。
【００７６】
つまり符号化画素データの復号に用いられるパラメータ情報を特定するための識別ＩＤが、動画像の表示態様が変更の前と後とで異なる。そのため、例えば、第２動画像に対応するパラメータ情報が伝送中に失われた場合、動画像受信装置では、第２動画像を得るための復号処理において、過去に受信した、第１動画像に対応するパラメータ情報を誤って参照することがない。その結果、第２動画像が本来的な表示態様ではない態様で表示されてしまうことが防止される。
【００７７】
また、例えば、前記付加情報は、前記動画像信号に示される動画像が、互いに異なる表示態様である第１動画像および第２動画像のいずれであるかを示す情報であり、前記付加情報符号化部は、前記動画像信号に示される動画像が前記第１動画像および前記第２動画像の一方から他方に変更される場合、前記他方を示す符号化付加情報を生成し、前記動画像符号化部は、前記他方を示す符号化付加情報が生成された場合に、前記符号化パラメータ情報を生成するとしてもよい。
【００７８】
この構成よれば、符号化付加情報が生成またはその内容が更新される場合に、符号化パラメータ情報が生成される。その結果、生成または更新された符号化付加情報と符号化パラメータ情報とを含む１つのパケットが生成される。
【００７９】
つまり、当該動画像信号に示される動画像の表示態様が変更になった場合に、この変更に応じた付加情報が、確実に動画像受信装置に伝達される。
【００８０】
また、例えば、前記ストリーム送信部は、前記動画像信号に示される複数のピクチャで構成されるシーケンスごとに、前記複数のピクチャに対応する符号化パラメータ情報と符号化付加情報とを有する１つのパケットが含まれるように、前記符号化ストリームを生成するとしてもよい。
【００８１】
この構成によれば、複数のピクチャで構成されるシーケンスごとに、付加情報が付与される。そのため、当該符号化ストリーム全体のデータ量の増加が抑制される。
【００８２】
また、例えば、前記付加情報は、前記動画像信号に示される動画像の表示態様が３Ｄであることを示す識別情報であるとしてもよい。
【００８３】
この構成によれば、当該符号化ストリームに含まれる動画像信号が３Ｄであることを示す付加情報が伝送中に失われた場合であっても、動画像受信装置は当該付加情報の消失を確実に検出できる。そのため、当該動画像信号が誤って２Ｄとして再生および表示されることが防止される。
【００８４】
また、例えば、前記動画像信号に示される動画像の表示態様は３Ｄであり、前記付加情報は、前記動画像信号の送信方式を特定するための識別情報であるとしてもよい。
【００８５】
この構成によれば、当該符号化ストリームに含まれる３Ｄの動画像信号の送信方式を示す付加情報が伝送中に失われた場合であっても、動画像受信装置は当該付加情報の消失を確実に検出できる。そのため、当該動画像信号が誤って他の送信方式に応じた態様で表示されることが防止される。
【００８６】
また、例えば、前記動画像信号は、１つのフレーム領域内で並行して表示可能な２以上の動画像を示す信号であり、前記付加情報は、前記フレーム領域内の、前記２以上の動画像それぞれの位置を示す位置情報であるとしてもよい。
【００８７】
この構成によれば、当該符号化ストリームを受信した動画像受信装置では、付加情報に示される情報に基づいて、当該２以上の動画像のそれぞれを切り出すことができる。
【００８８】
また、当該付加情報が伝送中に失われた場合に、当該付加情報の消失は確実に検出されるため、当該２以上の動画像を含む動画像信号が、１つの動画像のみを示す通常の動画像信号と同じように再生され表示されることが防止される。
【００８９】
また、例えば、前記動画像符号化部は、前記動画像信号に示される動画像の水平画素数または垂直画素数が変更された場合、前記符号化パラメータ情報を生成するとしてもよい。
【００９０】
この構成によれば、当該動画像信号に示される動画像の解像度が変更された場合、変更後の解像度で表示されるべき動画像に対応する符号化パラメータ情報を、符号化付加情報とともに１つのパケットに納めて送信することができる。
【００９１】
また、例えば、前記パラメータ情報は、ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、および、ＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒ Ｓｅｔ）の少なくとも一方を含むとしてもよい。
【００９２】
この構成によれば、符号化ストリームの伝送中に付加情報が失われた場合、当該付加情報に対応する符号化画素データの復号に必要なＳＰＳおよびＰＰＳの少なくとも一方も必ず失われる。その結果、当該符号化ストリームを受信し復号する動画像受信装置では付加情報の消失が確実に検出される。
【００９３】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００９４】
以下、本発明の実施の形態について、図を用いて説明する。
【００９５】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００９６】
（実施の形態１）
図１は、本発明の実施の形態１における動画像データのストリーム構造の一例を示す図である。
【００９７】
図１に示すストリームでは、ＳＥＩが最初のフレームにのみ付与されていることが、図１５に示すストリームとの大きな違いである。つまり、本実施の形態のストリームでは、シーケンスごとにＳＥＩが付与される。
【００９８】
なお、ＳＥＩは、動画像信号に示される動画像の表示制御のための付加情報の一例である。
【００９９】
また、本実施の形態における“フレーム”は、例えばプログレッシブ画像におけるフレームであり、つまり、１枚のピクチャである。また、本実施の形態における“フレーム”は、１枚のピクチャである、インタレース画像におけるフレームまたはフィールドであってもよい。
【０１００】
さて、図１では、フレーム０からフレーム３が同じＳＥＩで表示でき、かつ、フレーム４とフレーム５とが同じＳＥＩで表示できるストリームの構造が示されている。ＳＥＩは共通のＳＥＩが使用できるそれぞれの最初のフレームに付与する。
【０１０１】
なお、ネットワークで伝送するストリームを蓄積メディアに記録して再生する際に、頭出し検索ができて便利なことから、２Ｄ／３Ｄの切り替わり直後のフレームを復号し再生できるように、当該フレームとしてＩフレームを挿入することが多い。
【０１０２】
従って、ＩフレームにＳＥＩを付与することが望ましい。更に、図１ではフレーム０からフレーム３と、フレーム４およびフレーム５とで、異なるＳＰＳ＿ＩＤおよびＰＰＳ＿ＩＤを付与している。つまり、フレーム０からフレーム３に付与されたＳＰＳ＿ＩＤおよびＰＰＳ＿ＩＤと、フレーム４およびフレーム５に付与されたＳＰＳ＿ＩＤおよびＰＰＳ＿ＩＤとは異なる。
【０１０３】
従来の方法でこのストリームをネットワークを介して送信した場合、ＳＥＩが失われると複数のフレームで２Ｄ／３Ｄの識別を誤ることになり問題がある。
【０１０４】
そこで、図２に示す、本発明の実施の形態１におけるＲＴＰパケット構造の例のように、本実施の形態では、１つの符号化ユニットを１つのＲＴＰパケットにするのではなく、ＳＥＩを、ＳＰＳおよびＰＰＳの少なくとも一方と必ず同じＲＴＰパケットに含まれるように当該ＲＴＰパケットを構成する。
【０１０５】
なお、ＳＰＳおよびＰＰＳのそれぞれは、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報の一例である。
【０１０６】
また、図２では、２Ｄ／３Ｄ識別情報を含むＳＥＩ（２Ｄ／３Ｄ識別ＳＥＩ）の一部のデータ構成例が示されている。具体的には、Ｈ．２６４において、「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ  ＝  “６”」は、当該情報がＳＥＩであることを示し、「ｆｒａｍｅ＿ｐａｃｋｉｎｇ＿ａｒｒａｎｇｅｍｅｎｔ＿ｃａｎｃｅｌ＿ｆｌａｇ  ＝  “０”」は、当該ＳＥＩに対応する動画像信号に示される動画像の表示態様が３Ｄであることを示している。
【０１０７】
つまり、２Ｄ／３Ｄ識別ＳＥＩは、当該動画像信号に示される動画像が、互いに異なる表示態様である２Ｄの動画像（第１動画像）および３Ｄの動画像（第２動画像）のいずれであるかを示す付加情報の一例である。
【０１０８】
また、図２では図示されていないが、上述のように、当該ＳＥＩの適用範囲（当該フレームのみなど）を示す情報も、当該ＳＥＩに含まれている。また、当該動画像信号の送信方式（３Ｄサイド・バイ・サイド方式など）を特定するための識別情報も当該ＳＥＩに含まれている。
【０１０９】
ここで、ネットワークでは情報の消失はパケット単位で生じるため、本発明では、ＳＥＩが失われる場合は、必ずＳＰＳおよびＰＰＳの少なくとも一方が失われることになる。
【０１１０】
さて、動画像送信装置と動画像受信装置では、ネットワークではパケットが失われうることを前提とし、パケットの消失に対してロバストな方法を備えるのが一般的である。具体的には、例えば以下のような２段階の仕組みが一般に用いられる。
【０１１１】
（１）失われたパケット部分の画素値を動画像復号部で予測し、予測生成した画素値を、失われたパケット部分の画素値として動画像復号を継続する。
【０１１２】
（２）上記（１）の方法で対処できない重大なエラーが動画像復号部で検出された場合、動画像受信装置から動画像送信装置に対し、フレーム間の予測を用いないＩフレームとして次のフレームを符号化する指示を出す。動画像送信装置は指示を受けると、Ｉフレームとして当該次のフレームを符号化し送信する。
【０１１３】
動画像受信装置は、Ｉフレームを受信するまで表示を一時停止する。これにより、復号できなかったフレーム、誤解釈して復号したフレーム、もしくは誤解釈したフレーム表示に起因する表示エラーが防止される。
【０１１４】
このように、ネットワークにおけるパケットの消失への対策として、従来、上記の２段階の仕組みが存在する。
【０１１５】
さて、従来の動画像送信装置においてＳＥＩが失われた場合、動画像受信装置側では、そもそも何の情報が失われたのかが不明であるが、ＳＥＩがなくても動画像復号部では復号処理に何ら問題がない。
【０１１６】
すなわち、ＳＥＩが失われた場合、画素値の処理である上記（１）の仕組みは動作しない。また、受信したストリームに、表示制御のための付加情報である２Ｄ／３Ｄ識別ＳＥＩがない場合は通常の２Ｄの動画像信号のストリームと同じであるため、上記（２）の仕組みも動作しない。
【０１１７】
この結果、従来では、ＳＥＩが失われたことを動画像受信装置が検知できず、複数のフレームで２Ｄ／３Ｄの識別を誤ることになる。
【０１１８】
一方、本実施の形態では、２Ｄのフレームと、３Ｄのフレームとで、異なるＰＰＳ＿ＩＤが付与される。
【０１１９】
ここで、動画像受信装置では、スライスのデータを動画像復号部で復号する際に、そのスライスに含まれるＰＰＳ＿ＩＤで特定されるＰＰＳを参照することになる。ところが、本実施の形態では、ＳＥＩとＰＰＳとを同一パケットで伝送することで、ＳＥＩが失われた場合は必ずＰＰＳも失われることになる。
【０１２０】
すなわち、ＳＥＩが失われた場合はＰＰＳが失われるため、当該ＳＥＩに対応するスライスを復号するために必要なＰＰＳ（当該スライスに含まれるＰＰＳ＿ＩＤによって特定されるＰＰＳ）が存在しない。
【０１２１】
つまり、当該スライスの復号において参照すべきＰＰＳが存在しないため、全く復号できないことになる。その結果、上記（２）の仕組みが動作し、動画像送信装置が当該フレーム（Ｉフレーム）を送信する。これにより、当該動画像受信装置は、直ちに当該フレームを正しく復号し表示できるようになる。
【０１２２】
このように、２Ｄと３Ｄとが途中で切り替わる動画像信号のストリーム構造として、本実施の形態におけるストリーム構造を採用することで、２Ｄと３Ｄとの識別を間違えられたまま、フレームの復号と表示とが継続されることが防止できる。
【０１２３】
図３は、本発明の実施の形態１における動画像送信装置１０の機能構成の一例を示すブロック図である。
【０１２４】
動画像送信装置１０は、動画像入力部１２、動画像符号化部３１、付加情報符号化部３０、符号化ユニット多重部１６およびストリーム送信部３２を備える。
【０１２５】
付加情報符号化部３０は、付加情報入力端子１４から入力された２Ｄ／３Ｄ識別情報等を、２Ｄ／３Ｄ識別情報等が更新されたときに符号化して符号化ユニット多重部１６に入力する。
【０１２６】
また、付加情報符号化部３０は、２Ｄ／３Ｄ識別情報等が更新されたときは動画像符号化部３１とストリーム送信部３２とにその旨を通知する。
【０１２７】
具体的には、本実施の形態では、動画像送信装置１０に入力される動画像信号が、２Ｄから３Ｄに切り替わる場合に、その旨が動画像符号化部３１とストリーム送信部３２とに通知される。また、当該２Ｄ／３Ｄ識別情報を含む２Ｄ／３Ｄ識別ＳＥＩが符号化される。
【０１２８】
なお、動画像送信装置１０に入力される動画像信号とは、例えば動画像撮像装置５０から動画像入力端子１１経由で入力される動画像信号である。
【０１２９】
動画像符号化部３１は、動画像入力部１２からの出力データを圧縮符号化し、符号化ユニット多重部１６に出力する。また、動画像符号化部３１は、圧縮符号化する際に、付加情報符号化部３０から上記通知を受けたときにはＳＰＳとＰＰＳのＩＤを変更し、更にＳＰＳとＰＰＳとを、符号化された各フレームに付与したデータを生成する。
【０１３０】
符号化ユニット多重部１６は、動画像符号化部３１からの出力データと、付加情報符号化部３０からの出力データとを、図１に示すデータの順に並べ替えて、ストリーム送信部３２に入力する。
【０１３１】
つまり、符号化ユニット多重部１６は、動画像符号化部３１および付加情報符号化部３０によって生成されたデータを符号化ユニットごとに所定の順番に並べて出力する。具体的には、このとき、符号化パラメータ情報（本実施の形態では、符号化されたＳＰＳおよびＰＰＳ）と符号化付加情報（本実施の形態では、符号化されたＳＥＩ）とが並べて出力される。
【０１３２】
ストリーム送信部３２は、符号化ユニット多重部１６から出力されたデータを用いて、１以上のパケットで構成される符号化ストリーム生成し送信する。具体的には、符号化パラメータ情報と符号化付加情報とを有する１つのパケットを含む符号化ストリームを送信する。
【０１３３】
つまり、本実施の形態では、ストリーム送信部３２は、付加情報符号化部３０から上記通知を受けた場合は、ＳＥＩと、ＳＰＳおよびＰＰＳとを含む、図２に示すようなＲＴＰパケットを生成する。ストリーム送信部３２は、当該ＲＴＰパケットを含む符号化ストリームを生成し出力する。
【０１３４】
なお、符号化対象のＳＥＩが、２Ｄ／３Ｄ識別ＳＥＩのような重要なＳＥＩを含む場合は、必ずＳＥＩをＳＰＳおよびＰＰＳの少なくとも一方と同一のＲＴＰパケットに含まれるように、ストリーム送信部３２を制御してもよい。この場合、付加情報符号化部３０からストリーム送信部３２への上記通知を省略してもよい。
【０１３５】
また、ＳＥＩには２Ｄ／３Ｄ識別ＳＥＩのように重要なＳＥＩと、そのＳＥＩが付与されたフレームから復号再生可能なことを示すＳＥＩ、および、ストリーム受信後に復号開始するまでに受信バッファに蓄積する推奨量を示すＳＥＩのように重要でないＳＥＩとがある。
【０１３６】
本実施の形態における付加情報符号化部３０では、この重要なＳＥＩの場合にのみ動画像符号化部３１とストリーム送信部３２とに、その旨を通知することで、重要なＳＥＩと重要でないＳＥＩとを区別した処理が可能である。
【０１３７】
なお、動画像送信装置１０は、動画像入力端子１１および動画像入力部１２を備えなくてもよい。この場合、動画像符号化部３１は、例えば、動画像送信装置１０が備える記録媒体（図示せず）から、処理対象の動画像信号を読み出してもよい。
【０１３８】
また、動画像送信装置１０は、付加情報入力端子１４を備えなくてもよい。この場合、付加情報符号化部３０は、例えば、動画像送信装置１０に保持されている２Ｄ／３Ｄ切換えのタイミングを示す情報を参照することで、動画像信号の２Ｄおよび３Ｄの一方から他方への切換えを検出してもよい。
【０１３９】
次に、本実施の形態の動画像送信装置１０の基本的な処理の流れを、図４を用いて説明する。
【０１４０】
図４は、本発明の実施の形態１における動画像送信装置１０の基本的な処理の流れを示すフローチャートである。
【０１４１】
なお、図４に示す各処理の順番は一例であり、各処理の順番は、図４に示す順番以外であってもよい。
【０１４２】
動画像符号化部３１は、動画像信号を圧縮符号化することで、符号化された、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する（Ｓ１）。本実施の形態では、符号化パラメータ情報として、符号化されたＳＰＳおよびＰＰＳが生成される。
【０１４３】
付加情報符号化部３０は、当該動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する（Ｓ２）。本実施の形態では、符号化付加情報として、符号化されたＳＥＩが生成される。
【０１４４】
符号化ユニット多重部１６は、動画像符号化部３１および付加情報符号化部３０によって生成されたデータを符号化ユニットごとに所定の順番に並べて出力する。また、符号化ユニット多重部１６は特徴的な処理として、符号化付加情報を符号化パラメータ情報と符号化画素データの間に並べて出力する（Ｓ３）。
【０１４５】
ストリーム送信部３２は、符号化ユニット多重部１６から受け取ったデータを用い、符号化パラメータ情報と符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し、送信する。符号化画素データは、符号化画素データのみでパケットを構成して送信する（Ｓ４）。
【０１４６】
本実施の形態の動画像送信装置１０は、このような一連の処理により、ＳＰＳおよびＰＰＳとＳＥＩとを有するＲＴＰパケット（図２参照）を含む符号化ストリームを送信することができる。
【０１４７】
以下、動画像送信装置１０の処理をより詳細に説明する。
【０１４８】
図５は、本発明の実施の形態１における動画像符号化処理の第１のフローチャートであり、具体的には、動画像符号化部３１および付加情報符号化部３０の動作を説明するものである。
【０１４９】
動画像符号化部３１で符号化するフレームについて、２Ｄおよび３Ｄの一方から他方への切換えが生じた場合（Ｓ１０でＹＥＳ）を想定する。
【０１５０】
例えば、連続する複数のフレームの中で、当該フレームから２Ｄから３Ｄに切り替えられることで、動画像符号化部３１が、当該フレームに対する２Ｄ／３Ｄ識別ＳＥＩの付与を、付加情報符号化部３０から通知された場合（Ｓ１０でＹＥＳ）、動画像符号化部３１は、ＳＰＳとＰＰＳのｉｄを変更する（Ｓ２１）。
【０１５１】
なお、変更前のＳＰＳとＰＰＳのｉｄは、第１識別ＩＤの一例であり、変更後のＳＰＳとＰＰＳのｉｄは、第２識別ＩＤの一例である。
【０１５２】
動画像符号化部３１はさらに、ＳＰＳとＰＰＳとを、変更したｉｄとともに符号化する（Ｓ２２）。
【０１５３】
次に、付加情報符号化部３０は、当該フレームが３Ｄである場合（Ｓ２３でＹＥＳ）、つまり、Ｓ１０において、２Ｄから３Ｄへの切換えであると判断された場合、２Ｄ／３Ｄ識別ＳＥＩを符号化する（Ｓ２４）。なお、当該フレームが２Ｄである場合（Ｓ２３でＮＯ）、つまり、Ｓ１０において、３Ｄから２Ｄへの切換えであると判断されていた場合、Ｓ２４の処理はスキップされる。
【０１５４】
次に、動画像符号化部３１は、Ｉフレームとして、当該フレームの全ての画素値をスライス単位で符号化する（Ｓ２６）。
【０１５５】
また、当該フレームについて、２Ｄ−３Ｄ間の切換えが生じていない場合、例えば、動画像符号化部３１が、当該フレームに対する２Ｄ／３Ｄ識別ＳＥＩの付与を、付加情報符号化部３０から通知されない場合（Ｓ１０でＮＯ）は、Ｐフレームとして、当該フレームの全ての画素値をスライス単位で符号化する（Ｓ２５）。
【０１５６】
図６は、本発明の実施の形態１における動画像符号化処理の第２のフローチャートである。
【０１５７】
図６は、具体的には、動画像撮像装置５０で、異なる解像度の動画像信号（例えば、フルＨＤ１９２０×１０８０からＨＤの１２８０×７２０）に切り替わった場合に対応する符号化処理の流れの一例を示している。
【０１５８】
図６に示すように、動画像送信装置１０は、処理対象の動画像信号の解像度に変化が生じる場合、つまり、当該動画像信号に示される動画像の水平画素数または垂直画素数に変化が生じる場合もＳＰＳとＰＰＳのｉｄを変更することができる。これにより、例えば、以下のような効果が生じる。
【０１５９】
例えば、途中で第１解像度から第２解像度に切り替わる動画像信号の符号化ストリームにおいて、第２解像度のスライスに対応するＳＰＳもしくはＰＰＳがネットワークでの伝送中に失われた場合を想定する。
【０１６０】
つまりこの場合、当該ストリームを受信する動画像受信装置では、当該スライスの復号で参照すべきＰＰＳ＿ｉｄに対応するＳＰＳまたはＰＰＳが受信できていない。そのため、当該スライスが誤って復号されることが防止される。
【０１６１】
言い換えると、過去に受信した、第１解像度のスライスに対応するＳＰＳまたはＰＰＳが誤って参照されることが防止され、その結果、第２解像度のスライスが誤って復号されてしまうことが防止される。そのため、重要なデータがネットワークの伝送中に失われたことが当該動画像受信装置で直ちに検出できる。
【０１６２】
従って、当該動画像受信装置は、重要なデータが失われたことを検出後、動画像送信装置１０に通知を出すことができる。この通知への応答として、動画像送信装置１０が、該当するフレームをＩフレームとして送信する。これにより、当該動画像受信装置は、直ちに当該フレームを正しく復号し表示できるようになる。
【０１６３】
動画像送信装置１０は、具体的には以下のように動作する。
【０１６４】
動画像符号化部３１で符号化するフレームについて、２Ｄ−３Ｄ間の切換え、または、解像度（画像サイズ）の変更が生じた場合（Ｓ２０でＹＥＳ）を想定する。
【０１６５】
例えば、動画像符号化部３１が、付加情報符号化部３０から、当該フレームに対する２Ｄ／３Ｄ識別情報の付与を通知された場合、または画像サイズが変更されたことを通知された場合（Ｓ２０でＹＥＳ）、動画像符号化部３１は、ＳＰＳとＰＰＳのｉｄを変更する（Ｓ２１）。
【０１６６】
動画像符号化部３１はさらに、ＳＰＳとＰＰＳを変更したｉｄとともに符号化する（Ｓ２２）。
【０１６７】
次に、付加情報符号化部３０は、当該フレームが３Ｄである場合（Ｓ２３でＹＥＳ）、つまり、Ｓ１０において、２Ｄから３Ｄへの切換えであると判断されていた場合、２Ｄ／３Ｄ識別ＳＥＩを符号化する（Ｓ２４）。
【０１６８】
なお、当該フレームが２Ｄである場合（Ｓ２３でＮＯ）、つまり、Ｓ２０において、３Ｄから２Ｄへの切換えであると判断されていた場合、Ｓ２４の処理はスキップされる。
【０１６９】
次に、動画像符号化部３１は、Ｉフレームとして、当該フレームの全ての画素値をスライス単位で符号化する（Ｓ２６）。
【０１７０】
また、当該フレームについて、２Ｄ−３Ｄ間の切換えが生じていない場合、例えば、動画像符号化部３１が、当該フレームに対する２Ｄ／３Ｄ識別ＳＥＩの付与を、付加情報符号化部３０から通知されない場合（Ｓ２３でＮＯ）、Ｉフレームとしてフレームの全ての画素値をスライス単位で符号化する（Ｓ２６）。
【０１７１】
また、当該フレームについて、２Ｄ−３Ｄ間の切換えが生じていない場合、例えば、動画像符号化部３１が、付加情報符号化部３０から、当該フレームに対する２Ｄ／３Ｄ識別ＳＥＩの付与を通知されない場合であって、かつ、画像サイズが変更されたことも通知されない場合（Ｓ２０でＮＯ）は、Ｐフレームとして、当該フレームの全ての画素値をスライス単位で符号化する（Ｓ２５）。
【０１７２】
なお、図５および図６それぞれにおける処理の流れにおいて、例えば、当該フレームが３Ｄであるか否かの確認（Ｓ２３）はなくてもよい。つまり、当該フレームが２Ｄである場合に、当該フレームが２Ｄであることを明示する２Ｄ／３Ｄ識別ＳＥＩが符号化されてもよい。
【０１７３】
図７は、本発明の実施の形態１におけるＲＴＰパケット生成処理のフローチャートであり、具体的には、ストリーム送信部３２の動作を説明するものである。
【０１７４】
ストリーム送信部３２は、符号化ユニット多重部１６から、符号化ユニットごとに所定の順番に並べられたデータを受け取ると、パケット化すべきデータがＳＰＳまたはＰＰＳであるかを判断する（Ｓ３０）。判断の結果、当該データがＳＰＳまたはＰＰＳの場合（Ｓ３０でＹＥＳ）、更に、パケット化すべきデータとして、ＳＥＩであって２Ｄ／３Ｄ識別情報を示すもの、つまり、２Ｄ／３Ｄ識別ＳＥＩがあるかを判断する（Ｓ３１）。
【０１７５】
２Ｄ／３Ｄ識別ＳＥＩがある場合は（Ｓ３１でＹＥＳ）、ストリーム送信部３２は、２Ｄ／３Ｄ識別ＳＥＩを、ＳＰＳおよびＰＰＳの少なくとも一方と同じパケットに含まれるよう当該パケットを生成する（Ｓ３３）。
【０１７６】
本実施の形態では、図２に示すように、ＳＰＳおよびＰＰＳと２Ｄ／３Ｄ識別ＳＥＩとを含むＲＴＰパケットが生成される。
【０１７７】
また、２Ｄ／３Ｄ識別ＳＥＩがない場合は（Ｓ３１でＮＯ）、ＳＰＳまたはＰＰＳを含み、２Ｄ／３Ｄ識別ＳＥＩを含まないパケットを生成する（Ｓ３２）。
【０１７８】
なお、ＳＰＳとＰＰＳとは同じパケットに含まれるようにしてもよいし、それぞれが個別のパケットに含まれてもよい。
【０１７９】
処理対象のデータがＳＰＳでもＰＰＳでもない場合（Ｓ３０でＮＯ）、およびＳ３２またはＳ３３の処理の後に、ストリーム送信部３２は、スライスのデータをパケット化する。
【０１８０】
ここで、１つのスライスは１つのパケットとしてパケット化されることが望ましいが、スライスのデータの大きさが比較的に小さい場合は、複数スライスを１パケットとしてパケット化されてもよい。
【０１８１】
また、スライスのデータの大きさが比較的に大きい場合は、１つのスライスのデータを分割して、分割後のそれぞれのデータを含む複数のパケットを生成してもよい。
【０１８２】
図８は、本発明の実施の形態１におけるＲＴＰパケット構造の第２の例を示す図であり、具体的には、１つのＲＴＰパケットに１つのスライスを含ませる例を示している。また、図８では、ＳＰＳとＰＰＳとが個別のＲＴＰパケットに含まれている。
【０１８３】
図９は、本発明の実施の形態１におけるＲＴＰパケット構造の第３の例を示す図であり、１つのＲＴＰパケットに複数のスライスを含ませる例を示している。
【０１８４】
なお、図９では、１つのＲＴＰパケットに２つのスライスが含まれているが、１つのＲＴＰパケットに３以上のスライスが含まれてもよい。
【０１８５】
また、画像の付加情報としてＳＥＩに含ませる情報は２Ｄ／３Ｄ識別情報だけではなく、動画像に複数の動画像が合成されている場合における、各動画像の位置情報でもよい。
【０１８６】
図１０Ａは、２つの動画像が合成された動画像を示す模式図である。つまり、１つのフレーム領域内で並行して表示可能な２以上の動画像を示す動画像信号を復号し再生した結果の表示例である。
【０１８７】
また、図１０Ｂは、図１０Ａに示す２つの動画像のうちの一方のみを切り出して表示した場合を示す模式図であり、図１０Ｃは、図１０Ａに示す２つの動画像のうちの他方のみを切り出して表示した場合を示す模式図である。
【０１８８】
図１０Ａに示すように、動画１と動画２とを合成した動画像を動画像送信装置１０から送信した場合を想定する。この場合、動画像受信装置では動画１と動画２とがフレーム領域のどの位置に埋め込まれているかを知ることができれば、動画像受信装置のユーザが動画１のみを視聴したい場合に、動画１のみを切り出して拡大表示したりすることができる。
【０１８９】
そこで、動画像送信装置１０は、動画１および動画２それぞれの位置情報をＳＥＩに含ませて符号化する。
【０１９０】
これにより、動画像受信装置では、受信した符号化ストリームを復号して再生する際に、上記位置情報を示すＳＥＩ（以下、「位置情報ＳＥＩ」という。）を参照することで、動画１および動画２をそれぞれ切り出して再生することができる。
【０１９１】
具体的には、図１０Ａの動画１および動画２の位置情報として、例えば以下のような情報がＳＥＩに含められる。
【０１９２】
付加情報符号化部３０は、動画１の位置情報として、図１０Ｂに示す、Ｈ、Ｖ、Ｈ０およびＶ０を位置情報ＳＥＩに含ませる。また、付加情報符号化部３０は、動画２の位置情報として、図１０Ｃに示す、ｈ、ｖ、ｈ０およびｖ０を、位置情報ＳＥＩに含ませる。付加情報符号化部３０はこれら動画１の位置情報と動画２の位置情報とを含む位置情報ＳＥＩを符号化する。
【０１９３】
つまり、動画１および動画２それぞれの、幅、高さ、および左上の座標を示す情報が位置情報ＳＥＩに示されることになる。
【０１９４】
図１１は、本発明の実施の形態１における位置情報ＳＥＩの一部のデータ構成例を示す図である。
【０１９５】
図１１に示す位置情報ＳＥＩにおいて、「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ  ＝  “６”」によって、当該情報がＳＥＩであることを示され、その後に、動画１（Ｍ１）および動画２（Ｍ２）それぞれの幅、高さ、および左上の座標を示す情報が記録されている。
【０１９６】
つまり、位置情報ＳＥＩは、当該位置情報ＳＥＩに対応する動画像が、１つの動画を示す通常の動画像（第１動画像）ではなく、図１０Ａに示すような２つの動画を示す動画像（第２動画像）であることを示す付加情報の一例である。
【０１９７】
ストリーム送信部３２は、このような情報を含む位置情報ＳＥＩを、上述の２Ｄ／３Ｄ識別ＳＥＩと同様に、重要なＳＥＩとしてＳＰＳもしくはＰＰＳと同じパケットに含ませる。ストリーム送信部３２はさらに、当該パケットを含む符号化ストリームをネットワークに送信する。
【０１９８】
この場合、ネットワークで位置情報ＳＥＩが失われた場合、ＰＰＳまたはＳＰＳの少なくとも一方も失われていることから、動画像受信装置は、位置情報ＳＥＩが失われたことが検出できる。つまり、位置情報ＳＥＩの消失をエラーとして検出できる。
【０１９９】
これにより、動画像受信装置は、動画像送信装置１０に、当該位置情報ＳＥＩに対応するフレームの再送を依頼することができる。
【０２００】
その結果、動画像受信装置は、動画像送信装置１０から送信される、当該位置情報ＳＥＩが付与されたＩフレームを受信することができ、当該位置情報ＳＥＩを参照することで、例えば、動画１および動画２をそれぞれ切り出して再生することができる。
【０２０１】
なお、位置情報ＳＥＩを付加する必要が生じた場合を想定する。例えば、動画像送信装置１０の処理対象の動画像信号が、１つの動画を示す通常の動画像信号から、図１０Ａに示すような２つの動画を示す動画像信号に切り替えられた場合を想定する。
【０２０２】
この場合も、２Ｄ−３Ｄ間の切換え時と同様に、ＳＰＳとＰＰＳのｉｄの変更（図５のＳ２１参照）を行ってもよい。
【０２０３】
また、当該２つの動画の位置また大きさに変更があった場合など、位置情報ＳＥＩの更新が生じた場合も同様に、ＳＰＳとＰＰＳのｉｄの変更を行ってもよい。
【０２０４】
このように、ＳＰＳとＰＰＳのｉｄの変更を行うことにより、例えば、以下のような効果が生じる。
【０２０５】
例えば、動画像受信装置の復号対象が、１つのみの動画像を含む通常の動画像信号から、図１０Ａに示す、２つの動画像を含む動画像信号に切り替わった場合を想定する。また、後者の動画像信号を復号する際に参照すべきＳＰＳおよびＰＰＳがネットワークでの伝送中に失われた場合を想定する。
【０２０６】
この場合、上記の動画像信号の種類の切り替えに応じて、ＳＰＳとＰＰＳのｉｄが変更されている。そのため、後者の動画像信号に含まれるスライスに付与されたＰＰＳ＿ＩＤを有するＰＰＳは、動画像受信装置には存在していない。
【０２０７】
つまり、過去に受信したＳＰＳまたはＰＰＳが誤って参照され、その結果、当該スライスが復号されてしまうことがない。そのため、重要なデータがネットワークの伝送中に失われたことが当該動画像受信装置で直ちに検出できる。
【０２０８】
以上説明したように、本実施の形態の動画像送信装置１０は、符号化パラメータ情報（符号化されたＰＰＳなど）と符号化付加情報（符号化された２Ｄ／３Ｄ識別ＳＥＩなど）とを有する１つのパケットを含む符号化ストリームを生成する。
【０２０９】
これにより、データ量の増加が抑制され、かつ、エラー耐性の高い符号化ストリームを送信することができる。
【０２１０】
（実施の形態２）
次に、実施の形態２について、以下説明する。
【０２１１】
ここでは、上記実施の形態１で示した動画像送信方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにする。これにより、上記実施の形態１で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０２１２】
図１２は、実施の形態１の動画像送信方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【０２１３】
図１２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図１２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。
【０２１４】
フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【０２１５】
また、図１２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。動画像送信方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。
【０２１６】
また、フレキシブルディスク内のプログラムによる動画像送信方法をコンピュータシステムＣｓ内に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【０２１７】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０２１８】
また、実施の形態１における動画像送信装置１０の各機能ブロック（図３参照）は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えばメモリ以外の機能ブロックが１チップ化されていてもよい。
【０２１９】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２２０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２２１】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。また、各機能ブロックのうち、動画像送信方法の対象となるデータを格納する手段だけ別構成として、すべてを１チップ化しなくてもよい。
【０２２２】
すなわち、上記実施の形態１における各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態１の動画像送信装置１０などを実現するソフトウェアは、次のようなプログラムである。
【０２２３】
すなわち、このプログラムは、コンピュータに、動画像送信方法を実行させる。
【０２２４】
当該動画像送信方法は、動画像信号を圧縮符号化することで、符号化されたパラメータ情報であって、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化ステップと、前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化ステップと、前記動画像符号化ステップおよび前記付加情報符号化ステップにおいて生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重ステップであって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重ステップと、前記符号化ユニット多重ステップにおいて出力されたデータを用いて、前記符号化パラメータ情報と前記符号化付加情報とを有する１つのパケットを含む符号化ストリームを生成し送信するストリーム送信ステップとを含む。
【０２２５】
以上、本発明の一態様に係る動画像送信装置および動画像送信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、および、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一態様の範囲内に含まれてもよい。
【０２２６】
例えば、図２および図１１のそれぞれに、ＳＥＩのデータ構成例が示されているが、ＳＥＩのデータ構成は、当該ＳＥＩに対応する動画像信号が２Ｄであるか３Ｄであるかなど、必要な情報が特定できるものであればよい。
【０２２７】
また、実施の形態１の動画像送信装置１０は、ＳＥＩとＰＰＳおよびＳＰＳの少なくとも一方とを含む１つのＲＴＰパケットを生成するとした。しかし、動画像送信装置１０が生成するパケットの種類は特定のものに限定されない。つまり、ＲＴＰパケット以外のパケットであっても、コネクションレスのプロトコルに従ったパケットの単位で符号化ストリームを送信するのであれば、動画像送信装置１０により、データ量の増加が抑制され、かつ、エラー耐性の高い符号化ストリームを生成することができる。
【産業上の利用可能性】
【０２２８】
本発明は、動画像信号をネットワークで伝送する際に、２Ｄ／３Ｄ識別情報等の表示制御における重要な情報をＳＰＳおよびＰＰＳと同じパケットに含めて送信することで、ネットワークの送信パケットの消失に強い動画像送信装置を簡単に実現できる。そのため、本発明は、特に、ネットワークを利用した動画像双方向通信または動画像配信を行う機器、および、監視カメラなど、動画像を符号化する通信機器およびセット機器に利用することができる。
【符号の説明】
【０２２９】
１０、１００  動画像送信装置
１１、１１１  動画像入力端子
１２、１１２  動画像入力部
１４、１１４  付加情報入力端子
１６、１１６  符号化ユニット多重部
３０、１１５  付加情報符号化部
３１、１１３  動画像符号化部
３２、１１７  ストリーム送信部
５０  動画像撮像装置
１２０  入力端子
１２１  ストリーム受信部
１２２  パケット分離部
１２３  動画像復号部
１２４  付加情報復号部
１２５  表示制御部
１２６  動画像表示部
１２７  動画像出力端子
１２８  動画像表示装置
２００  動画像受信装置
【図１】
2012153450.tif 000003
【図２】
2012153450.tif 000004
【図３】
2012153450.tif 000005
【図４】
2012153450.tif 000006
【図５】
2012153450.tif 000007
【図６】
2012153450.tif 000008
【図７】
2012153450.tif 000009
【図８】
2012153450.tif 000010
【図９】
2012153450.tif 000011
【図１０Ａ】
2012153450.tif 000012
【図１０Ｂ】
2012153450.tif 000013
【図１０Ｃ】
2012153450.tif 000014
【図１１】
2012153450.tif 000015
【図１２】
2012153450.tif 000016
【図１３】
2012153450.tif 000017
【図１４】
2012153450.tif 000018
【図１５】
2012153450.tif 000019
【図１６】
2012153450.tif 000020
【図１７】
2012153450.tif 000021
【図１８】
2012153450.tif 000022
【手続補正書】
【提出日】平成24年9月5日(2012.9.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像信号を圧縮符号化することで、符号化された、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化部と、
前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化部と、
前記動画像符号化部および前記付加情報符号化部によって生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重部であって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重部と、
前記符号化ユニット多重部から出力されたデータを用いて、前記符号化付加情報を、前記符号化パラメータ情報が含まれるパケットに必ず含めて、前記パケットを含む符号化ストリームを生成し送信するストリーム送信部と
を備える動画像送信装置。
【請求項２】
前記付加情報は、前記動画像信号に示される動画像が、互いに異なる表示態様である第１動画像および第２動画像のいずれであるかを示す情報であり、
前記動画像符号化部は、
前記動画像信号が前記第１動画像である場合、第１識別ＩＤが付与された、前記符号化パラメータ情報および前記符号化画素データを生成し、
前記動画像信号が前記第２動画像である場合、前記第１識別ＩＤとは異なる第２識別ＩＤが付与された、前記符号化パラメータ情報および前記符号化画素データを生成する、
請求項１記載の動画像送信装置。
【請求項３】
前記付加情報は、前記動画像信号に示される動画像が、互いに異なる表示態様である第１動画像および第２動画像のいずれであるかを示す情報であり、
前記付加情報符号化部は、前記動画像信号に示される動画像が前記第１動画像および前記第２動画像の一方から他方に変更される場合、前記他方を示す符号化付加情報を生成し、
前記動画像符号化部は、前記他方を示す符号化付加情報が生成された場合に、前記符号化パラメータ情報を生成する、
請求項１記載の動画像送信装置。
【請求項４】
前記ストリーム送信部は、前記動画像信号に示される複数のピクチャで構成されるシーケンスごとに、前記複数のピクチャに対応する符号化パラメータ情報と符号化付加情報とを有する１つのパケットが含まれるように、前記符号化ストリームを生成する、
請求項１記載の動画像送信装置。
【請求項５】
前記付加情報は、前記動画像信号に示される動画像の表示態様が３Ｄであることを示す識別情報である、
請求項１記載の動画像送信装置。
【請求項６】
前記動画像信号に示される動画像の表示態様は３Ｄであり、
前記付加情報は、前記動画像信号の送信方式を特定するための識別情報である、
請求項１記載の動画像送信装置。
【請求項７】
前記動画像信号は、１つのフレーム領域内で並行して表示可能な２以上の動画像を示す信号であり、
前記付加情報は、前記フレーム領域内の、前記２以上の動画像それぞれの位置を示す位置情報である、
請求項１記載の動画像送信装置。
【請求項８】
前記動画像符号化部は、前記動画像信号に示される動画像の水平画素数または垂直画素数が変更された場合、前記符号化パラメータ情報を生成する、
請求項１記載の動画像送信装置。
【請求項９】
前記パラメータ情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）、および、ＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）の少なくとも一方を含む、
請求項１〜８のいずれか１項に記載の動画像送信装置。
【請求項１０】
動画像信号を圧縮符号化することで、符号化されたパラメータ情報であって、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化ステップと、
前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化ステップと、
前記動画像符号化ステップおよび前記付加情報符号化ステップにおいて生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重ステップであって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重ステップと、
前記符号化ユニット多重ステップにおいて出力されたデータを用いて、前記符号化付加情報を、前記符号化パラメータ情報が含まれるパケットに必ず含めて、前記パケットを含む符号化ストリームを生成し送信するストリーム送信ステップと
を含む動画像送信方法。
【請求項１１】
動画像信号を符号化して符号化ストリームを生成し送信するためのプログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
動画像信号を圧縮符号化することで、符号化されたパラメータ情報であって、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化ステップと、
前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化ステップと、
前記動画像符号化ステップおよび前記付加情報符号化ステップにおいて生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重ステップであって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重ステップと、
前記符号化ユニット多重ステップにおいて出力されたデータを用いて、前記符号化付加情報を、前記符号化パラメータ情報が含まれるパケットに必ず含めて、前記パケットを含む符号化ストリームを生成し送信するストリーム送信ステップと、をコンピュータに実行させるためのプログラムである、
記録媒体。
【請求項１２】
動画像信号を圧縮符号化することで、符号化されたパラメータ情報であって、少なくとも１つのピクチャに含まれるスライスの復号に共通して使用されるパラメータ情報である符号化パラメータ情報と、当該ピクチャの符号化画素データとを生成する動画像符号化部と、
前記動画像信号に示される動画像の表示制御のための付加情報を符号化することで符号化付加情報を生成する付加情報符号化部と、
前記動画像符号化部および前記付加情報符号化部によって生成されたデータを符号化ユニットごとに所定の順番に並べて出力する符号化ユニット多重部であって、前記符号化パラメータ情報と前記符号化付加情報とを並べて出力する符号化ユニット多重部と、
前記符号化ユニット多重部から出力されたデータを用いて、前記符号化付加情報を、前記符号化パラメータ情報が含まれるパケットに必ず含めて、前記パケットを含む符号化ストリームを生成し送信するストリーム送信部と
を備える集積回路。
【手続補正書】
【提出日】平成24年12月5日(2012.12.5)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2012153450.tif 000023
【国際調査報告】
2012153450.tif 000024
2012153450.tif 000025
2012153450.tif 000026
2012153450.tif 000027