(57)【要約】      （修正有）【課題】伝送形態としてＭＶＣ方式のベースビューストリームと非ベースビューストリームを分離独立して伝送するシステムに適用可能な融通性のある映像データ処理装置及び映像データ処理方法を提供する。【解決手段】メイン映像データを符号化処理したベースビューストリームを処理する第１のストリーム符号化部と、付加価値データとメイン映像データの一部領域の映像データとを合成したサブ映像データを符号化処理した非ベースビューストリームを処理する第２のストリーム符号化部を備える。ＤＴＳ／ＰＴＳ生成器が、ベースビューストリームのコンテンツ用のＰＥＳパケットの第１ヘッダにＤＴＳ／ＰＴＳを与えるとともに、非ベースビューストリームのコンテンツ用のＰＥＳパケットの第２ヘッダであって、第１ヘッダに時間的に対応させるべき第２ヘッダに対してもＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳを与える。【選択図】図７
2019022019.tif 000002
【特許請求の範囲】
【請求項１】
メイン映像データを符号化処理したベースビューストリームを処理する第１のストリーム符号化部と、
付加価値データと前記メイン映像データの一部領域の映像データとを合成したサブ映像データを符号化処理した非ベースビューストリームを処理する第２のストリーム符号化部と、
前記ベースビューストリームを構成する第１ストリームのコンテンツ用のＰＥＳパケットの第１ヘッダにデコーディングタイムスタンプ（ＤＴＳ）／プレゼンテーションタイムスタンプ（ＰＴＳ）を与えるとともに、前記非ベースビューストリームを構成する第２ストリームのコンテンツ用のＰＥＳパケットの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき前記第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳを与えるＤＴＳ／ＰＴＳ生成器と、
前記ベースビューストリームの制御情報記述部の一部に対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報を与えるプライベートセクション生成部と、を備える
多視点映像符号化方式を応用した映像データ処理装置。
【請求項２】
単一ストリームを分離して、前記第１のストリーム符号化部に入力する前記ベースビューストリームと、前記第２のストリーム符号化部に入力する前記非ベースビューストリームと、を出力するストリーム分離部をさらに備える、請求項１に記載の多視点映像符号化方式を応用した映像データ処理装置。
【請求項３】
前記第１のストリーム符号化部から出力される前記ベースビューストリームを送信する第１送信装置と、前記第２のストリーム符号化部から出力される前記非ベースビューストリームを送信する第２送信装置と、をさらに備える、請求項１に記載の多視点映像符号化方式を応用した映像データ処理装置。
【請求項４】
前記同じ時間のＤＴＳ／ＰＴＳが与えられる前記第１ヘッダと、前記第２ヘッダは、前記第１ストリームと前記第２ストリームで形成される単一ストリームを構成する同一アクセスユニットに含まれる、請求項１に記載の多視点映像符号化方式を応用した映像データ処理装置。
【請求項５】
ベースビューストリームが入力される第１入力端子と、
非ベースビューストリームが入力される第２入力端子と、
ここで、前記ベースビューストリームを構成する第１ストリームのコンテンツ用のＰＥＳパケットの第１ヘッダにデコーディングタイムスタンプ（ＤＴＳ）／プレゼンテーションタイムスタンプ（ＰＴＳ）が含まれ、前記非ベースビューストリームを構成する第２ストリームのコンテンツ用のＰＥＳパケットの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき前記第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳが含まれおり、また、前記ベースビューストリームの制御情報記述部の一部に対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報が含まれており、
前記ベースビューストリームが入力される第１のストリーム復号化部と、
前記非ベースビューストリームが入力される第２のストリーム復号化部と、
ここで前記第１と第２のストリーム復号化部は、前記ベースビューストリームと前記非ベースビューストリームとを処理して、ＭＶＣ方式の合成単一ストリームを得るために新ベースビューストリームと新非ベースビューストリームとを出力する場合、前記同じ時間のＤＴＳ／ＰＴＳが与えられているＰＥＳパケットが１つのアクセスユニット内に配置されるべく前記新ベースビューストリームと新非ベースビューストリームとを出力し、
前記新ベースビューストリームと新非ベースビューストリームの各ＰＳＥパケットを合成して、前記ＭＶＣ方式の合成単一ストリームを得るＭＶＣストリーム合成部と、
を備える多視点映像符号化方式を応用した映像データ処理装置。
【請求項６】
第１のストリーム符号化部と、第２のストリーム符号化部と、デコーディングタイムスタンプ（ＤＴＳ）／プレゼンテーションタイムスタンプ（ＰＴＳ）生成器と、プライベートセクション生成部３を有する送信装置の映像データの送信処理方法であって、
メイン映像データを符号化処理したベースビューストリームを処理するとともに、
付加価値データと前記メイン映像データの一部領域の映像データとを合成したサブ映像データを符号化処理した非ベースビューストリームを処理する場合、
前記ベースビューストリームを構成する第１ストリームのコンテンツ用のＰＥＳパケットの第１ヘッダにＤＴＳ／ＰＴＳを与えるとともに、前記非ベースビューストリームを構成する第２ストリームのコンテンツ用のＰＥＳパケットの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき前記第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳを与え、そして、
前記ベースビューストリームの制御情報記述部の一部に対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報を与え、送信用ベースビューストリームと、送信用非ベースビューストリームとを得ることを特徴とする、多視点映像符号化方式を応用した映像データ処理方法。
【請求項７】
ベースビューストリームが入力する第１のストリーム復号化部と、非ベースビューストリームが入力する第２のストリーム復号化部と、を備える受信装置における受信方法であって、
前記ベースビューストリームを構成する第１ストリームのコンテンツ用のＰＥＳパケットの第１ヘッダにデコーディングタイムスタンプ（ＤＴＳ）／プレゼンテーションタイムスタンプ（ＰＴＳ）が含まれ、前記非ベースビューストリームを構成する第２プログラムストリームのコンテンツ用のＰＥＳパケットの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき前記第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳが含まれおり、また、前記ベースビューストリームの制御情報記述部の一部に対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報が含まれており、
前記第１と第２のストリーム復号化部により、前記ベースビューストリームと前記非ベースビューストリームとを処理して、ＭＶＣ方式の合成単一ストリームを得るために新ベースビューストリームと新非ベースビューストリームとを出力する場合、前記同じ時間のＤＴＳ／ＰＴＳが与えられているパケットが１つのアクセスユニット内に配置されるべく前記新ベースビューストリームと前記新非ベースビューストリームとを出力し、
前記一部に記述されていた、非ベースビューストリーム存在情報を削除し、そして、
前記新ベースビューストリームと新非ベースビューストリームの各アクセスユニットを合成して、前記ＭＶＣ方式の合成単一ストリームを得ることを特徴とする、
多視点映像符号化方式を応用した映像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この実施形態は、多視点映像符号化方式を応用した映像データ処理装置及び映像データ処理方法に関する。
【背景技術】
【０００２】
映像データの符号化のためにＭＰＥＧ−２方式が用いられていたが、近年はカメラの高解像度化に伴い、より圧縮効率に優れたＨ．２６４方式が利用されるようになった。また、最近では、Ｈ．２６４方式に準拠した符号化・復号化技術がさらに進化し、該方式に対しにＭＶＣ（ Multi-view Video Coding；マルチ・ビュー・コーディング）方式が追加されている。このＭＶＣ方式は、時間方向のフレーム映像間での相関を利用して、映像の時間予測を行いつつ映像を圧縮符号化するだけでなく、視点の異なるフレーム映像間での相関を利用して視差予測を行いつつ映像を圧縮符号化する技術を含む。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３６６２号公報
【特許文献２】特開２０１３−２３２７２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで監視システムにおいては、ライブ映像に加えて、ライブ映像の特定の領域に囲い枠や特定色のマーキングなどで強調加工を施した付加価値情報を生成し、この付加価値情報をライブ映像とともに送信する処理機能を有して監視機能の拡充を図っている。
【０００５】
監視システムでは、ライブ映像を符号化して伝送すると共に、付加価値情報も伝送する。付加価値情報としては、例えば、通行人の顔を囲むような「枠」の情報がある。
【０００６】
さらに上記監視システムにおいて、ＭＶＣ（ Multi-view Video Coding；マルチ・ビュー・コーディング）方式による符号化・復号化技術を採用することが検討されている。通常は、ＭＶＣ方式では、ベースビューストリームと非ベースビューストリームを一体にした合成単一ストリームを伝送することが行われる。
【０００７】
しかし上記した監視システムでは、信号伝送形態として種々のタイプがあり、特別な決まりがあるわけではない。
【０００８】
そこで本実施形態は、伝送形態としてベースビューストリームと非ベースビューストリームを分離独立して伝送するシステムにも適用可能な融通性のある多視点映像符号化方式を応用した映像データ処理装置及び映像データ処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
実施形態によれば、（１）メイン映像データを符号化処理したベースビューストリームを処理する第１のストリーム符号化部と、
付加価値データと前記メイン映像データの一部領域の映像データとを合成したサブ映像データを符号化処理した非ベースビューストリームを処理する第２のストリーム符号化部と、
前記ベースビューストリームを構成する第１ストリームの第１ヘッダにデコーディングタイムスタンプ（ＤＴＳ）／プレゼンテーションタイムスタンプ（ＰＴＳ）を与えるとともに、前記非ベースビューストリームを構成する第２ストリームの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳを与えるＤＴＳ／ＰＴＳ生成器と、
前記ベースビューストリームのヘッダのプライベートセクションに対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報を与えるプライベートセクション生成部と、を備える。
（２）単一ストリームを分離して、前記第１のストリーム符号化部に入力する前記ベースビューストリームと、前記第２のストリーム符号化部に入力する前記非ベースビューストリームと、を出力するストリーム分離部をさらに備えてもよい。
（３）前記第１のストリーム符号化部から出力される前記ベースビューストリームを送信する第１送信装置と、前記第２のストリーム符号化部から出力される前記非ベースビューストリームを送信する第２送信装置と、をさらに備えてもよい。
（４）前記同じ時間のＤＴＳ／ＰＴＳが与えられる前記第１ヘッダと、前記第２ヘッダは、前記単一ストリームを構成する同一アクセスユニットに含まれてもよい。
【図面の簡単な説明】
【００１０】
【図１Ａ】図１Ａは、一実施形態に係る映像データ処理装置が適用された送信システムの一例を示すブロック図である。
【図１Ｂ】図１Ｂは、一実施形態に係る映像データ処理装置が適用された送信システムの他の例を示すブロック図である。
【図２】図２は、図１の第１エンコーダの内部の構成例を示すブロック図である。
【図３】図３は、上記の第１エンコーダに対応するデコーダ側の構成例を示すブロック図である。
【図４】図４は、図２に示すエンコーダの付加価値映像生成処理手順を示すフローチャートである。
【図５】図５は、図２に示すエンコーダのベースビュー符号化処理手順を示すフローチャートである。
【図６】図６は、図２に示すエンコーダの非ベースビュー符号化処理手順を示すフローチャートである。
【図７】図７は、図１のシステムの第２エンコーダ側の構成例を示すブロック図である。
【図８Ａ】図８Ａは、本実施形態において採用されるトランスポートストリームの概略的構成例を示す説明図である。
【図８Ｂ】図８Ｂは、本実施形態において採用されるプログラムストリームの概略的構成例を示す説明図である。
【図９】図９は、図７の第２エンコーダに対応するデコーダ側の構成例を示すブロックである。
【図１０】図１０は、図１のシステムの第３エンコーダ側の構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、実施形態に係る映像データ処理装置を図面に示して説明する。まず、図１は、一実施形態に係る映像データ処理装置が適用された送信システムの一例を説明する。
【００１２】
本送信システムの場合、ＭＶＣストリームを送信する場合、ベースビューと非ベースビューの両方を含むトランスポートストリームを合成単一ストリームとして出力することができる他、ベースビューのトランスポートストリームと非ベースビューのトランスポートストリームを独立した別々のストリーム（独立ベースビューストリーム、独立非ベースビューストリームと称してもよい）を出力することもできる。
【００１３】
ベースビューストリームと非ベースビューストリームを別々のストリームで送信する場合は、各ストリームに対して、デコーディングタイムスタンプ（ＤＰＳ）／プレゼンテーションタイムスタンプ（ＰＴＳ）が付加される。
【００１４】
図１Ａにおいて、符号１０は、メイン映像データを生成する映像データ供給部であり、符号２０は、メイン映像データのフレーム内の一部領域に対して付加価値を付けるためのサブ映像データ発生部である。例えば、サブ映像データ発生部２０では、メイン映像データに人の顔が含まれていた場合、人の顔を囲むような「枠」がサブ映像データとして生成される。
【００１５】
メイン映像データと、サブ映像データは、第１エンコーダ１００の入力端子Ｔｉ１１，Ｔｉ１２にそれぞれ入力される。第１エンコーダ１００は、メイン映像データと、サブ映像データとを、ＭＶＣ（ Multi-view Video Coding；マルチ・ビュー・コーディング）方式を応用して符号化する。
【００１６】
第１エンコーダ１００の出力端子Ｔｏ１１からは、ＭＶＣ方式により処理されたトランスポートストリームが出力される。
【００１７】
このトランスポートシステムは、メイン映像データをベースビューとし、サブ映像データを非ベースビューとして、その両方を含むトランスポートストリーム、つまり合成単一ストリームを、出力端子Ｔｏ１１に出力ことができる。なお上記第１エンコーダ１００は、図２においてさらに詳しく説明する。
【００１８】
伝送系路が単一の場合は、合成単一ストリームが、単一ストリーム送信装置３０により、伝送系路に出力される。
【００１９】
伝送系路として、マルチ伝送系路が使用されることがある。この場合は、さらに出力端子Ｔｏ１１の合成単一ストリームが、第２エンコーダ７０Ａの入力端子Ｔｉ２１に入力される。第２エンコーダ７０Ａは、合成単一ストリームを、一旦、ベースビューストリームと、非ベースビューストリームとに分離し、それぞれのストリームに対して、同期情報を与える。また、ベースビューストリームに対しては、受信側で非ベースビューが存在することを知らせるために、非ベースビュー情報を与える。
【００２０】
第２エンコーダ７０Ａで作成されたベースビューストリームと非ベースビューストリームは、出力端子Ｔｏ２１、Ｔｏ２２に出力され、それぞれは、ベースビューストリーム送信装置８０と、非ベースビューストリーム送信装置９０に入力される。
【００２１】
上記の実施形態では、第２エンコーダ７０Ａは、合成単一ストリームを受け取り、ベースビューストリームと、非ベースビューストリームとを分離独立させ、次にそれぞれのストリームが同期するように両者を関連付けて出力した。
【００２２】
図１Ｂは、他の実施形態を示している。図１Ａの実施形態と同一機能部には同一符号を付してその詳細な説明は省略する。図１Ｂの実施形態は、第１エンコーダ１００から、ベースビューストリームと非ベースビューストリームとを直接受け取り、それぞれのストリームが同期するように両者を関連つけて出力する第３エンコーダ７０Ｂを備えている。
【００２３】
この場合、第３エンコーダ７０Ｂは、第２エンコーダ７０Ａのように、入力する合成単一ストリームをベースビューストリームと非ベースビューストリームとに分離する分離器は不要となる。
【００２４】
即ち、第３エンコーダ７０Ｂの入力端子Ｔｉ３１、Ｔｉ３２に対して、第１エンコーダ１００の出力端子Ｔｏ１３、Ｔｏ１４から、ベースビューストリームと非ベースビューストリームが与えられる。第３エンコーダ７０Ｂ内では、後述するように、ベースビューストリームと非ベースビューストリームに対して、相互の関連付を行うためのタイムスタンプや、相互関連付け情報が付加される。そして第３エンコーダ７０Ｂの出力端子Ｔｏ３１，Ｔｏ３２からそれぞれ出力されたベースビューストリームと非ベースビューストリームは、それぞれベースビューストリーム送信装置８０と、非ベースビューストリーム送信装置９０に入力される。なお、上記エンコーダについては、さらに後で詳しく説明する。
【００２５】
上記した図１Ａと図１Ｂの実施形態は、一体的に合体されて第３の実施形態として構成されてもよい。このように構成すると、ＭＶＣ方式を応用し、ベースビューストリームと、非ベースビューストリームとが一体となった、合成単一ストリームと、ベースビューストリームと非ベースビューストリームとが分離独立した複数ストリームのいずれでも選択的に利用することが。
【００２６】
次に、図２を参照して、まず第１エンコーダ１００の構成から説明する。入力端子Ｔｉ１１に入力したメイン映像データは、付加価値映像データ生成部１０１、ＭＶＣベースビュー符号化部１０２に入力される。
【００２７】
付加価値映像データ生成部１０１は、メイン映像データと入力端Ｔｉ１２を介してサブ映像データ発生部２０から入力されたサブ映像データを用いて、メイン映像データのフレーム内における付加価値映像データを生成する。
【００２８】
具体例を挙げると、監視カメラから出力された監視映像のフレーム内における動物体検知領域（矩形の領域）の座標データ（Ｘ・Ｙ座標）と当該領域を囲う枠パターン（枠のパターンデータ）とを検知対象にして、付加価値データ（付加価値データの固有（属性）情報も含む）を生成する。つまり前記枠パターンを含む付加価値情報を上記検知領域の映像に重ねた合成映像を付加価値映像データとして生成する。さらに付加価値映像データ生成部１０１は、上記検知領域を含んだ付加価値映像に係る動きベクトルおよびビュー間予測の各データを符号化処理の補足情報として算出する補足情報処理部ＳＵを有し、この補足情報処理部ＳＵで生成した補足情報（付加価値映像に係る動きベクトルおよびビュー間予測の各データ）を上記付加価値映像データに付加する。
【００２９】
ベースビュー符号化部１０２は、入力端Ｔｉ１１を介して入力したメイン映像データを圧縮符号化し、その圧縮符号化したベースビューのストリームをストリーム合成部１０４に送出する。具体例を挙げると、監視カメラから出力されたメイン映像データを例えばＨ．２６４方式に準拠したＭＶＣ符号化技術により圧縮符号化し、ベースビューストリームとして出力する。
【００３０】
非ベースビュー符号化部１０３は、付加価値映像データ生成部１０１からの付加価値映像データを圧縮符号化し、その圧縮符号化した付加価値映像データを非ベースビューのストリームとしてストリーム合成部１０４に送出する。
【００３１】
具体例を挙げると、付加価値映像データを例えばＨ．２６４方式に準拠したＭＶＣ符号化技術により圧縮符号化し、圧縮符号化した付加価値映像データとした非ベースビューストリームとして出力する。非ベースビュー符号化部１０３は、ベースビュー符号化部１０２から参照データを取得し、ベースビュー符号化部１０２と協働して圧縮符号化処理を実行する。
【００３２】
ストリーム合成部１０４は、ベースビュー符号化部１０２から出力されたベースビューストリームと非ベースビュー符号化部１０３から出力された非ベースビューストリームと同期をとって合成し送信用の単一ストリームとして伝送ストリーム出力端Ｔｏ１１に送出する。
【００３３】
図３は、この実施の形態に係る映像データ処理装置のデコーダ側の一構成例を示している。
【００３４】
映像データ処理装置のデコーダ２００には、エンコーダ１００で生成された単一ストリームを受信する受信装置４０と、受信した単一ストリームをベースビューストリームと非ベースビューストリームに分けてそれぞれ復号化処理する復号化装置（デコーダ）２００と、復号化されたベースビューストリームと非ベースビューストリームを例えば監視用画像として同時に若しくは選択的にモニタ表示する表示装置（図示せず）が設けられる。
【００３５】
受信装置４０はエンコーダ側に設けられた送信装置３０との間で予め設定されたデータ伝送方式に従い、エンコーダ１００で生成した単一ストリームを受信する。
【００３６】
デコーダ２００は、受信装置４０が受信した単一ストリームが入力する入力端子Ｒｉ１１と、入力端子Ｒｉ１１に入力された単一ストリームをベースビューストリームの映像データ（ライブ映像データ）と非ベースビューストリームの映像データ（付加価値映像データ）に分けるストリーム分離部２０１を有する。ストリーム分離部２０１により分けられたベースビューストリームは、ベースビュー復号化部２０２で復号化され、ストリーム分離部２０１により分けられた非ベースビューストリームは、非ベースビュー復号化部２０３で復号化される。
【００３７】
復号化されたベースビューストリームの映像データ（ライブ映像）と非ベースビューストリームの映像データ（付加価値映像）は、ストリームスイッチャ２０４に入力される。ストリームスイッチャ２０４は、ライブ映像と付加価値映像のそれぞれを同時に選択して、またはそのいずれか一方の映像を任意に選択して出力することができる。ストリームスイッチャ２０４から出力された映像は、出力端子Ｒｏ１１を介して表示装置に入力される。
【００３８】
出力端子Ｒｏ１１に接続される表示装置はストリームスイッチャ２０４で選択され映像ストリームを２画面若しくは１画面で表示することができるように、単一若しくは複数の表示モニタにより構成され、例えばベースビューストリームを常時表示出力し、非ベースビューストリームを選択的に表示出力することが可能である。
【００３９】
図４、図５及び図６は、上記映像データ処理装置における符号化処理の処理手順を示すフローチャートである。付加価値映像データ生成部１０１により実行される付加価値映像データの生成処理手順を図４に示し、ベースビュー符号化部１０２により実行されるベースビューの符号化処理手順を図５に示し、非ベースビュー符号化部１０３により実行される非ベースビューの符号化処理手順を図６に示している。
【００４０】
以下上記の処理手順を、図２、図３等も参照しながら説明する。
【００４１】
映像データ提供部１０は圧縮符号化処理するライブのメイン映像データ（例えば監視カメラからのメイン映像データ）を取得し、エンコーダ１００の入力端Ｔｉ１１に供給するとともに、当該メイン映像データを元映像としてサブ映像データ発生部２０に供給する（図４のステップＳ１１）。
【００４２】
サブ映像データ発生部２０は当該メイン映像データを付加価値映像の元データとして当該元データのフレーム内の一部の検知領域におけるサブ映像データ（付加価値映像データの基となるデータ）を取得し、当該サブ映像データを付加価値映像データ生成部１０１に送出する。
【００４３】
ここでは一例として、動きを伴う動物体の領域を検知領域とし、上記フレーム内における検知領域の座標データ（Ｘ・Ｙ座標）と該動物体に固有の情報（例えばHuman）を付加価値データとして生成し、この付加価値データを付加価値映像データ生成部１０１に送出する（図４のステップＳ１２）。
【００４４】
付加価値映像データ生成部１０１は、入力端Ｔｉ１１を介して映像データ提供部１０から入力されたメイン映像データと、付加価値データ入力端Ｔ２を介してサブ映像データ発生部２０から入力されたサブ映像データをもとに、メイン映像データのフレーム内における検知領域の位置およびサイズと検知対象（動物体）を認識し（図４ステップＳ１３）、予め設定された枠パターン（枠のパターンデータ）と所定の文字データを付加価値データとして生成し（図４ステップＳ１４）、また検知領域の画像（動物体の例えば顔画像）を抽出し、抽出した画像に予め設定された所定の付加価値情報を重畳する加工処理を実施し付加価値映像データを生成する（図４ステップＳ１５）。
【００４５】
ここでは一例として、監視映像のフレーム内における動物体の検知領域（付加価値データが示す矩形の領域）に対して、予め設定された枠パターン（枠のパターンデータ）と所定の文字データを付加価値データとして生成し、この枠パターンを上記検知領域の映像に重ね、さらに文字情報を付加した所定の付加価値設定パターンによる合成映像を付加価値映像データとして生成する。
【００４６】
さらに付加価値映像データ生成部１０１は補足情報処理部ＳＵにおいて上記合成映像により生成された付加価値映像データに係る動きベクトルおよびビュー間予測の各データを符号化処理の補足情報として算出し、この補足情報（付加価値映像に係る動きベクトルおよびビュー間予測の各データ）を上記付加価値映像データに付加して非ベースビュー符号化部１０３に送出する（図４ステップＳ１６）。
【００４７】
メイン映像データを処理するベースビュー符号化部１０２は、入力端子Ｔｉ１１を介して映像データ提供部１０から入力されたメイン映像データを圧縮符号化し、その圧縮符号化したベースビューストリームをストリーム合成部１０４に送出する（図５ステップＳ２１）。ここでは、監視カメラから出力されたライブ映像データを例えばＨ．２６４方式に準拠した通常のＭＶＣ符号化技術により圧縮符号化し、メイン映像データ（元映像データ）のベースビューストリームとして出力する。
【００４８】
一方、非ベースビュー符号化部１０３は、付加価値映像データ生成部１０１から出力された付加価値映像データをこの付加価値映像データに含まれる補足情報を用いて圧縮符号化し、その圧縮符号化した付加価値映像を非ベースビューストリームとしてストリーム合成部１０４に送出する（図６ステップＳ３１〜Ｓ３５）。
【００４９】
ここでは付加価値映像データ生成部１０１から出力された付加価値映像データを例えばＨ．２６４方式に準拠したＭＶＣ符号化技術により圧縮符号化し、付加価値映像をサブ映像データとした非ベースビューストリームとして出力する。
【００５０】
この符号化処理においては、参照画像（元映像データ）を取得し（図６ステップＳ３１）、付加価値映像データ生成部１０１の補足情報処理部ＳＵで生成された補足情報を参照して、付加価値映像に対する動きベクトル検出処理（図６ステップＳ３２）、およびビュー間予測処理（図６ステップＳ３３）が実施され、さらに通常のＭＶＣに従う残差信号生成処理（図６ステップＳ３４）および量子化・符号化処理（図６ステップＳ３５）が実施されて付加価値映像が非ベースビューストリームとして生成される。
【００５１】
ここ（非ベースビュー符号化部１０３）では、補足情報として前もって計算された、動きベクトルおよびビュー間予測の各データを用いて、付加価値映像に対する動きベクトル検出処理（図６ステップＳ３２）、および視差補償（ビュー間予測映像の生成）処理（図６ステップＳ３３）が実施されることから、これらの計算処理に係る処理負荷が著しく軽減され、画質に影響を及ぼすことなく付加価値映像の符号化処理が実施される。すなわち、動きベクトル検出処理（図６ステップＳ３２）において、補足情報として既に計算された、付加価値映像を生成した処理に応じた動きベクトルのデータを渡すことで、動きベクトルを検出する演算処理が省略される。例えば、付加価値映像として文字などを重畳した場合、動きベクトルをすべて０と見なすことで処理を省略する。また、ビュー間予測映像の生成処理（図６ステップＳ３３）において、補足情報として既に計算された、付加価値映像を生成した処理に応じた予測画像を渡すことで、予測映像の生成処理が簡易化される。例えば、付加価値映像として文字などを重畳した場合、予測映像は元映像をそのまま参照すればよく、予測映像の生成処理が簡易化される。
【００５２】
ストリーム合成部１０４は、ベースビュー符号化部１０２から出力されたベースビューストリームと非ベースビュー符号化部１０３から出力された非ベースビューストリームと同期をとって合成し送信用の単一ストリームとして出力端Ｔｏ１１を介して送信装置に供給する。
【００５３】
送信装置は出力端Ｔｏ１１ら出力されたベースビューストリームと非ベースビューストリームを有した送信用の単一ストリームを予め設定された無線若しくは有線のデータ伝送方式に従い図３に示すデコード側の受信装置４０に送信する。
【００５４】
受信装置４０はエンコーダ側に設けられた送信装置との間で予め設定されたデータ伝送方式に従い、エンコーダ１００で生成した映像の単一ストリームを受信する。受信装置４０は受信した単一ストリームをデコーダ２００の入力端Ｒｉ１１に供給する。
【００５５】
デコーダ２００では、ストリーム分離部２０１において、入力端Ｒｉ１１に入力した単一ストリームがベースビューストリームと非ベースビューストリームに分けられ、ベースビューストリームがベースビュー復号化部２０２に渡され、非ベースビューストリームが非ベースビュー復号化部２０３に渡される。
【００５６】
ベースビュー復号化部２０２はベースビューストリームを復号化してライブ映像の映像ストリームをストリームスイッチャ２０４に送出し、非ベースビュー復号化部２０３は、非ベースビューストリームを復号化してライブ映像に付随する付加価値映像の映像ストリームをストリームスイッチャ２０４に送出する。
【００５７】
ストリームスイッチャ２０４は、ユーザ（監視員）の操作に従い、ライブ映像の映像ストリームのみ、若しくはライブ映像の映像ストリームと付加価値映像の映像ストリーム、若しくは付加価値映像の映像ストリームのみを選択し、選択した映像ストリームを出力端子Ｒｏ１１に出力する。この映像ストリームは表示装置に入力する。
【００５８】
表示装置はストリームスイッチャ２０４で選択された映像ストリームをモニタ表示する。例えば、通常はライブ映像のみを表示し、特定事象の監視時においてライブ映像と付加価値映像を同時に単一画面若しくは複数画面に表示する。
【００５９】
上記したように、ライブ映像と、その映像の一部を切り出して加工した付加価値映像とを多視点符号化方式を有効に活用して、ネットワーク負荷の増大を招くことなく、また画質の劣化を招くことなく符号化して効率的に伝送することができる。また伝送先となる受信側で柔軟にライブ映像と付加価値映像を柔軟に扱うことができる。
【００６０】
図１Ａ及び図１Ｂに戻って説明する。上記の説明では、第１エンコーダ１００で生成されたベースビューストリームと非ベースビューストリームを含む単一ストリームが、単一ストリーム送信装置３０から、図３に示した受信装置４０に送信され、デコーダ２００においてデコードされる。
【００６１】
しかし、ベースビューストリームと非ベースビューストリームの伝送形態として、独立した別々の送信装置で送信することが要求される場合もある。この場合は、第２エンコーダ７０Ａ（図１Ａに示す）及び又は第３エンコーダ７０Ｂ（図１Ｂに示す）が使用される。
【００６２】
図７を参照して、まず第２エンコーダ７０Ａが使用される場合について説明する。この場合は、第１エンコーダ１００の出力端子Ｔｏ１１から出力された単一ストリームが第２エンコーダ７０Ａの入力端子Ｔｉ２１に入力される。
【００６３】
第２エンコーダ７０Ａは、ベースビューストリームと非ベースビューストリームを含む合成単一ストリームを受け取り、ベースビューストリームと非ベースビューストリームを分離することができる。そして、ベースビューストリームと非ベースビューストリームとの間で相互に関連する映像データの付属情報に対してデコーディングタイムスタンプ（ＤＴＳ）・プレゼンテイションタイムスタンプ（ＰＴＳ）を加えることができる。またベースビューストリームの付属情報には、さらに、非ベースビューストリーム情報を追加することができる。
【００６４】
ベースビューストリームと非ベースビューストリームは、それぞれトランスポートストリームＴＳ、または、プログラムストリームＰＳに符号化された後、さらにリアルタイムトランスポートプロトコール（ＲＴＰ）やリアルタイムストリーミングプロトコール（ＲＴＳＰ）などにより個別に伝送路を介して配信される。
【００６５】
この第２エンコーダ７０Ａのブロック構成は、次のように構成される。ＭＶＣ方式で符号化されたベースビューストリームと非ベースビューストリームを含む合成単一ストリームが入力端子Ｔｉ３１を介して、ＭＶＣストリーム分離部７０１に入力する。
【００６６】
ここで、まず図８Ａ、図８Ｂを参照して、トランスポートストリームＴＳを代表してその概要を説明する。ＴＳ（トランスポート）ストリーム（図８ＡのＴＳパケット群参照）は、複数のＴＳパケットにより形成されている。ＴＳパケット群の中には制御情報を格納したパケットも含まれている。この制御情報は、同期バイトに続いて送信情報に関する各種制御データを含む。各種制御データは、ペイロード内のデータを受信し処理するために使用されるデータであり、例えばスクランブルに関する情報、エラー訂正に関する情報などが含まれている。
【００６７】
さらに制御情報（ＴＳヘッダと称してもよい）内にはPrivate Section（ＴＳヘッダ内のアダプテーションフィールド内のprivate_data_byteを指す）が存在し、ここには、自身と関連するストリームの情報を平文で記載することができる。
【００６８】
自身の情報とは、
（ａ）自ストリームの種類（ベースビューストリーム／非ベースビューストリーム）と、
（ｂ）ストリームの説明(任意の文字列であり、受信装置側でストリームの識別に使用する)を指す。
【００６９】
関連するストリームの情報とは、
（ｃ）関連ストリームの種類（ベースビューストリーム／非ベースビューストリーム）と、（ｄ）ストリームの説明(任意の文字列であり、受信装置側でストリームの識別に使用する)の他、
（ｅ）配信方式（RTP/RTSPなど）と、
（ｆ）ストリーム情報（トランスミッションコントロールプロトコールTCP・ユーザデータグラムプロトコールUDP／IPアドレス／ポート番号）を指す。
【００７０】
なお、上記（ａ）〜（ｆ）を記載する平文のフォーマット（データの区切り）は受信装置側と事前に共有しておく。
【００７１】
したがって、受信装置は、上記の制御情報（ＴＳヘッダ）を解析して、上記（ａ）〜（ｆ）を認識すし、デコーダにおいて、ベースビューストリーム、非ベースビューストリームを復号するための準備を整えることができる。
【００７２】
複数のＴＳパケットは、ＰＥＳパケットを形成する。１つのＰＥＳパケットは、ＰＥＳパケットヘッダ、ＰＥＳパケットペイロードで形成されている。ＰＥＳパケットのペイロードは、複数のアクセスユニットＡＵで構成され、さらにアクセスユニットＡＵは、複数のＮＡＬユニットで構成されている。アクセスユニットＡＵの先頭のＮＡＬユニットは、アクセスユニットＡＵの先頭を識別するために例えばアクセスユニットデリミッター（ＡＵ  Ｄｅｌｉｍｉｔｅｒ）が配置されている。
【００７３】
１つのＮＡＬユニットは、ＮＡＬヘッダとこのヘッダに続くデータ領域で構成される（図示せず）。データとしては、ビデオデータ（Ｈ．２６４の規定に基づく映像符号化データ）がある。データ領域に格納されたデータの種類（タイプ）を識別できるように、ＮＡＬヘッダには、タイプ識別子が記述されている。
【００７４】
また、合成単一ストリームでは、同時刻で同期すべきベースビューストリームのデータと非ベースビューストリームのデータが一つのアクセスユニットを構成するものとする。これは、後で、ベースビューストリームと非ベースビューストリームを分離するとき、及び分離後の処理が一つのアクセスユニット毎に区切って行えるので、便利であるからである。
【００７５】
図８Ｂは、ＰＳ（プログラムストリーム）のデータ構成を示している。プログラムストリームでは、１つのパックが、パックヘッダ、パックペイロードで構成される。パケットヘッダ（制御情報）内に、ベースビューストリームと関連する非ベースビューストリームの情報（ストリームの概要/依存関係/配信方式）が記述されてもよい。
【００７６】
このパックペイロードには、複数のパケットにより構成されたパケットエレメンタリーストリーム（ＰＥＳ）が含まれる。このパケットの中には、プログラムを構成するビデオの属性情報を示すＰＳＭ（プログラムストリームマップ）、ランダムアクセスが可能なアクセスユニットのアドレス情報及び表示時刻を格納したテーブルであるＰＳＤ（プログラムストリームディレクトリー）を格納したパケットが含まれる。
【００７７】
１つのＰＥＳパケットは、ＰＥＳパケットヘッダとＰＥＳパケットペイロードで形成され、ペイロードの中にビデオ符号化データ或いはＰＳＭ（プログラムストリームマップ）或いはＰＳＤ（プログラムストリームディレクトリー）の情報が含まれている。
【００７８】
図７に戻って説明する。ＭＶＣストリーム分離部７０１は、アクセスユニット中のベースビューストリームと非ベースビューストリームのデータを分離する。
【００７９】
ベースビューストリームは、ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部（ＭＰＥＧ−２  ＴＳ符号化部、あるいはＭＰＥＧ−２  ＰＳ符号化部と称してもよい）７０２に入力し、非ベースビューストリームは、ＭＰＥＧ−２ ＴＳ/ＰＳ符号化部７０４（ＭＰＥＧ−２  ＴＳ符号化部、あるいはＭＰＥＧ−２  ＰＳ符号化部と称してもよい）に入力する。ＭＰＥＧ−２  ＴＳ/ＰＳは、ISO/IEC13818-3に準拠している。
【００８０】
なお図７において、ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部と記載しているのは、本実施形態が、ＭＰＥＧ−２  ＴＳ符号化により実施されてもよいし、あるいはＭＰＥＧ−２  ＰＳ符号により実施されてもよいからである。
【００８１】
ここでは、ＭＰＥＧ−２  ＴＳ符号化が行われる場合について記載する。ＭＰＥＧ−２ＴＳ/ＰＳ符号化部７０２は、合成単一ストリームに含まれるアクセスユニットからベースビューストリームのＮＡＬユニットを集合してベースビュー用アクセスユニットを生成する。またＭＰＥＧ−２ ＴＳ/ＰＳ符号化部７０４は、合成単一ストリームに含まれるアクセスユニットから非ベースビューストリームのＮＡＬユニットを集合して非ベースビュー用アクセスユニットを生成する。
【００８２】
ベースビュー用アクセスユニットと非ベースビュー用アクセスユニットとは、合成単一ストリームに含まれる同一のアクセスユニットから抽出されて作成される。つまり、同一時間で同期すべきデータが含まれるアクセスユニットから、ベースビュー用アクセスユニットと非ベースビュー用アクセスユニットとが生成される。つまりベースビュー用アクセスユニットと非ベースビュー用アクセスユニットは、元の合成単一ストリーム内では、同一のアクセスユニットに存在するＮＡＬユニットを用いて生成されている。
【００８３】
一方、ＤＴＳ／ＰＴＳ生成器７０５は、ＭＶＣストリーム分離部７０１のトランスポートストリームの例えばアクセスユニットＡＵのヘッダを認識し、１つのアクセスユニット内の同時刻で同期すべきベースビューストリームのデータと非ベースビューストリームのデータの配置タイミングを判断する。そして、同期すべきベースビューストリームのデータと非ベースビューストリームのデータが、それぞれＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０２と、ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０４に入力したとき、このＤＴＳ／ＰＴＳ生成器７０５は、同時刻を示すＤＴＳ／ＰＴＳを、それぞれＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０２と、ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０４に与える。
【００８４】
このときＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０２は、ベースビューストリームを形成するパケットエレメンタリーストリームＰＥＳのパケットヘッダ内にＤＴＳ／ＰＴＳを記述する。また、ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０４は、非ベースビューストリームを形成するパケットエレメンタリーストリームＰＥＳのパケットヘッダ内に、ベースビューストリームと同期すべきＤＴＳ／ＰＴＳを記述する。
【００８５】
さらに、プライベートセクション生成器７０３では、ベースビューストリームと関連する非ベースビューストリームの情報（ストリームの概要/依存関係/配信方式など）を生成する。
【００８６】
そして、この情報を、プライベートセクション生成器７０３は、ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０２に与え、ＭＰＥＧ−２  ＴＳ/ＰＳの制御情報（ＴＳヘッダ）内のプライベートセクション（Private Section）に記述する。これにより、ベースビューストリームと関連する非ベースビューストリームの情報（ストリームの概要/依存関係/配信方式）が受信機に伝達されることになる。
【００８７】
第２エンコーダ７０Ａで作成されたベースビューストリームと非ベースビューストリームは、出力端子Ｔｏ２１、Ｔｏ２２に出力され、それぞれは、ベースビューストリーム送信装置８０と、非ベースビューストリーム送信装置９０に入力される。
【００８８】
図９は、ベースビューストリームと、非ベースビューストリームを受信し、デコードするデコーダ１０３０の構成例を示している。先の送信装置８０と送信装置９０からのベースビューストリームと、非ベースビューストリームは、それぞれ受信装置１０１０と受信装置１０２０で受信される。
【００８９】
受信装置１０１０から出力されたベースビューストリームは、デコーダ１０３０の入力端子Ｒｉ３１を介してＭＰＥＧ−２  ＴＳ/ＰＳ復号化部（ＭＰＥＧ−２  ＴＳ復号化部或いはＭＰＥＧ−２  ＰＳ復号化部と称してもよい）１０３２に入力する。また受信装置１０２０から出力された非ベースビューストリームは、デコーダ１０３０の入力端子Ｒｉ３２を介してＭＰＥＧ−２  ＴＳ/ＰＳ復号化部（ＭＰＥＧ−２  ＴＳ復号化部或いはＭＰＥＧ−２  ＰＳ復号化部と称してもよい）１０３３に入力する。
【００９０】
ＭＰＥＧ−２  ＴＳ/ＰＳ復号化部１０３２は、図３で説明したベースビュー復号化部２０２と同様に、ベースビューストリームに含まれるメイン映像データを復号してもよい。またこのＭＰＥＧ−２  ＴＳ/ＰＳ復号化部１０３２は、ベースビューストリームを加工して新ベースビューストリームとして出力することも可能であり、出力された新ベースビューストリームは、ＭＶＣストリーム合成部１０３５に入力する。
【００９１】
ＭＰＥＧ−２  ＴＳ/ＰＳ復号化部１０３３は、図３で説明した非ベースビュー復号化部２０３と同様に、非ベースビューストリームに含まれる付加価値映像データを復号してもよい。またこのＭＰＥＧ−２  ＴＳ/ＰＳ復号化部１０３３は、非ベースビューストリームを加工して新非ベースビューストリームとして出力することも可能であり、出力された新非ベースビューストリームは、ＭＶＣストリーム合成部１０３５に入力する。
【００９２】
ＭＶＣストリーム合成部１０３５は、図７で処理したＭＶＣストリーム分離部７０１の処理に対して、逆変換処理が実現されるべく、合成単一ストリームを生成することができる。
【００９３】
上記の処理では、まず、メインビューストリームのトランスポートストリームに含まれるＴＳヘッダのプライベートセクションが参照されたとき、非ベースビューストリームの存在を示す情報が記述されているかどうかが判定される。非ベースビューストリームの存在を示す情報が記述されていた場合、ベースビューストリームと非ベースビューストリームとを合成し合成単一ストリームを作成するための処理が実行される。このとき、同じ時間のＤＴＳ／ＰＴＳが与えられているＮＡＬユニットは、同じアクセスユニット内に配置される。
【００９４】
また、ＴＳヘッダのプライベートセクションに記述されていた、非ベースビューストリーム情報は削除される。
【００９５】
つまり、デコーダ１０３０は、第１のストリーム復号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ復号化部１０３２）と、第２のストリーム復号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ復号化１０３３）とを備える。ここで前記第１と第２のストリーム復号化部は、前記ベースビューストリームと前記非ベースビューストリームとを処理して、ＭＶＣ方式の合成単一ストリームを得るために新ベースビューストリームと新非ベースビューストリームとを出力する。
【００９６】
この場合、前記同じ時間のＤＴＳ／ＰＴＳが与えられているＮＡＬユニットが１つのアクセスユニット内に配置されるべく前記新ベースビューストリームと新非ベースビューストリームとを出力する。また、ＴＳヘッダのプライベートセクションに記述されていた、非ベースビューストリーム存在情報は削除する。
【００９７】
これにより、ＭＶＣストリーム合成部１０３５が、前記新ベースビューストリームと新非ベースビューストリームの各ＮＡＬユニットを合成して、前記ＭＶＣ方式の合成単一ストリームを得る。
【００９８】
合成された新ベースビューストリームと新非ベースビューストリームによるトランスポートストリーム、つまりＭＶＣストリームは、出力端子Ｒｏ３１を介して外部に出力される。
【００９９】
ＭＰＥＧ−２  ＴＳ/ＰＳ復号化部１０３２でメイン映像データが復号され、ＭＰＥＧ−２ ＴＳ/ＰＳ復号化部１０３３で付加価値映像データが復号された場合、これら復号データは、ストリームスイッチャ１０３４に入力される。
【０１００】
ストリームスイッチャ１０３４は、メイン映像データと付加価値映像データのそれぞれを同時に選択して、またはそのいずれか一方の映像を任意に選択して出力することができる。ストリームスイッチャ２０４から出力された映像は、出力端子Ｒｏ３２を介して表示装置に入力される。
【０１０１】
出力端子Ｒｏ３２に接続される表示装置はストリームスイッチャ１０３４で選択され映像ストリームを２画面若しくは１画面で表示することができるように、単一若しくは複数の表示モニタにより構成され、例えばベースビューストリームを常時表示出力し、非ベースビューストリームを選択的に表示出力することが可能である。
【０１０２】
図１０は第３エンコーダ７０Ｂ（図１参照）の構成例を示している。第３エンコーダ７０Ｂは、図７Ａに示したＭＶＣストリーム分離部７０１が省略された構成である。したがって図７Ａの第２エンコーダ７０Ａと共通する部分に同一符号を付して説明は省略する。この第３エンコーダ７０Ｂから出力されるベースビューストリームと、非ベースビューストリームを復号するデコーダの詳細ブロックは、図９に示す通りである。
【０１０３】
上記の説明では、ベースビューストリーム及び非ベースビューストリームの伝送に、トランスポートストリームＴＳが用いられるものとして説明した。しかし、ベースビューストリーム及び非ベースビューストリームの伝送は、プログラムストリームＰＳが用いられてよい。さらには、ベースビューストリームと非ベースビューストリームの伝送において、いずれか一方がトランスポートストリームＴＳで伝送され、他方がプログラムストリームＰＳで伝送されてもよい。
【０１０４】
なおプログラムストリームＰＳは、例えばデジタルビデオディスクやブルーレイディスク（登録商標）に記録されるようなパケットエレメンタリーストリームＰＥＳが、プログラム単位として構築されている。このパケットエレメンタリーストリームＰＥＳは、ストリーム制御情報、プログラムタイトル情報、プログラムコントロール情報などを含む管理情報テーブルを含み、また、パケット列の途中に挿入されて一定単位のパケット列に関する情報を含むナビゲータパックなどを含む。またパケットにはパケットヘッダが付加されている。
【０１０５】
従って、例えば、管理情報テーブルの一部を、例えば先のプライベートセクションの記述部として利用できる。またナビゲータパックの一部を例えばこれから続く各パケット内コンテンツのベースビュー、非ベースビューの識別情報の記述部として利用できる。さらにコンテンツ用の各パケットのヘッダには、ＤＴＳ，ＰＴＳを記述することができる。またナビゲータパックと次のナビゲートパックとの間は、例えば１つのユニット（先に説明したアクセスユニット）として定義することができる。
【０１０６】
なおトランスポートストリームにおいては、ベースビューストリームのヘッダのプライベートセクションに対して、少なくとも非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報が記述された。しかし、プログラムストリームＰＳの場合は、ストリーム制御情報、プログラムタイトル情報、プログラムコントロール情報などを含む管理情報テーブルに、非ベースビューストリーム存在情報が記述される。
【０１０７】
なお監視カメラに付随して設けられる付加価値情報源としては、例えば特許第５８８７１９４号に示される、動物体が特定の場所に一時に集まる蝟集状態を監視し報知する蝟集監視機能や、特許第４９５９７３６号に示される、動物体が往来する環境下で停止物を検知し報知する停止物検知機能や、特許第４８９８８９５号に示される、公共利用施設における混雑検知機能などを挙げることができる。これらの機能はいずれも動物体の動きを処理ブロック単位の矩形の領域として捉え追跡する技術をもとに実現されている。
【０１０８】
上記の実施形態では、これらの監視、検知機能により得られた付加価値情報源の部位（矩形の領域）に枠線（囲い枠）や特定のマークを重畳し、さらには必要に応じて色彩加工を施し若しくは文字データを加え、所望の表示形態に加工した付加価値映像として、ＭＶＣを用い映像ソース（映像の元データ）とともに効率良く転送することを可能にしている。また単一ストリームの伝送方式、マルチストリームの伝送方式のいずれにも対応できるようにし、使い勝手のよいシステムを提供している。
【０１０９】
本実施形態は、上記したように構成されるものである。実施形態によれば、同時刻で同期すべき「ベースビューストリーム」のデータと「非ベースビューストリーム」のデータが一つのアクセスユニットを構成する。前記「ベースビューストリーム」と前記「非ベースビューストリーム」を個別にネットワークに送信する場合は、「送信装置」の「ＭＶＣストリーム分離部」で、アクセスユニット中の「ベースビューストリーム」と「非ベースビューストリーム」のデータを分離し、それぞれＭＰＥＧ−２ ＴＳ/ＰＳ（ISO/IEC13818-3）符号化器で符号化し、「ベースビューストリーム」と「非ベースビューストリーム」の対応するアクセスユニットに、同じタイムスタンプ（DTS/PTS）を付加するようにした。
【０１１０】
また、「プライベートセクション生成器」では、ＭＰＥＧ−２ ＴＳ/ＰＳの「プライベートセクション」を利用して「ベースビューストリーム」と関連する「非ベースビューストリーム」の情報（ストリームの概要/依存関係/配信方式）を受信機に伝達するようにした。
【０１１１】
上記システムの特徴的な構成を以下のように記載することができる、
（Ａ１）送信側の構成として、
本システムは、メイン映像データを符号化処理したベースビューストリームを処理する第１のストリーム符号化部（ＭＰＥＧ−２ ＴＳ/ＰＳ符号化部７０２）と、付加価値データと前記メイン映像データの一部領域の映像データとを合成したサブ映像データを符号化処理した非ベースビューストリームを処理する第２のストリーム符号化部（ＭＰＥＧ−２ ＴＳ/ＰＳ符号化部７０４）と、を備える。
【０１１２】
またＤＴＳ／ＰＴＳ生成器７０５が、前記ベースビューストリームを構成する第１ストリームのコンテンツ用の各ユニット或いはパケットの第１ヘッダにＤＴＳ／ＰＴＳを与えるとともに、前記非ベースビューストリームを構成する第２ストリームのコンテンツ用の各ユニット或いはパケットの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき前記第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳを与える。そして、プライベートセクション生成部７０３が、前記ベースビューストリームの制御情報記述部（ヘッダ或いはテーブル）の一部（プライベートセクション或いはリザーブ領域）に対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報を与える。
（Ａ２）上記（Ａ１）において、ストリーム分離部７０１をさらに備え、このストリーム分離部７０１は、単一ストリームを分離して、前記第１のストリーム符号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０２）に入力する前記ベースビューストリームと、前記第２のストリーム符号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０４）に入力する前記非ベースビューストリームと、を出力する。
（Ａ３）上記（Ａ１）において、前記第１のストリーム符号化部（ＭＰＥＧ−２ ＴＳ/ＰＳ符号化部７０２）から出力される前記ベースビューストリームを送信する第１送信装置８０と、前記第２のストリーム符号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０４）から出力される前記非ベースビューストリームを送信する第２送信装置９０と、をさらに備える。
（Ａ４）上記（Ａ１）において、前記同じ時間のＤＴＳ／ＰＴＳが与えられる前記第１ヘッダと、前記第２ヘッダは、前記単一ストリームを構成する同一アクセスユニットに含まれている。
（Ｂ１）受信側の構成として、
ベースビューストリームが入力される第１入力端子（Ｒｉ３１）と非ベースビューストリームが入力される第２入力端子（Ｒｉ３２）と、を備える。
【０１１３】
ここで、前記ベースビューストリームを構成する第１ストリームのコンテンツ用のＰＥＳパケットの第1ヘッダにデコーディングタイムスタンプ（ＤＴＳ）／プレゼンテーションタイムスタンプ（ＰＴＳ）が含まれ、前記非ベースビューストリームを構成する第２ストリームのコンテンツ用のＰＥＳパケットの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳが含まれおり、また、前記ベースビューストリームのヘッダのプライベートセクションに対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報が含まれている。
【０１１４】
さらに第１入力端子（Ｒｉ３１）から前記ベースビューストリームが入力される第１のストリーム復号化部（ＭＰＥＧ−２ ＴＳ/ＰＳ復号化部１０３２）と、前記第２入力端子（Ｒｉ３２）から前記非ベースビューストリームが入力される第２のストリーム復号化部（ＭＰＥＧ−２ ＴＳ/ＰＳ復号化１０３３）とを備える。
【０１１５】
ここで前記第１と第２のストリーム復号化部は、前記ベースビューストリームと前記非ベースビューストリームとを処理して、ＭＶＣ方式の合成単一ストリームを得るために新ベースビューストリームと新非ベースビューストリームとを出力する場合、前記同じ時間のＤＴＳ／ＰＴＳが与えられているＮＡＬユニットが１つのアクセスユニット内に配置されるべく前記新ベースビューストリームと新非ベースビューストリームとを出力する。また、ＴＳヘッダのプライベートセクションに記述されていた、非ベースビューストリーム存在情報は削除される。
【０１１６】
そして、前記新ベースビューストリームと新非ベースビューストリームの各ＮＡＬユニットを合成して、前記ＭＶＣ方式の合成単一ストリームを得るＭＶＣストリーム合成部（１０３５）と、を備える。
（Ｂ２）上記（Ｂ１）において、前記第１のストリーム復号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ復号化部１０３２）で復号されたメイン映像データと、前記第２のストリーム復号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ復号化１０３３）で復号されたサブ映像データとは、ストリームスイッチャ１０３４に入力され、いずれか一方の映像データ若しくは両方の映像データとが選択的表示装置に出力される。
（Ｃ１）送信側の送信方法が、
第１のストリーム符号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０２）と、第２のストリーム符号化部（ＭＰＥＧ−２  ＴＳ/ＰＳ符号化部７０４）と、ＤＴＳ／ＰＴＳ生成器７０５と、プライベートセクション生成部７０３を有する送信装置の映像データの送信処理方法であって、
メイン映像データを符号化処理したベースビューストリームを処理するとともに、
付加価値データと前記メイン映像データの一部領域の映像データとを合成したサブ映像データを符号化処理した非ベースビューストリームを処理する場合、
前記ベースビューストリームを構成する第１ストリームのコンテンツ用のユニット或いはパケットの第１ヘッダにＤＴＳ／ＰＴＳを与えるとともに、前記非ベースビューストリームを構成する第２ストリームのコンテンツ用のユニット或いはパケットの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳを与え、そして、
前記ベースビューストリームのヘッダのプライベートセクションに対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報を与え、送信用ベースビューストリームと、送信用非ベースビューストリームとを得ることを特徴とする映像データ処理方法。
（Ｃ２）上記（Ｃ１）において、さらにストリーム分離部７０１により、単一ストリームから、前記ベースビューストリームと前記非ベースビューストリームと分離して取得する。
（Ｃ３）上記（Ｃ１）において、前記送信用ベースビューストリームを送信と、前記送信用非ベースビューストリームを別々の送信装置で送信する。
（Ｃ４）上記（Ｃ１）において、前記同じ時間のＤＴＳ／ＰＴＳが与えられる前記第１ヘッダと、前記第２ヘッダは、前記単一ストリームを構成する同一アクセスユニットに含まれていたものである。
（Ｄ１）受信側の受信方法が、
第１のストリーム復号化部（ＭＰＥＧ−２ ＴＳ/ＰＳ復号化部１０３２）と、第２のストリーム復号化部（ＭＰＥＧ−２ ＴＳ/ＰＳ復号化１０３３）と、ＭＶＣストリーム合成部１０３５を有する受信装置の映像データの受信処理方法であって、
メイン映像データを符号化処理したベースビューストリームが入力され、
付加価値データと前記メイン映像データの一部領域の映像データとを合成したサブ映像データを符号化処理した非ベースビューストリームが入力され、
ここで、前記ベースビューストリームを構成する第１ストリームのコンテンツ用のＰＥＳパケットの第１ヘッダにＤＴＳ／ＰＴＳが含まれるとともに、前記非ベースビューストリームを構成するコンテンツ用のＰＥＳパケットの第２ストリームの第２ヘッダであって、前記第１ヘッダに時間的に対応させるべき第２ヘッダに対しても前記ＤＴＳ／ＰＴＳと同じ時間のＤＴＳ／ＰＴＳが含まれており、そして、前記ベースビューストリームのヘッダのプライベートセクションに対して、少なくとも前記非ベースビューストリームが存在することを示す非ベースビューストリーム存在情報が含まれており、
前記ＭＶＣストリーム合成部１０３５では、ベースビューストリームと非ベースビューストリームとを合成し合成単一ストリームを作成するための処理が実行される場合、同じ時間のＤＴＳ／ＰＴＳが与えられているＮＡＬユニットは、同じアクセスユニット内に配置し、また、ＴＳヘッダのプライベートセクションに記述されていた、非ベースビューストリーム存在情報を削除する、ことを特徴とする。
【０１１７】
本発明に係るいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また実施形態を組み合わせてもよい。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。
【符号の説明】
【０１１８】
１０・・・映像データ供給部、２０・・・サブ映像データ発生部、
３０・・・単一ストリーム送信装置、４０・・・受信装置、７０Ａ・・・第２エンコーダ、７０Ｂ・・・第３エンコーダ、８０・・・ベースビューストリーム送信装置、９０・・・非ベースビューストリーム送信装置、１００・・・第１エンコーダ、１０１・・・付加価値映像データ生成部、１０２・・・ベースビュー符号化部、１０３・・・非ベースビュー符号化部、２００・・・デコーダ、２０１・・・ストリーム分離部、２０２・・・ベースビュー復号化部、２０３・・・非ベースビュー復号化部、２０４・・・ストリームスイッチャ、
７０１・・・ＭＶＣストリーム分離部、７０２・・・ＭＰＥＧ−２ ＴＳ/ＰＳ符号化部、７０３・・・プライベートセクション生成器、７０４・・・ＭＰＥＧ−２ ＴＳ/ＰＳ符号化部、７０５・・・ＤＴＳ／ＰＴＳ生成器、
１０１０、１０２０・・・受信装置、１０３２・・・ＭＰＥＧ−２ ＴＳ/ＰＳ復号化部、１０３３・・・ＭＰＥＧ−２ ＴＳ/ＰＳ復号化部、１０３５・・・ＭＶＣストリーム合成部。
【図１Ａ】
2019022019.tif 000003
【図１Ｂ】
2019022019.tif 000004
【図２】
2019022019.tif 000005
【図３】
2019022019.tif 000006
【図４】
2019022019.tif 000007
【図５】
2019022019.tif 000008
【図６】
2019022019.tif 000009
【図７】
2019022019.tif 000010
【図８Ａ】
2019022019.tif 000011
【図８Ｂ】
2019022019.tif 000012
【図９】
2019022019.tif 000013
【図１０】
2019022019.tif 000014