(57)【要約】【課題】既存の符号化処理技術並びに既存のデータ伝送手段を有効活用して付加価値情報を効率よく伝送する。【解決手段】付加価値映像データ生成部１０１は、映像データ入力端Ｔ１を介して映像データ提供部１０から入力されたメイン映像データと付加価値データ入力端Ｔ２を介して付加価値データ発生部２０から入力された付加価値データとをもとにメイン映像データのフレーム内における付加価値映像データを生成する。【選択図】図１
2018093448.tif 000002
【特許請求の範囲】
【請求項１】
単一ストリームの映像ソースをメイン映像データとして取り込み符号化処理して第１の符号化データに変換した第１のストリームを出力する第１の符号化部と、
前記メイン映像データのフレーム上における一部領域の座標データを含む付加価値データを取得し、前記メイン映像データから前記座標データに対応する映像データを切り出して、切り出した映像データと前記付加価値データとをもとに前記切り出した映像データを付加価値映像として明示した付加価値映像データを生成する付加価値映像データ生成部と、
前記付加価値映像データを前記メイン映像データに対応付けたサブ映像データとして前記第１の符号化部と協働し符号化処理して、第２の符号化データに変換した第２のストリームを出力する第２の符号化部と、
前記第１のストリームと前記第２のストリームとを合成して伝送用のストリームを生成するストリーム合成部と、
を備えた映像データ処理装置。
【請求項２】
前記第１の符号化部は、前記メイン映像データをマルチ・ビュー・コーディング方式により符号化するベースビュー符号化部であり、
前記第２の符号化部は、前記サブ映像データをマルチ・ビュー・コーディング方式により符号化する非ベースビュー符号化部である、請求項１に記載の映像データ処理装置。
【請求項３】
前記メイン映像データは、監視カメラ若しくは他のカメラにより撮影されたライブ映像データ、または伝送路上に配信された映像データ、または記憶媒体から出力された映像データである請求項１または２に記載の映像データ処理装置。
【請求項４】
前記付加価値映像データ生成部は、前記サブ映像データに関する動きベクトルおよびビュー間予測の各データを前記第２の符号化部が参照する補足情報として生成する請求項１乃至３のいずれか１項に記載の映像データ処理装置。
【請求項５】
前記ベースビュー符号化部で符号化された前記メイン映像データを複合化しベースビューストリームとして出力するベースビュー符号化部と、
前記非ベースビュー符号化部で符号化された前記サブ映像データを複合化し非ベースビューストリームとして出力する非ベースビュー符号化部と、
前記ベースビューストリームと前記非ベースビューストリームの双方若しくは前記ベースビューストリーム若しくは前記非ベースビューストリームを選択し出力するストリームスイッチャと、
をさらに備えた請求項２に記載の映像データ処理装置。
【請求項６】
多視点映像符号化方式を応用した付加価値情報の伝送方法であって、
前記符号化処理の対象となる単一ストリームの映像ソースをメイン映像として取り込み、当該メイン映像のフレームから一部領域の映像を切り出し加工して付加価値映像を生成する処理手順と、
前記メイン映像をマルチ・ビュー・コーディングにより符号化した第１のストリームを出力するとともに、前記付加価値映像を前記メイン映像に対応付けたサブ映像として非マルチ・ビュー・コーディングにより符号化した第２のストリームを出力する処理手順と、
前記第１のストリームと第２のストリームを伝送用のストリームとして送信する処理手順と、
を有する多視点映像符号化方式を応用した付加価値情報の伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
映像ストリームの圧縮符号化技術を用いた映像データ処理装置および多視点映像符号化方式を応用した付加価値情報の伝送方法に関する。
【背景技術】
【０００２】
映像ストリームの圧縮符号化技術を用いた映像データ処理装置として、例えば監視映像を送受信する監視システムが存在する。この監視システムは監視カメラで撮影した監視映像（ライブ映像）を送信側で符号化してネットワークを介し受信側へ送信し、受信側で、受信した符号化データを復号してモニタに表示する。
【０００３】
この種のシステムでは、映像データの符号化のためにＭＰＥＧ−２方式が用いられていたが、近年はカメラの高解像度化に伴い、より圧縮効率に優れたＨ．２６４方式が利用されており、最近では、Ｈ．２６４方式に準拠した符号化・復号化技術がさらに進化し、該方式に対してさらにＭＶＣ（ Multi-view Video Coding；マルチ・ビュー・コーディング）方式が追加されている。このＭＶＣ方式は、時間方向のフレーム映像間での相関を利用して、映像の時間予測を行いつつ映像を圧縮符号化するだけでなく、視点の異なるフレーム映像間での相関を利用して視差予測を行いつつ映像を圧縮符号化する技術を含む。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２３６６２号公報
【特許文献２】特開２０１３−２３２７２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記した監視システムにおいては、ライブ映像の送信に加えて、ライブ映像の特定の領域に囲い枠や特定色のマーキングなどで強調加工を施した付加価値情報を生成し、この付加価値情報をライブ映像とともに送信する処理機能を有して監視機能の拡充を図っている。
【０００６】
この送信側で生成した付加価値情報を受信側へ伝送する場合、付加価値情報を含んだ映像をライブ映像と別途に符号化して送信することが考えられる。しかしこの伝送方式はネットワーク負荷が増大する問題が生じる。この問題を解消すべく上記付加価値情報を一定の規則に従ってデータ化し、ライブ映像とは別途に送信することが考えられる。この場合、付加価値情報によるネットワーク負荷は抑制できるが、受信側の装置において、送られてくる付加価値情報を認識し、再生した付加価値情報を送られてきたライブ映像に重畳する処理が必要となる。つまり、受信側の装置機能を拡張する必要があり、システム全体のコストが増大するという問題が生じる。
【０００７】
本実施の形態は、所定の送信・受信方式を有効に活用して、ネットワーク負荷の増大を抑制でき、かつ既存の設備を有効活用して付加価値情報を効率よく伝送することが可能な映像データ処理装置および映像データ処理方法を提供する。
【課題を解決するための手段】
【０００８】
実施の形態に係る映像データ処理装置は、単一ストリームの映像ソースをメイン映像データとして取り込み符号化処理して第１の符号化データに変換した第１のストリームを出力する第１の符号化部と、前記メイン映像データのフレーム上における一部領域の座標データを含む付加価値データを取得し、前記メイン映像データから前記座標データに対応する映像データを切り出して、切り出した映像データと前記付加価値データとをもとに前記切り出した映像データを付加価値映像として明示した付加価値映像データを生成する付加価値映像データ生成部と、前記付加価値映像データを前記メイン映像データに対応付けたサブ映像データとして前記第１の符号化部と協働し符号化処理して、第２の符号化データに変換した第２のストリームを出力する第２の符号化部と、前記第１のストリームと前記第２のストリームを合成して伝送用のストリームを生成するストリーム合成部と、を備える。
【０００９】
実施の形態に係る多視点映像符号化方式を応用した付加価値情報の伝送方法は、多視点映像符号化方式を応用した付加価値情報の伝送方法であって、前記符号化処理の対象となる単一ストリームの映像ソースをメイン映像として取り込み、当該メイン映像のフレームから一部領域の映像を切り出し加工して付加価値映像を生成する処理手順と、前記メイン映像をマルチ・ビュー・コーディングにより符号化した第１のストリームを出力するとともに、前記付加価値映像を前記メイン映像に対応付けたサブ映像として非マルチ・ビュー・コーディングにより符号化した第２のストリームを出力する処理手順と、前記第１のストリームと第２のストリームを伝送用のストリームとして送信する処理手順と、を備える。
【図面の簡単な説明】
【００１０】
【図１】一実施形態に係る映像データ処理装置のエンコーダ側の構成例を示すブロック図。
【図２】上記映像データ処理装置のデコーダ側の構成例を示すブロック図。
【図３】図１に示すエンコーダの付加価値映像生成処理手順を示すフローチャート。
【図４】図１に示すエンコーダのベースビュー符号化処理手順を示すフローチャート。
【図５】図１に示すエンコーダの非ベースビュー符号化処理手順を示すフローチャート。
【発明を実施するための形態】
【００１１】
本実施の形態は、図１に示すように、符号化装置（エンコーダ）に、単一ストリームの映像ソースをメイン映像データとして取り込み符号化処理して第１の符号化データに変換した第１のストリームを出力するベースビュー符号化部と、上記メイン映像データのフレーム上における一部領域の座標データを含む付加価値データを取得し、上記メイン映像データから上記座標データに対応する映像データを切り出して、切り出した映像データと上記付加価値データとをもとに上記切り出した映像データを付加価値映像として明示した付加価値映像データを生成する付加価値映像データ生成部と、上記付加価値映像データを上記メイン映像データに対応付けたサブ映像データとして上記ベースビュー符号化部と協働し符号化処理して、第２の符号化データに変換した第２のストリームを出力する非ベースビュー符号化部と、上記第１のストリームと上記第２のストリームを合成して伝送用のストリームを生成するストリーム合成部とを備える。
【００１２】
この符号化装置を、例えば単眼の監視カメラを用いた動物体追跡処理機能を有する監視システムに適用し、監視映像（ライブ映像）に含まれる監視対象（例えば動きを伴う動物体）の部分映像に枠や文字情報などを付加して加工した付加価値映像を生成することにより、この付加価値映像を受信側で柔軟にかつ低コストで利用することのできる多視点映像符号化方式を応用したライブ映像に付随した付加価値情報の伝送システムを構築することができる。具体的には、Ｈ．２６４やＨ．２６５のＭＶＣを使用することで、ネットワーク負荷の増大を最小限にし、かつ、受信側で柔軟にライブ映像と付加価値情報を柔軟に扱うことのできる付加価値情報の伝送システムが構築できる。
【００１３】
この伝送システムでは、上記した付加価値映像と、その元映像となるライブ映像の２つのストリームに対してＭＶＣによる符号化処理を実行する。その際、ライブ映像をベースビュー、付加価値映像を非ベースビューとして符号化する。この符号化処理機能を有した送信側の装置は、上記したベースビューのストリームと非ベースビューのストリームをそれぞれベースビューストリーム、非ベースビューストリームとして受信側の装置に送信する。
【００１４】
受信側の装置は、ライブ映像を表示したい場合はベースビューストリームのみを受信し復号化してモニタなどの表示装置に表示する。付加価値映像を表示したい場合は、非ベースビューストリームをさらに受信しベースビューストリームと一緒に復号化して表示する。ライブ映像の表示に戻したい場合は、非ベースビューストリームの受信若しくは表示を取りやめる。
【００１５】
上記したＭＶＣは、本来、複数のカメラの映像を対象とした映像ストリームの圧縮符号化技術であるが、映像の類似性に注目すれば、ライブ映像と付加価値映像との間においても十分な圧縮符号化の効果が期待できる。特に、Ｈ．２６４以降の符号化方式では、映像のブロック単位（フレーム内における小領域の画像処理単位）で符号化のモードを個別に制御可能であり、画像処理結果の付加価値映像を符号化処理にフィードバックすることで、非ベースビューのストリームには、必要最小限の情報のみを伝送するようにできることが期待できる。また、受信側の装置は、一般的なＭＶＣデコード機能を用意すれば、どのような付加価値情報にも対応が可能となる。
【００１６】
監視カメラに付随して設けられる付加価値情報源としては、例えば特許第５８８７１９４号に示される、動物体が特定の場所に一時に集まる蝟集状態を監視し報知する蝟集監視機能や、特許第４９５９７３６号に示される、動物体が往来する環境下で停止物を検知し報知する停止物検知機能や、特許第４８９８８９５号に示される、公共利用施設における混雑検知機能などを挙げることができる。これらの機能はいずれも動物体の動きを処理ブロック単位の矩形の領域として捉え追跡する技術をもとに実現されている。この実施形態では、これらの監視、検知機能により得られた付加価値情報源の部位（矩形の領域）に枠線（囲い枠）や特定のマークを重畳し、さらには必要に応じて色彩加工を施し若しくは文字データを加え、所望の表示形態に加工した付加価値映像として、ＭＶＣを用い映像ソース（映像の元データ）とともに効率良く転送することを可能にしている。
【００１７】
以下、実施の形態についてさらに図面を参照して説明する。  
この実施の形態に係る映像データ処理装置のエンコーダ側の一構成例を図１に示している。  
エンコーダ側には図１に示すように、圧縮符号化処理する単一ストリームの映像データを出力する映像データ提供部１０と、この映像データのフレーム内の一部領域を対象に付加価値データを生成する付加価値データ発生部２０と、上記映像データ提供部１０から提供される映像データをメイン映像データ、上記付加価値データ発生部２０で生成した付加価値データをサブ映像データとして、それぞれ並行に圧縮符号化処理するエンコーダ１００が設けられている。さらにエンコーダ側には、エンコーダ１００で圧縮符号化された映像ストリームを送信用のストリームとして図２に示す受信装置に送信するストリーム合成部１０４および送信装置３０が設けられる。ここではストリーム合成部１０４をエンコーダ１００内に設けた構成を例に示している。
【００１８】
映像データ提供部１０は、既存の技術により実現可能であり、ここでは監視システムに適用されるビデオカメラ（単眼の監視カメラ）を例に挙げるが、その他のビデオカメラから取得された映像データ、またはインターネットや記憶媒体などが扱う映像データであってもよい。この映像データ提供部１０から出力されるメイン映像データはエンコーダ１００の映像データ入力端Ｔ１に提供されるとともに、付加価値データ発生部２０に映像ソース（元映像）として提供される。
【００１９】
付加価値データ発生部２０は、例えば上記ビデオカメラを用いた監視システムに設けられた、動物体の動きをフレーム上でブロック単位の矩形の領域として捉え追跡する既存の技術により実現可能であり、追跡している監視対象にある矩形の領域に対して、当該領域を明示する枠データや文字データをその領域を示す座標値とともに生成する。この動物体の動きを矩形の領域として捉え追跡する技術としては、上述した付加価値情報源となる機能の他に、特許第４８３９３３０号に示されるオブジェクト推定機能や特許第４６６３７４６号に示される追跡処理機能などを挙げることができる。
【００２０】
エンコーダ１００は、映像データ提供部１０から出力された単一ストリームの映像データをメイン映像データとして入力する映像データ入力端Ｔ１と、付加価値データ発生部２０で生成した付加価値データを入力する付加価値データ入力端Ｔ２と、付加価値映像データ生成部１０１と、ベースビュー符号化部１０２と、非ベースビュー符号化部１０３と、ストリーム合成部１０４と、伝送ストリーム出力端Ｔ３とを有して構成されている。
【００２１】
付加価値映像データ生成部１０１は、映像データ入力端Ｔ１を介して映像データ提供部１０から入力されたメイン映像データと付加価値データ入力端Ｔ２を介して付加価値データ発生部２０から入力された付加価値データとをもとにメイン映像データのフレーム内における付加価値映像データを生成する。具体例を挙げると、監視カメラから出力された監視映像のフレーム内における動物体検知領域（矩形の領域）の座標データ（Ｘ・Ｙ座標）と当該領域を囲う枠パターン（枠のパターンデータ）を検知対象に固有の情報とともに付加価値データとして生成し、この枠パターンを含む付加価値情報を上記検知領域の映像に重ねた合成映像を付加価値映像データとして生成する。さらに付加価値映像データ生成部１０１には、上記検知領域を含んだ付加価値映像に係る動きベクトルおよびビュー間予測の各データを符号化処理の補足情報として算出する補足情報処理部ＳＵを有し、この補足情報処理部ＳＵで生成した補足情報（付加価値映像に係る動きベクトルおよびビュー間予測の各データ）を上記付加価値映像データに付加する。この付加価値映像データ生成部１０１における付加価値映像データの生成処理手順については図３を参照して後述する。
【００２２】
ベースビュー符号化部１０２は、映像データ入力端Ｔ１を介して映像データ提供部１０から入力されたメイン映像データを圧縮符号化し、その圧縮符号化したベースビューのストリームをストリーム合成部１０４に送出する。具体例を挙げると、監視カメラから出力された映像データを例えばＨ．２６４方式に準拠したＭＶＣ符号化技術により圧縮符号化し、ベースビューストリームとして出力する。
【００２３】
非ベースビュー符号化部１０３は、付加価値映像データ生成部１０１から出力された付加価値映像データを圧縮符号化し、その圧縮符号化した付加価値映像を非ベースビューのストリームとしてストリーム合成部１０４に送出する。具体例を挙げると、付加価値映像データ生成部１０１から出力された付加価値映像データを例えばＨ．２６４方式に準拠したＭＶＣ符号化技術により圧縮符号化し、付加価値映像をサブ映像データとした非ベースビューストリームとして出力する。
【００２４】
ストリーム合成部１０４は、ベースビュー符号化部１０２から出力されたベースビューストリームと非ベースビュー符号化部１０３から出力された非ベースビューストリームと同期をとって合成し送信用の映像ストリームとして伝送ストリーム出力端Ｔ３に送出する。
【００２５】
送信装置３０は伝送ストリーム出力端Ｔ３から出力されたベースビューストリームと非ベースビューストリームを有した送信用の映像ストリームを予め設定された無線若しくは有線のデータ伝送方式に従い図２に示すデコード側の受信装置４０に送信する。
【００２６】
この実施の形態に係る映像データ処理装置のデコーダ側の一構成例を図２に示している。  
映像データ処理装置のデコーダ側には、図２に示すように、エンコーダ１００で生成された映像ストリームを受信する受信装置４０と、受信した映像ストリームをベースビューストリームと非ベースビューストリームに分けてそれぞれ復号化処理する復号化装置（デコーダ）２００と、復号化されたベースビューストリームと非ベースビューストリームを例えば監視用画像として同時に若しくは選択してモニタ表示する表示装置５０が設けられる。
【００２７】
受信装置４０はエンコーダ側に設けられた送信装置３０との間で予め設定されたデータ伝送方式に従い、エンコーダ１００で生成した映像ストリームを受信する。
【００２８】
デコーダ２００は、受信装置４０が受信した映像ストリームを入力する映像ストリーム入力端Ｔ４と、映像ストリーム入力端Ｔ４に入力された映像ストリームをベースビューストリームの映像データ（ライブ映像）と非ベースビューストリームの映像データ（付加価値映像）に分けるストリーム分離部２０１と、ストリーム分離部２０１により分けられたベースビューストリームを復号化するベースビュー復号化部２０２と、ストリーム分離部２０１により分けられた非ベースビューストリームを復号化する非ベースビュー復号化部２０３と、復号化されたベースビューストリームの映像データ（ライブ映像）と非ベースビューストリームの映像データ（付加価値映像）をそれぞれ同時に選択して、またはそのいずれかのストリームを任意に選択して出力するストリームスイッチャ２０４と、ストリームスイッチャ２０４で選択された映像ストリームの映像データを出力する映像ストリーム出力端Ｔ５とを有して構成されている。
【００２９】
表示装置５０はストリームスイッチャ２０４で選択され映像ストリーム出力端Ｔ５に出力された映像ストリームを２画面若しくは１画面で表示する、単一若しくは複数の表示モニタにより構成され、例えばベースビューストリームを常時表示出力し、非ベースビューストリームを選択的に表示出力する。
【００３０】
上記図１および図２に示した映像データ処理装置における符号化処理の処理手順を図３乃至図５に示すフローチャートを参照して説明する。付加価値映像データ生成部１０１により実行される付加価値映像の生成処理手順を図３に示し、ベースビュー符号化部１０２により実行されるベースビューの符号化処理手順を図４に示し、非ベースビュー符号化部１０３により実行される非ベースビューの符号化処理手順を図５に示している。
【００３１】
映像データ提供部１０は圧縮符号化処理する単一ストリームの映像データ（例えば監視カメラの映像データ）を取得し、エンコーダ１００のエンコーダ１００の映像データ入力端Ｔ１に供給するとともに、当該映像データを付加価値映像を生成するための元映像として付加価値データ発生部２０に供給する（図３ステップＳ１１）。
【００３２】
付加価値データ発生部２０は当該映像データを付加価値映像の元データとして当該元データのフレーム内の一部領域を対象にした付加価値データを取得し、当該付加価値データを付加価値映像データ生成部１０１に送出する。ここでは一例として、動きを伴う動物体の領域を検知対象とした上記フレーム内における検知領域の座標データ（Ｘ・Ｙ座標）と検知対象に固有の情報（例えばHuman）を付加価値データとして取得し、この付加価値データを付加価値映像データ生成部１０１に送出する（図３ステップＳ１２）。
【００３３】
付加価値映像データ生成部１０１は、映像データ入力端Ｔ１を介して映像データ提供部１０から入力されたメイン映像データと付加価値データ入力端Ｔ２を介して付加価値データ発生部２０から入力された付加価値データとをもとに、メイン映像データのフレーム内における検知領域の位置およびサイズと検知対象を認識し（図３ステップＳ１３）、予め設定された枠パターン（枠のパターンデータ）と所定の文字データを付加価値データとして生成して（図３ステップＳ１４）、検知領域の画像を抽出し、抽出した画像に予め設定された所定の付加価値情報を重畳する加工処理を実施し付加価値映像データを生成する（図３ステップＳ１５）。ここでは一例として、監視映像のフレーム内における動物体検知領域（付加価値データが示す矩形の領域）に対して、予め設定された枠パターン（枠のパターンデータ）と所定の文字データを付加価値データとして生成し、この枠パターンを上記検知領域の映像に重ね、さらに文字情報を付加した所定の付加価値設定パターンによる合成映像を付加価値映像データとして生成する。
【００３４】
さらに付加価値映像データ生成部１０１は補足情報処理部ＳＵにおいて上記合成映像により生成された付加価値映像に係る動きベクトルおよびビュー間予測の各データを符号化処理の補足情報として算出し、この補足情報（付加価値映像に係る動きベクトルおよびビュー間予測の各データ）を上記付加価値映像データに付加して非ベースビュー符号化部１０３に送出する（図３ステップＳ１６）。
【００３５】
ベースビュー符号化部１０２は、映像データ入力端Ｔ１を介して映像データ提供部１０から入力されたメイン映像データを圧縮符号化し、その圧縮符号化したベースビューストリームをストリーム合成部１０４に送出する（図４ステップＳ２１）。ここでは、監視カメラから出力された映像データを例えばＨ．２６４方式に準拠した通常のＭＶＣ符号化技術により圧縮符号化し、メイン映像（元映像）のベースビューストリームとして出力する。
【００３６】
非ベースビュー符号化部１０３は、付加価値映像データ生成部１０１から出力された付加価値映像データをこの付加価値映像データに含まれる補足情報を用いて圧縮符号化し、その圧縮符号化した付加価値映像を非ベースビューストリームとしてストリーム合成部１０４に送出する（図５ステップＳ３１〜Ｓ３５）。ここでは付加価値映像データ生成部１０１から出力された付加価値映像データを例えばＨ．２６４方式に準拠したＭＶＣ符号化技術により圧縮符号化し、付加価値映像をサブ映像データとした非ベースビューストリームとして出力する。
【００３７】
この符号化処理においては、参照画像（元映像）を取得し（図５ステップＳ３１）、付加価値映像データ生成部１０１の補足情報処理部ＳＵで生成された補足情報を参照して、付加価値映像に対する動きベクトル検出処理（図５ステップＳ３２）、およびビュー間予測処理（図５ステップＳ３３）が実施され、さらに通常のＭＶＣに従う残差信号生成処理（図５ステップＳ３４）および量子化・符号化処理（図５ステップＳ３５）が実施されて付加価値映像が非ベースビューストリームとして生成される。ここでは、補足情報として前もって計算された、動きベクトルおよびビュー間予測の各データを用いて、付加価値映像に対する動きベクトル検出処理（図５ステップＳ３２）、および視差補償（ビュー間予測映像の生成）処理（図５ステップＳ３３）が実施されることから、これらの計算処理に係る処理負荷が著しく軽減され、画質に影響を及ぼすことなく付加価値映像の符号化処理が実施される。すなわち、動きベクトル検出処理（図５ステップＳ３２）において、補足情報として既に計算された、付加価値映像を生成した処理に応じた動きベクトルのデータを渡すことで、動きベクトルを検出する演算処理が省略される。例えば、付加価値映像として文字などを重畳した場合、動きベクトルをすべて０と見なすことで処理を省略する。また、ビュー間予測映像の生成処理（図５ステップＳ３３）において、補足情報として既に計算された、付加価値映像を生成した処理に応じた予測画像を渡すことで、予測映像の生成処理が簡易化される。例えば、付加価値映像として文字などを重畳した場合、予測映像は元映像をそのまま参照すればよく、予測映像の生成処理が簡易化される。
【００３８】
ストリーム合成部１０４は、ベースビュー符号化部１０２から出力されたベースビューストリームと非ベースビュー符号化部１０３から出力された非ベースビューストリームと同期をとって合成し送信用の映像ストリームとして伝送ストリーム出力端Ｔ３に送出する。
【００３９】
送信装置３０は伝送ストリーム出力端Ｔ３から出力されたベースビューストリームと非ベースビューストリームを有した送信用の映像ストリームを予め設定された無線若しくは有線のデータ伝送方式に従い図２に示すデコード側の受信装置４０に送信する。
【００４０】
受信装置４０はエンコーダ側に設けられた送信装置３０との間で予め設定されたデータ伝送方式に従い、エンコーダ１００で生成した映像ストリームを受信する。
【００４１】
受信装置４０は受信した映像ストリームをデコーダ２００の映像ストリーム入力端Ｔ４に送出する。
【００４２】
デコーダ２００では、ストリーム分離部２０１において、映像ストリーム入力端Ｔ４に入力された映像ストリームがベースビューストリームと非ベースビューストリームに分けられ、ベースビューストリームがベースビュー復号化部２０２に渡され、非ベースビューストリームが非ベースビュー復号化部２０３に渡される。
【００４３】
ベースビュー復号化部２０２はベースビューストリームを復号化してライブ映像の映像ストリームをストリームスイッチャ２０４に送出し、非ベースビュー復号化部２０３は、非ベースビューストリームを復号化してライブ映像に付随する付加価値映像の映像ストリームをストリームスイッチャ２０４に送出する。
【００４４】
ストリームスイッチャ２０４は、ユーザ（監視員）の操作に従い、ライブ映像の映像ストリームのみ、若しくはライブ映像の映像ストリームと付加価値映像の映像ストリーム、若しくは付加価値映像の映像ストリームのみを選択し、選択した映像ストリームを映像ストリーム出力端Ｔ５に送出する。この
表示装置５０はストリームスイッチャ２０４で選択され映像ストリーム出力端Ｔ５を介して入力した映像ストリームをモニタ表示する。例えば、通常はライブ映像のみを表示し、特定事象の監視時においてライブ映像と付加価値映像を同時に単一画面若しくは複数画面に表示する。
【００４５】
上記したように、本実施形態においては、ライブ映像と、その映像の一部を切り出して加工した付加価値映像とを多視点符号化方式を有効に活用して、ネットワーク負荷の増大を招くことなく、また画質の劣化を招くことなく符号化して効率的に伝送することができる。また伝送先となる受信側で柔軟にライブ映像と付加価値映像を柔軟に扱うことができる。
【００４６】
上記した実施形態は他の様々な映像システムで実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４７】
１０…映像データ提供部、２０…付加価値データ発生部、３０…送信装置、４０…受信装置、５０…表示装置、１００…エンコーダ、１０１…付加価値映像データ生成部、１０２…ベースビュー符号化部１０２、１０３…非ベースビュー符号化部、１０４…ストリーム合成部、２０１…ストリーム分離部、２０２…ベースビュー符号化部、２０３…ベースビュー符号化部、２０４…ストリームスイッチャ。
【図１】
2018093448.tif 000003
【図２】
2018093448.tif 000004
【図３】
2018093448.tif 000005
【図４】
2018093448.tif 000006
【図５】
2018093448.tif 000007