(57)【特許請求の範囲】
【請求項１】
リアルタイムの映像ストリームを送信する送信処理装置と、前記送信処理装置が送信する映像ストリームを受信して表示する受信処理装置とを具備し、
前記送信処理装置は、
前記映像ストリームを、第１の品質の映像である基本階層データと、前記第１の品質よりも高品質である第２の品質の映像と前記第１の品質の映像との差分である第１の拡張階層データと、前記第２の品質よりも高品質である第３の品質の映像と前記第２の品質の映像との差分である第２の拡張階層データとに分割して符号化する階層符号化手段と、
前記基本階層データ、第１及び第２の拡張階層データに分割され符号化された複数の階層データの映像を蓄積する送信側蓄積手段と、
前記複数の階層データのうち基本階層データと第１の拡張階層データとを前記第２の品質の映像ストリームとしてリアルタイムに出力し、前記受信処理装置から前記送信側蓄積手段が蓄積する特定の映像の再生要求を受け付けると、前記第１の拡張階層データのリアルタイム出力を停止するとともに、前記再生要求を受け付けた特定の映像の第２の拡張階層データを出力する階層調整手段と、
前記階層調整手段が出力する複数の階層データを多重化した多重化データを前記受信処理装置へ送信する送信処理手段とを備え、
前記受信処理装置は、
前記送信処理装置が送信する多重化データから前記複数の階層データを分離し復号する受信処理手段と、
前記受信処理手段が復号する複数の階層データを蓄積する受信側蓄積手段と、
前記送信側蓄積手段が蓄積する特定の映像の再生要求を前記送信処理装置に送信する映像再生要求手段と、
前記リアルタイムの映像ストリームの出力時は、前記受信処理手段で分離復号される基本階層データと第１の拡張階層データとを合成して前記第２の品質によるリアルタイム映像を生成し、前記映像再生要求手段による前記特定の映像の再生要求時は、前記受信処理手段で分離復号された特定の映像の基本階層データと前記第１の拡張階層データとを前記受信側蓄積手段から読み出して前記受信処理手段で分離復号される前記特定の映像の第２の拡張階層データと共に合成して前記第３の品質による前記特定の映像を生成する階層合成手段とを備えることを特徴とする映像伝送システム。
【請求項２】
前記映像ストリームが複数であるとき、
前記階層符号化手段は、前記複数の映像ストリームをそれぞれ前記複数の階層データに分割して符号化し、
前記送信側蓄積手段は、前記映像ストリーム毎に得られた複数の階層データの映像を蓄積し、
前記階層調整手段は、前記複数の映像ストリームそれぞれについて、前記複数の階層データのうち基本階層データと第１の拡張階層データとを前記第２の品質の映像ストリームとしてリアルタイムに出力し、前記受信処理装置から前記送信側蓄積手段が蓄積する前記複数の映像ストリームのいずれかを指定して特定の映像の再生要求を受け付けると、前記再生要求で指定された映像ストリーム以外の第１の拡張階層データのリアルタイム出力を停止し、前記再生要求で指定された映像ストリームの特定の映像の第２の拡張階層データを前記送信側蓄積手段から読み出して出力し、
前記映像再生要求手段は、前記送信側蓄積手段が蓄積する複数の映像ストリームのうちのいずれかの指定及びその特定の映像の再生要求を前記送信処理装置に送信し、
前記階層合成手段は、前記リアルタイムの映像ストリームの出力時は、前記受信処理手段で分離復号される前記複数の映像ストリームの基本階層データと第１の拡張階層データとを合成して前記第２の品質によるリアルタイム映像を生成し、前記映像再生要求手段による指定の映像ストリームの特定の映像の再生要求時は、前記再生要求で指定された映像ストリームの特定の映像の基本階層データと第１の拡張階層データとを前記受信側蓄積手段から読み出して前記受信処理手段で分離復号される前記指定された映像ストリームの特定の映像の第２の拡張階層データと共に合成して前記第３の品質による前記特定の映像を生成することを特徴とする請求項１記載の映像伝送システム。
【請求項３】
リアルタイムの配信映像の映像ストリームを送信する送信処理装置において、
前記映像ストリームを、第１の品質の映像である基本階層データと、前記第１の品質よりも高品質である第２の品質の映像と前記第１の品質の映像との差分である第１の拡張階層データと、前記第２の品質よりも高品質である第３の品質の映像と前記第２の品質の映像との差分である第２の拡張階層データとに分割して符号化する階層符号化手段と、
前記基本階層データ、第１及び第２の拡張階層データに分割され符号化された複数の階層データの映像を蓄積する送信側蓄積手段と、
前記複数の階層データのうち基本階層データと第１の拡張階層データとを前記第２の品質の映像ストリームとしてリアルタイムに出力し、受信処理装置から前記送信側蓄積手段が蓄積する特定の映像の再生要求を受け付けると、前記第１の拡張階層データのリアルタイム出力を停止するとともに、前記再生要求を受け付けた特定の映像の第２の拡張階層データを出力する階層調整手段と、
前記階層調整手段が出力する複数の階層データを多重化した多重化データを前記受信処理装置へ送信する送信処理手段とを具備することを特徴とする送信処理装置。
【請求項４】
前記映像ストリームが複数であるとき、
前記階層符号化手段は、前記複数の映像ストリームをそれぞれ前記複数の階層データに分割して符号化し、
前記送信側蓄積手段は、前記映像ストリーム毎に得られた複数の階層データの映像を蓄積し、
前記階層調整手段は、前記複数の映像ストリームそれぞれについて、前記複数の階層データのうち基本階層データと第１の拡張階層データとを前記第２の品質の映像ストリームとしてリアルタイムに出力し、前記受信処理装置から前記送信側蓄積手段が蓄積する前記複数の映像ストリームのいずれかを指定して特定の映像の再生要求を受け付けると、前記再生要求で指定された映像ストリーム以外の第１の拡張階層データのリアルタイム出力を停止し、前記再生要求で指定された映像ストリームの特定の映像の第２の拡張階層データを前記送信側蓄積手段から読み出して出力することを特徴とする請求項３記載の送信処理装置。
【請求項５】
送信処理装置から送信されるリアルタイムの映像ストリームを受信表示する受信処理装置において、
前記送信処理装置が、
前記映像ストリームを、第１の品質の映像である基本階層データと、前記第１の品質よりも高品質である第２の品質の映像と前記第１の品質の映像との差分である第１の拡張階層データと、前記第２の品質よりも高品質である第３の品質の映像と前記第２の品質の映像との差分である第２の拡張階層データとに分割して符号化し、
前記基本階層データ、第１及び第２の拡張階層データに分割され符号化された複数の階層データの映像を蓄積し、
前記複数の階層データのうち基本階層データと第１の拡張階層データとを前記第２の品質の映像ストリームとしてリアルタイムに出力し、前記蓄積する特定の映像の再生要求を受け付けると、前記第１の拡張階層データのリアルタイム出力を停止するとともに、前記再生要求を受け付けた特定の映像の第２の拡張階層データを出力し、
前記出力する複数の階層データを多重化した多重化データを送信する場合に、
前記送信側処理装置が送信する多重化データから前記複数の階層データを分離し復号する受信処理手段と、
前記受信処理手段が復号する複数の階層データを蓄積する受信側蓄積手段と、
前記送信処理装置が蓄積する特定の映像の再生要求を前記送信処理装置に送信する映像再生要求手段と、
前記リアルタイムの映像ストリームの出力時は、前記受信処理手段で分離復号される基本階層データと第１の拡張階層データとを合成して前記第２の品質によるリアルタイム映像を生成し、前記映像再生要求手段による前記特定の映像の再生要求時は、前記受信処理手段で分離復号された特定の映像の基本階層データと前記第１の拡張階層データとを前記受信側蓄積手段から読み出して前記受信処理手段で分離復号される前記特定の映像の第２の拡張階層データと共に合成して前記第３の品質による前記特定の映像を生成する階層合成手段とを備えることを特徴とする受信処理装置。
【請求項６】
前記映像ストリームが複数であり、前記送信処理装置が、前記複数の映像ストリームをそれぞれ前記複数の階層データに分割して符号化し、前記映像ストリーム毎に得られた複数の階層データの映像を送信側蓄積手段に蓄積し、
前記複数の映像ストリームそれぞれについて、前記複数の階層データのうち基本階層データと第１の拡張階層データとを前記第２の品質の映像ストリームとしてリアルタイムに出力し、前記蓄積する前記複数の映像ストリームのいずれかを指定して特定の映像の再生要求を受け付けると、前記再生要求で指定された映像ストリーム以外の第１の拡張階層データのリアルタイム出力を停止し、前記再生要求で指定された映像ストリームの特定の映像の第２の拡張階層データを前記送信処理装置の蓄積結果から読み出して出力するとき、
前記映像再生要求手段は、前記送信側蓄積手段が蓄積する複数の映像ストリームのうちのいずれかの指定及びその特定の映像の再生要求を前記送信処理装置に送信し、
前記階層合成手段は、前記リアルタイムの映像ストリームの出力時は、前記受信処理手段で分離復号される前記複数の映像ストリームの基本階層データと第１の拡張階層データとを合成して前記第２の品質によるリアルタイム映像を生成し、前記映像再生要求手段による指定の映像ストリームの特定の映像の再生要求時は、前記再生要求で指定された映像ストリームの特定の映像の基本階層データと第１の拡張階層データとを前記受信側蓄積手段から読み出して前記受信処理手段で分離復号される前記指定された映像ストリームの特定の映像の第２の拡張階層データと共に合成して前記第３の品質による前記特定の映像を生成することを特徴とする請求項５記載の受信処理装置。
【請求項７】
送信側から送信されるリアルタイムの映像ストリームを受信側で受信表示する際の映像伝送方法において、
前記送信側は、
前記映像ストリームを、第１の品質の映像である基本階層データと、前記第１の品質よりも高品質である第２の品質の映像と前記第１の品質の映像との差分である第１の拡張階層データと、前記第２の品質よりも高品質である第３の品質の映像と前記第２の品質の映像との差分である第２の拡張階層データとに分割して符号化し、
前記基本階層データ、第１及び第２の拡張階層データに分割され符号化された複数の階層データの映像を送信側で蓄積し、
前記複数の階層データのうち基本階層データと第１の拡張階層データとを前記第２の品質の映像ストリームとしてリアルタイムに出力し、前記受信側から前記送信側が蓄積する特定の映像の再生要求を受け付けると、前記第１の拡張階層データのリアルタイム出力を停止するとともに、前記再生要求を受け付けた特定の映像の第２の拡張階層データを出力し、
前記出力する複数の階層データを多重化した多重化データを前記受信側へ送信し、
前記受信側は、
前記送信側が送信する多重化データから前記複数の階層データを分離して復号し、
前記復号する複数の階層データを蓄積し、
前記送信側が蓄積する特定の映像の再生要求を前記送信側に送信し、
前記リアルタイムの映像ストリームの出力時は、前記映像ストリームの受信処理で分離復号された基本階層データと第１の拡張階層データとを合成して前記第２の品質によるリアルタイム映像を生成し、前記特定の映像の再生要求時は、前記受信処理で分離復号された特定の映像の基本階層データと前記第１の拡張階層データとを前記受信側の蓄積結果から読み出して前記受信処理で分離復号される前記特定の映像の第２の拡張階層データと共に合成して前記第３の品質による前記特定の映像を生成することを特徴とする映像伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、例えば監視カメラの映像ストリームを伝送する映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法に関する。
【背景技術】
【０００２】
従来の映像伝送システムとして、例えば監視システムでは、監視カメラで撮影した映像ストリームを送信装置側で一定期間記録しつつネットワークを通じて受信装置に配信し、受信装置側でリアルタイムにモニタ表示している。このリアルタイムのモニタ表示において、何か気になる場面があったとき、監視者による巻き戻し再生が行われる。
【０００３】
ところで、監視カメラの性能が向上し、高品質（特に解像度）の映像が得られるようになってきた。この高品質の映像はそのデータ量が膨大となるため、通常は品質を下げて配信し、巻き戻し再生要求に応じて高品質の映像を読み出し提供することが提案されている。
【０００４】
しかしながら、高品質の映像を提供している期間は伝送帯域を占有するため、リアルタイム表示する低品質の映像配信が極めて困難になる。
【０００５】
一方、映像ストリームを階層符号化されたデータとして伝送することが知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１９９６７７号公報
【特許文献２】特開２００６−０３３５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の如く、従来の映像伝送システムでは、伝送帯域の制限により、低品質の映像配信を継続しつつ高品質の映像配信を同時に行うことが極めて困難な状況にあった。
【課題を解決するための手段】
【０００８】
実施形態によれば、映像ストリームを品質の異なる複数の階層に分割してそれぞれの差分映像を符号化し、通常は低階層映像データ及び中階層差分映像データをリアルタイム配信して両者を合成表示すると共に蓄積しておき、要求に応じてリアルタイム配信される中階層差分映像データに代わって指定期間の高階層差分映像データを配信し、蓄積されている対応期間の低階層映像データ及び中階層差分映像データと共に合成表示する。
【図面の簡単な説明】
【０００９】
【図１】実施形態の映像伝送システムの構成を示すブロック図である。
【図２】上記実施形態において、配信映像データの階層構成を示す概念図である。
【図３】上記実施形態において、階層伝送の帯域配分と再生の様子を示す概念図である。
【図４】上記実施形態において、複数の映像ストリームを配信する場合の階層構成と伝送帯域配分の様子を示す概念図である。
【発明を実施するための形態】
【００１０】
以下、実施の形態について、図面を参照して説明する。
【００１１】
図１は実施形態の映像伝送システムの構成を示すブロック図である。ここでは、リアルタイム表示が要求される監視システムを想定する。
【００１２】
図１において、１１は監視カメラを収容する撮影装置１１であり、この撮影装置１１で得られた映像ストリームは符号化変換装置１２によって階層符号化されて送信装置１３に送られる。
【００１３】
上記符号化変換装置１２の階層符号化処理は、例えばＨ．２６４／ＳＶＣ形式により映像データを符号化するもので、図２に示すように、配信映像の品質を最低品質、基本品質、拡張品質の３段階に分け、基本階層Ａで最低品質の映像の符号化データを提供し、拡張階層（α）Ｂで基本品質の映像と最低品質の映像との差分映像の符号化データを提供し、拡張階層（β）Ｃで拡張品質の映像と基本品質の映像との差分映像の符号化データを提供する。
【００１４】
上記送信装置１３において、符号化変換装置１２で階層符号化された映像データは階層調整部１３１に入力される。この階層調整部１３１は、入力映像データを記憶部１３２に格納すると共に、リアルタイムに基本品質の映像符号化データ、すなわち基本階層Ａ及び拡張階層（α）Ｂの映像符号化データを選択出力する。また、期間・品質制御部１３３からの指示期間及び拡張品質指定に基づいて、記憶部１３２から指示期間の拡張品質に対応する拡張階層（β）Ｃの映像符号化データを読み出し、リアルタイム映像符号化データと共に出力する。このとき、全体の伝送帯域が許容範囲に収まるように、リアルタイム映像符号化データを基本階層Ａのみに限定して伝送する。
【００１５】
上記階層調整部１３１から出力される映像符号化データは送信処理部１３４に送られ、所定の伝送フォーマットで階層多重されて送信装置１３から送出され、ネットワーク１４を介して受信装置１５に送られる。
【００１６】
受信装置１５において、ネットワーク１４から伝送される映像符号化データは受信処理部１１にて受信され、階層別に分割されて階層合成部１５２に送られる。この階層合成部１５２は、伝送データを階層別に区別して記憶部１５３に格納すると共に、映像毎に階層合成を行って表示装置１６に送る。表示装置１６は入力映像符号化データを復号し再生出力するもので、リアルタイム表示映像と共に指定期間の映像符号化データがある場合には、その画像を復号再生し、リアルタイム映像と共に分割表示する（別画面で表示するようにしてもよい）。
【００１７】
ここで、受信装置１５は期間・品質選択部１５４を備え、操作者が表示映像を監視して、巻き戻し再生と共に、拡張品質映像の要求があった場合、期間・品質選択部１５４からネットワーク１４を介して送信装置１３の期間・品質制御部１３３に通知される。
【００１８】
尚、上記実施形態では、操作者が巻き戻し再生及び拡張品質映像の要求を入力した場合について説明したが、動き検出、音声検出、顔認識等の処理によって何らかの異常検出が得られた場合に、それをトリガとして該当部分の拡張品質映像を自動的に要求するようにしてもよい。
【００１９】
図３は、上記実施形態の送信装置１３、受信装置１５において、伝送帯域内でリアルタイム映像と共に巻き戻し再生映像を伝送する様子（ａ）とその再生表示の様子（ｂ）を示す概念図である。まず、送信装置１３では、図３（ａ）に示すように、通常は基本階層Ａと拡張階層（α）Ｂによる基本品質の映像符号化データ（基本階層Ａの映像符号化データ及び拡張階層（α）Ｂの差分映像符号化データ）＃１，＃２，…を伝送帯域内でリアルタイム伝送する。これらのデータは一定期間、記憶部１５３に格納される。
【００２０】
ここで、時刻ｔに拡張品質の映像符号化データ＃２の巻き戻し再生が要求されたとする。送信装置１３では、受信装置１５からその＃２巻き戻し再生の指示を受けると、記憶部１３２から拡張品質の差分画像符号化データ＃２を読み出す。そのとき、階層調整部１３１では、リアルタイム伝送の映像符号化データ＃５の拡張階層（α）を取りやめて最低品質の基本階層のみに削減し、その伝送帯域で記憶部１３２から読み出された拡張品質の差分画像符号化データ＃２を送出する。
【００２１】
受信装置１５の階層合成部１５２では、リアルタイム伝送の映像データ＃５を最低品質で表示装置１６に出力し、その期間に伝送される拡張階層（β）の差分映像符号化データを記憶部１５３から読み出される過去の映像符号化データ（基本階層Ａの映像符号化データ及び拡張階層（α）Ｂの差分映像符号化データ）に合成することで、拡張品質の映像符号化データ＃２を生成し、表示装置１６に出力する。これにより、リアルタイム映像は最低品質ではあるが途切れることなく表示され、巻き戻し再生は拡張品質で表示されるようなる。
【００２２】
ところで、上記実施形態では映像ストリームが１チャンネルの場合について説明したが、監視カメラのようなシステムでは、複数台の監視カメラの撮影映像をまとめ、複数チャンネルの映像ストリームを符号化伝送されている。
【００２３】
図４は複数の映像ストリームを限られた伝送帯域（４階層分）内で伝送する場合を概念的に示す図である。
【００２４】
図４（ａ）は、第１映像ストリームａ、第２映像ストリームｂそれぞれの階層符号化構成を示すもので、それぞれ図２に示した階層構造と同様に、基本階層Ａ、拡張階層（α）Ｂ、拡張階層（β）Ｃの３階層で構成される。
【００２５】
図４（ｂ）は、上記階層符号化された第１及び第２映像ストリームａ，ｂの階層伝送の様子を示す概念図である。通常は各映像ストリームａ，ｂを共に基本品質、すなわち基本階層Ａ及び拡張階層（α）Ｂを伝送することとし、少なくとも基本階層データａ１，ａ２，ａ３，…、ｂ１，ｂ２，ｂ３，…をリアルタイムに伝送する。
【００２６】
時刻ｔ１において、第２映像ストリームｂ１について拡張品質の伝送要求があった場合には、第１映像ストリームａ２を基本階層Ａ（最低品質）に制限し、代わって第２映像ストリームｂ１の拡張階層（β）Ｃを伝送する。これにより、第１映像ストリームａ２は最低品質の映像になるが、第２映像ストリームｂ１を拡張品質の映像で表示することができる。
【００２７】
時刻ｔ２において、第２映像ストリームｂ１の拡張品質の伝送が終了した場合には、第１映像ストリームａ３の基本階層Ａ及び拡張階層（α）Ｂを伝送し、第２映像ストリームｂ３を基本階層Ａ（最低品質）に制限し、代わって第１映像ストリームａ２の拡張階層（α）Ｂを伝送する。これにより、第２映像ストリームｂ３は最低品質の映像になるが、時刻ｔ１で制限された第１映像ストリームａ２の拡張階層（α）を補間することができ、少なくとも受信装置側で第１映像ストリームａ２を基本品質の映像で巻き戻し再生することができる。
【００２８】
尚、詳細は図示しないが、上記第１、第２映像ストリームａ，ｂをそれぞれリアルタイム伝送しているとき、一方のストリームを最低品質の映像に制限し、他方のストリームを拡張品質の映像に高めることも可能である。
【００２９】
以上のように、複数の映像ストリームを同時に伝送する場合、それぞれを階層符号化しておき、拡張品質の要求に応じて一方の映像ストリームの品質を落とすことで、他方の映像ストリームの指定期間の拡張品質のデータを伝送することができる。すなわち、例えば、複数の映像を監視中に気になる場面があった際に、その場面を巻き戻して高品質の映像を確認するが、このとき巻き戻し中の映像は、リアルタイム映像にも注視することが求められることから、巻き戻し中でない映像ストリームを最低品質にすることで、巻き戻し中の映像ストリームのリアルタイム映像の品質を維持したまま、巻き戻し中の映像ストリームを高品質で確認することができる。
【００３０】
尚、上記実施形態では、一方の映像の品質を落として他方の映像の品質を向上させる差分映像を提供するようにしたが、その期間、品質を落とした映像の基本品質映像が得られなくなる。そこで、伝送帯域に多少の余裕がある場合には、時間をかけて拡張品質（α）の差分映像符号化データを伝送するようにし、受信側の記憶部１５３に蓄積しておく。これにより、受信装置１５では、少なくとも基本品質の映像をモニタ表示することが可能となる。
【００３１】
尚、上記実施形態はそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせでもよい。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００３２】
１１…撮影装置、１２…符号化装置、１３…送信装置、１３１…階層調整部、１３２…記憶部、１３３…期間・品質制御部、１３４…送信処理部、１４…ネットワーク、１５…受信装置、１５１…受信処理部、１５２…階層合成部、１５３…記憶部、１５４…期間・品質選択部、１６…表示装置。
【図１】
0005586420.tif 000002
【図２】
0005586420.tif 000003
【図３】
0005586420.tif 000004
【図４】
0005586420.tif 000005