(57)【要約】  本開示は、より低遅延で再生されるように動画像を送信することができるようにする送信装置および送信方法、並びにプログラムに関する。エンコード部は、動画像に対して、空間スケーラブルなエンコードを実施し、送信処理部は、エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する。そして、参照レイヤ制御処理部は、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、参照レイヤをインターレイヤに限定するようにエンコード部に対する制御を行う。本技術は、例えば、動画像を符号化して送信する送信装置に適用できる。
2019073802.tif 000002
【特許請求の範囲】
【請求項１】
動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、
前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部と
を備える送信装置。
【請求項２】
前記エンコード部によりエンコードされたレイヤごとのピクチャの符号量に応じて、伝送が完了するのが早いと予測される伝送経路を選択し、その選択した伝送経路で送信を行うように前記送信処理部に対する制御を行う伝送経路選択処理部
をさらに備える請求項１に記載の送信装置。
【請求項３】
前記伝送経路選択処理部は、前記ピクチャの符号量と、前記送信処理部における伝送開始までの遅延量の統計値、および、前記送信処理部が伝送開始した後のレートの統計量を用いて求められる境界符号量との比較に基づいて、前記伝送経路を選択する
請求項２に記載の送信装置。
【請求項４】
前記参照レイヤ制御処理部は、前記遅延量の統計値、および、前記レートの統計量に基づいて、前記受信バッファにアンダーフローが発生する可能性が高いか否かを予測する
請求項３に記載の送信装置。
【請求項５】
前記ネットワークは、そのネットワーク全体を仮想的に分割し、各機能を付加された複数の仮想ネットワークにより構成される
請求項１に記載の送信装置。
【請求項６】
動画像を送信する送信装置が、
前記動画像に対して、空間スケーラブルなエンコードを実施することと、
エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
を含む送信方法。
【請求項７】
動画像を送信する送信装置のコンピュータに、
前記動画像に対して、空間スケーラブルなエンコードを実施することと、
エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、送信装置および送信方法、並びにプログラムに関し、特に、より低遅延で再生されるように動画像を送信することができるようにした送信装置および送信方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、動画像を符号化してネットワーク経由で送信し、遠隔地で再生して表示するようなネットワークカメラシステムにおいて、例えば、途切れなく動画像が再生されるようにするためには、ある程度の遅延が必要となる。しかしながら、この遅延を大きくした場合には、ネットワークカメラシステムが提供する機能に悪影響を及ぼすことがある。【０００３】
例えば、ネットワークカメラシステムを、遠隔地間で双方向の会話を行うようなコミュニケーションシステムで利用する場合、遅延によって、発話から相手の応答までの時間が増大することになり、円滑な会話が困難となることが想定される。また、ネットワークカメラシステムを、例えば、遠隔地の動画像を監視して、遠隔地の状況に応じた対処が必要となる監視カメラシステムで利用する場合、遅延によって、遠隔地の状況に応じた対処に遅れが生じることが想定される。【０００４】
ここで、特許文献１には、スケーラブルビデオコーディングを使用するビデオ通信システムにおいて、例えば、エラー耐性を高めることができる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５７５３３４１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、ネットワークカメラシステムにおいて動画像を送信し、その動画像が再生されるまでの遅延を大きくした場合には、様々な悪影響があるため、できるだけ遅延を抑制しつつ、途切れなく再生されるように動画像を送信することが求められている。【０００７】
本開示は、このような状況に鑑みてなされたものであり、より低遅延で再生されるように動画像を送信することができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の送信装置は、動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部とを備える。【０００９】
本開示の一側面の送信方法は、動画像を送信する送信装置が、前記動画像に対して、空間スケーラブルなエンコードを実施することと、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うこととを含む。【００１０】
本開示の一側面またはプログラムは、動画像を送信する送信装置のコンピュータに、前記動画像に対して、空間スケーラブルなエンコードを実施することと、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うこととを含む処理を実行させる。【００１１】
本開示の一側面においては、動画像に対して、空間スケーラブルなエンコードが実施され、エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理が行われる。そして、受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御が行われる。
【発明の効果】
【００１２】
本開示の一側面によれば、より低遅延で再生されるように動画像を送信することができる。【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本技術を適用したネットワークカメラシステムの一実施の形態の構成例を示すブロック図である。
【図２】動画像の一般的な伝送について説明する図である。
【図３】アンダーフローが発生し、不正画像が伝播する状態について説明する図である。
【図４】ネットワークの構成例を説明するブロック図である。
【図５】伝送経路の遅延モデルを示す図である。
【図６】２種類の伝送経路から早着経路を選択する処理について説明する図である。
【図７】参照レイヤを制御する処理について説明する図である。
【図８】動画像を送信する送信処理について説明するフローチャートである。
【図９】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１６】
＜ネットワークカメラシステムの構成例＞
図１は、本技術を適用したネットワークカメラシステムの一実施の形態の構成例を示すブロック図である。
【００１７】
図１に示すように、ネットワークカメラシステム１１は、撮像装置２１、送信装置２２、受信装置２３、および表示装置２４が、ネットワーク２５を介して接続されて構成される。また、送信装置２２は、画像処理部３１、エンコード部３２、送信処理部３３、および伝送制御部３４を備えており、伝送制御部３４は伝送経路選択処理部３５および参照レイヤ制御処理部３６を有している。また、受信装置２３は、受信処理部４１、デコード部４２、および表示処理部４３を備えており、受信処理部４１は受信バッファ４４を有している。
【００１８】
撮像装置２１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有しており、その撮像素子によって撮像して得られる動画像を、送信装置２２の画像処理部３１に供給する。
【００１９】
画像処理部３１は、撮像装置２１が撮像した動画像に対して各種の画像処理を施し、例えば、動画像のビットレートや解像度、フレームレートなどを調整する画像処理を施して、エンコード部３２に供給する。
【００２０】
エンコード部３２は、画像処理部３１から供給される動画像に対して、空間スケーラブルなエンコードを実施することができ、動画像をエンコードして得られるピクチャ（ＩピクチャやＰピクチャなど）のストリームを送信処理部３３に供給する。また、エンコード部３２は、動画像をエンコードする際に、伝送制御部３４による伝送制御に従って、参照レイヤをインターレイヤＩＬ（図７参照）に限定することができる。
【００２１】
送信処理部３３は、エンコード部３２から供給されるピクチャのストリームを、ネットワーク２５を介して受信装置２３に送信する送信処理を行う。このとき、送信処理部３３は、伝送制御部３４による伝送制御に従った伝送経路でピクチャを送信することができる。
【００２２】
伝送制御部３４は、ネットワークカメラシステム１１における動画像の伝送が低遅延となるように、伝送経路選択処理部３５および参照レイヤ制御処理部３６による伝送制御を行う。
【００２３】
伝送経路選択処理部３５は、送信処理部３３によるピクチャごとの送出を常に監視し、伝送開始までの遅延量、および、伝送開始後のレートを取得して、それらの統計値を算出する。そして、伝送経路選択処理部３５は、後述の図６を参照して説明するように、算出した統計量とピクチャの符号量とに基づいて、伝送が完了するのが早いと予測される伝送経路を選択し、その伝送経路でピクチャを送信するように送信処理部３３に対する制御を行う。
【００２４】
参照レイヤ制御処理部３６は、例えば、伝送経路選択処理部３５が算出した統計値に基づいて、受信バッファ４４にアンダーフローが発生する可能性が高いと予測する場合、後述の図７を参照して説明するように、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。また、参照レイヤ制御処理部３６は、受信装置２３側から、受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、エンコード部３２に対して同様の制御を行ってもよい。
【００２５】
受信処理部４１は、ネットワーク２５を介して伝送されてくるピクチャを受信して、順次、受信バッファ４４に一時的に蓄積させる。そして、受信処理部４１は、フレーム間隔に従って順次、表示のタイミングとなったピクチャを受信バッファ４４から読み出してデコード部４２に供給する。また、受信処理部４１は、ネットワーク２５を介した動画像の伝送に遅延が発生して表示タイミングのピクチャの受信が完了せずに、受信バッファ４４にアンダーフローが発生した場合、その旨を送信装置２２側に通知するフィードバックを行う。
【００２６】
デコード部４２は、受信処理部４１からフレーム間隔に従って順次供給されるピクチャをデコードして得られる動画像を、表示処理部４３に供給する。
【００２７】
表示処理部４３は、デコード部４２から供給される動画像に対して表示処理を行って、再生される動画像を表示装置２４に表示させる。
【００２８】
表示装置２４は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどの表示デバイスを有しており、表示処理部４３により表示処理が施された動画像を表示する。
【００２９】
このように構成されるネットワークカメラシステム１１では、伝送制御部３４による伝送制御に従って、送信装置２２から送信される動画像が受信装置２３で再生されるまでの遅延を低減することができる。
【００３０】
ここで、伝送制御部３４による伝送制御について説明する前に、図２および図２を参照して、伝送制御部３４による伝送制御が行われないような、動画像の一般的な伝送について説明する。
【００３１】
図２に示すように、ネットワークカメラシステム１１では、エンコード部３２が動画像をエンコードして、フレーム間隔Ｔｆｒごとのピクチャ（ＩピクチャまたはＰピクチャ）を生成し、それらのピクチャを順次、ネットワーク２５を介して伝送する。そして、受信処理部４１は、ネットワーク２５を介して受信したピクチャを順次、受信バッファ４４に蓄積するが、それぞれのピクチャが伝送される伝送経路によってはネットワーク２５上で伝送遅延Ｔｆｒｎが発生することがある。
【００３２】
そこで、通常、ネットワーク２５を介して動画像を伝送する際には、途切れなく動画像が再生されるように、十分な容量の受信バッファ４４を受信処理部４１に備える必要がある。そして、受信バッファ４４にアンダーフローが発生しないように、デコード部４２がデコードするタイミング、および、表示装置２４が動画像を表示するタイミングを遅らせることで、ネットワーク２５上で発生する伝送遅延Ｔｆｒｎの揺らぎを吸収することができる。このように、受信バッファ４４に一時的にピクチャを蓄積させることによって、動画像がエンコードされてから、デコードされて表示されるまでに遅延が生じることになる。
【００３３】
ここで、デコード部４２がデコードするタイミング、および、表示装置２４が動画像を表示するタイミングを早めることで、低遅延化を図ることができる。
【００３４】
しかしながら、低遅延化を図ることによって、ネットワーク２５上で発生する伝送遅延Ｔｆｒｎの最大のものをカバーすることができなくなると、図３に示すように、受信バッファ４４にアンダーフローが発生してしまう。
【００３５】
その結果、アンダーフローが発生したピクチャのデコード結果が不正となり、不正画像が表示される結果、表示装置２４の表示が乱れることになる。さらに、後続のピクチャがフレーム間（Inter）予測を用いているＰピクチャである場合には、不正画像が伝搬してしまう。この場合、正常に復帰するのは、次のフレーム内（Intra）予測を用いたＩピクチャとなる。そのため、Ｉピクチャの間隔次第では、表示装置２４の表示の乱れが長期間続くこととなってしまう。
【００３６】
そこで、ネットワークカメラシステム１１では、伝送制御部３４が、このような表示装置２４の表示の乱れを抑制して、かつ、動画像の伝送が低遅延となるような伝送制御を行うことができる。
【００３７】
例えば、伝送経路選択処理部３５は、エンコード部３２により空間スケーラブルなエンコードが実施された各レイヤの符号を、同一または個別の伝送経路で送出するように送信処理部３３に対する制御を行う。このとき、伝送経路選択処理部３５は、各レイヤの符号を送出する伝送経路として、符号量に応じて伝送遅延が小さいと予測される経路を選択する。また、伝送経路選択処理部３５は、このような伝送経路の選択に、伝送開始までの遅延量の統計値、および、伝送開始後のレートの統計値を取得することによって、伝送経路の選択精度を向上させることができる。
【００３８】
また、参照レイヤ制御処理部３６は、例えば、伝送開始までの遅延量の統計値、および、伝送開始後のレートの統計値に基づいて、上位レイヤの符号の伝送経路の遅延揺らぎが大きいと判断できる場合、受信バッファ４４にアンダーフローが発生する可能性が高いと判定することができる。従って、参照レイヤ制御処理部３６は、この場合、下位のレイヤからの拡大像のみを参照するように、エンコード部３２に対する制御を行う。これにより、上位レイヤのアンダーフローが発生したとしても、不正画像が伝播することを抑制することができる。
【００３９】
従って、ネットワークカメラシステム１１は、伝送経路を適切に選択することにより、伝送遅延を抑制することができ、デコード時刻を早めるのに伴って、表示される画像の品質が低下するリスクを低減することができる。これにより、ネットワークカメラシステム１１では、撮像装置２１により撮像された動画像が、表示装置２４で表示されるまでの遅延を抑制することができる。
【００４０】
ここで、図４を参照して、ネットワーク２５の構成と、伝送経路選択処理部３５による伝送経路の選択について説明する。
【００４１】
例えば、図４に示すように、ネットワーク２５には、複数台の送信装置２２（図４の例では、２台の送信装置２２−１および２２−２）が接続されるとともに、複数台の受信装置２３（図４の例では、２台の受信装置２３−１および２３−２）が接続される。
【００４２】
ネットワーク２５は、スライス振り分け処理部５１と、論理ネットワークを構成する複数のスライス５２とにより構成され、例えば、サービス事業者の要望に応じて柔軟にネットワーク機能を提供することができる。
【００４３】
スライス振り分け処理部５１は、ネットワーク２５の仮想化と連携し、トラフィック量や通信内容に応じて、複数のスライス５２に通信を振り分ける処理を行う。
【００４４】
複数のスライス５２は、ネットワーク２５を仮想的に複数に分割した仮想ネットワークであり、それぞれのスライス５２には、様々な機能を付加することができる。図４に示す例では、スライス５２−１にはベストエフォートな伝送を実行する機能が付加されており、スライス５２−２には高速な伝送を実行する機能が付加されており、スライス５２−３には低遅延な伝送を実行する機能が付加されている。これらのスライス５２は、それぞれ必要な物理リソースを自由に組み合わせて論理ネットワークを構成することができる。
【００４５】
このように構成されるネットワーク２５のように、複数の伝送経路を選択することができる場合、伝送経路選択処理部３５は、目的に最適な伝送経路を選ぶことで、例えば、より低遅延で動画像を送信するような伝送制御を行うことができる。
【００４６】
図５および図６を参照して、伝送経路選択処理部３５による伝送経路の選択について説明する。
【００４７】
図５には、伝送経路の遅延モデルが示されている。
【００４８】
例えば、図５に示すように、伝送経路での遅延が、伝送開始待ち時間ｄと伝送レートｒとによる１次式で表されるとき、符号量Ｍの伝送には、次の式（１）に示すような時間Ｔを要することになる。
【００４９】
【数１】
2019073802.tif 000003
【００５０】
そして、図６に示すように、伝送開始待ち時間ｄおよび伝送レートｒの異なる２種類の伝送経路が存在する場合、伝送が完了するのが早いと予測される伝送経路（早着経路）は、符号量Ｍにより異なるものとなる。従って、伝送経路選択処理部３５は、それぞれの伝送経路における伝送開始待ち時間ｄおよび伝送レートｒを把握して、早着経路が切り替わる境界符号量Ｍthを演算により求めることができる。そして、伝送経路選択処理部３５は、エンコード結果の符号量と、境界符号量Ｍthとを比較することにより、早着経路を選択することが可能となる。
【００５１】
例えば、伝送経路選択処理部３５は、伝送開始待ち時間ｄおよび伝送レートｒとして、それぞれ実績値を保存し、平均値および標準偏差の統計値を算出し、それらの統計値に基づいて早着経路を予測することができる。即ち、伝送経路選択処理部３５は、レートの平均値ｒＭ、遅延の平均値ｄＭ、レートの標準偏差ｓ（ｒ）、遅延の標準偏差ｓ（ｄ）、および予測パラメータｎを用いて、予測レートｒＰおよび予測遅延ｄＰを、次の式（２）を演算することにより求めることができる。
【００５２】
【数２】
2019073802.tif 000004
【００５３】
ここで、式（２）で用いられる予測パラメータｎが大きいほど、レートが低く、かつ、遅延が大きくなる悲観的な予測となる。
【００５４】
なお、伝送経路選択処理部３５が統計値を求めるのに用いる伝送開始待ち時間ｄおよび伝送レートｒの実績値は、送信装置２２において蓄積してもよいし、複数の送信装置２２の蓄積情報を収集するサーバからネットワーク２５を介して取得してもよい。また、伝送開始待ち時間ｄおよび伝送レートｒの実績値は、時間帯および場所にも依存すると考えられるので、時刻および位置情報ごとの実績値からマップを生成することで、予測精度を高めることができる。
【００５５】
伝送経路選択処理部３５は、このように求められる予測レートｒＰおよび予測遅延ｄＰを、複数の伝送経路ごとに計算しておき、それらに基づいて、図６に示した境界符号量Ｍthを計算して、早着経路を選択することができる。
【００５６】
例えば、図６に示す境界符号量Ｍthと、境界符号量Ｍthとなる時間Ｔthは、伝送経路Ａの予測レートｒＰＡおよび予測遅延ｄＰＡ、並びに、伝送経路Ｂの予測レートｒＰＢおよび予測遅延ｄＰＢを用いて、次の式（３）に示すように求められる。
【００５７】
【数３】
2019073802.tif 000005
【００５８】
そして、伝送経路選択処理部３５は、境界符号量Ｍthを使用して、伝送経路Ｂの予測レートｒＰＢが伝送経路Ａの予測レートｒＰＡより大きく（ｒＰＢ＞ｒＰＡ）、符号量Ｍが境界符号量Ｍthより大きい場合（Ｍ＞Ｍth）、伝送経路Ｂを選択する。一方、伝送経路選択処理部３５は、伝送経路Ｂの予測レートｒＰＢが伝送経路Ａの予測レートｒＰＡより大きく（ｒＰＢ＞ｒＰＡ）、符号量Ｍが境界符号量Ｍth以下である場合（Ｍ≦Ｍth）、伝送経路Ａを選択する。つまり、図示する例では、境界符号量Ｍthとなる時間Ｔthまでは、伝送経路Ａを介した伝送完了が早いと予測され、時間Ｔth以降は、伝送経路Ｂを介した伝送完了が早いと予測される。
【００５９】
なお、境界符号量Ｍthには、伝送コストの要素を入れることもできる。例えば、伝送経路Ａのビット単価ｃＡが、伝送経路Ｂのビット単価ｃＢよりも大きい場合（ｃＡ＞ｃＢ）、境界符号量Ｍthに係数（＝ｃＢ／ｃＡ）を乗算することにより、遅延および伝送コストを考慮して伝送経路を選択することができる。
【００６０】
このように、ネットワークカメラシステム１１では、伝送が完了するのが早いと予測される伝送経路を選択することにより、より低遅延で動画像を送信することができる。
【００６１】
図７を参照して、参照レイヤ制御処理部３６が参照レイヤを制御する処理について説明する。
【００６２】
送信装置２２では、エンコード部３２が動画像の符号化に空間スケーラブルなエンコードを実施することができる。即ち、エンコード部３２は、撮像装置２１により撮像された動画像から、低解像度のベースレイヤＢＬおよび高解像度のエンハンスメントレイヤＥＬからなる階層構造を持つストリームを生成するエンコードを実施する。
【００６３】
例えば、エンコード部３２は、Ｐピクチャの符号化において、ベースレイヤＢＬについてはベースレイヤＢＬ自身のデコード画像のみを参照して行うが、エンハンスメントレイヤＥＬでは、エンハンスメントレイヤＥＬ自身のデコード画像とともに、ベースレイヤＢＬのデコード画像を拡大した画像であるインターレイヤＩＬを参照することができる。従って、このような依存関係により、時系列において、ベースレイヤＢＬのエンコードがエンハンスメントレイヤＥＬに先行することになる。
【００６４】
また、エンコード部３２により生成されるストリームは、ベースレイヤＢＬとエンハンスメントレイヤＥＬとを独立に送信することができる。このため、送信処理部３３は、ベースレイヤＢＬの送出を、エンハンスメントレイヤＥＬに先んじて行うことができる。
【００６５】
そして、伝送経路選択処理部３５は、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬの送出について、それぞれのストリームの符号量に基づいて、上述した境界符号量Ｍthとの比較を行うことにより、伝送経路を個別に選択することができる。例えば、解像度の大小関係から、符号量が低いベースレイヤＢＬは、低遅延な伝送経路（例えば、図４のスライス５２−３）が選択される可能性が高く、符号量が高いエンハンスメントレイヤＥＬよりアンダーフローが発生するリスクを低減することができる。一方、エンハンスメントレイヤＥＬは、遅延揺らぎが大きな伝送経路を通る可能性が高くなる。
【００６６】
従って、参照レイヤ制御処理部３６は、伝送経路選択処理部３５が算出した統計値に基づいて、遅延の絶対値が大きくなったとき、または、揺らぎが大きくなったときには、受信バッファ４４にアンダーフローが発生する可能性が高いと予測することができる。これに基づき、参照レイヤ制御処理部３６は、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。また、参照レイヤ制御処理部３６は、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、同様に、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行う。
【００６７】
この場合、エンコード部３２は、インターレイヤＩＬのみを参照して、エンハンスメントレイヤＥＬをエンコードする。これにより、デコード部４２は、不正画像を参照せずにデコードを行うことになるため、アンダーフローにより発生した不正画像を参照してデコードすることを断ち切ることができる。その結果、受信装置２３では、デコード部４２におけるデコード、および、表示処理部４３が表示装置２４に表示させる処理を行う際に、不正画像の伝播を抑止して、正常画像に復帰させることができる。
【００６８】
このように、ネットワークカメラシステム１１では、伝送経路で遅延が発生することによって受信バッファ４４でアンダーフローが発生しても、不正画像が伝播することを防止することができる。
【００６９】
図８は、送信装置２２が動画像を送信する送信処理について説明するフローチャートである。
【００７０】
例えば、撮像装置２１により撮像された動画像が送信装置２２に供給されると処理が開始される。ステップＳ１１において、エンコード部３２は、画像処理部３１において画像処理が施された動画像に対して空間スケーラブルなエンコードを実施する。これにより、エンコード部３２は、低解像度のベースレイヤＢＬおよび高解像度のエンハンスメントレイヤＥＬからなる階層構造を持つストリームを生成して、送信処理部３３に供給する。
【００７１】
ステップＳ１２において、エンコード部３２は、ステップＳ１１で符号化したベースレイヤＢＬおよびエンハンスメントレイヤＥＬの符号量を、伝送制御部３４の伝送経路選択処理部３５に通知する。
【００７２】
ステップＳ１３において、伝送経路選択処理部３５は、ベースレイヤＢＬおよびエンハンスメントレイヤＥＬの符号量と、境界符号量Ｍth（図６参照）との比較を行い、その比較結果に基づいて、伝送が完了するのが早いと予測される伝送経路を選択する。そして、伝送経路選択処理部３５は、その選択した伝送経路で送信するように送信処理部３３に対する制御を行う。
【００７３】
ステップＳ１４において、送信処理部３３は、ステップＳ１１でエンコード部３２から供給されたベースレイヤＢＬおよびエンハンスメントレイヤＥＬを、ステップＳ１３で伝送経路選択処理部３５により選択された伝送経路で送信する。
【００７４】
ステップＳ１５において、参照レイヤ制御処理部３６は、受信バッファ４４にアンダーフローが発生する可能性が高いと予測されるか、または、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けたかを判定する。
【００７５】
ステップＳ１５において、受信バッファ４４にアンダーフローが発生する可能性が高いと予測されない場合、および、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けていないと判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００７６】
一方、ステップＳ１５において、受信バッファ４４にアンダーフローが発生する可能性が高いと予測された場合、または、受信装置２３側から受信バッファ４４にアンダーフローが発生した旨のフィードバックを受けた場合、処理はステップＳ１６に進む。
【００７７】
ステップＳ１６において、参照レイヤ制御処理部３６は、参照レイヤをインターレイヤＩＬに限定するようにエンコード部３２に対する制御を行った後、処理はステップＳ１１に戻る。この場合、次のステップＳ１１でのみ、エンコード部３２は、インターレイヤＩＬのみを参照して、エンハンスメントレイヤＥＬをエンコードする。
【００７８】
その後、撮像装置２１により撮像された動画像の供給が停止されるまで、以下、同様の処理が繰り返される。
【００７９】
以上のように、ネットワークカメラシステム１１では、送信装置２２において、伝送制御部３４が伝送遅延の統計量に基づいて、伝送経路を適応的に選択することができる。これにより、伝送遅延を低く抑えることができる結果、受信装置２３において受信バッファ４４にアンダーフローが発生するリスクを低下させることができる。
【００８０】
また、ネットワークカメラシステム１１では、送信装置２２において、エンコード部３２が空間スケーラブルなエンコードを実施する。そして、ネットワークカメラシステム１１では、例えば、上位レイヤの符号の伝送経路の遅延揺らぎに応じて、上位レイヤの参照レイヤを適応的に選択することによって、受信バッファ４４にアンダーフローが発生したときでも、不正画像が伝播することを防止することができ、表示装置２４に表示される画像の品質の低下を抑制することができる。
【００８１】
このように、ネットワークカメラシステム１１では、受信バッファ４４にアンダーフローが発生するリスクを低下させるとともに、不正な画像の伝播を防止することができるので、デコード部４２がデコードを開始するタイミングを早めることができる。従って、ネットワークカメラシステム１１は、撮像装置２１において撮像された動画像が、より低遅延で表示装置２４において再生されるように、ネットワーク２５を介して動画像を送信することができる。
【００８２】
その結果、ネットワークカメラシステム１１は、例えば、テレビ通話や監視カメラなどのようにネットワーク２５を通じて受信した遠隔地の画像に反応または応答が必要な用途の利便性を向上させることができる。
【００８３】
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【００８４】
また、上述した一連の処理（送信方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【００８５】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【００８６】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００８７】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００８８】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００８９】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９０】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００９１】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
動画像に対して、空間スケーラブルなエンコードを実施するエンコード部と、
前記エンコード部によりエンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行う送信処理部と、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように前記エンコード部に対する制御を行う参照レイヤ制御処理部と
を備える送信装置。
（２）
前記エンコード部によりエンコードされたレイヤごとのピクチャの符号量に応じて、伝送が完了するのが早いと予測される伝送経路を選択し、その選択した伝送経路で送信を行うように前記送信処理部に対する制御を行う伝送経路選択処理部
をさらに備える上記（１）に記載の送信装置。
（３）
前記伝送経路選択処理部は、前記ピクチャの符号量と、前記送信処理部における伝送開始までの遅延量の統計値、および、前記送信処理部が伝送開始した後のレートの統計量を用いて求められる境界符号量との比較に基づいて、前記伝送経路を選択する
上記（２）に記載の送信装置。
（４）
前記参照レイヤ制御処理部は、前記遅延量の統計値、および、前記レートの統計量に基づいて、前記受信バッファにアンダーフローが発生する可能性が高いか否かを予測する
上記（３）に記載の送信装置。
（５）
前記ネットワークは、そのネットワーク全体を仮想的に分割し、各機能を付加された複数の仮想ネットワークにより構成される
上記（１）から（４）までのいずれかに記載の送信装置。
（６）
動画像を送信する送信装置が、
前記動画像に対して、空間スケーラブルなエンコードを実施することと、
エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
を含む送信方法。
（７）
動画像を送信する送信装置のコンピュータに、
前記動画像に対して、空間スケーラブルなエンコードを実施することと、
エンコードされたレイヤごとのピクチャを、ネットワークを介して送信する処理を行うことと、
受信バッファにアンダーフローが発生する可能性が高いと予測されるか、または、前記受信バッファにアンダーフローが発生した旨のフィードバックを受けた場合、上位レイヤをエンコードする際に参照する参照レイヤを下位レイヤから生成した中間レイヤに限定するように制御を行うことと
を含む処理を実行させるためのプログラム。
【００９２】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【００９３】
１１  ネットワークカメラシステム，  ２１  撮像装置，  ２２  送信装置，  ２３  受信装置，  ２４  表示装置，  ２５  ネットワーク，  ３１  画像処理部，  ３２  エンコード部，  ３３  送信処理部，  ３４  伝送制御部，  ３５  伝送経路選択処理部，  ３６  参照レイヤ制御処理部，  ４１  受信処理部，  ４２  デコード部，  ４３  表示処理部，  ４４  受信バッファ，  ５１  スライス振り分け処理部，  ５２−１乃至５２−３  スライス
【図１】
2019073802.tif 000006
【図２】
2019073802.tif 000007
【図３】
2019073802.tif 000008
【図４】
2019073802.tif 000009
【図５】
2019073802.tif 000010
【図６】
2019073802.tif 000011
【図７】
2019073802.tif 000012
【図８】
2019073802.tif 000013
【図９】
2019073802.tif 000014
【国際調査報告】
2019073802.tif 000015
2019073802.tif 000016
2019073802.tif 000017
2019073802.tif 000018
2019073802.tif 000019
2019073802.tif 000020