(57)【要約】      （修正有）【課題】間引き後ストリームのビットレートが、端末装置の変動するＣＰＵ処理負荷の状態に適していない。【解決手段】受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引き手段と、送信された間引き後階層符号化信号が復号化装置で復号化されている際の復号化装置の負荷量の情報にもとづいて、負荷量が所定範囲を超える場合には、間引き率を所定段階引き上げ、負荷量が所定範囲に及ばない場合には、間引き率を所定段階引き下げ、負荷量が所定範囲内にある場合には、間引き率を維持する更新を行う更新手段とを備える。【選択図】図１
2017228895.tif 000002
【特許請求の範囲】
【請求項１】
受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引き手段と、
送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う更新手段と
を備えることを特徴とする階層符号化信号間引き装置。
【請求項２】
階層符号化信号を復号化している際の自装置の負荷量を測定する測定手段と、
前記負荷量の情報を生成し、階層符号化信号間引き装置に送信する生成手段と
を備えることを特徴とする復号化装置。
【請求項３】
前記間引き率は、階層符号化信号についての解像度、フレームレート、および画質の組合せで決定される
ことを特徴とする請求項１に記載の階層符号化信号間引き装置。
【請求項４】
受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信し、
送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う
ことを特徴とする階層符号化信号間引き装置の制御方法。
【請求項５】
階層符号化信号を復号化している際の復号化装置の負荷量を測定し、
前記負荷量の情報を生成し、階層符号化信号間引き装置に送信する
ことを特徴とする復号化装置の制御方法。
【請求項６】
前記間引き率は、階層符号化信号についての解像度、フレームレート、および画質の組合せで決定される
ことを特徴とする請求項４に記載の階層符号化信号間引き装置の制御方法。
【請求項７】
受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引きステップと、
送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う更新ステップと
を備えることを特徴とする階層符号化信号間引き装置のプログラム。
【請求項８】
階層符号化信号を復号化している際の復号化装置の負荷量を測定する測定ステップと、
前記負荷量の情報を生成し、階層符号化信号間引き装置に送信する生成ステップと
を備えることを特徴とする復号化装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層符号化信号間引き装置、制御方法およびプログラムに関する。
【背景技術】
【０００２】
映像の階層符号化データを間引く技術が非特許文献１に記載されている。すなわち、エンコーダが解像度、フレームレート、品質（以降、画質）の異なる動画像を符号化し、各階層の符号化データを多重化してストリームを生成する。エクストラクタがストリームからあらかじめエンコーダの用途や性能、処理能力にもとづいて定められた内容の間引きを行う。エンコーダが間引き後のストリームを逆多重し、階層符号化データを復号化して動画像を出力する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】木本  崇博、「Ｈ．２６４／スケーラブルビデオ符号（ＳＶＣ）」、映像情報メディア学会誌、Ｖｏｌ６１、Ｎｏ４、ｐｐ．４２２−４２５、２００７
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１の技術に係る階層映像符号化方式では、一般的に、間引き後のストリームの伝送ビットレートが高い程、映像の品質が高くなり、エンコーダを含む端末装置でのＣＰＵ（Central Processing Unit）処理負荷が大きくなる。
【０００５】
非特許文献１の技術において、エクストラクタによる間引きの内容や間引き後ストリームの伝送ビットレートはあらかじめエンコーダを含む端末装置の用途や性能、処理能力にもとづいて定められる。そのため、エンコーダを含む端末装置が、用途や処理負荷がある程度一定であるような専用装置であれば、端末装置は正常に動作する。
【０００６】
ところが、エンコーダを含む端末装置が、例えばスマートフォンやＰＣ（Personal Computer）のような、様々なアプリケーションプログラムが並行して動作する端末装置である場合がある。その場合、端末装置において、復号化処理や、間引き内容決定の際に考慮されたアプリケーション処理などの他に、間引き内容決定の際に考慮さえていないアプリケーション処理も行われて、ＣＰＵ処理が過負荷になることがある。ＣＰＵ処理が過負荷になると、復号化が行われず、画面の映像が固まったり、ブラックアウトしたりする。
【０００７】
ＣＰＵ処理が過負荷にならないようにするために、あらかじめ間引き内容や間引き後ストリームの伝送ビットレートを最低限の映像品質が担保される程度に定めれば、端末装置において、間引き内容決定の際に考慮されたアプリケーション処理が行われないときに、ＣＰＵ処理に相当の余裕が出ることがある。しかしながら、そのとき、ＣＰＵには、より高い伝送ビットレートのストリームを復号化する処理を行う余裕があっても、端末装置に送られる間引き後ストリームの伝送ビットレートは最低限の映像品質が担保される程度である。
【０００８】
つまり、間引き後ストリームの伝送ビットレートが、端末装置の変動するＣＰＵ処理負荷の状態に適していない。
【０００９】
本発明の目的は、上記課題を解決する階層符号化信号間引き装置、制御方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明の階層符号化信号間引き装置は、受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引き手段と、送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う更新手段とを備えることを特徴とする。
【００１１】
本発明の階層符号化信号間引き装置の制御方法は、受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信し、送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行うことを特徴とする。
【００１２】
本発明の階層符号化信号間引き装置のプログラムは、受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する間引きステップと、送信された前記間引き後階層符号化信号が前記復号化装置で復号化されている際の前記復号化装置の負荷量の情報にもとづいて、前記負荷量が所定範囲を超える場合には、前記間引き率を所定段階引き上げ、前記負荷量が前記所定範囲に及ばない場合には、前記間引き率を所定段階引き下げ、前記負荷量が前記所定範囲内にある場合には、前記間引き率を維持する更新を行う更新ステップとを備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、エクストラクタなどの階層符号化信号間引き装置において、端末装置のＣＰＵ処理負荷の状態に適した伝送ビットレートの間引き後ストリームを生成することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態における階層符号化信号間引き装置の構成例を示すブロック図である。
【図２】第２の実施形態における映像通信システムの構成例を示す図である。
【図３】第２の実施形態における間引き制御データベースの構成例を示す表である。
【図４】第２の実施形態におけるＣＰＵ負荷レベル情報と間引きレベルの関係の例を示す図である。
【図５】第２の実施形態における映像復号化装置と階層符号化データ間引き装置の動作例を示すシーケンス図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態における階層符号化信号間引き装置、制御方法およびプログラムについて説明する。
【００１６】
まず、本発明の第１の実施形態について、図面を参照して説明する。
【００１７】
本実施形態では、端末装置のＣＰＵ処理負荷の状態に適したビットレートの間引き後ストリームを生成する、最小限の要素で構成された階層符号化信号間引き装置について説明する。
【００１８】
本実施形態における階層符号化信号間引き装置の構成例を図１に示す。階層符号化信号間引き装置１００は、間引き部１０１、更新部１０２を含む。
【００１９】
間引き部１０１は、受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する。
【００２０】
更新部１０２は、送信された間引き後階層符号化信号が復号化装置で復号化されている際の復号化装置の負荷量の情報にもとづいて、間引き率の更新を行う。
【００２１】
上記の構成例を踏まえ、本実施形態における階層符号化信号間引き装置１００の動作例について説明する。
【００２２】
ユーザ等の所定操作により起動された階層符号化信号間引き装置１００において、間引き部１０１が受信された階層符号化信号を所定の間引き率で間引きして間引き後階層符号化信号として復号化装置に送信する。更新部１０２が、送信された間引き後階層符号化信号が復号化装置で復号化されている際の復号化装置の負荷量の情報にもとづいて、間引き率の更新を行う。すなわち、更新部１０２は、負荷量が所定範囲を超える場合には、間引き率を所定段階引き上げ、負荷量が所定範囲に及ばない場合には、間引き率を所定段階引き下げ、負荷量が所定範囲内にある場合には、間引き率を維持する。
【００２３】
このように、階層符号化信号間引き装置において、端末装置のＣＰＵ処理負荷の状態に適したビットレートの間引き後ストリームを生成することが可能となる。
【００２４】
次に、本発明の第２の実施形態について、図面を参照して説明する。
【００２５】
本実施形態では、端末装置のＣＰＵ処理負荷の状態に適した伝送ビットレートの間引き後ストリームを生成する階層符号化データ間引き装置を含む映像通信システムについて説明する。
【００２６】
本実施形態における映像通信システムの構成例を図２に示す。映像通信システムは、映像符号化装置１０、階層符号化データ間引き装置２０、映像復号化装置３０を含む。
【００２７】
映像符号化装置１０は、映像データを階層符号化して、階層符号化データを階層符号化データ間引き装置２０に送信する。
【００２８】
階層符号化データ間引き装置２０は、階層符号化データを間引きして間引き後階層符号化データを映像復号化装置３０に送信する。階層符号化データ間引き装置２０は、間引き率更新部２１、間引き部２２、間引き制御データベース２３を含む。
【００２９】
映像復号化装置３０は、間引き後階層符号化データを復号化して映像データを出力し、また、ＣＰＵ負荷レベル情報を階層符号化データ間引き装置２０に送信する。映像復号化装置３０は、負荷測定部３１、負荷情報生成部３２を含む。なお、映像復号化装置３０は、例えばスマートフォンやＰＣのような、様々なアプリケーションプログラムが並行して動作する端末装置であることがある。
【００３０】
間引き制御データベース２３のデータベースの構成例を図３に示す。
【００３１】
図３において、階層符号化データ（下層を包含する最上層）のビットレート等の所定の伝送ビットレートについて、間引きレベル値が１からｎ（自然数  ここでは６以上）まであり、間引きレベル値に対応して階層符号化データ間引き装置２０における間引き率が０％から８０％まで設定されている。なお、間引き率＝１−（間引き後伝送レート／間引き前伝送レート）と定義する。間引きレベル１では間引き率が０％と設定されており、その場合、間引き後階層符号化データの伝送ビットレートが階層符号化データの伝送ビットレートのままとなる。間引きレベル５では間引き率が４０％と設定されており、その場合、間引き後階層符号化データの伝送ビットレートが階層符号化データの伝送ビットレートの６０％となる。間引きレベルｎでは間引き率は８０％と設定されており、その場合、間引き後階層符号化データの伝送ビットレートは階層符号化データの伝送ビットレートの２０％となる。
【００３２】
つまり、間引きレベル値が大きくなるほど、間引き率が高くなり、結果として、間引き後階層符号化データの伝送ビットレートが階層符号化データの伝送ビットレートに対して低くなる。一般的に、間引き後階層符号化データの伝送ビットレートが高くなるほど、間引き後階層符号化データを復号化する映像復号化装置３０のＣＰＵ処理の負荷が大きくなる。
【００３３】
なお、階層符号化データの伝送ビットレートや間引き率は、階層符号化データについての解像度、フレームレート、および画質の組合せで決まる。それら解像度、フレームレート、画質を切り替えることによって間引きが行われる。解像度として、４ＣＩＦ（Common Intermediate Format）、ＣＩＦ、ＱＣＩＦ（Quarter Common Intermediate Format）など、また、フレームレートとして、３０ｆｐｓ（frame per second）、１５ｆｐｓ、７．５ｆｐｓなどがある。画質は、高品質、低品質などの段階で表される。
【００３４】
また、間引き率の範囲の決定要件としては、次のようなことが挙げられる。すなわち、間引き率が最大値であるとき最低限以上の映像品質が担保されること、間引き率が範囲の中央値付近であるとき正常なＣＰＵ処理が行われること、間引き率が最小値であるときＣＰＵ処理が過負荷とならないことなどである。
【００３５】
図３における間引き率などの値は例である。
【００３６】
映像復号化装置３０において生成されるＣＰＵ負荷レベル情報と間引き制御データベース２３における間引きレベルの関係の例を図４に示す。
【００３７】
図４において、ＣＰＵ負荷レベル情報は、映像復号化装置３０のＣＰＵ処理負荷の大きさ（レベル）を示す情報である。ＣＰＵ処理負荷は、一般的に、復号化処理やアプリケーション処理などによる映像復号化装置３０の処理負荷を表す。ＣＰＵ負荷レベルがＢ％以上となると、正常なＣＰＵ処理が行われず、復号化された映像データについて視聴可能なレベルの品質が担保されないリスクがある。ＣＰＵ負荷レベルがＡ％未満となると、ＣＰＵ処理に所定レベル以上の余裕がある。ＣＰＵ負荷レベルがＡ％以上Ｂ％未満の所定範囲となると、正常なＣＰＵ処理が行われる。階層符号化データ間引き装置２０は、ＣＰＵ負荷レベルが所定範囲以上であることを示す情報を受信すると間引きレベル値を１段階引き上げ、ＣＰＵ負荷レベルが所定範囲未満であることを示す情報を受信すると間引きレベル値を１段階引き下げ、ＣＰＵ負荷レベルが所定範囲内であることを示す情報を受信すると間引きレベル値を維持する。
【００３８】
なお、上記のＡ％やＢ％の値は、使用されるＣＰＵの種類により異なる。
【００３９】
上記の構成例などを踏まえ、本実施形態における映像通信システムの動作例について、図５を参照して説明する。図５に、映像復号化装置と階層符号化データ間引き装置の動作例を示すシーケンス図を示す。
【００４０】
ユーザ等の所定操作により起動された映像通信システムにおいて、階層符号化データ間引き装置２０が映像符号化装置１０より送信された階層符号化データを受信する。間引き部２２が受信された階層符号化データ（フレーム単位数等の所定長）を間引き制御データベース２３にて所定（デフォルト）の間引きレベル値に対応する間引き率で間引いて間引き後階層符号化データを生成し、映像復号化装置３０に送信する（Ｓ４０１）。
【００４１】
間引き後階層符号化データを受信した映像復号化装置３０は間引き後階層符号化データを復号化し、復号化された映像データを出力する。その際、負荷測定部３１がＣＰＵ処理負荷量（レベル）を測定する（Ｓ４０２）。ＣＰＵ負荷レベルがＢ％以上の場合には（Ｓ４０２でＢ％以上）、負荷情報生成部３２がＣＰＵ負荷レベルが所定範囲以上であることを示す情報の信号を生成する（Ｓ４０３）。また、ＣＰＵ負荷レベルがＡ％未満の場合には（Ｓ４０２でＡ％未満）、負荷情報生成部３２はＣＰＵ負荷レベルが所定範囲未満であることを示す情報の信号を生成する（Ｓ４０４）。ＣＰＵ負荷レベルがＡ％以上Ｂ％未満の場合には（Ｓ４０２でＡ％以上Ｂ％未満）、負荷情報生成部３２はＣＰＵ負荷レベルが所定範囲内であることを示す情報の信号を生成する（Ｓ４０５）。次に、映像復号化装置３０は生成されたＣＰＵ負荷レベル情報の信号を符号化データ間引き装置２０に送信する（Ｓ４０６）。
【００４２】
ＣＰＵ負荷レベル情報の信号を受信した符号化データ間引き装置２０において間引き率更新部２１がＣＰＵ負荷レベル情報を確認する（Ｓ４０７）。ＣＰＵ負荷レベル情報が所定範囲以上であることを示している場合には（Ｓ４０７で高負荷状態）、間引き率更新部２１は、間引きレベル値の更新として、その時点の間引きレベル値を１段階引き上げる（Ｓ４０８）。ＣＰＵ負荷レベル情報が所定範囲未満であることを示している場合には（Ｓ４０７で低負荷状態）、間引き率更新部２１は同様に、その時点の間引きレベル値を１段階引き下げる（Ｓ４０９）。ＣＰＵ負荷レベル情報が所定範囲内であることを示している場合には（Ｓ４０７で通常負荷状態）、間引き率更新部２１は同様に、その時点の間引きレベル値を維持する（Ｓ４１０）。次に、間引き部２２は映像符号化装置１０より受信した階層符号化データを間引き制御データベース２１にて更新された間引きレベル値に対応する間引き率で間引いて間引き後階層符号化データを生成し、映像復号化装置３０に送信する（Ｓ４１１）。間引き後階層符号化データを受信した映像復号化装置３０は、Ｓ４０２の処理を行う。
【００４３】
なお、ＣＰＵ処理負荷レベルに応じてそれぞれ間引きレベルの引上げや引下げの段階を２以上としてもよい。また、用途や性能、処理能力などの異なる複数の映像復号化装置３０を階層符号化間引き装置２０にカスケードに接続し、各映像復号化装置３０に対して最適な間引き範囲を設定するようにしてもよい。
【００４４】
以上のように、階層符号化データ間引き装置において、映像復号化装置のＣＰＵ負荷レベルがＢ％以上の場合には、間引き率を増加して、間引き後映像符号化データの伝送ビットレートを低下させることによって、ＣＰＵ負荷レベルがＡ％以上Ｂ％未満となるようにする。また、ＣＰＵ負荷レベルがＡ％未満の場合には、間引き率を減少して、間引き後映像符号化データの伝送ビットレートを上昇させることによって、ＣＰＵ負荷レベルがＡ％以上Ｂ％未満となるようにする。
【００４５】
このように、階層符号化信号間引き装置において、端末装置のＣＰＵ処理負荷の状態に適した伝送ビットレートの間引き後ストリームを生成することが可能となる。
【００４６】
なお、以上の実施形態において、係る動作処理を実行させるためのプログラムを、ＣＤ−ＲＯＭ、ＭＯなどのコンピュータ読取可能な記録媒体に格納して配布してもよい。該プログラムを階層符号化信号間引き装置にインストールすることにより、階層符号化信号間引き装置に該動作処理を実行させてもよい。ＣＤ−ＲＯＭはCompact Disk Read-Only Memoryの略称で、ＭＯはMagneto-Optical diskの略称である。
【産業上の利用可能性】
【００４７】
本発明は、階層符号化信号間引き装置、制御方法およびプログラムに利用可能である。
【符号の説明】
【００４８】
１０    映像符号化装置
２０    階層符号化データ間引き装置
２１    間引き率更新部
２２    間引き部
２３    間引き制御データベース
３０    映像復号化装置
３１    負荷測定部
３２    負荷情報生成部
１００    階層符号化信号間引き装置
１０１    間引き部
１０２    更新部
【図１】
2017228895.tif 000003
【図２】
2017228895.tif 000004
【図３】
2017228895.tif 000005
【図４】
2017228895.tif 000006
【図５】
2017228895.tif 000007