(57)【要約】【課題】単一のメディアの複数用途の要求品質を満たしつつ、メディアストリームのデータ量を最小化できるメディア符号化方法および装置を提供する。【解決手段】メディア符号化装置（１０）は、メディアデータを階層符号化により符号化する符号化部と、前記メディアデータの品質に対する複数の要求条件を入力する要求条件入力部と、前記メディアデータの符号化方法を決定する符号化方法決定部と、を有し、前記符号化方法決定部は、前記符号化部による前記階層符号化が扱う複数の階層に対する、前記要求条件入力部に入力された前記複数の要求条件の異なる割り当て方法について候補を生成し、それぞれの候補に対応する割り当て要求条件を満たすための符号化パラメータを算出し、前記符号化パラメータの中でメディアストリームのデータ量が最も少なくなる第一符号化パラメータを前記符号化部へ指示する。【選択図】  図１
2020150512.tif 000002
【特許請求の範囲】
【請求項１】
メディアデータを階層符号化により符号化する符号化部と、
前記メディアデータの品質に対する複数の要求条件を入力する要求条件入力部と、
前記メディアデータの符号化方法を決定する符号化方法決定部と、
を有し、
前記符号化方法決定部は、
前記符号化部による前記階層符号化が扱う複数の階層に対する、前記要求条件入力部に入力された前記複数の要求条件の異なる割り当て方法について候補を生成し、それぞれの候補に対応する割り当て要求条件を満たすための符号化パラメータを算出し、前記符号化パラメータの中でメディアストリームのデータ量が最も少なくなる第一符号化パラメータを前記符号化部へ指示する、
ことを特徴とするメディア符号化装置。
【請求項２】
請求項１に記載のメディア符号化装置であって、
前記符号化方法決定部は、前記複数の要求条件を基準となる基準要求条件と当該基準要求条件に対する差分条件とで表し、前記基準要求条件と前記差分条件とを前記階層符号化の基本階層と拡張階層とにそれぞれ割り当てることで複数の割当候補を生成する、
ことを特徴とするメディア符号化装置。
【請求項３】
請求項１または２に記載のメディア符号化装置であって、
前記階層符号化の階層数を前記要求条件数とし、前記各階層に対して前記要求条件を一つずつ割り当てたものを前記候補とすることを特徴とするメディア符号化装置。
【請求項４】
請求項１から３のいずれかに記載のメディア符号化装置であって、
前記複数の要求条件に共通する条件を基本階層に割り当て、前記複数の要求条件の各々を拡張階層に割り当てることを特徴とするメディア符号化装置。
【請求項５】
請求項１から４のいずれかに記載のメディア符号化装置であって、
前記複数の要求条件に含まれる第一の要求条件と第二の要求条件において、前記第一および第二の要求条件のすべての項目において第一の要求条件が第二の要求条件以上となる場合に、前記第一の要求条件と前記第二の要求条件とを同一の階層に割り当てることを特徴とするメディア符号化装置。
【請求項６】
請求項１から５のいずれかに記載のメディア符号化装置であって、
前記メディアが映像であって、
前記複数の要求条件の各々が、解像度、画質、フレームレート、映像内の必要領域、色数のいずれか一つ以上の項目からなることを特徴とするメディア符号化装置。
【請求項７】
請求項１から５のいずれかに記載のメディア符号化装置であって、
前記メディアが音声であって、
前記複数の要求条件の各々が、チャネル数、サンプリングレートおよび音質のいずれか一つ以上の項目からなることを特徴とするメディア符号化装置。
【請求項８】
請求項１から７のいずれかに記載のメディア符号化装置であって、
前記符号化方法決定部は、前記前記要求条件ごとに異なるメディアストリームを生成する独立符号化方法による第二符号化パラメータと、前記複数の要求条件をすべて満たす単一メディアストリームを生成する単一符号化方法による第三符号化パラメータと、をさらに算出し、前記第一符号化パラメータ、前記第二符号化パラメータおよび前記第三符号化パラメータの中で、前記メディアストリームのデータ量が最も少なくなる符号化パラメータを前記符号化部へ指示する、
ことを特徴とするメディア符号化装置。
【請求項９】
符号化部が前記メディアデータを階層符号化により符号化し、
要求条件入力部が前記メディアデータの品質に対する複数の要求条件を入力し、
符号化方法決定部が、
前記符号化部による前記階層符号化が扱う複数の階層に対する、前記要求条件入力部に入力された前記複数の要求条件の異なる割り当て方法について候補を生成し、
それぞれの割当候補に対応する割り当て要求条件を満たすための符号化パラメータを算出し、
前記符号化パラメータの中でメディアストリームのデータ量が最も少なくなる第一符号化パラメータを前記符号化部へ指示する、
ことを特徴とするメディア符号化方法。
【請求項１０】
請求項１から８のいずれかに記載のメディア符号化装置と、前記符号化部により符号化されたメディアデータを受信するメディア受信装置とが、ネットワークを介して接続され、
前記複数の要求条件の各々が、前記メディア受信装置における前記メディアデータの用途に対応することを特徴とするメディア配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はメディアデータを符号化して送信するデータ通信システムに係り、特に受信側でメディアデータを複数の用途に使用する場合のメディア符号化方法および装置に関する。
【背景技術】
【０００２】
画像、映像、音声等のメディアデータを符号化して送信し、受信側で復号したメディアデータを種々の用途に利用するメディア配信システムが提案されている。たとえば、特許文献１には、配信された符号化映像データを種々の用途（衝突回避防止、後方安全確認）で利用可能にする車載カメラシステムが開示されている。特に、用途に応じて映像のスペック（フレームレート、画像サイズ、モノクローム／フルカラー等）が異なる場合、それらの用途全てを満たす最高スペックで映像を符号化することで、受信側の用途に応じた映像表示が可能となる。
【０００３】
また、符号化技術の近年の代表例としては、スケーラブル符号化（階層符号化）が知られている。今日のネットワーク環境は、光ファイバ等の高速通信路や携帯端末等の比較的低速の無線通信路が混在している。階層符号化は、このようなネットワーク環境において、受信側の性能に応じた効率的な符号化を可能とする。このような階層符号化を用いた映像配信システムの一例が特許文献２に記載されている。特許文献２によれば、階層符号化を制御することで、画面全体の最低画質を一定に維持しつつユーザが所望する領域を高画質圧縮することができる。
【０００４】
また、特許文献３には、階層符号化データを蓄積し、画像データの用途に応じて所望レイヤ以下の階層符号化データを読み出す画像処理装置が開示されている。所望レイヤ以下のデータだけを転送すればよいので、データ転送量およびメモリバスの帯域使用量の抑制が期待できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２３９９９５号公報
【特許文献２】国際公開第WO2015/190078号公報
【特許文献３】特開２０１５−１７０９９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１に記載された車載カメラシステムでは、映像を複数の用途で使用する場合、すべての用途に使用可能な最高スペックの映像を送信する。しかしながら、多くの用途では最高スペックの画像を必要としない。最高スペックの映像が不要な用途であれば、ネットワーク帯域を無駄に圧迫するだけであり、パケットロス等による画質の低下、他のアプリケーションの品質低下等を招来する原因となりうる。
【０００７】
特許文献２および３に記載された階層符号化を利用したシステムでは、それぞれの端末あるいは用途に応じたデータ量のデータ転送が可能となる。しかしながら、階層符号化にはオーバーヘッドがあり、階層符号化を利用せずに符号化した同一ビットレートの映像に比べて、画質が低下することが知られている。したがって、画質を維持しようとすれば、階層数が増えるに従ってデータ量が増加してしまう場合がある。
【０００８】
本発明の目的は、単一のメディアを複数の用途で使用する際に、各用途の要求品質を満たしつつ、メディアストリームのデータ量を最小化できるメディア符号化方法および装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、メディア符号化装置は、メディアデータを階層符号化により符号化する符号化部と、前記メディアデータの品質に対する複数の要求条件を入力する要求条件入力部と、前記メディアデータの符号化方法を決定する符号化方法決定部と、を有し、前記符号化方法決定部は、前記符号化部による前記階層符号化が扱う複数の階層に対する、前記要求条件入力部に入力された前記複数の要求条件の異なる割り当て方法について候補を生成し、それぞれの候補に対応する割り当て要求条件を満たすための符号化パラメータを算出し、前記符号化パラメータの中でメディアストリームのデータ量が最も少なくなる第一符号化パラメータを前記符号化部へ指示する、ことを特徴とする。
本発明の他の態様によれば、メディア符号化方法は、符号化部が前記メディアデータを階層符号化により符号化し、要求条件入力部が前記メディアデータの品質に対する複数の要求条件を入力し、符号化方法決定部が、前記符号化部による前記階層符号化が扱う複数の階層に対する、前記要求条件入力部に入力された前記複数の要求条件の異なる割り当て方法について候補を生成し、それぞれの割当候補に対応する割り当て要求条件を満たすための符号化パラメータを算出し、前記符号化パラメータの中でメディアストリームのデータ量が最も少なくなる第一符号化パラメータを前記符号化部へ指示する、ことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、単一のメディアを複数の用途で使用する際に、各用途の要求品質を満たしつつ、メディアストリームのデータ量を最小化できる。
【図面の簡単な説明】
【００１１】
【図１】図１は本発明の第１実施形態によるメディア符号化装置の概略的構成を示すブロック図である。
【図２】図２は図１に示すメディア符号化装置の全体的動作を示すフローチャートである。
【図３】図３は第１実施形態による符号化方法決定動作を示すフローチャートである。
【図４】図４は階層符号化について説明するための模式図である。
【図５】図５は第１実施形態における要求条件の一般的フォーマットを示す図である。
【図６】図６は第１実施形態における要求条件の割当候補の生成プロセスを概略的に示す模式図である。
【図７】図７は第１実施形態における要求条件の表示法の一例を説明するための模式図である。
【図８】図８は第１実施形態における要求条件の割当候補の生成プロセスの一例を示す模式図である。
【図９】図９は第１実施形態における要求条件の割当候補の第１例を示す図である。
【図１０】図１０は第１実施形態における要求条件の割当候補の第２例を示す図である。
【図１１】図１１は本発明の第２実施施形態によるメディア符号化装置における符号化方法決定動作を示すフローチャートである。
【図１２】図１２は第２実施形態における符号化方法決定動作の独立符号化方法を説明するための要求条件の一例を示す図である。
【図１３】図１３は第２実施形態における符号化方法決定動作の単一符号化方法を説明するための要求条件の一例を示す図である。
【図１４】図１４は第２実施形態における符号化方法決定動作の階層符号化方法を説明するための割当候補の一例を示す図である。
【図１５】図１５は第１および第２実施形態における符号化方法決定動作を説明するための要求条件の第１例を示す図である。
【図１６】図１６は第１および第２実施形態における符号化方法決定動作を説明するための要求条件の第２例を示す図である。
【図１７】図１７は本発明の第３実施形態によるメディア符号化装置の概略的構成を示すブロック図である。
【図１８】図１８は上記各実施形態によるメディア符号化装置を含む送信装置とメディア復号装置を含む受信装置とがネットワーク接続された通信システムの概略的構成図である。
【発明を実施するための形態】
【００１２】
＜実施形態の概要＞
本発明の実施形態によれば、メディアデータの用途でそれぞれ要求される要求条件を階層符号化方式の基本階層および拡張階層に割り当てた割当候補を生成する。それぞれの割当候補からメディアストリームのデータ量を算出し、より少ないデータ量となる要求条件の割当を決定する。この決定割当によるデータ量が他の符号化方法によるデータ量より小さければ、当該決定割当に基づいて符号化パラメータを決定する。このようにメディアデータの符号化パラメータを決定することで、単一のメディアを複数の用途で使用する際に、各用途の要求品質を満たしつつ、メディアストリームのデータ量を最小化できる。以下、本発明の実施形態について図面を参照しながら詳細に説明する。
【００１３】
１．第１実施形態
１．１）構成
図１に例示するように、本発明の第１実施形態によるメディア符号化装置１０は、メディアデータ入力部１０１と、階層符号化に対応した符号化部１０２と、出力部１０３と、符号化パラメータセット生成部１０４と、要求条件入力部１０５から構成される。符号化パラメータセット生成部１０４は、符号化方法決定部１０６、割当候補生成部１０７および符号化パラメータ算出部１０８からなる。
【００１４】
メディアデータ入力部１０１は、例えばカメラやマイク等の入力装置やストレージ装置などに接続され、映像や音声といったメディアデータを入力する。
【００１５】
符号化部１０２は、メディアデータ入力部１０１により入力されたメディアデータを、符号化パラメータセット生成部１０４で生成されたパラメータを用いて符号化する。例えばメディアデータが映像の場合には、Ｈ．２６４、Ｈ．２６５、モーションＪＰＥＧといった映像符号化方式を用いて符号化する。メディアデータが音声の場合には、Ｇ．７１１、ＡＭＲ（Adaptive Multi-Rate）、ＡＡＣ（Advanced Audio Coding）といった音声符号化方式を用いて符号化する。
【００１６】
出力部１０３は符号化されたメディアデータを出力するためのインタフェースである。例えば、出力部１０３は、有線ＬＡＮ(Local Area Network)、無線ＬＡＮ、ＬＴＥ(Long Term Evolution)等のセルラネットワークの通信インタフェースであってもよい。あるいは、出力部１０３はメディア符号化装置１０のスロットあるいはＵＳＢ(Universal Serial Bus)等のインタフェースであってもよい。すなわち、スロットに記憶装置を装着してもよいし、あるいはＵＳＢ等のインタフェースに外部記憶装置を着脱可能に接続してもよい。
【００１７】
要求条件入力部１０５は、出力部１０３から出力されるメディアストリームに対する複数の要求条件の入力を受け付ける。入力方法は、メディア符号化装置１０が持つタッチパネル、メディア符号化装置１０に接続されたディスプレイ、キーボード、マウス等の入出力デバイス（図示せず）を用いる方法や、出力部１０３が通信インタフェースであれば、受信側からメッセージを受け取る方法などが考えられる。
【００１８】
要求条件は、メディアデータが映像の場合には、解像度、ビットレート、PSNR（Peak Signal-to-Noise Ratio）、SSIM（Structural Similarity）等の画質、フレームレート、映像データ内の必要な領域、色数（カラーまたはモノクロ）などの情報の組み合わせである。メディアデータが音声の場合には、チャネル数（モノラル、ステレオ、または、5.1chなど）、サンプリングレート、ビットレート、PESQ（Perceptual Evaluation of Speech Quality）、PEAQ（Perceptual Evaluation of Audio Quality）などの情報の組み合わせである。これらの情報のサブセットであってもよい。PSNRやSSIMは符号化前後の画像を比較することで符号化による画質劣化量の評価に用いられる指標であり、値が大きいほど高画質となる（劣化が少ない）。PESQやPEAQは音声符号化による品質劣化量の評価に用いられる指標であり、PSNRやSSIMと同様に値が大きいほど高品質であることを意味する。
【００１９】
符号化パラメータセット生成部１０４は、要求条件入力部１０５から入力された要求条件を満たし、メディアストリームのデータ量（ここではビットレート）が少なくなる符号化方法を決定し、符号化部１０２に指示する。ここで符号化方法とは、メディアデータが映像の場合には、解像度、ビットレート、量子化パラメータ、フレームレートなどからなる符号化パラメータセットである。メディアデータが音声の場合には、チャネル数、サンプリングレート、ビットレートなどからなる符号化パラメータセットである。符号化方法決定部１０６が、後述するように、割当候補生成部１０７および符号化パラメータ算出部１０８を用いて符号化方法を決定する。符号化パラメータセット生成部１０４の符号化パラメータセット生成機能は、メディア符号化装置１０のプロセッサ（ＣＰＵ（Central Processing Unit）等）上で、図示しないメモリに格納されたプログラムを実行することにより実現することができる。以下、本実施形態による符号化パラメータセット生成動作について図２〜図１０を参照しながら詳細に説明する。
【００２０】
１．２）全体的動作
図２において、要求条件入力部１０５は、メディアデータの複数の用途がそれぞれ要求する要求条件を読み込む（動作Ｓ２０１）。次に、符号化方法決定部１０６は、後述する手順により、複数の要求条件を満たし、かつデータ量が最少となるように符号化方法（符号化パラメータセット）を決定し、符号化部１０２へ指示する（動作Ｓ２０２）。
【００２１】
メディアデータ入力部１０１からメディアデータを読み込むと（動作２０３）、符号化部１０２は、指示された符号化パラメータセットを用いてメディアデータを符号化し（動作Ｓ２０４）、出力部１０３は符号化メディアデータを出力する（動作Ｓ２０５）。メディア符号化装置１０の動作が停止される（動作Ｓ２０７のＹＥＳ）まで、上記動作Ｓ２０１〜Ｓ２０６が繰り返される（動作Ｓ２０６のＮＯ）。なお、符号化方法の決定動作Ｓ２０２は、要求条件が変更された時だけ実行され、それ以外では直前と同じ符号化方法を用いることができる。
【００２２】
１．３）符号化方法の決定
次に、符号化パラメータセット生成部１０４による符号化方法決定動作（Ｓ２０２）について、図３〜図１０を参照しながら、より詳細に説明する。
【００２３】
図３において、割当候補生成部１０７は、要求条件入力部１０５から複数の要求条件を入力すると、それぞれの要求条件を階層符号化の基本階層および拡張階層へ割り当てる割当候補を生成する（動作Ｓ３０１）。割当候補の生成については後述する。
【００２４】
符号化パラメータ算出部１０８は各割当候補による要求条件を満たす符号化パラメータを算出する（動作Ｓ３０２）。続いて、符号化方法決定部１０６は、算出された符号化パラメータを用いて符号化された場合のメディアストリームのビットレートを算出し、その中で最も小さいビットレートを示す符号化パラメータセットを決定する（動作Ｓ３０３）。符号化方法決定部１０６は、決定された最小データ量となる符号化パラメータセットを符号化部１０２へ指示する（動作Ｓ３０４）。
【００２５】
各割当候補に従った要件条件を満たすビットレートは次のように求めることができる。たとえば、これまでに入力されたデータに対して符号化パラメータを変更しながら実際に符号化することで求めることができる。あるいは、予め符号化パラメータに対するビットレートをデータベースとして用意しておき、算出された符号化パラメータを用いてデータベースを検索することで決定することもできる。
【００２６】
１．４）割当候補の生成
図４に模式的に示すように、階層符号化では、入力されたメディアデータを基本階層０と拡張階層１〜Ｌ−１とに符号化する。拡張階層は基本階層の品質を向上させるための差分データであり、使用する拡張階層数を増やすほどデータ量（ビットレート）が増大するがメディア品質は向上する。映像の階層符号化の場合、Ｈ．２６４の拡張規格であるＨ．２６４／ＳＶＣ、Ｈ．２６５（ＨＥＶＣ）の拡張規格であるＳＨＶＣ（Scalable HEVC）などが階層映像符号化規格として定められている。音声の場合、ＡＡＣの拡張規格であるＡＡＣ−ＳＳＲ（Scalable Sampling Rate）などが階層音声符号化規格として定められている。このような階層符号化の基本階層および拡張階層に複数の要求条件を割り当てる方法を次に説明する。
【００２７】
図５に一般的に示すように、複数の要求条件ＲＱ１〜ＲＱｍ（ｍは２以上の整数）の各々は、それぞれのメディア用途に応じた品質を示すｎ個の項目（属性）により定義されるものとする。以下、適宜、ｉ，ｊを１以上ｍ以下の異なる任意の整数とし、異なる任意の要求条件をＲＱｉ、ＲＱｊと表記するものとする。要求条件の項目は、映像であれば、解像度、フレームレート、映像品質等であり、音声であれば、チャネル数、サンプリングレート、音声品質等である。
【００２８】
一例として、要求条件ＲＱ１が画質よりもスムーズな動き等の時間的な分解能が要求される用途を示し、要求条件ＲＱ２が動きのスムーズさよりも高い画質を要求する用途を示すものとする。このような要求条件の場合、項目１が「解像度」であれば、たとえば要求条件ＲＱ１のＡ１１が６４０×３６０のサイズ、要求条件ＲＱ２のＡ２１が１９２０×１０８０のサイズ、項目２が「フレームレート」であれば、要求条件ＲＱ１のＡ１２が３０［ｆｐｓ(frame per second)］、要求条件ＲＱ２のＡ２２が１５［ｆｐｓ］という数値で限定されうる。
【００２９】
この例から分かるように、データ量の観点から、ある項目Ａについて、一方の要求条件ＲＱｉの値Ａｉと他方の要求条件ＲＧｊの値Ａｊとは、互いに等しいか、あるいは包含関係となる。上記例では、項目１＝「解像度」について、要求条件ＲＱ１の画像サイズ（６４０×３６０）は、要求条件ＲＱ２の画像サイズ（１９２０×１０８０）に含まれる。言い換えれば、この場合、両方の要求条件で項目１を満たすためには、大きい方のサイズ（１９２０×１０８０）でメディアデータを符号化すればよい。しかしながら、すべての項目で同一の包含関係になることは少なく、多くは包含関係が逆転する項目があり、それが要求条件の差分となる。
【００３０】
本実施形態によれば、このような要求条件の差分に着目し、複数の要求条件のうちのどの部分を基本階層あるいは拡張階層へ割り当てるかによって複数の割当候補を生成する。
【００３１】
図６に示すように、要求条件ＲＱ１〜ＲＱｍを以下に説明するように階層符号化の基本階層０および拡張階層１〜Ｌ−１へ割り当てる。まず、説明を簡単にするために、図７に例示する表記を採用する。
【００３２】
図７に例示するように、２つの要求条件ＲＱ１（黒丸）およびＲＱ２（白三角）が項目ごとに設定されているものとする。たとえば、要求条件ＲＱ１では項目１＝Ａ１１、項目２＝Ａ１２、要求条件ＲＱ２では項目１＝Ａ２１、項目２＝Ａ２２であり、項目１ではＡ１１＞Ａ２１、項目２ではＡ２２＞Ａ１２というように項目ごとに条件の高低があるものとする。図７では、各項目において、低い条件に対する高い条件の相対的な関係を示す。この場合、要求条件ＲＱ１およびＲＱ２の両方に含まれる条件は項目１＝Ａ２１、項目２＝Ａ１２・・・項目ｎ＝Ａ２ｎとなり、以下、これを共通条件ＲＱ０＝（Ａ２１、Ａ１２、・・・Ａ２ｎ）と呼ぶ。
【００３３】
共通条件ＲＱ０を基準要求条件とすれば、項目１に関しては要求条件ＲＱ２が基準となるので、要求条件ＲＱ１＝Ａ１１が差分条件となり、項目２に関しては要求条件ＲＱ２＝Ａ２２が差分条件となり、以下同様である。また、要求条件ＲＱ１を基準要求条件とすれば、要求条件ＲＱ２の項目１は要求条件ＲＱ１に含まれるので、項目２に関して要求条件ＲＱ２＝Ａ２２が差分条件となり、以下同様に、要求条件ＲＱ１に含まれない要求条件ＲＱ２の項目の値が差分条件となる。逆に、要求条件ＲＱ２を基準とすれば、項目１に関して要求条件ＲＱ１＝Ａ１１が差分条件となり、要求条件ＲＱ１の項目２は要求条件ＲＱ２に含まれるので、項目３に関して要求条件ＲＱ１＝Ａ１３が差分条件となり、以下同様に、要求条件ＲＱ２に含まれない要求条件ＲＱ１の項目の値が差分条件となる。そこで、図７に示すように、以上述べた要求条件ＲＱ１の差分条件をＤ１１、要求条件ＲＱ２の差分条件をＤ２１というように表記するものとする。したがって、２つの要求条件ＲＱ１およびＲＱ２は、図７に示す共通要件ＲＱ０、差分条件Ｄ１１およびＤ２１により定義可能である。
【００３４】
なお、図７では２つの要求条件を示したが、任意のｎ個の項目で定義されたｍ個の要求条件であっても同様に共通条件ＲＱ０とそれぞれの要求条件の差分条件により定義可能である。また、一つの要求条件を基準とし、その他の要求条件の差分も同様に定義可能である。
【００３５】
以下、説明を簡単にするために、図８に例示するように、要求条件ＲＱ１およびＲＱ２を階層符号化の基本階層０および拡張階層１に割り当てる場合の割当候補について、図７に示す表記を用いて説明する。
【００３６】
＜割当例＞
図９において、要求条件ＲＱ１およびＲＱ２をそれぞれ基準とした場合の割当候補Ｃ１、Ｃ２を例示する。割当候補Ｃ１では、基本階層０に要求条件ＲＱ１が、拡張階層１に要求条件ＲＱ２の差分条件Ｄ２１が、それぞれ割り当てられる。上述したように、要求条件ＲＱ１を基準とすれば、項目２をＡ２２に変更することで要求条件ＲＱ２を満たすことができるので、その差分条件Ｄ２１を拡張階層１として追加する。同様に、割当候補Ｃ２では、基本階層０に要求条件ＲＱ２を、拡張階層１に要求条件ＲＱ１の差分条件Ｄ１１を、それぞれ割り当てることで、要求条件ＲＱ２およびＲＱ１の両方を満たすことができる。
【００３７】
図１０において、共通条件ＲＱ０を基準とした場合の割当候補Ｃ３を例示する。この場合、要求条件ＲＱ１およびＲＱ２の差分条件Ｄ１１およびＤ２１は、それぞれ複数の項目のなかの項目グループＧ１およびＧ２に関する条件であるものとする。図９の割当候補Ｃ１およびＣ２から最小のビットレートを求めてもよいが、図１０の割当候補Ｃ３を加えた３つの割当候補から最小ビットレートを求めることもできる。言うまでもなく、このような割当候補を生成方法は、任意のｎ個の項目で定義されたｍ個の要求条件であっても同様に適用可能である。
【００３８】
１．５）効果
上述したように、本発明の第１実施形態によれば、複数の要求条件を基準となる要求条件と当該基準要求条件に対する差分条件とで表し、基準要求条件と差分条件とを階層符号化の基本階層と拡張階層とにそれぞれ割り当てた複数の割当候補を生成する。複数の割当候補の各々の要求条件からメディアストリームのビットレートを算出し、より小さいビットレートを示す割当候補の符号化パラメータセットを決定する。こうして決定された符号化パラメータセットを用いてメディア符号化を実行する。これにより、複数の用途で使用する際に、各用途の要求品質を満たしつつ、メディアストリームのデータ量を最小化することが可能となる。
【００３９】
２．第２実施形態
本発明の第２実施形態によるメディア符号化装置は、図１に示す装置構成と基本的に同様であるが、符号化方法の決定動作（図２の動作Ｓ２０２）が異なる。したがって、装置構成および全体動作としては図１および図２を参照し、以下、主として、第２実施形態による符号化方法の決定動作について説明する。
【００４０】
２．１）符号化方法の決定
第２実施形態による符号化方法の決定では、階層符号化方法だけでなく、以下に述べる独立符号化方法および単一符号化方法をも考慮して、最小ビットレートの符号化パラメータセットを決定する。
【００４１】
図１１において、要求条件入力部１０５から複数の要求条件を入力すると、符号化方法決定部１０６は、以下のように符号化パラメータを算出する（動作Ｓ４０１〜Ｓ４０３）。まず、独立符号化方法による符号化パラメータを算出する（動作Ｓ４０１）。独立符号化方法とは、それぞれの要求条件を満たす別々のメディアストリームを生成する場合の符号化をいう。次に、単一符号化方法による符号化パラメータを算出する（動作Ｓ４０２）。単一符号化方法とは、すべての要求条件を満たす単一のメディアストリームを生成する場合の符号化をいう。続いて、第１実施形態で説明した階層符号化方法による符号化パラメータを算出する（動作Ｓ４０３；図３の動作Ｓ３０１~Ｓ３０２）。独立符号化方法、単一符号化方法および階層符号化方法の詳細については後述する。
【００４２】
こうして、独立符号化、単一符号化および階層符号化によるそれぞれの符号化パラメータが算出されると、符号化方法決定部１０６は、それぞれの符号化方法において、符号化パラメータが適用された場合のメディアストリームのビットレートを算出し、その中で最も低いビットレートを示す符号化方法を決定する（動作Ｓ４０４）。このビットレートの算出は、上述したように、これまでに入力されたデータに対して符号化パラメータを変更しながら実際に符号化する方法、あるいは、予め符号化パラメータに対するビットレートをデータベースとして用意する方法を用いればよい。以下、映像データの符号化を一例として、第２実施形態の具体例を図１２〜図１５を参照しながら説明する。
【００４３】
＜独立符号化方法＞
図１２に例示するように、３つの項目（解像度、フレームレート、ＰＳＮＲ）からなる要求条件ＲＱ１、ＲＱ２が入力された場合を仮定する。要求条件ＲＱ１は、解像度が640×360、フレームレートが30 fps、画質はPSNR 36 dB以上であるとする。要求条件ＲＱ２は、解像度が1920×1080、フレームレートが10、画質はPSNR 40 dB以上であるとする。
【００４４】
独立符号化方法では、要求条件ＲＱ１を満たすメディアストリームの符号化パラメータと、要求条件ＲＱ２を満たすメディアストリームの符号化パラメータとが別々に算出され、それぞれの符号化パラメータから求められたビットレートの合計が当該符号化方法でのビットレートとなる。例えば要求条件ＲＱ１を満たす映像ストリームのビットレートが0.5 Mbpsで、要求条件ＲＱ２を満たす映像のビットレートが8 Mbpsの場合、独立符号化の映像ビットレートは8.5 Mbpsになる。
【００４５】
＜単一符号化方法＞
図１３に例示するように、上述した２つの要求条件ＲＱ１、ＲＱ２が入力された場合を仮定する。単一符号化方法では、まず、要求条件ＲＱ１、ＲＱ２の両方を満たす符号化パラメータを求める。解像度、フレームレート、PSNRに対して、要求条件ＲＱ１、ＲＱ２のうちの高い方を選択すると、図１３に示すように、解像度が1920×1080、フレームレートが30 fps、画質がPSNR 40 dB以上となる。次に、この要求条件を満たす映像ビットレートを求める。解像度、フレームレート、PSNRともに高い要求条件となっているため、ビットレートを高くする必要があり、すべての条件を満たす映像ストリームのビットレートは例えば16 Mbpsとなる。
【００４６】
＜階層符号化方法＞
図１４に例示するように、上述した２つの要求条件ＲＱ１、ＲＱ２が入力された場合を仮定する。階層符号化方法では、上述したように、各階層に対する要求条件の割り当てを変えながら、すべての割当候補から最もビットレートが低くなる割当を求める。
【００４７】
図１４において、割当候補Ｃ１では、基本階層０が要求条件ＲＱ１を満たすようにし、拡張階層１を追加することで要求条件ＲＱ２も満たすようにする。すなわち、基本階層０を640×360 / 30 fps / 36 dBとし、拡張階層１では30フレームのうちの10フレームで解像度を1920×1080にしてPSNRを40 dBにするための差分データを追加する。
【００４８】
また、割当候補Ｃ２では、割当候補Ｃ１とは逆の割り当てとし、基本階層０が要求条件ＲＱ２を満たすようにし、拡張階層１を追加すると要求条件ＲＱ１も満たすようにする。さらに、基本階層０を全要求条件に共通するパラメータ（各パラメータについて全要求条件の中で最も低い値；共通条件）とし、拡張階層１によってそれぞれの要求条件を満たすようにする。例えば、基本階層０に項目Ｇ１（解像度および画質）を向上させるための拡張階層を追加することで要求条件ＲＱ２を満たし、基本階層０にフレームレート（項目Ｇ２）を増加させるための拡張階層を追加することで要求条件ＲＱ１を満たすようにする。それぞれの割当候補についてビットレートを算出し、最も低いビットレートを示す割当候補を決定する。
【００４９】
上述したそれぞれの符号化方法のうち、最も低いビットレートを示す符号化方法を選択する。この例では、２つの要求条件の場合について説明したが、３以上の要求条件の場合も同様に符号化方法を決定することができる。
【００５０】
２．２）他の例１
なお、符号化部１０２が複数のメディアストリームを生成できない場合等には、独立符号化方法（動作Ｓ４０１）を実行しなくてもよい。さらに単一符号化方法（動作Ｓ４０２）は一般にビットレートが高くなるため、実行しなくてもよい。したがって、第１実施形態のように階層符号化方法（動作Ｓ４０３）のみを実行することで、演算量を削減可能である。
【００５１】
また、二つの要求条件ＲＱｉ、ＲＱｊにおいて、すべての項目で「ＲＱｉの条件 ＞＝ ＲＱｊの条件」を満たす場合には、符号化方法の決定動作Ｓ２０２において、要求条件ＲＱｊは考慮しなくてもよい。階層符号化の場合、このような要求条件ＲＱｉおよびＲＱｊは同一の階層に割り当てうる。たとえば、図１５に示す例では、解像度、フレームレートおよびPSNRのすべての項目で要求条件ＲＱ３が要求条件ＲＱ２以下となっている。この場合、要求条件ＲＱ１およびＲＱ２のみを満たすように、符号化方法を決定すればよい。したがって、階層数Ｌは、要求条件の個数ｍと同一（図９）、要求条件数ｍより１つ多い（図１０）、あるいは、要求条件数ｍ未満（図１５）となる。
【００５２】
２．３）他の例２
更に別の例として、図１６に例示するように、要求条件の項目に「必要領域」が入力されてもよい。要求条件ＲＱ１は必要領域を画面全体としているので、これは図１２の要求条件ＲＱ１と同じである。要求条件ＲＱ２の項目「必要領域」は、画面の中心の480×270ピクセル部分のみPSNR 40 dB以上の画質を要求している。図１６に示す要求条件の場合、図１１の符号化方法決定動作は以下の通りである。
【００５３】
独立符号化方法（図１１の動作４０１）では、要求条件ＲＱ２を満たす映像ストリームを、中心の480×270ピクセル領域を取り出した後、PSNRが40 dB以上となるように符号化する。これにより、図１２に比べてビットレートを大幅に削減可能である。
【００５４】
単一符号化方法（図１１の動作４０２）では、要求条件ＲＱ２の項目「必要領域」が中心部分のみであるとして、要求条件ＲＱ１を満たすためには画面全体が必要になる。したがって、結果として、図１２と同等の高ビットレートな映像が必要となる。
【００５５】
階層符号化方法（図１１の動作４０３）では、要求条件ＲＱ２を満たすための基本階層、または、拡張階層が画面の中心部分のみになる。例えば、図１４の割当候補Ｃ１では、拡張階層は、画面の中心部分の解像度と画質を向上させるための情報となる。
【００５６】
このように、要求条件に必要領域を追加することで、不必要な領域の情報を削減し、ビットレートの低減が可能となる。
【００５７】
２．４）効果
上述したように、本発明の第２実施形態によれば、独立符号化、単一符号化、階層符号化のそれぞれで要求条件を満たすために必要な符号化パラメータを算出し、ビットレートが最も低くなるものを選択することで、メディアストリームのビットレートをさらに削減できる。
【００５８】
３．第３実施形態
上述した第１および第２実施形態によるメディア符号化装置１０は、Raspberry Pi（登録商標）などの小型コンピュータや、スマートフォン等の情報通信装置によって実現されうる。
【００５９】
図１７に例示するように、情報通信装置５００は、上記各実施形態の符号化パラメータセット生成部１０４をプロセッサ１０９およびプログラムメモリ１１０により実装する。プロセッサ１０９はプログラムメモリ１１０から図２に示す全体的動作を制御するプログラムと、その中の符号化方法決定動作（Ｓ２０２）を制御するプログラムと、を読み出して実行する。符号化方法決定動作（Ｓ２０２）は、上述した第１および第２実施形態で説明した通りである。プロセッサ１０９は、情報通信装置５００の動作を制御するプロセッサであってもよいし、メディア符号化装置の動作を制御するプロセッサであってもよい。また、符号化部（１０２）の機能もプロセッサがプログラムを実行することにより実現することができる。
【００６０】
４．システム構成
図１８に例示するように、メディア送信装置５０１とメディア受信装置５０２とがネットワーク５０３を通して接続された通信システムを考える。メディア送信装置５０１は、上述した各実施形態によるメディア符号化装置５０４を有する。メディア受信装置５０２は監視センタ等に設置され、メディア復号装置５０５を有する。ネットワーク５０３は、例えば携帯電話網とインターネットとの組み合わせである。メディア受信装置５０２では、メディア復号装置５０５により復号されるメディアデータを例えば監視用モニタに表示するが、種々の用途に応じた所望のスペックで表示させることができる。上述したように、メディア符号化装置５０４は、これらの用途に適した品質の映像が得られるようにメディアデータを符号化する。
【００６１】
図１８では、メディア送信装置５０１とメディア受信装置５０２をそれぞれ１台ずつ記載したが、それぞれ複数存在してもよい。メディア送信装置５０１が複数存在する構成では、メディア受信装置５０２は複数のメディア符号化装置５０４からのメディアストリームを受信する。逆に、メディア受信装置５０２が複数存在する構成では、メディア符号化装置５０４が複数のメディア受信装置５０２に対してメディアストリームを送信する。
【００６２】
＜システム例＞
メディア受信装置５０２が設置された監視センタにおいて、複数の監視員が別々の目的で映像を監視している状況を想定する。たとえば、監視員Ａは車や人の混雑状況や移動速度などを、監視員Ｂは不審人物がいないかを監視しているものとする。監視員Ａの用途では、車や人の大まかな動きが分かればよい。したがって、監視員Ａのモニタ映像では、解像度と画質の要件は低くてもよいが、その代わり、高いフレームレートが求められる。たとえば図１２の要求条件ＲＱ１である。一方、監視員Ｂの用途では、人物の服装や所持品などを監視するため、フレームレートは低くてよいが、高い解像度と画質が求められる。たとえば図１２の要求条件ＲＱ２である。メディア受信装置５０２には、このような要求条件ＲＱ１、ＲＱ２が事前に入力されており、この要求条件に関する情報はネットワーク５０３を介してメディア符号化装置５０４へ送信する。メディア符号化装置５０４は、第１あるいは第２実施形態に記載した方法で映像データを符号化し、メディア受信装置５０２へ送信する。
【００６３】
また、監視センタでは、通常時は低画質でフレームレートの高い映像（図１６の要求条件ＲＱ１の映像）を使って監視している。事故やトラブル、不審人物を検知した場合のみ、メディア受信装置５０２は、当該部分を拡大した映像の配信をメディア符号化装置５０４へ要求する。メディア符号化装置５０４は、既に述べたように、図１６の要求条件ＲＱ２を満たすように符号化した映像を送信する。メディア受信装置５０２は、受信した拡大映像を監視センタ内の別の画面に表示してもよい。このように、要求条件は動作中に動的に変更することもできる。また、拡大する領域は、不審人物等の移動に合わせて動的に変更してもよい。このとき、メディア符号化装置５０４またはメディア受信装置５０２のプロセッサ上で、物体認識プログラム等を動作させ必要領域を自動で検出し、変更することも可能である。
【００６４】
上記の例では、監視員が映像を見ながら監視するとしたが、映像解析技術を使用して自動で監視してもよい。例えば、低画質でフレームレートの高い映像（図１２の要求条件ＲＱ１）を使って、物体認識、人流解析等を行い、特定の位置（セキュリティゲートの入り口など）の解像度と画質を向上させて（図１２の要求条件ＲＱ２）、顔認識を行ってもよい。
【００６５】
メディア受信装置５０２の設置場所を変更すると監視以外の用途でも利用できる。例えば、メディア受信装置５０２を病院に設置されたサーバやＰＣ上で動作する映像表示プログラムとすると、遠隔診療等に利用できる。遠隔診療の場合、病院にいる医師が自宅にいる患者の映像のうち、患部のみを高画質にするといったことが可能になる。
【００６６】
上述したように、メディア受信装置５０２からメディア符号化装置５０４へ要求条件を通知し、メディア符号化装置５０４は要求条件に応じて符号化パラメータを動的に変更しながら映像を配信する。上述したように、本発明の第１〜第２実施形態によるメディア符号化装置５０４は、複数の用途の要求品質を満たしつつメディアストリームのデータ量を最小化できるので、ネットワーク５０３の帯域を圧迫することなく、必要なデータを必要な品質で送信することができる。したがって、ネットワーク５０３が従量課金であっても使用料を抑えることができる。
【００６７】
５．付記
上述した実施形態および実施例の一部あるいは全部は、以下の付記のようにも記載されうるが、これらに限定されるものではない。
（付記１）
メディアデータを符号化する符号化部と、
前記メディアデータの品質に対する複数の要求条件を入力する要求条件入力部と、
前記メディアデータの符号化方法を決定する符号化方法決定部と、
を有し、
前記符号化部は前記メディアデータの階層符号化に対応し、
前記符号化方法決定部は、前記階層符号化の複数の階層に対する前記複数の要求条件の異なる割り当て方法の候補を生成し、それぞれの割当候補の割り当て要求条件を満たすための符号化パラメータを算出し、前記符号化パラメータの中でメディアストリームのデータ量が最も少なくなる第一符号化パラメータを前記符号化部へ指示する、
ことを特徴とするメディア符号化装置。
（付記２）
付記１に記載のメディア符号化装置であって、
前記符号化方法決定部は、前記複数の要求条件を基準となる基準要求条件と当該基準要求条件に対する差分条件とで表し、前記基準要求条件と前記差分条件とを前記階層符号化の基本階層と拡張階層とにそれぞれ割り当てることで複数の割当候補を生成する、
ことを特徴とするメディア符号化装置。
（付記３）
付記１または２に記載のメディア符号化装置であって、
前記階層符号化の階層数を前記要求条件数とし、前記各階層に対して前記要求条件を一つずつ割り当てたものを前記候補とすることを特徴とするメディア符号化装置。
（付記４）
付記１から３のいずれかに記載のメディア符号化装置であって、
前記複数の要求条件に共通する条件を基本階層に割り当て、前記複数の要求条件の各々を拡張階層に割り当てることを特徴とするメディア符号化装置。
（付記５）
付記１から４のいずれかに記載のメディア符号化装置であって、
前記複数の要求条件に含まれる第一の要求条件と第二の要求条件において、前記第一および第二の要求条件のすべての項目において第一の要求条件が第二の要求条件以上となる場合に、前記第一の要求条件と前記第二の要求条件とを同一の階層に割り当てることを特徴とするメディア符号化装置。
（付記６）
付記１から５のいずれかに記載のメディア符号化装置であって、
前記メディアが映像であって、
前記複数の要求条件の各々が、解像度、画質、フレームレート、映像内の必要領域、色数のいずれか一つ以上の項目からなることを特徴とするメディア符号化装置。
（付記７）
付記１から５のいずれかに記載のメディア符号化装置であって、
前記メディアが音声であって、
前記複数の要求条件の各々が、チャネル数、サンプリングレートおよび音質のいずれか一つ以上の項目からなることを特徴とするメディア符号化装置。
（付記８）
付記１から７のいずれかに記載のメディア符号化装置であって、
前記符号化方法決定部は、前記前記要求条件ごとに異なるメディアストリームを生成する独立符号化方法による第二符号化パラメータと、前記複数の要求条件をすべて満たす単一メディアストリームを生成する単一符号化方法による第三符号化パラメータと、をさらに算出し、前記第一符号化パラメータ、前記第二符号化パラメータおよび前記第三符号化パラメータの中で、前記メディアストリームのデータ量が最も少なくなる符号化パラメータを前記符号化部へ指示する、
ことを特徴とするメディア符号化装置。
（付記９）
メディアデータの階層符号化に対応した符号化部が前記メディアデータを符号化し、
要求条件入力部が前記メディアデータの品質に対する複数の要求条件を入力し、
符号化方法決定部が、
前記階層符号化の複数の階層に対する前記複数の要求条件の異なる割り当て方法の候補を生成し、
それぞれの割当候補の割り当て要求条件を満たすための符号化パラメータを算出し、
前記符号化パラメータの中でメディアストリームのデータ量が最も少なくなる第一符号化パラメータを前記符号化部へ指示する、
ことを特徴とするメディア符号化方法。
（付記１０）
付記９に記載のメディア符号化方法であって、
前記符号化方法決定部が、
前記複数の要求条件を基準となる基準要求条件と当該基準要求条件に対する差分条件とで表し、
前記基準要求条件と前記差分条件とを前記階層符号化の基本階層と拡張階層とにそれぞれ割り当てることで複数の割当候補を生成する、
ことを特徴とするメディア符号化方法。
（付記１１）
付記１から８のいずれかに記載のメディア符号化装置と、前記符号化部により符号化されたメディアデータを受信するメディア受信装置とが、ネットワークを介して接続され、
前記複数の要求条件の各々が、前記メディア受信装置における前記メディアデータの用途に対応することを特徴とするメディア配信システム。
（付記１２）
付記８に記載のメディア配信システムであって、
前記メディア受信装置は、前記ネットワークを介して前記複数の要求条件を前記メディア符号化装置へ通知し、
前記メディア符号化装置は、通知された前記複数の要求条件に基づいて前記メディアデータを符号化する、
ことを特徴とするメディア配信システム。
（付記１３）
付記９に記載のメディア配信システムであって、
前記メディア符号化装置は、前記複数の要求条件の少なくとも一つが変化した場合に、前記符号化方法を切り替える、
ことを特徴とするメディア配信システム。
（付記１４）
メディア符号化装置としてコンピュータを機能させるプログラムであって、
符号化部が前記メディアデータを階層符号化により符号化し、
要求条件入力部が前記メディアデータの品質に対する複数の要求条件を入力し、
符号化方法決定部が、
前記符号化部による前記階層符号化が扱う複数の階層に対する、前記要求条件入力部に入力された前記複数の要求条件の異なる割り当て方法について候補を生成し、
それぞれの割当候補に対応する割り当て要求条件を満たすための符号化パラメータを算出し、
前記符号化パラメータの中でメディアストリームのデータ量が最も少なくなる第一符号化パラメータを前記符号化部へ指示する、
機能を前記コンピュータに実現するプログラム。
【産業上の利用可能性】
【００６８】
本発明は、監視カメラ、車載カメラ等で撮影した映像・音声の記憶媒体への保存、または、撮影した映像・音声を監視センタへ配信する映像配信システムにおけるメディア符号化に適用できる。
【符号の説明】
【００６９】
１０  メディア符号化装置
１０１  メディアデータ入力部
１０２  符号化部
１０３  出力部
１０４  符号化パラメータセット生成部
１０５  要求条件入力部
１０６  符号化方法決定部
１０７  割当候補生成部
１０８  符号化パラメータ算出部
１０９  プロセッサ
１１０  プログラムメモリ
【図１】
2020150512.tif 000003
【図２】
2020150512.tif 000004
【図３】
2020150512.tif 000005
【図４】
2020150512.tif 000006
【図５】
2020150512.tif 000007
【図６】
2020150512.tif 000008
【図７】
2020150512.tif 000009
【図８】
2020150512.tif 000010
【図９】
2020150512.tif 000011
【図１０】
2020150512.tif 000012
【図１１】
2020150512.tif 000013
【図１２】
2020150512.tif 000014
【図１３】
2020150512.tif 000015
【図１４】
2020150512.tif 000016
【図１５】
2020150512.tif 000017
【図１６】
2020150512.tif 000018
【図１７】
2020150512.tif 000019
【図１８】
2020150512.tif 000020