(57)【要約】【課題】  スケーラビリティの選択にあたり、フレームレートに加えて空間解像度の変更を可能とすると共に、空間解像度、フレームレートの選択基準においてタスクを考慮することにより、より高い主観品質を実現可能とし、かつ、多様な端末に適用可能とする。【解決手段】  本発明は、主観品質評価による評価結果として、ビットレートに対する空間解像度、フレームレートと主観品質の関係が格納された主観品質データベースから、再生時に選択可能な複数の空間・時間レイヤを選択し、入力された原映像について任意のスケーラブル映像符号化方式を利用してスケーラブル映像符号化を行う。【選択図】  図１
2013030852.tif 000002
【特許請求の範囲】
【請求項１】
単一のビットストリームから異なる空間解像度、フレームレートの映像を再生できるスケーラブル映像符号化装置であって、
主観品質評価による評価結果として、ビットレートに対する空間解像度、フレームレート（以下、「空間・時間レイヤ」と記す）と主観品質の関係が格納された主観品質データベースと、
前記主観品質データベースから、再生時に選択可能な複数の空間・時間レイヤを選択するレイヤ選択手段と、
入力された原映像について任意のスケーラブル映像符号化方式を利用してスケーラブル映像符号化を行う映像符号化手段と、
を有することを特徴とするスケーラブル映像符号化装置。
【請求項２】
前記主観品質データベースは、
複数のジャンルもしくは特定の映像コンテンツ（以下、「タスク」と記す）を想定した主観品質評価に基づき、該タスク毎に空間・時間レイヤ及び主観品質の関係を格納し、
前記レイヤ選択手段は、
前記タスクに応じて、前記主観品質データベースを参照して空間・時間レイヤを選択すする手段を含む
ことを特徴とする請求項１記載のスケーラブル映像符号化装置。
【請求項３】
前記タスクの特徴を、入力された原映像の符号化映像のビットストリーム情報もしくはビットストリーム情報をデコードした画素情報を用いて推定する原映像解析手段と、
前記原映像解析手段で推定されたタスクの特徴について、任意の空間・時間レイヤの選択基準に基づいてタスクを選択し、前記主観品質データベースに格納するタスク毎の空間・時間レイヤ及び主観品質の関係を参照して空間・時間レイヤ選択を行うためのタスク選択手段を更に有する
ことを特徴とする請求項２記載のスケーラブル映像符号化装置。
【請求項４】
単一のビットストリームから異なる空間解像度、フレームレートの映像を再生できるスケーラブル映像符号化方法であって、
レイヤ選択手段が、主観品質評価による評価結果として、ビットレートに対する空間・時間レイヤと主観品質の関係が格納された主観品質データベースから、再生時に選択可能な複数の空間・時間レイヤを選択するレイヤ選択ステップと、
映像符号化手段が、入力された原映像について任意のスケーラブル映像符号化方式を利用してスケーラブル映像符号化を行う映像符号化ステップと、
を含むことを特徴とするスケーラブル映像符号化方法。
【請求項５】
前記主観品質データベースに、
複数のタスクを想定した主観品質評価に基づき、該タスク毎に空間・時間レイヤ及び主観品質の関係を格納し、
前記レイヤ選択ステップにおいて、
前記タスクに応じて、前記主観品質データベースを参照して空間・時間レイヤを選択することを特徴とする請求項４記載のスケーラブル映像符号化方法。
【請求項６】
原映像解析手段が、前記タスクの特徴を入力された原映像の符号化映像のビットストリーム情報もしくはビットストリーム情報をデコードした画素情報を用いて推定する原映像解析ステップと、
タスク選択手段が、前記原映像解析手段で推定されたタスクの特徴について、任意の空間・時間レイヤの選択基準に基づいてタスクを選択し、前記主観品質データベースに格納するタスク毎の空間・時間レイヤ及び主観品質の関係を参照して空間・時間レイヤ選択を行うためのタスク選択ステップと、
を含むことを特徴とする請求項５記載のスケーラブル映像符号化方法。
【請求項７】
コンピュータを、
請求項１乃至３記載のいずれか1項に記載のスケーラブル映像符号化装置の各手段として機能させるためのスケーラブル映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブル映像符号化装置及び方法及びプログラムに係り、特に、IPTV(Internet Protocol TeleVision)サービスなどの映像配信サービスにおけるスケーラブル映像符号化装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
現在、携帯端末に代表されるIPネットワークに接続可能な端末の多様化が進むと同時に、光ファイバ・ADSL・モバイル環境などのネットワークの多様化に基づく様々な帯域の異なる回線の普及が進んでいる。そこで、IPTVサービスなどの映像配信サービスにおいては、伝送路や端末の多様化に対処するため、単一のビットストリームから異なる空間解像度・フレームレート・画質の映像を再生できるスケーラブル映像符号化方式が注目されている。
【０００３】
スケーラブル映像符号化による符号化映像の再生時に選択可能な空間解像度、フレームレート、画質というスケーラビリティの選択方法として、従来はフレームレートの設定のみに注目した選択方法が用いられてきた（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】稲積泰宏、吉田俊之、"MOSに基づく階層的スケーラビリティ符号化の検討"電子情報通信学会技術研究報告. MVE, マルチメディア・下層環境基礎 101(637). 7-12, 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的にスケーラブル映像符号化による符号化映像の再生時に選択可能なスケーラビリティとしては、フレームレートの他に空間解像度、画質が存在するが、従来の技術ではこれらを考慮していない。また、最適なスケーラビリティの選択をするためには、複数のジャンルもしくは特定の映像コンテンツ（以下、「タスク」と記す）を考慮する必要があるが、これも考慮していない。
【０００６】
本発明は、上記の点に鑑みなされたもので、スケーラビリティの選択にあたり、フレームレートに加えて空間解像度の変更を可能とすると共に、空間解像度、フレームレートの選択基準においてタスクを考慮することにより、より高い主観品質（QoE: Quality of Experience）を実現可能とし、かつ、多様な端末に適用可能なスケーラブル映像符号化装置及び方法及びプログラムを提供することを目的とする。
【０００７】
なお、スケーラブル映像符号化では異なる画質を再生できるように符号化することも可能であるが、本発明では、映像の再生時に空間・時間レイヤの変更を可能とする方式を対象とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明は、単一のビットストリームから異なる空間解像度、フレームレートの映像を再生できるスケーラブル映像符号化装置であって、
主観品質評価による評価結果として、ビットレートに対する空間解像度、フレームレート（以下、「空間・時間レイヤ」と記す）と主観品質の関係が格納された主観品質データベースと、
前記主観品質データベースから、再生時に選択可能な複数の空間・時間レイヤを選択するレイヤ選択手段と、
入力された原映像について、任意のスケーラブル映像符号化方式を利用してスケーラブル映像符号化を行う映像符号化手段と、を有する。
【発明の効果】
【０００９】
従来の技術では、スケーラブル映像符号化による符号化映像の再生時に選択可能な空間解像度・フレームレートの設定（レイヤ）の選択方法として、従来はフレームレートの設定のみに注目した選択方法が用いられてきたため、空間解像度の設定を選択できないことから、空間・時間レイヤの切り替えによってユーザが体感する映像品質の最適化ができず、かつ様々な空間解像度を持つ多様な端末に対応できなかったが、本発明によれば、スケーラブル映像符号化時の空間・時間レイヤ選択基準を，タスクを考慮してより主観品質を高めるように最適化でき、映像配信サービスの利用者が視聴する映像の主観品質を高め、同時に様々な空間解像度を持つ多様な端末に対応でき，利用者のサービス満足度を高めることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態におけるスケーラブル映像符号化装置の構成図である。
【図２】本発明の第１の実施の形態におけるスケーラブル映像符号化装置の動作のフローチャートである。
【図３】本発明の第１の実施の形態におけるあるビットレートにおける空間化解像度・フレームレートと主観品質の関係（あるタスク（テレビ会議）の主観品質特性）である。
【図４】本発明の第１の実施の形態における主観品質データベースの構造である。
【図５】本発明の第２の実施の形態におけるスケーラブル映像符号化装置の構成図である。
【図６】本発明の第２の実施の形態におけるあるビットレートにおける空間解像度・フレームレートと主観品質の関係（複数のタスクの主観品質特性）である。
【図７】本発明の第２の実施の形態におけるスケーラブル映像符号化装置の動作のフローチャートである。
【図８】本発明の第２の実施の形態における主観品質データベースの構造である。
【図９】本発明の第３の実施の形態におけるスケーラブル映像符号化装置の構成図である。
【図１０】本発明の第３の実施の形態におけるビットレートにおける空間解像度・フレームレートと主観品質の関係（映像の特長によるタスクの自動選択）である。
【図１１】本発明の第３の実施の形態におけるタスク情報算出のフローチャートである。
【発明を実施するための形態】
【００１１】
以下図面と共に、本発明の実施の形態を説明する。
【００１２】
［第１の実施の形態］
図１は、本発明の第１の実施の形態におけるスケーラブル映像符号化装置の構成を示す。
【００１３】
同図に示すスケーラブル映像符号化装置１００は、主観品質データベース（ＤＢ）１１０、レイヤ選択部１２０、映像符号化部１３０から構成される。
【００１４】
映像符号化部１３０に原映像信号ＯＶを入力するタイミングが、スケーラブル映像符号化と本実施の形態で規定するスケーラブル映像符号化に伴うレイヤ選択処理開始のトリガとなる。
【００１５】
以下に、上記の構成における動作を説明する。
【００１６】
図２は、本発明の第１の実施の形態におけるスケーラブル映像符号化装置の動作のフローチャートである。
【００１７】
本実施の形態では、原映像信号ＯＶとして特定の映像コンテンツ（タスク）を想定することとし、具体的にはテレビ会議映像（遠隔の２点間で、IPネットワークを利用した映像通信サービスを利用した話し合いを行っている映像）を用いる。
【００１８】
ステップ１０１）  予めテレビ会議映像を対象として主観品質評価実験（文献１：「ITU-T P.910. "TELEPHONE TRANSMISSION QUALITY, TELEPHONE INSTALLATIONS, LOCAL LINE NETWORKS," Apr. 2008.」参照」を実施して、ビットレートに対する空間解像度・フレームと主観品質の関係を予め求めておく。例として、あるビットレートにおける空間解像度・フレームレートと主観品質の関係を図３に示す。同図に示す例では、あるタスク（テレビ会議）の主観品質特性を示しており、予めビットレート毎にフレームレート・空間解像度に対する主観品質を主観品質評価実験で測定する。
【００１９】
ステップ１０２）  主観品質評価実験により測定されたビットレート、フレームレート、空間解像度を主観品質データベース１１０に格納する。但し、タスクとしてテレビ会議映像以外のコンテンツも利用できる。図４に主観品質データベース１１０の例を示す。主観品質データベース１１０には、ビットレート、フレームレート、空間解像度、主観品質が格納される。
【００２０】
ステップ１０３）  原映像信号OVの入力をトリガとして、レイヤ選択部１２０は、主観品質データベース１１０から主観品質情報SIを読み込む。具体的には、スケーラブル符号化装置１００のユーザが設定するビットレート情報BI（原理的に、BI1，BI2，…，Binのｎ種類のビットレートについてスケーラブル符号化を実行可能であるが、本実施の形態では、BI1，BI2，BI3の３種類のビットレートに対してスケーラブル符号化を行うこととし、ビットレート情報BIは、BI1，BI2，BI3から構成される）に応じて、図４に示す主観品質データベース１１０から空間映像度、フレームレートと主観品質の関係を抽出し、各々の値をスケーラブル映像符号化装置１００が選択可能なフレームレートと空間解像度の組に対する主観品質とする。ビットレート情報BI（BI1，BI2，BI3）とこれに対応するスケーラブル映像符号化装置１００が選択可能な空間解像度、フレームレート、選択可能なすべての主観品質の組を主観品質情報SIとして読み込む。
【００２１】
ステップ１０４）  レイヤ選択部１２０は、ビットレート情報BIのうち、BI1，BI2，BI3の各々に対して主観品質が最大となるフレームレートと空間解像度の組を選択する。
【００２２】
ステップ１０５）  レイヤ選択部１２０は、上記で選択された主観品質が最大となるフレームレートと空間解像度の組に対応するビットレート情報BIのうち、BI1，BI2，BI3と合わせて、レイヤ情報LIとして映像符号化部１３０に送る。なお、スケーラブル映像符号化装置１００が選択可能なフレームレートと空間解像度の組に任意の制約条件を与えて、選択可能な組を制限してもよい。
【００２３】
ステップ１０６）  映像符号化部１３０は、レイヤ選択部１２０からレイヤ情報LIとして入力されたビットレート情報BI（BI1，BI2，BI3）と各々のビットレートに対するフレームレートと空間解像度の組を符号化の設定条件として、原映像信号OVのスケーラブル符号化を行う。なお、本実施の形態では、スケーラブル符号化方式として、H.264 SVCを利用するが、原理的に他の方式も利用可能である。映像符号化部１３０で実行されたスケーラブル符号化の結果、原映像信号OVは、符号化映像信号CVとして出力される。
【００２４】
[第２の実施の形態]
図５は、本発明の第２の実施の形態におけるスケーラブル映像符号化装置の構成を示す。
【００２５】
本実施の形態のスケーラブル映像符号化装置２００は、図１の構成と同様であるが、主観品質データベース２１０をタスク毎に設ける点において異なる。
【００２６】
また、スケーラブル映像符号化と、それに伴うレイヤ選択部２２０の開始のトリガは、第１の実施の形態と同様に、映像符号化部２３０に原映像信号OVが入力された時点である。
【００２７】
本実施の形態では、原映像信号OVとして複数の映像コンテンツ（タスク）を想定することとし、具体的には、図６に示すように、タスクを、
・タスク１：テレビ会議映像（遠隔の2点間で、IPネットワークを利用した映像通信サービスを利用して話し合いを行っている映像）
・タスク２：遠隔問診映像（遠隔の2点間で、IPネットワークを利用した映像通信サービスを利用して医者が患者に問診を行っている映像）
・タスク３：遠隔講義映像（遠隔の2点間で、IPネットワークを利用した映像通信サービスを利用して教師が講義を行っている映像）
とし、タスク毎に主観品質評価実験（前述の文献１参照）により、あるビットレートの場合における空間解像度・フレームレートと主観品質の関係を得る。
【００２８】
図７は、本発明の第２の実施の形態におけるスケーラブル映像符号化装置の動作のフローチャートである。
【００２９】
ステップ２０1）  予めタスク１〜タスク３の各々を対象として主観品質評価実験（前述の文献１参照）を実施して、各タスクとビットレートに対する空間解像度・フレームレートと主観品質の関係を求める。
【００３０】
ステップ２０２）  タスク毎に求められたビットレートに対する空間解像度・フレームレートと主観品質の関係をタスク毎の主観品質データベース２１０１〜２１０３に格納する。主観品質データベース２１０の構造を図８に示す。ただし、タスクとしてタスク１〜タスク３以外のタスクも追加できる。図８の例では、タスク１の情報（ビットレートに対する空間解像度・フレームレートと主観品質の関係）はデータベース２１０１に、タスク２の情報はデータベース２１０２に、タスク３の情報はデータベース２１０３に格納される。
【００３１】
ステップ２０３）  次にスケーラブル符号化装置のユーザが設定するビットレート情報BI（原理的にBI1，BI2，…，BInのn種類のビットレートについてスケーラブル符号化を実行可能であるが、本実施の形態ではBI1， BI2， BI3の3種類のビットレートに対してスケーラブル符号化を行うこととし、ビットレート情報BIはBI1，BI2，BI3から構成される）と、同じくユーザが設定する、符号化対象映像がどのタスク（タスク１〜タスク３）か判別するための情報であるタスク情報TIが各主観品質データベース２１０に入力される。
【００３２】
ステップ２０４）  図８に示す主観品質データベース２１０では、ビットレート情報BI及びタスク情報TIに応じて、主観品質データベース２１０から対象タスクの対象ビットレートに対する空間解像度・フレームレートと主観品質の関係を抽出し、各々の値をスケーラブル映像符号化装置が選択可能なフレームレートと空間解像度の組に対する主観品質とする。
【００３３】
ステップ２０５）  レイヤ選択部２２０は、次にビットレート情報BI（BI1、 BI2、 BI3）とこれに対応するスケーラブル映像符号化装置が選択可能な空間解像度・フレームレート・主観品質の組を主観品質情報SIとして取得し、ビットレート情報BI内のBI1、 BI2、 BI3の各々に対して主観品質が最大となるフレームレートと空間解像度の組を選択して、対応するビットレート情報BI内のBI1、 BI2、 BI3と合わせて、レイヤ情報LIとして映像符号化部２３０に送る。なお、スケーラブル映像符号化装置２００が選択可能なフレームレートと空間解像度の組に任意の制約条件を与えて、選択可能な組を制限しても良い。
【００３４】
ステップ２０６）  映像符号化部２３０では、レイヤ選択部２２０からレイヤ情報LIとして送られたビットレート情報BI（BI1，BI2，BI3）と各々のビットレートに対するフレームレートと空間解像度の組を符号化の設定条件としてスケーラブル符号化を行う。なお、本実施の形態では、前述の第１の実施の形態と同様に、スケーラブル符号化方式としてH.264 SVCを利用するが、原理的に他の方式も利用可能である。映像符号化部２３０で実行されたスケーラブル符号化の結果、原映像信号OVは、符号化映像信号CVとして出力される。
【００３５】
[第３の実施の形態]
図９は、本発明の第３の実施の形態におけるスケーラブル映像符号化装置の構成を示す。
【００３６】
同図に示すスケーラブル映像符号化装置３００は、主観品質データベース３１０、レイヤ選択部３２０、映像符号化部３３０、原映像解析部３４０、タスク選択部３５０から構成される。なお、主観品質データベース３１０の構成は、前述の第２の実施の形態と同様にタスク毎に生成されるものとする。
【００３７】
本実施の形態は、第２の実施の形態とほぼ同様であり、スケーラブル映像符号化装置３００でユーザが設定していたタスク情報TIを、原映像解析部３４０、タスク選択部３５０により原映像信号OVから自動的に算出できる点が第２の実施の形態と異なる。
【００３８】
以下に、原映像信号OVからタスク情報TIを自動的に算出する方法について説明する。
【００３９】
まず、映像符号化部３３０に原映像信号OVを入力するタイミングが、スケーラブル映像符号化で規定するスケーラブル映像符号化に伴うレイヤ選択処理の開始のトリガとなる点では前述の実施の形態と同様である。
【００４０】
図１１は、本発明の第３の実施の形態におけるタスク情報算出のフローチャートである。
【００４１】
ステップ３０１）  原映像解析部３４０に、原映像信号OV（付随して原映像信号OVの空間解像度・フレームレート）とビットレート情報BIが入力される。ビットレート情報BIは、スケーラブル符号化装置３００のユーザが設定する任意のビットレートの範囲である（原理的にBI1，BI2，…，Binのn種類のビットレートについてスケーラブル符号化を実行可能であるが、本実施の形態では、BI1，BI2，BI3の3種類のビットレートに対してスケーラブル符号化を行うこととし、ビットレート情報BIはBI1，BI2，BI3から構成される。なお、当該ビットレート情報BIは主観品質データベース３１０にも入力される。
【００４２】
ステップ３０２）  次に、原映像解析部３４０は、ビットレート情報BIに含まれる複数のビットレートのうち最も高いビットレートを用いて、原映像信号OVに付随して入力される原映像信号OVの空間解像度、フレームレートで映像符号化を行う。但し、以下で示す符号化時の中間パラメータを取得した時点で符号化処理を止める。なお、フレームレート、空間解像度は、ユーザが選択可能である場合は、任意の値でもよく、ビットレートも最も高い値を使わなくてもよい。また、映像符号化方式としては、スケーラブル符号化方式のベースとなっている方式を用い、例えば、本実施の形態で示すH.264 SVCでは、H.264 AVC方式を用いる。
【００４３】
ステップ３０３）  原映像解析部３４０では、この映像符号化時に中間パラメータとして得られる量子化パラメータ情報による特徴量の算出を行う。なお、量子化パラメータ情報は、原映像解析部３４０において、原映像の各フレームの各マクロブロックから抽出される値であり、マクロブロック毎に異なる値を持つ。腹映像解析部３４０は、量子化パラメータ情報による特徴量を以下のように算出する。原映像信号OVを上記に従って符号化した映像を構成する全てのフレーム（全nフレーム）について、各フレームに存在するマクロブロック（全m個）の量子化パラメータ値を使って、量子化パラメータの代表値QPaveを以下の式で導出する。但し、iはフレーム番号（i=1から映像の再生を開始して、i=nで映像の再生を終了）を示す。
【００４４】
【数１】
2013030852.tif 000003
但し、QPijはフレーム番号i中のマクロブロック番号jの量子化パラメータを表し、また、演算子
【００４５】
【数２】
2013030852.tif 000004
は、実数A1〜Amを参照して平均となる値を出力する。上記処理により量子化パラメータの特徴量の導出がなされる。なお、上記で導出される特徴量は、符号化対象となるマクロブロックの量子化パラメータの平均値であり、映像の複雑度を示すものである。一般的に、量子化パラメータは直交変換などにより得られた係数を量子化するために用いられ、複雑度が高い映像では小さい値、複雑度が低い映像では大きな値を取る。従って、映像中の量子化パラメータの平均値を算出することは、映像全体の複雑度を測ることと同義ある。本特徴量によりフレーム毎の相対的な映像の複雑度の比較を可能とする。また本特徴量の算出は毎フレーム、または一定フレーム数毎に行うことができる。
【００４６】
以上で算出したフレーム毎の量子化パラメータの代表値QPaveを解析情報AIとしてタスク選択部３５０に送る。
【００４７】
ステップ３０４）  タスク選択部３５０は、以下のようにタスクの判別を行う。
【００４８】
QPave>30 ：タスク１
20<QPave≦30 ：タスク２
QPave≦20 ：タスク３
但し、上記の条件は、符号化時の他の中間パラメータによる条件を含む、任意の条件で置換が可能であり、閾値（上記の２０、３０）はスケーラブル映像符号化装置３００のユーザが自由に設定可能である。
【００４９】
ステップ３０５）  タスク選択部３５０は、上記でタスク判別された結果をタスク情報TIとして当該タスクに対応する主観品質データベース３１０に入力する。
【００５０】
以降の処理は第２の実施の形態と同様である。
【００５１】
上記のように、本発明では、スケーラビリティの選択にあたり、フレームレートに加えて、空間解像度の変更を可能にすると共に、空間解像度、フレームレートの選択基準においてタスクを考慮することにより、より高い主観品質を実現することが可能となる。
【００５２】
上記の第１〜第３の実施の形態における図１、図５、図９に示すスケーラブル映像符号化装置の構成要素の動作をプログラムとして構築し、スケーラブル映像符号化装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００５３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００５４】
１００，２００，３００  スケーラブル映像符号化装置
１１０，２１０，３１０  主観品質データベース
１２０，２２０，３２０  レイヤ選択部
１３０，２３０，３３０  映像符号化部
３４０  原映像解析部
３５０  タスク選択部
【図１】
2013030852.tif 000005
【図２】
2013030852.tif 000006
【図３】
2013030852.tif 000007
【図４】
2013030852.tif 000008
【図５】
2013030852.tif 000009
【図６】
2013030852.tif 000010
【図７】
2013030852.tif 000011
【図８】
2013030852.tif 000012
【図９】
2013030852.tif 000013
【図１０】
2013030852.tif 000014
【図１１】
2013030852.tif 000015