(57)【要約】【課題】  従来のビデオトランスコーディングにおいては、入力される画像フレーム全体を変換対象とするので、例えば、再生端末の表示画面が小さい場合(携帯端末など)には映像中の被写体がすべて均一に縮小され、映像中に注視すべき領域に限定して、その部分だけを画面全体に高精細表示する、といった空間的な適応再生が困難であった。【解決手段】  デジタル映像コンテンツ中の注視領域を抽出するとともに、入力映像コンテンツの解像度情報と、出力映像コンテンツ解像度指定情報とに基づいて解像度変換比率を算出し、この算出された解像度変換比率と上記抽出された注視領域とに基づいて入力映像コンテンツの変換処理を行うようにし、元映像コンテンツを再生端末にとって望ましい形式に変換するようにした。【特許請求の範囲】
【請求項１】
デジタル映像コンテンツ中の注視領域を抽出する注視領域抽出部と、
上記入力映像コンテンツの解像度情報と出力映像コンテンツ解像度指定情報とに基づいて解像度変換比率を算出する解像度変換比率算出部と、
この解像度変換比率算出部で算出された解像度変換比率と上記注視領域抽出部によって抽出された注視領域とに基づいて入力映像コンテンツの変換処理を行う映像コンテンツ変換部とを備えたことを特徴とするコンテンツ適応化装置。
【請求項２】
上記注視領域抽出部は、入力映像コンテンツデータのフレーム画像に対してあらかじめ定められる注視領域の候補となる領域群を記憶し、この領域群のそれぞれの領域に含まれる画像特徴量をアクティビティとして数値化し、最もアクティビティの大きい領域を注視領域として抽出することを特徴とする請求項１記載のコンテンツ適応化装置。
【請求項３】
入力映像コンテンツおよび出力映像コンテンツはともにMPEG符号化されたビデオデータであり、上記注視領域の候補となる領域はそれぞれ水平・垂直ともにマクロブロックの整数倍で構成される領域であり、上記アクティビティは上記注視領域の候補となる領域内に含まれるマクロブロックの動きベクトルの大きさの総和としてアクティビティを算出することを特徴とする請求項２記載のコンテンツ適応化装置。
【請求項４】
入力映像コンテンツおよび出力映像コンテンツはともにMPEG符号化されたビデオデータであって、上記映像コンテンツ変換部は、入力される解像度変換比率に従って入力映像コンテンツの解像度を変換した結果、水平・垂直いずれかの変換後の解像度がマクロブロックの整数倍に合致しない場合、解像度変換比率に基づいて入力映像コンテンツの解像度を変換した結果と、指定される出力映像コンテンツの解像度とをともに下回る値でかつマクロブロックの整数倍となる解像度のうち最大となる暫定値を求め、指定される出力映像コンテンツの解像度と上記暫定値の間の差異となる画像データをダミー符号化データで埋めることを特徴とする請求項１記載のコンテンツ適応化装置。
【請求項５】
上記注視領域抽出部の駆動を制御する制御信号は、コンテンツ再生端末から抽出実行を要求するコマンドとして通知される信号であることを特徴とする請求項１記載のコンテンツ適応化装置。
【請求項６】
上記注視領域抽出部の駆動を制御する制御信号は、上記注視領域抽出部において算出するアクティビティが所定の閾値を超えたか否かを通知する信号であることを特徴とする請求項１記載のコンテンツ適応化装置。
【請求項７】
デジタル映像コンテンツをコンテンツ再生端末の再生能力に合わせて適応化するコンテンツ適応化システムであって、
コンテンツ再生端末の要求に応じてデジタル映像コンテンツを配信するコンテンツサーバと、
このコンテンツサーバが配信するデジタル映像コンテンツを入力し、画像解像度を変換して出力映像コンテンツとして出力するコンテンツ適応化装置と、
デジタル映像コンテンツを上記コンテンツサーバに要求し、上記コンテンツ適応化装置からの出力映像コンテンツを受信するコンテンツ再生端末とからなり、
上記コンテンツ適応化装置は、デジタル映像コンテンツ中の注視領域を抽出する注視領域抽出部と、上記入力映像コンテンツの解像度情報と出力映像コンテンツ解像度指定情報とに基づいて解像度変換比率を算出する解像度変換比率算出部と、この解像度変換比率算出部で算出された解像度変換比率と上記注視領域抽出部によって抽出された注視領域とに基づいて入力映像コンテンツの変換処理を行う映像コンテンツ変換部とを備えたことを特徴とするコンテンツ適応化システム。
【請求項８】
デジタル映像コンテンツ中の注視領域を抽出する注視領域抽出ステップと、
上記入力映像コンテンツの解像度情報と出力映像コンテンツ解像度指定情報とに基づいて解像度変換比率を算出する解像度変換比率算出ステップと、
この解像度変換比率算出ステップで算出された解像度変換比率と上記注視領域抽出ステップで抽出された注視領域とに基づいて入力映像コンテンツの変換処理を行う映像コンテンツ変換ステップとを備えたことを特徴とするコンテンツ適応化方法。
【請求項９】
上記注視領域抽出ステップは、入力映像コンテンツデータのフレーム画像に対してあらかじめ定められる注視領域の候補となる領域群のそれぞれの領域に含まれる画像特徴量をアクティビティとして数値化し、最もアクティビティの大きい領域を注視領域として抽出することを特徴とする請求項８記載のコンテンツ適応化方法。
【請求項１０】
入力映像コンテンツおよび出力映像コンテンツはともにMPEG符号化されたビデオデータであり、上記注視領域の候補となる領域はそれぞれ水平・垂直ともにマクロブロックの整数倍で構成される領域であり、上記アクティビティは上記注視領域の候補となる領域内に含まれるマクロブロックの動きベクトルの大きさの総和としてアクティビティを算出することを特徴とする請求項９記載のコンテンツ適応化方法。
【請求項１１】
入力映像コンテンツおよび出力映像コンテンツはともにMPEG符号化されたビデオデータであって、上記映像コンテンツ変換ステップは、入力される解像度変換比率に従って入力映像コンテンツの解像度を変換した結果、水平・垂直いずれかの変換後の解像度がマクロブロックの整数倍に合致しない場合、解像度変換比率に基づいて入力映像コンテンツの解像度を変換した結果と、指定される出力映像コンテンツの解像度とをともに下回る値でかつマクロブロックの整数倍となる解像度のうち最大となる暫定値を求め、指定される出力映像コンテンツの解像度と上記暫定値の間の差異となる画像データをダミー符号化データで埋めることを特徴とする請求項８記載のコンテンツ適応化方法。
【請求項１２】
上記注視領域抽出ステップは、コンテンツ再生端末から抽出実行を要求するコマンドに基いて制御されることを特徴とする請求項８記載のコンテンツ適応化方法。
【請求項１３】
上記注視領域抽出ステップは、上記注視領域抽出ステップにおいて算出するアクティビティが所定の閾値を超えたか否かに基いて制御されることを特徴とする請求項８記載のコンテンツ適応化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮動画データなどのデジタルマルチメディアデータの伝送、蓄積、再生技術等に用いられるコンテンツ適応化装置、適応化方法に関するものである。
【背景技術】
【０００２】
近年のインターネットやPCの普及、DVDや携帯電話などの情報家電のデジタル化に伴い、デジタルマルチメディアデータのフォーマット(映像符号化方式など)の多様化が進んでいる。また、これらマルチメディアデータを再生する端末も、デジタル放送対応テレビ、携帯型ビデオプレイヤ、PC、PDA、携帯電話など多岐にわたるバリエーションが生じている。また、これら多くのマルチメディア対応機器はインターネット、モバイル通信網、宅内ネットワークなど多様なネットワークに接続が可能となってきており、ネットワークを通じてマルチメディアデータを受信して再生する機能も実現されつつある。
【０００３】
しかし、こういった端末側の自由度が拡大される一方で、個々の端末の処理性能や接続されるネットワークの帯域の違いといった制約から、ある映像コンテンツを様々なネットワークを介して様々な端末へ伝送しオンライン再生を行うといった環境の実現はきわめて困難となっている。このような状況を改善するため、従来、MPEGなどの国際標準映像符号化方式に従う圧縮映像コンテンツを異なるビットレートや解像度へ変換するビデオトランスコーディングの技術が開発されている(特開2001-268571号公報など)。このようなトランスコーディング技術を用いることで、端末が接続されるネットワークの帯域に合わせた映像コンテンツへ変換したり、端末が受信できる映像解像度(画素数・秒あたりのフレーム数)に合わせた映像コンテンツの提供が可能となる。
【０００４】
【特許文献１】特開2001-268571号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のビデオトランスコーディングにおいては、入力される画像フレーム全体を変換対象とするので、例えば、再生端末の表示画面が小さい場合(携帯端末など)には映像中の被写体がすべて均一に縮小され、映像中に注視すべき領域に限定して、その部分だけを画面全体に高精細表示する、といった空間的な適応再生が困難であった。
これらの表示を行うには、１）まずフレーム全体が縮小された映像コンテンツを受信し、その一部を再生端末側で拡大処理する、２）もとの映像コンテンツの解像度のまま受信し、再生端末側で適宜フレーム全体の縮小処理や一部切り出し処理を行う、といった工夫が必要であり、再生端末に対する情報伝送効率の観点からも、再生端末側の処理負荷の観点からも好ましい解決方法とはいえない。
上記に述べたような問題を解決するためには、ビデオトランスコーディング実行時に変換すべき画像領域を適応的に定めて変換を行うことが望ましい。
【０００６】
本発明は、このように映像コンテンツ再生端末側の表示ディスプレイの制約と映像再生に関わる要求条件に基づいて、元映像コンテンツを再生端末にとって最も望ましい形式に変換できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明では、デジタル映像コンテンツ中の注視領域を抽出するとともに、入力映像コンテンツの解像度情報と、出力映像コンテンツ解像度指定情報とに基づいて解像度変換比率を算出し、この算出された解像度変換比率と上記抽出された注視領域とに基づいて入力映像コンテンツの変換処理を行うようにしたものである。
【発明の効果】
【０００８】
本発明によれば、コンテンツ再生端末が要求する映像コンテンツの注視領域だけを、再生端末が再生可能な解像度にあわせて適応化できるので、コンテンツ再生端末側での必要以上の画像処理無しに再生の柔軟性を実現できる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
本実施の形態では、本発明の具体的な実施構成を説明するのに望ましい例として、本発明によるコンテンツ適応化装置を含むコンテンツ適応化システムを想定する。図１に示すような本実施の形態におけるコンテンツ適応化システムは、ネットワーク３と、それに接続されるコンテンツサーバ１、コンテンツ再生端末４、コンテンツ適応化装置５とから構成される。
コンテンツサーバ１には、複数の高解像度・高品質の映像コンテンツが蓄積されており、外部からの要求に沿う映像コンテンツ２をネットワーク３を通じて配信する。コンテンツ再生端末４は、コンテンツサーバ１に対して再生したい映像コンテンツを要求し、ネットワーク３を通じて配信される映像コンテンツを受信し再生する。ここで、コンテンツ再生端末４が、コンテンツサーバ１から送出される映像コンテンツをそのままの映像フォーマットでは受信できない状態を想定する。特に、各映像フレームの水平・垂直サイズ(画素数、走査線数)について、コンテンツ再生端末４が受信できるサイズが、コンテンツサーバ１から送出される映像コンテンツのサイズよりも小さいものとする。
【００１０】
このような状況において、コンテンツ適応化装置５は、コンテンツサーバ１から送出される映像コンテンツをコンテンツ再生端末４における再生に適した形式に適応化し変換済み映像コンテンツ６として送出する。コンテンツ適応化装置５を介することにより、コンテンツ再生端末４は、コンテンツサーバ１に要求した映像コンテンツを変換済み映像コンテンツ６として受信し、再生することができる。
このようなシステムを前提として、以下、本実施形態のコンテンツ適応化装置５の構成・動作について詳しく説明する。本実施の形態におけるコンテンツ適応化装置５は、端末側からの指定に基づいて、入力映像コンテンツ２のうち変換対象となる画像領域を変化させながら、変換済み映像コンテンツ６を生成することを特徴とする。
このようなコンテンツ適応化装置５を用いることで、コンテンツ再生端末４を、真に必要とする映像情報を必要最小限のコストで受信・再生するように構成することができる。なお、以降の説明において、コンテンツ適応化装置５の動作の立場から、変換済み映像コンテンツ６は「出力映像コンテンツ」と記載する。
【００１１】
本実施の形態におけるコンテンツ適応化装置５は、入力映像コンテンツに対して、所定の映像特徴量に関するアクティビティが高い領域を自動検知して、アクティビティが高い領域を包含する矩形画像領域を抽出する機能を備え、ユーザからの指定に基づいて、入力映像コンテンツ全体を縮小するか、または、入力映像コンテンツの解像度を保ったまま上記アクティビティが高い領域を切り出す処理を選択して、コンテンツ再生端末４のディスプレイサイズに合致する出力映像コンテンツを出力する機能を備えることを特徴とする。
映像特徴量については種々の情報が定義可能であるが、本実施例では特に入力映像コンテンツ中の動きの情報に着目する。
本実施の形態のコンテンツ適応化装置５によって実現される具体的な機能の例を、図２を用いて説明する。図２において、入力映像コンテンツのうち、破線の矩形で示される領域がアクティビティの高い領域として抽出されたとする(図中に明示されていないが、破線領域内に例えば人物などの動きのあるオブジェクトが存在するなどの事例を想定する)。
【００１２】
もともとの入力映像コンテンツの解像度は、コンテンツ適応化装置５にて出力映像コンテンツの解像度へ変換されなければならないが、この際、本実施形態のコンテンツ適応化装置５によれば、入力映像コンテンツのフレーム全体を縮小して出力映像コンテンツを生成する方法と、上記破線で示される高アクティビティ領域を出力映像コンテンツのフレームサイズで切り出して解像度をダウンコンバートすることなしに出力映像コンテンツを生成する方法とを選択することが可能になる。
これによって、コンテンツ再生端末４側でのコンテンツ再生の柔軟性が向上するという効果が得られる。また、どちらを選択するにせよ、コンテンツ適応化装置５からコンテンツ再生端末４へ伝送される画素数は同じであるため、再生端末４側に無駄な情報を伝送する必要もない。
【００１３】
また、コンテンツ適応化装置５は、入出力映像コンテンツとして、国際標準方式として広く普及しているMPEGフォーマットを想定する。MPEGフォーマットでは、映像コンテンツの各フレームがマクロブロックと呼ばれる１６画素×１６走査線の矩形ブロックに分割され、マクロブロックの単位でデジタル圧縮符号化が行われる。よって、原則として入力映像コンテンツの画像解像度は、水平・垂直方向ともに１６の整数倍の値となる。本コンテンツ適応化装置５は、入力と出力がともにMPEGフォーマットであることを利用して、入力映像コンテンツの各マクロブロックの圧縮符号化データを出力映像コンテンツ生成処理に再利用することにより、変換処理を効率化する。
【００１４】
図３に本実施の形態におけるコンテンツ適応化装置５の内部構成を示す。また、図４に図３のコンテンツ適応化装置５の処理フローを示す。
まず、コンテンツ適応化装置５は、コンテンツサーバ１より入力映像コンテンツ２および入力映像コンテンツ解像度情報７を、コンテンツ再生端末４より出力映像コンテンツ解像度指定情報８、注視領域再生指示情報９を入力として受け取る。
出力映像コンテンツ解像度指定情報８、注視領域再生指示情報９は、コンテンツサーバ１が仲介してコンテンツ適応化装置５へ受け渡す構成をとってもよい。コンテンツ適応化装置５は、注視領域再生指示情報９を確認し、同情報の状態に基づいて以降の処理を切り替える(ステップS1)。
【００１５】
注視領域再生指示情報９が「注視領域を再生する」を示している場合は、入力映像コンテンツ２の映像データを解析し、注視領域とすべき画像領域を抽出する(ステップS2)。この処理は、注視領域抽出部１０で行われる。
注視領域の抽出結果は、この実施形態では注視領域の始点となるマクロブロック位置の座標情報(変換処理始点１１)であり、注視領域再生指示情報９が「注視領域の再生は行わない」ことを示している場合は、本処理は行われないが、等価的に本処理の結果として変換処理始点１１には入力映像コンテンツの第1マクロブロックの位置が設定されることになる。処理詳細は後述する。
【００１６】
ステップS1において「注視領域の再生は行わない」と判断された場合は、解像度変換比率決定処理に移る(ステップS3)。この処理は解像度変換比率決定部１２で行われる。具体的には、入力映像コンテンツ解像度情報７と、出力映像コンテンツ解像度指定情報８とから入出力映像コンテンツ間の解像度変換比率１３を求め、それに基づいて入力映像コンテンツのマクロブロック符号化情報の、出力マクロブロック情報へのマッピング比率を求める処理に該当する。注視領域再生指示情報９が「注視領域を再生する」を示している場合は、本処理は行われないが、等価的に解像度変換比率１３は「１」となる。詳細は後述する。
【００１７】
次いで、変換処理始点１１、解像度変換比率１３の2つのパラメータを用いて、入力映像コンテンツの変換処理を行う(ステップS4)。この処理は映像コンテンツ変換部１４で行われる。基本処理としては、入力映像コンテンツの各フレームを一旦復号し、さらに復号過程で圧縮符号化データから抽出した入力映像コンテンツのマクロブロック情報を用いて出力映像コンテンツのマクロブロック情報を生成する処理を行い、その結果を用いて上記復号画像へ戻された入力映像コンテンツを再符号化することによって出力映像コンテンツを生成する。
つまり、この処理過程において、変換処理始点１１は入力映像コンテンツのマクロブロック情報をマッピングする処理を開始する点を指定することになり、解像度変換比率１３は入力映像コンテンツのマクロブロック情報を何個まとめてマッピングするかを規定することとなる。これらのパラメータは本実施の形態におけるコンテンツ適応化装置５が実現する領域適応映像コンテンツ適応化に不可欠な情報である。
【００１８】
以下、各処理について詳細に説明する。
注視領域抽出処理(ステップS2)
注視領域抽出部１０における注視領域抽出処理＝変換処理始点１１決定処理について説明する。本実施の形態では、予め注視領域の候補となる複数の領域を領域群として定めておく。注視領域は、入力映像コンテンツ中、動きのアクティビティが所定の閾値よりも大きい画像領域と定義する。動きのアクティビティは入力映像コンテンツのマクロブロック符号化データである動きベクトルの大きさＥｋ(k：フレーム内におけるマクロブロックのインクリメントカウンタ)の領域内和 Σ Ｅｋで定義する。
Σ Ｅｋをフレーム中のすべてのマクロブロックを始点とする領域に適用するのは演算コスト面で負荷が高くなるため、ここでは、あらかじめ始点の候補を数点に限定する。具体的な例を図５に示す。一番大きな矩形が入力映像コンテンツのフレーム解像度であり、図５(a)は出力映像コンテンツの解像度が入力映像コンテンツの解像度のちょうど縦横2分の1のサイズである場合、図５(b)は出力映像コンテンツの解像度が入力映像コンテンツの解像度のちょうど縦横4分の1のサイズである場合の例である。×印が注視領域の始点を示す。(a),(b)のいずれが選択されるかは、コンテンツ適応化装置５に入力される出力映像コンテンツ解像度指定情報８に拠る。個々の注視領域候補は水平・垂直ともにマクロブロックの整数倍のサイズであるものとする。もちろん、これらは設定の例に過ぎず、これ以外にも様々な設定の方法が考えられる。注視領域抽出部は、図５のように設定された注視領域候補のそれぞれについてアクティビティ Σ Ｅｋを求め、最も大きなアクティビティを有する領域を注視領域として抽出する。
【００１９】
なお、図５のように定められた各々の注視領域候補は空間的に分散しているため、フレーム単位で注視領域を切り替えることは再生映像として見苦しい状態になる。このような頻繁な注視領域の変動を回避するため、注視領域の変更は、例えばコンテンツサーバ１ないしはコンテンツ再生端末４から明示的に注視領域変更要求がなされた場合、所定の時間間隔、異なる注視領域候補にて極端にアクティビティが高くなる状態が発生した場合など、なんらかのトリガ（注視領域変更トリガ）による切り替えに限定するものとする。図示していないが、本注視領域変更トリガは注視領域抽出部１０の内部で入力映像コンテンツを解析する過程で検出される情報でもよいし、外部信号として注視領域抽出部１０に供給される情報でもよい。
【００２０】
解像度変換比率決定処理(ステップS3)
解像度変換比率決定部１２における解像度変換比率１３を決定する処理について説明する。一般に図１のようなシステムにおいては、入力映像コンテンツ解像度７ ＞＝ 出力映像コンテンツ解像度指定情報８であり、入力映像コンテンツ解像度情報７と出力映像コンテンツ解像度指定情報８とが一致しないときは、入力映像コンテンツのマクロブロック情報と出力映像コンテンツのマクロブロック情報とのマッピングを容易にするために、入力映像コンテンツ解像度を水平・垂直とも同じく２Ｒ分の１(Rは正の整数)に解像度変換することが望ましい。
例えば、入力映像コンテンツ解像度がCIF(352画素×288走査線)で出力映像コンテンツ解像度がQCIF(176画素×144走査線)の場合、上記Rがちょうど１となる。このとき、入力映像コンテンツの4つのマクロブロックがちょうど出力映像コンテンツの１つのマクロブロックに対応し、入力・出力間でマクロブロック情報のマッピングを行いやすい。このRを、入力映像コンテンツ解像度情報７と出力映像コンテンツ解像度指定情報８とから定まる解像度変換比率１３とする。
【００２１】
実応用上、Rはたかだか１〜３程度の値しか使用されない。その理由は、Rが４ともなると入力映像コンテンツ解像度に対して水平・垂直各1/16の画像サイズとなり、入力映像コンテンツがHDTVであっても出力は携帯電話等に用いられるような小型の表示装置が有する解像度よりも小さくなるからである。Rが大きくなるほど入出力間の圧縮符号化データマッピングの精度が落ちるため、変換処理性能的にも好ましくない。
【００２２】
一方、実際上は、出力映像コンテンツ解像度指定情報８が、必ずしも入力映像コンテンツ解像度の２Ｒ分の１の解像度に合致しないという問題がある。
例えば、入力映像コンテンツとしてITU-R BT.601フォーマット、704画素×480走査線の映像を圧縮符号化したコンテンツを想定し、出力映像コンテンツ解像度指定情報８としてQCIF(176画素×144走査線)が指定される場合を考える。いずれも水平・垂直ともにマクロブロックの整数倍の解像度であるが、このとき、水平方向については、704/(2*2)=176 (R=2)でよいが、垂直方向を同様に考えると480/(2*2)=120となってしまい、出力映像コンテンツ解像度指定情報８が指定するQCIFとはならない。また、上記例では、垂直方向のR=2の場合の走査線数が16の倍数でなくなるため、マクロブロックを単位として再符号化するにはそぐわない走査線数となってしまう。
【００２３】
以上のことから、解像度変換比率１３としてRを求める解像度変換比率決定処理に加え、入力映像コンテンツ解像度情報７を２Ｒ分の１した結果が16の倍数となっているか否かを検証して、その結果を踏まえて最終的な出力映像コンテンツの変換処理を行う処理が必要となる。本実施の形態においては、この後者の処理は映像コンテンツ変換部１４における処理の一部として行われるもので、具体的には、映像コンテンツ変換処理の説明に後述する。
【００２４】
映像コンテンツ変換処理(ステップS4)
次に映像コンテンツ変換部１４における映像コンテンツ変換処理について説明する。
上述のとおり、ここでの基本処理としては、入力映像コンテンツの各フレームを一旦復号し、さらに復号過程で圧縮符号化データから抽出した入力映像コンテンツのマクロブロック情報を用いて出力映像コンテンツのマクロブロック情報を生成する処理を行い、その結果を用いて上記復号画像へ戻された入力映像コンテンツを再符号化することによって出力映像コンテンツを生成する。
この再符号化処理過程において、注視領域抽出部１０からの変換処理始点１１は入力映像コンテンツのマクロブロック情報をマッピングする処理を開始する点を指定するものであり、また解像度変換比率決定部１２からの解像度変換比率１３は入力映像コンテンツのマクロブロック情報を何個まとめてマッピングするかを規定することとなるものであり、これらのパラメータを用いて再符号化が行われて出力映像コンテンツが生成される。
【００２５】
また、以下に特にこの映像コンテンツ変換処理における特異処置について説明する。
上記注視領域抽出の結果、入力映像コンテンツの各フレームにおける特定の画像領域だけを変換することになった場合、該特定画像領域のエッジに位置するマクロブロックについて特別な処置が必要となる。そのようなマクロブロックに含まれる動きベクトルは、入力映像コンテンツ中ではフレームの内部を指すベクトルになっていても、出力映像コンテンツではフレームの外部を指すベクトルになることがあるが、このようなベクトルをそのまま使用することにより、出力映像コンテンツの画面端における符号化効率が低下することがある。
【００２６】
この課題を解決する方法は種々考えられるが、例えば、入力映像コンテンツの動きベクトルを、出力映像コンテンツの動きベクトルへマッピングした結果が、出力映像コンテンツの画面外部を指す場合にのみ動きベクトルの再探索を実施する。また、解像度変換を伴う場合(例えばR=1の場合)、入力映像コンテンツの4つのマクロブロックを出力映像コンテンツの1つのマクロブロックにマッピングするため、入力映像コンテンツの4つのマクロブロックに含まれる動きベクトルのうち、画面内を指すベクトルを出力映像コンテンツの動きベクトルとして選択する、などといった処理としてもよい。
【００２７】
また、上記解像度変換比率決定処理(ステップ3)において説明したように、実際上は、出力映像コンテンツ解像度指定情報８が、必ずしも入力映像コンテンツ解像度の２Ｒ分の１の解像度に合致しないという場合があり、このような場合の映像コンテンツ変換処理について以下に説明する。入力映像コンテンツ解像度情報７が２Ｒ分の１した結果が16の倍数となっているか否かを検証して、その結果を踏まえて最終的な出力映像コンテンツの変換処理を行う。
【００２８】
まず、解像度変換比率決定部１２において決定された解像度変換比率１３に基づいて入力映像コンテンツの解像度７をダウンスケーリングした結果と、出力映像コンテンツ解像度指定情報８とのいずれをも下回る値で、かつマクロブロックの整数倍となる解像度のうち最大となる暫定値を求める。そして、その暫定解像度で再符号化を行い、かつ暫定解像度と、出力映像コンテンツ解像度指定情報８による解像度との間の差に対応する符号化データをダミーの符号化データで埋めるものである。
例えば、入力映像コンテンツの解像度７が320画素×240走査線のQVGA解像度を示し、出力映像コンテンツ解像度指定情報８がQCIF(176画素×144走査線)の場合を例にとると、暫定値は水平方向が160、垂直方向が112となる。その結果、水平方向に1マクロブロック分(16画素)、垂直方向に２マクロブロック分(32走査線)のダミーデータを付与することで最終的な出力映像コンテンツの解像度を出力映像コンテンツ解像度指定情報８にあわせこむ（図６参照）。
【００２９】
ダミーの符号化データとは例えば、イントラ(フレーム内)符号化されるフレームにおいては黒、グレイなどの単色データを符号化したデータを追加し、インター(フレーム間予測)符号化されるフレームにおいてはイントラ符号化されるフレームのダミーデータの情報をそのままコピーする符号化モードに強制的に設定する符号化データを付与するといった方法で実現できる。上記単色データには、あらかじめ定められる背景画像などを使用してもよいが、単色データとすることで符号化すべきAC成分が必要なくなるため、符号化効率上は単色データのほうが望ましい。
【００３０】
また、符号化方式によっては、近傍マクロブロックの情報を予測に用いるなどしてマクロブロックの符号化・復号を行う方式があるため、ダミー符号化データの挿入を行う際、ダミーデータが意図的に挿入されたことを認識できないデコーダ側での動作をも予測して符号化データを生成する必要がある。これを逐一厳密に行うことはコンテンツ適応化装置５自体の処理負荷を増加させることになる。一般に、MPEGなどの動画像符号化方式においては、フレーム内・フレーム間予測ないしは可変長符号化された映像圧縮データに生じる伝送誤りが時間方向・空間方向に伝播するのを抑止する目的で、圧縮符号化の近傍依存性を断絶するスライス・ビデオパケットといった構造が定義されている。そこで、ダミー符号化データを挿入する際、ダミー符号化データの部分を本来の映像データとは別のスライスないしはビデオパケットとなるようシンタックスを構成することで、上記のようなデコーダでの近傍依存性のある動作を想定したダミー符号化データの生成を一切行うことなくコンテンツ適応化装置５を構成することができる
【００３１】
以上のようなコンテンツ適応化装置５により、コンテンツ再生端末４は要求した映像コンテンツを自身の再生可能な解像度にあわせて画面全体再生が行えるだけでなく、注視領域だけをもとの映像コンテンツの解像度で再生することができる。よって、これら再生の柔軟性をコンテンツ再生端末４側で一切の画像処理無しに実現できるほか、常にコンテンツ再生端末４側では同一解像度の映像コンテンツを受信するため、情報伝送効率の観点でも適応再生のために無駄な情報を受信・再生する必要もない。
【００３２】
実施の形態２．
上記コンテンツ適応化装置５の効果を奏する具体的な応用事例として、例えば映像監視システムで複数の監視カメラからの映像をコンテンツサーバ１が集積して1画面に合成した映像を生成し、それを圧縮符号化して入力映像コンテンツとして送出するようなものがある。
この場合、コンテンツ適応化装置５に対する入力映像コンテンツは意味的に注視領域が合成画面の数だけ存在することになる。簡単のために、ちょうどコンテンツ再生端末４の再生解像度を有する監視カメラの映像が4台分合成された入力映像コンテンツがある場合を想定する。このとき、監視カメラにおける異常検知アラームは上述した注視領域変更トリガとする。すなわち、この異常検知アラームは、注視領域抽出部１０の内部で入力映像コンテンツを解析する過程で検出される情報でもよいし、外部信号として（例えば監視者の指示によって）注視領域抽出部１０に供給される情報でもよい。この場合、注視領域変更トリガとしては、領域変更することを指示するとともに、その変更領域を指定する情報を含むものになる。
【００３３】
このようなものにおいて、コンテンツ適応化装置５は通常は複数の監視カメラの映像を合成した結果の映像をコンテンツ再生端末４の解像度に合うように水平・垂直各2分の1に解像度変換して伝送する。そして、あるカメラで異常検知がなされた場合、そのアラームを受け取って該当するカメラの映像が合成される注視領域を特定し、これにより、その注視領域だけを本来のカメラが持つ解像度で高精細にコンテンツ再生端末４へ伝送する。これにより、再生端末４は、注視したい領域について、4台分合成されている場合よりも高精細な映像を得ることができるので、注視対象を詳細に監視することができる。
【００３４】
実施の形態３．
また、本発明のコンテンツ適応化装置５を用いたコンテンツ適応化システムの例として、図７のようなシステム構成とすることもできる。この場合、コンテンツサーバ１はコンテンツ適応化装置５を含む構成となっており、コンテンツサーバ１がコンテンツ適応化装置５の機能を包含することになる。
【００３５】
実施の形態４．
上記実施形態では、注視領域再生指示情報９が「注視領域を再生する」を示している場合（ステップS1でY）は、解像度変換比率決定処理(ステップS3)は行われず、等価的に解像度変換比率１３は「１」となる場合を示した。これは、注視領域を出力映像コンテンツのフレームサイズで切り出して解像度をダウンコンバートすることなしに出力映像コンテンツを生成するというものであるが、この発明では、注視領域を再生する場合でも、その注視領域の解像度を出力映像コンテンツ解像度指定情報８に対応して変えて出力映像コンテンツを生成してもよい。
【００３６】
この場合のフローチャートを図８に示す。注視領域抽出処理（ステップS2）の後に解像度変換比率決定処理(ステップS3)に進み、再生端末表示解像度８に対応して注視領域の解像度の変換比率を決定する。この場合も、実施形態１で説明したときと同様に、注視領域の解像度の変換比率による変換後解像度と出力映像コンテンツ解像度指定情報８と合致しないという場合があるので、映像コンテンツ変換処理(ステップS4)において、実施形態１と同様の再符号化処理を行う。
【００３７】
なお、上記実施の形態の説明では、注視領域抽出のキーとなる映像特徴量を動きのアクティビティ（入力映像コンテンツ中の動きの大きさ）としたが、この注視領域抽出のキーとなる映像特徴量は、注視領域抽出のトリガとなりうるいかなる情報でもよい。例えば、入力映像コンテンツ中の色をその映像特徴量として用い、特定の注目すべき色を検出するようにしてもよい。この場合、入力映像コンテンツ中に特定の色を含む領域が含まれている場合にのみ、その領域を含む注視領域を抽出するような構成とすることができる。さらに、入力映像コンテンツ中から人間の顔領域を抽出する機能があれば、人物を含む領域、ないしは顔特徴から特定の人物を含む映像領域を注視領域とすることもできる。
【００３８】
また、映像コンテンツ変換処理については、解像度に注目した変換動作を説明したが、コンテンツ適応化装置において、コンテンツのデータ形式、データビットレートなどの変換を行ってもよいことはいうまでもない。
【００３９】
なお、以上の実施形態の説明は、コンテンツを適応化する方法をも示すものである。それぞれの装置は、計算機で動作するソフトウエアで実現することもできる。
【図面の簡単な説明】
【００４０】
【図１】実施の形態1におけるコンテンツ適応化システムを示した構成図である。
【図２】コンテンツ適応化装置５による適応化処理例を説明する説明図である。
【図３】コンテンツ適応化装置５の構成を示した構成図である。
【図４】コンテンツ適応化装置５の処理フローを示したフローチャートである。
【図５】注視領域の具体的な設定例を示した説明図である。
【図６】解像度変換を含む映像コンテンツ変換処理の具体的な事例を示した説明図である。
【図７】コンテンツ適応化システムの別の例を示した構成図である。
【図８】コンテンツ適応化装置５の処理フローを示したフローチャートである。
【符号の説明】
【００４１】
１  コンテンツサーバ
２  入力映像コンテンツ
３  ネットワーク
４  コンテンツ再生端末
５  コンテンツ適応化装置
６  出力映像コンテンツ
７  入力映像コンテンツ解像度情報
８  出力映像コンテンツ解像度指定情報
９  注視領域再生指示情報
１０  注視領域抽出部
１１  変換処理始点
１２  解像度変換比率決定部
１３  解像度変換比率
１４  映像コンテンツ変換部
【図１】
2005341093.tif 000002
【図２】
2005341093.tif 000003
【図３】
2005341093.tif 000004
【図４】
2005341093.tif 000005
【図５】
2005341093.tif 000006
【図６】
2005341093.tif 000007
【図７】
2005341093.tif 000008
【図８】
2005341093.tif 000009