(57)【要約】通信ネットワークを通して少なくとも１つの受信機に接続される送信機を備えるシステムにおいて画像をリターゲティングする方法は、画像の特性マップを送信機により計算するステップ３５、通信ネットワークを通して送信機から少なくとも１つの受信機に画像と特性マップを送信するステップ３７、送信された特性マップに基づいて、送信された画像を少なくとも１つの受信機によりリターゲティングするステップ４１、を含む。
2013500667.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークを通して少なくとも１つの受信機に接続される送信機を備えるシステムにおいて画像をリターゲティングする方法であって、
前記画像の特性マップを前記送信機により計算するステップと、
前記通信ネットワークを通して前記送信機から前記少なくとも１つの受信機に前記画像と前記特性マップを送信するステップと、
送信された特性マップに基づいて、送信された画像を前記少なくとも１つの受信機によりリターゲティングするステップと、
を含むことを特徴とする方法。
【請求項２】
前記特性マップは、水平方向のスケーリング用と垂直方向のスケーリング用の２つの１次元特性曲線を含む、
請求項１記載の方法。
【請求項３】
前記システムは、複数の受信機を含む、
請求項１又は２記載の方法。
【請求項４】
画像をリターゲティングするシステムであって、
前記画像の特性マップを計算する特性マップ計算手段と、前記画像と前記特性マップを通信ネットワークに送信するネットワークインタフェースとを有する送信機と、
前記通信ネットワークに接続され、送信された画像及び特性マップを受信する受信手段と、受信された特性マップに基づいて、受信された画像をリターゲティングする画像変更手段とを有する受信機と、
を備えることを特徴とするシステム。
【請求項５】
画像をリターゲティングするシステムにおける送信機であって、
前記画像の特性マップを計算する特性マップ計算手段と、
前記画像と前記特性マップとを通信ネットワークに送信するネットワークインタフェースと、
を備えることを特徴とする送信機。
【請求項６】
画像をリターゲティングするシステムにおける受信機であって、
前記通信ネットワークに接続され、送信された画像及び特性マップを受信する受信手段と、
受信された特性マップに基づいて、受信された画像をリターゲティングする画像変更手段と、
を備えることを特徴とする受信機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージリターゲティング（image  retargeting）の分野に関する
【背景技術】
【０００２】
ディスプレイ技術分野における最近の発展は、表示サイズにおける大きな多様化を見せており、同じコンテンツは、異なる装置について異なる寸法及びアスペクト比で表示されることが要求される。典型的に、旧式のCRTテレビジョンの4:3の割合について記録された映像は、現在、16:9のワイドスクリーンTVで表示される。  
従って、本来意図されたディスプレイとは異なるディスプレイに画像を適合するアルゴリズムが必要とされている。
【０００３】
基本的な画像のサイズ変更技術は、線形なスケーリング又はトリミングである。しかし、これらの技術は、詳細の損失、異方性のスキッシュ又はストレッチ、トリミング窓の外の領域の抑圧による画質の低下を招く。  
従って、イメージコンテンツを考慮した画像の効果的な適合が必要とされる。係る知的な適合は、映像が考慮される場合に「イメージリターゲティング」又は「ビデオリターゲティング」として当該技術分野において知られている。
【０００４】
「知的に」画像を修正するため、様々な手法は、それぞれの画素について情報の値を定義する特性マップを使用している。  
例えば、文献EP1968008号は、“Seam  Curving”として知られるコンテンツ認識イメージリターゲティングの方法を開示している。エネルギーイメージとも呼ばれる、原画像からの特性マップは、輝度勾配関数であることがあるエネルギー関数に従って生成される。エネルギーイメージから、それぞれの継ぎ目が最小のエネルギーを有するように、最小化関数に従って１以上の継ぎ目が決定される。それぞれの継ぎ目は、異なるアスペクト比でコンテンツを保持するターゲット画像を取得するため、継ぎ目を抑圧又は複製することで原画像に適用される。
【０００５】
この技術は、３次元映像の空間−時間の立方体において２次元の継ぎ目の表面を定義することでビデオリターゲティングに拡張される。それぞれフレームとの表面の交点は、文献の意味において継ぎ目を定義する。多種多様の継ぎ目の表面は、継ぎ目が時間を通して適応的に変化するのを可能にし、時間的な一貫性を維持する。
【０００６】
どのリターゲティング方法が使用されようと、特性マップの計算は、コンピュータを駆使した演算である。これらコンテンツ認識リターゲティング方法により得られるリスケーリングの良好な品質は、良好な処理電力を使用することを必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
コンテンツ認識リスケーリング方法により達成される高品質を維持しつつ、計算のコストを低減する方法及び装置を実現することは有利なことである。
【課題を解決するための手段】
【０００８】
これらの課題のうちの１以上に対処するため、本発明の第一の態様では、通信ネットワークを通して少なくとも１つの受信機に接続される送信機を有するシステムにおける画像をリターゲッティングする方法は、画像の特性マップを送信機により計算するステップ、送信機から通信ネットワークを通して少なくとも１つの受信機に画像及び特性マップを送信するステップ、及び送信された特性マップに基づいて、送信された画像を少なくとも１つの受信機によりリターゲティングするステップと、を含む。
【０００９】
送信機レベルで特性マップを計算することで、このコンピュータを駆使した動作は、多数の受信機間で相互的になる。さらに、固有の特性マップは、最終的なアスペクト比がどのようなものであろうと使用可能である。それぞれの受信機のアスペクト比は、同じである必要がない。
【００１０】
また、本方法は、一般にハイエンドプロフェッショナル装置である送信機での計算を移すという利点を有する。反対に、受信機は、一般に、製造コストができるだけ低く維持される必要がある携帯電話又はTVセットのような汎用の周知の装置である。
【００１１】
また、特性マップの計算は、前もって良好に行われる場合があり、計算が必要とする時間を通して送信が平滑化するように要求されるまで、特性マップは、送信機に記憶される。
【００１２】
特定の実施の形態では、特性マップは、それぞれ水平及び垂直方向のスケーリングについて２つの１次元の特性曲線を有する。
【００１３】
この特性マップの変換は、通信ネットワークを通して送信すべきデータの量を大幅に低減する。
【００１４】
本発明の第二の態様において、画像をリターゲティングするシステムは、画像の特性マップを計算する特性マップ計算手段、画像と特性マップを通信ネットワークに送信するネットワークインタフェースを有する送信機と、通信ネットワークに接続され、送信された画像と送信された特性マップとを受信する受信手段、送信された特性マップに基づいて、送信された画像をリターゲティングする画像変更手段を有する受信機とを備える。
【００１５】
本発明の第三の態様では、画像をリターゲティングするシステムにおける送信機は、画像の特性マップを計算する特性マップ計算手段、画像と特性マップとを通信ネットワークに送信するネットワークインタフェースを有する。
【００１６】
本発明の第四の態様では、画像をリターゲティングするシステムにおける受信機は、通信ネットワークに接続され、送信された画像と送信された特性マップとを受信する受信手段、送信された特性マップに基づいて、送信された画像をリターゲティングする画像変更手段を有する。
【００１７】
画像のタイプに依存して、特定の実施の形態は、適用するのが容易であるとして、又は良好な結果を与えるとして好適とされる。しかし、これらの特定の実施の形態の態様は、必要に応じて結合されるか又は変更される。
【図面の簡単な説明】
【００１８】
本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかとなるであろう。
【図１】本発明の実施の形態に係るシステムの概念図である。
【図２】本発明の第一の実施の形態に係るリターゲティング方法のフローチャートである。
【図３】本発明の第二の実施の形態に係るリターゲティング方法のフローチャートである。
【図４】３つの異なる局所的な倍率曲線を示すグラフである。
【図５】８つの垂直方向のセクションと４つの水平方向のセクションに分割される画像を示す図である。
【図６】非線形の位置変換曲線の使用を例示する図である。
【図７】図６の非線形の位置変換曲線により得られるスケーリングされた画像を示す図である。
【図８】本発明の実施の形態に係る方法を使用することで得られる異なる倍率曲線を示す図である。
【図９】本発明の実施の形態に係る方法を使用することで得られる異なる倍率曲線を示す図である。
【図１０】本発明の実施の形態に係る方法を使用することで得られる異なる倍率曲線を示す図である。
【図１１】本発明の実施の形態に係る方法を使用することで得られる異なる倍率曲線を示す図である。
【図１２】本発明に係るアスペクト比を補正する第二の実施の形態の第一の変形例を例示するフローチャートである。
【図１３】本発明に係るアスペクト比を補正する第二の実施の形態の第二の変形例を例示するフローチャートである。
【図１４】図１３の変形例を例示する別のフローチャートである。
【発明を実施するための形態】
【００１９】
図１を参照して、インターネットのような通信ネットワーク１は、送信機３と少なくとも１つの受信機５を接続する。
【００２０】
送信機３は、送信機３を通信ネットワーク１に接続し、データを受信機５に送信するネットワークインタフェース７を有する。
【００２１】
送信機３は、計算手段９、記憶領域１１、及び、MPEG-2，MPEG-4又は他のフォーマットのような圧縮されたフォーマットで映像を転送する様々な入力源１３を有する。デコーダ１５は、受信されたビデオから未処理の画像データIMD-1、ピクチャのストリーム、計算手段９により使用されるフレーム当たり１つのピクチャを生成する。
【００２２】
受信機５は、送信機３のネットワークインタフェース７に類似するネットワークインタフェースである受信手段１７を有する。受信手段１７は、受信機５を、送信機３により送信されるデータを受信するため、通信ネットワーク１に接続される。
【００２３】
受信機５は、受信された画像をディスプレイ２１に適合される新たなアスペクト比にサイズ変更する画像変更手段１９を有する。
【００２４】
図２は、列におけるそれぞれの長方形が対応する装置において実行されるステップを示すフローチャートの形式で、送信機３と少なくとも１つの受信機５との間の関係を例示する。
【００２５】
ステップ３１で、送信機３は、その入力源１３のうちの１つを通してビデオストリームを受信する。ステップ３３で、ビデオストリームは、計算手段９に送出される未処理の画像のストリームにデコードされる。
【００２６】
ステップ３５で、計算手段９は、幾つかのエネルギー関数を使用することで、画像の特性マップを計算する。例えば、計算手段は、EP1968008に従って計算される特性マップを使用する。
【００２７】
ステップ３７で、それぞれの画像はその特性マップと共に受信機５に送信される。送信のスループットレートを最適化するため、画像とその特性マップは、公知のアルゴリズムを使用することで圧縮される場合がある。例えば、圧縮ステップを回避するため、送信された画像は、入力源１３により受信された圧縮された画像である。従って、復号化された画像は、特性マップを計算するためにのみ使用される。
【００２８】
ステップ３９で、受信機５は、画像とその特性マップを受信し、必要に応じて、それらを復元する。画像変更手段により使用されるリターゲティング方法は、特性マップと互換性があるように選択される。例えば、特性マップがEP1968008に従って計算された場合、リターゲティング方法は、シームカービング方法である。
【００２９】
ステップ４３で、リターゲティング画像はディスプレイ２１に表示される。  
変形例において、ステップ５１で、ステップ３５で計算された特性マップは、送信される前にそれぞれ水平方向のスケーリング及び垂直方向のスケーリングについて２つの１次元の特性曲線に変換される。ステップ５３で、この変換は、送信する情報の量を大幅に低減する。
【００３０】
ステップ５５で、画像及び２つの１次元の特性曲線が受信され、次いで、ステップ５７で、１次元の特性曲線は、スケーリング曲線を計算するために受信機により使用され、ステップ５９で、スケーリング曲線は、受信された画像にリターゲティングを施すために受信された画像に適用される。
【００３１】
図４は、３つの例示的なスケーリング曲線、及びより詳細には局所的な倍率を示す倍率曲線を示す。これらの曲線は、一定の倍率の乗数による１つの線形のスケーリングカーブ、負の乗数をもつ１つの線形のスケーリングカーブ、及びいわゆる「バスタブ」カーブである。バスタブカーブの形状は、画像の中央では１のスケーリングが使用され画像のエッジに向かって倍率が増加する。画像の中央での１のスケーリングは、画像の中央でのオブジェクトが歪められないままであることを意味する。通常、倍率は、０．５と２．０との間である。
【００３２】
図５〜図７は、非線形のスケーリングカーブ及びより詳細には位置変換（又はマッピング）カーブの使用による非線形の画像のスケーリングを例示する。位置変換曲線は、倍率曲線の積分として得られる。図５は、等しい幅をもつ８つの垂直方向のセクション及び等しい幅をもつ４つの水平方向のセクションに分割される画像６１を示す。画像の１つのコーナから反対のコーナへの直線６３が示されている。
【００３３】
図７に示されるような非線形にスケーリングされた画像６７に到達するため、図６に示されるような非線形の位置変換曲線６５が使用される。図６は、画像のスケーリング曲線、すなわち位置変換曲線を示しており、この曲線は、倍率曲線の積分として得られる。水平／垂直の倍率曲線は、水平／垂直位置変換曲線が得られるように、水平／垂直の位置を通して積分される必要がある。この図では、画像のエッジ近くで、垂直方向のセクションは狭くなり、中央近くで、水平方向のセクションは変更されないままである。この種の曲線を使用することで、画像の大部分の重要な画像は画像の中央近くで発見されることが想定される。図７において、傾斜角の直線６３は、水平方向における非線形のスケーリングのために曲線６９として表示される。
【００３４】
しかし、大部分の関連する情報は画像の中央近くで常に発見されるものではないことに留意されたい。このため、異なるスケーリングカーブを使用することができる。
【００３５】
使用するスケーリングカーブを決定するため、局所的な特性に関する情報、すなわちそれぞれの画素の特性は、より詳細に後に説明されるように、１つの方向（水平方向又は垂直方向）で蓄積される。蓄積された局所的な特性は、異なるスケーリングカーブのコストを計算するために使用される。この例では、最初の水平及び／又は水平方向のスケーリングカーブのセットが定義され、このセットは、標準的なカーブ、すなわち「バスタブ」カーブを含むが、標準的なカーブが機能しない場合に適したカーブを含む。これは、最も重要なオブジェクトがスクリーンのサイドパネル近くにあるときに主に生じる。記憶された最初のスケーリングカーブの数は、少なくとも２であるが、画像における画素数よりも少ない。大部分の応用では、３〜１０の最初のスケーリングカーブの使用で十分である。
【００３６】
現在の画像の顕著な特徴又は局所的な特性が与えられると、これらの最初のカーブのそれぞれの「コスト」が計算される。局所的なスケーリングファクタが１のスケーリング（スケーリングファクタ１）により異なると、コストがより増加するように、スケーリングカーブのコストは、画像における顔、移動する物体等のような不可欠なオブジェクトの位置に依存する。言い換えれば、スケーリングファクタが１とは異なる位置における多数の顕著な特徴は、高いコスト値に繋がる。コスト値の計算について、スケーリングファクタが１である位置における顕著な特徴は無視することができる。
【００３７】
実際の画像のリスケーリングにおいて使用されるスケーリングカーブ、すなわち位置変換曲線は、重みが上述されたコストに逆相関する個々の曲線の加重平均として計算される。これは、予め定義されたスケーリングカーブのコストの増加につれて重みが減少することを意味する。全ての候補となる曲線（水平方向及び垂直方向のスケーリングカーブの両者）は、それぞれに所望のアスペクト比の変化を引き起こす。重みの総和が１に等しい場合、結果として得られる曲線は、所望のアスペクト比の変化を招く。入力ビデオ系列が良好な時間安定性（シーン変化なし）を有する場合、重みは次第に変化し、出力のリターゲティングされたビデオを時間的に安定させる。低い時間的な安定度の入力ビデオの場合（シーン変化）、出力は、前のシーンからの影響を残すことなしに、更新されたコストに即座に反応する。結果的に、提案されたリスケーリング方法の理解された時間的な安定は、新たなショットへの迅速な適合を妨げない。さらに、野心的に多かれ少なかれ最初の曲線を選択することで（すなわち曲線は標準的な曲線とは異なる）、アスペクト比の訂正のアーチファクトが僅かであることが保証される。
【００３８】
表１〜４は、イメージスケーリングにおいて使用される正確な倍率曲線を計算する具体的な例である。表において、それぞれの列は、画像における特定の水平方向の位置を表す。簡単さのため、これらの例における予め定義されたスケーリング曲線は、即ち値１及び値２といった２つの異なる倍率値のみを使用する。これらの倍率値は、より一般的な用語において、局所的な倍率値又は局所的なスケーリング曲線と呼ばれる。従って、予め定義されたスケーリングカーブは、互いに密着されていると考えられる幾つかの局所的なスケーリングカーブから構成されていると考えることができる。予め定義されたスケーリングカーブのセットは、それぞれの例において３つのスケーリングカーブを含む。表で示されている品質の数字は、先に説明された画像における局所的な特性を考慮することで、予め定義されたセットにおいてそれぞれの曲線について計算されたコスト値と逆相関する。最終的なスケーリングカーブについて、それぞれの位置Ｙについて、１つの方向、すなわち水平方向または垂直方向における結果として得られる倍率は、以下の式を使用することで計算することができる。
【００３９】
【数１】
2013500667.tif 000003
【００４０】
表１−例１
【表１】
2013500667.tif 000004
【００４１】
表２−例２
【表２】
2013500667.tif 000005
【００４２】
表３−例３
【表３】
2013500667.tif 000006
【００４３】
表４−例４
【表４】
2013500667.tif 000007
表１，表２，表３及び表４について結果として得られる最終的な倍率曲線は、図８，図９，図１０及び図１１のそれぞれについて示される。これらの図に示される曲線は、倍率における突然の変化を示しており、従って、受け入れられない歪みを回避するため、これらの曲線は、例えばフィルタリングにより平滑化される必要があるか、又は滑らかな曲線から開始することで平滑化される必要がある。
【００４４】
２つの１次元の特性マップに特性マップを変換するため、図１２において、局所的な特性、すなわちそれぞれの画素の特性は、ステップ７１において、２次元の特性マップの第二の方向（この例では水平方向）における１次元の投影を取得するために、垂直方向のような第一の方向において蓄積される。ある方向への投影は、投影が１画素のラインよりも広い幅である列（又は行）を通して行われる状況をカバーする。言い換えれば、投影は、受信された画像における個々の画素の局所的な特性を投影するか、蓄積する方向に直交する画素のグループを通して局所的な特性の組み合わせを投影する。局所的な特性の組み合わせは、例えば中間又は加重平均を使用することを可能にする。
【００４５】
ステップ７３で、最初のスケーリングカーブのセットが取得される。ステップ７５で、画像における局所的な特性を考慮することで、先に説明されたような異なる最初の曲線についてコストが計算される。そして、ステップ７７で、計算されたコストに基づいて、新たなスケーリング曲線が計算される。最終的に、ステップ７９で、新たなスケーリングカーブを適用することで第二の方向（この例では水平方向）において、画像がリスーリングされる。画像は、ユーザに表示されるように準備される。第二の方向は、第一の方向に対して実質的に直交する。なお、この例では、スケーリングはたった１つの方向において適用されたが、水平方向と垂直方向の量方向においてスケーリングを適用することも同様に可能である。
【００４６】
この変形例の別の実施の形態では、ステップ７１で、第二の方向における１次元の投影が取得される。この投影では、ピークは、顕著な特徴の位置を示す。次に、ステップ８１で、作成された投影が反転され、局所的な拡大係数のプロファイルが取得される。この反転は、顕著な特徴について、１に近い拡大係数が望まれる（すなわち余分な拡大がない）ために行われる。また、ステップ８３で、局所的な拡大係数が平滑化される。次いで、局所的な拡大プロファイルは、画像をリターゲティングするために、スケーリングカーブとして使用される。この方法の例は、図１４で示される。
【００４７】
局所的な拡大係数のプロファイルは、最終的なアスペクト比とは独立であるので、送信機のレベルで計算される。その場合、１次元の特性曲線と同じ役割を果たす。結果的に、画像に適用される最終的なアスペクト比とは独立に、特性情報を受信機に伝達する全てのデータを含むものとして、用語「送信された特性マップ」が理解される必要がある。
【００４８】
本方法は、画像サイズ変更装置のコンピュータ手段にロードされ、実行されたときに、上述された方法ステップの何れかを実現可能なコンピュータプログラムプロダクトにより実現される。コンピュータプログラムは、他のハードウェアと一緒に供給されるか、又は他のハードウェアの一部として供給される適切な媒で記憶／配信される場合があるが、インターネット或いは他の有線又は無線電気通信システムを介するような、他の形式で配信される場合がある。  
集積回路は、開示される実施の形態に従って方法ステップの何れかを実行するために構成される。
【００４９】
本発明は図面及び上述された説明において詳細に例示及び記載されたが、係る例示及び説明は、例示的なものであって、限定的なものと解釈されるべきではなく、本発明は、開示される実施の形態に限定されない。
【００５０】
例えば、受信機５は、TVセットの一部であるか、例えばHDMIインタフェースを通してTVセットに接続されるセットトップボックスに統合される場合がある。しかし、受信機は、ビデオストリームを受信及び表示可能な移動体端末の一部である場合がある。
【００５１】
開示される実施の形態に対する他の変形例は、図面、明細書の開示及び特許請求の範囲の理解から、特許請求された発明の実施において当業者により理解及び実施することができる。請求項において、単語「備える“comprising”」は、他の構成要素を排除するものではなく、不定冠詞“a”又は“an”は、複数であることを排除するものではない。
【図１】
2013500667.tif 000008
【図２】
2013500667.tif 000009
【図３】
2013500667.tif 000010
【図４】
2013500667.tif 000011
【図５】
2013500667.tif 000012
【図６】
2013500667.tif 000013
【図７】
2013500667.tif 000014
【図８】
2013500667.tif 000015
【図９】
2013500667.tif 000016
【図１０】
2013500667.tif 000017
【図１１】
2013500667.tif 000018
【図１２】
2013500667.tif 000019
【図１３】
2013500667.tif 000020
【図１４】
2013500667.tif 000021
【国際調査報告】
2013500667.tif 000022
2013500667.tif 000023
2013500667.tif 000024