(57)【要約】  画素のマトリックスにより規定され、オーバーレイグラフィックを有する画像をリターゲッティングする方法は、画像から前記オーバーレイを抽出するステップ（１１）と、エネルギー関数に対して中立な画素と前記オーバーレイの位置の画素を置き換えることにより画像を修正するステップ（１３）と、画素エネルギー関数に基づいて修正された画像の顕著性マップを演算するステップ（１５）と、顕著性マップに基づいて、修正された画像をリターゲッティングするステップ（１７）と、リターゲッティングされた画像に前記オーバーレイグラフィックを付加して戻すステップ（１９）と、を有する方法である。
2012532553.tif 000002
【特許請求の範囲】
【請求項１】
画像をリターゲッティングする方法であって、前記画像は、画素のマトリックスにより規定され、オーバーレイグラフィックを有する、方法であり：
前記画像から前記オーバーレイを抽出するステップ；
エネルギー関数に対して中立な画素と前記オーバーレイの位置の画素を置き換えることにより前記画像を修正するステップ；
画素エネルギー関数に基づいて前記修正された画像の顕著性マップを演算するステップ；
前記顕著性マップに基づいて、前記修正された画像をリターゲッティングするステップ；及び
前記リターゲッティングされた画像に前記オーバーレイグラフィックを付加して戻すステップ；
を有する方法。
【請求項２】
前記オーバーレイグラフィックは、付加して戻される前に、調整される、請求項１に記載の方法。
【請求項３】
前記オーバーレイグラフィックは、次の動作であって、前記リターゲッティングされた画像の寸法、分解能改善、及びコントラスト改善に前記オーバーレイグラフィックの寸法を適合させるためにスケーリングする動作の少なくとも一の動作により適合される、請求項２に記載の方法。
【請求項４】
前記修正された画像はシームカービングによりリターゲッティングされ、前記シームカービングは前記基底された画素エネルギー関数を用いる、請求項１に記載の方法。
【請求項５】
前記画素エネルギー関数は前記画像の勾配に基づく、請求項１に記載の方法。
【請求項６】
前記置き換える画素は周囲の画素の平均である、請求項１に記載の方法。
【請求項７】
前記オーバーレイグラフィックは付加して戻されるとき、オーバーレイグラフィックの位置及びサイズは、前記リターゲッティングされた画像に関する前記オーバーレイグラフィックの抽出により導入されるアーティファクトを最小化するように調整される、請求項１に記載の方法。
【請求項８】
前記オーバーレイグラフィックの位置及びサイズは、抽出の前に記憶され、前記位置及び前記サイズは、前記付加して戻されたオーバーレイグラフィックの新しい位置及びサイズを規定するようにリターゲッティング中に、前記画像と共にサイズ変更される、請求項７に記載の方法。
【請求項９】
前記画像のコンテントに適合された画素と前記オーバーレイグラフィックを置き換えることによる前記オーバーレイグラフィックの抽出後に、第２の画像が生成され、前記第２の画像は、前記修正された画像に代えて、前記演算された顕著性マップに基づいてリターゲッティングされる、請求項１に記載の方法。
【請求項１０】
前記オーバーレイグラフィックは、サブタイトル、ロゴ、ティッカーテープ及びスコアボードの少なくとも一を有する、請求項１乃至９の何れか一項に記載の方法。
【請求項１１】
装置のコンピュータ手段においてロードされて実行されるときに、請求項１乃至１０の何れか一項に従った方法のステップを実施する命令を有するコンピュータプログラム。
【請求項１２】
画像をリターゲッティングする装置であって：
画像を得る受信器であって、前記画像は、画素のマトリックスにより規定され、オーバーレイグラフィックを有する、受信器；
前記画像からの前記オーバーレイの抽出器；
エネルギー関数に対して中立な画素と前記オーバーレイの位置の画素を置き換えることにより前記画像を修正する画像修正器；
画素エネルギー関数に基づく前記修正された画像の顕著性マップ演算器；
前記顕著性マップに基づいて前記修正された画像をリターゲッティングするスケーラ；及び
前記リターゲッティングされた画像に前記オーバーレイグラフィックを付加して戻す合成器；
を有する装置。
【請求項１３】
前記合成器は、前記オーバーレイグラフィックが付加されて戻される前に、前記オーバーレイグラフィックを調整するオーバーレイグラフィック修正器を有する、請求項１２に記載の装置。
【請求項１４】
前記オーバーレイグラフィック修正器は、次の動作であって、前記リターゲッティングされた画像の寸法、分解能改善、及びコントラスト改善に、前記オーバーレイグラフィックの寸法を適合させるためにスケーリングする動作の少なくとも一の動作に進むことが可能である、請求項１３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のリターゲッティング（ｒｅｔａｒｇｅｔｉｎｇ）のための方法に関する。本発明は同様に、その方法のステップを実施するための対応する装置及び命令を有するコンピュータプログラムプロダクトに関する。
【背景技術】
【０００２】
ディスプレイ技術の分野の最近の進歩により、ディスプレイのサイズにおけるかなりの多様性が認識されるようになった。ディスプレイは、低解像度の携帯用装置から高解像度のワイドスクリーンまで多様である。コンピューティング及び通信インフラストラクチャは、このように今までに拡大しているディスプレイの集合に対して画像及び映像を支援するように発達してきている。ビジュアルコンテントは、映像機能及びホームネットワークメディアアプリケーションを有する携帯電話、携帯用パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ）等の装置において情報を共有し、表現し、交換するためにより重要になってきている。同じコンテントが、異なる装置について異なる次元及びアスペクト比で表示される必要がある。スケーリング及びクロッピングについての標準的画像処理方法が十分であると認識されていない。
【０００３】
ワイドスクリーンテレビの人気により、元々意図されたもの以外の、ディスプレイに映像を効果的に表示することが可能である効率的な解決方法が必要である。従来、テレビは、アスペクト比を自動的に調整する“ブラックバー検出”と呼ばれる方法を実行する。映像は、ブラックバーが消えるように、スケーリングされる。これは特に、レターボックス付けされたワイドスクリーンコンテントのための最新のワイドスクリーンフラットテレビにおいて行われる。しかしながら、ワイドスクリーンテレビで４：３比のコンテントを表示するためには、スケーリングの調整は歪をもたらす。
【０００４】
Ｂｒｉａｎ  Ｓｃｈｏｎｅｒ等による米国特許第７，３３９，６２７号明細書においては、画像を取り囲むブラックバーに基づくアスペクト比補正のための方法について記載されている。市場でテレビに適用されている一方、この方法は、元の映像が不正確に符号化される（インターネットショーからダウンロードされる多くの映像等）場合に、又は１６：９比のワイドスクリーンテレビにおいてさえ、ブラックバーが示される必要がある２．３５：１比のムーピーアスペクト比でのムービーのために、失敗する不利点を有する。
【０００５】
Ｐｈｉ１ｉｐｓ社製のテレビにおいては、パノラマストレッチの技術が１６：９比の表示で４：３比のコンテントを表示するだめに用いられ、その場合、画像の境界が、より広い幅のスクリーンを縮めるように伸縮される。その方法が基づいている、即ち、殆どの重要な情報が中央の表示にある前提はしばしば、良好な前提であるが、そのような異方性の伸縮は最適な解決方法でない多くのケースが存在する。より良好な解決方法が、ディスプレイの多様性のための有効なサイズ変更を可能にするために要請されている。
【０００６】
簡単なアスペクト比補正が、見るために適切な画像をレンダリングするのに＋分でないとき、画像のリターゲッティングが呼び出される。考慮中にコンテントを、即ち、シーンにおける重要なオブジェクトを取りながら、リターゲッティングは画像をスケーリングする。従って、それはしばしば、コンテントアウェアサイズ変更と呼ばれる。異なるリターゲッティング方法は、低レベルの視覚的顕著性か、顔検出のようなツールを介する高レベルの画像認識のどちらかに基づいて、重要な画像の特徴を識別する。重要な特徴に基づいて、リターゲッティング方法は、目標サイズにサイズ変更するように、あまり重要でない領域の画像を修正するように試みる。
【０００７】
リターゲッティング方法は通常は、４：３比のコンテントを１６：９比の表示に、又は全ての標準サイズのコンテントを２１：９比の表示に伸縮することが必要であるとき、有用である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第７，３３９，６２７号明細書
【発明の概要】
【課題を解決するための手段】
【０００９】
画像が、例えば、サブタイトル、ロゴ等のオーバーレイグラフィックと呼ばれる重ね合せるピクチャを有する１つのシーンを有するとき、リターゲッティング方法は、見え方のよいリターゲッティング画像をもたらさない。例えば、サブタイトルは、コンテントアウェアサイズ変更の不均一なスケーリングにより歪がもたらされる。
【００１０】
更に、オーバーレイグラフィックスは通常、準最適な結果に繋がるリターゲッティング方法により用いられるエネルギー関数に影響する。例えば、エネルギー関数はしばしば、画像の勾配に基づくため、オーバーレイグラフィックスで通常見られ、特にサブタイトルで見られる高コントラスト及び先鋭なエッジは、画像コンテントに依存して、画像の他のどこかのより大きい歪に繋がる。
【００１１】
従って、オーバーレイグラフィックスの外観を歪ませない、及びオーバーレイグラフィクスが画像リターゲッティングに影響を与えないリターゲッティング方法を達成することは有利である。
【００１２】
本発明の第１特徴において、それらの問題の１つ又は複数によりうまく対処するように、画素のマトリックスにより規定される画像をリターゲッティングし且つオーバーレイグラフィックを有する、方法は次のステップを有する。
●  画像からオーバーレイグラフィックを抽出するステップ
●  エネルギー関数に対して中立の画素とオーバーレイグラフィックの位置で画素を置き換えることにより画像を修正するステップ
●  画素エネルギー関数に基づいて、修正された画像の顕著性マップを演算するステップ
●  顕著性マップに基づいて、修正された画儀をリターゲッティングするステップ
●  リターゲッティングされた画像にオーバーレイグラフィックを付加して戻すステップ
有利に、その方法は、リターゲッティング処理の前に、オーバーレイグラフィックから画像を分離する。画像及びオーバーレイグラフィックは、リターゲッティング処理の後に再び、組み合わされる。
【００１３】
従って、オーバーレイグラフィックは、エネルギー関数に影響せず、非均一なスケーリングにより歪がもたらされない。
【００１４】
特定の実施形態においては、
●オーバーレイグラフィックは、付加して戻される前に調整され、例えば、オーバーレイグラフィックは、リターゲッティングされた画像の寸法にオーバーレイグラフィックの寸法を調整するためのスケーリングにより調節され、故に、オーバーレイグラフィックは好ましい見え方で表示され、
●  修正された画像は、規定された画素のエネルギー関数を用いるシームカービングによりリターゲッティングされるが、他のリターゲッティング方法がまた、有用であり、
●  画素エネルギー関数は画像における勾配に基づき、置き換え画素は、それらの置き換え画素によりもたられるエネルギーを最小化するように周囲の画素の平均であり、
●  オーバーレイグラフィックが付加して戻されるとき、オーバーレイグラフィックの位置及びサイズは、リターゲッティングされた画像におけるオーバーレイグラフィックの抽出により導入されるアーティファクトを最小化するように調整され、例えば、オーバーレイグラフィックの位置及びサイズは、抽出の前に、記億され、前記位置及び前記サイズは、付加して戻されるオーバーレイグラフィックの新しい位置及びサイズを規定するリターゲッティング中に、その画像と共にサイズ変更され、故に、調整されたオーバーレイグラフィックは、置き換え画素が置かれる鎮域の少なくとも一部を隠し、
●  第２の画像が、画像コンテントに対して調整される画素とオーバーレイグラフィック画素を置き換えることによるオーバーレイグラフィックの抽出の後に、生成され、修正される画像に代えて、第２の画像が、それら２つの動作の最良のものと一緒にして、リターゲッティングされる画像からの顕著性マップの演算を分離する有利点を有する、演算される顕著性マップに基づいてリターゲッティングされる。
【００１５】
本発明の第２の特徴においては、コンピュータプログラムプロダクトは、装置のコンピュータ手段においてロードされ且つ実行される、上記の方法のステップを実行する命令を有する。
【００１６】
本発明の第３の特徴においては、画像をリターゲッティングする装置は次の構成要素を有する。
●  画像を得る受信器であって、前記画像は画素のマトリックスにより規定され、オーバーレイグラフィックを有する、受信器
●  画像からのオーバーレイグラフィックの抽出器
●  エネルギー関数に対して中立の画素とオーバーレイグラフィックの位置の画素を置き換えることにより、画像を修正する画素修正器
●  画素エネルギー関数に基づく、前記修正された画像の顕著性マップ演算器
●  前記顕著性マップに基づく、前記修正された画像をリターゲッティングするスケーラ
●  リターゲッティングされた画像にオーバーレイグラフィックを付加して戻す合成器
画像の種類に依存して、特定の実施形態は、より容易に適合するように、又はより良好な結果を与えるように実行することが可能である。しかしながら、上記の特定の実施形態の特徴は、適切であるように又は望まれるように組み合わされる又は修正されることが可能である。
【００１７】
本発明の上記の及び他の特徴は、以下に記載する実施形態を参照することにより、明らかになり、理解することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に従った方法の複数のステップの結果の模式図である。
【図２】本発明の実施形態に従った方法のフローチャートである。
【図３】本発明の他の実施形態に従った方法のフローチャートである。
【図４】本発明の実施形態に従った装置の模式図である。
【発明を実施するための形態】
【００１９】
図１を参照するに、画像はサブタイトル３を有する。サブタイトルはオーバーレイグラフィックの例である。オーバーレイグラフィックは、ロゴ、ティッカーテープ、スポーツの試合のスコアボード等である。
【００２０】
第１のステップにおいては、サブタイトル３は、画像５を得るように、画像１から取り除かれる。
【００２１】
次いで、画像５は画像７にリターゲッティングされ、その画像７において、サブ夕イトル３が付加されて、最終的なリターゲッティング画像９を得る。
【００２２】
画像１をリターゲッティングする方法についてここで、図２を参照して詳細に説明する。
【００２３】
リターゲッティング方法は一般に、画素エネルギー関数、例えば、勾配に基づく関数を用いる。画像に適用されるとき、画素エネルギー関数は、低顕著性領域にスケーリング演算をフォーカシングするようにリターゲッティング方法により用いられる顕著性マップを規定する。
【００２４】
ステップ１１では、サブタイトルが検出される。これは、サブタイトルの検出のための有効なアルゴリズム、例えば、Ｒ．Ｌｉｅｎｈａｒｔ等による米国特許出願公開第２００２／０１５９６３６号明細書において開示されているアルゴリズムを用いて、行われる。
【００２５】
サブタイトルの画素としてマーキングされる全ての画素は、ステップ１３において、エネルギー関数に対して中立である、即ち、エネルギーを導入しない又はかなり限定されたエネルギーを導入する、画素値にそれらの画素を置き換えることにより画像を生成するように、置き換えられる。他の例としては、修復アルゴリズムが、サブタイトルの画素を置き換えるように用いられることが可能である。
【００２６】
エネルギー関数が、ステップ１５において、顕著性マップを演算するように、修正された画像に適用される。
【００２７】
また、修正された画像は、ステップ１７において、顕著性マップに基づいて、リターゲッティングされる。顕著性マップの演算及びリターゲッティングが、用いられるリターゲッティングアルゴリズムに依存して、一意のステップで組み合わされることを特記することは価値があることである。
【００２８】
上記の方法のための有効なリターゲッティングアルゴリズムの例として、シームカービングを挙げることができる。シームカービングにっいては、例えば、顕著性マップが“エネルギー画像”と呼ばれる、Ａｖｉｄａｎ等による米国特許出願公開第２００８／０２６７５２８号明細書に開示されている。
【００２９】
ステップ１９において、画像がリターゲッティングされ、サブタイトルが付加して戻される。好適には、リターゲッティングされた画像内に位置付けられるときに、サブタイトルの大きさ及び位置は、オリジナルの画像からサブタイトルを取り除いている間に導入された可能性がある画像アーティファクトをそれらのサブタイトルがマスキングするようにする。それらのアーティファクトをマスキングするために、オリジナルの画像におけるサブタイトルの位置は記憶されることが可能であり、この情報は、リターゲッティングのステップ中に、画像と共にサイズ変更されることが可能である。
【００３０】
従って、付加して戻される前に、ステップ２１において、サブタイトルは修正されることが可能である。例えば、行うサイズ変更に依存して、スケーリングのステップがサブタイトルに適用され、表示サイズ及びフォーマットにサブタイトルのサイズを調整することが可能である。
【００３１】
他の修正には、コントラストの強調、分解能の改善等がある。
【００３２】
サブタイトルの画素位置が、エネルギー関数への最小の影響を有する値で満たされているとき、リターゲッティングアルゴリズムの性能はもはや、サブタイトルの存在により影響されない。
【００３３】
しかしながら、中立画素の置き換えは、画像の視覚的品質の観点からは有効ではない可能性がある。従って、同じステップが同じ参照番号を有する図３を参照するに、変形について開示している。中立画素によるサブタイトルの画素の置き換えのステップ１３と並列に、ステップ３１において、第２の画像が生成され、その場合、サブタイトルの画素は、魅力的な見え方を有する画素により置き換えられる、即ち、例えば、周囲の画素からの補間により画像コンテントに適応される。
【００３４】
この変形においては、ステップ１５において、顕著性マップが、サブタイトルの画素が中立の画素により置き換えられる画像から、演算される。しかし、ステップ１７において、リターゲッティング演算は、第２の画像、即ち、魅力的な見え方の画像に対して顕著性マップを用いる。その他のステップは同様である。例えば、サブタイトルは、図２のステップ２１におけるように、修正されることも可能である。その方法は、画像サイズ変更装置のコンピュータ手段でロードして実行するときに、上記の方法のステップの何れかを実行することができるコンピュータプログラムプロダクトにより実施することが可能である。そのコンピュータプログラムは、他のハードウェアとして又は他のハードウェアの一部と共に、供給された適切な媒体に記憶される／配信されることが可能であるが、他の形で、例えば、インターネット、若しくは、他の有線通信システム又は無線通信システムを介して配信されることも可能である。
【００３５】
集積回路が、上記の実施形態に従った方法のステップの何れかを実行するように備えられることが可能である。
【００３６】
例えば、ＨＤテレビ又はワイドスクリーンテレビが、ビデオ画像を表示する前に、ビデオ画像をリターゲッティングする装置を有することが可能である。
【００３７】
その装置は、図４において、次のものを有する。
●  画像を得る受信器であって、画素のマトリックスにより規定され、オーバーレイグラフィックを有する、受信器４１
●  画像からのオーバーレイグラフィックの抽出器型４３
●  オーバーレイグラフィックの位置の画素をエネルギー関数に対して中立である画素で置き換えることにより、画像を修正する画像修正器４５
●  画素のエネルギー関数に基づく修正画像の顕著性マッブ演算器４７
●  顕著性マップに基づいて修正画像をリターゲッティングするスケーラ４９
●  リターゲッティング画像にオーバーレイグラフィックを付加して戻す合成器５１
合成器５１は、オーバーレイグラフィックが付加して戻される前に、オーバーレイグラフィックを調整するオーバーレイグラフィック修正器５３を有することが可能である。
【００３８】
本発明については、上記説明及び図に詳細に示し且つ記載されている一方、そのような図示及び記載は、例示であり、制限的なものではなく、本発明は開示している実施形態に限定されるものではない。
【００３９】
開示している実施形態に対する他の変形が可能であることが、上記図、上記説明及び特許請求の範囲から、請求されている本発明の実行において有効であることが理解できる。特許請求の範囲においては、用語“を有する”は、他の要素を排除するものではなく、単数表現は複数の存在を排除するものではない。
【図１】
2012532553.tif 000003
【図２】
2012532553.tif 000004
【図３】
2012532553.tif 000005
【図４】
2012532553.tif 000006
【手続補正書】
【提出日】平成24年1月10日(2012.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像をリターゲッティングする方法であって、前記画像は、画素のマトリックスにより規定され、オーバーレイグラフィックを有する、方法であり：
前記画像から前記オーバーレイを抽出するステップ；
画素エネルギー関数に対して中立な画素と前記オーバーレイの位置の画素を置き換えることにより前記画像を修正するステップであって、前記画素エネルギー関数は前記画像の勾配に基づく、ステップ；
画素エネルギー関数に基づいて前記修正された画像の突出マップを演算するステップ；
前記突出マップに基づいて、前記修正された画像をリターゲッティングするステップ；及び
前記リターゲッティングされた画像に前記オーバーレイグラフィックを付加して戻すステップ；
を有する方法。
【請求項２】
前記オーバーレイグラフィックは、次の動作であって、前記リターゲッティングされた画像の寸法、分解能改善、及びコントラスト改善に前記オーバーレイグラフィックの寸法を適合させるためにスケーリングする動作の少なくとも一の動作により、付加して戻される前に、調整される、請求項１に記載の方法。
【請求項３】
前記修正された画像はシームカービングによりリターゲッティングされ、前記シームカービングは前記基底された画素エネルギー関数を用いる、請求項１に記載の方法。
【請求項４】
前記置き換える画素は周囲の画素の平均である、請求項１に記載の方法。
【請求項５】
前記オーバーレイグラフィックは付加して戻されるとき、前記置き換える画素が加えられる領域の少なくとも一部を隠すように調整される、請求項１に記載の方法。
【請求項６】
前記オーバーレイグラフィックの位置及びサイズは、抽出の前に記憶され、前記位置及び前記サイズは、前記付加して戻されたオーバーレイグラフィックの新しい位置及びサイズを規定するようにリターゲッティング中に、前記画像と共にサイズ変更される、請求項７に記載の方法。
【請求項７】
前記画像のコンテントに適合された画素と前記オーバーレイグラフィックを置き換えることによる前記オーバーレイグラフィックの抽出後に、第２の画像が生成され、前記第２の画像は、前記修正された画像に代えて、前記演算された突出マップに基づいてリターゲッティングされる、請求項１に記載の方法。
【請求項８】
前記オーバーレイグラフィックは、サブタイトル、ロゴ、ティッカーテープ及びスコアボードの少なくとも一を有する、請求項１乃至７の何れか一項に記載の方法。
【請求項９】
装置のコンピュータ手段においてロードされて実行されるときに、請求項１乃至８の何れか一項に従った方法のステップを実施する命令を有するコンピュータプログラム。
【請求項１０】
画像をリターゲッティングする装置であって：
画像を得る受信器であって、前記画像は、画素のマトリックスにより規定され、オーバーレイグラフィックを有する、受信器；
前記画像からの前記オーバーレイの抽出器；
画素エネルギー関数に対して中立な画素と前記オーバーレイの位置の画素を置き換えることにより前記画像を修正する画像修正器であって、前記画素エネルギー関数は前記画像の勾配に基づく、画像修正器；
画素エネルギー関数に基づく前記修正された画像の顕著性マップ演算器；
前記顕著性マップに基づいて前記修正された画像をリターゲッティングするスケーラ；及び
前記リターゲッティングされた画像に前記オーバーレイグラフィックを付加して戻す合成器；
を有する装置。
【請求項１１】
前記合成器は、次の動作であって、前記リターゲッティングされた画像の寸法、分解能改善、及びコントラスト改善に、前記オーバーレイグラフィックの寸法を適合させるためにスケーリングする動作の少なくとも一の動作を用いることにより、前記オーバーレイグラフィックが付加されて戻される前に前記オーバーレイグラフィックを調整するオーバーレイグラフィック修正器を有する、請求項１０に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のリターゲッティング（ｒｅｔａｒｇｅｔｉｎｇ）のための方法に関する。本発明は同様に、その方法のステップを実施するための対応する装置及び命令を有するコンピュータプログラムプロダクトに関する。
【背景技術】
【０００２】
ディスプレイ技術の分野の最近の進歩により、ディスプレイのサイズにおけるかなりの多様性が認識されるようになった。ディスプレイは、低解像度の携帯型装置から高解像度のワイドスクリーンまで多様である。コンピューティング及び通信インフラストラクチャは、このように今までに拡大しているディスプレイの集合に対して画像及び映像を支援するように発達してきている。ビジュアルコンテントは、映像機能及びホームネットワークメディアアプリケーションを有する携帯電話、携帯用パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ）等の装置において情報を共有し、表現し、交換するためにより重要になってきている。同じコンテントが、異なる装置について異なる次元及びアスペクト比で表示される必要がある。スケーリング及びクロッピングについての標準的画像処理方法が十分であると認識されていない。
【０００３】
ワイドスクリーンテレビの人気により、元々意図されたもの以外の、ディスプレイに映像を効果的に表示することが可能である効率的な解決方法が必要である。従来、テレビは、アスペクト比を自動的に調整する“ブラックバー検出”と呼ばれる方法を実行する。映像は、ブラックバーが消えるように、スケーリングされる。これは特に、レターボックス付けされたワイドスクリーンコンテントのための最新のワイドスクリーンフラットテレビにおいて行われる。しかしながら、ワイドスクリーンテレビで４：３比のコンテントを表示するためには、スケーリングの調整は歪をもたらす。
【０００４】
Ｂｒｉａｎ  Ｓｃｈｏｎｅｒ等による米国特許第７，３３９，６２７号明細書においては、画像を取り囲むブラックバーに基づくアスペクト比補正のための方法について記載されている。市場でテレビに適用されている一方、この方法は、元の映像が不正確に符号化される（インターネットショーからダウンロードされる多くの映像等）場合に、又は１６：９比のワイドスクリーンテレビにおいてさえ、ブラックバーが示される必要がある２．３５：１比のムーピーアスペクト比でのムービーのために、失敗する不利点を有する。
【０００５】
欧州特許第１，９３６，５６６Ａ１号明細書においては、映像フレームから低レベルの情報及び高レベルの情報を抽出し、前記低レベルの情報及び高レベルの情報を考慮する前記映像フレームのための顕著性マップを評価し、各々のフレームのより顕著な領域にフォーカシングされた縮小画像を得るシステムについて開示されている。顕著性マップを確立するとき、画像におけるロゴ及びはめ込みの領域は考慮されない。そのために、前記領域がブラック領域を用いてマスキングされる新しいフレームが得られ、顕著性マップが前記新しいフレームを用いて確立される。
【０００６】
Ｐｈｉ１ｉｐｓ社製のテレビにおいては、パノラマストレッチの技術が１６：９比の表示で４：３比のコンテントを表示するだめに用いられ、その場合、画像の境界が、より広い幅のスクリーンを縮めるように伸縮される。その方法が基づいている、即ち、殆どの重要な情報が中央の表示にある前提はしばしば、良好な前提であるが、そのような異方性の伸縮は最適な解決方法でない多くのケースが存在する。より良好な解決方法が、ディスプレイの多様性のための有効なサイズ変更を可能にするために要請されている。
【０００７】
簡単なアスペクト比補正が、見るために適切な画像をレンダリングするのに＋分でないとき、画像のリターゲッティングが呼び出される。考慮中にコンテントを、即ち、シーンにおける重要なオブジェクトを取りながら、リターゲッティングは画像をスケーリングする。従って、それはしばしば、コンテントアウェアサイズ変更と呼ばれる。異なるリターゲッティング方法は、低レベルの視覚的突出性か、顔検出のようなツールを介する高レベルの画像認識のどちらかに基づいて、重要な画像の特徴を識別する。重要な特徴に基づいて、リターゲッティング方法は、目標サイズにサイズ変更するように、あまり重要でない領域の画像を修正するように試みる。
【０００８】
リターゲッティング方法は通常は、４：３比のコンテントを１６：９比の表示に、又は全ての標準サイズのコンテントを２１：９比の表示に伸縮することが必要であるとき、有用である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第７，３３９，６２７号明細書
【特許文献２】欧州特許第１，９３６，５６６Ａ１号明細書
【発明の概要】
【課題を解決するための手段】
【００１０】
画像が、例えば、サブタイトル、ロゴ等のオーバーレイグラフィックと呼ばれる重ね合せるピクチャを有する１つのシーンを有するとき、リターゲッティング方法は、見え方のよいリターゲッティング画像をもたらさない。例えば、サブタイトルは、コンテントアウェアサイズ変更の不均一なスケーリングにより歪がもたらされる。
【００１１】
更に、オーバーレイグラフィックスは通常、準最適な結果に繋がるリターゲッティング方法により用いられるエネルギー関数に影響する。例えば、エネルギー関数はしばしば、画像の勾配に基づくため、オーバーレイグラフィックスで通常見られ、特にサブタイトルで見られる高コントラスト及び先鋭なエッジは、画像コンテントに依存して、画像の他のどこかのより大きい歪に繋がる。
【００１２】
従って、オーバーレイグラフィックスの外観を歪ませない、及びオーバーレイグラフィクスが画像リターゲッティングに影響を与えないリターゲッティング方法を達成することは有利である。
【００１３】
本発明の第１特徴において、それらの問題の１つ又は複数によりうまく対処するように、画素のマトリックスにより規定される画像をリターゲッティングし且つオーバーレイグラフィックを有する、方法は次のステップを有する。
●  画像からオーバーレイグラフィックを抽出するステップ
●  エネルギー関数に対して中立の画素とオーバーレイグラフィックの位置で画素を置き換えることにより画像を修正するステップ
●  画素エネルギー関数に基づいて、修正された画像の突出マップを演算するステップ
●  突出マップに基づいて、修正された画儀をリターゲッティングするステップ
●  リターゲッティングされた画像にオーバーレイグラフィックを付加して戻すステップ
有利に、その方法は、リターゲッティング処理の前に、オーバーレイグラフィックから画像を分離する。画像及びオーバーレイグラフィックは、リターゲッティング処理の後に再び、組み合わされる。
【００１４】
従って、オーバーレイグラフィックは、エネルギー関数に影響せず、非均一なスケーリングにより歪がもたらされない。
【００１５】
特定の実施形態においては、
●オーバーレイグラフィックは、付加して戻される前に調整され、例えば、オーバーレイグラフィックは、リターゲッティングされた画像の寸法にオーバーレイグラフィックの寸法を調整するためのスケーリングにより調節され、故に、オーバーレイグラフィックは好ましい見え方で表示され、
●  修正された画像は、規定された画素のエネルギー関数を用いるシームカービングによりリターゲッティングされるが、他のリターゲッティング方法がまた、有用であり、
●  画素エネルギー関数は画像における勾配に基づき、置き換え画素は、それらの置き換え画素によりもたられるエネルギーを最小化するように周囲の画素の平均であり、
●  オーバーレイグラフィックが付加して戻されるとき、オーバーレイグラフィックの位置及びサイズは、リターゲッティングされた画像におけるオーバーレイグラフィックの抽出により導入されるアーティファクトを最小化するように調整され、例えば、オーバーレイグラフィックの位置及びサイズは、抽出の前に、記億され、前記位置及び前記サイズは、付加して戻されるオーバーレイグラフィックの新しい位置及びサイズを規定するリターゲッティング中に、その画像と共にサイズ変更され、故に、調整されたオーバーレイグラフィックは、置き換え画素が置かれる鎮域の少なくとも一部を隠し、
●  第２の画像が、画像コンテントに対して調整される画素とオーバーレイグラフィック画素を置き換えることによるオーバーレイグラフィックの抽出の後に、生成され、修正される画像に代えて、第２の画像が、それら２つの動作の最良のものと一緒にして、リターゲッティングされる画像からの突出マップの演算を分離する有利点を有する、演算される突出マップに基づいてリターゲッティングされる。
【００１６】
本発明の第２の特徴においては、コンピュータプログラムプロダクトは、装置のコンピュータ手段においてロードされ且つ実行される、上記の方法のステップを実行する命令を有する。
【００１７】
本発明の第３の特徴においては、画像をリターゲッティングする装置は次の構成要素を有する。
●  画像を得る受信器であって、前記画像は画素のマトリックスにより規定され、オーバーレイグラフィックを有する、受信器
●  画像からのオーバーレイグラフィックの抽出器
●  エネルギー関数に対して中立の画素とオーバーレイグラフィックの位置の画素を置き換えることにより、画像を修正する画素修正器
●  画素エネルギー関数に基づく、前記修正された画像の突出マップ演算器
●  前記突出マップに基づく、前記修正された画像をリターゲッティングするスケーラ
●  リターゲッティングされた画像にオーバーレイグラフィックを付加して戻す合成器
画像の種類に依存して、特定の実施形態は、より容易に適合するように、又はより良好な結果を与えるように実行することが可能である。しかしながら、上記の特定の実施形態の特徴は、適切であるように又は望まれるように組み合わされる又は修正されることが可能である。
【００１８】
本発明の上記の及び他の特徴は、以下に記載する実施形態を参照することにより、明らかになり、理解することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態に従った方法の複数のステップの結果の模式図である。
【図２】本発明の実施形態に従った方法のフローチャートである。
【図３】本発明の他の実施形態に従った方法のフローチャートである。
【図４】本発明の実施形態に従った装置の模式図である。
【発明を実施するための形態】
【００２０】
図１を参照するに、画像はサブタイトル３を有する。サブタイトルはオーバーレイグラフィックの例である。オーバーレイグラフィックは、ロゴ、ティッカーテープ、スポーツの試合のスコアボード等である。
【００２１】
第１のステップにおいては、サブタイトル３は、画像５を得るように、画像１から取り除かれる。
【００２２】
次いで、画像５は画像７にリターゲッティングされ、その画像７において、サブ夕イトル３が付加されて、最終的なリターゲッティング画像９を得る。
【００２３】
画像１をリターゲッティングする方法についてここで、図２を参照して詳細に説明する。
【００２４】
リターゲッティング方法は一般に、画素エネルギー関数、例えば、勾配に基づく関数を用いる。画像に適用されるとき、画素エネルギー関数は、低突出領域にスケーリング演算をフォーカシングするようにリターゲッティング方法により用いられる突出マップを規定する。
【００２５】
ステップ１１では、サブタイトルが検出される。これは、サブタイトルの検出のための有効なアルゴリズム、例えば、Ｒ．Ｌｉｅｎｈａｒｔ等による米国特許出願公開第２００２／０１５９６３６号明細書において開示されているアルゴリズムを用いて、行われる。
【００２６】
サブタイトルの画素としてマーキングされる全ての画素は、ステップ１３において、エネルギー関数に対して中立である、即ち、エネルギーを導入しない又はかなり限定されたエネルギーを導入する、画素値にそれらの画素を置き換えることにより画像を生成するように、置き換えられる。他の例としては、修復アルゴリズムが、サブタイトルの画素を置き換えるように用いられることが可能である。
【００２７】
エネルギー関数が、ステップ１５において、突出マップを演算するように、修正された画像に適用される。
【００２８】
また、修正された画像は、ステップ１７において、突出マップに基づいて、リターゲッティングされる。突出マップの演算及びリターゲッティングが、用いられるリターゲッティングアルゴリズムに依存して、一意のステップで組み合わされることを特記することは価値があることである。
【００２９】
上記の方法のための有効なリターゲッティングアルゴリズムの例として、シームカービングを挙げることができる。シームカービングにっいては、例えば、突出マップが“エネルギー画像”と呼ばれる、Ａｖｉｄａｎ等による米国特許出願公開第２００８／０２６７５２８号明細書に開示されている。
【００３０】
ステップ１９において、画像がリターゲッティングされ、サブタイトルが付加して戻される。好適には、リターゲッティングされた画像内に位置付けられるときに、サブタイトルの大きさ及び位置は、オリジナルの画像からサブタイトルを取り除いている間に導入された可能性がある画像アーティファクトをそれらのサブタイトルがマスキングするようにする。それらのアーティファクトをマスキングするために、オリジナルの画像におけるサブタイトルの位置は記憶されることが可能であり、この情報は、リターゲッティングのステップ中に、画像と共にサイズ変更されることが可能である。
【００３１】
従って、付加して戻される前に、ステップ２１において、サブタイトルは修正されることが可能である。例えば、行うサイズ変更に依存して、スケーリングのステップがサブタイトルに適用され、表示サイズ及びフォーマットにサブタイトルのサイズを調整することが可能である。
【００３２】
他の修正には、コントラストの強調、分解能の改善等がある。
【００３３】
サブタイトルの画素位置が、エネルギー関数への最小の影響を有する値で満たされているとき、リターゲッティングアルゴリズムの性能はもはや、サブタイトルの存在により影響されない。
【００３４】
しかしながら、中立画素の置き換えは、画像の視覚的品質の観点からは有効ではない可能性がある。従って、同じステップが同じ参照番号を有する図３を参照するに、変形について開示している。中立画素によるサブタイトルの画素の置き換えのステップ１３と並列に、ステップ３１において、第２の画像が生成され、その場合、サブタイトルの画素は、魅力的な見え方を有する画素により置き換えられる、即ち、例えば、周囲の画素からの補間により画像コンテントに適応される。
【００３５】
この変形においては、ステップ１５において、突出マップが、サブタイトルの画素が中立の画素により置き換えられる画像から、演算される。しかし、ステップ１７において、リターゲッティング演算は、第２の画像、即ち、魅力的な見え方の画像に対して突出マップを用いる。その他のステップは同様である。例えば、サブタイトルは、図２のステップ２１におけるように、修正されることも可能である。その方法は、画像サイズ変更装置のコンピュータ手段でロードして実行するときに、上記の方法のステップの何れかを実行することができるコンピュータプログラムプロダクトにより実施することが可能である。そのコンピュータプログラムは、他のハードウェアとして又は他のハードウェアの一部と共に、供給された適切な媒体に記憶される／配信されることが可能であるが、他の形で、例えば、インターネット、若しくは、他の有線通信システム又は無線通信システムを介して配信されることも可能である。
【００３６】
集積回路が、上記の実施形態に従った方法のステップの何れかを実行するように備えられることが可能である。
【００３７】
例えば、ＨＤテレビ又はワイドスクリーンテレビが、ビデオ画像を表示する前に、ビデオ画像をリターゲッティングする装置を有することが可能である。
【００３８】
その装置は、図４において、次のものを有する。
●  画像を得る受信器であって、画素のマトリックスにより規定され、オーバーレイグラフィックを有する、受信器４１
●  画像からのオーバーレイグラフィックの抽出器型４３
●  オーバーレイグラフィックの位置の画素をエネルギー関数に対して中立である画素で置き換えることにより、画像を修正する画像修正器４５
●  画素のエネルギー関数に基づく修正画像の突出マッブ演算器４７
●  突出マップに基づいて修正画像をリターゲッティングするスケーラ４９
●  リターゲッティング画像にオーバーレイグラフィックを付加して戻す合成器５１
合成器５１は、オーバーレイグラフィックが付加して戻される前に、オーバーレイグラフィックを調整するオーバーレイグラフィック修正器５３を有することが可能である。
【００３９】
本発明については、上記説明及び図に詳細に示し且つ記載されている一方、そのような図示及び記載は、例示であり、制限的なものではなく、本発明は開示している実施形態に限定されるものではない。
【００４０】
開示している実施形態に対する他の変形が可能であることが、上記図、上記説明及び特許請求の範囲から、請求されている本発明の実行において有効であることが理解できる。特許請求の範囲においては、用語“を有する”は、他の要素を排除するものではなく、単数表現は複数の存在を排除するものではない。
【国際調査報告】
2012532553.tif 000007
2012532553.tif 000008
2012532553.tif 000009