(57)【特許請求の範囲】
【請求項１】
高解像度出力画像を確定するための方法であって、
第１の解像度を有する低解像度画像を受信するステップと、
前記低解像度画像に基づいて第２の解像度を有する第１の中間高解像度画像を確定するステップであって、前記第２の解像度は、前記第１の解像度より高い、前記確定するステップと、
前記低解像度画像に基づいて第３の解像度を有する第２の中間高解像度画像を確定するステップであって、前記第３の解像度は、前記第１の解像度より高い、前記確定するステップと、
前記第２の中間高解像度画像のセマンティック特徴を検出して、前記検出されたセマンティック特徴に基づいてデータベースから対応するセマンティック構成要素を選択するステップと、
第４の解像度を有する前記高解像度出力画像を確定するために、前記対応するセマンティック構成要素からの情報に基づいて前記第１の中間高解像度画像を修正するステップであって、前記第４の解像度は、前記第１の解像度より高い、前記修正するステップと
を備え、
前記第１の中間高解像度画像を修正するステップは、エネルギー関数を低減することに基づき、
前記エネルギー関数は、
【数１】
0006352420.tif 000012
によって最小化され、ここで
【数２】
0006352420.tif 000013
である、方法。
【請求項２】
前記第２の解像度は、前記第４の解像度と同じであり、前記第２の解像度および前記第４の解像度は、前記第１の解像度とは異なる、請求項１に記載の方法。
【請求項３】
前記第１の中間高解像度画像を確定するステップは、辞書技術に基づく、請求項１に記載の方法。
【請求項４】
セマンティック特徴を前記検出するステップは、キーポイント抽出技術に基づく、請求項１に記載の方法。
【請求項５】
前記検出されたセマンティック特徴は、第１のセマンティック構成要素を選択するために用いられる、請求項１に記載の方法。
【請求項６】
前記対応するセマンティック構成要素は、前記第１のセマンティック構成要素に基づく、請求項５に記載の方法。
【請求項７】
前記第１のセマンティック構成要素は、第１のセマンティック解像度を有し、前記対応するセマンティック構成要素は、第２のセマンティック解像度を有し、前記第２のセマンティック解像度は、前記第１のセマンティック解像度より高い、請求項６に記載の方法。
【請求項８】
前記データベースは、前記第１のセマンティック構成要素および前記対応するセマンティック構成要素を表す情報を含む、請求項７に記載の方法。
【請求項９】
前記データベースは、同じセマンティック・コンテンツの異なるバリアントに関する情報を含む、請求項８に記載の方法。
【請求項１０】
多次元スケーリング操作は、前記対応するセマンティック構成要素を確定するために用いられる、請求項７に記載の方法。
【請求項１１】
前記対応するセマンティック構成要素からの前記情報は、エッジに基づく情報である、請求項１に記載の方法。
【請求項１２】
前記情報は、複数の対応するセマンティック構成要素に対して結合される、請求項１１
に記載の方法。
【請求項１３】
高解像度出力画像を確定するためのデバイスであって、
第１の解像度を有する低解像度画像を受信するための受信セクションと、
前記低解像度画像に基づいて第２の解像度を有する第１の中間高解像度画像を確定するための第１の確定セクションであって、前記第２の解像度は、前記第１の解像度より高い、前記第１の確定セクションと、
前記低解像度画像に基づいて第３の解像度を有する第２の中間高解像度画像を確定するための第２の確定セクションであって、前記第３の解像度は、前記第１の解像度より高い、前記第２の確定セクションと、
前記第２の中間高解像度画像のセマンティック特徴を検出するための検出セクションと、
前記検出されたセマンティック特徴に基づいてデータベースから対応するセマンティック構成要素を選択するための選択セクションと、
第４の解像度を有する前記高解像度出力画像を確定するために前記対応するセマンティック構成要素からの情報に基づいて前記第１の中間高解像度画像を修正するための修正セクションであって、前記第４の解像度は、前記第１の解像度より高い、前記修正セクションと
を備え、
前記第１の中間高解像度画像を修正するための修正セクションは、エネルギー関数を低減することに基づき、
前記エネルギー関数は、
【数３】
0006352420.tif 000014
によって最小化され、ここで
【数４】
0006352420.tif 000015
である、デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、セマンティック・ベースの技術を用いた画像強調に関する。
【背景技術】
【０００２】
デジタル画像は、典型的に画素のアレイとして表現される。同様に、デジタルビデオは、典型的にそれぞれが画素のアレイを含む一連の画像またはフレームとして表現される。各画素は、強度および／または色情報のような情報を含む。多くの場合、各画素は、それぞれが８ビットの色価によって定義された３色のセットとして表現される。
【０００３】
多くの場合、画像および／またはビデオ符号化および／または送信システムは、必要メモリおよび／または送信のためのバンド幅要件を低減するために画像コンテンツの品質を低下させる。画像および／またはビデオを符号化および／または送信した後に、劣化したバージョンから高品質の原画像コンテンツを復元しようと試みるために画像および／またはビデオに対して復元技術が用いられる。画像コンテンツの劣化は、例えば、画像送信、画像符号化、キャプチャまたは表示デバイスの制限などのような多くの理由の結果として生じうる。これに対して、劣化した画像の強調は、画像および／またはビデオの見映えを改善しようと試みる。
【０００４】
他の場合には、画像コンテンツは、プログレッシブまたはインターレース走査（例えば、７２０×４８０画素）のような、第１のより低い解像度で提供される。画像コンテンツが劣化しない仕方または劣化する仕方で提供されてもよい。より低い解像度の画像コンテンツに比べて高い解像度を有するディスプレイ、例えば４Ｋディスプレイ（例えば、３８４０×２１６０画素）上に表示するのに適するように、より低い解像度の画像コンテンツがいくつかの仕方で強調されてもよい。
【０００５】
画像および／またはビデオの復元および／または強調は、しばしば、画像／ビデオ・ディスプレイシステムにおける、特に大型ディスプレイにおける処理ステップである。目標の１つは、画像および／またはビデオの重要な構成要素、例えば、エッジ、テクスチャならびに他のディテールの視覚的な見映えを復元および強調することであってもよい。別の目標は、復元および強調の間の望ましくない視覚的アーチファクトの導入および／または既存のアーチファクトの増幅を制限することである。具体的な例は、カメラノイズまたは圧縮ノイズのような、画像および／またはビデオにおける既存のノイズの導入または増幅を制限することである。別の例は、「ハロー」として知られるエッジおよび輪郭近傍のアーチファクト、「アンダーシュート」および「オーバーシュート」の導入を制限することである。
【０００６】
画像を復元すべく（ビデオを含めて）画像ディテール強調を行おうと試みるために、多くの異なる技術が用いられてきた。多くのかかる技術は、画像を滑らかな低周波画像と他の高周波成分とを含む複数のレベルに分解するためにラプラシアン・ピラミッドを用いる階層的なフレームワークに基づく。各レベルは、次に、強調画像を形成するために強調されて一緒に結合される。画像を分解する間に、ハロー効果を低減するためにエッジ保存技術が用いられてもよい。
【０００７】
画像ディテール強調を行うための別の技術は、画像の異なる構成要素を複数の照明条件下で得て、これらの構成要素を結合することにより画像のディテールを強調するために、バイラテラル・フィルタを適用することを伴う。バイラテラル・フィルタの範囲は、ディテール強調およびノイズ除去の両方を同時に行うために修正されてもよい。別の技術は、画像の極値からの振動についての情報を複数のスケールで取得して、画像のディテールを強調するために用いられる階層を構築するためにこの情報を用いることを含む。さらに別の技術は、多重解像度解析フレームワークを構築するためにウェーブレットを用いて画像を滑らかな構成要素とそのディテール構成要素とに分解することを伴い、具体的には、ハロー効果を低減するためにウェーブレットが画像のエッジ・コンテンツに従って構築される。
【０００８】
画像ディテール強調を行うための別の技術は、画像のマルチスケール分解を行うためにフィルタを用いる。フィルタは、エッジ保存型であり、スムージングは、重み付き最小２乗（すなわち、ＷＬＳ：Ｗｅｉｇｈｔｅｄ  Ｌｅａｓｔ  Ｓｑｕａｒｅ）最適化フレームワークに基づく。これは、
【数１】
0006352420.tif 000002
の最小値の計算として数学的に表現され、
【０００９】
ここでｇは、入力画像であり、ｕは、出力画像であり、下付き文字ｐは、画素の空間的位置である。この関数は、ｕをできるだけｇに近く維持しようと試み、ｕの偏導関数を最小化することによって滑らかさを達成する。滑らかさの重みは、ａｘおよびａｙによって確定され、ここでλは、スムージングの量を制御する。λが大きいほど、大幅なスムージングを示唆する。例えば、この技術は、抽象化を異なるレベルで得るためにラプラシアン・ピラミッド・フレームワークにおいて用いられる。
【００１０】
先に記載されたように、画像強調を解像度の増加とともに提供する多くの異なる技術がある。例えば、Ｄ．グラスナー（Ｇｌａｓｎｅｒ）、Ｓ．バゴン（Ｂａｇｏｎ）、Ｍ．イラニ（Ｉｒａｎｉ）、「単一画像からの超解像（Ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ  ｆｒｏｍ  ａ  ｓｉｎｇｌｅ  ｉｍａｇｅ）」、ＩＣＣＶ  ２００９は、低解像度／高解像度画像対を有するピラミッドを構成するための入力画像での冗長性の使用を記載し、入力画像の超解像を行うために学習ベースの方法を用いる。例えば、Ｊ．スン（Ｓｕｎ）、Ｚ．シュイ（Ｘｕ）、Ｈ．Ｙ．サム（Ｓｈｕｍ）、「勾配プロファイル事前分布（Ｇｒａｄｉｅｎｔ  Ｐｒｏｆｉｌｅ  Ｐｒｉｏｒ）」、ＣＶＰＲ  ２００８は、勾配プロファイルの分布を学習するための自然画像の大きなデータベースの使用を記載し、鋭いエッジを得て、結果として画像の超解像を行うために、入力画像の勾配情報をこの分布にフィッティングするように修正する。例えば、ヤン（Ｙａｎｇ）、Ｊ．ライト（Ｗｒｉｇｈｔ）、Ｔ．ファンド（Ｈｕａｎｄ）およびＹ．マ（Ｍａ）、「スパース表現を用いた画像超解像（Ｉｍａｇｅ  ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ  ｖｉａ  ｓｐａｒｓｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）」、ＩＥＥＥ  ＴＩＰ  ２０１０は、スパース信号処理における着想に基づく辞書ベースの超解像方法の使用を記載し、高解像度および低解像度トレーニング画像パッチ間の対応を学習するために共同の小型辞書をいかにトレーニングできるかを示す。Ｈ．ホー（Ｈｅ）、Ｗ．Ｃ．シュウ（Ｓｉｕ）、「ガウシアン過程回帰を用いた単一画像超解像（Ｓｉｎｇｌｅ  ｉｍａｇｅ  ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ  ｕｓｉｎｇ  Ｇａｕｓｓｉａｎ  Ｐｒｏｃｅｓｓ  Ｒｅｇｒｅｓｓｉｏｎ）」、ＣＶＰＲ  ２０１０は、ガウシアン過程回帰モデルをトレーニング・データセットなしに用いる超解像技術を記載する。Ｒ．ファタル（Ｆａｔｔａｌ）、「課されたエッジ統計データを用いたアップサンプリング（Ｕｐｓａｍｐｌｉｎｇ  ｖｉａ  ｉｍｐｏｓｅｄ  ｅｄｇｅ  ｓｔａｔｉｓｔｉｃｓ）」、ＳＩＧＧＲＡＰＨ  ２００７は、低解像度および高解像度画像の局所的な強度の連続性を根拠としたエッジ統計データ間の関係に基づく超解像方法の使用を記載する。Ｗ．フレーマン（Ｆｒｅｅｍａｎ）、Ｔ．ジョーンズ（Ｊｏｎｅｓ）、Ｅ．パスツォール（Ｐａｓｚｔｏｒ）、「用例ベースの超解像（Ｅｘａｍｐｌｅ−ｂａｓｅｄ  ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）」、ＩＥＥＥコンピュータグラフィックスアンドアプリケーションズ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ）２００２は、高解像度および低解像度画像対のトレーニング・セットから高周波ディテールをハルシネート（ｈａｌｌｕｃｉｎａｔｅ）するための技術の使用を記載する。Ｙ．Ｗ．ダイ（Ｔａｉ）、Ｓ．リウ（Ｌｉｕ）、Ｍ．ブラウン（Ｂｒｏｗｎ）、Ｓ．リン（Ｌｉｎ）、「エッジ事前分布および単一画像ディテール合成を用いた超解像（Ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ  ｕｓｉｎｇ  ｅｄｇｅ  ｐｒｉｏｒ  ａｎｄ  ｓｉｎｇｌｅ  ｉｍａｇｅ  ｄｅｔａｉｌ  ｓｙｎｔｈｅｓｉｓ）」、ＣＶＰＲ  ２０１０は、画像中の改善されたディテールを得るために例となるテクスチャ・パッチを用いる延長勾配プロファイル技術の使用を記載する。Ｊ．スン（Ｓｕｎ）、Ｊ．ジュー（Ｚｈｕ）、ｍ．タパン（Ｔａｐｐｅｎ）、「画像超解像のためのコンテキスト制約ハルシネーション（Ｃｏｎｔｅｘｔ  ｃｏｎｓｔｒａｉｎｅｄ  ｈａｌｌｕｃｉｎａｔｉｏｎ  ｆｏｒ  ｉｍａｇｅ  ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）」、ＣＶＰＲ  ２０１０は、高解像度画像の入力画像に対する忠実度、画素の個別的な候補例に対する忠実度およびエッジの滑らかさのような、種々の判定基準を実行するエネルギー最小化フレームワークとして定式化された画像超解像技術を記載する。この方法は、同様の特性をもつセグメントに関してデータベースを検索するために各画素を囲む領域のテクスチャ特性を解析する。本明細書に記載されるすべての参考文献は、参照によりその全体が組み込まれる。
【００１１】
上述のようなディテール強調のための多くの既存の技術は、画像および／またはビデオを強調するのに効果的である。しかしながら、かかる技術は、視聴者にとって美的に不快な画像を依然としてもたらすことがある。
【００１２】
本発明の先述および他の目的、特徴ならびに利点は、本発明の以下の詳細な記載を添付図面と併せて考察したときにさらに容易に理解されるであろう。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
画像またはビデオを見ている間に、人の焦点は、その中に描写されたコンテンツに依存して画像の種々の領域に対して異なる。画像コンテンツの際立った構成要素は、人々の注意を画像の種々の領域に向かわせる。例えば、視聴者が木の画像を見るときに、視聴者にとって重要な葉または枝のようなセマンティック構成要素がある。例えば、視聴者が顔の画像を見るときには、視聴者にとって重要な目、眉、鼻および口のようなセマンティック構成要素がある。既存の解像度向上技術は、異なる画素の補間を行うか、または高解像度画像がダウンサンプリングされるときに低解像度画像を正確に再現すべきであるという仮定を含む再構成ベースのアプローチを用いるか、あるいは画像の高周波ディテールが低解像度および高解像度画像のトレーニング・データセットを用いてパッチごとに再構成される学習ベースのアプローチを用いるかのいずれかの傾向がある。しかしながら、画像コンテンツを視聴者に適した仕方で強調するためには、強調画像を画像コンテンツのうちのセマンティック・コンテンツに基づいて効率的な仕方で修正することが望ましい。
【課題を解決するための手段】
【００１４】
本発明の態様は、高解像度出力画像を確定するための方法を提供し、方法は、第１の解像度を有する低解像度画像を受信するステップと、前記低解像度画像に基づいて第２の解像度を有する第１の中間高解像度画像を確定するステップであって、第２の解像度は、第１の解像度より高い確定するステップと、前記低解像度画像に基づいて第３の解像度を有する第２の中間高解像度画像を確定するステップであって、前記第３の解像度は、前記第１の解像度より高い確定するステップと、前記第２の中間高解像度画像のセマンティック特徴を検出して、前記検出されたセマンティック特徴に基づいてデータベースから対応するセマンティック構成要素を選択するステップと、第４の解像度を有する前記高解像度出力画像を確定するために前記対応するセマンティック構成要素からの情報に基づいて前記第１の中間高解像度画像を修正するステップであって、前記第４の解像度は、前記第１の解像度より高い修正するステップとを備える。
【００１５】
本発明の別の態様は、高解像度出力画像を確定するためのデバイスを提供し、デバイスは、第１の解像度を有する低解像度画像を受信するための受信セクションと、前記低解像度画像に基づいて第２の解像度を有する第１の中間高解像度画像を確定するための第１の確定セクションであって、第２の解像度は、第１の解像度より高い第１の確定セクションと、前記低解像度画像に基づいて第３の解像度を有する第２の中間高解像度画像を確定するための第２の確定セクションであって、前記第３の解像度は、前記第１の解像度より高い第２の確定セクションと、前記第２の中間高解像度画像のセマンティック特徴を検出するための検出セクションと、前記検出されたセマンティック特徴に基づいてデータベースから対応するセマンティック構成要素を選択するための選択セクションと、第４の解像度を有する前記高解像度出力画像を確定するために前記対応するセマンティック構成要素からの情報に基づいて前記第１の中間高解像度画像を修正するための修正セクションであって、第４の解像度は、第１の解像度より高い修正セクションとを備える。
【発明の効果】
【００１６】
本発明の態様は、視聴者に適した仕方で画像コンテンツを強調して、強調画像を画像コンテンツのうちのセマンティック・コンテンツに基づいて効率的な仕方で修正することができる。
【図面の簡単な説明】
【００１７】
【図１】セマンティック・コンテンツを用いた画像強調システムを示す。
【００１８】
【図２】顔のセマンティック・コンテンツを用いた画像強調システムを示す。
【発明を実施するための形態】
【００１９】
図１を参照すると、画像強調技術は、低解像度画像Ｌｌ１０２である入力画像１００を受信する。低解像度画像Ｌｌ１０２は、任意の適切な技術を用いて中間高解像度出力画像１１０を確定するために用いられる。中間高解像度出力画像１１０は、好ましくは、低解像度画像Ｌｌ１０２より高い解像度を有する。すなわち、前記低解像度画像Ｌｌ１０２に基づく第２の解像度を有する中間高解像度出力画像１１０が確定される。第２の解像度は、前記低解像度画像Ｌｌ１０２の第１の解像度より高くてもよい。さらに、好ましくは、中間高解像度出力画像１１０は、出力画像と同じ画素数を有する。図１の例示的な実装である、図２も参照すると、中間高解像度出力画像１１０は、任意の適切な技術を用いて、好ましくは辞書ベースの技術を用いて実装される。さらに、好ましくは、中間高解像度出力画像２１０は、出力画像と同じ画素数を有する。用語「高解像度」は、一般に、高品質の画像および／またはビデオ・データ、例えば、高周波成分を含んだ画像データ、および／または細かいディテールおよびテクスチャを含んだ画像データ、および／または鋭いエッジおよび輪郭をもつ画像データおよび／または入力データより多くの画素をもつデータを意味するために用いられる。用語「低解像度」は、キャプチャ、符号化または送信の間に劣化し、一般に、より少ない高周波成分、および／またはより少ないディテール、および／または圧縮アーチファクト、および／または出力データより少ない画素を含む画像および／またはビデオ・データを意味するために一般に用いられる。
【００２０】
低解像度画像Ｌｌ１０２は、好ましくは、後続の処理のために解像度が所定の解像度に高められる。すなわち、前記低解像度画像Ｌｌ１０２に基づく第３の解像度を有する第２の中間高解像度画像が確定される。前記第３の解像度は、前記低解像度画像Ｌｌ１０２の前記第１の解像度より高い。低解像度画像Ｌｌ１０２は、解像度が高められた後、任意の適切な技術を用いて画像のセマンティック特徴１２０を検出するために用いられる。検出されたセマンティック特徴１２０は、画像中のセマンティック対象物に対応する画像領域でセマンティック情報を運ぶ画像の特徴を特定する。例えば、画像における特徴は、顔、木、机、猫、少女、少年、滝、ボールなどであってもよい。図１の例示的な実装である、図２も参照すると、セマンティック特徴１２０の検出は、好ましくは、解像度が高められた画像上でキーポイント抽出２２０を用いて実施される。キーポイント抽出２２０は、任意の適切な技術を用いて、セマンティック・コンテンツの画像中のポイントまたは領域を特定する。顔画像のセマンティック・コンテンツ検出の場合、キーポイント抽出は、異なる顔構成要素に関係する。
【００２１】
検出されたセマンティック特徴１２０は、画像の低解像度セマンティック構成要素１３０を選択するために用いられる。選択される１つ以上のセマンティック構成要素１３０、例えば、セマンティック構成要素１  １３２、セマンティック構成要素２  １３４、セマンティック構成要素３  １３６からセマンティック構成要素ｎ１３８があってもよい。図１の例示的な実装である、図２も参照すると、低解像度セマンティック構成要素２３０を検出するための検出技術は、好ましくは、顔構成要素に対して眉２３２、目２３４、鼻２３６および口２３８を選択するために実施される。セマンティック構成要素２３０は、好ましくは、セマンティック構成要素を取り囲む画素の完全な２次元ブロックではなく、むしろポイント表現もしくはその他である。これによって、データベースへの一致を強化できる。
【００２２】
低解像度セマンティック構成要素１３０からの情報は、高解像度セマンティック構成要素１４０に提供される。高解像度セマンティック構成要素１４０は、高解像度セマンティック構成要素１  １４２、高解像度セマンティック構成要素２  １４４、高解像度セマンティック構成要素３  １４６から高解像度セマンティック構成要素ｎ１４８を含む。高解像度セマンティック構成要素１４０は、それぞれのセマンティック構成要素に関して、高解像度および低解像度画像のデータベース１５０からも対応する情報を受信する。データベース１５０は、高解像度画像のデータセットを含み、ラベル付けされたセマンティック構成要素が、高解像度セマンティック構成要素１４０のセマンティック構成要素１４２、１４４、１４６、１４８に対応する。それぞれの構成要素に関して、データベース１５０の低解像度画像にそれぞれ一致する所定の解像度において、低解像度セマンティック構成要素１３２、１３４、１３６、１３８に対応する好ましい一致がデータベース１５０から選択される。より高い計算効率および適切な一致は、低解像度画像１５０が低解像度セマンティック構成要素１３０の解像度と一致するときに達成される。すなわち、対応するセマンティック構成要素１４０は、前記検出されたセマンティック特徴１２０に基づいてデータベース１５０から選択される。さらにまた、前記第１のセマンティック構成要素１３０は、第１のセマンティック解像度を有する。前記対応するセマンティック構成要素１４０は、第２のセマンティック解像度を有する。そして、前記第２のセマンティック解像度は、前記第１のセマンティック解像度より高い。さらにまた、前記データベース１５０は、前記第１のセマンティック構成要素１３０および前記対応するセマンティック構成要素１４０を表す情報を含む。加えて、解像度を高めるプロセスを用いることによって、異なる解像度をもつ入力画像１００を効果的に処理することがさらに容易になる。
【００２３】
図１の例示的な実装である、図２も参照すると、低解像度セマンティック構成要素２３０からの情報は、高解像度セマンティック構成要素２４０に提供される。高解像度セマンティック構成要素２４０は、眉２４２、目２４４、鼻２４６、および口２４８を含む。高解像度セマンティック構成要素２４０は、それぞれの顔構成要素に関して、高解像度および低解像度画像のデータベース２５０からも対応する情報を受信する。データベース２５０は、高解像度画像のデータベースを含み、データベース２５０からのラベル付けされたセマンティック構成要素が、高解像度セマンティック構成要素２４０のセマンティック構成要素２４２、２４４、２４６、２４８に対応する。特に、データベースは、セマンティックによりラベル付けされた顔画像に基づき、予想されるポーズごとに別個のデータベース（またはその部分）が構成される。特に、顔画像に関しては、目、眉、鼻、および口のような、それぞれラベル付けされたセマンティック構成要素ＳＣｉが含まれ、ここでｉは、セマンティック構成要素のラベルである。この分解が他のセマンティック画像コンテンツおよびその構成要素に用いられてもよい。
【００２４】
図２を参照すると、テスト画像ごとに、システムは、最初に顔のポーズを確定し、次に顔のそのポーズに対応するデータベースを用いる。次に、システムは、２つのアップサンプリング操作を行う。最初に、単純なバイキュービック補間Ｉｌを用いて画像がアップサンプリングされ、次に異なるセマンティック構成要素をラベル付けする。次に、システムは、辞書ベースの技術を用いて画像Ｄｌをアップサンプリングする。画像Ｄｌは、アップサンプリング辞書ベースの技術によってアップサンプリングされた低解像度入力画像Ｌｌを指す。最終的な強調画像を得るために、セマンティック構成要素の勾配についての情報がこの画像に移される。システムは、Ｉｌにおいて異なるセマンティック構成要素をラベル付けする。
【００２５】
テスト画像Ｃｉにおけるそれぞれのセマンティック構成要素に関して、システムは、トレーニング・データベースから最もよく一致するアラインされた構成要素を確定し、ここでｉは、セマンティック構成要素のラベルである。これらの構成要素をアラインして一致させる前に、システムは、特定のセマンティック構成要素、例えば、眼鏡をかけている人々に関するような情報も用いる。眼鏡をかけている人々に関して、目および眉をアラインするために、システムは、眼鏡をかけている人々のみからの目、鼻および眉のトレーニング例を用いる。同様に、眼鏡をかけていない人々に関して、システムは、眼鏡をかけていない人々のみからの目、鼻および眉のトレーニング例を用いる。口のような他のセマンティック構成要素に関しては、眼鏡が顔の口領域を遮らないため、システムは、データベース全体を用いてもよい。具体的な構成要素に関して、「Ｔ」がトレーニング・データベースから考慮される画像であるとしよう。トレーニング・データベースは、予めオフラインで作り出される。トレーニング・データベースは、高解像度出力画像を再構成するために用いられる。最終的な高解像度出力画像は、トレーニング・データベース内に含まれるセマンティック構成要素からの勾配情報を用いる。留意すべきは、前記データベースが同じセマンティック・コンテンツの異なるバリアントに関する情報を含むことである。
【００２６】
アラインされた構成要素を評価するために、システムは、回転、スケーリングおよび並進に係るパラメータを確定すべく、ＳＣｉに対して１つより多い次元でアフィン変換を行う。これは、データベース中の画像ごとに次の方程式
【数２】
0006352420.tif 000003
を解くことによって確定でき、ここでｉは、各セマンティック構成要素のラベルを表し、Ａは、トレーニング・データベースのセマンティック構成要素に対して行われるアフィン変換であり、ｒは、回転のパラメータであり、ｓｘは、Ｘ方向におけるスケーリングのパラメータであり、ｓｙは、Ｙ方向におけるスケーリングのパラメータであり、ｔｘは、Ｘ方向における並進パラメータであり、ｔｙは、Ｙ方向における並進パラメータである。システムは、好ましくは、アラインメントをセマンティック構成要素ラベルｉごとに独立して用いるので、構成要素の異なる表現およびサイズを効果的に考慮できる。システムは、「Ｔ」を変換して「ＡＴ」を得るためにこれらの変換パラメータを用いる。トレーニング・データベース中の画像は、「Ｔ」と呼ばれる。これらの画像は、既にラベル付けされた異なるセマンティック構成要素ＳＣｉを有する。そのセマンティック構成要素もラベル付けた、テスト画像を所与として、システムは、最初に、これらのセマンティック構成要素のそれぞれをテスト・セマンティック構成要素にアラインするために変換パラメータの最適値を確定する。最適パラメータは、先に示された最小化問題を解くことによって確定される。これらの最適変換パラメータが一旦確定されると、システムは、「ＡＴ」を得るためにそれを「Ｔ」に適用する。数学的には、それぞれの変換パラメータを行列として表現できる。変換行列は、これらの行列の積と呼ぶことができる。「ＡＴ」は、変換行列と画像「Ｔ」との積である。すなわち、前記対応するセマンティック構成要素ＳＣｉを確定するために多次元スケーリング操作が用いられる。
【００２７】
システムがトレーニング・データセットの各構成要素を画像の対応する構成要素に一旦アラインすると、次のステップは、最もよく一致する構成要素をそれらのアラインされた構成要素から見出すことである。最もよく一致する構成要素を見出すための判定基準は、好ましくは、勾配情報である。システムは、「ＡＴ」中の画像をダウンサンプリングして、次に「ＵＴ」を得るためにそれらの画像をバイキュービック補間によってアップスケーリングする。構成要素ラベルｉごとに、システムは、キーポイントの集合の凸包である領域を定義する。ｐは、セマンティック構成要素の凸包中に存在する画素であるとしよう。構成要素ラベルｉごとの最良の一致
【数３】
0006352420.tif 000004
は、次のように確定でき、
【数４】
0006352420.tif 000005
ここで∇は、勾配演算子であり、Ｈは、構成要素Ｃｉによって定義される凸包であり、ｘは、「ＵＴ」中の画像ＵＴの指数である。これは、アラインされた構成要素を顔画像の構成要素ごとに一致させた一致を提供し、構成要素ごとに異なる一致
【数５】
0006352420.tif 000006
が検索される。
【００２８】
セマンティック構成要素１４０、２４０は、好ましくは、有用な特性が抽出される対象となる２次元画像である。再び図１を参照すると、システムは、選択されたセマンティック構成要素１４２、１４４、１４６、１４６から各構成要素に関する情報１６０を得る。例えば、この情報は、エッジに基づく情報（例えば、勾配情報）、色に基づく情報、テクスチャ情報、または１つ以上のセマンティック構成要素に関する他の適切な情報であってもよい。図１の例示的な実装である、図２も参照すると、システムは、それぞれが好ましくはアラインされ、スケーリングされた各構成要素に関する勾配情報２６０を得る。加えて、各構成要素２４０の空間的位置は、同様に維持される。
【００２９】
情報を構成要素１６０（図１）、２６０（図２）ごとに得るこのプロセスが画像のすべての所望のセマンティック構成要素に対して繰り返される。システムは、さらに、必要に応じて、すべての情報１６０、２６０を適切な仕方で一緒にマージしてもよい。このマージされた情報が変換プロセス１７０に提供され、変換プロセス１７０は、セマンティック特徴に基づいて、高解像度出力画像１８０を確定するために中間高解像度出力画像１１０を適切に修正する。このようにして、他の状況では高解像度出力画像となるであろう中間高解像度出力画像は、見るのにより適した精緻な高解像度出力画像１８０を得るために入力画像１００のセマンティック・コンテンツに従ってさらに修正される。
【００３０】
図１の例示的な実装である、図２を参照すると、変換された勾配マップ
【数６】
0006352420.tif 000007
を得るために勾配情報２６０が一緒にマージされる。勾配マップは、特定の画像の勾配についての情報を含む画像である。この勾配マップは、次に、方程式
【数７】
0006352420.tif 000008
を用いてＬｌに対応する構成要素に変換され、ここで∇は、勾配演算子であり、Ｅｉ（Ｉｈ｜Ｌｌ）は、画像ドメインにおける再構成の制約条件であり、
【数８】
0006352420.tif 000009
は、勾配ドメインにおける再構成の制約条件であり、αは、画像ドメインの制約条件と勾配ドメインの制約条件とをバランスさせる。Ｌｌは、低解像度画像であり、高解像度画像Ｉｈは、勾配ドメインおよび画像ドメインの両方で制約条件を実行するエネルギー関数を最小化することによって構成される。エネルギーは、勾配降下技術
【数９】
0006352420.tif 000010
によって最小化され、ここで
【数１０】
0006352420.tif 000011
である。これは、反復プロセスであり、システムは、Ｉｈに対する初期化ステップとしてＤｌを用い、τは、ステップサイズである。反復プロセスにおいて、ステップサイズは、反復エクスプレスがいかに迅速に収束するかを確定する因子の１つである。最終的な強調画像Ｉｈは、強調されたセマンティック構成要素から構成される。Ｇは、ガウシアン・カーネルを指し、↓は、ダウンサンプリング演算子を指し、↑は、アップサンプリング演算子を指す。
【００３１】
留意すべきは、高解像度出力画像を確定するための方法の各ステップがハードウェア・ロジックによって設定されてもよく、またはＣＰＵによって実行されるようなソフトウェアによって実現されてもよいことである。すなわち、本発明は、高解像度出力画像を確定するためのデバイスであって、第１の解像度を有する低解像度画像を受信するための受信セクションと、前記低解像度画像に基づいて第２の解像度を有する第１の中間高解像度画像を確定するための第１の確定セクションであって、第２の解像度は、第１の解像度より高い第１の確定セクションと、前記低解像度画像に基づいて第３の解像度を有する第２の中間高解像度画像を確定するための第２の確定セクションであって、前記第３の解像度は、前記第１の解像度より高い第２の確定セクションと、前記第２の中間高解像度画像のセマンティック特徴を検出するための検出セクションと、前記検出されたセマンティック特徴に基づいてデータベースから対応するセマンティック構成要素を選択するための選択セクションと、第４の解像度を有する前記高解像度出力画像を確定するために前記対応するセマンティック構成要素からの情報に基づいて前記第１の中間高解像度画像を修正するための修正セクションであって、第４の解像度は、第１の解像度より高い修正セクションとを備えるデバイスを含む。
【００３２】
先述の明細書に使用された用語および表現は、限定ではなく記載の用語として本明細書に用いられ、かかる用語および表現の使用には、図示され、記載された特徴またはその部分の等価物を排除する意図はなく、本発明の範囲は、添付の特許請求の範囲によってのみ規定され、限定されると理解される。
【図１】
0006352420.tif 000016
【図２】
0006352420.tif 000017