(57)【要約】方法は、非線形完全接続ニューラルネットワークを用いて画像をアップサンプリングして、アップサンプリング画像の全体的細部のみを生成し、画像を補間して、平滑アップサンプリング画像を生成する。本方法は、全体的細部及び平滑アップサンプリング画像をテンソルに連結し、畳み込みニューラルネットワークを用いて非線形畳み込みのシーケンスをテンソルに適用して、アップサンプリング画像を生成する。
2019501454.tif 000002
【特許請求の範囲】
【請求項１】
画像をアップサンプリングする方法であって、
非線形完全接続ニューラルネットワークを用いて前記画像をアップサンプリングして、アップサンプリング画像の全体的細部のみを生成するステップと、
前記画像を補間して、平滑アップサンプリング画像を生成するステップと、
前記全体的細部及び前記平滑アップサンプリング画像をテンソルに連結するステップと、
畳み込みニューラルネットワークを用いて非線形畳み込みのシーケンスを前記テンソルに適用して、前記アップサンプリング画像を生成するステップと
を含み、該方法の各前記ステップは、プロセッサが実行する、方法。
【請求項２】
前記完全接続ネットワーク、前記補間、及び前記畳み込みは、アップサンプリング画像のセットと、対応する高解像度画像のセットとの間の誤差を低減するために、同時にトレーニングされる、請求項１に記載の方法。
【請求項３】
前記完全接続ネットワークはニューラルネットワークであり、前記トレーニングは前記ニューラルネットワークの各ニューロンの重みを生成する、請求項２に記載の方法。
【請求項４】
前記補間は、前記画像の異なるピクセルの補間には異なる重みを用い、前記トレーニングは、前記補間の前記異なる重みを生成する、請求項２に記載の方法。
【請求項５】
前記トレーニングは、前記非線形畳み込みのシーケンスの各ニューロンの重みを生成する、請求項２に記載の方法。
【請求項６】
前記シーケンスにおける各非線形畳み込みを前記アップサンプリング画像の前記解像度にパディングすること、
を更に含む、請求項５に記載の方法。
【請求項７】
前記アップサンプリング画像の前記全体的細部は、前記アップサンプリング画像の高周波数細部を符号化して、全体的制約を前記アップサンプリング画像に対して実施し、前記平滑アップサンプリング画像は、前記アップサンプリング画像の低周波数細部を符号化して、局所的制約を前記アップサンプリング画像に対して実施する、請求項１に記載の方法。
【請求項８】
前記非線形畳み込みのシーケンスは、データ制約を前記アップサンプリング画像に対して実施する、請求項７に記載の方法。
【請求項９】
前記画像は顔の低解像度画像であり、前記アップサンプリング画像は前記顔の高解像度画像であり、該高解像度は前記低解像度よりも解像度が高い、請求項１に記載の方法。
【請求項１０】
撮像デバイスから前記画像を受信することと、
前記アップサンプリング画像をディスプレイデバイス上にレンダリングすることと、
を更に含む、請求項１に記載の方法。
【請求項１１】
前記撮像デバイスは、カメラ、コンピューター、スキャナー、モバイルデバイス、及びウェブカムのうちの１つ又は組み合わせを含み、前記ディスプレイデバイスは、コンピューターモニター、前記カメラ、テレビ、プロジェクター、又はモバイルデバイスのうちの１つ又は組み合わせを含む、請求項１０に記載の方法。
【請求項１２】
元画像をフィルタリングして前記画像を生成すること、
を更に含む、請求項１に記載の方法。
【請求項１３】
プロセッサ及びメモリを備え、画像をアップサンプリングするコンピューターシステムであって、前記メモリに記憶された前記命令は、
非線形完全接続ニューラルネットワークを用いて前記画像をアップサンプリングして、アップサンプリング画像の全体的細部のみを生成することと、
前記画像を補間して、平滑アップサンプリング画像を生成することと、
前記全体的細部及び前記平滑アップサンプリング画像をテンソルに連結することと、
畳み込みニューラルネットワークを用いて非線形畳み込みのシーケンスを前記テンソルに適用して、前記アップサンプリング画像を生成することと
を行うように前記プロセッサを構成する、コンピューターシステム。
【請求項１４】
前記完全接続ネットワーク、前記補間、及び前記畳み込みは、アップサンプリング画像のセットと、対応する高解像度画像のセットとの間の誤差を低減するために、同時にトレーニングされる、請求項１３に記載のシステム。
【請求項１５】
前記完全接続ネットワークはニューラルネットワークであり、前記トレーニングは前記ニューラルネットワークの各ニューロンの重みを生成し、前記補間は、前記画像の異なるピクセルの補間には異なる重みを用い、前記トレーニングは、前記補間の前記異なる重みを生成し、前記トレーニングは、前記非線形畳み込みのシーケンスの各ニューロンの重みを生成する、請求項１４に記載のシステム。
【請求項１６】
前記アップサンプリング画像の前記全体的細部は、前記アップサンプリング画像の高周波数細部を符号化して、全体的制約を前記アップサンプリング画像に対して実施し、前記平滑アップサンプリング画像は、前記アップサンプリング画像の低周波数細部を符号化して、局所的制約を前記アップサンプリング画像に対して実施し、前記非線形畳み込みのシーケンスは、データ制約を前記アップサンプリング画像に対して実施する、請求項１３に記載のシステム。
【請求項１７】
前記画像は顔の低解像度画像であり、前記アップサンプリング画像は前記顔の高解像度画像であり、該高解像度は前記低解像度よりも解像度が高い、請求項１３に記載のシステム。
【請求項１８】
前記画像を求める撮像デバイスと、
前記アップサンプリング画像を表示するディスプレイデバイスと、
を更に備える、請求項１３に記載のシステム。
【請求項１９】
前記撮像デバイスは、カメラ、コンピューター、スキャナー、モバイルデバイス、及びウェブカムのうちの１つ又は組み合わせを含み、前記ディスプレイデバイスは、コンピューターモニター、前記カメラ、テレビ、プロジェクター、又はモバイルデバイスのうちの１つ又は組み合わせを含む、請求項１６に記載のシステム。
【請求項２０】
元画像をフィルタリングして前記画像を生成するフィルター、
を更に備える、請求項１３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、画像処理に関し、より詳細には、画像をアップサンプリングして、低解像度画像から高解像度画像を生成することに関する。
【背景技術】
【０００２】
顔アップサンプリング（超解像）は、監視、認証及び写真において広範な用途を有する低解像度入力画像から高解像度顔画像を生成する作業である。顔アップサンプリングは、入力された顔解像度が非常に低いとき（例えば、１２×１２ピクセル）、倍率が高いとき（例えば、８倍）、及び／又は、顔画像が、姿勢及び照明の変化を伴う制御されていない状況において取り込まれたときに特に困難である。
【０００３】
以前の超解像方法は、画像補間を用いて高解像度画像を取得していた。これらの方法には、最近傍補間、双一次補間及び双三次補間が含まれる。補間に基づく画像の超解像は、画像の細部が失われるか又は細部の画質が不十分な平滑化された画像を生成する。鮮明な高解像度画像を取得するために、幾つかの方法は、補間後にバイラテラルフィルタリング等の画像鮮明化フィルターを用いていた。
【０００４】
より最近の方法は、機械学習技法を用いて、画像超解像方法のパラメーターを学習するものである。画像超解像（ＳＲ）方法は、一般の画像向けに開発されているが、顔アップサンプリングに用いることができる。これらの方法では、局所的制約（local constraints）は、画像統計及び標本パッチに基づいて従来どおりに実施される。全体的制約（global constraints）は、通常、一般のＳＲ問題には利用可能でなく、これによって、妥当性の高いアップサンプリング係数が制限される。
【０００５】
顔画像に固有の幾つかの超解像方法がある。例えば、１つの方法は、顔を幻覚化する２ステップ手法を用いる。最初に、顔全体を再構成したものが、線形射影演算である固有顔（eigenface）モデルを用いて取得される。第２のステップにおいて、再構成された顔全体の細部が、近傍パッチにわたる整合性がマルコフ確率場を通じて実施されるトレーニングセットからの非パラメトリックパッチ転写によって強調される。この方法は、顔画像がほぼ正面を向いたものであり、良好に位置合わせされており、照明条件が制御されているとき、高品質の顔の幻覚化結果を生成する。しかしながら、これらの前提が破られると、単純な線形固有顔モデルは、満足のゆく顔全体を再構成したものを生成しない。加えて、パッチ転写は、最近傍（ＮＮ）パッチ探索に起因して、大きなトレーニングデータセットに良好に対応しない。
【０００６】
別の方法は、バイチャネル（bi-channel）畳み込みニューラルネットワーク（ＢＣＣＮＮ）を顔アップサンプリングに用いる。この方法は、畳み込みと、その後に続く完全接続層とを備える標準的な畳み込みニューラルネットワークアーキテクチャを用いる。その出力が双三次アップサンプリング画像を用いて平均化される。高解像度基底画像が平均されるこのネットワークの最後の層は完全接続されている。平均化に起因して、人物固有の顔細部は失われる可能性がある。
【発明の概要】
【０００７】
本発明の幾つかの実施の形態は、フォトリアリスティックな高解像度画像、例えば顔の画像、のアップサンプリングが次の制約を満たす必要があるという認識に基づいている。第１の制約は、再構成された高解像度顔画像が形状、姿勢、及び対称性等の全体論的な制約を満たす必要があるとともに、目及び鼻等の細部の特有の顔面特徴を含む必要があることを要求する全体的制約である。第２の制約は、再構成された局所的画像領域の統計が、高解像度顔画像パッチ、例えば、鮮明な境界を有する平滑領域、の統計と一致する必要があり、顔固有の細部を含むべきであることを要求する局所的制約である。第３の制約は、再構成が、観察された低解像度画像と整合する必要があり、式（１）を満たす必要があることを要求するデータ制約である。この例では、顔の制約が用いられているが、これらの３つの制約は、異なるタイプの画像に容易に適合することができる。
【０００８】
幾つかの実施の形態は、完全接続ニューラルネットワークを用いて全体的特徴を正確に回復することができるというもう１つの認識に基づいている。しかしながら、完全接続ネットワークは、アップサンプリング画像の加重平均と、顔細部を平滑化することとを組み合わせる。そのために、幾つかの実施の形態は、画像の全体的特徴のみ、例えば高周波数特徴のみ、をアップサンプリングすることに完全接続ネットワークを用い、補間を用いて局所的特徴、例えば、低周波数特徴、を求める。幾つかの実施の形態は、局所的特徴及び全体的特徴の融合及びフィルタリングも行って高解像度画像を生成する。
【０００９】
したがって、１つの実施の形態は、画像をアップサンプリングする方法を開示する。該方法は、非線形完全接続ニューラルネットワークを用いて前記画像をアップサンプリングして、アップサンプリング画像の全体的細部（global details）のみを生成することと、前記画像を補間して、平滑アップサンプリング画像を生成することと、前記全体的細部及び前記平滑アップサンプリング画像をテンソルに連結することと、畳み込みニューラルネットワークを用いて非線形畳み込みのシーケンスを前記テンソルに適用して、前記アップサンプリング画像を生成することとを含む。該方法の前記ステップは、プロセッサによって実行される。
【００１０】
別の実施の形態は、プロセッサ及びメモリを備える、画像をアップサンプリングするコンピューターシステムであって、前記メモリに記憶された前記命令は、非線形完全接続ニューラルネットワークを用いて前記画像をアップサンプリングして、アップサンプリング画像の全体的細部のみを生成することと、前記画像を補間して、平滑アップサンプリング画像を生成することと、前記全体的細部及び前記平滑アップサンプリング画像をテンソルに連結することと、畳み込みニューラルネットワークを用いて非線形畳み込みのシーケンスを前記テンソルに適用して、前記アップサンプリング画像を生成することと、を行うように前記プロセッサを構成する、コンピューターシステムを開示する。
【図面の簡単な説明】
【００１１】
【図１】本発明の幾つかの実施形態による画像をアップサンプリングするコンピューターシステムのブロック図である。
【図２Ａ】本発明の幾つかの実施形態による全体的局所的アップサンプリングネットワーク（ＧＬＮ）のアーキテクチャのブロック図である。
【図２Ｂ】本発明の幾つかの実施形態によるＧＬＮを用いて画像をアップサンプリングする方法のブロック図である。
【図３】本発明の幾つかの実施形態による顔画像アップサンプリングのＧＬＮの実施態様の概略図である。
【図４Ａ】非常に低解像度の入力顔画像用に設計された図３のＧＬＮの実施態様の幾つかのパラメーターを列挙した図である。
【図４Ｂ】非常に低解像度の入力顔画像用に設計された図３のＧＬＮの実施態様の幾つかのパラメーターを列挙した図である。
【図５】本発明の幾つかの実施形態によって用いられるトレーニングの概略図である。
【図６】本発明の幾つかの実施形態によって用いられるトレーニング方法のブロック図である。
【図７】本発明の１つの実施形態によるトレーニングシステムのブロック図である。
【発明を実施するための形態】
【００１２】
図１は、本発明の幾つかの実施形態による画像をアップサンプリングするコンピューターシステム１００のブロック図を示している。コンピューターシステム１００は、記憶された命令を実行するように構成されたプロセッサ１０２と、このプロセッサによって実行可能な命令を記憶するメモリ１０４とを備える。プロセッサ１０２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成体とすることができる。メモリ１０４は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。プロセッサ１０２は、１つ以上の入力デバイス及び出力デバイスにバス１０６を通じて接続される。
【００１３】
これらの命令は、画像をアップサンプリングして、アップサンプリング画像を生成する方法を実施する。様々な実施形態では、アップサンプリングすることは、低解像度画像から高解像度画像を作成することを含む。例えば、１つの実施形態では、画像は顔の低解像度画像であり、アップサンプリング画像は顔の高解像度画像であり、高解像度は低解像度よりも解像度が高く、優れている。
【００１４】
例えば、低解像度ＮＬ＝ｎ×ｍの顔画像ＩＬが与えられると、アップサンプリングすることによって、フォトリアリスティックな高解像度ＮＨ＝（ｄｎ）×（ｄｍ）の顔画像ＩＨが取得される。この高解像度顔画像をダウンサンプリングしたものはＩＬに等しい。ここで、ｄは、アップサンプリング係数である。低解像度画像と高解像度画像との間の関係は、以下のように記述することができる。
【数１】
2019501454.tif 000003
ここで、ｘＬ及びｘＨは、列ベクトルにスタックされた低解像度画像及び高解像度画像であり、Ｋは、ローパスフィルタリング動作及びダウンサンプリング動作を実施するＮＬ×ＮＨスパース行列である。この大規模な（ｄ２倍）劣決定線形システムを反転し、高解像度画像を回復するには、追加の制約が必要とされる。
【００１５】
コンピューターシステム１００は、元画像１１０を記憶するように適合された記憶デバイス１０８と、元画像をフィルタリングして、アップサンプリングに適した画像を生成するフィルター１１２とを備えることもできる。例えば、このフィルターは、元画像をサイズ変更し、トレーニングデータの画像と位置合わせすることができる。記憶デバイス１０８は、アップサンプリング方法の構造及びパラメーター１１４も記憶することができる。様々な実施形態では、アップサンプリング１１４は、アップサンプリングの制約がトレーニングデータを用いて明示的にモデル化及び学習される深層ニューラルネットワークを用いて線形逆問題（１）の解を近似する。アップサンプリングの構造は、深層ニューラルネットワークの種々の構成要素間の関係を含むことができる。アップサンプリングのパラメーターは、深層ニューラルネットワークの種々の構成要素の種々の動作の重みを含むことができる。
【００１６】
記憶デバイス１０８は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを含むことができる。コンピューターシステム１００内のヒューマンマシンインターフェース１１６は、システムをキーボード１１８及びポインティングデバイス１２０に接続することができ、ポインティングデバイス１２０は、とりわけ、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、又はタッチスクリーンを含むことができる。コンピューターシステム１００は、当該システム１００をディスプレイデバイス１２４に接続するように適合されたディスプレイインターフェース１２２にバス１０６を通じてリンクすることができ、ディスプレイデバイス１２４は、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。
【００１７】
コンピューターシステム１００は、当該システムを撮像デバイス１２８に接続するように適合された撮像インターフェース１２６にも接続することができる。１つの実施形態では、アップサンプリングするための画像は、撮像デバイスから受信される。撮像デバイス１２８は、カメラ、コンピューター、スキャナー、モバイルデバイス、ウェブカム、又はそれらの任意の組み合わせを含むことができる。プリンターインターフェース１３０も、バス１０６を通じてコンピューターシステム１００に接続することができ、コンピューターシステム１００を印刷デバイス１３２に接続するように適合することができ、印刷デバイス１３２は、とりわけ、液体インクジェットプリンター、固体インクプリンター、大規模商用プリンター、サーマルプリンター、ＵＶプリンター、又は昇華型プリンターを含むことができる。ネットワークインターフェースコントローラー１３４は、コンピューターシステム１００をバス１０６を通じてネットワーク１３６に接続するように適合される。ネットワーク１３６を通じて、電子テキスト及び撮像入力文書のうちの一方又は組み合わせを含む画像１３８をダウンロードすることができ、記憶及び／又はその後の処理のためにコンピューターの記憶システム１０８内に記憶することができる。
【００１８】
本発明の幾つかの実施形態は、フォトリアリスティックな高解像度画像、例えば顔の画像、のアップサンプリングが次の制約を満たす必要があるという認識に基づいている。第１の制約は、再構成された高解像度顔画像が形状、姿勢、及び対称性等の全体論的な制約を満たす必要があるとともに、目及び鼻等の細部の特有の顔面特徴を含む必要があることを要求する全体的制約である。第２の制約は、再構成された局所的画像領域の統計が、高解像度顔画像パッチ、例えば、鮮明な境界を有する平滑領域、の統計と一致する必要があり、顔固有の細部を含むべきであることを要求する局所的制約である。第３の制約は、再構成が、観察された低解像度画像と整合する必要があり、式（１）を満たす必要があることを要求するデータ制約である。この例では、顔の制約が用いられているが、これらの３つの制約は、異なるタイプの画像に容易に適合することができる。
【００１９】
図２Ａは、本発明の幾つかの実施形態による深層ニューラルネットワーク２００のアーキテクチャのブロック図を示している。そのようなアーキテクチャは、本明細書では、所与の低解像度画像１０１をアップサンプリングする全体的局所的アップサンプリングネットワーク（ＧＬＮ）と呼ばれる。このネットワークの構成要素又はサブモジュールは、上記の定義された局所的制約及び全体的制約を実施するように明示的に設計される。例えば、ＧＬＮは、アップサンプリングの全体的制約及び局所的制約をモデル化する全体的アップサンプリングネットワーク（ＧＮ）２５０及び局所的強調ネットワーク（ＬＮ）２６０と呼ばれる２つのサブネットワークを備える。深層アーキテクチャを用いて全体的制約及び局所的制約を併せてモデル化して学習することによって、フィードフォワード処理の効率を維持しながら、アップサンプリングの精度が向上される。
【００２０】
ＧＮは、並列に動作する２ストリームニューラルネットワークを備える。第１のストリームは、低解像度の顔の単純な補間に基づくアップサンプリング２０２を実施して、細部を有しない平滑画像２０５を生成する。この補間は、最近傍補間、双一次補間又は三次補間等の固定重みを有することができる。幾つかの実施形態では、補間の重みも、トレーニングデータを用いて学習される。重みが学習される補間は、本明細書では畳み込み解除ネットワークと呼ばれる。例えば、第１のストリームは、畳み込み解除ネットワークを用いて、低解像度の顔の補間に基づくアップサンプリングを実施して、細部を有しない平滑なアップサンプリング画像を生成する。
【００２１】
第２のストリームは、非線形完全接続ニューラルネットワーク２０１を用いて、目及び鼻等の高周波数特性を有する顔の細部を生成する。このネットワークの隠れ層は、低解像度入力１０１から推論することができる高解像度顔画像の全体的表現を構築する。ネットワーク２０１によって用いられる多層非線形埋め込み及び再構成によって、特有の顔面特徴等のアップサンプリング画像２０４の細部のより効果的な符号化が可能になる。加えて、位置合わせ、顔姿勢、及び照明等の変化（バリエーション）を効果的にモデル化することができる。ＧＮによって生成された２つのストリームは連結され（２１０）、ＬＮ２６０によって処理される。
【００２２】
局所的制約は、シフト不変非線形フィルターを実施する畳み込みニューラルネットワーク２２０を用いて、ＬＮにおいてモデル化される。このネットワークは、ＧＮによって生成された平滑層（smooth layer）及び細部層（detail layer）を融合することによって顔固有の局所的細部（local details）を強調する。畳み込みフィルターが比較的小さく、例えば、５×５ピクセル又は７×７ピクセルの面積を有する場合であっても、多くのフィルターを積重することによって、ネットワークのそれぞれのフィールドはかなり大きくなる。それぞれの大きなフィールドによって、曖昧さ（例えば、目領域対口領域）を解像することが可能になり、深層アーキテクチャは、必要なフィルタリング動作を所与の領域に適用するのに十分な容量を有する。
【００２３】
ＬＮは、ＧＮによって生成された平滑層及び細部層を融合することによって顔固有の局所的細部を強調する。幾つかの実施形態では、ＬＮは、シフト不変非線形フィルターを実施する完全畳み込みニューラルネットワークである。このネットワークは、各顔領域（例えば、目領域対口領域）の適切なフィルタリング動作を選択して適用する。アップサンプリング画像全体を処理するために、幾つかの実施形態は、アップサンプリング画像の解像度に各非線形畳み込みをパディング（pad）する。
【００２４】
図２Ｂは、本発明の幾つかの実施形態による、ＧＬＮアーキテクチャを用いて画像をアップサンプリングする方法のブロック図を示している。本方法は、非線形完全接続ニューラルネットワークを用いて画像をアップサンプリングし、アップサンプリング画像の全体的細部のみを生成し（２６５）、同画像を補間して平滑アップサンプリング画像も生成する（２７５）。これらの全体的細部及び平滑アップサンプリング画像は、テンソルに連結され（２８５）、非線形畳み込みのシーケンスが、畳み込みニューラルネットワークを用いてこのテンソルに適用され、アップサンプリング画像が生成される。
【００２５】
本発明の幾つかの実施形態では、アップサンプリング画像の全体的細部は、アップサンプリング画像の高周波数細部（high frequency details）を符号化して、アップサンプリング画像に対して全体的制約を実施し、平滑アップサンプリング画像は、アップサンプリング画像の低周波数細部（low frequency details）を符号化して、アップサンプリング画像に対して局所的制約を実施する。加えて、非線形畳み込みのシーケンスは、アップサンプリング画像に対してデータ制約を実施する。
【００２６】
図３は、本発明の幾つかの実施形態による顔画像アップサンプリングのＧＬＮの実施態様の概略図を示している。実施形態は、ネットワーク内の制約を明示的にモデル化していないが、大量のトレーニングデータを用いてネットワークをトレーニングすることによって、ネットワークは、式（１）に従って低解像度画像と整合する高解像度顔画像を生成することを学習する。
【００２７】
図４Ａ及び図４Ｂは、非常に低解像度の入力顔画像用に設計された図３のＧＬＮの実施態様の幾つかのパラメーターを列挙している。一般性を失うことなく、図４Ａ及び図４Ｂの例は、（１）３２×３２入力顔画像４１０が１２８×１２８解像度４２０にマッピングされる図４Ａの４×アップサンプリング；（２）１６×１６入力顔画像４３０が１２８×１２８解像度画像４４０にマッピングされる図４Ｂの８×アップサンプリング、の２つのアップサンプリング係数を考察している。それらの例では、ＧＬＮは、隠れ層パラメーター及び畳み込みフィルターサイズを有する４層完全接続ニューラルネットワークＧＮ４１２及び４３２並びに８層畳み込みニューラルネットワークＬＮ４１４及び４３４を用いて実施される。それらの例では、ｆｃ−Ｚは、Ｚ個のニューロンを有する完全接続ニューラルネットワーク層を意味し、ｃｏｎｖＹ−Ｕは、Ｙ×Ｙピクセルのエリアをそれぞれ有するＵ個の畳み込みフィルターを有するニューラルネットワーク層を意味する。
【００２８】
全体的アップサンプリングネットワーク（ＧＮ）
ＧＮは、並列に動作する２ストリームネットワークである。画像補間ストリーム３０２は、線形補間を用いて低解像度顔画像３５０を高解像度顔画像３６０にマッピングする。幾つかの実施形態は、低解像度入力画像内の１つのピクセルが高解像度画像内の幾つかのピクセルに局所的に接続される畳み込み解除ネットワークを用いて画像補間ストリームを実施する。低解像度入力画像内の各ピクセルは、重み係数を乗算され、高解像度画像内の接続されたピクセルの値に加算される。補間重みは、双一次重みを用いて初期化することができるが、これらの重みは、トレーニング中に変化することが可能である。図２Ａ及び図３は、平滑アップサンプリングをもたらす補間の通常の出力２０５及び３０５を示している。
【００２９】
全体的細部生成ストリームは、１つ又は幾つかの隠れ層を有する完全接続ニューラルネットワーク３０１として実施される。この完全接続ニューラルネットワークでは、所与の層における全てのニューロンは、次の層における全てのニューロンに接続されている。幾つかの実施形態は、１２８×１２８次元アップサンプリング全体的細部を生成する最後の層を除いて、あらゆる線形マッピングの後に、正規化（rectified：整流）線形非線形性（linear nonlinearity）を用いる。本発明者らの自動エンコーダーネットワークでは、符号層は、４×アップサンプリングネットワーク４１２及び８×アップサンプリングネットワーク４３２の双方について２５６次元である。一方、幾つかの他の層は、異なる次元を有することができる。全体的細部生成ストリーム２０４及び／又は３０４の出力は、高周波数細部を符号化したものである。このパターンは、目、鼻及び口等の特有の顔面特徴の周辺においてより可視的である。
【００３０】
連結
本発明の幾つかの実施形態は、画像アップサンプリングストリームの出力及び全体的細部生成ストリームの出力を連結し（３１０）、ＬＮによって処理される２×１２８×１２８テンソルを形成する。
【００３１】
局所的精緻化ネットワーク（ＬＮ）
局所的制約は、シフト不変非線形フィルターを実施する畳み込みニューラルネットワーク３２０を用いて、ＬＮにおいてモデル化される。各畳み込み動作の前に、画像は、
出力画像の寸法が入力の寸法と同じになるように、２分の１のフィルターサイズのシーリング（ceiling）を用いてパディングされる。最終のアップサンプリング画像を構成する最後の層を除いて、あらゆる畳み込み層の後、幾つかの実施形態は、正規化線形非線形性を適用する。ＬＮは、ＧＮによって生成された平滑層及び細部層を融合することによって顔固有の局所的細部を強調する。加えて、再構成された画像の局所的統計は、高解像度顔画像パッチの統計と一致する（例えば、平滑な頬の領域及び鮮明な顔の境界）。
【００３２】
本発明の１つの実施形態は、アップサンプリング演算子が、低解像度画像と整合した高解像度画像をもたらすことを保証する。深層顔アップサンプリングネットワークは、低解像度入力と整合した高解像度画像を生成することを学習するが、実施形態は、後処理動作を用いて整合性をハード制約にする。そのために、実施形態は、低解像度入力画像と整合した実現可能な高解像度解（式（１））の部分空間において最も近い画像を見つける。
【００３３】
トレーニング
本発明の幾つかの実施形態では、完全接続ネットワーク、補間、及び畳み込みは、アップサンプリング画像のセットと対応する高解像度画像のセットとの間の誤差を低減するために、同時にトレーニングされる。例えば、１つの実施形態では、完全接続ネットワークはニューラルネットワークであり、トレーニングは、このニューラルネットワークの各ニューロンの重みを生成する。加えて又は代替的に、１つの実施形態では、補間は、画像の異なるピクセルの補間には異なる重みを用い、トレーニングは、補間のそれらの異なる重みを生成する。加えて又は代替的に、１つの実施形態では、トレーニングは、非線形畳み込みのシーケンスの各ニューロンの重みを生成する。
【００３４】
図５は、本発明の幾つかの実施形態によって用いられるトレーニングの概略図を示している。トレーニング５１０は、低解像度画像５０１及び対応する高解像度グラウンドトゥルース画像５０２のペアのトレーニングセットを用いて、ＧＬＮの重み５２０を生成する。一般に、人工ニューラルネットワークをトレーニングすることは、トレーニングセットを考慮して、「学習」アルゴリズムと呼ばれることがあるトレーニングアルゴリズムを人工ニューラルネットワークに適用することを含む。トレーニングセットは、入力の１つ以上のセットと、出力の１つ以上のセットとを含むことでき、入力の各セットは出力の一セットに対応する。トレーニングセットにおける出力のセットは、対応する入力のセットが人工ニューラルネットワークに入力され、次いで、人工ニューラルネットワークがフィードフォワード形式で動作されると、人工ニューラルネットワークが生成するように所望される出力のセットを含む。
【００３５】
ニューラルネットワークをトレーニングすることは、人工ニューラルネットワーク内の接続に関連付けられた重み値を計算することを伴う。そのために、本明細書に別段の記載がない限り、トレーニングすることは、完全接続ネットワーク内の接続、補間及び畳み込みの重み値を電子的に計算することを含む。
【００３６】
図６は、本発明の幾つかの実施形態によって用いられるトレーニング方法５１０のブロック図を示している。この方法は、ＧＬＮ２００（又は６１０）を用いて、セット５１０からの低解像度画像をアップサンプリングして、アップサンプリング画像６２０を生成し、このアップサンプリング画像６２０をセット５０２からの対応する高解像度画像と比較して、これらの２つの高解像度画像の間の距離を生成する（６３０）。例えば、１つの実施形態は、２つの画像の間のユークリッド距離又はピーク信号対雑音比（ＰＳＮＲ）スコアの負数を求める。ネットワークは、ネットワークパラメーターに対して距離６３０を最小にする最適化手順を用いてトレーニングされる。この最適化は、勾配降下法、確率的勾配降下法、及びニュートン法を含む様々な異なる方法を用いて行うことができる。
【００３７】
図７は、本発明の１つの実施形態によるトレーニングシステムのブロック図を示している。このトレーニングシステムは、バス２２によって読み出し専用メモリ（ＲＯＭ）２４及びメモリ３８に接続されたプロセッサ２０を備える。このトレーニングシステムは、ユーザーに情報を提示するディスプレイ２８と、入力／出力ポート３０を介して取り付けることができるキーボード２６、マウス３４及び他のデバイスを含む複数の入力デバイスとを備えることもできる。他のポインティングデバイス又は音声センサー若しくは画像センサー等の他の入力デバイスも取り付けることができる。他のポインティングデバイスには、タブレット、数字キーパッド、タッチスクリーン、タッチスクリーンオーバーレイ、トラックボール、ジョイスティック、ライトペン、サムホイール等が含まれる。Ｉ／Ｏ３０は、通信回線３６、ディスク記憶装置３２、入力デバイス、出力デバイス又は他のＩ／Ｏ機器に接続することができる。メモリ３８は、表示スクリーンのピクセル強度値を含むディスプレイバッファー７２を備える。ディスプレイ２８は、ディスプレイバッファー７２からピクセル値を周期的に読み出し、これらの値を表示スクリーン上に表示する。これらのピクセル強度値は、グレーレベルを表す場合もあるし、カラーを表す場合もある。
【００３８】
メモリ３８は、データベース９０、トレーナー８２、ＧＬＮ２００、プリプロセッサ８４を備える。データベース９０は、履歴データ１０５、トレーニングデータ８８、テストデータ９２を含むことができる。データベースは、ニューラルネットワークを用いる動作モード、トレーニングモード又は保持モードからの結果も含むことができる。これらの要素は、上記で詳細に説明されている。
【００３９】
メモリ３８には、オペレーティングシステム７４も示されている。オペレーティングシステムの例には、ＡＩＸ、ＯＳ／２、及びＤＯＳが含まれる。メモリ３８に示された他の要素には、キーボード及びマウス等のデバイスによって生成される電気信号を解釈するデバイスドライバー７６が含まれる。ワーキングメモリエリア７８もメモリ３８に示されている。ワーキングメモリエリア７８は、メモリ３８に示す要素のいずれもが利用することができる。ワーキングメモリエリアは、ニューラルネットワーク２００、トレーナー８２、オペレーティングシステム７４及び他の機能が利用することができる。ワーキングメモリエリア７８は、要素間及び要素内で分割されてもよい。ワーキングメモリエリア７８は、通信、バッファリング、一時記憶、又はプログラムが実行している間のデータの記憶に利用されてもよい。
【００４０】
本発明の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピューターに設けられるのか又は複数のコンピューター間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
【００４１】
また、本発明の実施形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施形態を構築することができ、これには、例示の実施形態では一連の動作として示されたにもかかわらず、幾つかの動作を同時に実行することを含めることもできる。
【００４２】
請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１】
2019501454.tif 000004
【図２Ａ】
2019501454.tif 000005
【図２Ｂ】
2019501454.tif 000006
【図３】
2019501454.tif 000007
【図４Ａ】
2019501454.tif 000008
【図４Ｂ】
2019501454.tif 000009
【図５】
2019501454.tif 000010
【図６】
2019501454.tif 000011
【図７】
2019501454.tif 000012
【手続補正書】
【提出日】平成30年6月7日(2018.6.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像をアップサンプリングする方法であって、
非線形完全接続ニューラルネットワークを用いて前記画像をアップサンプリングして、アップサンプリング画像の全体的細部のみを生成するステップと、
前記画像を補間して、平滑アップサンプリング画像を生成するステップと、
前記全体的細部及び前記平滑アップサンプリング画像をテンソルに連結するステップと、
畳み込みニューラルネットワークを用いて非線形畳み込みのシーケンスを前記テンソルに適用して、前記アップサンプリング画像を生成するステップと
を含み、
前記アップサンプリング画像の前記全体的細部は、前記アップサンプリング画像の高周波数細部を符号化して、全体的制約を前記アップサンプリング画像に対して実施し、
前記完全接続ネットワーク、前記補間、及び前記畳み込みは、アップサンプリング画像のセットと、対応する高解像度画像のセットとの間の誤差を低減するために、同時にトレーニングされ、
該方法の各前記ステップは、プロセッサが実行する、方法。
【請求項２】
前記トレーニングは前記ニューラルネットワークの各ニューロンの重みを生成する、請求項１に記載の方法。
【請求項３】
前記補間は、前記画像の異なるピクセルの補間には異なる重みを用い、前記トレーニングは、前記補間の前記異なる重みを生成する、請求項１に記載の方法。
【請求項４】
前記トレーニングは、前記非線形畳み込みのシーケンスの各ニューロンの重みを生成する、請求項１に記載の方法。
【請求項５】
前記非線形畳み込みのシーケンスにおける各畳み込み動作の前に、前記画像を、前記アップサンプリング画像の前記解像度にパディングすること、
を更に含む、請求項４に記載の方法。
【請求項６】
前記平滑アップサンプリング画像は、前記アップサンプリング画像の低周波数細部を符号化して、局所的制約を前記アップサンプリング画像に対して実施する、請求項１に記載の方法。
【請求項７】
前記非線形畳み込みのシーケンスは、データ制約を前記アップサンプリング画像に対して実施する、請求項６に記載の方法。
【請求項８】
前記画像は顔の低解像度画像であり、前記アップサンプリング画像は前記顔の高解像度画像であり、該高解像度は前記低解像度よりも解像度が高い、請求項１に記載の方法。
【請求項９】
撮像デバイスから前記画像を受信することと、
前記アップサンプリング画像をディスプレイデバイス上にレンダリングすることと、
を更に含む、請求項１に記載の方法。
【請求項１０】
前記撮像デバイスは、カメラ、コンピューター、スキャナー、モバイルデバイス、及びウェブカムのうちの１つ又は組み合わせを含み、前記ディスプレイデバイスは、コンピューターモニター、前記カメラ、テレビ、プロジェクター、又はモバイルデバイスのうちの１つ又は組み合わせを含む、請求項９に記載の方法。
【請求項１１】
元画像をフィルタリングして前記画像を生成すること、
を更に含む、請求項１に記載の方法。
【請求項１２】
プロセッサ及びメモリを備え、画像をアップサンプリングするコンピューターシステムであって、前記メモリに記憶された前記命令は、
非線形完全接続ニューラルネットワークを用いて前記画像をアップサンプリングして、アップサンプリング画像の全体的細部のみを生成することと、
前記画像を補間して、平滑アップサンプリング画像を生成することと、
前記全体的細部及び前記平滑アップサンプリング画像をテンソルに連結することと、
畳み込みニューラルネットワークを用いて非線形畳み込みのシーケンスを前記テンソルに適用して、前記アップサンプリング画像を生成することと
を行うように前記プロセッサを構成し、
前記アップサンプリング画像の前記全体的細部は、前記アップサンプリング画像の高周波数細部を符号化して、全体的制約を前記アップサンプリング画像に対して実施し、
前記完全接続ネットワーク、前記補間、及び前記畳み込みは、アップサンプリング画像のセットと、対応する高解像度画像のセットとの間の誤差を低減するために、同時にトレーニングされる、
コンピューターシステム。
【請求項１３】
前記トレーニングは前記ニューラルネットワークの各ニューロンの重みを生成し、前記補間は、前記画像の異なるピクセルの補間には異なる重みを用い、前記トレーニングは、前記補間の前記異なる重みを生成し、前記トレーニングは、前記非線形畳み込みのシーケンスの各ニューロンの重みを生成する、請求項１２に記載のシステム。
【請求項１４】
前記平滑アップサンプリング画像は、前記アップサンプリング画像の低周波数細部を符号化して、局所的制約を前記アップサンプリング画像に対して実施し、前記非線形畳み込みのシーケンスは、データ制約を前記アップサンプリング画像に対して実施する、請求項１２に記載のシステム。
【請求項１５】
前記画像は顔の低解像度画像であり、前記アップサンプリング画像は前記顔の高解像度画像であり、該高解像度は前記低解像度よりも解像度が高い、請求項１２に記載のシステム。
【請求項１６】
前記画像を求める撮像デバイスと、
前記アップサンプリング画像を表示するディスプレイデバイスと、
を更に備える、請求項１２に記載のシステム。
【請求項１７】
前記撮像デバイスは、カメラ、コンピューター、スキャナー、モバイルデバイス、及びウェブカムのうちの１つ又は組み合わせを含み、前記ディスプレイデバイスは、コンピューターモニター、前記カメラ、テレビ、プロジェクター、又はモバイルデバイスのうちの１つ又は組み合わせを含む、請求項１６に記載のシステム。
【請求項１８】
元画像をフィルタリングして前記画像を生成するフィルター、
を更に備える、請求項１２に記載のシステム。
【国際調査報告】
2019501454.tif 000013
2019501454.tif 000014
2019501454.tif 000015