(57)【要約】画像処理システムは、複数の関数に基づいて指定された汎関数を構成し、該構成された汎関数を用いて目的画像を生成するように構成されたイメージプロセッサを備える。ここで、該複数の関数の各々は、少なくとも第１及び第２の画像に関する画像情報の対応する部分に関連付けられている。たとえば、それらの関数は、画像情報のそれぞれの入力画像A1,A2,…,ALからの画素の一組の関数f1(A1),f2(A2),…,fL(AL)を含むことができ、汎関数を、該一組の関数f1(A1),f2(A2),…,fL(AL)の関数F(Ｘ)とすることができ、ここで、Ｘは目的画像を表し、関数F(Ｘ)を最小にすることによって生成される。入力画像を１以上の画像ソースから受け取ることができ、目的画像を１以上の画像提供先に提供することができる。【選択図】図２
2016519343.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１の画像及び第２の画像に関する画像情報を得るステップと、
複数の関数に基づいて、指定された汎関数を構成するステップであって、該複数の関数の各々は、前記画像情報の対応する部分に関連付けられている、ステップと、
前記構成された汎関数を用いて目的画像を生成するステップ
を含み、
前記得るステップ、前記構成するステップ、及び前記生成するステップは、メモリに結合されたプロセッサを含む少なくとも１つの処理装置において実施されることからなる、方法。
【請求項２】
前記画像情報は、１以上の画像ソースからの複数の入力画像A1,A2,…,ALを含み、前記目的画像は、前記入力画像A1,A2,…,ALを用いて再構成されるＭ×Ｎ画素のサイズの目的画像Ｘから構成される、請求項１の方法。
【請求項３】
前記入力画像A1,A2,…,ALのうちの少なくとも１つのサイズもＭ×Ｎ画素である、請求項２の方法。
【請求項４】
前記複数の関数は、一組の関数f1(A1),f2(A2),…,fL(AL)を含み、該複数の関数の各々は、前記入力画像A1,A2,…,ALのうちの対応する１つからの画素の関数を含み、前記汎関数は、前記一組の関数f1(A1),f2(A2),…,fL(AL)の関数である汎関数F(Ｘ)から構成される、請求項２の方法。
【請求項５】
前記汎関数F(Ｘ)が、
【数１６】
2016519343.tif 000018
の形式である、請求項４の方法。
【請求項６】
前記汎関数F(Ｘ)が、
【数１７】
2016519343.tif 000019
の形式であり、ここで、wｋは重みを表し、ｋ＝１,…,Ｌの全てのｋについて、wｋ＞０である、請求項４の方法。
【請求項７】
前記汎関数F(Ｘ)が、
【数１８】
2016519343.tif 000020
の形式であり、wｋは重みを表し、pｋは確率を表し、ｋ＝１,…,Ｌの全てのｋについて、wｋ＞０で０≦pｋ≦１である、請求項４の方法。
【請求項８】
前記目的画像Ｘを生成するステップは、前記汎関数F(Ｘ)を最小にすることによってＸを決定するステップを含む、請求項４の方法。
【請求項９】
前記関数f1(A1),f2(A2),…,fL(AL)は全て線形関数である、請求項４の方法。
【請求項１０】
前記目的画像Ｘを生成するステップは、
【数１９】
2016519343.tif 000021
を含む連立線形方程式を解くことによってＸを決定するステップを含む、請求項９の方法。
【請求項１１】
前記関数f1(A1),f2(A2),…,fL(AL)のうちの少なくとも１つは非線形関数である、請求項４の方法。
【請求項１２】
前記目的画像Ｘを生成するステップは、近似反復最小化
【数２０】
2016519343.tif 000022
に基づいてＸを決定するステップを含み、該近似反復最小化は、最初の近似値Ｘ0から開始して、最大反復回数に達するか、または、２つの連続する反復回における近似値Ｘi+1とＸiの差がある閾値よりも小さくなるまで繰り返し行われる、請求項１１の方法。
【請求項１３】
前記最初の近似値Ｘ0は、一組のｑ個の恒等関数fi1(Ai1),fi2(Ai2),…,fiｑ(Aiｑ)を用いて少なくとも部分的に決定され、該恒等関数の各々は、前記目的画像に関する部分的な情報を提供する、請求項１２の方法。
【請求項１４】
前記恒等関数はそれぞれ、少なくとも１つの画素値、fi1(Ai1)＝ａm1,n1,fi2(Ai2)＝ａm2,n2,…,fiｑ(Aiｑ)＝ａmq,nqを提供し、前記最初の近似値Ｘ0は、少なくとも前記ｑ個の値であるａm1,n1,ａm2,n2,…,ａmq,nqを用いた補間によって決定されたＸ0のＭ×Ｎ近似値を含む、請求項１３の方法。
【請求項１５】
前記画像情報は、
(i)解像度が同じである第１の奥行き画像と第２の奥行き画像、
(ii)解像度が異なる第１の奥行き画像と第２の奥行き画像、
(iii)解像度が同じである奥行き画像と非奥行き画像,
(iv)解像度が異なる奥行き画像と非奥行き画像
のうちの少なくとも１つの画素情報を含む、請求項１の方法。
【請求項１６】
コンピュータープログラムコードが組み込まれたコンピューター可読記憶媒体であって、前記コンピュータープログラムコードは、請求項１の前記処理装置で実行されると、請求項１の方法を前記処理装置に実行させることからなる、コンピューター可読記憶媒体。
【請求項１７】
メモリに結合されたプロセッサを含む少なくとも１つの処理装置を備える装置であって、
前記少なくとも１つの処理装置は、
複数の関数に基づいて、指定された汎関数を構成するように構成された汎関数構成モジュールと、
前記構成された汎関数を用いて目的画像を生成するように構成された目的画像生成モジュール
を備え、
前記複数の関数の各々は、少なくとも第１の画像と第２の画像に関する画像情報の対応する部分に関連付けられることからなる、装置。
【請求項１８】
前記複数の関数は、一組の関数f1(A1),f2(A2),…,fL(AL)を含み、該複数の関数の各々は、前記画像情報の複数の入力画像A1,A2,…,ALのうちの対応する１つからの画素の関数を含み、前記汎関数は、前記一組の関数f1(A1),f2(A2),…,fL(AL)の関数である、請求項１７の装置。
【請求項１９】
前記汎関数は汎関数F(Ｘ)を含み、ここで、Ｘは前記目的画像を表し、前記目的画像生成モジュールは、前記汎関数F(Ｘ)を最小にすることによって前記目的画像Ｘを生成するように構成される、請求項１７の装置。
【請求項２０】
少なくとも第１の画像及び第２の画像に関する画像情報を提供する１以上の画像ソースと、
１以上の画像提供先と、
前記１以上の画像ソースと前記１以上の画像提供先の間に結合されたイメージプロセッサ
を備える画像処理システムであって、
前記イメージプロセッサは、複数の関数に基づいて指定された汎関数を構成し、該構成された汎関数を用いて目的画像を生成し、及び、前記１以上の画像提供先に前記目的画像を提供するように構成され、前記複数の関数の各々は、前記画像情報の対応する部分に関連付けられることからなる、画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本分野は、一般的には画像処理に関し、より具体的には、他の画像に関する情報を用いた所与の目的画像の生成を含む画像再構成及びその他の処理に関する。
【背景技術】
【０００２】
画像処理は種々の異なる用途において重要であり、該処理は、２次元（２Ｄ）画像及び３次元（３Ｄ）画像を含む異なるタイプの複数の画像に関わる場合がある。たとえば、空間のシーンの３Ｄ画像を、（それぞれのカメラが）該シーンの異なる視野を有するように配置されたそれぞれのカメラで捉えた複数の２Ｄ画像に基づく三角測量を用いて生成することができる。代替的には、構造光（SL：structured light）カメラやToF（time of flight）カメラなどの奥行き（深度）撮像装置を用いて３Ｄ画像を直接生成することができる。それらの及び他のタイプの複数の画像を、ジェスチャー認識、顔検出、及び、一人もしくは複数人の人物追跡などのマシンビジョン用途で処理することができる。
【０００３】
従来の画像処理技術は、補間や超解像などの種々の画像再構成技術を含んでいる。補間は、典型的には、所与の画像の一部分だけに関する情報を利用できるときに用いられる。超解像技術は、たとえば、低解像度の画像の解像度を、解像度がより高い別の画像を用いて高くするために使用される場合がある。典型的な超解像技術として、マルコフ確率場や双方向フィルタ（バイラテラルフィルタ）に基づくものがある。
【発明の概要】
【課題を解決するための手段】
【０００４】
１実施形態では、画像処理システムは、各々が、少なくとも第１及び第２の画像に関する画像情報の対応する部分に関連するところの複数の関数に基づいて指定された汎関数を構成し、及び、該構成された汎関数を用いて目的画像（ターゲット画像ともいう）を生成するように構成されたイメージプロセッサ（画像処理プロセッサ）を備える。入力画像を１以上の画像ソースから受け取ることができ、目的画像を、１以上の画像提供先に提供することができる。ほんの１例として、複数の関数は、一組の関数f1(A1),f2(A2),…,fL(AL)を含むことができ、各々の関数は、画像情報である複数の入力画像A1,A2,…,ALのうちの対応する１つからの画素の関数を含み、汎関数を、該一組の関数f1(A1),f2(A2),…,fL(AL)の関数とすることができる。汎関数の形式をF(Ｘ)（Ｘは目的画像を表す）とすることができ、かかる状況では、汎関数F(Ｘ)を最小化することによって目的画像Ｘを生成することができる。
【０００５】
本発明の他の実施形態には、方法、装置、システム、処理装置、集積回路、及び、コンピュータープログラムコードが組み込まれたコンピューター可読記憶媒体が含まれるが、本発明の実施形態はそれらには限定されない。
【図面の簡単な説明】
【０００６】
【図１】１実施形態における画像処理システムのブロック図である。
【図２】図１のシステムにおいて連立線形方程式を用いて目的画像を生成するためのプロセスのフローチャートである。
【図３】図１のシステムにおいて近似反復最小化（approximate iterative minimization）を用いて目的画像を生成するためのプロセスのフローチャートである。
【発明を実施するための形態】
【０００７】
以下、本発明の実施形態を例示的な画像処理システムに関連して説明するが、該システムは、他の画像からの情報の関数に基づく汎関数を用いて目的画像を生成するためのイメージプロセッサもしくは他のタイプの処理装置を備え、及び、そのように目的画像を生成するための技術を実施する。しかしながら、本発明の実施形態は、より一般的に、複数の他の画像からの情報を用いて目的画像を生成することが望まれる任意の画像処理システムまたは関連する装置ないし技術に適用できることが理解されるべきである。
【０００８】
図１は、本発明の１実施形態における画像処理システム１００を示している。画像処理システム１００は、画像ソース１０４から画像を受け取るイメージプロセッサ１０２を備えており、画像提供先（画像の送り先）１０６に処理された画像を提供する。
【０００９】
画像ソース１０４は、たとえば、SLカメラやTOFカメラなどの３Ｄイメージャ（３Ｄ撮像装置）や、２Ｄ赤外線画像、グレースケール画像、カラー画像、または他のタイプの２Ｄ画像を任意に組み合わせて生成するように構成された２Ｄイメージャ（２Ｄ撮像装置）などの１以上の２Ｄイメージャから構成される。画像ソース１０４の別の１例は、処理のためにイメージプロセッサ１０２に画像を提供する記憶装置もしくはサーバーである。
【００１０】
画像提供先１０６は、たとえば、ヒューマンマシンインターフェースの１以上の表示画面、または、イメージプロセッサ１０２から処理された画像を受け取る少なくとも１つの記憶装置もしくはサーバーから構成される。
【００１１】
この実施形態では、イメージプロセッサ１０２は、画像ソース１０４及び画像提供先１０６から分離しているものとして図示されているが、イメージプロセッサ１０２を、共通の処理装置において１以上の画像ソースもしくは画像提供先に少なくとも部分的に結合することができる。したがって、たとえば、１以上の画像ソース１０４とイメージプロセッサ１０２を、同じ処理装置においてひとまとめにして実施することができる。同様に、１以上の画像提供先１０６とイメージプロセッサ１０２を、同じ処理装置においてひとまとめにして実施することができる。
【００１２】
１実施形態において、画像処理システム１００は、ユーザーのジェスチャーを認識するために画像を処理するビデオゲームシステムもしくは他のタイプのジェスチャーベースのシステムとして実施される。開示している技術を、ジェスチャーベースのヒューマンマシンインターフェースを必要とする様々な他のシステム用に同様に適合させることができ、及び、ロボット工学や他の産業用途におけるマシンビジョンシステムなどのジェスチャー認識以外の用途にも適用することができる。
【００１３】
この実施形態のイメージプロセッサ１０２は、少なくとも１つの処理装置を用いて実施され、及び、メモリ１１２に結合されたプロセッサ１１０を備える。イメージプロセッサ１０２はまた、汎関数構成モジュール１１４及び目的画像生成モジュール１１６を備える。
【００１４】
汎関数構成モジュール１１４は、少なくとも第１及び第２の画像に関する画像情報の対応する部分に各々が関連する複数の関数に基づいて、指定された汎関数を構成するように構成される。本明細書で使用されている「汎関数」という用語は、たとえば複数の関数の関数を含むことが意図されている。より一般的には、汎関数は、ベクトル空間からその根底にあるもしくはそれに内在するスカラー場への写像（マッピング）を提供するものとみなすことができ、この場合、ベクトル空間は関数の空間でありうる。本明細書で使用されている「画像情報」という用語は、第１及び第２の画像自体、それらの画像の一部、または、それらの画像の少なくとも一部から得られる情報を含むものとして広義に解釈されるべきことが意図されている。
【００１５】
第１及び第２の画像、またはそれらの画像から得られる他の画像情報を１以上の画像ソース１０４によって提供することができる。たとえば、第１の画像ソースと第２の画像ソースは、それぞれ、第１の画像と第２の画像をイメージプロセッサ１０２に提供することができ、これによって、該イメージプロセッサは、それらの第１及び第２の画像から画像情報を得ることが可能になる。代替的には、それらのソースは、それぞれの画像から情報を得ることができ、及び、得られた情報をイメージプロセッサ１０２に提供することができる。別の例として、１つの画像ソースが、イメージプロセッサ１０２に、複数の画像または得られた関連する情報を提供することができる。
【００１６】
目的画像生成モジュール１１６は、構成された汎関数を用いて目的画像を生成するように構成される。システム１００において生成された目的画像は、１以上の画像提供先１０６に提供される。
【００１７】
この実施形態では、モジュール１１４において汎関数を構成するために使用される特定の関数は、イメージプロセッサ１０２の関数１１８から選択されたか、またはその他のやり方で該関数１１８から得られた１以上の組の関数を含む。たとえば、図２及び図３を参照して説明する処理では、モジュール１１４において汎関数を構成するために使用される関数は、一組の関数f1(A1),f2(A2),…,fL(AL)から構成され、これらの関数の各々は、上記の画像情報の複数の入力画像A1,A2,…,ALのうちの対応する１つからの画素の関数から構成される。したがって、かかる構成では、汎関数は、一組の関数f1(A1),f2(A2),…,fL(AL)の関数である。しかしながら、他の実施形態では、汎関数を構成するために他のタイプの関数を使用することができる。
【００１８】
汎関数構成モジュール１１４において構成される汎関数をF(Ｘ)の形式とすることができ、ここでＸは目的画像を表す。目的画像生成モジュール１１６を、汎関数F(Ｘ)を最小化することによって目的画像Ｘを生成するように構成することができる。これは、たとえば、図２の処理のように一組の線形方程式（一次方程式）の解を求めること、または、図３の処理のように近似反復最小化を行うことを含むことができる。汎関数F(Ｘ)は、一組の重み及び一組の確率のうちの１以上を組み込むことができ、それらの組は、イメージプロセッサ１０２のそれぞれの重み１２０及び確率１２２から選択されるか、または他のやり方でそれらから得られる。他の実施形態は、汎関数を用いて目的画像を生成するために、汎関数及び関連する技術の他の多くのタイプ及び構成を使用することができる。
【００１９】
所与の目的画像を決定するために画像処理システム１００で使用される複数の画像は、奥行き画像（depth image）と非奥行き画像（non-depth image）の種々の組み合わせを含むことができる。１例として、第１の画像は、画像ソース１０４のうちの第１の画像ソースからの第１の解像度の奥行き画像を含み、第２の画像は、それと実質的に同じシーンの画像であって、画像ソース１０４のうちの第１の画像ソースとは異なる画像ソースからの第１の解像度と実質的に同じ解像度を有する２Ｄ画像を含むことができる。このタイプの実施形態では、第１の画像ソースは、構造光（structured light）カメラやToFカメラなどの３Ｄ画像ソースを含むことができ、第２の画像ソースは、赤外線画像、グレースケール画像またはカラー画像として第２の画像を生成するように構成された２Ｄ画像ソースを含むことができる。上述したように、他の実施形態では、同じ画像ソースが、第１の画像と第２の画像の両方を提供する。また、第１の画像及び第２の画像より多くの画像を使用することもできる。
【００２０】
汎関数構成モジュール１１４の文脈における「構成」という用語と目的画像生成モジュール１１６の文脈における「生成」という用語は、それぞれ、汎関数と目的画像を決定するための異なる様々な技術を含むものとして広義に解釈されるべきことが意図されていることに留意されたい。
【００２１】
上述したように、イメージプロセッサ１０２の汎関数構成モジュール１１４及び目的画像生成モジュール１１６を用いて実施される例示的な画像処理については、図２及び図３を参照してより詳細に後述する。
【００２２】
図１の実施形態のプロセッサ１１０及びメモリ１１２を、マイクロプロセッサ、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、中央処理装置（CPU）、論理演算装置（ALU）、デジタル信号プロセッサ（DSP）、もしくは、他の類似の処理装置要素、並びに、他のタイプ及び構成ないし配列の画像処理回路を任意の組み合わせで含む少なくとも１つの処理装置のそれぞれの部分から構成することができる。
【００２３】
汎関数構成モジュール１１４及び目的画像生成モジュール１１６またはそれらの各部分を、プロセッサ１１０によって実行される、メモリ（記憶装置）１１２に格納されているソフトウェアの形態で、少なくとも部分的に実施することができる。対応するプロセッサによる実行のためにソフトウェアコードを格納するそのようなメモリは、本明細書では、コンピュータープログラムコードが組み込まれているコンピューター可読媒体や他のタイプのコンピュータープログラム製品としてより一般的に呼ばれるものの１例であって、たとえば、ランダムアクセスメモリ（RAM）や読み出し専用メモリ（ROM）などの電気メモリ、磁気メモリ、光メモリ、もしくは他のタイプの記憶装置を任意の組み合わせで含むことができる。メモリ１１２は、さらに、または、上記の代わりに、関数１１８、重み１２０及び確率１２２の１以上のうちの少なくとも一部を格納することができる。上述したように、プロセッサ１１０を、マイクロプロセッサ、ASIC、FPGA、CPU、ALU、DSPもしくは他の画像処理回路の一部またはそれらの任意の組み合わせから構成することができる。
【００２４】
当然のことながら、本発明の実施形態を集積回路の形態で実施することができる。かかる集積回路の実施の際には、典型的には、半導体ウェーハの表面に同一のダイが繰り返しパターンで形成される。それぞれのダイは、本明細書に記載されている画像処理回路を含み、及び、他の構造もしくは回路を含むことができる。個々のダイは、ウェーハから切り取られもしくはさいの目に切り分けられた後、集積回路としてパッケージ化される。ウェーハをさいの目に切り分け、ダイをパッケージ化して集積回路を作製するやり方は当業者には既知であろう。そのようにして作製された集積回路は、本発明の実施形態とみなされる。
【００２５】
図１に示されている画像処理システム１００の特定の構成は例示に過ぎず、他の実施形態のシステム１００は、具体的に図示されている要素（そのようなシステムを実施する際に一般的に共通に見られるタイプの１以上の要素を含む）に加えてまたは該要素の代わりに他の要素を備えることができる。
【００２６】
次に、例示的な実施形態におけるイメージプロセッサ１０２の動作についてより詳しく説明する。それらの実施形態では、目的画像Ｘは、サイズ（大きさ）がＭ×Ｎ画素の未知の画像であって、イメージプロセッサ１０２によって、１以上の画像ソース１０４によって提供される複数の入力画像A1,A2,…,ALに関する画像情報から再構成されることが想定されている。入力画像A1,A2,…,ALのうちの１以上の入力画像のそれぞれのサイズを所望の目的画像と同じＭ×Ｎ画素のサイズとすることができる。それらの入力画像を、異なるいくつかのイメージャもしくは他のタイプのいくつかの画像ソースによって、あるシーンの同じかまたは類似の視点から取得することもできる。
【００２７】
上記の関数の組f1(A1),f2(A2),…,fL(AL)を、画像A1,A2,…,ALから画素値へのそれぞれの既知の写像ＲＭ×Ｎ→Ｒを提供するように構成することができ、ここで、ＲＭ×Ｎは、一組のＭ×Ｎ実行列である。かかる写像の例については、本明細書の他の箇所でより詳しく説明されている。
【００２８】
本実施形態におけるイメージプロセッサ１０２は、関数１１８から選択されたか、または他のやり方で関数１１８から得られた関数の組f1(A1),f2(A2),…,fL(AL)に基づく汎関数F(Ｘ)を用いて、目的画像Ｘを再構成するように構成され、これによって、Ｘの再構成された画素値Ｘij（ここで、１≦i≦Ｍ、１≦j≦Ｎ）が、他の可能性のあるＸ値に対して所定の意味で最適なものとされる。本明細書で使用されている「最適な」という用語は、１以上の所定の最適化ルールにしたがって最適化されたものであることを含むものとして広義に解釈されるべきことが意図されており、絶対的最小化を要するものとして解釈されるべきではない。
【００２９】
いくつかの実施形態における汎関数F(Ｘ)の形式は次のとおりである。
【数１】
2016519343.tif 000003
【００３０】
上述したように、いくつかの実施形態では、目的画像Ｘは、汎関数F(Ｘ)を最小にする画像であり、すなわち、
【数２】
2016519343.tif 000004
である。
【００３１】
目的画像の決定に際して、重み１２０から選択されたか、または他のやり方で重み１２０から得られた重みを用いて、いくつかの入力画像を他の入力画像よりも重要なものとして指定することができる。たとえば、ｋ＝１,…,Ｌのすべてｋについてwｋ＞０となるように、重みの組w１,…,wＬを導入することができる。関数fｊ（Ａｊ）のうちの所与の１つによって提供される情報が関数fｉ（Ａｉ）のうちの他の１つによって提供される情報よりも重要であることがわかっている場合には、重みを、wｊ≧wｉとなるように割り当てることができる（ここで、添え字ｉ及びｊは、１≦ｉ≦Ｌ、１≦ｊ≦Ｌであるように定義される）。
【００３２】
重みを含むように変更された上記の汎関数（１）は、
【数３】
2016519343.tif 000005
によって与えられる。
【００３３】
この場合、次の最小化を用いて目的画像Ｘを見出すことができる。
【数４】
2016519343.tif 000006
【００３４】
どの入力画像が他の入力画像よりも重要であるかがわかっていない場合には、全ての重みを１に設定する、すなわち、w１＝…＝wＬ＝１とすることができる。これによって、汎関数(1')は汎関数(1)に還元され、最小化(2')は最小化(2)に還元される。
【００３５】
確率の組１２２からの確率を、上記の重みと共にまたは該重みに代わりに用いることもできる。たとえば、１組の確率p１, p２,…,pＬ（ここで、ｋ＝１,…,Ｌの全てのｋについて０≦pｋ≦１）を導入することができる。これらの確率値pｋのうちの所与の１つを、入力画像情報の対応する部分の信頼性尺度とみなすことができる。確率が大きいほど、汎関数内の対応する項からの寄与は大きいであろう。
【００３６】
確率を含むように変更された上記の汎関数（1'）は、
【数５】
2016519343.tif 000007
によって与えられる。
【００３７】
この場合、次の最小化を用いて目的画像Ｘを見出すことができる。
【数６】
2016519343.tif 000008
【００３８】
確率が未知の場合には、全ての確率を１に設定する、すなわち、p１＝…＝pＬ＝１とすることができる。これによって、汎関数（1"）は汎関数（1'）に還元され、最小化（2"）は最小化（2'）に還元される。
【００３９】
上記では、所与の汎関数において使用された特定の関数、重み及び確率は、イメージプロセッサ１０２のそれぞれの関数１１８、重み１２０及び確率１１２から選択されるか、または他のやり方でそれらから得られることが想定されている。したがって、イメージプロセッサは、複数の組の関数、重み及び確率を格納し、必要に応じて所与の画像処理用途で使用するために特定の組を選択することができる。代替的には、かかる１以上の組を、イメージプロセッサによって必要に応じて生成することができる。
【００４０】
次に、最小化(2)または(2')または(2")を用いて目的画像Ｘを決定するやり方をより詳しく説明する。関数f1(A1),f2(A2),…,fL(AL)が全て線形関数である第１のケースと、関数f1(A1),f2(A2),…,fL(AL)のうちの少なくとも１つが非線形関数である第２のケースの２つのケースを考える。
【００４１】
第１のケースでは、より具体的に、関数f1(A1),f2(A2),…,fL(AL)の全てが、それらのそれぞれの必須の変数（essential variables）に関して線形であることが想定されており、この場合、f (Ｘ)の必須の変数はv(f(Ｘ))で表される。たとえば、v(xi,j+1−xi,j)＝{xi,j+1，xi,j}である。また、
【数７】
2016519343.tif 000009
は、F(Ｘ)の全ての必須の変数の組を表している。Ｘの決定における曖昧さをなくすために、
【数８】
2016519343.tif 000010
であること、すなわち、全ての変数が汎関数F(Ｘ)に必須であることがさらに想定されている。
【００４２】
線形関数であるこのケースでは、次の式からなる連立線形方程式（連立一次方程式）を解くことによって目的画像Ｘを決定することができる。
【数９】
2016519343.tif 000011
【００４３】
連立線形方程式（３）は、いくつかの周知の技法のうちの任意のもの（たとえばガウスの消去法：Gaussian elimination）を用いて正確にまたは近似的に解くことができるＭ×Ｎ個の連立線形方程式である。
【００４４】
第２のケースでは、関数f1(A1),f2(A2),…,fL(AL)のうちの少なくとも１つが非線形関数であり、したがって、上記の第１のケースのように連立線形方程式を解くことによってはＸを見出すことはできない。この場合、目的画像Ｘを決定するための１つの可能性のある技法は、近似反復最小化
【数１０】
2016519343.tif 000012
に基づくものであり、これは、目的画像Ｘの最初の近似（値）Ｘ0（初期近似値Ｘ0）から開始して、最大反復数に達するか、または、２つの連続する反復回における目的画像Ｘの近似（値）Ｘi+1とＸiの差がある閾値よりも小さくなるまで繰り返し行われる。
【００４５】
最初の近似Ｘ0を、ｑ個の恒等関数fi1(Ai1),fi2(Ai2),…,fiｑ(Aiｑ)からなる一組の恒等関数を用いて決定することができる、ここで、それらの恒等関数の各々は、目的画像Ｘに関する部分的な情報を提供する。たとえば、それらの恒等関数はそれぞれ、少なくとも１つの画素値、fi1(Ai1)＝ａm1,n1,fi2(Ai2)＝ａm2,n2,…,fiｑ(Aiｑ)＝ａmq,nqを提供することができ、この場合、最初の近似値Ｘ0を、少なくともｑ個の値ａm1,n1, ａm2,n2,…, ａmq,nqを用いた補間によって決定されたＭ×Ｎ近似値とすることができる。より具体的な例として、それらのｑ個の値は、バイリニア補間（bilinear interpolation。双一次補間ともいう）、三次補間法（cubicinterpolation）もしくは他のタイプの補間法を用いてＸ0を決定できるように、Ｍ×Ｎ格子の規則的な副格子を構成することができる。
【００４６】
このアプローチは、Ｍ×Ｎ個の変数を使用するので、多くの計算を必要としうるが、解析公式における勾配などの追加の情報を用いることによって近似を高速化することができる。したがって、たとえば、全ての変数についてそれらの勾配が既知であると想定することができる。使用できる処理の例には、勾配降下法（gradient decent）、信頼領域法（trust region）、レーベンバーグ・マルカート法（Levenberg-Marquardt）などが含まれる。
【００４７】
図２のフローチャートには、１実施形態における、連立線形方程式を用いて目的画像を生成するための処理が示されている。該処理は、イメージプロセッサ１０２の汎関数構成モジュール１１４及び目的画像生成モジュール１１６を用いて該イメージプロセッサによって実施されることが想定されている。
【００４８】
この実施形態の処理は、ステップ２００〜２１２を含み、ステップ２００において、それぞれの入力画像A1,A2,…,ALの関数f1(A1),f2(A2),…,fL(AL)からなる一組の関数を得ることから開始して、ステップ２０２において一組の重みw１,…,wＬを得て、ステップ２０４において一組の確率p１, p２,…,pＬを得る。重みまたは確率が適用されない場合には、対応する値を全て１に設定することができる。
【００４９】
ステップ２０６において、必要であれば、ステップ２００で得られた関数が調整される。たとえば、それらの関数は異なる画像ソースからのそれぞれの画像に関連している場合があり、したがって、正規化が必要となる場合がある。より具体的な例として、それらの関数がそれぞれの画像勾配を含み、１つのソースからの入力画像の画像勾配は［０，１］の範囲内にある場合があり、一方、別のソースからの入力画像の画像勾配はそれとは異なる［−１、１］の範囲内にあり、さらに別のソースからの入力画像の画像勾配は［１、１０００］という第３の範囲内にある。これらの及び他の類似の状況では、ステップ２０６における調整を用いて、たとえば、画像勾配値に適切な正規化係数を乗じることによって、画像勾配値を正規化する。
【００５０】
ステップ２０８において、上述したやり方で汎関数F(Ｘ)が構成される。たとえば、重みと確率の両方が使用される場合には、汎関数F(Ｘ)を(1")の形式で構成することができる。
【００５１】
ステップ２１０において、連立線形方程式dF/dxi,jが構成される。この実施形態では、上述したように、関数f1(A1),f2(A2),…,fL(AL)は、それらのそれぞれの必須の変数の線形関数であることが想定されている。したがって、このステップは、一般的に、上記の連立線形方程式(3)を得るために、Ｍ×Ｎ個の全ての変数xi,j（ｉ＝１,…,Ｍ、ｊ＝１,…,Ｎ）でF(Ｘ)の差分をとる（またはF(Ｘ)を微分する）ことを含む。
【００５２】
ステップ２１２において、ガウスの消去法などのアプローチを用いて連立線形方程式を解くことによって目的画像Ｘが決定される。
【００５３】
図３は、１実施形態における、近似反復最小化を用いて目的画像を生成するための処理を示している。図２の処理と同様に、図３の処理は、イメージプロセッサ１０２の汎関数構成モジュール１１４及び目的画像生成モジュール１１６を用いて該イメージプロセッサによって実施されることが想定されている。また、図３のステップ３００〜３１２は、図２のステップ２００〜２１２にそれぞれ概ね対応する。
【００５４】
この実施形態の処理は、ステップ３００において、それぞれの入力画像A1,A2,…,ALの関数f1(A1),f2(A2),…,fL(AL)からなる一組の関数を得ることから開始して、ステップ３０２において一組の重みw１,…,wＬを得て、ステップ３０４において一組の確率p１, p２,…,pＬを得る。重みまたは確率が適用されない場合には、対応する値を全て１に設定することができる。
【００５５】
ステップ３０６において、必要であれば、図２に関して説明したやり方で、ステップ３００で得られた関数が調整される。
【００５６】
ステップ３０８において、上述したやり方で、汎関数F(Ｘ)が構成される。たとえば、重みと確率の両方が使用される場合には、汎関数F(Ｘ)を(1")の形式で構成することができる。
【００５７】
ステップ３１０において、近似反復最小化(4)が実行される。上述したように、この近似反復最小化は、目的画像Ｘの最初の近似(値)Ｘ0から開始して、最大反復数に達するまで、または、２つの連続する反復回における目的画像Ｘの近似（値）Ｘi+1とＸiの差がある閾値よりも小さくなるまで繰り返し行われる。
【００５８】
ステップ３１２において、ステップ３１０の近似反復最小化の出力に基づいて目的画像Ｘが決定される。より具体的には、上述したように、近似反復最小化処理は、最大反復数に達したか、または、２つの連続する反復回における目的画像の近似値の差がある閾値を満たしたことに基づいて終了する。
【００５９】
図３の処理は、ステップ３１０における近似反復最小化で使用される最初の近似（値）Ｘ0を決定することに関連する追加のステップ３１４及び３１６をさらに含む。
【００６０】
ステップ３１４において、ｑ個の恒等関数fi1(Ai1),fi2(Ai2),…,fiｑ(Aiｑ)からなる一組の恒等関数が決定される。ここで、それらの恒等関数の各々は、目的画像Ｘに関する部分的な情報を提供する。たとえば、それらｑ個の関数の各々は、大きな歪みを生じることなく目的画像Ｘの１つの要素に関する情報（すなわち、１≦ｋ≦Ｌ、１≦ｉ≦Ｍ、１≦ｊ≦Ｎのあるものについて、fｋ(Aｋ)＝ａi,j）を提供することができる。それらの恒等関数のうちの１以上を、全単射関数（bijective function）とすることができ、たとえば、ａの正の値及び負の値についてf(x)＝ａｘ＋ｂとすることができる。したがって、本明細書で使用されている「恒等」という用語は、広義に解釈されるべきであることが意図されている。
【００６１】
ステップ３１６において、ステップ３１４で決定されたｑ個の恒等関数を用いて、ステップ３１０で使用された最初の近似値Ｘ0を構成する。たとえば、サイズＭ×Ｎの最初の近似（値）Ｘ0を得るために、それらのｑ個の関数及びそれらに対応する値を用いて補間を適用することができる。
【００６２】
図２及び図３の実施形態で使用された特定の処理ステップは例示に過ぎず、他の実施形態は、異なるタイプ及び構成ないし配列の画像処理を使用できることが理解されよう。たとえば、他の実施形態では、汎関数を構成する特定の方法及び該汎関数を用いて目的画像を決定する特定の方法を変更することができる。また、他の実施形態では、図において順次に実行されるものとして示されているステップを、少なくとも部分的に、１以上の他のステップと並行してないし同時に実行することができる。
【００６３】
次に、本発明のいくつかの実施形態における画像処理をより十分に説明するために、いくつかの例を説明する。それらの例は、一般に、上記のタイプの汎関数及び最小化を使用するように構成された超解像技術を用いた画像再構成を含む。
【００６４】
第１の例では、目的画像は、同じタイプであるが解像度が異なる２つの画像、すなわち、２つの奥行き画像Ａ及びＤを用いて再構成される。ＤをサイズがＭＤ×ＮＤである小さい方の奥行き画像とし、ＡをサイズがＭ×Ｎである大きい方の奥行き画像とする。簡単にするために、Ａの線形サイズ(linear size。直線サイズともいう)はＤの対応するサイズの倍数であること、すなわち、Ｍ／ＭＤ＝ＳＣＡＬＥ及びＮ／ＮＤ＝ＳＣＡＬＥとなる整数ＳＣＡＬＥが存在すると想定する。
【００６５】
さらに、Ｄからの情報は、画素の値に関して信頼できるものであり、及び、Ａからの情報は、第１の離散微分（係数）（discrete derivatives：離散微分または離散時間微分）または画像の勾配（該勾配の符号に関する知識を含む）に関して信頼できるものであると想定する。
【００６６】
次の擬似コードを用いて、サイズがＭ×Ｎの奥行き画像Ｄ１を構成することができる。
【数１１】
2016519343.tif 000013
【００６７】
この例における所望の目的画像は、Ｄ１が定義ないし規定されているポイントにおいてＤ１の近くにあり、かつ、全てポイントにおいてＡの垂直及び水平勾配に近い垂直及び水平勾配を有する奥行き画像Ｘである。
【００６８】
Ｍ×Ｎのサイズの任意の画像について、Ｍ×（Ｎ−１）個の水平勾配、すなわち,ｉ＝１,…,Ｍ、ｊ＝１,…,Ｎ−１の全てについてａi,j+1−ａi,jがあり、かつ、（Ｍ−１）×Ｎ個の垂直勾配、すなわち、ｉ＝１,…,Ｍ−１、ｊ＝１,…,Ｎの全てについてａi+1,j−ａi,jがある。したがって、汎関数を次のように構成することができる。
【数１２】
2016519343.tif 000014
【００６９】
この例では、全ての確率は１に等しいこと、さらに、３つの異なる重み、すなわち、Ｄ１に対する重みw１、水平勾配に対する重みw２、及び、垂直勾配に対する重みw３だけが使用されることが想定されている。
【００７０】
この例では、勾配などの線形関数だけがあるので、生成される連立方程式(3)も線形である。さらに、この連立方程式は、ＣＸ＝ｂという形式（ＣはＭＮ×ＭＮ行列）を有するであろう。行列Ｃは疎行列であり、より具体的には、５−対角帯行列（diagonal band matrix：対角帯行列。帯対角行列ともいう）である。したがって、帯行列に対してガウスの消去法を使ってＸを非常に効率的に見出すことができ、これは、単純なガウスの消去法の場合の約２Ｍ３Ｎ３／３回の算術演算に比べて、わずか約min（ＭＮ３、Ｍ３Ｎ）回の算術演算を要する。
【００７１】
目的画像Ｘは連立方程式(3)を解くことによって決定される。その結果の品質が十分でない場合には、Ｘの品質を改善するために、重みw１, w２, w３を調整することができる。
【００７２】
第２の例では、目的画像は、２つの異なるタイプの画像、すなわち、１つの奥行き画像と、該画像と実質的に同じシーンの写真もしくは赤外線画像から構成される２Ｄ画像とを使って再構成される。この例の文脈において、第１の画像は「奥行き」と呼ばれ、第２の画像は「写真」と呼ばれる。これら２つの画像は異なる解像度を有することができるが、この点について、該奥行き画像は、典型的には、写真画像よりも解像度が非常に低いことに留意されたい。したがって、上記の例と同様に、ＤをサイズがＭＤ×ＮＤである小さい方の奥行き画像とし、ＡをサイズがＭ×Ｎである大きい方の写真画像とし、さらに、簡単にするために、Ａの線形サイズはＤの対応するサイズの倍数であること、すなわち、Ｍ／ＭＤ＝ＳＣＡＬＥ及びＮ／ＮＤ＝ＳＣＡＬＥとなる整数ＳＣＡＬＥが存在すると想定する。
【００７３】
さらに、Ｄからの情報は、画素の値に関して信頼できるものであり、及び、Ａからの情報は、画像内の物体のエッジ及び境界、すなわち、画像の勾配の絶対値もしくは第１の離散微分（係数）に関して信頼できるものであると想定する。
【００７４】
Ｍ×Ｎサイズの奥行き画像Ｄ１は、上記の擬似コードによるやり方と同様にして構成される。
【００７５】
この例における所望の目的画像は、Ｄ１が定義ないし規定されているポイントにおいてＤ１の近くにあり、かつ、全てポイントにおいてＡの垂直及び水平勾配の絶対値に近い垂直及び水平勾配の絶対値を有する奥行き画像Ｘである。
【００７６】
上記の例に類似して、この例では、汎関数を次のように構成することができる。
【数１３】
2016519343.tif 000015
ここで、abs(x)はｘの絶対値である。
【００７７】
abs(x)は線形関数ではなく、そのため、この例の連立方程式(3)は線形ではないことに留意されたい。したがって、汎関数は、近似反復最小化(4)を用いて最小化される。
【００７８】
この例では、Ｄを、Ｍ×Ｎのサイズまで補間することができ、最初の近似(値)Ｘ0として使用することができる。この場合の数ｑはＭＤ×ＮＤであろう。たとえば、最近傍補間（ニアレストネイバー：nearest neighbor）やバイリニア補間などの補間法を使用することができる。先ず、行単位で既知のポイント間に補間ポイントを見つけ、この処理を繰り返して、列単位で既知のポイント間に追加の補間ポイントを見つけることができる。
【００７９】
第３の例では、上記の例で用いた汎関数形式を次のように変形することができる。
【数１４】
2016519343.tif 000016
ここで、sgnｓ→Ｔ(x)は、−１または０または１に等しい未知の定数であって、ポイントＳにおいてポイントＴの方向に再構成される画像Ｘの対応する勾配もしくは離散微分（係数）の符号に対応する（Ｔは、ポイントＳの水平方向または垂直方向の近傍を表す）。
【００８０】
この例では線形関数だけがあるので、生成される連立方程式(3)も線形となる。しかしながら、定数sgnｓ→Ｔ(x)は未知である。
【００８１】
定数sgnｓ→Ｔ(x)を決定するための異なるいくつかの方法を提案することができる。たとえば、ＤをサイズＭ×Ｎまで補間することができ、次に、補間画像の水平及び垂直勾配の符号を定数sgnｓ→Ｔ(x)として使用することができる。別の例として、全数検索（exhaustivesearch：しらみつぶし探索ともいう）を用いて汎関数F（ＸM1,N1）を最小にすることによって、勾配の符号を局所的に再構成することができる。この場合、添え字ｉ及びｊは、上記定式のループから最初の入力画像の正方形の副画像ＸM1, N1などの、画像の局所領域までにわたり、１＜Ｍ１＜Ｍ、１＜Ｎ１＜Ｎである。画像ＸのＭ１×Ｎ１サイズの副画像ＸM1,N1が考慮される場合には、２×Ｍ１×Ｎ１個の定数sgnｓ→Ｔ(x)の可能性のある各々の値について、３２Ｍ１Ｎ１個の連立線形方程式を解いて、F（ＸM1,N1）が最小になるように符号の組み合わせを選択することができる。Ｍ１とＮ１の値は一般に非常に小さく、たとえば、両方の値を２とすることができる。全ての副画像ＸM1,N1について定数sgnｓ→Ｔ(x)が決定されると、それらの定数を全ての
【数１５】
2016519343.tif 000017
について平均して、画像全体についての定数を得ることができる。
【００８２】
当然のことながら、上記の例は、例示に過ぎず、本発明の実施形態の範囲を限定するものとして解釈されるべきではない。
【００８３】
上記の例で説明した技術を用いて、既知の超解像技術の性能、並びに、他の様々な画像再構成用途もしくは画像処理用途における性能を高めることができる。
【００８４】
たとえば、１つの既知のそのような超解像技術は、超解像技術もしくは奥行き（深さ）情報の再構成に特に適した別の超解像技術に基づくマルコフ確率場（Markov random field）を含むことができる。本発明の実施形態に使用できるように適合させることができる超解像技術に基づく例示的なマルコフ確率場に関するさらなる詳細は、たとえば、J. Diebelらによる「AnApplication of Markov Random Fields to Range Sensing,」（NIPS,MIT Press, pp.291-298,2005）に記載されている（本論文は参照によって本明細書に組み込まれるものとする）。
【００８５】
本発明の実施形態を、双方向フィルタ（バイラテラルフィルタ）に基づく超解像技術の性能を高めるために使用することもできる。このタイプの超解像技術の例は、Q. Yangらによる「Spatial-Depth Super Resolutionfor Range Images,」（IEEE Conference on Computer Visionand Pattern Recognition (CVPR),2007）に記載されている（本論文は参照によって本明細書に組み込まれるものとする）。
【００８６】
本明細書及び／または図面に開示されている本発明の実施形態は例示に過ぎないということを再度強調しておく。たとえば、本発明の他の実施形態を、本明細書及び／または図面に開示されている特定の実施形態で使用されているもの以外の画像処理回路、汎関数構成モジュール、目的画像生成モジュール、関数の組、重み及び確率、及び処理行程の様々な異なるタイプ及び構成ないし配列を用いて実施することができる。さらに、いくつかの実施形態を説明する文脈において本明細書で行った特定の想定を他の実施形態において必ずしも適用する必要はない。当業者には、添付の特許請求の範囲内にあるこれらの及びその他の多くの代替の実施形態が容易に理解されるであろう。
【図１】
2016519343.tif 000023
【図２】
2016519343.tif 000024
【図３】
2016519343.tif 000025
【国際調査報告】
2016519343.tif 000026