(57)【特許請求の範囲】
【請求項１】
画像の深度マップを生成するための方法であって、前記方法は、
複数のピクセルを有する前記画像にアクセスするステップであって、各ピクセルは前記画像における色および位置を有する、ステップと、
前記画像における前記ピクセルの前記色に基づいて、前記画像のための色の深度マップを決定するステップと、
ピクセルの前記位置と、前記位置に対応する、複数の他の画像の深度を平均した過去の深度情報とに基づいて、前記画像のための空間の深度マップを決定するステップと、
前記画像におけるピクセルの動きに基づいて、前記画像のための動きの深度マップを決定するステップと、
色の深度マップの重みと、空間の深度マップの重みと、動きの深度マップの重みとを決定するステップと、
前記色の深度マップの重みによって重み付けをされた前記色の深度マップと、前記空間の深度マップの重みによって重み付けをされた前記空間の深度マップと、前記動きの深度マップの重みによって重み付けをされた前記動きの深度マップとの組み合わせから、前記画像のための結合された深度マップを生成するステップと
を有する方法。
【請求項２】
前記色の深度マップの重みを決定するステップは、
前記ピクセルの前記色の分布を記述するヒストグラムを決定するステップと、
前記ヒストグラムによって記述された前記色の前記分布に基づいて、前記色の深度マップの重みを決定するステップと
を有する、請求項１に記載の方法。
【請求項３】
前記空間の深度マップの重みを決定するステップは、
前記過去の深度情報の分散を記述する過去の深度分散情報を決定するステップと、
前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップと
を有する、請求項１に記載の方法。
【請求項４】
前記動きの深度マップの重みを決定するステップは、局所的な動きを有する前記画像におけるピクセルの割合を決定し、局所的な動きを有するピクセルの前記割合に基づいて前記動きの深度マップの重みを決定するステップを有する、請求項１に記載の方法。
【請求項５】
前記ヒストグラムによって記述された色の前記分布に基づいて、前記色の深度マップの重みを決定するステップは、
色の前記分布に基づく、前記ヒストグラムに関連付けられたエントロピーを決定するステップと、
前記色の相対的な分布を記述する、前記画像に関連付けられた最大エントロピーに対する前記エントロピーの比率を決定するステップと、
前記比率に基づいて、前記比率に正比例する前記色の深度マップの重みを決定するステップと
を有する、請求項２に記載の方法。
【請求項６】
前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップは、
前記画像における位置に関連付けられた過去の深度分散情報を取り出すステップと、
１よりも大きい値を有する第１乗数を決定するステップと、
１よりも小さい値を有する第２乗数を決定するステップと、
前記位置に関連付けられた前記過去の深度分散情報を、分散閾値と比較するステップと
を有し、前記空間の深度マップの重みを決定するステップは、
前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を上回るという決定に応じて、前記空間の深度マップの重みに前記第１乗数を掛けるステップと、
前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を下回るという決定に応じて、前記空間の深度マップの重みに前記第２乗数を掛けるステップと
を有する、請求項３に記載の方法。
【請求項７】
局所的な動きを有する第２の画像におけるピクセルの割合に基づいて、前記第２の画像のための動きの深度マップの重みを決定するステップであって、前記第２の画像は、ビデオシーケンスにおいて、第１の画像よりも前にある、ステップと、
１よりも大きい値を有する第１乗数を決定するステップと、
１よりも小さい値を有する第２乗数を決定するステップと、
局所的な動きを有する前記第１の画像におけるピクセルの前記割合を、動きの閾値と比較するステップとをさらに有し、
前記第１の画像のための前記動きの深度マップの重みを決定するステップは、
局所的な動きを有する前記第１の画像におけるピクセルの前記割合が、前記動きの閾値を上回るという決定に応じて、前記第２の画像のための前記動きの深度マップの重みに前記第１乗数を掛けるステップと、
局所的な動きを有する前記第１の画像におけるピクセルの前記割合が、前記動きの閾値を下回るという決定に応じて、前記第２の画像のための前記動きの深度マップの重みに前記第２乗数を掛けるステップと
を有する、請求項４に記載の方法。
【請求項８】
画像の深度マップを生成するためのコンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、
複数のピクセルを有する前記画像にアクセスするステップであって、各ピクセルは前記画像における色および位置を有する、ステップと、
前記画像における前記ピクセルの前記色に基づいて、前記画像のための色の深度マップを決定するステップと、
ピクセルの前記位置と、前記位置に対応する、複数の他の画像の深度を平均した過去の深度情報とに基づいて、前記画像のための空間の深度マップを決定するステップと、
前記画像におけるピクセルの動きに基づいて、前記画像のための動きの深度マップを決定するステップと、
色の深度マップの重みと、空間の深度マップの重みと、動きの深度マップの重みとを決定するステップと、
前記色の深度マップの重みによって重み付けをされた前記色の深度マップと、前記空間の深度マップの重みによって重み付けをされた前記空間の深度マップと、前記動きの深度マップの重みによって重み付けをされた前記動きの深度マップとの組み合わせから、前記画像のための結合された深度マップを生成するステップと
を行うために実行可能である、コンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体。
【請求項９】
前記色の深度マップの重みを決定するステップは、
前記ピクセルの前記色の分布を記述するヒストグラムを決定するステップと、
前記ヒストグラムによって記述された前記色の前記分布に基づいて、前記色の深度マップの重みを決定するステップと
を有する、請求項８に記載の非一時的コンピュータ可読記憶媒体。
【請求項１０】
前記空間の深度マップの重みを決定するステップは、
前記過去の深度情報の分散を記述する過去の深度分散情報を決定するステップと、
前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップと
を有する、請求項８に記載の非一時的コンピュータ可読記憶媒体。
【請求項１１】
前記動きの深度マップの重みを決定するステップは、局所的な動きを有する前記画像におけるピクセルの割合を決定し、局所的な動きを有するピクセルの前記割合に基づいて前記動きの深度マップの重みを決定するステップを有する、請求項８に記載の非一時的コンピュータ可読記憶媒体。
【請求項１２】
前記ヒストグラムによって記述された色の前記分布に基づいて、前記色の深度マップの重みを決定するステップは、
色の前記分布に基づく、前記ヒストグラムに関連付けられたエントロピーを決定するステップと、
前記色の相対的な分布を記述する、前記画像に関連付けられた最大エントロピーに対する前記エントロピーの比率を決定するステップと、
前記比率に基づいて、前記比率に正比例する前記色の深度マップの重みを決定するステップと
を有する、請求項９に記載の非一時的コンピュータ可読記憶媒体。
【請求項１３】
前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップは、
前記画像における位置に関連付けられた過去の深度分散情報を取り出すステップと、
１よりも大きい値を有する第１乗数を決定するステップと、
１よりも小さい値を有する第２乗数を決定するステップと、
前記位置に関連付けられた前記過去の深度分散情報を、分散閾値と比較するステップと
を有し、前記空間の深度マップの重みを決定するステップは、
前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を上回るという決定に応じて、前記空間の深度マップの重みに前記第１乗数を掛けるステップと、
前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を下回るという決定に応じて、前記空間の深度マップの重みに前記第２乗数を掛けるステップと
を有する、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
【請求項１４】
前記コンピュータプログラム命令はさらに、
局所的な動きを有する第２の画像におけるピクセルの割合に基づいて、前記第２の画像のための動きの深度マップの重みを決定するステップであって、前記第２の画像は、ビデオシーケンスにおいて、第１の画像よりも前にある、ステップと、
１よりも大きい値を有する第１乗数を決定するステップと、
１よりも小さい値を有する第２乗数を決定するステップと、
局所的な動きを有する前記第１の画像におけるピクセルの前記割合を、動きの閾値と比較するステップとを行うために実行可能であり、
前記第１の画像のための前記動きの深度マップの重みを決定するステップは、
局所的な動きを有する前記第１の画像におけるピクセルの前記割合が、前記動きの閾値を上回るという決定に応じて、前記第２の画像のための前記動きの深度マップの重みに前記第１乗数を掛けるステップと、
局所的な動きを有する前記第１の画像におけるピクセルの前記割合が、前記動きの閾値を下回るという決定に応じて、前記第２の画像のための前記動きの深度マップの重みに前記第２乗数を掛けるステップと
を有する、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
【請求項１５】
画像の深度マップを生成するためのシステムであって、前記システムは、
コンピュータプログラム命令を格納する非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラム命令は、
複数のピクセルを有する前記画像にアクセスするステップであって、各ピクセルは前記画像における色および位置を有する、ステップと、
前記画像における前記ピクセルの前記色に基づいて、前記画像のための色の深度マップを決定するステップと、
ピクセルの前記位置と、前記位置に対応する、複数の他の画像の深度を平均した過去の深度情報とに基づいて、前記画像のための空間の深度マップを決定するステップと、
前記画像におけるピクセルの動きに基づいて、前記画像のための動きの深度マップを決定するステップと、
色の深度マップの重みと、空間の深度マップの重みと、動きの深度マップの重みとを決定するステップと、
前記色の深度マップの重みによって重み付けをされた前記色の深度マップと、前記空間の深度マップの重みによって重み付けをされた前記空間の深度マップと、前記動きの深度マップの重みによって重み付けをされた前記動きの深度マップとの組み合わせから、前記画像のための結合された深度マップを生成するステップと、
を行うために実行可能である、非一時的コンピュータ可読記憶媒体と、
前記コンピュータプログラム命令を実行するためのプロセッサと
を有する、システム。
【請求項１６】
前記色の深度マップの重みを決定するステップは、
前記ピクセルの前記色の分布を記述するヒストグラムを決定するステップと、
前記ヒストグラムによって記述された前記色の前記分布に基づいて、前記色の深度マップの重みを決定するステップと
を有する、請求項１５に記載のシステム。
【請求項１７】
前記空間の深度マップの重みを決定するステップは、
前記過去の深度情報の分散を記述する過去の深度分散情報を決定するステップと、
前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップと
を有する、請求項１５に記載のシステム。
【請求項１８】
前記動きの深度マップの重みを決定するステップは、前記画像における移動するピクセルの割合を決定し、移動するピクセルの前記割合に基づいて前記動きの深度マップの重みを決定するステップを有する、請求項１５に記載のシステム。
【請求項１９】
前記ヒストグラムによって記述された色の前記分布に基づいて、前記色の深度マップの重みを決定するステップは、
色の前記分布に基づく、前記ヒストグラムに関連付けられたエントロピーを決定するステップと、
前記色の相対的な分布を記述する、前記画像に関連付けられた最大エントロピーに対する前記エントロピーの比率を決定するステップと、
前記比率に基づいて、前記比率に正比例する前記色の深度マップの重みを決定するステップと
を有する、請求項１６に記載のシステム。
【請求項２０】
前記過去の深度分散情報に基づいて前記空間の深度マップの重みを決定するステップは、
前記画像における位置に関連付けられた過去の深度分散情報を取り出すステップと、
１よりも大きい値を有する第１乗数を決定するステップと、
１よりも小さい値を有する第２乗数を決定するステップと、
前記位置に関連付けられた前記過去の深度分散情報を、分散閾値と比較するステップと
を有し、前記空間の深度マップの重みを決定するステップは、
前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を上回るという決定に応じて、前記空間の深度マップの重みに前記第１乗数を掛けるステップと、
前記位置に関連付けられた前記過去の深度分散情報が、前記分散閾値を下回るという決定に応じて、前記空間の深度マップの重みに前記第２乗数を掛けるステップと
を有する、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオ処理に関し、特に、平面視（monoscopic）画像の立体視（stereoscopic）３D画像への変換に関する。
【背景技術】
【０００２】
ステレオビデオまたは「３D」ビデオは、立体視をシミュレートすることによって奥行き感覚の錯覚を高め、それによって、視差のシミュレーションを介して奥行きの錯覚を生み出す。ステレオビデオの普及を遅らせる１つの側面は、しかしながら、ステレオフォーマットにおけるビデオの利用可能性（availability）である。伝統的に、ステレオビデオを生成するための主要な方法は、深度情報を取得するために、異なる視点から角度を設定された２つの異なるカメラを使用して、ステレオで撮影することだった。ステレオで撮影することに伴う困難および費用によって、ステレオビデオは、比較的少数しかこれまでに生成されてこなかった。
【０００３】
さらに、平面視画像からステレオビデオを作成することは現在可能であるが、既存の技術の中には、画像内のオブジェクトを特定するためにオブジェクトの分割に依存し、次いで、画像の平面に関連するオブジェクトの深度を決定するために近似するものもある。オブジェクトの分割は、オブジェクトの境界を誤って決定する可能性があり、そのことは、視聴者が、画像内の何のオブジェクトが突出させられているのか、および何のオブジェクトが後退させられているのかを識別することを困難にする、誤った深度の割り当てを引き起こす。結果として、既存の技術は一般に、一貫性があり且つ正確な方式で、画像におけるオブジェクトの深度を描写する平面視画像から立体視画像を作成することができない。
【発明の概要】
【課題を解決するための手段】
【０００４】
画像のための色の深度マップ、空間の深度マップおよび動きの深度マップの重み付けをされた結合に基づいて、結合された深度マップが平面視画像のために生成され、各マップは、画像の平面に関連する画像における各ピクセルの深度を記述する。一態様では、個々の深度マップはそれぞれ、結合された深度マップを計算するために使用される重みに関連付けられている。重みは、異なる平面視画像間の変化を説明するために適応されてもよい。いくつかのケースでは、深度マップは、重みのセットに関連付けられてもよく、前記重みのセットは、個々のピクセルの各々またはピクセルのグループに対する重みを有し、各重みは画像の部分に対応する。
【０００５】
色の深度マップは、ピクセルの色に基づいて、画像における各ピクセルの深度を記述する。同様の色を有するピクセルは、同様の深度を有する傾向にあるという判断に基づいて、色の深度マップが生成され、前記色の深度マップは、ピクセルの色をその深度の決定に関連付ける色の深度関数を提供する。一態様では、色の深度マップのための重みは、画像における色の分布に基づいて決定される。色の深度マップの重みは、色のコントラストに基づいてスケーリングされ、色に基づいて深度を定量化することに対する信頼性を表す。
【０００６】
代表的な平面視画像の大量の集合に対して、各位置におけるピクセルの深度を平均することによって、空間の深度マップが生成される。空間の深度マップを生成することにおいて、各ピクセルの位置におけるピクセルの深度の分散を示す分散マップもまた、生成されることができる。空間の深度マップの重みは、分散マップによって示される分散に基づいて決定される。分析されるべき各ピクセルの位置に対して、分散マップがアクセスされ、空間の深度マップの重みは各位置における分散とは逆にスケーリングされる。
【０００７】
動きの深度マップは、より速い動きを有するピクセルは画像の前景により近いという判断を使用して、ピクセルの局所的な動きに基づいて、ピクセルの深度を決定する。局所的な動きは、２つのフレーム間のピクセルの動きの合計から、カメラの動きを差し引くことによって計算される。動きの深度関数は、計算された局所的な動きをピクセルの深度のマップに関連付ける。動きの深度マップのための重みは、画像における動きの量に基づいて決定される。局所的な動きを有する画像におけるピクセルの割合が決定されるとともに、動きの深度マップの重みは、移動するピクセルの割合の関数として、増加したり減少したりする。
【０００８】
本要約および以下の詳細な説明において説明される特徴および利点は、包括的でない。多くの追加の特徴および利点は、本発明の図面、明細書および特許請求の範囲を考慮すると、当業者にとっては明らかである。
【図面の簡単な説明】
【０００９】
【図１】図１は、一実施形態に係る、画像の結合された深度マップを生成するステップの概要を示す。
【図２】図２は、一実施形態に係る深度マップ生成モジュールのブロック図である。
【図３】図３は、一実施形態に係る、動きの深度マップの重みを生成するためのプロセスを示すフローチャートである。
【図４】図４は、一実施形態に係る、画像の結合された深度マップを生成するためのプロセスを示すフローチャートである。
【００１０】
図は、例示のみを目的として、本発明の様々な実施形態を描写する。当業者は、本明細書に示される構成および方法の代替の実施形態が、本明細書で説明される発明の原理から逸脱することなく採用されることができることを、以下の説明から容易に認識することができる。
【発明を実施するための形態】
【００１１】
図１は、画像の結合された深度マップを生成するためのプロセスの概要を示す。ビデオフレーム１０２は平面視画像であって、一実施形態では、平面視画像は、平面視カメラによって撮影されたビデオのフレームである。ビデオフレーム１０２は、複数のピクセルを有し、１つまたは２つ以上のオブジェクトを描写してもよい。ビデオフレーム１０２は、平面視カメラによって取得されたため、ビデオフレーム１０２のピクセルは、同一平面上にあり、前記同一平面は、本明細書においては画像平面と呼ばれる。ピクセルは、ビデオフレーム１０２によって描写されるオブジェクトの元の深度の関係を明確に記述していない。
【００１２】
しかしながら、ビデオフレーム１０２のピクセルの元の深度の関係の表現は、ビデオフレーム１０２のための様々な深度マップを生成することによって作成されることができる。色の深度マップ１０４は、ピクセルの深度の指標としてピクセルの色を使用して、ビデオフレーム１０２におけるピクセルの深度を決定する。空間の深度マップ１０６は、画像におけるある平面内のオブジェクトは、特定の深度を有するであろうという仮定に基づいて、画像におけるピクセルの位置を使用して深度を決定する。動きの深度マップ１０８は、ピクセルの深度を決定するために、フレームＩ−１およびフレームＩの間のような、２つのフレーム間の動きを使用する。色の深度マップ１０４、空間の深度マップ１０６および動きの深度マップ１０８の各々は、それによってピクセルがビデオフレーム１０２の平面に対して垂直に突出させられるか、または後退させられるように表現される、量を記述するピクセル毎の深度値を提供する。一実施形態では、より大きな深度値は、ピクセルがフレームの背面付近にあることを示し、一方で、小さいまたは負の深度は、ピクセルが平面の前面付近にあることを示す。
【００１３】
ピクセルの深度を決定するために画像の多数の特徴を採用する改善された深度マップは、いくつかの深度マップを結合することによって生成されることができる。結合された深度マップ１１０は、色の深度マップ１０４、空間の深度マップ１０６および動きの深度マップ１０８の線形結合である。一実施形態では、結合された深度マップ１１０は、ピクセル毎に計算される。例えば、各々がビデオフレーム１０２における位置(x,y)におけるピクセルの深度を記述する、色の深度マップ１０４によって示される深度Dcolor、空間の深度マップ１０６によって示される深度Dspatialおよび動きの深度マップ１０８によって示される深度Dmotionが与えられると、結合された深度マップD(x,y)は、以下の式：
D (x,y) = w1 * Dcolor (x,y) + w2 * Dspatial (x,y) + w3 * Dmotion (x,y)      (1)
によって表されることができ、w1は色の深度マップの重みであり、w2は空間の深度マップの重みであり、w3は動きの深度マップの重みである。他の実施形態では、結合された深度マップ１１０は、画像のピクセルのグループに対して決定される。結合された深度マップ１１０は、各部分における深度を最も正確に決定するために、画像の異なる部分の異なる特徴を使用して、ビデオフレーム１０２の様々なピクセルのための同一の重みまたは異なる重みを使用して生成されることができる。
【００１４】
結合された深度マップ１１０は、平面視画像から立体視画像を生成するために使用されることができる。一実施形態では、デプス・イメージ・ベースト・レンダリング（depth image based rendering：DIBR）は、ビデオフレーム１０２と同一であるがオフセットピクセルを有するフレームを生成するために使用されることができる。例えば、ビデオフレーム１０２が左フレームとして使用される場合、DIBRは、結合された深度マップ１１０によって記述される深度に基づいて、左フレームからピクセルをシフトさせることによって右フレームを作成する。
【００１５】
図２は、一実施形態に基づく、結合された深度マップ１１０を生成するために構成される深度マップ生成モジュール２００のブロック図である。深度マップ生成モジュール２００は、色の深度マップ生成器２０２、空間の深度マップ生成器２０４、動きの深度マップ生成器２０６および結合された深度マップモジュール２０８を有する。深度マップ生成モジュール２００の代替的な実施形態は、本明細書で説明されているものとは異なるおよび／または追加のモジュールを有する。同様に、機能は、本明細書で説明される方式とは異なる方式で、モジュール間に分散されることができる。
【００１６】
深度マップ生成モジュール２００は、ビデオデータベース２１２と通信するように構成される。一実施形態では、深度マップ生成モジュール２００は、ビデオデータベース２１２と、インターネットのようなネットワークを介して通信する。他の実施形態では、深度マップ生成モジュール２０２は、ビデオデータベース２１２と、ハードウェアや専用のデータ通信技術を介して通信する。ビデオデータベース２１２は、様々なソースから取得される平面視ビデオおよび立体視ビデオを格納する。ビデオデータベース２１２は、追加的に、または代替的に、個々の画像を格納してもよい。ビデオデータベース２１２におけるビデオまたは画像は、ユーザから取得されてもよく、例えば、ユーザによってビデオをビデオリポジトリまたはビデオホスティングウェブサイトにアップロードする。ビデオデータベース２１２におけるビデオは、複数のフレームを有し、各フレームは、ピクセルの二次元アレイを有する。ピクセルの特定の色は、RGBまたはYCbCr色空間のような色空間において定義されてもよい。
【００１７】
深度生成モジュール２００は、画像平面に関連する各フレームにおけるピクセルの深度を記述する１つまたは２つ以上の深度マップを生成するために、ビデオフレームを処理する。一実施形態では、深度生成モジュール２００は、いくつかの深度マップを生成し、各深度マップは、フレーム内の異なる深度キュー（cue）を使用して生成されるとともに、深度生成モジュール２００は、深度マップをピクセルの深度の単一の表現に結合する。深度生成モジュール２００の色の深度マップ生成器２０２、空間の深度マップ生成器２０４および動きの深度マップ生成器２０６はそれぞれ、深度マップを生成するために異なる深度キューを使用し、前記深度マップは、深度マップモジュール２０８によって結合される。
【００１８】
色の深度マップ生成器２０２は、入力としてビデオフレーム１０２を受信するとともに、ピクセルの深度を決定するために、色のキューを使用してフレームのための深度マップを生成する。一般には、色の深度マップ生成器２０２は、ピクセルの色と深度の相互関係を示すヒューリスティックに定義されたルールに基づいて、異なる色（または色の範囲）を、異なる深度に関連付ける。一実施形態では、そのようなルールは、過去の深度データの分析によって定義される。色の深度マップ生成器２０２は、立体視レンズで撮影されたとともに、各ピクセルの色に対する深度情報がわかっているビデオデータベース２１２内の画像のサンプルセットを分析する。ピクセルの色は、ピクセルにおける各原色の強度を示すトリプレットによって特定されてもよい。例えば、RGB色空間では、白は（100%，100%，100%）か、（255，255，255）か、または♯FFFFFFによって表現されてもよく、赤色、緑色、および青色の成分の最大強度を示す。この過去の色の深度データに基づいて、色の深度マップ生成器２０２は、各色の、または各色の範囲のピクセルための平均深度（または、他の性能指数）を決定する。平均深度は、各色のトリプレットを深度値と関連付けるルックアップテーブルのような、色の深度のプライア（color depth prior）に統合されてもよい。色の深度マップ生成器２０２によって生成された色の深度のプライアは、例えば、より多くの赤色を有するピクセルに関連付けられた小さい深度値（すなわち、フレームの前面により近い）および、より多くの青色を有するピクセルに関連付けられたより高い深度値（すなわち、フレームの背面により近い）を示してもよい。そのような関係は、人のようなオブジェクト（主に赤色を有する）が前景に頻繁に位置している一方で、画像の背景に頻繁にある、空または木のようなオブジェクト（主に青色を有する）から生じ得る。
【００１９】
他の実施形態では、色の深度マップ生成器２０２は、ピクセルの色の赤色と青色の成分の相対的な強度に基づいて、赤色ピクセルをより低い深度値に関連付ける（すなわち、フレームの前面により近い）とともに、青色ピクセルをより高い深度値と関連付ける（すなわち、フレームの背面により近い）ために、ルックアップテーブル（または同等の機能）を使用してもよい。YCbCr色空間においては、例えば、ルックアップテーブル（または同等の機能）は、ピクセルの青色（Cb）と赤色（Cr）の差成分の線形結合を、ピクセルの決定された深度に関連付けることができる。青色ピクセルは典型的にフレームの背面に近いオブジェクトに関連付けられるという仮定に基づいて、色の深度関数は、より大きなCb成分はより大きなピクセルの深度になり、一方、より大きなCr成分はより小さなまたは負のピクセルの深度になるように、重み付けをされてもよい。例えば、ピクセルの深度Dcolorは、以下の形態を有する色の深度関数によって表されてもよい：
Dcolor = α(Cb) + (1−α) (β−Cr)                                          (2)
ここで、αおよびβは、ピクセルから導出される。値βは、CbおよびCrのための可能な値の範囲の大きさを表す。例えば、CbおよびCrが0から255の間のいずれかの値を有する場合、βは255である。
【００２０】
一実施形態では、色の深度マップ生成器２０２は、分析された１つの画像または複数の画像のピクセルの差成分CbおよびCr間の、画像内の（または複数の画像にわたる）最大の広がりの方向を決定する主成分分析（principal component analysis）を実行することによってαを決定する。ピクセルの色のRGB表現をYCbCr表現に変換した後、もし該当するならば、色の深度マップ生成器２０２は、分析されたピクセル毎に、aおよびbに対する値を決定し、a=Cr−128であるとともに、b=Cb−128である。３つの異なる期待値が計算され、前記３つの異なる期待値は、sa=E(a2)と、sb=E(b2)と、sab=E(ab)であり、期待値E(z)は、全ての分析されたピクセル上のzの平均値である。期待値Sa、SbおよびSabは、以下の数式によって定義される行列Cを作成するために使用される：
【数１】
0006438403.tif 000002
【００２１】
主成分分析は、Cの固有値および固有ベクトルを決定し、２つの固有値のうちの大きい方に対応する固有ベクトルνを選択する。その要素が合計して１になるようにスケーリングされる場合、νは要素αおよび1−αを有する。色の深度マップ生成器２０２は、ビデオフレーム１０２のための色の深度マップ１０４を生成するために、式(2)の色の深度関数を使用する。
【００２２】
一実施形態では、色の深度マップ生成器２０２は、屋外のシーンまたは屋内のシーンを描くように、画像を分類することによって色の深度マップを改良する。画像の分類は、屋内、屋外および背景画像を含む画像のトレーニングセットを収集することによって決定されてもよく、それぞれはその分類にラベル付をされている。各画像におけるピクセルの色のように、トレーニング画像から特徴が抽出される。色の深度マップ生成器２０２は、サポートベクターマシン（support vector machine：SVM）のような分類器を使用し、画像のラベルに基づいて抽出された特徴に従って画像を分類するためのモデルを構築する。異なる色の深度のプライアが、各分類に対して生成されてもよい。新しい、未分類の画像が受信されると、色の深度マップ生成器２０２は、新しい画像から同じ特徴を抽出するとともに、新しい画像の分類を決定するためにトレーニングされたモデルに適用する。画像におけるピクセルの深度は、次いで、画像の分類のための色の深度のプライアから決定される。
【００２３】
空間の深度マップ生成器２０４は、フレーム内の様々な位置における平均のピクセルの深度に基づいて、ビデオフレーム１０２のための他の深度マップを生成する。平均のピクセルの深度を決定するために、空間の深度マップ生成器２０４は、立体視レンズで撮影されたとともに、各ピクセルの位置に対する深度情報がわかっているビデオデータベース２１２における画像のサンプルセットを分析する。ピクセルの位置は、実際の座標ペア(x,y)か、または例えば、(x％,y％)（x％は、与えられたピクセルに対する画像の幅全体の割合である）のように、画像の原点からのオフセットの割合に基づく相対的な位置によって表現されることができる。従って、640×480の画像における、(320, 240)でのピクセルは、(0.50,0.50)の位置にある。多数の３D画像にわたる所定の位置におけるピクセルの既知の深度を平均することによって、空間のマップ生成器２０４は、空間の深度のプライア（spatial depth prior，各位置におけるピクセルの深度の統計的平均を表す）と分散のプライア（variance prior，各位置におけるピクセルの深度の分散を表す）とを生成する。空間の深度のプライアは、ピクセルの位置を深度に関連付けるルックアップテーブルとして構成されてもよい。同様に、分散のプライアは、ピクセルの位置を深度の分散に関連付けるルックアップテーブルとして構成されてもよい。
【００２４】
空間のマップ生成器２０４によって生成された空間の深度のプライアは、一般に画像の前景に位置するフレームの中心および底部付近のオブジェクトによって、画像の中心および底部付近に位置するピクセルに関連付けられた小さい深度値および上部および側面付近のピクセルに対する大きい深度値を示してもよい。一実施形態では、空間の深度マップ生成器２０４は、いくつかの空間の深度のプライアを決定し、いくつかの可能なシーンの分類の各々に対して１つを決定する。例えば、空間の深度マップ生成器２０４は、屋外および屋内のシーンのために別々の空間の深度のプライアを生成してもよく、前記シーンは、上述のようにサポートベクターマシンによって分類される。一実施形態では、空間の深度マップ生成器２０４が入力として平面視ビデオフレーム１０２を受信すると、前記空間の深度マップ生成器２０４は、ピクセルの位置に基づいて空間の深度のプライアにおける画像内のピクセルに対する深度値を設定することによって、空間の深度マップ１０６を生成し、この決定は、画像内の各ピクセル（またはピクセルのグループ）に対して行われる。他の実施形態では、空間の深度マップ生成器２０４は、ピクセルに対する深度値を生成するために、空間の深度のプライアによって特定される値をスケーリングしてもよい。例えば、空間の深度のプライアにおける平均値は、「屋外」に分類される画像に対してより大きくなるようにスケーリングされてもよく、屋外のシーンにおけるフィールドの潜在的により大きい深度を説明する。
【００２５】
動きの深度マップ生成器２０６は、カメラの動きに関係する、ビデオフレーム１０２のピクセルの動きに基づいて、ビデオフレーム１０２のための深度マップを生成する。動きの深度マップ生成器２０６は、深度を決定するために、最も多い動きを有するオブジェクトは通常、フレームの前面に近いという仮定を使用する。図３は、２つのフレーム間の動きを計算して、動きに基づいて深度を決定するために、動きの深度マップ生成器２０６よって採用されるプロセスを示す。
【００２６】
動きを計算するために、動きの深度マップ生成器２０６は、ビデオシーケンスにおけるビデオフレーム１０２およびフレーム１０２の前のフレームのような、２つまたは３つ以上のビデオフレームを入力として受信する。当業者によって知られているような特徴検出アルゴリズムを使用して、フレームから特徴が抽出される（３０２）。これらの特徴は、色の特徴（例えば、HSV色空間における色相および彩度）や、テクスチャの特徴（例えば、ガボール・ウェーブレット（Gabor wavelet）からの特徴）や、エッジの特徴（例えば、キャニーエッジ検出器（Canny edge detector）によって検出される特徴）や、ラインの特徴（例えば、確率的ハフ変換（probabilistic Hough Transform）によって検出される特徴）またはSIFT（Scale Invariant Feature Transform：スケール不変特徴量変換）、GLOH（Gradient Location and Orientation Histogram：勾配位置および方向ヒストグラム）、LESH（Local Energy based Shape Histogram：局所的エネルギーベースの形状ヒストグラム）またはSURF（Speeded Up Robust Features：高速化ロバスト特徴）のような特徴等の、複数の画像の特徴のうちのいずれかを有してもよい。一実施形態では、ラプラシアン・オブ・ガウシアン（Laplacian-of-Gaussian）フィルタが、１つのフレームにおける関心点を検出されるために使用され、局所的な特徴は、局所的な領域におけるテクスチャの特徴の118次元ガボール・ウェーブレットを計算することによって決定される。一実施形態では、動きの深度マップ生成器２０６は、各フレームから約103の特徴を抽出する。
【００２７】
特徴を抽出した後、動きの深度マップ生成器２０６は、入力フレーム間の抽出された特徴点の動きを計算することによって、画像の全体的な動き（global motion）を決定する（３０４）。全体的な動きは、カメラ自体の移動を表している。例えば、カメラがビデオを撮影する間、固定の速度で左から右にパンニングしていた場合、ビデオは、その固定の速度に対応する全体的な動きを有する。全体的な流れ（global flow）を決定するために、局所的な動きを有するビデオにおけるオブジェクトは、各フレームのピクセルの小さなサブセットのみを有し、ピクセルの大部分は、２つのフレーム間で同一の動きを有する傾向にあることが想定される。ピクセルの大部分によって共有される動きが、画像の全体的な動きである。一実施形態では、全体的な流れを決定するために局所的な動きを有する範囲外のピクセルを無視して、流れのロバストなフィット（robust fit）を決定するためにランダム・サンプル・コンセンサス（random sample consensus：RANSAC）アルゴリズムが使用されることができる。局所的な動きを持たないピクセルは、RANSACアルゴリズムによってインライア（inlier）であると決定され、前記インライアは、その分布が全体的な流れによって説明されることができるデータポイントである。RANSACは、Martin A. Fischler and Robert C. Bolles (June 1981). “Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography”. Comm. of the ACM 24 (6): 381−395において説明され、参照によって本明細書に組み込まれる。
【００２８】
RANSACアルゴリズムは、１つのフレーム内のピクセルの位置を次のフレーム内のその位置にマッピングするホモグラフィー（homography）Aを出力する。例えば、フレームI0内の位置（x0,y0）およびフレームI１内の（x1,y1）におけるピクセルが与えられると、RANSACは、λはスカラー値であると仮定して、インライアであると決定された全てのピクセルに対して、以下の変換：
【数２】
0006438403.tif 000003
の誤差を最小化するために、3×3のホモグラフィーAを決定する。ホモグラフィーを決定した後、動きの深度マップ生成器２０６は、ビデオフレーム１０２のピクセルの全体的な動きを定量化する、行列Aの行列式Mを計算する。
【００２９】
動きの深度マップ生成器２０６はまた、画像内の各ピクセルに対する合計の動きベクトルを生成する（３０６）。一実施形態では、合計の動きベクトルは、当業者によって知られているオプティカルフロー（optical flow）アルゴリズムによって決定される。オプティカルフローは例えば、Berthold K.P. Horn and Brian G. Schunck (1981), “Determining Optical Flow,” Artificial Intelligence 17: 185-203によって記載されている。動きの深度マップ生成器２０６によって採用されるオプティカルフローアルゴリズムは、ブロックマッチング、位相相関または多くの変分法のような方法によって解決される、ピクセルの強度の空間的および時間的な導関数（derivative）に基づいて、ビデオにおけるフレーム間のピクセルの速度を測定する。
【００３０】
動きの深度マップ生成器２０６は、個々のピクセルの動きベクトルからフレームの全体的な動きMを引くことによって各ピクセルの局所的な動きを計算する（３０８）。具体的には、局所的な動きは、合計の動きベクトルの絶対値とホモグラフィーAの行列式Mとの間の差である。次いで、ピクセルの深度は、より速く動くオブジェクトはフレームの前景にあるという仮定に基づいて決定されることができる（３１０）。一実施形態では、動きの深度マップ生成器２０６は、動きを有するか、動きを有しないかのいずれかとして各ピクセルを分類するために、閾値を各ピクセルの局所的な動きに適用する。動きを有すると決定されたピクセルは、深度値に0を割り当てられてもよい（ピクセルを前景に配置する）とともに、動きを有しないと決定されたピクセルは、深度値に255が割り当てられてもよい（ピクセルを背景に配置する）。
【００３１】
深度マップモジュール２０８は、色の深度マップ、空間の深度マップおよび動きの深度マップの重み付けをされた結合を計算することによって、結合された深度マップを生成する。色の深度マップの重みw1、空間の深度マップの重みw2および動きの深度マップの重みw3は、深度マップモジュール２０８が、個々の深度マップのそれぞれから結合された深度マップ１１０を生成することを可能にする。一実施形態では、重みw1、w2およびw3のそれぞれは、0から1の間の値を有するとともに、全てを合計すると1になる。
【００３２】
一実施形態では、深度マップモジュール２０８は、重みw1、w2およびw3をヒューリスティックに決定する。他の実施形態では、重みは、フレームの特徴に基づいて適応し、様々な位置における特徴に従ってフレーム間で変動する。
【００３３】
適応性のある色の深度マップの重み
【００３４】
一実施形態では、深度マップモジュール２０８は、画像における色の分布に基づいて、画像の色の深度マップのための適応性のある重みを決定する。適応性のある色の深度マップの重みw1は、色のキューを使用して深度マップを生成することができることにおける信頼性を表す。画像が狭い色の分布を有する場合、画像におけるピクセルの深度に関係なく、画像内の全てのピクセルは同一色または類似色を有する。それに応じて、色の分布が狭い場合に深度を決定するために、空間のキューや動きのキューのような、代替の深度のキューにより頼ることは有益である。一方、深度マップモジュール２０８は、画像がより広い色の分布を有する場合、より正確な色の深度を決定することができ、このことは、色の分布が広い場合に色の深度マップの重みを増加させることは有益であることを意味する。
【００３５】
一実施形態では、深度マップモジュール２０８は、画像に対する色のコントラストを計算することによって、色の分布を定量化する。例えば、深度マップモジュール２０８は、以下の式：
【数３】
0006438403.tif 000004
に基づいて、画像内のピクセルの強度に基づく二乗平均平方根（root mean square：RMS）画像コントラストcを計算してもよい。サイズm×nの画像に対して、Iijは位置（i,j）におけるピクセルの強度であり、
【数４】
0006438403.tif 000005
は、画像におけるピクセルの平均強度である。cの値は、範囲[0, 1]内になるように正規化される。色の深度マップの重みに対する上限w1_maxおよび下限w1_minがそれぞれ与えられると、色の深度マップの重みw1は、以下の式：
w1 = w1_min + c (w1_max−w1_min)                                            (4)
に従って、コントラストcに基づいて決定される。
【００３６】
他の実施形態では、深度マップモジュールは、ヒストグラムのために計算された離散エントロピーに基づいて、画像に対する色の分布を計算する。例えば、YCbCr色空間では、深度マップモジュール２０８は、x軸において量子化された色のヒストグラムhist_y、hist_cbおよびhist_crをBビン（B bin）（例えば、255）に取り込んでもよい。ヒストグラムは、色空間における各色のチャネルに対する、各色のビンにおけるフレーム内のピクセル数を表す。深度マップモジュール２０８は、Bビンを有する均一ヒストグラムのエントロピーと同様に、各ヒストグラムのエントロピーH(x)を計算する。各チャネル内の全ての色の均等な分布を表す、均一ヒストグラムは、最大可能エントロピーH(unif)を有する。Y、CbおよびCrチャネルのそれぞれにおけるヒストグラムのエントロピーを表す、H(hist_y)、H(hist_cb)およびH(hist_cr)を計算した後、深度マップモジュール２０８は、H(unif)に対するヒストグラムの比率を平均することによって色の深度マップの重みw1を決定する：
【数５】
0006438403.tif 000006
式(5)では、w1_maxはヒューリスティックに選択されたw1の値の上限である。
【００３７】
適応性のある動きの深度マップの重み
【００３８】
一実施形態では、深度マップモジュール２０８は、ビデオの２つまたは３つ以上のフレーム間のピクセルの局所的な動きの量に基づいて、動きの深度マップのための適応性のある重みを決定する。画像のピクセルが局所的な動きをほとんど有しないまたは全く有しない場合、類似した局所的な動きを有するピクセルは、異なる深度を有する傾向にある。結果として、適応性のある動きの深度マップの重みw2は、深度を決定するために動きを使用することにおける信頼性を表す。
【００３９】
深度マップモジュール２０８は、局所的な動きを有するフレーム内のピクセルの割合に基づいて、適応性のある動きの深度マップの重みを計算する。一実施形態では、個々のピクセルは、ピクセルが動きの中にあるか、または動きの中にないかを特定するバイナリ動き値が割り当てられる。閾値を上回る絶対値を持つ差分ベクトルを有するピクセルは、動きの中にあると決定される（および動き値に「1」が割り当てられる）とともに、閾値を下回る絶対値を持つ差分ベクトルを有するピクセルは、静止していると決定される（および動き値に「0」が割り当てられる）ように、距離の閾値は、動きの深度マップ生成器２０６によって計算される差分ベクトルの絶対値に適用されてもよい。距離の閾値を差分ベクトルに適用した後、深度マップモジュール２０８は、局所的な動きを有するフレーム内のピクセルの割合pを決定し、すなわち、p = (MV_1／N)であり、MV_1は動き値1を有するピクセル数であり、Nは画像内のピクセル数である。
【００４０】
動きの深度マップの重みw2は、割合pの関数として調整される。一実施形態では、深度推定モジュール２０８は、動きの閾値を局所的な動きを有するピクセルの割合に適用する。割合pが動きの閾値を上回る場合、w2はプリセット値から少量増加する。割合pが動きの閾値を下回る場合、w2は少量減少する。具体的には、動きの閾値εおよび割合pが与えられると、深度推定モジュール２０８は、フレームi-1における同一のピクセルの動きの深度マップの重みに対応するw2i−1に関連して、フレームiにおけるピクセルの動きの深度マップの重みに対応するw2iの値を、w2iに1.0に近い値を掛けることによって、決定してもよい。例えば、深度推定モジュール２０８は、
【数６】
0006438403.tif 000007
に基づいてw2iを決定してもよい。乗数の値（本実施例における1.02および0.98）はヒューリスティックに決定されることができるとともに、任意の適切な値は深度マップモジュール２０８によって使用されることができる。深度マップモジュール２０８はまた、動きの深度マップの重みがプリセット値からずれることができる量を制限するw2における上限および下限を定義してもよい。
【００４１】
適応性のある空間の深度マップの重み
【００４２】
一実施形態では、深度マップモジュール２０８は、空間の深度のプライアの分散に基づいて、画像の空間の深度マップのための適応性のある重みを決定する。低い分散は、空間の深度のプライアによって特定されるような、ピクセルの位置における平均深度値がピクセルの深度を正確に予測するより高い確率を示す。空間の深度マップ生成器２０４によって生成された分散のプライアは、各ピクセルの位置における深度の分散を記述する。位置(x,y)におけるピクセルのための適応性のある空間の深度マップの重みw3を生成するために、深度マップモジュール２０８は、分散のプライア内の(x,y)における分散を見つける。分散が小さい場合、深度マップモジュール２０８はw3の値を増加させ、分散が大きい場合、w3を減少させる。一実施形態では、深度マップモジュール２０８は、分散がプリセット閾値を上回るかまたは下回る場合に、w3に所定の値を掛けるという、式(6)によって記述される方法と同様の方法によってw3を決定する。
【００４３】
結合された深度マップの生成
【００４４】
適応性のある重みが、画像のための結合された深度マップを生成するために使用される場合、深度マップモジュール２０８は、上述の方法を使用して、１つまたは２つの適応性のある重みを決定してもよく、３つの重みは合計して1.0になるという制約とともに、決定された重みに基づいて残りの１つまたは複数の重みを計算してもよい。例えば、深度マップモジュール２０８が１つの適応性のある重み（例えば、適応性のあるw1）を生成する場合、残りの２つの重みは、
【数７】
0006438403.tif 000008
のような、固定比αを有するように定義されてもよい。次いで、w2およびw3のための値は、以下の式：
【数８】
0006438403.tif 000009
【数９】
0006438403.tif 000010
によって決定されることができる。あるいは、深度マップモジュール２０８が２つの適応性のある重みを生成する場合、３つ目の重みは、1.0の制約値から２つの生成された重みを引くことによって決定されることができる。
【００４５】
図４は、平面視画像の結合された深度マップを生成するためのプロセスを示すフローチャートである。プロセスのステップは、深度マップ生成モジュール２００によって実行されることができる。他の実施形態は、追加のまたはより少ないステップを有してもよく、異なる順序でステップを実行してもよい。
【００４６】
深度マップ生成モジュール２００は、複数のピクセルを有する平面視画像にアクセスする（４０２）。一実施形態では、画像は、ビデオフレーム１０２のような、ビデオのフレームである。色の深度マップは、ピクセルの深度を決定するためにピクセルの色を使用することによって、画像に対して決定される（４０４）。色の深度マップは、同様の色を有するピクセルは同様の深度を有するであろうという仮定に基づいて生成される。一実施形態では、深度マップ生成モジュール２００は、画像におけるピクセルの色情報にアクセスするとともに過去の深度情報または色の深度関数に基づいて、色の深度マップを計算する。
【００４７】
深度マップ生成モジュール２００はまた、ピクセルの深度を決定するためにピクセルの位置を使用することによって画像のための空間の深度マップを決定する（４０６）。多数の3D画像から取得された様々な位置における既知のピクセルの深度を平均することによって計算された、空間の深度のプライアは、画像におけるピクセルの位置とピクセルの深度のマップとの間の相関を提供する。一実施形態では、空間の深度のプライアは、ピクセルの位置をピクセルの深度に関連付けるルックアップテーブルである。
【００４８】
深度マップ生成モジュール２００は、ピクセルの深度を決定するために、２つのフレーム間のピクセルの動きを使用することによって、画像のための動きの深度マップを決定する（４０８）。ピクセルの動きは、２つのフレーム間の全体的な動きを同一の２つのフレーム間のピクセルの動きの合計から引くことによって決定される。
【００４９】
色の深度マップの重み、空間の深度マップの重みおよび動きの深度マップの重みがまた決定される（４１０）。重みは、0から1の間の値であり、合計すると1.0になる。一実施形態では、重みは画像間および各画像にわたって適応性があり、画像における異なる特徴および異なる特徴の深度を正確に定量化するための各深度マップの方法の信頼性を説明する。
【００５０】
最後に、深度マップ生成モジュール２００は、結合された深度マップを生成する（４１２）。結合された深度マップは、色の深度マップの重みによって重み付けをされた色の深度マップと、空間の深度マップの重みによって重み付けをされた空間の深度マップと、動きの深度マップの重みによって重み付けをされた動きの深度マップの線形結合である。結合された深度マップを生成することによって、深度マップ生成モジュール２００は、個々のマップによって単独で提供されるマップよりも画像におけるピクセルの深度のより正確なマップを提供する。
【００５１】
さらなる構成の考慮事項
【００５２】
本発明の実施形態の前述の説明は、例示の目的のために提示されている。本発明の実施形態の前述の説明は、網羅的なものではなく、本発明を開示された明確な形態に限定するものではない。当業者は、上述の開示に照らして、多くの修正および変更が可能であることを理解することができる。
【００５３】
本説明のいくつかの部分は、情報に対する処理のアルゴリズムおよび記号表現によって、本発明の実施形態を説明する。これらのアルゴリズムの記述および表現は一般に、効果的に他の当業者に彼らの仕事の要旨を伝えるために、データ処理における当業者によって使用される。これらの処理は、機能的、計算的または論理的に説明される一方で、コンピュータプログラムまたは等価の電気回路やマイクロコード等によって実施されるものと理解される。さらに、一般性を失うことなく、モジュールとしてこれらの処理の配置（arrangement）を参照することは、時には便利であることがまた証明された。説明された処理および関連モジュールは、ソフトウェア、ファームウェア、ハードウェアまたはそれらの任意の組合せにおいて実装されてもよい。
【００５４】
本明細書で説明されたステップ、処理またはプロセスのうちのいずれかは、１つまたは２つ以上のハードウェアまたはソフトウェアモジュールを単独で、または他の装置と組み合わせて実行または実施されてもよい。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を有するコンピュータプログラム製品によって実施され、前記コンピュータプログラムコードは、説明されたステップ、処理またはプロセスのうちのいずれかまたは全てを実行するためのコンピュータプロセッサによって実行可能である。
【００５５】
本発明の実施形態はまた、本明細書の処理を実行するための機器に関連してもよい。前記機器は、必要な目的のために特別に構成されてもよく、および／または、前記機器は、コンピュータ内に格納されたコンピュータプログラムによって選択的に起動された、または再構成された、汎用コンピューティング装置を有してもよい。そのようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体や、またはコンピュータシステムバスに結合されることができる電子命令を格納するのに適した任意のタイプの媒体の中に格納されてもよい。さらに、明細書内で参照される任意のコンピュータシステムは、単一のプロセッサを含んでもよく、または増加した計算能力のためにマルチプロセッサ設計を採用するアーキテクチャであってもよい。
【００５６】
発明の実施形態はまた、本明細書で説明されたコンピューティングプロセスによって生じる製品に関連してもよい。そのような製品は、コンピューティングプロセスから生じる情報を有してもよく、情報は、非一時的な有形のコンピュータ可読記憶媒体上に格納されるとともに、本明細書で説明されるコンピュータプログラム製品の任意の実施形態または他のデータの組み合わせを含んでもよい。
【００５７】
最後に、本明細書で使用される言語は、主として、読みやすさおよび教示目的のために選択されたとともに、発明の主旨を線引きする、または限定するために選択されたものではない。従って、本発明の範囲は、本明細書における詳細な説明によっては限定されず、本明細書に基づく出願に対して発行する任意の請求項によって限定されるものである。従って、本発明の実施形態の開示は、例示を行うものであり、本発明の範囲を限定するものではなく、以下の特許請求の範囲において明らかにされる。
【符号の説明】
【００５８】
１０２  ビデオフレーム
１０４  色の深度マップ
１０６  空間の深度マップ
１０８  動きの深度マップ
１１０  結合された深度マップ
２００  深度マップ生成モジュール
２０２  色の深度マップ生成器
２０４  空間の深度マップ生成器
２０６  動きの深度マップ生成器
２０８  深度推定モジュール
２１２  ビデオデータベース
【図１】
0006438403.tif 000011
【図２】
0006438403.tif 000012
【図３】
0006438403.tif 000013
【図４】
0006438403.tif 000014