(57)【特許請求の範囲】
【請求項１】
画像に対する深度マップを生成する方法において、
ａ）前記画像を表示するステップと、
ｂ）複数の意味的画像タイプを表示するステップと、
ｃ）前記画像を前記表示された画像タイプの１つとして規定するユーザ入力を受け取るステップと、
ｄ）前記規定された画像タイプによって複数のラベルを選択するステップと、
ｅ）所定のセグメンテーションアルゴリズムによって、前記画像を領域にセグメント化するステップと、
ｆ）前記画像の第１の領域において前記画像上に指標を表示するステップと、
ｇ）前記複数のラベルを表示するステップと、
ｈ）前記複数のラベルの１つを選択するユーザ入力を受け取るステップと、
ｉ）前記第１の領域に対するラベルを前記選択されたラベルに設定するステップと、
ｊ）所定の事象が生じるまで、異なる領域に対して前記ステップｆ）ないしｉ）を繰り返すステップと、
ｋ）ラベルマップを深度マップに変換する所定のスキームにアクセスするステップと、
ｌ）前記ユーザ入力に従って設定されたラベル及び前記所定のスキームによって深度マップを生成するステップと、
を有する方法。
【請求項２】
前記領域に対するラベルを前記選択されたラベルに設定するステップが、それぞれの領域に対する前記選択されたラベルに対する信頼レベルを１に設定することを有する、請求項１に記載の方法。
【請求項３】
前記領域に対するラベルを前記選択されたラベルに設定した後に、所定のアルゴリズムによって、それぞれの領域に接する領域に対する前記選択されたラベルに対する信頼レベルを設定することを有する、請求項１又は２に記載の方法。
【請求項４】
前記画像の異なる領域において前記画像上に指標を表示するステップが、ラベルに対して最低の信頼レベルを持つ異なる領域を選択することを含む、請求項３に記載の方法。
【請求項５】
前記画像の異なる領域において前記画像上に指標を表示するステップが、両方とも所定の閾値より上である２つの異なるラベルに対する信頼レベルを持つ異なる領域を選択することを含む、請求項３に記載の方法。
【請求項６】
画像に対する深度マップを生成するシステムにおいて、
前記画像を表示し、複数の意味的画像タイプを表示し、複数のラベルを表示し、前記画像の異なる領域において前記画像上に指標を繰り返し表示する表示装置と、
前記画像を前記表示された画像タイプの１つとして規定するユーザ入力を受け取り、それぞれの領域に対する指標の各表示に対して前記複数のラベルの１つを選択する複数のユーザ入力を受け取るユーザインタフェースと、
前記規定された画像タイプによって前記複数のラベルを選択し、所定のアルゴリズムによって、前記画像を前記領域にセグメント化し、各それぞれの領域に対するラベルを前記選択されたラベルに設定し、ラベルマップを深度マップに変換する所定のスキームにアクセスし、前記ユーザ入力に従って設定されたラベル及び前記所定のスキームによって深度マップを生成するプロセッサと、
を有するシステム。
【請求項７】
前記システムが、デジタルフォトフレームを有する、請求項６に記載のシステム。
【請求項８】
前記システムが、コンピュータ及びサーバを有する、請求項６に記載のシステム。
【請求項９】
画像に対する深度マップを生成するコンピュータ可読媒体上のコンピュータプログラムにおいて、
ａ）前記画像を表示する命令と、
ｂ）複数の意味的画像タイプを表示する命令と、
ｃ）前記画像を前記表示された画像タイプの１つとして規定するユーザ入力を受け取る命令と、
ｄ）前記規定された画像タイプによって複数のラベルを選択する命令と、
ｅ）所定のセグメンテーションアルゴリズムによって、前記画像を領域にセグメント化する命令と、
ｆ）前記画像の第１の領域において前記画像上に指標を表示する命令と、
ｇ）前記複数のラベルを表示する命令と、
ｈ）前記複数のラベルの１つを選択するユーザ入力を受け取る命令と、
ｉ）前記第１の領域に対するラベルを前記選択されたラベルに設定する命令と、
ｊ）所定の事象が生じるまで、異なる領域に対して前記命令ｆ）ないしｉ）を繰り返す命令と、
ｋ）ラベルマップを深度マップに変換する所定のスキームにアクセスする命令と、
ｌ）前記ユーザ入力に従って設定されたラベル及び前記所定のスキームによって深度マップを生成する命令と、
を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深度マップを生成する方法及びシステムに関する。一実施例において、本発明は、３Ｄピクチャ作成に対する質問インタフェースに使用されることができる。本発明は、例えば、デジタル画像フレーム又はインタラクティブウェブサイトにおいて使用されることができる。
【背景技術】
【０００２】
近未来の三次元（３Ｄ）表示装置が、家庭及びビジネス環境においてますます一般的になると思われる。このような装置は、ユーザが３Ｄ画像を見るために特別な眼鏡をかけることを必要とするステレオスコピック、又は３Ｄ画像を見るために特別な眼鏡を必要としないオートステレオスコピックのいずれかである。３Ｄ画像を作成するために、２つの異なる２Ｄ画像が必要とされ、前記２つの異なる２Ｄ画像の一方が、前記ユーザの左目に与えられ、他方が前記ユーザの右目に与えられる。単一の画像と、第２の画像が生成されることを可能にするのに十分な情報を含む追加の深度マップ又は視差マップのいずれかとを与えることも十分である。この後者の解決法は、３Ｄ画像の最終的な供給におけるより多くの柔軟性を可能にするので、複数の利点を持つ。しかしながら、現時点で、予測できる未来に対して、ほとんどの画像及びビデオが、２Ｄ画像フレームとして生成されることは事実である。元のソースが２Ｄ画像である場合に３Ｄ画像を作成するために、深度マップが、作成される必要がある。この深度マップは、第２の画像を作成するのに使用されることができるか、又は第２の画像に対する視差マップを作成するのに使用されることができる。
【０００３】
このような深度マップを最小のユーザ入力で推定する様々な既知の方法が存在する。Vezhnevets及びKonouchineは、ユーザが走り書き（scribbles）を使用して前景及び背景領域の小さな部分を示す方法を開発し、セグメンテーションアルゴリズムが、前記ユーザ走り書きから縁に沿ったセグメンテーションを得る。前記ユーザは、この場合、前記示された領域に深度値を割り当てなくてはならない。より詳細には、Vezhnevets V., Konouchine V., "'Grow-Cut' - Interactive Multi-Label N-D Image Segmentation by cellular automata", Proc. Graphicon 2005 http://www.graphicon.ru/2005/proceedings/papers/VezhntvetsKonushin.pdfを参照する。
【０００４】
同様に、米国特許US7035451は、画像の少なくとも１つの画素又は部分に深度を割り当てるステップと、前記画像の少なくとも１つの画素又は部分の各々に対する相対位置及び画像特性を決定するステップと、深度特性を場所及び画像特性に対する関数として確定するアルゴリズムを決定するのに前記深度、画像特性及びそれぞれの場所を使用するステップと、前記画像の各画素又は部分に対する深度特性を計算するのに前記アルゴリズムを使用するステップとを含む、深度マップを作成する方法を開示しており、ここで前記深度特性は、前記画像に対する深度マップを形成する。処理の第２の段階において、前記深度マップは、キーフレームに対する相対的な場所、画像特性及び距離を使用して非キーフレームに対する深度マップの生成に対するキーフレームを形成する。この特許は、画素のセットに特定の深度を割り当て、これを完全な深度マップに広げる方法を記載している。
【０００５】
しかしながら、深度マップを生成する全ての既知の方法は、ユーザが少なくとも１つの画像の１以上の部分に（絶対的又は相対的な）深度を割り当てることを必要とする。深度マップを描かなくてはならない問題は、ユーザに複雑なコンピュータ描画プログラムを説明し、どのようにして所定のピクチャに対する深度マップを描かなくてはならないかを説明する必要性である。一般に、合理的な一貫性の度合いで非熟練ユーザに対して満足な結果を得ることは、ほとんど不可能なタスクである。相当量の画像に対して、非熟練ユーザは、許容可能な深度マップを提供するのに十分に良好に深度割り当てプログラムを操作することができないであろう。加えて、深度マップが描かれるアプローチは、対象の輪郭を描く又は対象を指し示すのにペンを使用するインタフェースをも必要とする。したがって、使用前にほとんど又は全く説明を必要としない単純なユーザインタフェースを作成するのは容易ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、本発明の目的は、既知の技術を改良することである。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によると、画像に対する深度マップを生成する方法が提供され、前記方法は、
ａ）前記画像を表示するステップと、
ｂ）複数の意味的（semantic）画像タイプを表示するステップと、
ｃ）前記画像を前記表示された画像タイプの１つとして規定するユーザ入力を受け取るステップと、
ｄ）前記規定された画像タイプによって複数のラベルを選択するステップと、
ｅ）所定のセグメンテーションアルゴリズムによって前記画像を領域にセグメント化するステップと、
ｆ）前記画像の第１の領域において前記画像上に指標を表示するステップと、
ｇ）前記複数のラベルを表示するステップと、
ｈ）前記複数のラベルの１つを選択するユーザ入力を受け取るステップと、
ｉ）前記第１の領域に対するラベルを前記選択されたラベルに設定するステップと、
ｊ）所定の事象が生じるまで、異なる領域に対して前記ステップｆ）ないしｉ）を繰り返すステップと、
ｋ）ラベルマップを深度マップに変換する所定のスキームにアクセスするステップと、
ｌ）前記所定のスキーム及び前記ユーザ入力を受けて設定されたラベルによって深度マップを生成するステップと、
を有する。
【０００８】
本発明の第２の態様によると、画像に対する深度マップを生成するシステムが提供され、前記システムは、前記画像を表示し、複数の意味的画像タイプを表示し、複数のラベルを表示し、前記画像の異なる領域において前記画像上に指標を繰り返し表示する表示装置と、前記画像を前記表示された画像タイプの１つとして規定するユーザ入力を受け取り、それぞれの領域に対する指標の各表示に対して前記複数のラベルの１つを選択する複数のユーザ入力を受け取るユーザインタフェースと、前記規定された画像タイプによって前記複数のラベルを選択し、所定のアルゴリズムによって、前記画像を領域にセグメント化し、各それぞれの領域に対するラベルを前記選択されたラベルに設定し、ラベルマップを深度マップに変換する所定のスキームにアクセスし、前記所定のスキーム及び前記ユーザ入力を受けて設定されたラベルによって深度マップを生成するプロセッサとを有する。
【０００９】
本発明の第３の態様によると、画像に対する深度マップを生成するコンピュータ可読媒体上のコンピュータプログラムが提供され、前記プログラムは、
ａ）前記画像を表示する命令と、
ｂ）複数の意味的画像タイプを表示する命令と、
ｃ）前記画像を前記表示された画像タイプの１つとして規定するユーザ入力を受け取る命令と、
ｄ）前記規定された画像タイプによって複数のラベルを選択する命令と、
ｅ）所定のセグメンテーションアルゴリズムによって前記画像を領域にセグメント化する命令と、
ｆ）前記画像の第１の領域において前記画像上に指標を表示する命令と、
ｇ）前記複数のラベルを表示する命令と、
ｈ）前記複数のラベルの１つを選択するユーザ入力を受け取る命令と、
ｉ）前記第１の領域に対するラベルを前記選択されたラベルに設定する命令と、
ｊ）所定の事象が生じるまで、異なる領域に対して前記命令ｆ）ないしｉ）を繰り返す命令と、
ｋ）ラベルマップを深度マップに変換する所定のスキームにアクセスする命令と、
ｌ）前記所定のスキーム及び前記ユーザ入力を受けて設定されたラベルによって深度マップを生成する命令と、
を有する。
【００１０】
本発明のおかげで、第一に、前記ユーザが前記画像内の領域を選択する必要がなく、前記ユーザが検討中の前記画像の部分に対して深度値を与える必要がないが、追加の前処理又は追加の自動深度計算の必要なしに、画像に対する実用的な深度マップを提供することができる、深度マップを生成する方法を提供することが可能である。深度マップ又は深度マップを作成する方法の知識を必要とせずに画像を処理するインタフェースが提供される。深度マップを描かなくてはならない代わりに、複数の（意味的）質問が、ピクチャに関して問われる。前記ユーザによる入力としてのこれらの質問に対する回答は、特定の領域に対するラベルを効果的に提供する。このようにして、前記ユーザは、自動的に生成されたラベリングを補正する場合に、ラベリングの小さな部分を提供することができるか、又はラベリングの大きな部分を提供することができる。一度これらの質問が回答されると、深度マップは、自動的に計算され、３Ｄピクチャは、例えば３Ｄピクチャフレーム上で観察されることができる。
【００１１】
ユーザが静止画像に対する深度マップを作成することを可能にする方法が提供され、これにより前記ユーザは、特定の画像場所に対する意味的情報を入力するように要求される。前記システムは、例えば、提示された画像及び既に与えられた回答に依存して、情報が要求される場所を自動的に決定する。前記ユーザは、ボタンインタフェースを使用して前記意味的情報（例えば示された領域が地面、空等を表すかどうか）を入力することができる。前記ユーザは、深度値を割り当てる、又は前記深度マップ自体と直接的にインタラクトする必要がない。
【００１２】
前記画像内の要素に関する単純な質問が問われる場合にユーザに何も説明する必要がない。前記システムは、前記ピクチャ内の異なる要素に関する質問をするように効果的に設計される。これらの質問は、特定の画像場所における対象に関することができ、前記画像場所は、円又はクエスチョンマークのようなシンボルを使用して自動的に示される。これらの質問に対する回答は、この場合、深度マップを計算するのに自動的に使用される。したがって、前記ユーザが前記深度マップを見ることも必要ではなく、前記深度マップは、完全に前記ユーザがプロセス又は前記深度マップの存在に気付くことなく作成及び使用されることができる。前記ユーザは、例えば、オートステレオスコピックディスプレイにおいて、中間又は最終結果を見ることのみを必要とする。
【００１３】
有利には、前記領域に対するラベルを前記選択されたラベルに設定するステップは、前記それぞれの領域に対する前記選択されたラベルに対する信頼レベルを１に設定することを含む。信頼レベルは、前記画像内の１以上の領域に関して、異なる可能なラベルに関して使用されることができる。例えば、３つの異なるラベルＬ１、Ｌ２及びＬ３は、画像に関して使用されることができる。意味的に、これらは、それぞれ、地面、空及び対象に関することができる。ユーザが、特定の領域に関して質問され、当該領域にラベル"地面"を割り当てる場合、ラベルＬ１は、当該領域に関して１の信頼レベルを持つ。前記領域は、他の２つのラベルＬ２及びＬ３に関して０の信頼レベルを持つ。
【００１４】
好ましくは、前記方法は、前記領域に対するラベルを前記選択されたラベルに設定した後に、所定のアルゴリズムによって前記それぞれの領域に接する領域に対する前記選択されたラベルに対する信頼レベルを設定することを更に含む。領域に付けられたラベルに対する信頼レベルを使用する利点は、ユーザが領域に対するラベルを選択する場合に、これが現在の領域に接続するセグメントに関する情報を推測するのに使用されることができることである。例えば、同様な色又は形状情報は、近隣の領域に対する同じ選択されたラベルに対して０ないし１の信頼レベルを設定するのに使用されることができる。このようにして、ラベル情報は、前記ユーザが単一の領域毎に質問されることなしに、前記画像を通して広まる。実際に、前記ユーザがラベルを選択した領域の数が増えると、全ての領域が少なくとも１つのラベルに対してゼロより上の信頼レベルを持つ尤度は、増大される。このようにして、ラベルマップは、前記画像全体に対して生成される。
【００１５】
一実施例において、前記画像の異なる領域において前記画像上に指標を表示するステップは、有利には、ラベルに対する最低の信頼レベルを持つ異なる領域を選択することを含む。一度前記ユーザが領域に対するラベル選択を行うと、前記システムは、前記ユーザが質問されることになる新しい領域を選択する。これを達成する１つの有利な方法は、個別のラベルとして又は全てのラベルにわたる合計としてのいずれかで、ラベルに対する最低の信頼レベルを持つ現在の領域を選択することである。これは、前記ラベルマップが生成されることができる速度を増大し、前記ユーザが前記画像内の特定の領域に関して質問されることを必要とする回数を減少する。
【００１６】
異なる実施例において、前記画像の異なる領域において前記画像上に指標を表示するステップは、両方とも所定の閾値より上である２つの異なるラベルに対する信頼レベルを持つ異なる領域を選択することを含むことができる。前記方法は、近隣の領域が前記ユーザ選択の後に信頼レベルを割り当てられることにより向上されるので、単一の領域が２以上の異なるラベルに対してゼロより上の信頼レベルを持つことが可能である。前記システムは、両方とも所定の閾値より上の２つの異なるラベルに対する信頼レベルを持つこのような領域を識別し、前記ユーザがラベルを選択するように前記領域を選択し、これにより１つのラベル信頼レベルを１に上げ、前記ラベルマップにおける明らかな不確定性を除去するように意図的に構成される。
【００１７】
前記方法は、複数の画像タイプを表示するステップと、前記画像を前記表示された画像タイプの１つとして規定するユーザ入力を受け取るステップと、前記規定された画像タイプによって表示されるべきラベルを選択するステップとを更に有する。前記ユーザが、検討されている画像に関して質問されるプロセスを開始する前に、前記画像が内側から取られたのか又は外側から取られたのか、又は前記画像が例えば人を含むかどうかのような、単純な質問をされることができる。前記ユーザに提示されるラベルは、この場合、この質問に応じて前記ユーザにより選択された画像タイプによって調節される。これは、前記プロセスを効率化し、ラベルマップを深度マップに変換する、より適切な所定のスキームが使用されることを可能にする。
【００１８】
有利には、前記方法は、所定のオーバセグメンテーション（oversegmentation）アルゴリズムによって前記画像をオーバセグメント化するステップを更に有し、ここで前記画像は、複数の画素領域に分割される。前記領域が使用されることができる１つの単純な方法は、第１の領域において前記ユーザに対する指標を表示し、前記ユーザがラベル選択を行った場合に、前記指標を新しい領域に移動することである。
【００１９】
本発明の実施例は、例としてのみ、添付の図面を参照して、ここに記載される。
【図面の簡単な説明】
【００２０】
【図１】深度マップを生成する装置の概略図である。
【図２】画像タイプ及びラベルヒエラルキの図である。
【図３】画像からの深度マップの作成を示す概略図である。
【図４】深度マップを生成する方法のフローチャートである。
【図５】深度マップを生成する装置及びサーバの概略図である。
【図６ａ】画像の概略図である。
【図６ｂ】ラベルマップの概略図である。
【図６ｃ】深度マップの概略図である。
【発明を実施するための形態】
【００２１】
デジタルフォトフレーム１０が、図１に示される。前記フォトフレームは、画像１４を表示する表示装置１２と、プロセッサ１５とを持ち、また、３つのボタン１７を有するユーザインタフェースコンポーネント１６をも有する。各ボタン１７は、この例では、ラベル"空"、"建物"及び"地面"であるラベル１８を表示する。各ボタン１７は、個別の表示コンポーネントであるので、個別のボタン１７により表示される特定のラベル１８は、フォトフレーム１０により変更されることができる。
【００２２】
指標２０は、画像１４の領域において、プロセッサ１５の制御下で、画像１４上に示される。ピクチャ１４内の場所２０は、円で示されている（クエスチョンマーク又は矢印が使用されてもよい）。前記ユーザは、選択オプションとして提示されたラベル１８の小さなセットの１つを選択することができる。図１は、３Ｄピクチャ作成に対する提案されたユーザインタフェースを提供する。３つのボタン１７の１つを押すことにより、前記ユーザは、縁で示される場所２０における対象のクラスを設定する。前記選択が行われるとすぐに、円２０は場所を変更し、新しい入力が前記ユーザにより与えられることができる。円２０の位置は、第１の質問に対して固定される。各後の質問の後に、円２０は、分類結果に依存して再配置される。円２０は、所定のクラスの１つにおける確定性が最低である領域の中心位置を中心とする。
【００２３】
前記ユーザに知られずに、この好適な実施例において、プロセッサ１５は、高密度のクラスラベルマップを得るように画像１４の色オーバセグメンテーションを実行した。前記ユーザが、ラベル１８を選択する場合、このラベル１８は、指標２０が中に落ちる領域に割り当てられる。この領域に対して、前記クラスラベルは、ユーザ選択されたラベル１８に設定され、信頼性は、（最大である）１．０に設定される。指標２０は、この場合、プロセッサ１５により新しい場所に移動され、このプロセスは繰り返される。前記プロセスは、前記ユーザが結果に満足した場合に停止され、又は代替的に、これは、固定数の質問の後であることもでき、又は全体的な品質又は信頼性に対する自動的に計算された尺度が、所定のレベルに到達する場合であることもできる。この時点で、クラス番号を割り当てられていない多くの領域がいまだに存在する。これは、領域の'割り当てられていないセット'と見なされることができる。これらの領域に対して、クラスラベルが、この場合、以下のアルゴリズムを使用して見つけられる。
１．全ての領域及び全ての可能なラベルに対する信頼性をゼロに設定する。
２．円の位置を画像の中心（最初の質問に対する位置）に設定する。
３．前記ユーザが、このプロセスを終了していない間に、
ａ．示された領域に対するユーザ入力を得る。
ｂ．前記示された領域に対するクラスラベルを選択されたラベルに設定する。
ｃ．前記'割り当てられていないセット'内の全ての領域を全てのクラスラベルに対して０に設定する。
ｄ．全てのクラスラベルｋ＝１．．Ｋに対して、
ｉ．Ｎiterの反復に対して、
１．前記'割り当てられていないセット'内の全ての領域に対して、
ａ．クラスラベルｋの信頼性を更新する。
ｅ．全ての領域に対して、
ｉ．最高の信頼性を持つラベルを選択する。
ｆ．クラスラベルマップを更新する。
ｇ．深度マップを更新する。
ｈ．いずれのクラスにおいても最小の信頼性を持つ領域に円を再配置する。
４．終了する。
【００２４】
ラベルｋの信頼性の更新は、近隣の領域のラベルｋの信頼性に基づく。近隣の領域ｊを持つ領域ｉに対して、信頼性は、
0005404806.tif 000002
を使用して更新され、ここで、
ｗij＝exp(−α(|ｒi−ｒj|＋|ｇi−ｇj|＋|ｂi−ｂj|)
である。
【００２５】
反復の数は、典型的には、Ｎiter＝５０である。第２の式の重みは、α＝０．１に設定される。より良好な混合を得るために、前から後ろに及び後ろから前に領域リストをスキャンし、各方向において複数の反復を行うことが可能である。好適な実施例において、５０の反復が、各方向において行われる。
【００２６】
ラベルづけされた画像は、この場合、以下のアルゴリズムを使用して深度マップに変換される。
１．画素がラベル'地面'を持つ最大のｙ座標ｙmaxを見つける（右手座標系の原点が前記画像の左下に位置することに注意する）。この点から前記画像の底部までの距離はｈである。前記画像の高さは、Ｈと称される。
２．前記'地面'の傾斜を計算する。
ｓ＝Δ／ｙmax  （パラメータとして、Δ＝２００が使用される）
３．ラベルマップＬにおいて接続コンポーネントラベリングを実行する。
４．各接続されたコンポーネントｍに対する底部画素の垂直位置ｙmを決定する。
５．底部から上部に列ごとにラベルマップＬをスキャンし、深度マップＤを計算する。
Ｌ(ｘ，ｙ)＝'地面'である場合、Ｄ(ｘ,ｙ)＝２５５−ｓ.ｙ
Ｌ(ｘ，ｙ)＝'建物'又は'他'である場合、Ｄ(ｘ,ｙ)＝２５５−ｙm.ｓ
Ｌ(ｘ，ｙ)＝'空'である場合、Ｄ(ｘ,ｙ)＝０
【００２７】
図１は、単純なメニュー構造を示す。しかしながら、画像から深度マップへの変換をより一般的に適用可能にするために、ヒエラルキが、図２に示されるように使用されてもよい。図２に示されるヒエラルキが、単に典型的であることに注意する。本発明によって深度マップを生成する場合に使用されることができる代替的なヒエラルキは、Computer Vision, 2007. ICCV 2007, 14-21 Oct. 2007に発表されたNedovic, V.他による"In Depth Information by Stage Classification"に示されている。
【００２８】
前記ユーザは、この場合、第一に、前記ピクチャの一般的な性質に関して質問される。前記ピクチャが、人の接写を含む場合、前記ユーザは、異なるメニュー構造を見る。前記ラベルマップの解釈は、異なることもできる。例えば、人は、前景にいると推定されることができ、前記ピクチャの大部分を占める顔に対して、詳細な深度モデルが、割り当てられることができる。ヒエラルキは、'文脈依存'メニュー及びラベルマップから深度マップへの変換を可能にする。表示装置１２は、複数の画像タイプ２２を表示し、フォトフレーム１０は、画像１４を表示された画像タイプ２２の１つとして規定するユーザ入力を受け取り、規定された画像タイプ２２によって表示されるべきラベル１８が選択される。これは、処理される画像１４に関するタイプ１８の意味的選択において前記ユーザを援助する。
【００２９】
図３は、発生するデータフローを示し、ここで画像１４は、ラベルマップ２４に変換され、ラベルマップ２４は、この場合、深度マップ２６に変換される。ラベルマップ２４の作成において、ラベル１８及びユーザ入力２８は、ラベルマップ２４を生成するのに使用される。上で論じられたように、ラベル１８は、事前に規定され、前記ユーザは、画像１４内の特定の場所に関して質問される場合に提示されるリストからラベル１８を選択する。ラベルマップ２４から深度マップ２６への変換は、例えば上で与えられた所定のスキーム３０による。
【００３０】
図３に要約されたプロセスの主な利点は、第一に、前記ユーザが、深度情報を与える必要がないことであり、第二に、元の画像１４内の如何なる領域も選択又は規定する必要がないことである。これは、前記ユーザのタスクを大幅に容易にし、ラベル１８及びスキーム３０と組み合わせて、元の画像１４に対して、実用的な深度マップを生成するのに十分である。これは、深度マップ２６が、フォトフレーム１０のような、非常に単純なユーザインタフェースを持ち、（ペンのような）リアル又は（マウスカーソルのような）バーチャルのいずれでもポインティングデバイスをサポートしない、非常に単純な装置を使用して作成されることができることをも意味する。
【００３１】
深度マップ２６を作成するプロセスは、事実上、前記ユーザには見えず、指標２０の現在の場所に対して、前記ユーザがラベル選択を行うときに、バックグラウンドで発生する。分類アルゴリズムは、同様に前記ユーザには見えず、結果として生じる分類は、画像１４において前記ユーザに示される必要がない（より知識豊富なユーザが画像１４上に重ねられた前記分類の結果を見ることを望む場合には可能である）。
【００３２】
図３は、前記プロセスを一連の段階として示すが、実際には、前記ラベルマップ及び前記深度マップは、並列に構成されることができる。これは、前記ユーザが指標２０の現在の場所に対するラベル選択を行うとすぐに、ラベルマップ２４がその変化を反映し、深度マップ２６が現在の情報だけで生成されることができることを意味する。一度前記ユーザが、新しい場所に対する他のラベル選択を行うと、ラベルマップ２４及び深度マップ２６は、更新される。表示装置１２が３Ｄ表示装置である場合、前記ユーザが前記画像内の異なる領域について選択を行う間に、深度マップ２６が構成されるので、装置１２により表示される画像１４は、３Ｄでレンダリングされることができる。このようにして、前記ユーザは、一度最終結果に満足すると、前記プロセスを終了することができる。
【００３３】
深度マップ２６を生成する全体的なプロセスは、図４に要約される。画像１４に対する深度マップ２６を生成する方法は、ステップＳ１において、画像１４を表示し、所定のオーバセグメンテーションアルゴリズムによって画像１４をセグメント化することを有する。オーバセグメンテーションを生じる適切なセグメンテーションアルゴリズムは、例えば色又は縁検出に依存して、使用されることができる。前記アルゴリズムは、有利には、画像１４をオーバセグメント化するように調整されるべきであり、これは、最良の結果を生じることが分かっている。
【００３４】
ステップＳ２において、画像１４の第１の場所に対応する画像１４上の指標の表示及び複数のラベル１８の表示が実行される。指標２０でマークされた第１の場所は、例えば単純に画像１４の中心の場所を選択することにより、又は画素サイズにより最大の領域の中心場所を選択することにより、自動的に決定される。マークされるべき前記第１の場所を選択する他の方法は、使用されることができる。
【００３５】
このプロセスの次の段階は、前記ユーザに表示される複数のラベル１８の１つを選択するユーザ入力２８を受け取り、第１のセグメントに対するラベル１８を選択されたラベル１８に設定することを有するステップＳ３である。前記ユーザは、指標２０の場所における画像１４の現在の部分を識別するように質問される。前記ユーザは、これが画像１４のセグメンテーション内の領域に関することに気づかない。前記ユーザは、単純に、ポインタ２０を見て、例えば、"空"ボタン１７を押す。これは、適切なラベル１８が当該領域に付けられる結果となる。
【００３６】
前記ラベルのこの設定の後に、前記方法は、前記ユーザによる前記ラベルの選択が終了すべきであるかどうかを確かめる。回答が否である場合、前記方法はステップＳ２に戻り、画像１４の異なるセグメントに対応する画像１４上の指標２０を表示し、複数のラベル１８の１つを選択するユーザ入力２８を受け取り、前記異なる領域に対するラベル１８を選択されたラベル１８に設定する。前記指標の表示、前記ユーザ入力の受け取り、及び前記選択されたラベルへの異なる領域に対するラベルの設定を繰り返すこのプロセスは、所定の条件／事象が生じるまで続行される。これは、前記プロセスのこの部分を終了する。前記所定の事象は、単純に前記ユーザが前記プロセスを終了することであってもよく、又は異なる領域についての特定数の質問が回答されたこと、又は十分な領域が最終結果について合理的に確実であると識別されていること等でありうる。
【００３７】
ステップＳ４において、前記プロセスは、ラベルマップ２４を深度マップ２６に変換する所定のスキーム３０にアクセスすることにより続行され、ユーザ入力２８に従って設定されたラベル１８及び所定のスキーム３０によって深度マップ２６を生成することを有するステップＳ５において終了する。このようにして、深度マップ２６は、生成される。前記フローチャートは、ステップＳ３の後に質問される終了質問を示すが、実際には、ステップＳ４及びＳ５は、直接的にステップＳ３に続くことができ、ループ繰り返しがステップＳ５の後に実行され、ステップＳ２に戻ることができる。このようにして、反復的深度マップ２６が生成され、より熟練したユーザは、指標２０の新しい場所に関する他の質問に回答するかどうかを決定する前に深度マップ２６を見直すことができる。
【００３８】
ステップＳ１におけるオーバセグメンテーションアルゴリズムの使用は、前記プロセスの好適な実施例であるが、必須のステップではない。オーバセグメンテーションが使用されない場合、単一の画素、又は可変サイズの円形領域が選択されることができる。前記情報は、この場合、画素近傍を使用してこの領域から広げられることができる。例えば、前記領域は、円等である場合に指標２０によりマークされた正確な領域であることができ、又は指標２０を囲む特定数の画素であってもよい。一度前記ユーザがラベル選択を行うと、当該ラベル１８は、当該点又は領域に付けられ、上述のように、他の領域に対して外に追加されることができる。
【００３９】
所定の信頼レベルを改良するのに使用されるユーザ入力を用いて、画像１４内の異なるラベル１８に対する信頼レベルを事前に追加する方法として、この処理に異なる種類の事前情報を含めることが可能である。例えば、色等に基づいてラベルに初期（事前）信頼性を与えることが可能である（例えば、前記画像の上部の青は、おそらく空であり、肌の色合いの部分は、おそらく人間に属するなど）。
【００４０】
上記記載は、画像１４、ラベルマップ２４及び深度マップ２６の処理の全てがプロセッサ１５の制御下で１つの場所で行われる、フォトフレームの使用を記載しているが、図５は、前記システムの代替的な実施を示す。この図の実施例は、インターネットのようなネットワーク３４を介して、サーバ３２により実行されるウェブサービスに接続される従来のデスクトップコンピュータのようなクライアント装置１０を使用する。この構成は、インターネット３４に接続されたコンピュータが、非常に幅広く利用可能であり、多くの家庭に既に存在するので、ユーザが、特別なハードウェアを購入する必要なしに、画像１４から深度マップ２６を生成するサービスにアクセスすることを可能にする。
【００４１】
この実施例において、前記画像の処理は、もっぱらローカルプロセッサ１５の制御下で行われることができるか、又はプロセッサ１５とサーバ３２との間に分散された処理機能により実行されることができる。深度マップ作成サービスにアクセスするために、前記ユーザは、従来の形でウェブサイトに接続し、画像１４をサーバ３２上で実行されるウェブサービスにアップロードするか、又は深度マップ２６を生成するプロセスを完了するためにサーバ３２からクライアントプログラムをダウンロードする。前記ユーザは、上に記載されたのと同じように画像１４の部分に割り当てられるべきラベル１８に関する質問と相互作用する。一度前記ラベル質問を終了されると、深度マップ２６が生成される。
【００４２】
上記記載において、画像１４上に表示される指標２０の場所は、プロセッサ１５により制御される。しかしながら、前記システムは、指標２０の場所のユーザ選択も、プロセッサ１５の決定に加えて、行われることができるように構成されることができる。現在のシステムの１つの利点は、ポインティング又はカーソル機能を持たない装置において実施されることができるが、この機能性が図５の実施例のように前記装置上で利用可能である場合に、前記ユーザが、画像１４内の点を示し、当該点に対する意味的な情報を与えることができることである。
【００４３】
図６は、特定の画像１４に対して実行される深度マップ２６を生成するプロセスを示す。この高度に概略的な画像１４は、本発明を単純な形で示すものである。画像１４は、後ろの空とともに、道路の近くの草地における２本の木を有する。図６ａは、色によってセグメント３６にセグメント化された後の画像１４を示す。上で論じたように前記セグメンテーションは、前記ユーザにより見られず、これは、バックグラウンドでプロセッサ１５により実行され、表示されない。実際に、現実の画像に対して、大幅に多数の異なるセグメント３６が、前記セグメンテーションアルゴリズムにより作成される。
【００４４】
この画像１４に対する深度マップ２６を生成するために、次のアクションは、セグメント３６ａに対する指標２０（図示されない）を末端ユーザに表示することである。前記ユーザは、表示されるラベル１８（再び図示されない）から、この特定のセグメントに対するラベル"地面"を選択する。指標２０は、この場合、プロセッサ１５の制御下で新しいセグメント３６に移動され、ラベリングプロセスが続行する。図６ｂは、前記ユーザが異なるセグメント３６をラベルづけすることから生じるラベルマップ２４を示す。ラベルマップ２４は、空、地面及び２つの別個の対象である４つの異なる領域からなる。
【００４５】
一度前記ラベリングプロセスが終了すると、深度マップ２６は、ラベルマップ２４及び規定されたスキーム３０から生成される。スキームは、上に記載されている。最も単純な形では、０ないし２５５の深度値（相対的な深度スケール）は、ここで、元の画像１４の各画素に割り当てられる。空の画素は、最も深い深度（０）に設定され、地面を作り上げる画素は、ある範囲の値を与えられ、画素の各行は、同じ深度値を持つ。画像１４の（底部における）最も下の行は、２５５の値を持ち、上の行の値は、０にスケールダウンされる。各対象内の全ての画素は、（事実上、地面に触れる）最も下のｙ座標における地面に対する画素の行と同等である同じ深度値を持つ。
【００４６】
このようにして、図６ｃに示される深度マップ２６が生成される。深度マップ２６は、前記元の画像内の画素の各々に対して０ないし２５５の範囲の値を持ち、これらは、意味のある形で、裸眼で観察されることができる深度マップを提供するために、グレイスケール値で表されることができる。以上のように、前記地面は、スケーリングされた深度値を持ち、前記個別の対象は、相対的なスケール０ないし２５５内の特定の距離に前記対象を配置する一定の深度値を持つ。
【００４７】
上で提示されたアルゴリズムは、ラベリングを深度マップに変換するのに有利に使用されることができる。本発明は、参照によりここに組み込まれるProc. SPIE, Vol.5302, 95 (2004)に発表されたS. Battiato他による"Depth map generation by image classification"に開示される方法のような、深度マップを生成する他の方法で有利に使用されることができる。この特定の論文は、画像のセグメンテーションがどのように深度マップを生成するのに使用されることができるかを開示している。本発明は、前記セグメンテーションの後に続くラベリングを向上するのに有利に使用されることができ、これにより改良された深度マップを提供することができる。
【００４８】
本発明による深度マップを生成するシステムにおいて、前記ユーザ入力は、様々な形で提供されてもよく、ボタン及び／又はタッチスクリーンの使用に限定される必要がない。これに関して、特にフォトフレームを使用する場合に、前記装置の前部のタッチセンサインタフェースを使用することは、望ましくない。前記装置の前部のタッチセンサ入力手段の使用は、指紋及び汚れが表示面に残される結果となる。タッチセンサ入力手段に対する単純な代替物は、前記表示装置／フォトフレームに一体化されることができる静電近接検出器により提供される。代替的には、タッチセンサ入力装置は、前記表示装置の側面に設けられる。
【００４９】
上記記載が、明確性のために、異なる機能ユニット及びプロセッサを参照して本発明の実施例を記載していると理解される。しかしながら、異なる機能ユニット又はプロセッサ間の機能性の如何なる適切な分散も本発明を損なうことなしに使用されることができることは明らかである。例えば、別々のプロセッサ又はコントローラにより実行されるように示される機能性は、同じプロセッサ又はコントローラにより実行されてもよい。したがって、特定の機能ユニットに対する言及は、厳密な論理的又は物理的構造又は組織を示す以外の記載された機能性を提供する適切な手段に対する言及として見られるだけであるべきである。
【００５０】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む適切な形で実施されることができる。本発明は、オプションとして、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実施されることができる。本発明の一実施例の要素及びコンポーネントは、物理的に、機能的に及び論理的に如何なる適切な形でも実施されることができる。実際に、機能性は、単一のユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実施されてもよい。このように、本発明は、単一のユニットにおいて実施されてもよく、又は異なるユニット及びプロセッサ間で物理的に及び機能的に分散されてもよい。
【００５１】
本発明は、幾つかの実施例に関連して記載されているが、ここに記載された特定の形式に限定されることは意図されない。むしろ、本発明の範囲は、添付の請求項によってのみ限定される。加えて、フィーチャは、特定の実施例に関連して記載されているようだが、当業者は、記載された実施例の様々なフィーチャが本発明によって組み合わせられることができることを認識する。請求項において、用語有するは、他の要素又はステップの存在を除外しない。
【００５２】
更に、個別にリストされているが、複数の手段、要素又は方法ステップは、例えば単一のユニット又はプロセッサにより実施されてもよい。加えて、個別のフィーチャは、異なる請求項に含まれることができるが、これらは、場合により、有利に組み合わせられることができ、異なる請求項における包含は、フィーチャの組み合わせが実行可能及び／又は有利ではないことを意味しない。また、請求項の１つのカテゴリにおけるフィーチャの包含は、このカテゴリへの限定を意味せず、むしろ前記フィーチャが必要に応じて他の請求項カテゴリに同等に利用可能であることを示す。更に、請求項内のフィーチャの順序は、前記フィーチャが機能しなくてはならない特定の順序を意味せず、特に、方法請求項内の個別のステップの順序は、前記ステップがこの順序で実行されなくてはならないことを意味しない。むしろ、前記ステップは、如何なる適切な順序で実行されてもよい。加えて、単数形は、複数を除外しない。したがって、"１つの"（"a"又は"an"）、"第１の"、"第２の"等は、複数を除外しない。請求項内の参照符号は、単に明確化する例として与えられ、いかなる形にも請求項の範囲を限定すると解釈されるべきでない。
【図１】
0005404806.tif 000003
【図２】
0005404806.tif 000004
【図３】
0005404806.tif 000005
【図４】
0005404806.tif 000006
【図５】
0005404806.tif 000007
【図６ａ】
0005404806.tif 000008
【図６ｂ】
0005404806.tif 000009
【図６ｃ】
0005404806.tif 000010