(57)【要約】      （修正有）【課題】２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法および装置を提供する。【解決手段】深さマップ生成装置は、ダウンスケーリング部１１０と、エッジ感知部１２０と、ライン追跡部１３０と、深さ生成部１４０と、アップスケーリングおよびスムージング部１５０部と、側面移動部１６０とを備え、入力映像から計算されたエッジマップおよびライントレーシング方法に基づいて深さを復元し、深さ情報を用いてステレオ映像を生成する。【選択図】図１
2010079899.tif 000002
【特許請求の範囲】
【請求項１】
入力イメージの決定されたエッジを用いてエッジマップを生成するステップと、
前記エッジマップで予め設定された条件を満たすエッジを抽出して入力された初期ラインマップにマッピングし、前記抽出されたエッジの入力された初期ラインマッピングによって生成されるラインを含むラインマップを生成するステップと、
前記ラインマップのラインを用いて順次的な深さ値を有する深さマップを生成するステップと、
を含むことを特徴とする２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項２】
前記入力イメージ上のエッジを用いてエッジマップを生成するステップは、
前記入力イメージのピクセルの検出された輝度差によるエッジを抽出してエッジマップを生成するステップ、
を含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項３】
前記エッジマップで予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、前記マッピングによって生成されるラインを含むラインマップを生成するステップは、
前記エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、前記予め設定された値よりも強いエッジを抽出して入力ラインマップにマッピングすることによって生成されるラインを含むラインマップを生成するステップ、
を含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項４】
前記ラインマップのラインを用いて順次的な深さ値を含む深さマップを生成するステップは、
前記ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成するステップ、
であることを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項５】
前記間領域は、
前記ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することを特徴とする請求項４に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項６】
前記ラインは、
相互交差されず、予め設定された勾配値を超過しないことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項７】
前記マッピングによって生成されるラインを含むラインマップを生成するステップは、
前記ラインが垂直方向に急変することを防ぎ、前記エッジマップに最も近いラインを選択するために平滑度制約を適用するステップ、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項８】
前記マッピングによって生成されるラインを含むラインマップを生成するステップは、
前記ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約を適用するステップ、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項９】
前記入力イメージ上のエッジを用いてエッジマップを生成するステップは、
前記入力イメージをダウンスケーリングするステップ、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項１０】
前記深さマップをアップスケーリングするステップと、
前記深さマップをスムージングするステップと、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項１１】
前記深さマップの各ピクセルの位置の深さ値に基づいて側面移動させ、前記側面移動に基づいてステレオ映像を生成するステップ、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項１２】
前記深さマップを用いて画像深さキューを生成するステップと、
前記画像深さキューを用いて前記深さマップを再生成するステップと、
をさらに含むことを特徴とする請求項１に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法。
【請求項１３】
入力イメージの決定されたエッジを用いてエッジマップを生成するエッジ感知部と、
前記エッジマップで予め設定された条件を満たすエッジを抽出して入力された初期ラインマップにマッピングし、前記抽出されたエッジの入力された初期ラインマッピングによって生成されるラインを含むラインマップを生成するライン追跡部と、
前記ラインマップのラインを用いて順次的な深さ値を含む深さマップを生成する深さ生成部と、
を備えることを特徴とする２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項１４】
前記エッジ感知部は、
前記入力イメージのピクセルの輝度差によるエッジを抽出してエッジマップを生成することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項１５】
前記ライン追跡部は、
前記エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、前記マッピングによって生成されるラインを含むラインマップを生成することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項１６】
前記深さ生成部は、
前記ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項１７】
前記間領域は、
前記ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することを特徴とする請求項１６に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項１８】
前記ラインは、
相互交差されず、予め設定された勾配値を超過しないことを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項１９】
前記ライン追跡部は、
前記ラインが垂直方向に急変することを防ぎ、前記エッジマップに最も近いラインを選択するために平滑度制約を適用することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項２０】
前記ライン追跡部は、
前記ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約を適用することを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項２１】
前記入力イメージをダウンスケーリングするダウンスケーリング部、
をさらに備えることを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項２２】
前記深さマップをアップスケーリングするアップスケーリング部と、
前記深さマップをスムージングするスムージング部と、
をさらに備えることを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項２３】
前記深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成する側面移動部、
をさらに備えることを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【請求項２４】
前記深さマップを用いて画像深さキューを生成する画像深さキュー生成部と、
前記画像深さキューを用いて前記深さマップを再生成する深さマップ再生成部と、
をさらに備えることを特徴とする請求項１３に記載の２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深さマップ生成を用いた変換方法および装置に関し、より詳細には、２次元映像の３次元映像変換のための深さマップ生成方法および装置に関する。
【背景技術】
【０００２】
最近では３次元ディスプレイ装置の発展に伴い、一般視聴者に既存の映像よりもより現実的な立体感と臨場感がある３次元映像を提供できるようになり、これによって３次元コンテンツに対する需要が増加し続けている。
【０００３】
ステレオ３次元ディスプレイ（Ｓｔｅｒｅｏｓｃｏｐｉｃ  ３Ｄ  Ｄｉｓｐｌａｙ）の商用化と３次元映画などのような３次元コンテンツサービスの増加趨勢により、ユーザの経験欲求は高まっている。しかしながら、現在、３次元ディスプレイが市場で訴求力を有するための最大の問題は、３次元コンテンツ（３Ｄ  Ｃｏｎｔｅｎｔｓ）の不足にある。一般的に、３次元映像を提供するためには様々な時点の２次元映像が必要であったが、このような方式では過去に製作された単一時点の２次元映像を活用することができなかった。
【０００４】
したがって、２次元イメージ／ビデオ（２Ｄ  Ｉｍａｇｅ／Ｖｉｄｅｏ）をステレオ（Ｓｔｅｒｅｏ）映像に変換してステレオ３次元ディスプレイでレンダリングするための技術が切に求められている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した問題点を解決するために案出されたものであって、深さマップ生成方法および装置をステレオ３次元テレビ（Ｓｔｅｒｅｏｓｃｏｐｉｃ  ３Ｄ  ＴＶ）に適用することができる深さマップ生成方法および装置のような変換装置および方法を提供することを目的とする。
【０００６】
また、本発明は、予め製作された２次元映像を用いて多様な３次元映像コンテンツを提供することを他の目的とする。
【０００７】
さらに、本発明は、２次元映像の３次元映像変換チップ（２Ｄ−ｔｏ−３Ｄ  ｃｏｎｖｅｒｓｉｏｎ  ｃｈｉｐ）またはソフトウェア（Ｓｏｆｔｗａｒｅ）に適用し、ステレオ３次元ディスプレイ／テレビ、ＤＶＤ／ＢＤプレーヤなどの多様なディスプレイおよび映像再生装置への活用を可能にすることをさらに他の目的とする。
【課題を解決するための手段】
【０００８】
上述した問題点を解決するために、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成を用いた変換方法は、入力イメージの決定されたエッジ（ｅｄｇｅ）を用いてエッジマップ（ｅｄｇｅ  ｍａｐ）を生成するステップと、前記エッジマップで予め設定された条件を満たすエッジを抽出して入力された初期ラインマップ（Ｉｎｉｔｉａｌ  ｌｉｎｅ  ｍａｐ）にマッピングし、前記抽出されたエッジの入力された初期ラインマッピングによって生成されるラインを含むラインマップ（ｌｉｎｅ  ｍａｐ）を生成するステップと、前記ラインマップのラインを用いて順次的な深さ（ｄｅｐｔｈ）値を有する深さマップ（ｄｅｐｔｈ  ｍａｐ）を生成するステップとを含む。
【０００９】
このとき、前記入力イメージ上のエッジを用いてエッジマップを生成するステップは、前記入力イメージのピクセルの検出された輝度差によるエッジを抽出してエッジマップを生成するステップであり得る。
【００１０】
このとき、前記エッジマップから予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、前記マッピングによって生成されるラインを含むラインマップを生成するステップは、前記エッジマップの一側境界（ｂｏｒｄｅｒ）からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、前記マッピングによって生成されるラインを含むラインマップを生成するステップであり得る。
【００１１】
このとき、前記ラインマップのラインを用いて順次的な深さ値を含む深さマップを生成するステップは、前記ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成するステップであり得る。
【００１２】
このとき、前記間領域は、前記ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。
【００１３】
このとき、前記ラインは、相互交差されず、予め設定された勾配値を超過しない場合がある。
【００１４】
このとき、前記マッピングによって生成されるラインを含むラインマップを生成するステップは、前記ラインが垂直方向（ｖｅｒｔｉｃａｌ  ｄｉｒｅｃｔｉｏｎ）に急変することを防ぎ、前記エッジマップに最も近いラインを選択するために平滑度制約（Ｓｍｏｏｔｈｎｅｓｓ  ｃｏｎｓｔｒａｉｎｔ）を適用するステップをさらに含むことができる。
【００１５】
このとき、前記マッピングによって生成されるラインを含むラインマップを生成するステップは、前記ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約（Ｅｌａｓｔｉｃｉｔｙ  ｃｏｎｓｔｒａｉｎｔ）を適用するステップであり得る。
【００１６】
このとき、前記入力イメージ上のエッジを用いてエッジマップを生成するステップは、前記入力イメージをダウンスケーリング（ｄｏｗｎ  ｓｃａｌｉｎｇ）するステップをさらに含むことができる。
【００１７】
このとき、前記深さマップをアップスケーリング（ｕｐ  ｓｃａｌｉｎｇ）するステップと、前記深さマップをスムージング（ｓｍｏｏｔｈｉｎｇ）するステップとをさらに含むことができる。
【００１８】
このとき、前記深さマップの各ピクセルの位置の深さ値に基づいて側面移動（ｌａｔｅｒａｌ  ｓｈｉｆｔｉｎｇ）させ、前記側面移動に基づいてステレオ映像（ｓｔｅｒｅｏ  ｉｍａｇｅ）を生成するステップをさらに含むことができる。
【００１９】
このとき、前記深さマップを用いて画像深さキュー（ｐｉｃｔｏｒｉａｌ  ｄｅｐｔｈ  ｃｕｅ）を生成するステップと、前記画像深さキューを用いて前記深さマップを再生成するステップとをさらに含むことができる。
【００２０】
本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成を用いた変換装置は、入力イメージの決定されたエッジを用いてエッジマップを生成するエッジ感知部と、前記エッジマップで予め設定された条件を満たすエッジを抽出して入力された初期ラインマップにマッピングし、前記抽出されたエッジの入力された初期ラインマッピングによって生成されるラインを含むラインマップを生成する深さ生成部とを備える。
【００２１】
このとき、前記エッジ感知部は、前記入力イメージのピクセルの輝度差によるエッジを抽出してエッジマップを生成することができる。
【００２２】
このとき、前記ライン追跡部は、前記エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出して初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成することができる。
【００２３】
このとき、前記深さ生成部は、前記ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成することができる。
【００２４】
このとき、前記の間領域は、前記ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。
【００２５】
このとき、前記ラインは、相互交差されず、予め設定された勾配値を超過しない場合がある。
【００２６】
このとき、前記ライン追跡部は、前記ラインが垂直方向に急変することを防ぎ、前記エッジマップに最も近いラインを選択するために平滑度制約を適用することができる。
【００２７】
このとき、前記ライン追跡部は、前記ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約を適用することができる。
【００２８】
このとき、前記入力イメージをダウンスケーリングするダウンスケーリング部をさらに備えることができる。
【００２９】
このとき、前記深さマップをアップスケーリングするアップスケーリング部と、前記深さマップをスムージングするスムージング部とをさらに備えることができる。
【００３０】
このとき、前記深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成する側面移動部をさらに備えることができる。
【００３１】
このとき、前記深さマップを用いて画像深さキューを生成する画像深さキュー生成部と、前記画像深さキューを用いて前記深さマップを再生成する深さマップ再生成部とをさらに備えることができる。
【発明の効果】
【００３２】
本発明によれば、深さマップ生成方法および装置をステレオ３次元テレビに適用し、入力２次元映像をステレオ３次元映像に変換してディスプレイすることができる。
【００３３】
また、本発明によれば、予め製作された２次元映像を用いて多様な３次元映像コンテンツを提供することができる。
【００３４】
さらに、本発明によれば、２次元映像の３次元映像変換チップまたはソフトウェアに適用し、ステレオ３次元ディスプレイ／テレビ、ＤＶＤ／ＢＤプレーヤなどの多様なディスプレイおよび映像再生装置への活用が可能である。
【発明を実施するための形態】
【００３５】
以下、添付の図面および添付の図面に記載された内容を参照しながら、本発明の実施の形態について詳細に説明する。
【００３６】
図１は、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成装置を示す構成図である。図１を参照しながら、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成装置について説明する。このとき、深さマップ生成装置は、映像変換に基づいて３Ｄ映像を出力する表示装置とすることができる。
【００３７】
図１に示すように、２次元映像の３次元映像変換のための深さマップ生成装置は、ダウンスケーリング部１１０と、エッジ感知部１２０と、ライン追跡部１３０と、深さ生成部１４０と、アップスケーリングおよびスムージング部１５０と、側面移動部１６０とを備える。
【００３８】
エッジ感知部１２０は、入力イメージの感知されたエッジを用いてエッジマップを生成する。
【００３９】
このとき、エッジ感知部１２０は、入力イメージのピクセルの輝度差によるエッジを抽出してエッジマップを生成することができる。
【００４０】
ダウンスケーリング部１１０は、入力イメージをダウンスケーリングすることができる。
【００４１】
ライン追跡部１３０は、エッジマップで予め設定された値よりも強いエッジを抽出して入力された初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成することができる。
【００４２】
このとき、ライン追跡部１３０は、エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出することができる。ライン追跡部１３０は、抽出されたエッジを初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成することができる。
【００４３】
ライン追跡部１３０は、ラインが垂直方向に急変することを防ぎ、エッジマップに最も近いラインを選択するために平滑度制約を適用することができる。
【００４４】
また、ライン追跡部１３０は、ラインのうちの１つのラインが予め設定された値よりも垂直方向に急変することを制限するための弾性制約を適用することができる。
【００４５】
深さ生成部１４０は、ラインマップのラインを用いて順次的な深さ値を含む深さマップを生成することができる。
【００４６】
深さ生成部１４０は、ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成することができる。
【００４７】
このとき、間領域は、ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。
【００４８】
また、一実施形態において、ラインは相互交差されず、予め設定された勾配値を超過しない。
【００４９】
また、本発明の実施形態によれば、深さ生成部１４０で生成された深さマップをアップスケーリングして深さマップをスムージングするアップスケーリングおよびスムージング部１５０をさらに備えることができる。このとき、アップスケーリングおよびスムージング部１５０は、深さマップをアップスケーリングするアップスケーリング部（図示せず）と、深さマップをスムージングするスムージング部（図示せず）とにそれぞれ分離して構成することができる。
【００５０】
側面移動部１５０は、深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成することができる。
【００５１】
また、本発明の実施形態によれば、深さマップを用いて画像深さキューを生成する画像深さキュー生成部（図示せず）と、画像深さキューを用いて深さマップを再生成する深さマップ再生成部とをさらに備えることができる。
【００５２】
図２は、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法を説明するためのフローチャートである。図２を参照しながら、本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法について説明する。
【００５３】
本発明の実施形態に係る深さマップ生成方法は、大きく、初期深さ推定ステップＳ２１０と、ステレオイメージ生成ステップＳＳ２２０とで構成される。
【００５４】
本発明の実施形態に係る深さマップ生成装置は、入力されるイメージ（または映像）をダウンスケーリングすることができる（Ｓ２１１）。
【００５５】
このとき、入力されるイメージ（または映像）をダウンスケーリングするステップは、アルゴリズムの複雑性（ｃｏｍｐｌｅｘｉｔｙ）を減らすためのものである。
【００５６】
深さマップ生成装置は、入力されるイメージ（または映像）上のエッジを感知し、感知されたエッジを用いてエッジマップを生成する（Ｓ２１２）。
【００５７】
このとき、深さマップ生成装置は、入力イメージのピクセルの輝度（ｌｕｍｉｎａｎｃｅ）差によるエッジを抽出してエッジマップを生成することができる。
【００５８】
深さマップ生成装置は、エッジマップで予め設定された値よりも強いエッジを抽出して初期ラインマップの入力を受ける。深さマップ生成装置は、抽出されたエッジと入力された初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成する（Ｓ２１３）。
【００５９】
このとき、深さマップ生成装置は、エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出し、抽出されたエッジを初期ラインマップにマッピングすることができる。
【００６０】
例えば、エッジの抽出時にエッジマップの左側境界（ｌｅｆｔ  ｂｏｒｄｅｒ）から右側境界（ｒｉｇｈｔ  ｂｏｒｄｅｒ）側に強いエッジ位置を追跡（ｔｒａｃｅ）してラインマップを生成することができる。
【００６１】
深さマップ生成装置は、ラインマップのラインを用いて順次的な深さ値を含む深さマップを生成する（Ｓ２１４）。
【００６２】
このとき、深さマップ生成装置は、ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって深さマップを生成することができる。間領域は、ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。
【００６３】
例えば、各ラインとラインの間に位置した領域に対して同じ深さ値を有するようにしながら、新しいラインの出現時に深さ値を予め設定された値だけ増加させる。すなわち、最下位に位置したラインとラインの間の領域には深さ値「０」が割り当てられ、最上位に位置したラインとラインの間の領域は最大の深さ値（例えば「５０」）を有することができる。
【００６４】
この後、深さマップ生成装置は、深さマップをアップスケーリングしたり深さマップをスムージングしたりできる（Ｓ２２１）。また、３次元映像をより効果的に実現するために、上述した方法以外の多様な後処理（ｐｏｓｔ  ｐｒｏｃｅｓｓｉｎｇ）方法を適用することができる。
【００６５】
この後、深さマップ生成装置は、深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成（Ｓ２２２）する。
【００６６】
したがって、本発明の実施形態によれば、入力２次元映像をステレオ３次元映像に変換してディスプレイするため、予め製作された２次元映像を用いて多様な３次元映像コンテンツを提供することができる。
【００６７】
また、本発明の実施形態によれば、２次元映像の３次元映像変換チップまたはソフトウェアに適用し、ステレオ３次元ディスプレイ／テレビ、ＤＶＤ／ＢＤプレーヤなどの多様なディスプレイおよび映像再生装置への活用が可能である。
【００６８】
図３は、本発明の実施形態に係る深さマップの生成方法を説明するための図である。また、図４は、本発明の実施形態に係る深さマップの生成方法を説明するためのグラフである。
【００６９】
図３は、初期ラインマップと初期ラインマップに対する深さマップ、またラインマップとラインマップによる深さマップを示している。
【００７０】
初期ラインマップを用いて各ラインとラインの間に位置した領域に対して同じ深さ値を有するようにしながら、新しいラインの出現時に深さ値を予め設定された値だけ増加させれば、初期深さマップ３２０と同じ形態の深さマップが生成される。
【００７１】
したがって、平行なＮ個のラインを含む初期ラインマップ３１０を用いて入力映像の特性に最適に適合するラインマップ３３０を生成し、生成されたラインマップ３３０に基づいて深さマップ３４０を生成することができる。
【００７２】
このとき、図４に示すように、ラインは相互交差されず、予め設定された勾配値を超過しない。
【００７３】
また、図４に示すように、生成された深さマップ３４０は、各ラインとラインの間に位置した領域が同じ深さ値を有し、新しいラインが出現するたびに一定の値だけ深さ値が増加するように構成される。すなわち、図４に示すように、５つのラインを有するラインマップの場合には、５つのラインによって生成される６つの深さを有する深さマップが生成されるようになる。
【００７４】
図５は、本発明のさらに他の実施形態に係る深さマップの生成方法を説明するための図である。また、図６は、本発明の実施形態に係るライントレーシング（Ｌｉｎｅ  ｔｒａｃｉｎｇ）方法を説明するためのグラフである。さらに、図７は、本発明の実施形態に係るライントレーシング方法を説明するための図である。
【００７５】
深さマップ生成装置は、入力イメージ５１０上のエッジを用いてエッジマップ５２０を生成する。
【００７６】
深さマップ生成装置は、エッジマップ５２０で予め設定された値よりも強いエッジを抽出して入力された初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップ５３０を生成する。
【００７７】
この後、深さマップ生成装置は、ラインマップ５３０のラインを用いて順次的な深さ値を含む深さマップ５４０を生成する。
【００７８】
このとき、本発明に係る深さマップ生成装置は、強いエッジ位置を追跡し、ラインマップを生成時には次のような様々な種類の規則を適用することができる。
【００７９】
すなわち、生成されるラインの個数は一定であり、ラインは相互間に交差されてはならず、どの地点においてもラインの勾配値は予め設定された勾配値よりも小さくなければならず、ラインはエッジマップの一側境界からさらに他の一側境界の方向に生成され、ラインによって区分される間領域の深さ値は均一に構成することができる。
【００８０】
図６に示すように、各ラインの初期左側地点６１０（ｉｎｉｔｉａｌ  ｌｅｆｔ  ｐｏｉｎｔ）から開始して右側境界に到達するまで、次の右側地点６２０（ｒｉｇｈｔ  ｐｏｉｎｔ）を選択することにおいて、１つ目にはエッジが強く、２つ目にはｙ軸方向に変化度スムーズするようにしながら、３つ目には初期ラインから多く逸脱しないようにする、最適のベクトルｙを選択する。
【００８１】
したがって、本発明の実施形態に係る深さマップ生成装置は、ライントレーシング時に最適な次のピクセルを追跡することができる。
【００８２】
また、より最適なライン追跡（ｏｐｔｉｍａｌ  ｌｉｎｅ  ｔｒａｃｅ）のために、次のような制約を適用することができる。
【００８３】
このような制約には、強いエッジ（ｓｔｒｏｎｇ  ｅｄｇｅ）を追跡するためのライン追跡制約（ｌｉｎｅ  ｔｒａｃｅ  ｃｏｎｓｔｒａｉｎｔ）、ラインが垂直方向に急変することを防ぐ（ｐｅｎａｌｉｚｅ）のための平滑度制約（ｓｍｏｏｔｈｎｅｓｓ  ｃｏｎｓｔｒａｉｎｔ）、さらに図７に示すように、あるライン７１０において垂直方向の位置７２０、７３０、７４０に多くの量の変化を防ぐために、開始点である左側境界から極めて離隔する位置を避ける弾性制約などを適用することができる。また、上述した制約を数式で示せば、次の式（１）のようになる。
【００８４】
【数１】
2010079899.tif 000003
（ただし、Ｅｌｔ（ｘ，ｙ）はライン追跡制約値、Ｅｓ（ｘ，ｙ）は平滑度制約値、Ｅｅ（ｘ，ｙ）は弾性制約値、またａ、ｂ、ｃはエネルギー量を調節するパラメータ値である。）
【００８５】
このとき、ａ、ｂ、ｃは、入力映像特性とアルゴリズムによってエネルギー（ｅｎｅｒｇｙ）量を調節するパラメータ値である。
【００８６】
したがって、ライントレーシングは、上述した式（１）によって算出されたライン追跡制約値Ｅｌｔ（ｘ，ｙ）、平滑度制約値Ｅｓ（ｘ，ｙ）、弾性制約値Ｅｅ（ｘ，ｙ）に基づき、結果的に次の式（２）のように定形化（ｆｏｒｍｕｌａｔｅ）される。
【００８７】
【数２】
2010079899.tif 000004
（ただし、α、β、γは加重要素（ｗｅｉｇｈｔｉｎｇ  ｆａｃｔｏｒ）である。）
【００８８】
上述したような整形化したライントレーシングのためには、最適化（ｏｐｔｉｍｉｚａｔｉｏｎ）方法が適用される。このような最適化技法としては、グローバル最適化（Ｇｌｏｂａｌ  ｏｐｔｉｍｉｚａｔｉｏｎ）方法およびローカル最適化（Ｌｏｃａｌ  ｏｐｔｉｍｉｚａｔｉｏｎ）を用いることができる。
【００８９】
グローバル最適化方法としては、代表的に模擬焼きなまし（Ｓｉｍｕｌａｔｅｄ  Ａｎｎｅａｌｉｎｇ）方法を用いることができ、模擬焼きなまし方法をライントレーシングに適用すれば多くの場合の数が発生する。したがって、模擬焼きなまし方法の適用過程において多くの繰り返し（ｉｔｅｒａｔｉｏｎ）が必要になり、これは所謂アルゴリズムの高い複雑性（ｈｉｇｈ  ｃｏｍｐｌｅｘｉｔｙ）を意味するようになる。
【００９０】
ローカル最適化方法としては、代表的に、グリディアルゴリズム（Ｇｒｅｅｄｙ  Ａｌｇｏｒｉｔｈｍ）とも呼ばれるＩＣＭ（Ｉｔｅｒａｔｅｄ  Ｃｏｎｄｉｔｉｏｎａｌ  Ｍｏｄｅｓ）方法を用いることができ、ＩＣＭは低い複雑性（ｌｏｗ  ｃｏｍｐｌｅｘｉｔｙ）アルゴリズムに適合する。
【００９１】
図８は、本発明の他の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法を説明するためのフローチャートである。図８を参照しながら、本発明のさらに他の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法について説明する。
【００９２】
本発明の実施形態に係る深さマップ生成方法は、大きく、初期深さ推定ステップＳ８１０と、深さマップ生成ステップＳ８２０と、ステレオイメージ（Ｓｔｅｒｅｏ  Ｉｍａｇｅ）生成ステップＳ８３０とで構成される。
【００９３】
本発明の実施形態に係る深さマップ生成装置は、入力されるイメージ（または映像）をダウンスケーリングすることができる（Ｓ８１１）。
【００９４】
このとき、入力されるイメージ（または映像）をダウンスケーリングするステップは、アルゴリズムの複雑性を減らすためのものである。
【００９５】
深さマップ生成装置は、入力されるイメージ（または映像）上のエッジを感知し、感知されたエッジを用いてエッジマップを生成する（Ｓ８１２）。
【００９６】
このとき、深さマップ生成装置は、前記入力イメージのピクセルの輝度差によるエッジを抽出してエッジマップを生成することができる。
【００９７】
深さマップ生成装置は、エッジマップで予め設定された値よりも強いエッジを抽出して初期ラインマップの入力を受ける。深さマップ生成装置は、抽出されたエッジと入力された初期ラインマップにマッピングし、マッピングによって生成されるラインを含むラインマップを生成する（Ｓ８１３）。
【００９８】
このとき、深さマップ生成装置は、エッジマップの一側境界からさらに他の一側境界の方向に、予め設定された値よりも強いエッジを抽出し、抽出されたエッジを初期ラインマップにマッピングすることができる。
【００９９】
深さマップ生成装置は、ラインマップのラインを用いて順次的な深さ値を含む初期深さマップを生成する（Ｓ８１４）。
【０１００】
このとき、深さマップ生成装置は、ラインと順次的に隣接したラインとの間に位置する間領域の深さ値を順次的に増加または減少させる方法によって初期深さマップ生成することができる。間領域は、ラインマップのそれぞれのラインとラインの間に位置し、同じ深さ値を有することができる。
【０１０１】
この後、初期深さマップを用いて画像深さキューを生成し（Ｓ８２１）、生成された画像深さキューを用いて深さマップを生成することができる（Ｓ８２２）。
【０１０２】
すなわち、この実施形態によれば、ライントレーシングによって求められた深さマップを初期深さ情報として用い、映像分析によって抽出された他の画像深さキューを用いて深さ改善（ｄｅｐｔｈ  ｒｅｆｉｎｅｍｅｎｔ）過程を経た後、最終的に深さマップを得る。
【０１０３】
例えば、映像分析によって線形遠近感（ｌｉｎｅａｒ  ｐｅｒｓｐｅｃｔｉｖｅ）、映像内のオブジェクト間の重畳（ｏｖｅｒｌａｐｐｉｎｇ）、またはテクスチャ勾配（ｔｅｘｔｕｒｅ  ｇｒａｄｉｅｎｔ）情報を抽出し、このような情報をラインマップによって求めた深さ情報に基づいて併合／補完して３次元効果（３Ｄ  ｅｆｆｅｃｔ）を増進させることができる。
【０１０４】
この後、深さマップ生成装置は、深さマップをアップスケーリングしたり深さマップをスムージングすることができる（Ｓ８３１）。また、３次元映像をより効果的に実現するために、上述した方法以外の多様な後処理方法を適用することができる。
【０１０５】
この後、深さマップ生成装置は、深さマップの各ピクセルの位置の深さ値に基づいて側面移動させてステレオ映像を生成する（Ｓ８３２）。
【０１０６】
したがって、このような深さマップ生成方法および装置をステレオ３次元テレビに適用することができる。
【０１０７】
時間順次（Ｔｉｍｅ  ｓｅｑｕｅｎｔｉａｌ）方式のステレオディスプレイを介して左目／右目映像を交互にディスプレイし、観察者（ｖｉｅｗｅｒ）はシャッターガラス（ｓｈｕｔｔｅｒ  ｇｌａｓｓ）を着用して３次元立体映像を視聴することができる。
【０１０８】
また、このような深さマップ生成方法および装置は、時間順次方式だけではなく多様な方式のステレオ３次元テレビに搭載され、入力２次元映像をステレオ３次元映像に変換してディスプレイされるようにできる。
【０１０９】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【図面の簡単な説明】
【０１１０】
【図１】本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成装置を示す構成図である。
【図２】本発明の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法を説明するためのフローチャートである。
【図３】本発明の実施形態に係る深さマップの生成方法を説明するための図である。
【図４】本発明の実施形態に係る深さマップの生成方法を説明するためのグラフである。
【図５】本発明のさらに他の実施形態に係る深さマップの生成方法を説明するための図である。
【図６】本発明の実施形態に係るライントレーシング方法を説明するためのグラフである。
【図７】本発明の実施形態に係るライントレーシング方法を説明するための図である。
【図８】本発明のさらに他の実施形態に係る２次元映像の３次元映像変換のための深さマップ生成方法を説明するためのフローチャートである。
【符号の説明】
【０１１１】
１１０  ダウンスケーリング部
１２０  エッジ感知部
１３０  ライン追跡部
１４０  深さ生成部
１５０  アップスケーリングおよびスムージング部
１６０  側面移動部
【図１】
2010079899.tif 000005
【図２】
2010079899.tif 000006
【図４】
2010079899.tif 000007
【図６】
2010079899.tif 000008
【図８】
2010079899.tif 000009
【図３】
2010079899.tif 000010
【図５】
2010079899.tif 000011
【図７】
2010079899.tif 000012