(57)【要約】      （修正有）【課題】２次元映像の３次元映像への変換装置および方法を提供する。【解決手段】２次元映像を３次元映像に変換する映像変換装置は、２次元映像の照度を補正し、変位マップを生成し、変位マップの深さ値を補正する。このとき、照度補正部は、オリジナル照度値に対応する補正照度値を格納するルックアップテーブルを用いて前記２次元映像をトーンマッピングし、前記トーンマッピングは、前記２次元映像の全体または部分ごとに実行する。【選択図】図３
2011004396.tif 000002
【特許請求の範囲】
【請求項１】
２次元映像の照度を選択的に補正する照度補正部と、
前記補正された２次元映像を３次元映像に変換するための変位マップを生成する変位マップ生成部と
を備える映像変換装置。
【請求項２】
前記照度補正部は、
オリジナル照度値に対応する補正照度値を格納するルックアップテーブルを用いて前記２次元映像をトーンマッピングし、
前記トーンマッピングは、前記２次元映像の全体または部分ごとに実行されることを特徴とする請求項１に記載の映像変換装置。
【請求項３】
前記照度補正部は、
前記２次元映像のうちでＲＧＢ映像に対して、前記ＲＧＢ映像のチャンネルごとに独立したルックアップテーブルを用いて前記２次元映像をトーンマッピングすることを特徴とする請求項2に記載の映像変換装置。
【請求項４】
前記ルックアップテーブルは、ガンマコレクションテーブルおよびログコレクションテーブルのうちの少なくとも１つを含むことを特徴とする請求項2に記載の映像変換装置。
【請求項５】
前記照度補正部は、
前記２次元映像の輝度インテンシティ値の平均および分散のうちの少なくとも１つを用いて前記２次元映像の１つ以上のインテンシティ値を標準化し、
前記標準化は、前記２次元映像の全体または部分ごとに実行されることを特徴とする請求項１に記載の映像変換装置。
【請求項６】
２次元映像を３次元映像に変換するための変位マップを生成する変位マップ生成部と、
前記変位マップの深さ値で示されるオブジェクトまたは領域の境界を選択的に鮮明化するために前記深さ値を補正する深さ鮮明化部と、
を備える映像変換装置。
【請求項７】
前記深さ鮮明化部は、
双方向フィルタを用いて前記変位マップの深さ値で示されるオブジェクトまたは領域に対応する深さ値を平滑化することを特徴とする請求項6に記載の映像変換装置。
【請求項８】
前記深さ鮮明化部は、
前記２次元映像および前記変位マップを比較して前記変位マップの深さ値を補正することを特徴とする請求項6に記載の映像変換装置。
【請求項９】
前記深さ鮮明化部は、
前記２次元映像を境界領域および非境界領域に分類し、前記非境界領域に対応する前記変位マップの深さ値を結合双方向フィルタを用いて選択的に平滑化することを特徴とする請求項6に記載の映像変換装置。
【請求項１０】
前記深さ鮮明化部は、
前記２次元映像から色、輝度、方向性、テクスチャ、およびモーションのうちの少なくとも１つを含む特徴情報を抽出する特徴情報抽出部と、
前記変位マップの深さ値および前記抽出された１つ以上の特徴情報のうちの少なくとも１つを用いて高周波成分を保存するフィルタリングを選択的に実行する平滑化フィルタ部と、
備えることを特徴とする請求項6に記載の映像変換装置。
【請求項１１】
２次元映像の照度を選択的に補正する照度補正部と、
前記補正された２次元映像を３次元映像に変換するための変位マップを生成する変位マップ生成部と、
前記変位マップの深さ値で示されるオブジェクトまたは領域の境界を選択的に鮮明化するために前記深さ値を補正する深さ鮮明化部と、
を備える映像変換装置。
【請求項１２】
前記照度補正部は、
オリジナル照度値に対応する補正照度値を格納するルックアップテーブルを用いて前記２次元映像をトーンマッピングし、
前記トーンマッピングは、前記２次元映像の全体または部分ごとに実行されることを特徴とする請求項11に記載の映像変換装置。
【請求項１３】
前記照度補正部は、
前記２次元映像のうちでＲＧＢ映像に対して、前記ＲＧＢ映像のチャンネルごとに独立したルックアップテーブルを用いて前記２次元映像をトーンマッピングすることを特徴とする請求項12に記載の映像変換装置。
【請求項１４】
前記ルックアップテーブルは、ガンマコレクションテーブルおよびログコレクションテーブルのうちの少なくとも１つを含むことを特徴とする請求項12に記載の映像変換装置。
【請求項１５】
前記照度補正部は、
前記２次元映像の輝度インテンシティ値の平均および分散のうちの少なくとも１つを用いて前記２次元映像の１つ以上のインテンシティ値を標準化し、
前記標準化は、前記２次元映像の全体または部分ごとに実行されることを特徴とする請求項11に記載の映像変換装置。
【請求項１６】
前記深さ鮮明化部は、
双方向フィルタを用いて前記変位マップの深さ値で示されるオブジェクトまたは領域に対応する深さ値を平滑化することを特徴とする請求項11に記載の映像変換装置。
【請求項１７】
前記深さ鮮明化部は、
前記２次元映像および前記変位マップを比較して前記変位マップの深さ値を補正することを特徴とする請求項11に記載の映像変換装置。
【請求項１８】
前記深さ鮮明化部は、
前記２次元映像を境界領域および非境界領域に分類し、前記非境界領域に対応する前記変位マップの深さ値を結合双方向フィルタを用いて選択的に平滑化することを特徴とする請求項11に記載の映像変換装置。
【請求項１９】
前記深さ鮮明化部は、
前記２次元映像から色、輝度、方向性、テクスチャ、およびモーションのうちの少なくとも１つを含む特徴情報を抽出する特徴情報抽出部と、
前記変位マップの深さ値および前記抽出された１つ以上の特徴情報のうちの少なくとも１つを用いて高周波成分を選択的に保存するフィルタリングを実行する平滑化フィルタ部と、
を備えることを特徴とする請求項11に記載の映像変換装置。
【請求項２０】
２次元映像の照度を選択的に補正するステップと、
前記補正された２次元映像を３次元映像に変換するための変位マップを生成するステップと、
を含むことを特徴とする映像変換方法。
【請求項２１】
前記照度を選択的に補正するステップは、
オリジナル照度値に対応する補正照度値を格納するルックアップテーブルを用いて前記２次元映像をトーンマッピングし、
前記トーンマッピングは、前記２次元映像の全体または部分ごとに実行されることを特徴とする請求項20に記載の映像変換方法。
【請求項２２】
前記照度を選択的に補正するステップは、
前記２次元映像のうちでＲＧＢ映像に対して、前記ＲＧＢ映像のチャンネルごとに独立したルックアップテーブルを用いて前記２次元映像をトーンマッピングすることを特徴とする請求項21に記載の映像変換方法。
【請求項２３】
前記ルックアップテーブルは、ガンマコレクションテーブルおよびログコレクションテーブルのうちの少なくとも１つを含むことを特徴とする請求項21に記載の映像変換方法。
【請求項２４】
前記照度を選択的に補正するステップは、
前記２次元映像の輝度インテンシティ値の平均および分散のうちの少なくとも１つを用いて前記２次元映像の１つ以上のインテンシティ値を標準化し、
前記標準化は、前記２次元映像の全体または部分ごとに実行されることを特徴とする請求項20に記載の映像変換方法。
【請求項２５】
２次元映像を３次元映像に変換するための変位マップを生成するステップと、
前記変位マップの深さ値で示されるオブジェクトまたは領域の境界を鮮明化するために前記深さ値を選択的に補正するステップと、
を含むことを特徴とする映像変換方法。
【請求項２６】
前記深さ値を選択的に補正するステップは、
前記変位マップの１つ以上の深さ値を１つ以上のグループでグループ化するステップと、
前記１つ以上のグループの深さ値を選択的に平滑化するステップと、
を含むことを特徴とする請求項25に記載の映像変換方法。
【請求項２７】
前記深さ値を選択的に補正するステップは、
双方向フィルタを用いて前記変位マップの深さ値で示されるオブジェクトまたは領域に対応する深さ値を平滑化することを特徴とする請求項25に記載の映像変換方法。
【請求項２８】
前記深さ値を選択的に補正するステップは、
前記２次元映像および前記変位マップを比較して前記変位マップの深さ値を補正することを特徴とする請求項25に記載の映像変換方法。
【請求項２９】
前記深さ値を選択的に補正するステップは、
前記２次元映像を境界領域および非境界領域に分類するステップと、
前記非境界領域に対応する前記変位マップの深さ値を結合双方向フィルタを用いて選択的に平滑化するステップと、
を含むことを特徴とする請求項25に記載の映像変換方法。
【請求項３０】
前記深さ値を選択的に補正するステップは、
前記２次元映像から色、輝度、方向性、テクスチャ、およびモーションのうちの少なくとも１つを含む特徴情報を抽出するステップと、
前記変位マップの深さ値および少なくとも１つの特徴情報を用いて高周波成分を選択的に保存するフィルタリングを実行するステップと、
を含むことを特徴とする請求項25に記載の映像変換方法。
【請求項３１】
２次元映像の照度を選択的に補正するステップと、
前記補正された２次元映像を３次元映像に変換するための変位マップを生成するステップと、
前記変位マップの深さ値で示されるオブジェクトまたは領域の境界を鮮明化するために前記深さ値を選択的に補正するステップと、
を含むことを特徴とする映像変換方法。
【請求項３２】
前記照度を選択的に補正するステップは、
オリジナル照度値に対応する補正照度値を格納するルックアップテーブルを用いて前記２次元映像をトーンマッピングし、
前記トーンマッピングは、前記２次元映像の全体または部分ごとに実行されることを特徴とする請求項31に記載の映像変換方法。
【請求項３３】
前記照度を選択的に補正するステップは、
前記２次元映像のうちでＲＧＢ映像に対して、前記ＲＧＢ映像のチャンネルごとに独立したルックアップテーブルを用いて前記２次元映像をトーンマッピングすることを特徴とする請求項32に記載の映像変換方法。
【請求項３４】
前記ルックアップテーブルは、ガンマコレクションテーブルおよびログコレクションテーブルのうちの少なくとも１つを含むことを特徴とする請求項32に記載の映像変換方法。
【請求項３５】
前記照度を選択的に補正するステップは、
前記２次元映像の輝度インテンシティ値の平均および分散のうちの少なくとも１つを用いて前記２次元映像の１つ以上のインテンシティ値を標準化し、
前記標準化は、前記２次元映像の全体または部分ごとに実行されることを特徴とする請求項31に記載の映像変換方法。
【請求項３６】
前記深さ値を選択的に補正するステップは、
前記変位マップの１つ以上の深さ値を１つ以上のグループでグループ化するステップと、
前記１つ以上のグループの深さ値を選択的に平滑化するステップと、
を含むことを特徴とする請求項31に記載の映像変換方法。
【請求項３７】
前記深さ値を選択的に補正するステップは、
双方向フィルタを用いて前記変位マップの深さ値で示されるオブジェクトまたは領域に対応する深さ値を平滑化することを特徴とする請求項31に記載の映像変換方法。
【請求項３８】
前記深さ値を選択的に補正するステップは、
前記２次元映像および前記変位マップを比較して前記変位マップの深さ値を補正することを特徴とする請求項31に記載の映像変換方法。
【請求項３９】
前記深さ値を選択的に補正するステップは、
前記２次元映像を境界領域および非境界領域に分類するステップと、
前記非境界領域に対応する前記変位マップの深さ値を結合双方向フィルタを用いて選択的に平滑化するステップと、
を含むことを特徴とする請求項31に記載の映像変換方法。
【請求項４０】
前記深さ値を選択的に補正するステップは、
前記２次元映像から色、輝度、方向性、テクスチャ、およびモーションのうちの少なくとも１つを含む特徴情報を抽出するステップと、
前記変位マップの深さ値および少なくとも１つの特徴情報を用いて高周波成分を選択的に保存するフィルタリングを実行するステップと、
を含むことを特徴とする請求項31に記載の映像変換方法。
【請求項４１】
コンピュータに請求項20〜40のうちのいずれか一項の方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一実施形態は、２次元映像を３次元映像に変換する映像変換装置および方法に関する。
【背景技術】
【０００２】
最近では、３次元表示装置の発展に伴い、一般視聴者に既存の映像よりもさらに現実的な立体感と臨場感がある３次元映像を提供できるようになり、これによって３次元コンテンツに対する需要が増加し続けている。
【０００３】
一般的に、３次元映像を提供するためには、様々な時点の２次元映像が必要であったが、このような方式は、過去に製作された単一時点の２次元映像を活用することができなかった。したがって、２次元映像の３次元映像への変換は、過去に製作されたコンテンツを次世代表示装置に積極的に活用するための作業である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、２次元映像を３次元映像に変換するために、時差生成以前または時差生成時に２次元映像の照度を補正することにより、２次元映像内の物体に対する弁別力を高める２次元映像の３次元映像への変換装置および方法を提供することを目的とする。
【０００５】
また、本発明は、２次元映像を３次元映像に変換するために、時差生成以後または時差生成時に変位マップを補正することにより、物体間の境界を明確にする２次元映像の３次元映像への変換装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る２次元映像の３次元映像への変換装置は、２次元映像の照度（Ｉｌｌｕｍｉｎａｔｉｏｎ）を補正する照度補正部と、前記補正された２次元映像を３次元映像に変換するための変位マップ（ｄｉｓｐａｒｉｔｙ  ｍａｐ）を生成する変位マップ生成部とを備えることができる。
【０００７】
このとき、前記照度補正部は、オリジナル照度値に対応する補正照度値を格納するルックアップテーブル（ｌｏｏｋｕｐ  ｔａｂｌｅ）を用いて前記２次元映像をトーンマッピング（ｔｏｎｅ  ｍａｐｐｉｎｇ）し、前記トーンマッピングは、前記２次元映像の全体または部分ごとに実行することができる。
【０００８】
また、前記照度補正部は、前記２次元映像の輝度インテンシティ（ｉｎｔｅｎｓｉｔｙ）値の平均および分散のうちの少なくとも１つを用いて前記２次元映像の前記１つ以上のインテンシティ値を標準化（ｎｏｒｍａｌｉｚａｔｉｏｎ）し、前記標準化は、前記２次元映像の全体または部分ごとに実行することができる。
【０００９】
本発明の他の一実施形態に係る２次元映像の３次元映像への変換装置は、前記２次元映像を３次元映像に変換するための変位マップを生成する変位マップ生成部と、前記変位マップの深さ値で示されるオブジェクトまたは領域の境界を鮮明化するために前記深さ値を補正する深さ鮮明化部とを備えることができる。
【００１０】
このとき、前記深さ鮮明化部は、双方向フィルタ（ｂｉｌａｔｅｒａｌ  ｆｉｌｔｅｒ）を用いて前記変位マップの深さ値で示されるオブジェクトまたは領域に対応する１つ以上の深さ値を平滑化することができる。
【００１１】
また、前記深さ鮮明化部は、前記２次元映像を境界領域および非境界領域に分類し、前記非境界領域に対応する前記変位マップの深さ値を結合双方向フィルタ（ｃｒｏｓｓ  ｂｉｌａｔｅｒａｌ  ｆｉｌｔｅｒ）を用いて平滑化することができる。
【００１２】
また、前記深さ鮮明化部は、前記２次元映像から色（Ｃｏｌｏｒ）、輝度（Ｌｕｍｉｎａｎｃｅ）、方向性（Ｏｒｉｅｎｔａｔｉｏｎ）、テクスチャ（Ｔｅｘｔｕｒｅ）、およびモーション（Ｍｏｔｉｏｎ）のうちの少なくとも１つを含む特徴情報を抽出する特徴情報抽出部と、前記変位マップの深さ値および少なくとも１つの特徴情報を用いて高周波成分を保存するフィルタリングを実行する平滑化フィルタ部を備えることができる。
【００１３】
本発明の他の一実施形態に係る２次元映像の３次元映像への変換装置は、２次元映像の照度を補正する照度補正部と、前記補正された２次元映像を３次元映像に変換するための変位マップを生成する変位マップ生成部と、前記変位マップの深さ値で示されるオブジェクトまたは領域の境界を鮮明化するために前記深さ値を補正する深さ鮮明化部とを備えることができる。
【００１４】
本発明の一実施形態に係る２次元映像の３次元映像への変換方法は、２次元映像の照度を補正するステップと、前記補正された２次元映像を３次元映像に変換するための変位マップを生成するステップとを含むことができる。
【００１５】
このとき、前記照度を補正するステップは、前記２次元映像の１つ以上の領域に対する光方向および光強度のうちの少なくとも１つを考慮して、前記１つ以上の領域の照度を調節することができる。
【００１６】
また、前記照度を補正するステップは、前記２次元映像のうちでＲＧＢ映像に対して、前記ＲＧＢ映像のチャンネルごとに独立したルックアップテーブルを用いて前記２次元映像をトーンマッピングすることができる。
【００１７】
本発明の他の一実施形態に係る２次元映像の３次元映像への変換方法は、２次元映像を３次元映像に変換するための変位マップを生成するステップと、前記変位マップの深さ値で示されるオブジェクトまたは領域の境界を鮮明化するために前記深さ値を補正するステップとを含むことができる。
【００１８】
このとき、前記深さ値を補正するステップは、前記変位マップの深さ値を１つ以上のグループでグループ化するステップと、前記１つ以上のグループの深さ値を平滑化するステップとを含むことができる。
【００１９】
また、前記深さ値を補正するステップは、前記２次元映像を境界領域および非境界領域に分類するステップと、前記非境界領域に対応する前記変位マップの深さ値を結合双方向フィルタを用いて平滑化するステップとを含むことができる。
【発明の効果】
【００２０】
本発明の一実施形態によれば、２次元映像を３次元映像に変換するために、時差生成以前または時差生成時に２次元映像の照度を補正することにより、２次元映像内の物体に対する弁別力を高めることができる。
【００２１】
また、本発明の一実施形態によれば、２次元映像を３次元映像に変換するために、時差生成以後または時差生成時に変位マップを補正することにより、物体間の境界を明確にすることができる。
【図面の簡単な説明】
【００２２】
【図１】２次元映像の３次元映像への変換装置の一実施形態を示す図である。
【図２】２次元映像の３次元映像への変換装置の他の実施形態を示す図である。
【図３】２次元映像の３次元映像への変換装置の他の実施形態を示す図である。
【図４】トーンマッピングを実行するためのルックアップテーブルの一例を示す図である。
【図５】特徴情報を用いて平滑化フィルタリングを実行する過程の一実施形態を示す図である。
【図６】２次元映像の３次元映像への変換方法の一実施形態を示す図である。
【図７】２次元映像の３次元映像への変換方法の他の実施形態を示す図である。
【図８】図７の深さ値を補正する過程の一実施形態を示す図である。
【図９】図７の深さ値を補正する過程の他の一実施形態を示す図である。
【図１０】図７の深さ値を補正する過程の他の一実施形態を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る好ましい実施形態について、添付の図面を参照しながら詳細に説明する。しかしながら、本発明が実施形態によって制限または限定されることはない。図中、同じ参照符号は同じ部材を示す。
【００２４】
図１は、２次元映像の３次元映像への変換装置の一実施形態を示す図である。図１を参照すれば、２次元映像の３次元映像への変換装置１００は、照度補正部１１０と、変位マップ生成部１２０とを備える。
【００２５】
照度補正部１１０は、３次元映像に変換しようとする２次元映像の照度を補正（ｃｏｍｐｅｎｓａｔｉｏｎ）することができる。変位推定（ｄｉｓｐａｒｉｔｙ  ｅｓｔｉｍａｔｉｏｎ）を介して２次元映像の変位マップを作成する場合、暗い領域では深さが平滑化して物体間の弁別力が低下することがあり、後に得られる３次元立体効果も低下することがある。このような弁別力の低下を防ぐために、２次元映像内の光の方向および光の強度のうちの少なくとも１つを考慮して、照度を補正することができる。
【００２６】
照度補正部１１０は、オリジナル照度値に対応する補正照度値を格納するルックアップテーブルを用いて２次元映像をトーンマッピングすることができる。トーンマッピングは、２次元映像の全体にマッピングを実行するグローバルトーンマッピング（ｇｌｏｂａｌ  ｔｏｎｅ  ｍａｐｐｉｎｇ）、または２次元映像の部分ごとに実行するローカルトーンマッピング（ｌｏｃａｌ  ｔｏｎｅ  ｍａｐｐｉｎｇ）とすることができる。ルックアップテーブルは、ガンマコレクションテーブル（Ｇａｍｍａ  Ｃｏｒｒｅｃｔｉｏｎ  ｔａｂｌｅ）およびログコレクションテーブル（Ｌｏｇ  Ｃｏｒｒｅｃｔｉｏｎ  ｔａｂｌｅ）のうちの少なくとも１つとすることができる。ルックアップテーブルの一実施形態は、図４を参照しながら以下で詳細に説明する。
【００２７】
図４は、トーンマッピングを実行するためのルックアップテーブルの一例を示す図である。図４に示すように、ガンマコレクションテーブルのＸ軸はオリジナル値を、Ｙ軸は補正された値を示すことができ、オリジナル値に対する補正された値のグラフ４１０を図４のように提供することができる。
【００２８】
再び図１を参照すれば、２次元映像がＲＧＢ映像である場合、ＲＧＢ映像のチャンネルごとに別途の異なるルックアップテーブルを用いてトーンマッピングすることができる。これとは異なり、１つのルックアップテーブルをすべてのチャンネルに適用することも可能である。
【００２９】
また、照度補正部１１０は、２次元映像のインテンシティ値の平均および分散のうちの少なくとも１つを用いて２次元映像のインテンシティ値を標準化（ｎｏｒｍａｌｉｚａｔｉｏｎ）することができる。このような標準化は、２次元映像の全体または部分ごとに実行されることができ、標準化されたインテンシティ値を用いてインテンシティ範囲（ｉｎｔｅｎｓｉｔｙ  ｒａｎｇｅ）を調節することができる。標準化に用いられるインテンシティ値の一例として、輝度インテンシティ値がある。
【００３０】
変位マップ生成部１２０は、２次元映像を３次元映像に変換するための変位マップを生成することができる。このとき、上述した照度補正は、変位マップ生成と同時に実行、または変位マップ生成以前に実行されることができる。このように、変位マップの生成時または変位マップの生成以前に２次元映像の照度を補正することにより、暗い領域でも物体間の弁別力を高めることができる２次元映像の３次元映像への変換装置を提供することができる。
【００３１】
図２は、２次元映像の３次元映像への変換装置の他の実施形態を示す図である。図２を参照すれば、２次元映像の３次元映像への変換装置２００は、変位マップ生成部２１０および深さ鮮明化部２２０を備える。
【００３２】
変位マップ生成部２１０は、２次元映像を３次元映像に変換するための変位マップを生成することができる。
【００３３】
深さ鮮明化部２２０は、変位マップの深さ値を補正することができる。すなわち、深さ鮮明化部２２０は、変位マップの深さ（ｄｅｐｔｈ）間の境界を鮮明化（ｓｈａｒｐｅｎｉｎｇ）し、３次元映像の観察時の立体感を向上させられる。深さ値を補正するために、ディプスシャープニングフィルタ（ｄｅｐｔｈ  ｓｈａｒｐｅｎｉｎｇ  ｆｉｌｔｅｒ）を用いることができる。オブジェクト間の境界を明確に示すために、エッジ保存（ｅｄｇｅ  ｐｒｅｓｅｒｖｉｎｇ）が可能なようにデザインされたディプスシャープニングフィルタを用いることが好ましい。
【００３４】
ディプスシャープニングのための深さ値補正は、変位マップの深さ値を１つ以上のグループでグループ化し、グループの深さ値を平滑化（ｓｍｏｏｔｈｉｎｇ）する方法を用いることができる。すなわち、変位マップの深さが類似した領域は同じグループでグループ化し、同じグループに対しては類似した深さ値を有するように平滑化し、類似しない領域は平滑化作業を実行しないことにより、物体間の境界、物体と背景との間の境界などをより明確にすることができる。
【００３５】
ディプスシャープニングのための深さ値補正は、双方向フィルタを用いて変位マップの類似領域の深さ値を平滑化することができる。ここで、双方向フィルタは、映像の線分を鮮明に維持しながら、類似領域の値を平滑化するフィルタである。類似領域は、深さ値が類似した領域とすることができ、映像に含まれた各オブジェクトが１つの類似領域となることができる。
【００３６】
ディプスシャープニングのための深さ値補正は、２次元映像および変位マップを比較して変位マップの深さ値を補正することもできる。このために、２次元映像および変位マップを比較して２次元映像を境界領域および非境界領域に分類し、非境界領域に対応する変位マップの深さ値を結合双方向フィルタを用いて平滑化することができる。すなわち、与えられた２次元映像を基準映像とし、これを参考して変位マップの線分境界を明確に維持しながら、類似領域を平滑化することができる。
【００３７】
深さ鮮明化部２２０は、特徴情報抽出部２２１および平滑化フィルタ部２２２を備えることができる。特徴情報抽出部２２１は、２次元映像から１つ以上の特徴情報を抽出することができる。特徴情報は、色、輝度、方向性、テクスチャ、およびモーションのうちの少なくとも１つを含むことができる。
【００３８】
平滑化フィルタ部２２２は、変位マップの深さ値および特徴情報抽出部２２１から抽出された少なくとも１つの特徴情報を用いて高周波成分を保存することができる。例えば、抽出された特徴情報から２次元映像の境界に関する情報を抽出することができ、これを用いて２次元映像のエッジを保存することができる。ここで、特徴情報を用いて深さ値を補正する実施形態は、図５を参照しながら以下でより詳細に説明する。
【００３９】
図５は、特徴情報を用いて平滑化フィルタリングを実行する過程の一実施形態を示す図である。図５を参照すれば、変位マップ領域をフィルタリングするために、特徴情報抽出部５２０は、フィルタリングしようとする領域に対応する２次元映像５１０の１つ以上の特徴情報を抽出することができる。この後、既存の変位マップ５３０の値と関連する１つ以上の特徴情報５２１、５２２、５２３、５２４、５２５を参考し、平滑化フィルタを介して新たな変位マップ５５０に満たすピクセル値を計算することができる。
【００４０】
平滑化フィルタは、非線形エッジ保存平滑化フィルタ（Ｎｏｎｌｉｎｅａｒ  Ｅｄｇｅ−ｐｒｅｓｅｒｖｉｎｇ  Ｓｍｏｏｔｈｉｎｇ  Ｆｉｌｔｅｒ）とすることができる。このような平滑化フィルタは、ガウシアンカーネル（Ｇａｕｓｓｉａｎ  Ｋｅｒｎｅｌ）を変位マップのピクセル値と１つ以上の特徴情報に同時に適用し、高周波成分（Ｅｄｇｅ）を保存する平滑化作業を実行することができる。
【００４１】
再び図２を参照すれば、深さ値の補正は、変位マップの生成以後に実行することもでき、変位マップ生成時に補正を共に実行することもできる。
【００４２】
上述したように、２次元映像を３次元映像に変換するために変位マップを補正することにより、物体間の境界を明確にすることができる。
【００４３】
図３は、２次元映像の３次元映像への変換装置の他の実施形態を示す図である。図３を参照すれば、２次元映像の３次元映像への変換装置３００は、照度補正部３１０、変位マップ生成部３２０、および深さ鮮明化部３３０を備えることができる。照度補正部３１０は、２次元映像の照度を補正することができる。すなわち、暗い領域で物体間の弁別力が低下することを補うために、２次元映像の照度を補正することができる。変位マップ生成部３２０は、２次元映像を３次元映像に変換するための変位マップを生成することができる。深さ鮮明化部３３０は、変位マップの深さ値を補正することができる。すなわち、変位マップの深さ値を補正して、エッジをより明確に示すようにできる。
【００４４】
照度補正および深さ値補正は、変位マップの生成時に実行されることができる。他の例として、照度補正は変位マップの生成前に実行され、深さ値補正は変位マップの生成後に実行されることもできる。
【００４５】
このような照度補正部３１０、変位マップ生成部３２０、および深さ鮮明化部３３０に関して説明していない内容は、図１および図２の照度補正部１１０、変位マップ生成部１２０、および深さ鮮明化部２２０を参照して上述したものと同じであるため、以下では説明を省略する。
【００４６】
照度補正および深さ補正のうちの少なくとも１つを実行する２次元映像の３次元映像への変換装置は、３次元立体表示（３Ｄ  Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｄｉｓｐｌａｙ）、３次元立体ＴＶ（３Ｄ  Ｓｔｅｒｅｏｓｃｏｐｉｃ  ＴＶ）、３次元マルチビュー表示（３Ｄ  Ｍｕｌｔｉ−ｖｉｅｗ  Ｄｉｓｐｌａｙ）、３次元マルチビューＴＶ（３Ｄ  Ｍｕｌｔｉ−ｖｉｅｗ  ＴＶ）、３次元立体放送装置（３Ｄ  Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｂｒｏａｄｃａｓｔｉｎｇ  ｄｅｖｉｃｅ）、３次元メディアプレーヤ（３Ｄ  Ｍｅｄｉａ  Ｐｌａｙｅｒ）、ゲームコンソール（Ｇａｍｅ  Ｃｏｎｓｏｌｅ）、ＴＶセットトップボックス（ＴＶ  Ｓｅｔｔｏｐ  Ｂｏｘ）、ＰＣソフトウェア（ＰＣ  Ｓｏｆｔｗａｒｅ）、およびＰＣグラフィックカード（ＰＣ  Ｇｒａｐｈｉｃｓ  Ｃａｒｄ）などに用いることができる。
【００４７】
図６は、２次元映像の３次元映像への変換方法の一実施形態を示す図である。図６を参照すれば、ステップ６１０では、２次元映像の照度を補正することができる。すなわち、変位マップの生成時に低コントラスト（ｐｏｏｒ  ｃｏｎｔｒａｓｔ）によって暗い領域における物体間の弁別力が低下することがあり、これによって暗い領域の深さが平坦化して３次元立体の効果が低下することがある。したがって、２次元映像の１つ以上の領域に対する光方向および光強度のうちの少なくとも１つを追跡し、１つ以上の領域の照度を調節することができる。
【００４８】
照度を補正するために、ルックアップテーブルを用いて２次元映像をトーンマッピングすることができ、トーンマッピングは、グローバルトーンマッピングまたはローカルトーンマッピングで実行されることができる。また、２次元映像がＲＧＢ映像である場合、照度補正時にＲＧＢ映像のチャンネルごとに独立したルックアップテーブルを用いて２次元映像をトーンマッピングすることができる。また、照度補正時に、２次元映像のインテンシティ値の平均および分散のうちの少なくとも１つを用いて２次元映像のインテンシティ値を標準化することができ、このような標準化は、２次元映像の全体または部分ごとに実行することができる。
【００４９】
ステップ６２０では、補正された２次元映像を３次元映像に変換するための変位マップを生成することができる。
【００５０】
図７は、２次元映像の３次元映像への変換方法の他の実施形態を示す図である。図７を参照すれば、ステップ７１０では、２次元映像を３次元映像に変換するための変位マップを生成することができる。
【００５１】
ステップ７２０では、変位マップの深さ値で示されるオブジェクトまたは領域の境界を鮮明化するために、深さ値を補正することができる。深さ値を補正するために、映像の線分を鮮明に維持しながら、類似した領域の値を平滑化する双方向フィルタまたは結合双方向フィルタを用いることができる。双方向フィルタまたは結合双方向フィルタの使用時に、正確な計算（ｅｘａｃｔ  ｃｏｍｐｕｔａｔｉｏｎ）を実行することができるが、演算速度またはメモリ使用量を減らすために、正確な計算の代わりに概算（ａｐｐｒｏｘｉｍａｔｉｏｎ）を実行することもできる。
【００５２】
図８は、図７の深さ値を補正する過程の一実施形態を示す図である。図８を参照すれば、ステップ８１０では、変位マップの深さ値を１つ以上のグループでグループ化することができる。すなわち、変位マップの類似した深さ値を有する領域をグループ化し、１つ以上のグループを生成することができる。
【００５３】
ステップ８２０では、１つ以上のグループの深さ値を平滑化することができる。すなわち、グループの深さ値を平滑化してグループ間の深さ値を明確に区分することにより、物体と物体との間の境界または物体と背景との間の境界などをより明確にすることができる。
【００５４】
図９は、図７の深さ値を補正する過程の他の一実施形態を示す図である。図９を参照すれば、ステップ９１０では、２次元映像を境界領域および非境界領域に分類することができる。すなわち、２次元映像において、物体と物体との間の境界、物体と背景との間の境界など境界をなす領域を境界領域として分類し、それ以外の領域を非境界領域として分類することができる。
【００５５】
ステップ９２０では、非境界領域に対応する変位マップの深さ値を結合双方向フィルタを用いて平滑化することができる。非境界領域の深さ値を平滑化し、境界値の深さ値は平滑化しないことにより、境界が明確になるようにすることができる。すなわち、２次元映像を基準映像として変位マップの線分境界を明確にすることができる。
【００５６】
図１０は、図７の深さ値を補正する過程の他の一実施形態を示す図である。図１０を参照すれば、ステップ１０１０では、２次元映像から１つ以上の特徴情報を抽出することができる。ここで、特徴情報は、色、輝度、方向性、テクスチャ、およびモーションのうちの少なくとも１つを含むことができる。
【００５７】
ステップ１０２０では、変位マップの深さ値および少なくとも１つの特徴情報を用いて高周波成分を保存するフィルタリングを実行することができる。すなわち、特徴情報から境界情報を抽出し、この境界情報を用いて深さ値の類似した領域は平滑化し、類似しない領域は平滑化しないこともある。このとき、深さ値が類似した領域は、１つのオブジェクトまたは１つの背景とすることができる。
【００５８】
上述のように、２次元映像を３次元映像に変換するために２次元映像の照度を補正することにより、２次元映像内の光の方向や光の強度に影響を受けずに、物体に対する弁別力を高めることができる。
【００５９】
また、２次元映像を３次元映像に変換するために変位マップを補正することにより、物体間の境界、物体と背景との間の境界などを明確にし、立体感を提供することができる。
【００６０】
なお、本発明の実施形態は、このような２次元映像の３次元映像への変換方法のステップをコンピュータにより実行させるプログラム命令、及び当該プログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを格納する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【００６１】
上述の通り本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【００６２】
１１０、３１０  照度補正部
１２０、２１０、３２０  変位マップ生成部
２２０、３３０  深さ鮮明化部
５１０  ２次元映像
５３０  変位マップ
５５０  補正された変位マップ
【図１】
2011004396.tif 000003
【図２】
2011004396.tif 000004
【図３】
2011004396.tif 000005
【図４】
2011004396.tif 000006
【図５】
2011004396.tif 000007
【図６】
2011004396.tif 000008
【図７】
2011004396.tif 000009
【図８】
2011004396.tif 000010
【図９】
2011004396.tif 000011
【図１０】
2011004396.tif 000012