(57)【要約】【課題】２Ｄ画像を３Ｄ画像に変換するための方法および装置を提供する。【解決手段】方法は、ピクセル値を有する入力画像を、輝度値を有する輝度画像に変換するステップＳ１００と、輝度画像から、奥行き情報を有する奥行きマップを生成するステップとＳ１０４、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するステップＳ１０６とを含む。ここで、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべきピクセルのピクセル値の代わりに置き換えられる。加えて、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。【選択図】図１
2012019513.tif 000002
【特許請求の範囲】
【請求項１】
ピクセル値を有する入力画像を、輝度値を有する輝度画像に変換するステップと、
前記輝度画像から、奥行き情報を有する奥行きマップを生成するステップと、
前記生成された奥行きマップを使用した前記入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するステップと、
を含む２Ｄ画像を３Ｄ画像に変換する方法。
【請求項２】
前記第１の視差処理は、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、現在処理されるべき前記ピクセルのピクセル値から遅延ピクセルのピクセル値への置換えを含み、前記遅延ピクセルが、前記Ｎ個のピクセルの前記奥行き情報の配列に従って決定され、前記遅延ピクセルは、現在処理されるべき前記ピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する、請求項１に記載の方法。
【請求項３】
第１のピクセルに正視差を適用するように、前記右目画像は、背景領域のみについて右方向に遅延され、第２のピクセルに負視差を適用するように、前記左目画像は、オブジェクト領域のみについて左方向に遅延される、請求項２に記載の方法。
【請求項４】
前記奥行きマップを使用した前記入力画像の前記第１の視差処理の後に、第２の視差処理によって前記左目画像または前記右目画像を生成するステップであって、前記第２の視差処理において現在処理されるべきピクセルを含むＮ個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値は、現在処理されるべき前記ピクセルのピクセル値の代わりに置き換えられ、前記第２の視差処理における前記遅延ピクセルは、前記Ｎ個のピクセルの前記奥行き情報の配列に従って決定され、前記第２の視差処理における前記遅延ピクセルの値は、前記第１の遅延処理における遅延ピクセルの値よりも高い、生成するステップをさらに含む、請求項２に記載の方法。
【請求項５】
前記奥行き情報の同じ配列を考慮して、前記左目画像に対して視差処理するときに前記遅延ピクセルを選択するための第１の視差処理ルールが、前記右目画像に対して視差処理するときに前記遅延ピクセルを選択するための第２の視差処理ルールとは異なる、請求項２に記載の方法。
【請求項６】
前記奥行き情報は、０または１を有し、前記入力画像が、４つの奥行き情報の配列に従って視差処理される、請求項５に記載の方法。
【請求項７】
前記入力画像を変換する前記ステップは、前記入力画像のピクセルのピクセル値を輝度値に変換するステップを含み、
前記奥行きマップを生成する前記ステップは、
前記輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するステップと、
前記サンプル画像の総平均輝度μＴＯＴＡＬを計算するステップと、
前記サンプル画像を上部および下部に分割して、前記上部の平均輝度μＰＡＲＴを計算するステップと、
前記総平均輝度μＴＯＴＡＬおよび前記上部の前記平均輝度μＰＡＲＴを使用することによって、前記入力画像の前記ピクセルの前記奥行き情報を生成するステップであって、前記総平均輝度μＴＯＴＡＬが前記平均輝度μＰＡＲＴよりも大きいという条件下において、前記ピクセルの輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも大きい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも小さい場合には１であり、前記総平均輝度μＴＯＴＡＬが前記平均輝度μＰＡＲＴよりも小さいという条件下において、前記ピクセルの輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも小さい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも大きい場合には、１である、生成するステップとを含む、請求項１に記載の方法。
【請求項８】
前記奥行きマップを生成する前記ステップは、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、前記特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセルの奥行き情報を、０または１に設定するステップをさらに含む、請求項７に記載の方法。
【請求項９】
前記奥行き情報を生成する前記ステップは、
０または１を有する前記奥行き情報を、０、１、２、および３に分割するステップと、
マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化するステップと、
０から１．５の間の奥行き情報を有するピクセルの前記奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの前記奥行き情報を、１に再設定するステップと、
を含む、請求項７に記載の方法。
【請求項１０】
前記入力画像におけるキャプションに対応する奥行き情報は、１を有する前記奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定される、請求項１に記載の方法。
【請求項１１】
入力画像のピクセルの輝度を使用して、２Ｄ入力画像から、０または１を有する奥行き情報から構成される奥行きマップを生成するステップと、
生成された奥行きマップを介して前記入力画像を視差処理することによって、左目画像または右目画像を生成するステップと、を含み、前記右目画像に対して視差処理するときの第１のピクセルが、前記第１のピクセルに正視差を適用することによって、右方向に遅延され、前記左目画像に対して視差処理するときの第２のピクセルが、前記第２のピクセルに負視差を適用することによって、左方向に遅延される、
２Ｄ画像を３Ｄ画像に変換する方法。
【請求項１２】
視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべき前記ピクセルのピクセル値の代わりに置き換えられ、前記遅延ピクセルは、前記Ｎ個のピクセルの前記奥行き情報の配列に従って決定され、前記遅延ピクセルは、現在処理されるべき前記ピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する、請求項１１に記載の方法。
【請求項１３】
前記奥行き情報の同じ配列を考慮して、前記左目画像に対する視差処理時に前記遅延ピクセルを選択するための第１の視差処理ルールは、前記右目画像に対する視差処理時に前記遅延ピクセルを選択するための第２の視差処理ルールとは異なり、前記入力画像は、前記Ｎ個のピクセルの前記奥行き情報の配列に従って視差処理される、請求項１２に記載の方法。
【請求項１４】
前記奥行きマップを生成する前記ステップは、
前記入力画像のピクセルのピクセル値を輝度値に変換するステップと、
輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するステップと、
前記サンプル画像の総平均輝度μＴＯＴＡＬを計算するステップと、
前記サンプル画像を上部および下部に分割して、前記上部の平均輝度μＰＡＲＴを計算するステップと、
前記総平均輝度μＴＯＴＡＬおよび前記上部の前記平均輝度μＰＡＲＴを使用することによって、前記入力画像の前記ピクセルの前記奥行き情報を生成するステップと、を含み、前記総平均輝度μＴＯＴＡＬが前記平均輝度μＰＡＲＴよりも大きいという条件下において、前記ピクセルの輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも大きい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも小さい場合には１であり、前記総平均輝度μＴＯＴＡＬが前記平均輝度μＰＡＲＴよりも小さいという条件下において、前記ピクセルの輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも小さい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも大きい場合には、１である、
請求項１２に記載の方法。
【請求項１５】
前記奥行きマップを生成する前記ステップは、
特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、前記特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセルの奥行き情報を、０または１に設定するステップと、
０または１を有する前記奥行き情報を、０、１、２、および３に分割するステップと、
マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化するステップと、
０から１．５の間の奥行き情報を有するピクセルの前記奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの前記奥行き情報を、１に再設定するステップと、
をさらに含む、請求項１４に記載の方法。
【請求項１６】
前記入力画像におけるキャプションに対応する奥行き情報が、１を有する前記奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定される、請求項１２に記載の方法。
【請求項１７】
ピクセル値を有する２Ｄ入力画像を、輝度値を有する輝度画像に変換するように構成された輝度変換部と、
前記輝度画像から、奥行き情報を有する奥行きマップを生成するように構成された奥行きマップ部と、
生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するように構成された再生画像部と
を含む、２Ｄ画像を３Ｄ画像に変換するための装置。
【請求項１８】
前記再生画像部は、前記右目画像を視差処理するときに、第１のピクセルに正視差を適用することによって、前記第１のピクセルを右方向に遅延させ、前記左目画像を視差処理するときに、第２のピクセルに負視差を適用することによって、前記第２のピクセルを左方向に遅延させる、請求項１７に記載の装置。
【請求項１９】
前記再生画像部は、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値を、現在処理されるべき前記ピクセルのピクセル値の代わりに置き換え、前記遅延ピクセルが、前記Ｎ個のピクセルの前記奥行き情報の配列に従って決定され、前記遅延ピクセルは、現在処理されるべき前記ピクセルよりＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する、請求項１８に記載の装置。
【請求項２０】
前記奥行き情報の同じ配列を考慮して、前記左目画像に対する視差処理時に前記遅延ピクセルを選択するための第１の視差処理ルールは、前記右目画像に対する視差処理時に前記遅延ピクセルを選択するための第２の視差処理ルールとは異なり、前記入力画像は、前記Ｎ個のピクセルの前記奥行き情報の配列に従って視差処理される、請求項１９に記載の装置。
【請求項２１】
前記輝度変換部が、前記入力画像のピクセルのピクセル値を輝度値に変換し、
前記奥行きマップ部は、
前記輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するように構成されたサンプリング部と、
前記サンプル画像の総平均輝度μＴＯＴＡＬを計算し、前記サンプル画像を上部および下部に分割し、前記上部の平均輝度μＰＡＲＴを計算するように構成された輝度計算部と、
前記総平均輝度μＴＯＴＡＬおよび前記上部の前記平均輝度μＰＡＲＴを使用することによって、前記入力画像の前記ピクセルの前記奥行き情報を生成するように構成された奥行きマップ生成部とを含み、前記総平均輝度μＴＯＴＡＬが前記平均輝度μＰＡＲＴよりも大きいという条件下において、前記ピクセルの輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも大きい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも小さい場合には１であり、前記総平均輝度μＴＯＴＡＬが前記平均輝度μＰＡＲＴよりも小さいという条件下において、前記ピクセルの輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも小さい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度ＳＹ（ｉ，ｊ）が前記総平均輝度μＴＯＴＡＬよりも大きい場合には、１である、
請求項１７に記載の装置。
【請求項２２】
前記奥行きマップ生成部が、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、前記特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するピクセルの奥行き情報を、０または１に設定する、請求項２１に記載の装置。
【請求項２３】
前記奥行きマップ生成部は、０または１を有する前記奥行き情報を、０、１、２、および３に分割し、マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化し、０から１．５の間の奥行き情報を有するピクセルの前記奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの前記奥行き情報を、１に再設定する、請求項２１に記載の装置。
【請求項２４】
前記奥行きマップ生成部は、前記入力画像におけるキャプションに対応する奥行き情報を、１を有する前記奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定する、請求項２１に記載の装置。
【請求項２５】
第１のピクセルに正視差を適用するように、前記右目画像が、背景領域のみについて右方向に遅延され、第２のピクセルに負視差を適用するように、前記左目画像は、オブジェクト領域のみについて左方向に遅延される、請求項１７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に画像変換に関し、より詳細には、２Ｄ画像を３Ｄ画像に変換するための方法および装置に関する。
【背景技術】
【０００２】
近年、たとえば、アバター、その他などの３Ｄ（三次元）映画が人気上昇中であり、それゆえ３Ｄ映画用の３Ｄ画像の研究が盛んに始まっている。加えて、主要企業が、３Ｄ画像に対応したテレビ受像機を製造、販売しており、３Ｄ画像コンテンツの開発に着手している。
【０００３】
しかしながら、３Ｄ画像コンテンツを開発するためには、長い時間およびコストがかかるために、現在のところ、わずかな３Ｄ画像コンテンツしか開発されていない。したがって、３Ｄ画像コンテンツを開発するための期間およびコストを解決するために、２Ｄ画像を３Ｄ画像に変換する方法が必要とされている。
【０００４】
解決策を設計するエンジニアにとっては、２Ｄ画像を３Ｄ画像に効率的に変換し、より顕著な三次元効果を生成することが課題である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の主要な目的は、視差処理ルールを使用して、２Ｄ画像を３Ｄ画像に変換することである。
【０００６】
本発明のさらなる目的は、複数の視差処理を２Ｄ入力画像に適用することである。
【課題を解決するための手段】
【０００７】
本発明の目的に従って、２Ｄ画像を３Ｄ画像に変換する方法が達成された。発明された方法は、ピクセル値を有する入力画像を、輝度値を有する輝度画像に変換するステップと、輝度画像から、奥行き情報を有する奥行きマップを生成するステップと、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するステップとを含む。
【０００８】
本発明の目的に従って、２Ｄ画像を３Ｄ画像に変換するための装置が達成された。発明された装置は、ピクセル値を有する２Ｄ入力画像を、輝度値を有する輝度画像に変換するように構成された輝度変換部と、輝度画像から、奥行き情報を有する奥行きマップを生成するように構成された奥行きマップ部と、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するように構成された再生画像部とを含む。
【０００９】
本説明の本質的な部分を形成する添付の図面において、以下が示される。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の例示的な実施形態に従った、２Ｄ画像を３Ｄ画像に変換する方法を示す流れ図である。
【図２】本発明の例示的な一実施形態に従った、サンプル画像を取得するプロセスを示す透視図である。
【図３】本発明の例示的な一実施形態に従った、オブジェクトを分離するプロセスを示す図である。
【図４】本発明の第２の例示的な実施形態に従った、２Ｄ画像を３Ｄ画像に変換する方法を示す流れ図である。
【図５】本発明の例示的な一実施形態に従った、境界を分離するプロセスの図である。
【図６】本発明の例示的な一実施形態に従った、オブジェクトの合成およびノイズ除去に使用されるマスクを示す図である。
【図７】本発明の例示的な一実施形態に従った、オブジェクトの合成およびノイズ除去による結果を示す図である。
【図８】本発明の例示的な一実施形態に従った、２Ｄ画像を３Ｄ画像に変換するための装置を示すブロック図である。
【発明を実施するための形態】
【００１１】
視差処理ルールを使用して、２Ｄ画像を３Ｄ画像に変換するための方法および装置が開示される。特に、本発明は、複数の視差処理ステップを２Ｄ入力画像に適用することによって、三次元効果をより顕著に示す。
【００１２】
一態様において、本発明は、２Ｄ画像を３Ｄ画像に変換する方法を提供し、方法は、ピクセル値を有する入力画像を、輝度値を有する輝度画像に変換するステップと、輝度画像から、奥行き情報を有する奥行きマップを生成するステップと、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するステップとを含む。ここで、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべきピクセルのピクセル値の代わりに置き換えられる。加えて、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。
【００１３】
第１のピクセルに正視差を適用するように、右目画像は、背景領域のみについて右方向に遅延され、第２のピクセルに負視差を適用するように、左目画像は、オブジェクト領域のみについて左方向に遅延される。
【００１４】
方法は、奥行きマップを使用した入力画像の第１の視差処理の後に、第２の視差処理によって、左目画像または右目画像を生成するステップをさらに含む。ここで、第２の視差処理において現在処理されるべきピクセルを含むＮ個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべきピクセルのピクセル値の代わりに置き換えられる。さらに、第２の視差処理における遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、第２の視差処理における遅延ピクセルの値は、第１の遅延処理における遅延ピクセルの値よりも高い。
【００１５】
奥行き情報の同じ配列を考慮して、左目画像に対して視差処理するときに遅延ピクセルを選択するための第１の視差処理ルールは、右目画像に対して視差処理するときに遅延ピクセルを選択するための第２の視差処理ルールとは異なる。
【００１６】
奥行き情報は、０または１を有し、入力画像は、４つの奥行き情報の配列に従って視差処理される。
【００１７】
入力画像を変換するステップは、入力画像のピクセルのピクセル値を、輝度値に変換するステップを含む。奥行きマップを生成するステップは、輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するステップと、サンプル画像の総平均輝度μＴＯＴＡＬを計算するステップと、サンプル画像を上部および下部に分割して、上部の平均輝度μＰＡＲＴを計算するステップと、総平均輝度μＴＯＴＡＬおよび上部の平均輝度μＰＡＲＴを使用することによって、入力画像のピクセルの奥行き情報を生成するステップとを含む。ここで、総平均輝度μＴＯＴＡＬが平均輝度μＰＡＲＴよりも大きいという条件下において、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも大きい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも小さい場合には、１である。さらに、総平均輝度μＴＯＴＡＬが平均輝度μＰＡＲＴよりも小さいという条件下において、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも小さい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも大きい場合には、１である。
【００１８】
奥行きマップを生成するステップは、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセルの奥行き情報を、０または１に設定するステップをさらに含む。
【００１９】
奥行き情報を生成するステップは、０または１を有する奥行き情報を、０、１、２、および３に分割するステップと、マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化するステップと、０から１．５の間の奥行き情報を有するピクセルの奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの奥行き情報を、１に再設定するステップとを含む。
【００２０】
入力画像におけるキャプションに対応する奥行き情報は、１を有する奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定される。
【００２１】
別の態様において、本発明は、２Ｄ画像を３Ｄ画像に変換する方法を提供し、方法は、入力画像のピクセルの輝度を使用して、２Ｄ入力画像から、０または１を有する奥行き情報から構成される奥行きマップを生成するステップと、生成された奥行きマップを介して入力画像を視差処理することによって、左目画像または右目画像を生成するステップとを含む。ここで、右目画像に対して視差処理するときの第１のピクセルが、第１のピクセルに正視差を適用することによって、右方向に遅延され、左目画像に対して視差処理するときの第２のピクセルが、第２のピクセルに負視差を適用することによって、左方向に遅延される。
【００２２】
視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべきピクセルのピクセル値の代わりに置き換えられる。加えて、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。
【００２３】
奥行き情報の同じ配列を考慮して、左目画像に対する視差処理時に遅延ピクセルを選択するための第１の視差処理ルールは、右目画像に対する視差処理時に遅延ピクセルを選択するための第２の視差処理ルールとは異なる。さらに、入力画像は、Ｎ個のピクセルの奥行き情報の配列に従って視差処理される。
【００２４】
奥行きマップを生成するステップは、入力画像のピクセルのピクセル値を、輝度値に変換するステップと、輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するステップと、サンプル画像の総平均輝度μＴＯＴＡＬを計算するステップと、サンプル画像を上部および下部に分割して、上部の平均輝度μＰＡＲＴを計算するステップと、総平均輝度μＴＯＴＡＬおよび上部の平均輝度μＰＡＲＴを使用することによって、入力画像のピクセルの奥行き情報を生成するステップとを含む。ここで、総平均輝度μＴＯＴＡＬが平均輝度μＰＡＲＴよりも大きいという条件下において、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも大きい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも小さい場合には、１である。さらに、総平均輝度μＴＯＴＡＬが平均輝度μＰＡＲＴよりも小さいという条件下において、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも小さい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも大きい場合には、１である。
【００２５】
奥行きマップを生成するステップは、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセルの奥行き情報を、０または１に設定するステップと、０または１を有する奥行き情報を、０、１、２、および３に分割するステップと、マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化するステップと、０から１．５の間の奥行き情報を有するピクセルの奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの奥行き情報を、１に再設定するステップと、をさらに含む。
【００２６】
入力画像におけるキャプションに対応する奥行き情報は、１を有する奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定される。
【００２７】
さらに別の態様において、本発明は、２Ｄ画像を３Ｄ画像に変換するための装置を提供し、装置は、ピクセル値を有する２Ｄ入力画像を、輝度値を有する輝度画像に変換するように構成された輝度変換部と、輝度画像から、奥行き情報を有する奥行きマップを生成するように構成された奥行きマップ部と、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するように構成された再生画像部とを含む。ここで、再生画像部は、右目画像を視差処理するときに、第１のピクセルに正視差を適用することによって、第１のピクセルを右方向に遅延させ、左目画像を視差処理するときに、第２のピクセルに負視差を適用することによって、第２のピクセルを左方向に遅延させる。
【００２８】
再生画像部は、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値を、現在処理されるべきピクセルのピクセル値の代わりに置き換える。さらに、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。
【００２９】
奥行き情報の同じ配列を考慮して、左目画像に対する視差処理時に遅延ピクセルを選択するための第１の視差処理ルールは、右目画像に対する視差処理時に遅延ピクセルを選択するための第２の視差処理ルールとは異なる。加えて、入力画像は、Ｎ個のピクセルの奥行き情報の配列に従って視差処理される。
【００３０】
輝度変換部は、入力画像のピクセルのピクセル値を輝度値に変換する。奥行きマップ部は、輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するように構成されたサンプリング部と、サンプル画像の総平均輝度μＴＯＴＡＬを計算し、サンプル画像を上部および下部に分割し、上部の平均輝度μＰＡＲＴを計算するように構成された輝度計算部と、総平均輝度μＴＯＴＡＬおよび上部の平均輝度μＰＡＲＴを使用することによって、入力画像のピクセルの奥行き情報を生成するように構成された奥行きマップ生成部とを含む。ここで、総平均輝度μＴＯＴＡＬが平均輝度μＰＡＲＴよりも大きいという条件下において、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも大きい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも小さい場合には、１である。さらに、総平均輝度μＴＯＴＡＬが平均輝度μＰＡＲＴよりも小さいという条件下において、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも小さい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも大きい場合には、１である。
【００３１】
奥行きマップ生成部は、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するピクセルの奥行き情報を、０または１に設定する。
【００３２】
奥行きマップ生成部は、０または１を有する奥行き情報を、０、１、２、および３に分割し、マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化し、０から１．５の間の奥行き情報を有するピクセルの奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの奥行き情報を、１に再設定する。
【００３３】
奥行きマップ生成部は、入力画像におけるキャプションに対応する奥行き情報を、１を有する奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定する。
【００３４】
本発明の方法は、２Ｄ（二次元）入力画像、たとえばＲＧＢ画像を、３Ｄ（三次元）画像に変換し、２Ｄ入力画像から再生画像を生成する。
【００３５】
図１は、本発明の第１の例示的な実施形態に従った、２Ｄ画像を３Ｄ画像に変換する方法を示す流れ図であり、図２は、本発明の例示的な一実施形態に従った、サンプル画像を取得するプロセスを示す透視図である。
【００３６】
図１において、本発明の方法は、Ｓ１００のステップで、２Ｄ入力画像のピクセルのピクセル値を、輝度値に変換する。
【００３７】
一般的に、ＣＭＹ表色系、ＲＧＢ表色系、ＨＩＳ表色系、ＹＵＶ表色系、その他などのさまざまな座標系が、表色系として使用される。本発明は、任意で表色系を使用することができるが、説明の都合の目的のために、表色系をＲＧＢ表色系またはＹＵＶ表色系と仮定する。本発明は、任意の他の色空間にも同様に適用され得る。
【００３８】
上記の表色系に従って、以下の式１によって、入力画像のピクセルのピクセル値が輝度値に変換される。
【００３９】
【数１】
2012019513.tif 000003
【００４０】
ここで、ＳＹ（ｉ，ｊ）は、変換された輝度値を意味し、ＳＲ（ｉ，ｊ）、ＳＧ（ｉ，ｊ）、およびＳＢ（ｉ，ｊ）は、入力画像に含まれるＲ、Ｇ、およびＢの輝度値をそれぞれ示す。加えて、δ（ｉ，ｊ）は、単位サンプルのインパルス信号である。
【００４１】
式１に示されるように、入力画像のピクセルのピクセル値は輝度値に変換され、すなわち、入力画像は、図２に示されるような、輝度値により定義される輝度画像２００に変換される。
【００４２】
ステップＳ１０２で、２Ｄ画像を変換する方法は、効果的な計算および動き視差の実際の処理についてのハードウェアの複雑性を考慮しながら、図２に示すように、輝度画像２００のピクセルをサンプリングすることによって、サンプル画像２０２を取得する。結果として、サンプル画像２０２はまた、輝度値を有するピクセルを含む。
【００４３】
本発明の例示的な一実施形態では、２Ｄ画像を変換する方法は、図２に示すように、一定間隔で輝度画像２００のピクセルをサンプリングすることができ、その結果、サンプル画像２０２は、輝度画像２００を表すことができる。ここで、サンプル画像２０２の輝度分散特徴は、輝度画像２００の輝度分散特徴と同一である。すなわち、サンプル画像２０２のヒストグラムの平均および標準偏差は、輝度画像２００のヒストグラムのそれらと同じである。一方で、サンプルされることになるピクセルの数は、制限されない。
【００４４】
Ｓ１０４のステップで、方法は、サンプル画像２０２を使用して、入力画像のための奥行きマップを生成する。
【００４５】
Ｓ１０６のステップで、ステップＳ１０４の生成された奥行きマップを使用することによって、入力画像の視差プロセスが実行され、それにより再生画像を生成する。
【００４６】
以下で、Ｓ１０４およびＳ１０６のステップが、添付の図面を参照して説明される。
【００４７】
最初に、Ｓ１０４のステップが詳細に説明される。
【００４８】
図３は、本発明の例示的な一実施形態に従った、オブジェクトを分離するプロセスを示す図である。ここで、オブジェクトは、オブジェクトの垂直寸法が高い場合に、比較的離れた距離に位置すると仮定され、オブジェクトの垂直寸法が低い場合に、比較的近い距離に位置すると仮定される。
【００４９】
本発明の２Ｄ画像を変換する方法は、オブジェクトを分離するために、図２に示されるようなサンプル画像２０２を、図３に示されるように、上部３００と下部とに分割する。次いで、方法は、サンプル画像２０２の総平均輝度μＴＯＴＡＬ、および上部３００の平均輝度μＰＡＲＴを計算する。
【００５０】
一方で、入力画像２００のピクセルの輝度値ＳＹが、総平均輝度μＴＯＴＡＬと上部３００の平均輝度μＰＡＲＴとの間の境界にわたって変化する場合、奥行きマップの奥行き情報が素早く変化して、それゆえ画面のちらつきが生じることがある。したがって、方法は、上記のちらつきを防ぐために、以下の式２および式３に示されるように輝度値を再設定する、すなわち、奥行きマップの生成時にちらつきを回避するための輝度レベルの量子化が実行される。以下で、輝度は、２５６レベルを有すると仮定される。
式２：
ＳＹ  ２２４のとき、ＳＹ＝２２４
１９２≦ＳＹ＜２２４のとき、ＳＹ＝１９２
１６０≦ＳＹ＜１９２のとき、ＳＹ＝１６０
１２８≦ＳＹ＜１６０のとき、ＳＹ＝１２８
９６≦ＳＹ＜１２８のとき、ＳＹ＝９６
６４≦ＳＹ＜９６のとき、ＳＹ＝６４
３２≦ＳＹ＜６４のとき、ＳＹ＝３２
ＳＹ＜３２のとき、ＳＹ＝１６
式３：
μＴＯＴＡＬ  ２２４のとき、μＴＯＴＡＬ＝２２４
１９２≦μＴＯＴＡＬ＜２２４のとき、μＴＯＴＡＬ＝１９２
１６０≦μＴＯＴＡＬ＜１９２のとき、μＴＯＴＡＬ＝１６０
１２８≦μＴＯＴＡＬ＜１６０のとき、μＴＯＴＡＬ＝１２８
９６≦μＴＯＴＡＬ＜１２８のとき、μＴＯＴＡＬ＝９６
６４≦μＴＯＴＡＬ＜９６のとき、μＴＯＴＡＬ＝６４
３２≦μＴＯＴＡＬ＜６４のとき、μＴＯＴＡＬ＝３２
μＴＯＴＡＬ＜３２のとき、μＴＯＴＡＬ＝１６
引き続き、方法は、総平均輝度μＴＯＴＡＬ、および上部３００の平均輝度μＰＡＲＴを使用することによって、奥行き情報を有する奥行きマップを生成する。
【００５１】
本発明の例示的な一実施形態で、方法は、オブジェクトに対応するピクセルの奥行き情報を０に設定し、背景に対応するピクセルの奥行き情報を１に設定する。
【００５２】
特に、総平均輝度μＴＯＴＡＬが、上部３００の平均輝度μＰＡＲＴよりも大きいという条件下、すなわち、μＴＯＴＡＬ≧μＰＡＲＴにおいて、２Ｄ画像を変換する方法は、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも大きい場合、すなわち、ＳＹ（ｉ，ｊ）≧μＴＯＴＡＬの場合に、対応するピクセルの奥行き情報を０に設定し、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも小さい場合、すなわち、ＳＹ（ｉ，ｊ）＜μＴＯＴＡＬの場合に、対応するピクセルの奥行き情報を１に設定する。さらに、総平均輝度μＴＯＴＡＬが、上部３００の平均輝度μＰＡＲＴよりも小さいという条件下、すなわち、μＴＯＴＡＬ＜μＰＡＲＴにおいて、方法は、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも小さい場合、すなわち、ＳＹ（ｉ，ｊ）＜μＴＯＴＡＬの場合に、対応するピクセルの奥行き情報を０に設定し、ピクセルの輝度ＳＹ（ｉ，ｊ）が総平均輝度μＴＯＴＡＬよりも大きい場合、すなわち、ＳＹ（ｉ，ｊ）≧μＴＯＴＡＬの場合に、対応するピクセルの奥行き情報を１に設定する。
【００５３】
２Ｄ画像を変換する方法は、上記の奥行き情報設定方法を入力画像のすべてのピクセルに適用して、それにより奥行きマップを生成する。結果として、奥行きマップは、０または１を有する奥行き情報から構成される。本発明の別の例示的な実施形態では、奥行きマップの奥行き情報は、以下で説明されるように、さらに２、３、などを有することができる。
【００５４】
次に、Ｓ１０６のステップが詳細に説明される。
【００５５】
本発明の例示的な一実施形態では、生成された奥行きマップを使用して、入力画像が視差処理され、それにより左目画像および右目画像を生成する。
【００５６】
本発明の例示的な一実施形態で、方法は、右目画像に対して視差処理するときに、対応するピクセルに正視差を適用することによって、そのピクセルを右方向に遅延させ、左目画像に対して視差処理するときに、対応するピクセルに負視差を適用することによって、そのピクセルを左方向に遅延させることができる。
【００５７】
本発明の別の例示的な実施形態で、方法は、視差処理の際に現在処理されるべきピクセルを含むＮ個のピクセルの奥行き情報を考慮しながら、遅延ピクセルのピクセル値を、現在処理されるべきピクセルのピクセル値の代わりに置き換え、ただし、Ｎは２より大きい整数である。ここで、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。
【００５８】
本発明のさらに別の例示的な実施形態で、方法は、Ｎ個のピクセルの奥行き情報の最後の奥行き情報が１である場合に、対応するピクセルに正視差を適用して、それによりそのピクセルを右方向に遅延させる。さらに、方法は、最後の奥行き情報が０である場合に、対応するピクセルに負視差を適用して、それによりそのピクセルを左方向に遅延させる。
【００５９】
以下で、視差を処理する方法が、下記の例を用いて詳細に説明される。ここで、Ｎは、４と仮定される。
【００６０】
【表１】
2012019513.tif 000004
【００６１】
【表２】
2012019513.tif 000005
【００６２】
【表３】
2012019513.tif 000006
【００６３】
表１および表３を参照すると、奥行き情報「１１１１」が入力された場合に、デフォルトとしての遅延１の奥行き情報が、左目画像のための視差処理ルールに従って、Ｄ４の奥行き情報の代わりに置き換えられる。ここで、遅延１は、現在処理されるピクセル、すなわち、Ｄ４に対応するピクセルを示す。言い換えれば、奥行き情報「１１１１」が入力された場合、Ｄ４のピクセル値は維持される。
【００６４】
ピクセルＤ５を参照すると、Ｄ５を含む連続する４つのピクセルの奥行き情報は、「１１１０」である。左目画像のための視差処理ルールに従って、遅延２の奥行き情報が、Ｄ５の奥行き情報の代わりに置き換えられる。ここで、遅延２は、Ｄ５の左方向に隣のピクセルを意味し、それゆえ、Ｄ４のピクセル値が、Ｄ５のピクセル値の代わりに置き換えられる。
【００６５】
ピクセルＤ６を参照すると、Ｄ６を含む連続する４つのピクセルの奥行き情報は、「１１００」である。左目画像のための視差処理ルールに従って、遅延３の奥行き情報が、Ｄ６の奥行き情報の代わりに置き換えられる。ここで、遅延３は、Ｄ５より左方向に２ピクセル分だけ前のピクセルを示し、したがって、Ｄ４のピクセル値が、Ｄ６のピクセル値の代わりに置き換えられる。
【００６６】
手短に言うと、左目画像は、上に挙げた方法によって生成される。一方、右目画像は、左目画像を生成するプロセスと同じように、表２に示された右目画像の視差処理ルールに従って生成される。
【００６７】
本発明の例示的な一実施形態では、再生画像において、表３に示されるように、ピクセルのピクセル値が、今度は、左目画像のピクセル値および右目画像のピクセル値を有することができる。したがって、再生画像の出力は、左目画像および右目画像が二者択一的に出力されるときと同じ効果を有する。すなわち、再生画像を出力することにより、３Ｄ画像が実現される。
【００６８】
本発明の別の例示的な実施形態で、２Ｄを変換する方法は、今度は、特別な再生画像を生成することなく左目画像および右目画像を出力し、それにより３Ｄ画像を出力することができる。
【００６９】
簡単に言うと、本発明の方法は、奥行き情報（たとえば０または１）を有する奥行きマップを生成し、奥行きマップの奥行き情報の配列、ならびに左目画像および右目画像の視差処理ルールに従って、入力画像を視差処理することにより、左目画像および右目画像を生成する。視差処理ルールにおいて、ピクセルの遅延値は、奥行き情報の配列に従って決定される。
【００７０】
上記の説明では、Ｎは、４と仮定されたが、別の値を有するように設定されてもよい。
【００７１】
本発明の別の例示的な実施形態で、２Ｄを変換する方法は、複数の視差処理プロセスを実行することができる。
【００７２】
たとえば、方法は、上に挙げたような１番目における視差処理（以下では、「第１の視差処理」と呼ばれる）を実行し、次いで、さらに２番目における視差処理（以下では、「第２の視差処理」と呼ばれる）を実行することができる。
【００７３】
第２の視差処理は、第１の視差処理と類似する。しかしながら、第２の視差処理において用いられる視差処理ルールは、第１の視差処理における視差処理ルールとは異なっていてよい。本発明の例示的な一実施形態では、第２の視差処理のための視差処理ルールにおける遅延値が、第１の視差処理のための視差処理ルールにおける遅延値よりも高くてもよい。たとえば、第１の視差処理における奥行き情報「１１１０」の遅延値は、第２の視差処理では、２、および３であってよい。
【００７４】
２つの視差処理が上記で説明されたように実行される場合、３Ｄ画像の三次元効果は、１つの視差処理における三次元効果よりも、顕著に示され得る。
【００７５】
一方で、３つの視差処理、４つの視差処理などが実行されてもよい。このケースにおいて、３Ｄ画像の三次元効果をより顕著に見せるために、視差処理の回数が増やされるほど、高い遅延値となる。
【００７６】
本発明の例示的な一実施形態で、２Ｄを変換する方法は、キャプションを処理するために、追加のステップをさらに含むことができる。一般に、画面におけるキャプションは、いくつかのピクセルから構成されており、それゆえ上記の視差処理が実行されるだけの場合には、キャプションが損傷されることがある。したがって、キャプションの損傷問題を解決するために、本発明の方法は、１を有する奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、対応する奥行き情報を１に設定し、そうでない場合は、対応する奥行き情報を０に設定することができる。
【００７７】
図４は、本発明の第２の例示的な実施形態に従った、２Ｄ画像を３Ｄ画像に変換する方法を示す流れ図であり、図５は、本発明の例示的な一実施形態に従った、境界を分離するプロセスの図である。図６は、本発明の例示的な一実施形態に従った、オブジェクトの合成およびノイズ除去に使用されるマスクを示す図であり、図７は、本発明の例示的な一実施形態に従った、オブジェクトの合成およびノイズ除去による結果を示す図である。
【００７８】
図４で、２Ｄを変換する方法は、Ｓ４００のステップで、入力画像のピクセルのピクセル値を輝度値に変換し、それにより輝度画像を生成する。
【００７９】
Ｓ４０２のステップで、方法は、輝度画像をサンプリングすることによって、サンプル画像を取得する。
【００８０】
Ｓ４０４のステップで、方法は、サンプル画像の動きを検出し、入力画像を複数の領域に分割する。
【００８１】
Ｓ４０６のステップで、方法は、境界を考慮して、第１の奥行きマップを生成する。
【００８２】
Ｓ４０８のステップで、方法は、第１の奥行きマップに、オブジェクト合成ステップおよびノイズ除去ステップを適用することによって、第２の奥行きマップを生成する。ここで、第２の奥行きマップは、第１の実施形態における奥行きマップに対応してもよい。
【００８３】
Ｓ４１０のステップで、方法は、生成された第２の奥行きマップを使用して、入力画像を視差処理し、それにより３Ｄ画像を生成する。
【００８４】
上記の説明では、Ｓ４０６およびＳ４０８を除く他のステップは、第１の実施形態においてと同じであり、したがって、同じステップに関する一切のさらなる説明は、省略される。
【００８５】
以下では、Ｓ４０６のステップが詳細に説明される。
【００８６】
本発明の方法は、上記で説明されたような輝度に基づいて、入力画像を領域に分割する。しかしながら、入力画像の境界部分が明確ではないために、オブジェクトは正確に分離されないことがある。したがって、本発明の方法は、境界部分を明確にするための以下の特別なステップをさらに含むことができる。
【００８７】
図５を参照すると、隣接するピクセル５００と５０２との間の輝度差があらかじめ設定されたレベルよりも高い場合、ピクセル５００よりＫ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセル５０４または５０６が、０または１を有するように設定されてよい。
【００８８】
たとえば、ピクセル５０４は、Ｙ２が（Ｙ０＋１６）よりも高い場合に、１を有するように設定されてよく、（Ｙ２＋１６）がＹ０よりも小さい場合に、０を有するように設定されてよい。
【００８９】
すなわち、輝度が突然変化する部分が境界部分と仮定され、したがって、２Ｄを変換する方法は、境界部分を明確にするために、輝度が突然変化する部分あたりに、上記のステップを実行する。
【００９０】
以下では、Ｓ４０８のステップが詳細に説明される。
【００９１】
本発明の例示的な一実施形態で、方法は、第１の奥行きマップにおいて０および１を有する奥行き情報を、０、１、２、および３を有する奥行き情報に分離する。しかしながら、奥行き情報の値は、０、１、２、３として限定されず、さまざまに変更されてもよい。
【００９２】
たとえば、ＳＹがμＴＯＴＡＬよりも小さいという条件下（ＳＹ＜μＴＯＴＡＬ）において、方法は、ＳＹが（μＴＯＴＡＬ／２）よりも小さい場合に、奥行き情報を０に設定し、ＳＹが（μＴＯＴＡＬ／２）よりも高い場合に、奥行き情報を１に設定する。
【００９３】
加えて、ＳＹがμＴＯＴＡＬよりも大きいという条件下（ＳＹ≧μＴＯＴＡＬ）において、方法は、ＳＹが（（２５５＋μＴＯＴＡＬ）／２）よりも小さい場合に、奥行き情報を２に設定し、ＳＹが（（２５５＋μＴＯＴＡＬ）／２）よりも高い場合に、奥行き情報を３に設定する。
【００９４】
引き続き、方法は、図６に示されるマスク６００を使用して、第２の奥行きマップを平滑化する。たとえば、方法は、０から１．５の間の奥行き情報を有するピクセルの奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの奥行き情報を、１に再設定する。結果として、第２の奥行きマップはまた、第１の奥行きマップと同じように、０および１を有する奥行き情報から構成される。
【００９５】
図７の実験結果を参照すると、第１の奥行きマップにオブジェクト合成およびノイズ除去を適用することによって生成された画像が、オブジェクト合成およびノイズ除去が適用されていない画像よりも、入力画像を一層よく反映する。さらに、第１の奥行きマップにオブジェクト合成およびノイズ除去を適用することによって生成された画像では、境界部分などがはっきりと示される。
【００９６】
図８は、本発明の例示的な一実施形態に従った、２Ｄ画像を３Ｄ画像に変換するための装置を示すブロック図である。
【００９７】
図８で、本発明の２Ｄ画像を３Ｄ画像に変換するための装置８００は、制御部８１０と、記憶部８１２と、輝度変換部８１４と、奥行きマップ部８１６と、再生画像部８１８とを含む。
【００９８】
記憶部８１２は、オリジナル画像である入力画像を記憶し、入力画像を視差処理することによって生成された左目画像、右目画像、または再生画像を記憶することができる。
【００９９】
輝度変換部８１４は、入力画像のピクセルのピクセル値を輝度値に変換し、それにより輝度画像を生成する。
【０１００】
奥行きマップ部８１６は、入力画像を視差処理し、サンプリング部８２０と、輝度計算部８２２と、奥行きマップ生成部８２４とを含む。
【０１０１】
サンプリング部８２０は、輝度画像をサンプリングし、それによりサンプル画像を生成する。
【０１０２】
輝度計算部８２２は、サンプル画像の総平均輝度μＴＯＴＡＬ、および上部３００の平均輝度μＰＡＲＴを計算する。
【０１０３】
奥行きマップ生成部８２４は、総平均輝度μＴＯＴＡＬ、および平均輝度μＰＡＲＴを使用して、入力画像のための奥行きマップを生成する。
【０１０４】
本発明の別の例示的な実施形態で、奥行きマップ生成部８２４はさらに、入力画像の境界部分をはっきりと処理し、次いで奥行きマップを生成することができる。
【０１０５】
本発明のさらに別の例示的な実施形態で、奥行きマップ生成部８２４は、０または１を有する奥行き情報を、０、１、２、または３などに分割し、次いでマスクを使用して、０、１、２、または３などを有する奥行き情報を含む奥行きマップを平滑化することによって、新たな奥行きマップを生成する。
【０１０６】
本発明のさらに別の例示的な実施形態で、奥行きマップ生成部８２４は、キャプションに対する特別なステップを実行することができる。
【０１０７】
再生画像部８１８は、奥行きマップを使用することによって入力画像を視差処理し、それにより左目画像、右目画像、または再生画像を生成する。
【０１０８】
制御部８１０は、装置８００における全体の要素を制御する。
【０１０９】
本明細書における、「一実施形態」、「実施形態」、「例示的な実施形態」、などへのあらゆる言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。本明細書のさまざまな箇所にそのような表現が見られることは、必ずしも、すべて同じ実施形態に言及することではない。さらに、特定の特徴、構造、または特性が、いずれかの実施形態に関連して説明されるとき、実施形態のうちの他の実施形態と関連してそのような特徴、構造、または特性に作用することは、当業者の理解の範囲内であることが提示される。
視差プロセス
実施形態が、そのいくつかの例証的な実施形態を参照して説明されてきたが、本開示の原則の趣旨および範囲内に含まれることになる多数の他の変更形態および実施形態が、当業者によって考案され得ることが理解されるべきである。より詳細には、本開示、本図面、および添付の特許請求の範囲の範囲内で、主題の組合せ構成（ｓｕｂｊｅｃｔ  ｃｏｍｂｉｎａｔｉｏｎ  ａｒｒａｎｇｅｍｅｎｔ）の構成要素部品および／または配置におけるさまざまな変形形態および変更形態が可能である。構成要素部品および／または配置における変形形態および変更形態に加え、当業者には、代替用途もまた明らかとなるであろう。
【０１１０】
本発明が、その好ましい実施形態を参照して詳細に示され、説明されてきたが、形態および詳細におけるさまざまな変更が、本発明の趣旨および範囲から逸脱せずに行われてもよいことが、当業者によって理解されるであろう。
【符号の説明】
【０１１１】
２００  輝度画像、入力画像
２０２  サンプル画像
３００  上部
５００  ピクセル
５０２  ピクセル
５０４  ピクセル
５０６  ピクセル
６００  マスク
８００  装置
８１０  制御部
８１２  記憶部
８１４  輝度変換部
８１６  奥行きマップ部
８１８  再生画像部
８２０  サンプリング部
８２２  輝度計算部
８２４  奥行きマップ生成部
【図１】
2012019513.tif 000007
【図２】
2012019513.tif 000008
【図３】
2012019513.tif 000009
【図４】
2012019513.tif 000010
【図５】
2012019513.tif 000011
【図６】
2012019513.tif 000012
【図８】
2012019513.tif 000013
【図７】
2012019513.tif 000014
【外国語明細書】
2012019513000001.pdf