(57)【要約】【課題】停止映像を立体映像に変換することができる映像変換方法及び装置が提供される。【解決手段】本発明による映像変換装置が二次元映像を立体映像に変換する映像変換方法は、原本映像に対する奥行き情報を設定するステップと、原本映像を部分個体にそれぞれ区分し、各部分個体に対して立体情報を設定するステップと、立体情報を用いて原本映像を移動させて第１映像を生成するステップと、原本映像に対するゼロポイントを設定するステップと、ゼロポイントを用いて原本映像を移動させて第２映像を生成するステップと、第１映像及び第２映像を合成して立体映像を生成するステップと、を含むことを特徴とする。
2011523323.tif 000002
【特許請求の範囲】
【請求項１】
映像変換装置で二次元映像を立体映像に変換する方法であって、
原本映像に対する奥行き情報を設定するステップと、
前記原本映像を部分個体にそれぞれ区分し、各部分個体に対して立体情報を設定するステップと、
前記立体情報を用いて前記原本映像を移動させて第１映像を生成するステップと、
前記原本映像に対するゼロポイントを設定するステップと、
前記ゼロポイントを用いて前記原本映像を移動させて第２映像を生成するステップと、
前記第１映像及び第２映像を合成して立体映像を生成するステップと、
を含む映像変換方法。
【請求項２】
前記立体情報は、各部分個体に対する奥行き情報及び等高線情報のうち１つ以上を含み、
前記等高線情報は奥行き情報が同一である部分個体の領域情報であることを特徴とする請求項１に記載の映像変換方法。
【請求項３】
前記ゼロポイントは、ディスプレイ平面に相応する奥行き情報であることを特徴とする請求項１に記載の映像変換方法。
【請求項４】
各部分個体に対して立体情報を設定するステップは、
前記原本映像において中心物体を設定するステップと、
前記中心物体から周辺物体順に複数の部分個体を区分し、区分された部分個体の奥行き情報を設定するステップと、
奥行き情報が同一である部分個体に対して等高線情報を設定するステップと、を含むことを特徴とする請求項２に記載の映像変換方法。
【請求項５】
前記立体情報を設定するステップは、
第ｎ時点で部分個体を区分し、前記区分された部分個体に対して奥行き情報を設定するステップと、
前記第ｎ時点で設定された奥行き情報に相応する部分個体が含まれる第ｎレイヤを生成するステップとを含み、
前記第ｎレイヤには同一の奥行き情報を有する部分個体が配列され、
前記第ｎレイヤは第ｎ−１レイヤに相応する部分個体に対する立体情報を含み、前記ｎは自然数であることを特徴とする請求項４に記載の映像変換方法。
【請求項６】
前記第１映像を生成するステップは、
前記原本映像を立体情報に応じて定められた水平方向に移動させて前記第１映像を生成することを特徴とする請求項１に記載の映像変換方法。
【請求項７】
前記第１映像を生成するステップは、
前記第ｎレイヤに含まれた部分個体を、設定された奥行き情報に相応して水平方向に移動させ、
前記奥行き情報は前記第ｎ−１レイヤに相応する奥行き情報との差の値であることを特徴とする請求項５に記載の映像変換方法。
【請求項８】
前記第２映像を生成するステップは、
前記ゼロポイント及び前記原本映像に対する奥行き情報を用いて移動情報を算出するステップと、
前記原本映像を前記移動情報に応じて定められた水平方向に移動させて前記第２映像を生成するステップと、を含むことを特徴とする請求項１に記載の映像変換方法。
【請求項９】
前記第２映像を生成するための原本映像の移動方向は前記第１映像を生成するための原本映像の移動方向と異なることを特徴とする請求項８に記載の映像変換方法。
【請求項１０】
前記原本映像が二次元動画である場合は、前記二次元動画を各フレーム単位に区分し、区分されたそれぞれのフレームを順次的に停止映像として保存するステップを、前記原本映像の奥行き情報を設定するステップの前に、さらに含む請求項１に記載の映像変換方法。
【請求項１１】
前記原本映像が第１フレームでない場合は、第ｎ−１フレームに相応する立体情報をローディングするステップと、
前記第ｎ−１フレームと第ｎフレームとを比較して変更された領域を抽出するステップと、
前記変更された領域に相応して第ｎ−１フレームに相応する立体情報を修正するステップと、をさらに含み、
前記ｎは自然数であり、前記第ｎフレームは現在時点で変換される停止映像に相応するフレームであり、前記第ｎ−１フレームは前記第ｎフレームに隣接した以前時点で変換された停止映像に相応するフレームであることを特徴とする請求項１０に記載の映像変換方法。
【請求項１２】
二次元映像を立体映像に変換する映像変換装置であって、
原本映像に対する奥行き情報及びゼロポイントを設定する制御部と、
前記原本映像を部分個体にそれぞれ区分し、各部分個体に対して立体情報を設定する設定部と、
前記立体情報を用いて前記原本映像を移動させて第１映像を生成し、前記ゼロポイントを用いて前記原本映像を移動させて第２映像を生成する生成部と、
前記第１映像及び第２映像を合成して立体映像を生成する合成部と、
を含む映像変換装置。
【請求項１３】
前記立体情報は、各部分個体に対する奥行き情報及び等高線情報のうち１つ以上を含み、
前記等高線情報は、奥行き情報が同一である部分個体の領域情報であることを特徴とする請求項１２に記載の映像変換装置。
【請求項１４】
前記ゼロポイントはディスプレイ平面に相応する奥行き情報であることを特徴とする請求項１２に記載の映像変換装置。
【請求項１５】
前記設定部は、前記原本映像において中心物体を設定し、前記中心物体から周辺物体順に複数の部分個体を区分し、前記区分された部分個体に立体情報をそれぞれ設定し、奥行き情報が同一である部分個体に対して等高線情報を設定することを特徴とする請求項１３に記載の映像変換装置。
【請求項１６】
前記設定部は、第ｎ時点で部分個体を区分し、前記区分された部分個体に対して奥行き情報を設定し、前記第ｎ時点で設定された奥行き情報に相応する部分個体が含まれる第ｎレイヤを生成し、
前記第ｎレイヤは第ｎ時点で設定された部分個体を配列して出力し、
前記第ｎレイヤは第ｎ−１レイヤに相応する部分個体に対する立体情報を含み、前記ｎは自然数であることを特徴とする請求項１５に記載の映像変換装置。
【請求項１７】
前記生成部は前記原本映像を前記立体情報に応じて定められた水平方向に移動させて前記第１映像を生成することを特徴とする請求項１２に記載の映像変換装置。
【請求項１８】
前記生成部は、前記第ｎレイヤに含まれた部分個体を、設定された奥行き情報に相応して水平方向に移動させ、
前記奥行き情報は前記第ｎ−１レイヤに相応する奥行き情報との差の値であることを特徴とする請求項１６に記載の映像変換装置。
【請求項１９】
前記生成部は前記ゼロポイント及び前記原本映像に対する奥行き情報を用いて移動情報を算出し、前記原本映像を前記移動情報に応じて定められた水平方向に移動させて前記第２映像を生成することを特徴とする請求項１２に記載の映像変換装置。
【請求項２０】
前記第２映像を生成するために移動される原本映像の方向は、前記第１映像を生成するために移動される原本映像の方向と異なることを特徴とする請求項１９に記載の映像変換装置。
【請求項２１】
前記制御部は、前記原本映像に対する奥行き情報及びゼロポイントを設定する前に、
前記原本映像が二次元動画である場合は、前記二次元動画を各フレーム単位に区分し、区分されたそれぞれのフレームを順次的に停止映像に変換して保存することを特徴とする請求項１２に記載の映像変換装置。
【請求項２２】
前記設定部は、前記原本映像が第１フレームでない場合は第ｎ−１フレームに相応する立体情報をローディングし、前記第ｎ−１フレームと第ｎフレームとを比較して変更のあった領域を抽出し、前記変更された領域に相応して第ｎ−１フレームに相応する立体情報を修正し、
前記ｎは自然数であり、前記第ｎフレームは現在時点で変換される停止映像に相応するフレームであり、前記第ｎ−１フレームは前記第ｎフレームに隣接した以前時点で変換された停止映像に相応するフレームであることを特徴とする請求項１６に記載の映像変換装置。
【請求項２３】
二次元映像を立体映像に変換する方法を行うためにデジタル処理装置によって実行できる命令語のプログラムが類型的に具体化されており、前記デジタル処理装置により読み取り可能なプログラムが記録された記録媒体であって、
原本映像に対する奥行き情報を設定するステップと、
前記原本映像を部分個体にそれぞれ区分し、各部分個体に対して立体情報を設定するステップと、
前記立体情報を用いて前記原本映像を移動させて第１映像を生成するステップと、
前記原本映像に対するゼロポイントを設定するステップと、
前記ゼロポイントを用いて前記原本映像を移動させて第２映像を生成するステップと、
前記第１映像及び第２映像を合成して立体映像を生成するステップと、
を行うプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像変換に関し、より詳細には二次元映像を三次元映像、すなわち立体映像に変換する方法及び装置に関する。
【背景技術】
【０００２】
人間は水平に分離された二つの目により、網膜上に視差が生じ、この視差により二つの目の像を大脳で一つに合成して対象物の立体感を認知する。
【０００３】
しかし、写真、映像、テレビで見るイメージは立体感のない平面的なイメージであって、これは両眼のうちの片目に見えるイメージの条件をビデオカメラ又はスチルカメラを用いて人為的に作ったイメージであるからである。
【０００４】
これを解決するために、現在複数のカメラを用いて対象物に対して複数のイメージを獲得した後に合成して立体映像を生成する方法がある。しかしこれは、撮影時点での特殊な条件により立体映像を生成する方法であって、既存撮影された映画などを再撮影しないで立体映像に変換することは不可能であるという問題点がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０８−３３１６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、二次元映像を三次元映像に変換することができる映像変換方法及び装置を提供することを目的とする。
【０００７】
本発明の他の目的は、ゼロポイントを用いて三次元映像に陰刻及び陽刻をすべて表現することができる映像変換方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一側面によれば、映像変換装置により二次元映像を立体映像に変換する方法及びその方法を行うためのプログラムが記録された記録媒体が提供される。
【０００９】
本発明の一実施例によれば、映像変換装置により二次元映像を立体映像に変換する方法であって、原本映像に対する奥行き情報を設定するステップと、上記原本映像を部分個体にそれぞれ区分し、各部分個体に対して立体情報を設定するステップと、上記立体情報を用いて上記原本映像を移動させて第１映像を生成するステップと、上記原本映像に対するゼロポイントを設定するステップと、上記ゼロポイントを用いて上記原本映像を移動させて第２映像を生成するステップと、上記第１映像及び第２映像を合成して立体映像を生成するステップと、を含む映像変換方法が提供される。
【００１０】
上記立体情報は各部分個体に対する奥行き情報及び等高線情報を含み、上記等高線情報は奥行き情報が同一である部分個体の領域情報であってもよい。
【００１１】
上記ゼロポイントはディスプレイ平面に相応する奥行き情報である。
【００１２】
各部分個体に対して立体情報を設定するステップは、上記原本映像において中心物体を設定するステップと、上記中心物体から周辺順に複数の部分個体を区分し、区分された部分個体に対する奥行き情報を設定するステップと、奥行き情報が同一である部分個体に対して等高線情報を設定するステップと、を含むことができる。
【００１３】
上記立体情報を設定するステップは、第ｎ時点で部分個体を区分し、上記区分された部分個体に対して奥行き情報を設定するステップと、上記第ｎ時点で設定された奥行き情報に相応する部分個体が含まれる第ｎレイヤを生成するステップと、を含み、上記第ｎレイヤは同一の奥行き情報を有する部分個体が配列され、上記第ｎレイヤは第ｎ−１レイヤに相応する部分個体に対する立体情報を含み、上記ｎは自然数である。
【００１４】
上記第１映像を生成するステップは、上記原本映像を立体情報に応じて定められた水平方向に移動させることにより、上記第１映像を生成することができる。
【００１５】
上記第１映像を生成するステップは、上記第ｎレイヤに含まれた部分個体を、設定された奥行き情報に応じて水平方向に移動させ、上記奥行き情報は上記第ｎ−１レイヤに相応する奥行き情報との差の値である。
【００１６】
上記第２映像を生成するステップは、上記ゼロポイント及び上記奥行き情報を用いて移動情報を算出するステップと、上記原本映像を上記移動情報に応じて定められた水平方向に移動させることにより、上記第２映像を生成するステップと、を含むことができる。
【００１７】
上記第２映像を生成するための原本映像の移動方向は、上記第１映像を生成するための原本映像の移動方向と異なる。
【００１８】
上記奥行き情報を設定するステップの前に、上記原本映像が動画である場合は上記動画を各フレーム単位に区分し、区分されたそれぞれのフレームを順次的に停止映像として保存するステップをさらに含むことができる。
【００１９】
上記原本映像が第１フレームでない場合は、第ｎ−１フレームに相応する立体情報をローディングするステップと、上記第ｎ−１フレームと第ｎフレームとを比較して、変更のあった領域を抽出するステップと、上記変更された領域に相応して第ｎ−１フレームに相応する立体情報を修正するステップとをさらに含み、上記ｎは自然数であり、上記第ｎフレームは、現時点で変換される停止映像に相応するフレームであり、上記第ｎ−１フレームは上記第ｎフレームに隣接した前の時点で変換された停止映像に相応するフレームである。
【００２０】
本発明の他の実施例によれば、二次元映像を立体映像に変換する方法を行うためにデジタル処理装置によって実行できる命令語のプログラムが類型的に具体化されており、上記デジタル処理装置により読み取り可能なプログラムが記録された記録媒体であって、原本映像に対する奥行き情報を設定するステップと、上記原本映像を部分個体にそれぞれ区分し、各部分個体に対して立体情報を設定するステップと、上記立体情報を用いて上記原本映像を移動させることにより第１映像を生成するステップと、上記原本映像に対するゼロポイントを設定するステップと、上記ゼロポイントを用いて上記原本映像を移動させることにより第２映像を生成するステップと、上記第１映像及び第２映像を合成して立体映像を生成するステップと、を行うプログラムが記録された記録媒体が提供される。
【００２１】
本発明の他の側面によれば、二次元映像を立体映像に変換する映像変換装置が提供される。
【００２２】
本発明の一実施例によれば、二次元映像を立体映像に変換する映像変換装置であって、原本映像に対する奥行き情報及びゼロポイントを設定する制御部と、上記原本映像を部分個体にそれぞれ区分し、各部分個体に対して立体情報を設定する設定部と、上記立体情報を用いて上記原本映像を移動させることにより第１映像を生成し、上記ゼロポイントを用いて上記原本映像を移動させることにより第２映像を生成する生成部と、上記第１映像及び第２映像を合成して立体映像を生成する合成部と、を含む映像変換装置が提供される。
【００２３】
上記設定部は、上記原本映像での中心物体を設定し、上記中心物体から周辺物体順に複数の部分個体を区分し、上記区分された部分個体の立体情報をそれぞれ設定し、奥行き情報が同一である部分個体に対して等高線情報を設定することができる。
上記設定部は、第ｎ時点で部分個体を区分し、上記区分された部分個体に対して奥行き情報を設定し、上記第ｎ時点で設定された奥行き情報に相応する部分個体が含まれる第ｎレイヤを生成し、上記第ｎレイヤは第ｎ時点で設定された部分個体を配列して出力し、上記第ｎレイヤは第ｎ−１レイヤに相応する部分個体に対する立体情報を含み、上記ｎは自然数である。
【００２４】
上記生成部は上記原本映像を上記立体情報に応じて定められた水平方向に移動させることにより上記第１映像を生成することができる。
【００２５】
上記生成部は上記第ｎレイヤに含まれた部分個体を、設定された奥行き情報に相応して水平方向に移動させ、上記奥行き情報は上記第ｎ−１レイヤに相応する奥行き情報との差の値である。
【００２６】
上記生成部は上記ゼロポイント及び上記原本映像に対する奥行き情報を用いて移動情報を算出し、上記原本映像を上記移動情報に応じて定められた水平方向に移動させることにより上記第２映像を生成することができる。
【００２７】
上記制御部は上記原本映像に対する奥行き情報及びゼロポイントを設定する前に、上記原本映像が動画である場合は、上記動画を各フレーム単位に区分し、区分されたそれぞれのフレームを順次的に停止映像に変換して保存することができる。
上記設定部は、上記原本映像が第１フレームでない場合は、第ｎ−１フレームに相応する立体情報をローディングし、上記第ｎ−１フレームと第ｎフレームとを比較して変更のあった領域を抽出し、上記変更された領域に相応して第ｎ−１フレームに相応する立体情報を修正し、上記ｎは自然数であり、上記第ｎフレームは現時点で変換される停止映像に相応するフレームであり、上記第ｎ−１フレームは上記第ｎフレームに隣接した前の時点で変換された停止映像に相応するフレームである。
【発明の効果】
【００２８】
本発明による映像変換方法及び装置を提供することにより、二次元映像を三次元映像に変換することができる。
【００２９】
また、本発明はゼロポイントを用いて三次元映像に陰刻及び陽刻のすべてを表現することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施例に係る三次元映像の原理を説明するための図面である。
【図２】本発明の一実施例に係る映像変換を概略的に説明するための図面である。
【図３】本発明の一実施例に係る映像変換装置の内部機能構成を例示したブロック図である。
【図４】本発明の一実施例に係る二次元動画を３Ｄ動画に変換する方法を示す順序図である。
【図５】本発明の一実施例に係る二次元イメージを三次元イメージに変換する方法を示す順序図である。
【図６】本発明の一実施例により生成された映像の一例を示す図面である。
【図７】本発明の一実施例により生成された映像の一例を示す図面である。
【図８】本発明の一実施例により生成された映像の一例を示す図面である。
【図９】本発明の一実施例により生成された映像の一例を示す図面である。
【図１０】本発明の他の実施例に係る三次元映像変換方法を示す順序図である。
【図１１】本発明の一実施例に係る映像変換装置から提供される画面の一例を示す図面である。
【図１２】本発明の一実施例に係る映像変換装置から提供される画面の一例を示す図面である。
【発明を実施するための形態】
【００３１】
本発明は多様な変換を加えることができ、様々な実施例を有することができるため、本願では特定実施例を図面に例示し、詳細に説明する。しかし、これは本発明を特定の実施形態に限定するものではなく、本発明の思想及び技術範囲に含まれるあらゆる変換、均等物及び代替物を含むものとして理解されるべきである。本発明を説明するに当たって、係る公知技術に対する具体的な説明が本発明の要旨をかえって不明にすると判断される場合、その詳細な説明を省略する。
【００３２】
第１、第２などの用語は、多様な構成要素を説明するために用いられるに過ぎず、構成要素はそれらの用語により限定されるものではない。それらの用語は一つの構成要素を他の構成要素から区別する目的だけに用いられる。
【００３３】
本出願で用いた用語は、ただ特定の実施例を説明するために用いたものであって、本発明を限定するものではない。単数の表現は、文の中で明らかに表現しない限り、複数の表現を含む。本願において、「含む」または「有する」などの用語は明細書上に記載された特徴又は数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在を指定するものであって、一つまたはそれ以上の他の特徴又は数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除するものではないと理解しなくてはならない。
【００３４】
以下、本発明の実施例を添付した図面を参照して詳しく説明する。
図１は、本発明の一実施例に係る三次元映像の原理を説明するための図面である。
二次元映像を三次元映像、すなわち立体映像に具現するためには視差のある複数の二次元映像が必要である。既存撮影された二次元映像の場合は、図１に示すように、原本映像１１０を用いて原本映像１１０と視差のある映像を生成する。例えば、原本映像１１０を用いて視差のある第１映像（すなわち、左眼映像１２０）、及び第２映像（すなわち、右眼映像１３０）を生成することができる。
【００３５】
本願明細書では理解を助けること又は説明の便宜を図るために、人間が対象物を認知する原理の説明として原本映像１１０からそれぞれ視差のある第１映像及び第２映像を生成することを説明したが、実現方法に応じて原本映像１１０と視差のある一つの映像を生成して原本映像１１０と生成された映像とを合成することで、三次元映像を生成することもできる。
【００３６】
人間の場合は、対象物に対して両眼によりそれぞれ二次元映像を得る。そして、人間の脳は両眼のそれぞれにより得られた二次元映像を合成して対象物に対する立体感を認知することができる。このような原理を用いて原本映像から視差のある複数の映像を生成して合成した映像をステレオスコピック（ｓｔｅｒｅｏｓｃｏｐｉｃ）映像という。本願明細書ではこのようなステレオスコピック映像を立体映像または三次元映像と称する。
【００３７】
例えば、図１の左眼映像１２０及び右眼映像１３０を、予め定められた方法で合成して三次元映像を生成することができる。三次元映像は、図１に示すように視差のある複数の停止映像を合成して生成した映像であって、特殊製作した装備を用いて立体感を感じることができる。
【００３８】
本願明細書では二次元動画を三次元動画に変換する方法及び一般的な停止映像を立体映像、具体的に、三次元イメージに変換する方法について説明する。
【００３９】
図２は、本発明の一実施例に係る映像変換を概略的に説明するための図面である。
図２に示すように、映像変換装置２００には二次元イメージ、具体的に停止映像、及び二次元動画が入力される。
【００４０】
映像変換装置２００は、入力された二次元イメージ及び二次元動画を複数の部分個体に分離し、その後、各部分個体の立体情報を設定して三次元イメージ及び三次元動画に変換して出力する。
【００４１】
ここで、映像変換装置２００は、入力された原本映像が二次元動画である場合は、二次元動画をそれぞれのフレーム単位に区分し、それぞれのフレームを順次的に二次元イメージとして保存する過程を先行する。そして、映像変換装置２００は二次元動画に相応する二次元イメージを複数の部分個体に区分し、立体情報をそれぞれ設定した後に三次元イメージに変換することができる。さらに、映像変換装置２００は生成された三次元イメージを合成する過程を行い、三次元動画に変換する過程をさらに行うことができることは明らかである。
【００４２】
本発明による映像変換装置２００は二次元イメージに相応してゼロポイントを設定し、これを用いて三次元イメージに変換することができる。このように変換された三次元イメージは陰刻及び陽刻をすべて含むことができる。
【００４３】
本願明細書でゼロポイントとは三次元イメージまたは三次元動画において陰刻でも陽刻でもない、ディスプレイ平面に位置する立体情報であると定義する。すなわち、ゼロポイントに相応する部分個体はディスプレイ平面上に位置される。すなわち、ゼロポイントを基準として各部分個体は設定された立体情報に相応して陰刻または陽刻で表現される。
【００４４】
映像変換装置２００が二次元イメージまたは二次元動画を三次元イメージまたは三次元動画に変換する具体的な方法については以下で関連図面を参照してより詳細に説明する。
【００４５】
図３は、本発明の一実施例に係る映像変換装置の内部機能構成を例示したブロック図である。
【００４６】
図３を参照すると、本発明による映像変換装置２００は、設定部３１０、保存部３１５、生成部３２０、合成部３２５ 及び制御部３３０を含む。
【００４７】
設定部３１０は制御部３３０の制御により二次元イメージを中心物体から部分個体に区分し、各部分個体について奥行き情報を設定する。そして、設定部３１０は奥行き情報が同一である部分個体の領域に対して等高線情報を設定する。
【００４８】
本願明細書において等高線情報とは奥行き情報が同一である部分個体の領域と定義する。
【００４９】
本願明細書では部分個体の奥行き情報及び等高線情報を総称して立体情報と称する。すなわち、立体情報には同一の奥行き情報を有する部分個体の領域に対する等高線情報及び／または当該等高線情報に相応する奥行き情報が含まれる。
【００５０】
また、部分個体は原本映像において第ｎ（任意の自然数）時点で第ｎ奥行き情報を有する領域と定義する。よって、第ｎ時点で区分される部分個体は第ｎ−１時点まで区分された部分個体が除外された領域で設定される。
【００５１】
また、設定部３１０は奥行き情報が同一である部分個体の立体情報を、レイヤを用いて配列して出力することができる。
【００５２】
例えば、第ｎ時点で第ｎレイヤを生成し、第ｎレイヤでは第ｎ時点で区分された部分個体が１次元配列を用いてそれぞれ配置されて出力されることができる。また、第ｎレイヤは該第ｎレイヤに含まれる部分個体の奥行き情報も含むことができる。ここで、各レイヤは階層的な連結構造を有する。すなわち、第ｎレイヤに含まれている部分個体の奥行き情報は、第ｎ−１レイヤまでの奥行き情報を合算した値が最終の第ｎレイヤの奥行き情報であってもよい。
【００５３】
すなわち、各レイヤの奥行き情報は隣接した上位レイヤの奥行き情報との差の値であってもよい。具現方法によっては各レイヤに各部分個体の奥行き情報が含まれることもできることは明らかである。
【００５４】
本願明細書では二次元動画を三次元動画に変換することを想定し、これを重点的に説明する。本発明による映像変換装置２００は二次元イメージを三次元イメージに変換することができることは明らかである。これについては、二次元動画を三次元動画に変換する過程と同様である。
【００５５】
保存部３１５は、本発明による映像変換装置２００を運用するためのソフトウェア、複数の二次元イメージ、二次元動画、変換された三次元イメージ、変換された三次元動画、変換過程で生成された視差のある臨時イメージなどが保存される。
【００５６】
生成部３２０は、制御部３３０の制御により立体情報及び/またはゼロポイントを用いて第１映像及び第２映像を生成する機能を行う。
【００５７】
例えば、生成部３２０は設定部３１０で設定された立体情報を用いて、二次元イメージを予め設定された方向（左側または右側）に移動させて第１映像を生成する。また、生成部３２０は制御部３３０の制御に応じてゼロポイントを用いて二次元イメージを定められた方向に移動させて第２映像を生成することができる。ここで、第２映像を生成するための二次元イメージの移動方向は、第１映像を生成するために二次元イメージを移動させた方向と反対方向であってもよい。
【００５８】
例えば、生成部３２０が二次元イメージを立体情報に応じて左側方向へ移動させて第１映像を生成したと想定する。この場合、生成部３２０は二次元イメージをゼロポイントに相応して右側方向に移動させて第２映像を生成することができる。
【００５９】
例えば、生成部３２０は制御部３３０からのゼロポイントの入力を受ける。そして、生成部３２０は入力されたゼロポイント及び二次元イメージに対して設定された全体奥行き情報を用いて移動情報を生成する。
【００６０】
そして生成部３２０は移動情報を用いて二次元イメージを予め定められた方向に移動させて第２映像を生成することができる。
【００６１】
本願明細書では移動情報を生成部３２０で算出することを想定してこれを重点的に説明するが、移動情報は制御部で算出して生成部３２０に入力されることもできる。
【００６２】
合成部３２５は、生成部３２０で生成された第１映像及び第２映像を合成して三次元イメージを生成する機能を行う。
【００６３】
このように、二次元イメージを立体情報に応じて第１方向に移動して第１映像を生成し、二次元イメージをゼロポイントに相応して、すなわち移動情報に応じて第２方向に移動して第２映像を生成して、これを合成することにより結果的に陰刻及び陽刻をすべて含む三次元イメージを生成することができる。
【００６４】
すなわち、ゼロポイントはディスプレイ平面に位置する奥行き情報であり、三次元イメージ生成の際に生成された三次元イメージにおいて、ゼロポイントに該当する部分個体は奥行き情報がディスプレイ平面上に位置するため、奥行き情報を基本値（例えば、０）で表示することができる。
【００６５】
したがって、各部分個体に相応する奥行き情報に応じて部分個体を移動させた第１映像と、ゼロポイントに相応して二次元イメージを移動させた第２映像とを合成して、結果的には設定されたゼロポイントに基づいて各部分個体を陰刻及び陽刻で表示することができるという利点がある。
【００６６】
制御部３３０は、本発明による映像変換装置２００の内部構成要素（例えば、設定部３１０、保存部３１５、生成部３２０、合成部３２５など）を制御する。また、制御部３３０は外部から入力を受けて二次元イメージに対する全体奥行き情報を設定することができる。
【００６７】
また、制御部３３０は入力された原本映像が二次元イメージであるかあるいは二次元動画であるかを判断して、二次元動画である場合は二次元動画を各フレーム単位に区分して順次的に二次元イメージとして保存する機能を行うこともできる。
【００６８】
また、制御部３３０は、原本映像が二次元動画である場合は、当該二次元動画の各フレームに相応して変換された三次元イメージを合成して三次元動画を生成することもできる。
【００６９】
また制御部３３０は、外部からゼロポイントの入力を受けて二次元イメージに対する移動情報を算出して生成部３２０に出力することもできる。
【００７０】
図３には示されていないが、本発明による映像変換装置２００は変換された三次元イメージまたは三次元動画を補正するための補正部（図示せず）をさらに含むこともできる。補正部は制御部３３０の制御によって三次元イメージまたは三次元動画を補正する機能を行う。
【００７１】
図４は、本発明の一実施例に係る二次元動画を三次元動画に変換する方法を示す順序図である。以下では二次元動画を三次元動画に変換する方法について説明する。また、以下で説明するそれぞれのステップは映像変換装置２００のそれぞれの内部構成要素によって行われるが、理解と説明の便宜上、映像変換装置２００と総称して説明する。
【００７２】
ステップ４１０で、映像変換装置２００は二次元動画の入力を受ける。
ここで、映像変換装置２００は入力された原本映像が二次元動画であるか、二次元イメージであるかを判断する過程を行うことができる。本願明細書では二次元動画が入力されたと想定して説明しているので当該過程が省略されたが、二次元動画または二次元イメージを判断する過程を行った後に、二次元動画である場合にはステップ４１５に進むことができる。
【００７３】
ステップ４１５で、映像変換装置２００は二次元動画を各フレーム単位に区分する。そして、映像変換装置２００は区分されたそれぞれのフレームを順次的に二次元イメージに変換して保存する。
【００７４】
すなわち、二次元動画の場合は通常フレーム単位に保存される。よって、映像変換装置２００は二次元動画をそれぞれフレーム単位に区分した後に、これらを順次的に二次元イメージに変換して保存することができる。
【００７５】
ステップ４２０で、映像変換装置２００は第１フレームに相応する第１の二次元イメージを三次元イメージに変換する。
【００７６】
例えば、映像変換装置２００は第１の二次元イメージを中心物体に対して部分個体を区分し、部分個体に対して奥行き情報を設定する。そして、映像変換装置２００は設定された奥行き情報に該当する部分個体の領域を等高線情報として設定する。また、映像変換装置２００は、設定された等高線情報を除いた残りの部分に対して部分個体を区分し、奥行き情報を生成してその次の等高線情報を設定することができる。また、このような等高線情報は階層的に順次設定されることができる。このような方式により、映像変換装置２００は中心物体から周辺物体順に各部分個体を区分して立体情報を設定することができる。
【００７７】
本願明細書において立体情報は奥行き情報及び/または等高線情報を含むことができる。また、等高線情報は二次元イメージにおいて奥行き情報が同一である領域を結んだ曲線情報と定義する。よって、等高線情報は任意の奥行き情報に該当する領域情報として表示されることもできる。
【００７８】
中心物体から周辺物体順に部分個体を区分し、立体情報を設定する方法については下記の図１１を参照してより詳細に説明する。
【００７９】
また、二次元イメージを三次元イメージに変換する具体的な方法については下記の図５を参照してより詳細に説明する。
【００８０】
ステップ４２５で、映像変換装置２００は第１フレーム以後の二次元イメージを三次元イメージにコンバーティング、すなわち変換する。
【００８１】
例えば、二次元動画の場合、最初のフレームでない場合は、映像変換装置２００は隣接した以前フレームに相応する第ｎ−１（ｎは自然数）の二次元イメージに相応して設定された立体情報をローディングする。そして、映像変換装置２００は第ｎ−１の二次元イメージ及び第ｎの二次元イメージを比較して変更のあった個体を抽出する。次いで、映像変換装置２００は変更された個体に相応して立体情報を修正し、第ｎの二次元イメージに対する立体情報を設定する。
【００８２】
このような方法により映像変換装置２００は、二次元動画の場合は隣接した以前フレームに相応する立体情報をローディングし、これを用いて第ｎの二次元イメージに対する立体情報を生成することができる。このように、以前フレームに相応する立体情報を用いることにより、立体情報設定にかかる時間を短縮することができる。
【００８３】
最初のフレームでない場合は、二次元イメージを三次元イメージに変換する方法については下記の図１０を参照して詳細に説明する。
【００８４】
ステップ４３０で、映像変換装置２００は二次元動画のすべてのフレームを三次元イメージに変換したか否かを判断する。
【００８５】
例えば、映像変換装置２００は二次元動画の最後のフレームが三次元イメージに変換されたかを判断することにより、二次元動画のすべてのフレームが三次元イメージに変換されたか否かを確認することができる。
【００８６】
そして、すべてのフレームが三次元イメージに変換されなかった場合は、ステップ４２５に戻る。
【００８７】
しかし、すべてのフレームが三次元イメージに変換された場合は、ステップ４３５に進んで、映像変換装置２００は変換された複数の三次元イメージに対して補正及びリタッチを行う。
【００８８】
映像変換装置２００は二次元イメージを部分個体に区分し、部分個体ごとに奥行き情報を違いに設定し、これを用いて各部分個体を移動させる。この過程で各部分個体に損傷が生じる。このように損傷された部分は合成過程でまるで映像が引きずられたような現象として現われる。よって、映像変換装置２００は損傷された領域に対して補正及びリタッチ（ｒｅｔｏｕｃｈ）を行い、三次元イメージを十分に復元することができる。
【００８９】
ステップ４４０で、映像変換装置２００は補正された三次元イメージを用いて三次元動画を生成する。ここで、映像変換装置２００は二次元イメージの立体感及び隣接したフレームに相応する三次元イメージ間の連結性を確認することができる。
【００９０】
ステップ４４５で、映像変換装置２００は三次元動画を保存する。
【００９１】
図５は、本発明の一実施例に係る二次元イメージを三次元イメージに変換する方法を示す順序図であり、図６ないし図９は本発明の一実施例により生成された映像を例示する図面である。
【００９２】
以下では、それぞれの二次元イメージに相応する三次元イメージへの変換方法について具体的に説明する。ステップ４２０またはステップ４２５の具体的な実施例について説明する。また、以下に説明するそれぞれのステップは、映像変換装置２００のそれぞれの構成要素によって行われるが、理解と説明の便宜上、映像変換装置に総称して説明する。
【００９３】
また以下では、変換しようとする二次元イメージがローディングされていることを想定し、その後のステップより説明する。
【００９４】
ステップ５１０で、映像変換装置２００は二次元イメージの全体奥行き情報を設定する。
【００９５】
例えば、作業者は二次元イメージの全体的な立体感を任意に定義することができる。すなわち、映像変換装置２００は外部より二次元イメージの全体奥行き情報及び同一の奥行き情報に相応して配列することができる等高線数の入力を受けて、全体奥行き情報及び等高線数をそれぞれ設定することができる。
【００９６】
ステップ５１５で、映像変換装置２００は二次元イメージを部分個体に区分し、部分個体に相応する奥行き情報及び等高線を設定する。
【００９７】
例えば、映像変換装置２００は中心物体を設定した後、中心物体から部分個体を区分する。そして、映像変換装置２００は区分された部分個体に対して奥行き情報を設定する。また、映像変換装置２００は奥行き情報が同一である部分個体の領域を同じ等高線情報として設定する。このような方法により映像変換装置２００は中心物体から周辺物体まで部分個体を区分し、立体情報を設定することができる。
【００９８】
二次元イメージに対して設定される立体情報は階層的に設定されることができる。例えば、第１時点で設定された第１部分個体に対して立体情報を設定し、第２時点で設定される第２部分個体に相応する立体情報は第１部分個体に対する第１立体情報を含むことができる。
【００９９】
すなわち、第１部分個体に相応する奥行き情報が１である場合、第２部分個体で新たに設定された部分個体の奥行き情報は、第１部分個体の奥行き情報と当該第２部分個体の奥行き情報との合算値であってもよい。
【０１００】
すなわち、各部分個体に相応する奥行き情報は以前時点で設定された部分個体の奥行き情報との差の情報であってもよく、これは作業者によって任意的に設定されることができる。また、第２部分個体は第１部分個体の等高線情報を含むことができる。
【０１０１】
ステップ５２０で、映像変換装置２００は二次元イメージに相応して設定された立体情報を用いて、各部分個体を定められた方向、例えば、水平方向に移動させることにより第１映像を生成する。
【０１０２】
例えば、映像変換装置２００は二次元イメージの各部分個体に設定された奥行き情報を用いて、各部分個体を水平方向に移動させることにより第１映像を生成することができる。図８には第１映像が例示されている。
【０１０３】
ステップ５２５で、映像変換装置２００は二次元イメージに対してゼロポイントを設定する。
【０１０４】
例えば、映像変換装置２００は外部より入力を受けて二次元イメージに対するゼロポイントを設定することができる。
【０１０５】
上述したように、ゼロポイントは三次元イメージを表現するに当たって、ディスプレイ平面上に位置される奥行き情報である。よって、ゼロポイントと設定される奥行き情報は三次元イメージで表現するときに奥行き情報が“０“と設定される。
【０１０６】
ステップ５３０で、映像変換装置２００は設定されたゼロポイント及び全体奥行き情報を用いて移動情報を算出する。
【０１０７】
例えば、映像変換装置２００は下記の式１を用いて移動情報を生成することができる。
【０１０８】
【数１】
2011523323.tif 000003
【０１０９】
例えば、全体の奥行き情報が５０であり、ゼロポイントが１０であると、移動情報は４０を算出する。このように、ゼロポイントを設定して移動情報を算出し、これを用いて二次元イメージを定められた方向に移動させて第２映像を生成した後に、第１映像と合成することにより、結果的にゼロポイントを基準として陰刻及び陽刻がすべて含まれた三次元イメージを生成することができるという利点がある。
【０１１０】
また、本発明によるゼロポイントを用いることにより、複雑な演算手順なしで三次元イメージに陰刻及び陽刻を表現することができる。また、ゼロポイントを変更することにより、手軽く陰刻及び陽刻による三次元イメージを変更することができるという利点がある。
【０１１１】
ステップ５３５で、映像変換装置２００は、算出した移動情報を用いて二次元イメージを定められた方向に移動させることにより第２映像を生成する。第２映像は各部分個体を、移動情報を用いて移動させた映像である。
【０１１２】
図６は二次元イメージ、すなわち原本映像であり、図７は移動情報に応じて移動させた第２臨時映像である。図６及び図７を比較すると、図７が移動情報だけ移動されたことが分かる。
【０１１３】
ステップ５４０で、映像変換装置２００は第１映像及び第２映像を合成して三次元イメージを生成する。
【０１１４】
例えば、第１映像と第２映像とを合成して生成された三次元イメージは陰刻及び陽刻をすべて含む三次元イメージに生成されることが分かる。第１映像（例えば、図８）及び第２映像（例えば、図７）を合成した三次元イメージが図９に例示されている。図９に示す三次元イメージは赤青眼鏡を用いて映像を立体的に確認することができる。本願明細書では、理解と説明の便宜上、赤青眼鏡を用いて立体感を確認できるように三次元イメージを生成したが、具現方法に応じて三次元イメージは赤青眼鏡でなく他の装置を用いて立体感を確認できるように生成されることもできることは明らかである。
【０１１５】
図１０は、本発明の他の実施例による三次元映像変換方法を示す順序図である。以下では二次元動画の第１フレームに相応して三次元イメージが生成されたことを想定し、その後のフレームに相応して三次元イメージへ変換する方法について説明する。また、以下に説明するそれぞれのステップは映像変換装置２００のそれぞれの内部構成要素により行われるが、理解と説明の便宜上、映像変換装置と総称して説明する。以下では、現在時点で変換しようとするフレームに相応する二次元イメージがローディングされていることを想定して説明する。
【０１１６】
ステップ１０１０で、映像変換装置２００は以前時点で変換されたフレームに相応する三次元イメージに相応する立体情報、すなわち、奥行き情報、等高線情報をローディングする。
【０１１７】
ステップ１０１５で、映像変換装置２００は第ｎ−１の二次元イメージに相応して変更された物体に対して立体情報を修正する。ここで、ゼロポイントは第１フレームに相応する二次元イメージの変更時に設定された値が初期値として設定されて、以後のフレームで用いられることを想定する。
【０１１８】
例えば、以前時点で変更された第ｎ−１の二次元イメージと現在時点で変更されることになる第ｎの二次元イメージとを比較したときに、追加された客体、削除された客体、移動された客体、模様の変更された客体などが存在する。よって、映像変換装置２００はローディングされた立体情報を修正して第ｎの二次元イメージに相応する立体情報を生成する。
【０１１９】
例えば、任意の客体が以前時点に比べてＺ軸に基づいて移動した場合は、映像変換装置２００は当該客体に対して奥行き情報を変更する。また任意の客体が以前時点に比べてＸ軸またはＹ軸へ移動した場合、映像変換装置２００は当該客体に対する等高線を変更することができる。また任意の客体が追加された場合には、映像変換装置２００は該当追加された客体に対して奥行き情報を設定し、当該客体に対して等高線を設定することができる。一方、任意の客体が削除された場合には、映像変換装置２００は当該客体に対する立体情報を削除することもできる。
【０１２０】
以後の過程は図５のステップ５２０以後の過程と同様であるため、重複される説明は省略する。
【０１２１】
図１１及び図１２は本発明の一実施例に係る映像変換装置で提供する画面を例示する図面である。
【０１２２】
図１１及び図１２に示すように、二次元イメージに対して中心物体から奥行き情報及び等高線を、入力を受けて設定する。この時、図１１の１１１０のように、奥行き情報が同一である部分個体は同一の等高線に含まれるように設定される。そして、１１１０のように、ソフトウェアの形態で提供するときにはレイヤの概念を用いて同一の奥行き情報を有する各部分個体は同一のレイヤに含まれることができる。また、二次元イメージの中心物体から階層的に等高線情報を設定することができる。
【０１２３】
すなわち、各レイヤは当該レイヤの奥行き情報を含むことができる。そして、各レイヤは奥行き情報の同一である複数の部分個体が配列形態に配置されて出力されることができる。
【０１２４】
これにより、使用者が各レイヤに含まれる部分個体を容易に認知することができる。
また、各部分個体に対する立体情報は同一の奥行き情報に基づいて階層的な形態に区分されることができる。
【０１２５】
例えば、中心物体を中心に第１奥行き情報に該当する部分個体を区分し、これを１１２０に示すように、各部分個体を水平方向に配列し、当該部分個体を結んで等高線を設定する。
【０１２６】
そして、第２奥行き情報に該当する部分個体は第１奥行き情報に該当する部分個体を除いた残りの領域で区分されて、立体情報が設定される。ここで、第２奥行き情報は第１奥行き情報との差の値であってもよい。
【０１２７】
したがって、最後に設定される部分個体は、以前に設定されたすべての部分個体の奥行き情報を合算した値が当該部分個体の奥行き情報となることが分かる。
【０１２８】
また、上述の方法により二次元イメージを三次元イメージに変換する方法を行うための命令語がプログラムまたはソフトウェア形態に具体化されることができることは明らかである。
以上では本発明の好ましい実施例を参照して説明したが、当該技術分野で通常の知識を有する者であれば、下記の特許請求の範囲に記載された本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更させることができることを理解できよう。 
【図１】
2011523323.tif 000004
【図２】
2011523323.tif 000005
【図３】
2011523323.tif 000006
【図４】
2011523323.tif 000007
【図５】
2011523323.tif 000008
【図６】
2011523323.tif 000009
【図７】
2011523323.tif 000010
【図８】
2011523323.tif 000011
【図９】
2011523323.tif 000012
【図１０】
2011523323.tif 000013
【図１１】
2011523323.tif 000014
【図１２】
2011523323.tif 000015
【国際調査報告】
2011523323.tif 000016
2011523323.tif 000017
2011523323.tif 000018
2011523323.tif 000019