(57)【要約】【課題】  少ない費用で２次元コンテンツを変換して優秀な品質の３次元コンテンツを得ることができる、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体を提供する。【解決手段】  コンテンツ変換方法は、映像コンテンツである２次元コンテンツの複数のフレームの中でキーフレームを選定する段階と；選定された前記キーフレームに対してオブジェクトを抽出する段階と；抽出された前記オブジェクトに対して３次元コンテンツへの変換のための深さを割り当てる段階と；前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階と；前記深さが割り当てられたキーフレーム及び前記トラッキングが遂行されたフレームに対してレンダリングを遂行する段階を含む。【選択図】      図２
2012244623.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツ変換装置を利用して２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法にあって、
映像コンテンツである２次元コンテンツの複数のフレームの中でキーフレームを選定する段階と；
選定された前記キーフレームに対してオブジェクトを抽出する段階と；
抽出された前記オブジェクトに対して３次元コンテンツの変換のための深さを割り当てる段階と；
前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階と；
前記深さが割り当てられたキーフレーム及び前記トラッキングが遂行されたフレームに対してレンダリングを遂行する段階を含むコンテンツ変換方法。
【請求項２】
前記キーフレームを選定する段階は、
前記フレームの映像のモーションに基づいて前記キーフレームを選定する段階を含む請求項１に記載のコンテンツ変換方法。
【請求項３】
前記トラッキングを遂行する段階は、
前記キーフレームに割り当てられた深さに基づいて前記余りのキーフレームの深さを割り当てる段階を含む請求項１に記載のコンテンツ変換方法。
【請求項４】
前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行される請求項１に記載のコンテンツ変換方法。
【請求項５】
前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、使用者の入力によって遂行される請求項１に記載のコンテンツ変換方法。
【請求項６】
前記レンダリングが遂行された前記複数のフレームに対して３次元画質処理を遂行する段階を更に含む請求項１に記載のコンテンツ変換方法。
【請求項７】
２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置にあって、
映像コンテンツである２次元コンテンツの複数のフレームの中でキーフレームを選定して、選定された前記キーフレームに対してオブジェクトを抽出して、抽出された前記オブジェクトに対して３次元コンテンツへの変換のための深さを割り当てて、前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行して、前記深さが割り当てられたキーフレーム及び前記トラッキングが遂行されたフレームに対してレンダリングを遂行する変換部を含むコンテンツ変換装置。
【請求項８】
前記変換部は、前記フレームの映像のモーションに基づいて前記キーフレームを選定する請求項７に記載のコンテンツ変換装置。
【請求項９】
前記変換部は、前記キーフレームに割り当てられた深さに基づいて前記余りのキーフレームの深さを割り当てて前記トラッキングを遂行する請求項７に記載のコンテンツ変換装置。
【請求項１０】
前記変換部は、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて前記オブジェクトの抽出及び前記深さの割り当ての中少なくとも一つを遂行する請求項７に記載のコンテンツ変換装置。
【請求項１１】
使用者の入力を受信する使用者入力部を更に含めて、
前記変換部は、前記使用者の入力によって前記オブジェクトの抽出及び前記深さの割り当ての中少なくとも一つを遂行する請求項７に記載のコンテンツ変換装置。
【請求項１２】
前記変換部は、前記レンダリングが遂行された前記複数のフレームに対して３次元画質処理を更に遂行する請求項７に記載のコンテンツ変換装置。
【請求項１３】
コンピューターで実行することができる命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を持つコンピューターで判読することができる貯蔵媒体にあって、
前記コンピューターのプロセスによって前記命令が遂行される時、前記命令は２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法を遂行して、前記コンテンツ変換方法は、
映像コンテンツである２次元コンテンツの複数のフレームの中でキーフレームを選定する段階；
選定された前記キーフレームに対してオブジェクトを抽出する段階；
抽出された前記オブジェクトに対して３次元コンテンツへの変換のための深さを割り当てる段階；
前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階；及び
前記深さが割り当てられたキーフレーム及び前記トラッキングが遂行されたフレームに対してレンダリングを遂行する段階を含むコンピューターで判読することができる貯蔵媒体。
【請求項１４】
前記キーフレームを選定する段階は、
前記フレームの映像のモーションに基づいて前記キーフレームを選定する段階を含むコンピューターで判読することができる請求項１３に記載の貯蔵媒体。
【請求項１５】
前記トラッキングを遂行する段階は、
前記キーフレームに割り当てられた深さに基づいて前記余りのキーフレームの深さを割り当てる段階を含むコンピューターで判読することができる請求項１３に記載の貯蔵媒体。
【請求項１６】
前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されるコンピューターで判読することができる請求項１３に記載の貯蔵媒体。
【請求項１７】
前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、使用者の入力によって遂行されるコンピューターで判読することができる請求項１３に記載の貯蔵媒体。
【請求項１８】
前記コンテンツ変換方法は、
前記レンダリングが遂行された複数のフレームに対して３次元画質処理を遂行する段階を更に含むコンピューターで判読することができる請求項１３に記載の貯蔵媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体に関するものとして、より詳しくは、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体に関するものである。
【背景技術】
【０００２】
映画、ドラマ、スポーツなどのような映像コンテンツ（以下、簡単に、‘コンテンツ’と言う）はＴＶ，ＰＣ，スマートフォーン、スマートパット、ＰＭＰ（ｐｏｒｔａｂｌｅ  ｍｕｌｔｉｍｅｄｉａ  ｐｌａｙｅｒ），ＭＰ３プレーヤーなどのようにコンテンツ再生機能を持つディスプレー装置によって再生される。
【０００３】
一方、近来３次元映像のディスプレー技術の発展で、このようなコンテンツが３次元コンテンツに作られて、３次元映像のディスプレーができるディスプレー装置によって再生されることもある。
【０００４】
しかし、このような３次元コンテンツを作る時通常莫大な規模の装置と、開発人力が必要で相当大きい費用と、時間が掛かるので、まだ優秀な品質の３次元コンテンツが多くない実情である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
故に、本発明の目的は、少ない費用で２次元コンテンツを変換して優秀な品質の３次元コンテンツを得ることができるコンテンツ変換装置、コンテンツ変換方法及びその貯蔵媒体を提供することである。
【課題を解決するための手段】
【０００６】
本発明の前記目的は、コンテンツ変換装置を利用して２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法にあって、映像コンテンツである２次元コンテンツの複数のフレームの中でキーフレームを選定する段階と；選定された前記キーフレームに対してオブジェクトを抽出する段階と；抽出された前記オブジェクトに対して３次元コンテンツへの変換のための深さ（ｄｅｐｔｈ）を割り当てる段階と；前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階と；前記深さが割り当てられたキーフレーム及び前記トラッキングが遂行されたフレームに対してレンダリングを遂行する段階を含むコンテンツ変換方法によって達成されることができる。
【０００７】
前記キーフレームを選定する段階は、前記フレームの映像のモーションに基づいて前記キーフレームを選定する段階を含むことができる。
【０００８】
前記トラッキングを遂行する段階は、前記キーフレームに割り当てられた深さに基づいて前記あまりのキーフレームの深さを割り当てる段階を含むことができる。
【０００９】
前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されることができる。
【００１０】
前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、使用者の入力によって遂行されることができる。
【００１１】
前記コンテンツ変換方法は、前記レンダリングが遂行された前記複数のフレームに対して３次元画質処理を遂行する段階を更に含むことができる。
【００１２】
本発明の前記目的は、２次元コンテンツを３次元コンテンツに変換するコンテンツ変換装置にあって、映像コンテンツである２次元コンテンツの複数のフレームの中でキーフレームを選定して、選定された前記キーフレームに対してオブジェクトを抽出して、抽出された前記オブジェクトに対して３次元コンテンツへの変換のための深さを割り当てて、前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行して、前記深さが割り当てられたキーフレーム及び前記トラッキングが遂行されたフレームに対してレンダリングを遂行する変換部を含むコンテンツ変換装置によっても達成されることができる。
【００１３】
前記変換部は、前記フレームの映像のモーションに基づいて前記キーフレームを選定することができる。
【００１４】
前記変換部は、前記キーフレームに割り当てられた深さに基づいて前記余りのキーフレームの深さを割り当てて前記トラッキングを遂行することができる。
【００１５】
前記変換部は、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて前記オブジェクトの抽出及び前記深さの割り当ての中少なくとも一つを遂行することができる。
【００１６】
前記コンテンツ変換装置は、使用者の入力を受信する使用者の入力部を更に含めて、前記変換部は、前記使用者の入力によって前記オブジェクトの抽出及び前記深さの割り当ての中少なくとも一つを遂行することができる。
【００１７】
前記変換部は、前記レンダリングが遂行された前記複数のフレームに対して３次元画質処理を更に遂行することができる。
【００１８】
本発明の前記目的は、コンピューターで実行することができる命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を持つコンピューターで判読することができる貯蔵媒体にあって、前記コンピューターのプロセスによって前記命令が遂行されると時、前記命令は２次元コンテンツを３次元コンテンツに変換するコンテンツ変換方法を遂行して、前記コンテンツ変換方法は、映像コンテンツである２次元コンテンツの複数のフレームの中でキーフレームを選定する段階；選定された前記キーフレームに対してオブジェクトを抽出する段階；抽出された前記オブジェクトに対して３次元コンテンツへの変換のための深さを割り当てる段階と；前記複数のフレームの中で前記キーフレームを除いた余りのフレームに対してトラッキングを遂行する段階；及び前記深さが割り当てられたキーフレーム及び前記トラッキングが遂行されたフレームに対してレンダリングを遂行する段階を含むコンピューターで判読することができる貯蔵媒体によっても達成されることができる。
【００１９】
前記キーフレームを選定する段階は、前記フレームの映像のモーションに基づいて前記キーフレームを選定する段階を含むことができる。
【００２０】
前記トラッキングを遂行する段階は、前記キーフレームに割り当てられた深さに基づいて前記余りのキーフレームの深さを割り当てる段階を含むことができる。
【００２１】
前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、処理される前記フレームの場面の内容及び展開過程に関する情報に基づいて遂行されることができる。
【００２２】
前記オブジェクトを抽出する段階及び前記深さを割り当てる段階の中少なくとも一つは、使用者の入力によって遂行されることができる。
【００２３】
前記コンテンツ変換方法は、前記レンダリングが遂行された前記複数のフレームに対して３次元画質処理を遂行する段階を更に含むことができる。
【発明の効果】
【００２４】
上述の通り、本発明によると、少ない費用で２次元コンテンツを変換して優秀な品質の３次元コンテンツを得ることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施例によるコンテンツ変換装置の構成を図示したブロック図である。
【図２】図１に示されたコンテンツ変換装置の動作を図示した流れ図である。
【図３】図１に示されたコンテンツ変換装置のキーフレームの選定などを図示する。
【図４】図１図３に示されたコンテンツ変換装置の動作の他の例を図示した流れ図である。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施例に関して詳しく説明する。
【００２７】
図１は、本発明の一実施例によるコンテンツ変換装置の構成を図示したブロック図である。コンテンツ変換装置１は２次元のコンテンツ（以下、‘２次元コンテンツ’と言う）を３次元コンテンツに変換する。本実施例のコンテンツは、動画コンテンツで、例えば映画、ドラマ、スポーツなどのコンテンツを含む。
【００２８】
コンテンツ変換装置１は所定の２次元コンテンツ提供装置（図示せず）から３次元コンテンツに変換する２次元コンテンツを提供されることができる。コンテンツ変換装置１は所定のネットワーク（図示せず）を通じて２次元コンテンツ提供装置から２次元コンテンツを提供されることができる。２次元コンテンツ提供装置は、例えば、ネットワークサーバとして、２次元コンテンツを貯蔵して、コンテンツ変換装置１の要請によって２次元コンテンツをコンテンツ変換装置１に転送することができる。
【００２９】
他の実施例で、コンテンツ変換装置１は、ネットワークではない他のデータの転送手段を通じて２次元コンテンツ提供装置から２次元コンテンツを与えられることもできる。例えば、２次元コンテンツ提供装置は２次元コンテンツを貯蔵するハードディスク、フラッシュメモリーなどのような貯蔵手段を具備する装置で、コンテンツ変換装置１にローカル装置として連結されてコンテンツ変換装置１の要請によって２次元コンテンツをコンテンツ変換装置１に転送することができる。この場合、２次元コンテンツのデータの転送のためであると、コンテンツ変換装置１と、２次元コンテンツ提供装置間のローカル連結方式には限りがなくて、例えば、ＵＳＢなどを含む。
【００３０】
また他の実施例で、コンテンツ変換装置１は、３次元コンテンツ提供装置（図示せず）から２次元コンテンツを提供されることもできる。例えば、３次元コンテンツ提供装置は２次元コンテンツをコンテンツ変換装置１に伝達して、コンテンツ変換装置１によって変換された３次元コンテンツを受信して、これを所定の使用者端末機（図示せず）に提供することができる。使用者端末機はコンテンツ変換装置１から提供された３次元コンテンツを３次元の立体映像にディスプレーすることができる機能を持って、例えば、ＴＶ，ＰＣ，スマート携帯電話、スマートパッド、ＰＭＰ、ＭＰ３プレーなどがある。
【００３１】
また他の実施例として、コンテンツ変換装置１は、変換された３次元コンテンツを３次元の立体映像にディスプレーすることができる機能を持つ使用者端末機に転送することができる。コンテンツ変換装置１は、例えば、ネットワークを通じて使用者端末機に３次元コンテンツを提供することができる。
【００３２】
本実施例のネットワークにあって、２次元コンテンツ及び?又は３次元コンテンツの転送のためのデータ通信であると、有線及び?又は無線通信方式などネットワークの通信方式には制限がなくて、知られた通信方式を全部含む。
【００３３】
コンテンツ変換装置１は、図１に図示されたように、変換部１１及び通信部１４を含むことができる。変換部１１は２次元コンテンツを３次元コンテンツに変換する。２次元コンテンツは複数の映像フレーム（以下、‘フレーム’と言う）を含む。３次元コンテンツは視聴者の両眼の視差を利用することで、複数の左眼のフレーム及び複数の右眼のフレームを含むことができる。複数の左眼フレーム及び複数の右眼フレームの中一対の左眼フレームと、右眼フレームは、２次元コンテンツの複数のフレームの中で対応する少なくともある一つから各々変換されることである。変換部１１によって遂行される２次元コンテンツから３次元コンテンツへの変換（以下、‘２次元−３次元変換’と言う）に関しては下記にまた上述する。
【００３４】
通信部１４は２次元コンテンツ提供装置及びコンテンツ変換装置１間のデータ通信、３次元コンテンツ提供装置及びコンテンツ変換装置１間のデータ通信、又は使用者端末機及びコンテンツ変換装置１間のデータ通信を遂行することができる。
【００３５】
変換部１１は、貯蔵部１１１、ＲＡＭ１１２及びＣＰＵ１１３を含むことができる。貯蔵部１１１は２次元−３次元変換を遂行するための変換プログラム１１４、変換する２次元コンテンツ１１５及び２次元コンテンツから変換される３次元コンテンツ１１６を貯蔵することができる。貯蔵部１１１はハードディスク、フラッシュメモリーなどの持久のメモリーに具現されることができる。ＲＡＭ１１２には変換部１１の動作時変換プログラム１１４の少なくとも一部がローディングされて、ＣＰＵ１１３はＲＡＭ１１２にローディングされた変換プログラム１１４を実行する。変換プログラム１１４はＣＰＵ１１３によって実行できる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を持つ。貯蔵部１１１はコンピューターで判読することができる貯蔵媒体の一例である。
【００３６】
図２は図１に図示されたコンテンツ変換装置１の動作を図示した流れ図である。図２に図示されたコンテンツ変換装置１の動作（以下、‘２次元−３次元変換プロセス’と言う）は、変換プログラム１１４の命令によって遂行されるコンテンツ変換方法に対応する。本実施例の２次元−３次元変換プロセスは、キーフレームの選定２０１、オブジェクト抽出２０２、深さ割り当て２０３、トラッキング（ｔｒａｃｋｉｎｇ；２０４）及びレンダリング（ｒｅｎｄｅｒｉｎｇ；２０５）を含むことができる。
【００３７】
先ず、キーフレームの選定２０１では、２次元コンテンツの複数のフレームの中で任意のキーフレームが選定される。図３は本実施例のキーフレームの選定２０１を図示する。符号３０１は変換される２次元コンテンツの複数のフレームを表す。符号３０２は複数のフレーム３０１の中でキーフレームに選定されたフレームを、符号３０３はあまりのフレームを各々表す。キーフレームとしては、２次元コンテンツの複数のフレーム３０１の中で映像の内容を代表することができるフレームが選定されることができる。例えば、キーフレーム３０２は、場面が転換されるフレーム、場面の主人公がクローズアップされるフレームなどであることができる。キーフレーム３０２は該当フレームの映像のモーションに基づいて設定されることができる。例えば、映像のモーションが所定値以上であるフレームをキーフレーム３０２に選定することができる。
【００３８】
また図２を参照すると、オブジェクト抽出２０２では、選定されたキーフレーム３０２に対して３次元の効果が反映されるオブジェクトが抽出される（図３の３０４参照）。オブジェクトは各フレームの場面の中で含まれた主要なイメージとして、例えば、主人公が登場する場面で主人公である人物のイメージ、車両が走る場面で該当車両のイメージなどを挙げることができる。オブジェクトの抽出２０２では、該当フレームの映像を分割（ｓｅｇｍｅｎｔａｔｉｏｎ）してその結果からオブジェクトの境界（ｂｏｕｎｄａｒｙ）を抽出することができる。
【００３９】
深さの割り当て２０３では、オブジェクト抽出２０２のプロセスで抽出されたオブジェクトに対して深さが割り当てられる（図３の３０４参照）。深さは３次元の視覚効果を出すためのパラメーターで、対応して生成される左眼フレーム及び右眼フレームでオブジェクトを割り当てられたパラメーターの値だけ各々左側及び右側方向に移動（ｓｈｉｆｔ）させることに利用される。深さの割り当て２０３では、先に決められた定型化されたテンプレート（ｔｅｍｐｌａｔｅ）を利用して深さが割り当てられることができる。
【００４０】
トラッキング２０４では、キーフレーム３０２ではない余りのフレーム３０３に対して対応する左眼のフレーム及び右眼のフレームが生成される（図３の３０５参照）。トラッキング２０４はキーフレーム３０２に遂行されたオブジェクトの抽出２０２及び深さの割り当て２０３を参照して遂行されることができる。
【００４１】
以上の如く、本実施例によると、主要なキーフレーム３０２を選定してキーフレーム３０２に対してオブジェクトの抽出２０２、深さの割り当て２０３を遂行して、余りのフレーム３０３に対してキーフレーム３０２を参照してトラッキング２０４を遂行することで、品質的に優秀さを維持しなから、費用的、時間的に効率的な変換処理を遂行することができる。
【００４２】
レンダリング２０５では深さの割り当て２０３及びトラッキング２０４が遂行された左眼のフレーム及び右眼のフレームに対して完成された３次元の映像のためのイメージ処理が遂行される。例えば、レンダリング２０５ではフレームの映像でオブジェクトの移動によって発生した空いた領域を満たす処理、いわゆる、インペインティング（ｉｎｐａｉｎｔｉｎｇ）などが遂行されることができる。
【００４３】
本実施例の２次元−３次元変換プロセスの中少なくとも一つは、処理されるフレームの場面の内容及び展開過程に関する情報（以下、‘ストーリテリング（ｓｔｏｒｙｔｅｌｌｉｎｇ）情報’と言う）に基づいて遂行されることができる。ストーリテリングの情報はコンテンツの製作者が意図したことによってコンテンツのストーリ展開に合わせて３次元の視覚の効果が対応的に起こることができるように利用される情報である。本実施例では、オブジェクトの抽出２０２、深さの割り当て２０３などのプロセスがストーリテリングの情報に基づいて遂行されることができる。ストーリテリングの情報を利用する例としては、二人の人物が話し合う場面で、話し合う二人の後ろを他の主要人物が通る場合、他の主要人物を該当フレームでのオブジェクトに抽出するようにしたり、抽出された他の主要人物のオブジェクトに深さを十分適用するようにするなどの例を挙げることができる。このような例で、ストーリテリングの情報はオブジェクトの抽出のための他の主要人物のイメージに関する情報や、深さの割り当てのためにストーリ展開上の主要な程度を表す値などを含むことができて、該当フレームに対応して先に設けられて貯蔵部１１１に貯蔵されることができる。変換部１１は該当フレームに対するプロセスを行なう時貯蔵部１１１に貯蔵されたストーリテリングの情報を参照してプロセスを遂行することができる。
【００４４】
本実施例の２次元−３次元変換プロセスの中少なくとも一つのプロセスは、使用者の入力によって遂行される受動プロセス及び先に決められた基準情報によって遂行される自動プロセスを含むことができる。例えば、オブジェクトの抽出２０２、深さの割り当て２０３などのプロセスで、一部のフレームは受動プロセスによって処理されて、余りのフレームに関しては自動プロセスによって処理されることができる。
【００４５】
受動プロセスでは、使用者（コンテンツ変換作業を遂行する開発者）の入力によって変換処理が遂行されることができる。コンテンツ変換装置１は使用者の入力のためにキーボード、マウス、タブレットなどのような使用者入力部１２を更に含むことができる。また、コンテンツ変換装置１は使用者が変換処理状況を確認することができるように、変換処理される映像をディスプレーするモニターのようなディスプレー部１３を更に含むことができる。コンテンツ変換装置１は効果的に使用者の入力を受信するために、ディスプレー部１３に処理されるフレームの映像と、所定入力メニューなどを含むＧＵＩ（図示せず）を表示することができる。使用者はディスプレー部１３に表示されるフレームの映像を確認しながら、ＧＵＩの入力メニューなどを利用して変換処理のための入力をすることができる。例えば、使用者はフレームの映像に含まれたオブジェクトを確認しながら、ＧＵＩの入力メニューなどを利用して該当オブジェクトが抽出されるように入力の操作をすることができる。
【００４６】
自動プロセスでは、先に決められた基準情報によってプロセスが遂行される。例えば。オブジェクトの抽出２０２にあって、コンテンツ変換装置１はフレームの映像を分析して、映像内のあるオブジェクトの境界で画素値の変化が所定閾値以上であるオブジェクトを抽出するオブジェクトに選択することができる。ここで基準情報は抽出するオブジェクトに選択するようにする、オブジェクトの境界での画素値の変化の閾値であることができる。
【００４７】
本実施例の２次元−３次元変換プロセスは、３次元コンテンツの品質に対応して遂行されることができる。３次元コンテンツの品質は、ある２次元−３次元変換プロセスにあって、受動プロセス及び自動プロセスが各々どのぐらい遂行されるかを表す。例えば、オブジェクトの抽出２０２にあって、受動プロセスと、自動プロセスが各々半分づつ設けられた場合などを挙げることができる。３次元コンテンツの品質は、ある２次元−３次元変換プロセス全体の中で自動プロセス（若しくは受動プロセス）が遂行される比率（以下、‘組合比率’と言う）に表すことができる。ある２次元−３次元変換プロセスにあって自動プロセスに処理されるか、それとも受動プロセスに処理されるかの区分は、例えば、フレーム単位に設けられることができる。
【００４８】
３次元コンテンツの品質は、複数の品質モードを含めて、複数の品質モードの中選択されたある一つに対応して２次元−３次元変換プロセスが遂行されることができる。複数の品質モードは、例えば、品質が高い順に‘簡易（Ｓｉｍｐｌｅ）モード’、‘基本（Ｂａｓｉｃ）モード’、‘向上された（Ａｄｖａｎｃｅｄ）モード’及び‘専門家（Ｅｘｐｅｒｔ）モード’を含むことができる。この品質のモードは各々の組合比率（自動プロセスの遂行比率）が、該当プロセス全体の中で、例えば、８５％超過、８５％、７０％及び５０％であることができる。
【００４９】
３次元コンテンツの品質は、２次元コンテンツの種類若しくは属性によって決定されることがある。例えば、２次元コンテンツが最新作の映画の場合、相対的に高い品質に決定されて、古い映像は相対的に低い品質に決定されることがある。他の例で、ブロックバスターのようなスケールが大きい映画の場合、相対的に高い品質に決定されて、ストーリの展開に重点を置く映画は相対的に低い品質に決定されることがある。また他の例で、スポーツ、映画、ドラマなどのようなコンテンツのジャンルによって３次元コンテンツの品質が決定されることもある。また他の例で、３次元コンテンツの品質は使用者の入力によって決定されることもできる。３次元コンテンツの品質の決定のための使用者の入力は使用者の入力部１２から受信されることもできて、通信部１４を通じて他の装置から受信されることもできる。
【００５０】
図４は図１に図示されたコンテンツ変換装置１の動作の他の例を図示した流れ図である。図４に図示されたコンテンツ変換装置１に関して図３を参照して説明したコンテンツ変換装置１と同一乃至類似な構成に対しては説明を省略する。図４に図示されたコンテンツ変換装置１よって遂行される２次元−３次元変換プロセスは、キーフレームの選定４０１、オブジェクトの抽出４０２、深さの割り当て４０３、トラッキング４０４、レンダリング４０５及び３次元画質処理４０６を含むことができる。
【００５１】
先ず、キーフレームの選定４０１では、２次元コンテンツの複数のフレームの中で任意のキーフレムが選定される。オブジェクトの抽出４０２では、選定されたキーフレームに対してオブジェクトが抽出される。深さの割り当て４０３では、オブジェクトの抽出４０２のプロセスで抽出されたオブジェクトに対して深さが割り当てられる。トラッキング４０４では、キーフレームではない余りのフレームに対して対応する左眼のフレーム及び右眼のフレームが生成される。レンダリング４０５では深さの割り当て４０３及びトラッキング４０４が遂行された左眼のフレーム及び右眼のフレームに対して完成された３次元の映像のためのイメージ処理が遂行される。
【００５２】
３次元画質処理４０６では、レンダリング４０５が遂行されたフレームに対して３次元画質処理が遂行される。３次元画質処理４０６はコントラスト向上（ｃｏｎｔｒａｓｔ  ｅｎｈａｎｃｅｍｅｎｔ）、ディテール向上（ｄｅｔａｉｌ  ｅｎｈａｎｃｅｍｅｎｔ）などを含むことができる。３次元画質処置４０６によって、３次元コンテンツの実際のディスプレー時画質の側面でディスプレーする装置に最適化されるように画質改選が設けられることができる。
【００５３】
以上、好ましい実施例を通じて本発明に関して詳しく説明したが、本発明はこれに限定されず特許請求範囲内で多様に実施されることができる。
【符号の説明】
【００５４】
１    コンテンツ変換装置
１１  変換部
１２  使用者の入力部
１３  ディスプレー部
１４  通信部
【図１】
2012244623.tif 000003
【図２】
2012244623.tif 000004
【図３】
2012244623.tif 000005
【図４】
2012244623.tif 000006