(57)【要約】  二次元映像のビデオデータを、二次元映像または三次元映像として出力する映像処理方法において、ビデオデータに係わるメタデータから、ビデオデータのフレームを所定のユニットに区分するための情報のビデオデータに係わる情報を抽出し、ビデオデータに係わる情報を利用し、ビデオデータを二次元映像または三次元映像として出力する映像処理方法が開示されている。
2011525745.tif 000002
【特許請求の範囲】
【請求項１】
二次元映像のビデオデータを、二次元映像または三次元映像として出力する映像処理方法において、
映像処理装置は、前記ビデオデータに係わるメタデータから、前記ビデオデータに係わる情報を抽出する段階と、
前記映像処理装置は、前記ビデオデータに係わる情報を利用し、前記ビデオデータを二次元映像及び三次元映像のうち選択して出力する段階と、を含み、
前記ビデオデータに係わる情報は、前記ビデオデータのフレームを所定のユニットに区分するための情報を含むことを特徴とする映像処理方法。
【請求項２】
前記所定のユニットに区分するための情報は、以前フレームを利用して現在フレームの背景構図が予測されうる一連のフレームのまとまりを１つのショットに区分するためのショット情報であることを特徴とする請求項１に記載の映像処理方法。
【請求項３】
前記ショット情報は、
１つのショットに区分されるフレームのまとまりのうち、最初に出力されるフレームの出力時刻情報、及び／または最後に出力されるフレームの出力時刻情報を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項４】
前記メタデータは、前記１つのショットに区分されるフレームのまとまりを、前記二次元映像として出力するか、あるいは前記三次元映像として出力するかを示すショットタイプ情報を含み、
前記出力する段階は、前記ショットタイプ情報によって、前記１つのショットに区分されるフレームのまとまりを、前記二次元映像または前記三次元映像として出力する段階を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項５】
前記出力する段階は、
前記メタデータによって、現在フレームが前記現在フレームに先行する以前フレームと比較し、以前フレームを利用して背景構図が予測されえない、新たなショットに区分されるフレームであるか否かを判断する段階と、
前記現在フレームが前記新たなショットに区分されるフレームである場合、前記現在フレームを二次元映像として出力する段階と、
前記新たなショットに区分されるフレームのまとまりのうち他のフレームを三次元映像に変換し、前記変換された三次元映像を出力する段階と、を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項６】
前記出力する段階は、
前記メタデータによって、現在フレームが前記現在フレームに先行する以前フレームと比較し、現在フレームが以前フレームを利用して背景構図が予測されえない、新たなショットに区分されるフレームであるか否かを判断する段階と、
前記現在フレームが前記新たなショットに区分されるフレームである場合、前記メタデータから、前記新たなショットに区分されるフレームに適用する背景用デプス情報を抽出する段階と、
前記現在フレームが前記新たなショットに区分されるフレームである場合、前記背景用デプス情報を利用し、前記現在フレームに係わるデプスマップを生成する段階と、を含むことを特徴とする請求項２に記載の映像処理方法。
【請求項７】
前記背景用デプス情報は、現在フレームの背景の座標点値、前記座標点値にそれぞれ対応するデプス値、及びパネル・ポジション値を含み、
前記現在フレームに係わるデプスマップを生成する段階は、
前記座標点値、前記デプス値及び出力スクリーンのデプス値を示す前記パネル・ポジション値を利用し、前記現在フレームの背景に係わるデプスマップを生成する段階を含むことを特徴とする請求項６に記載の映像処理方法。
【請求項８】
前記メタデータを前記ビデオデータが記録されたディスクから読み取ったり、または通信網を介してサーバからダウンロードする段階をさらに含むことを特徴とする請求項１に記載の映像処理方法。
【請求項９】
前記メタデータは、前記ビデオデータを識別するための識別情報を含み、前記識別情報は、前記ビデオデータが記録されたディスクを識別するためのディスク識別子と、前記ビデオデータが前記ディスクに含まれたタイトルのうち何番目のタイトルであるかを識別するためのタイトル識別子と、を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項１０】
映像処理装置は、二次元映像のビデオデータを受信する段階と、
前記映像処理装置は、前記ビデオデータのフレームを所定のユニットに区分するための情報を含む、前記区分されたフレームそれぞれが三次元映像に変換されるものであるか否かを決定するところに使われる、前記ビデオデータに係わるメタデータを生成する段階と、を含み、
前記所定のユニットに区分するための情報は、フレームのまとまりのうち、以前フレームを利用して現在フレームの背景構図が予測されうる一連のフレームのまとまりを、１つのショットに区分するためのショット情報であることを特徴とする映像生成方法。
【請求項１１】
前記ショット情報は、
１つのショットに区分されるフレームのまとまりのうち、最初に出力されるフレームの出力時刻情報、最後に出力されるフレームの出力時刻情報、及び／または前記１つのショットに区分されるフレームのまとまりを、二次元映像として出力するか三次元映像として出力するかを示すショットタイプ情報を含むことを特徴とする請求項１０に記載の映像生成方法。
【請求項１２】
前記メタデータは、前記所定のショットに区分されるフレームのまとまりに係わる背景用デプス情報をさらに含み、
前記背景用デプス情報は、前記所定のショットに区分されるフレームのまとまりの背景の座標点値、前記座標点値に対応するデプス値、及び出力スクリーンのデプス値を示すパネル・ポジション値を含むことを特徴とする請求項１０に記載の映像生成方法。
【請求項１３】
二次元映像のビデオデータを、二次元映像または三次元映像として出力する映像処理装置において、
ビデオデータに係わるメタデータを利用し、前記ビデオデータが二次元映像として出力されるものであるか、または三次元映像として出力されるものであるかを判断するメタデータ解析部と、
前記メタデータ解析部が、前記ビデオデータが前記三次元映像として出力されるものであると決定すれば、前記ビデオデータを三次元映像に変換する三次元映像変換部と、
前記メタデータ解析部の決定によって、前記二次元映像または前記三次元映像のビデオデータを出力する出力部と、を含み、
前記ビデオデータに係わる情報は、前記ビデオデータのフレームを所定のユニットに区分するための情報を含むことを特徴とする映像処理装置。
【請求項１４】
二次元映像のビデオデータをエンコーディングするビデオデータ・エンコーディング部と、
前記ビデオデータのフレームを所定のユニットに区分するための情報を含み、前記区分されたフレームそれぞれが三次元映像に変換されるものであるか否かを決定するところに使われる、前記ビデオデータに係わるメタデータを生成するメタデータ生成部と、
前記メタデータをエンコーディングするメタデータ・エンコーディング部と、を含み、
前記所定のユニットに区分するための情報は、前記フレームのまとまりのうち、以前フレームを利用して現在フレームの背景構図が予測されうる一連のフレームのまとまりを、１つのショットに区分するためのショット情報であることを特徴とする映像生成装置。
【請求項１５】
コンピュータで読み取り可能な情報記録媒体において、
二次元映像で記録されたビデオデータと、
映像処理装置が、前記ビデオデータのフレームを所定のユニットに区分するための情報を含み、前記映像処理装置が前記区分されたフレームそれぞれが、前記映像処理装置によって三次元映像に変換されるものであるか否かを決定するところに使われる、前記ビデオデータに係わるメタデータと、を含み、
前記所定のユニットに区分するための情報は、前記フレームのまとまりのうち、以前フレームを利用して現在フレームの背景構図が予測されうる一連のフレームのまとまりを、前記映像処理装置が１つのショットに区分するのに使われるショット情報であることを特徴とする情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像生成方法、映像処理方法及びその装置に係り、さらに具体的には、ビデオデータに係わるメタデータを利用し、ビデオデータを二次元映像または三次元映像として出力可能とする映像生成方法、映像処理方法及びかような方法を遂行する装置に関する。
【背景技術】
【０００２】
デジタル技術の発達により、三次元映像技術が広く普及している。三次元映像技術は、二次元映像に、深み（デプス：depth）についての情報を付与し、さらに写実的な映像を表現する技術である。三次元映像技術は、始めからビデオデータを三次元映像として生成する技術と、二次元映像に生成されたビデオデータを三次元映像に変換する技術とがあり、両技術に係わる研究が共になされている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、メタデータを利用した映像処理方法及び該装置を提供するものである。
【課題を解決するための手段】
【０００４】
本発明の一側面によれば、二次元映像のビデオデータを二次元映像または三次元映像として出力する映像処理方法において、前記ビデオデータに係わるメタデータから、前記ビデオデータに係わる情報を抽出する段階、及び前記ビデオデータに係わる情報を利用し、前記ビデオデータを二次元映像または三次元映像として出力する段階を含み、前記ビデオデータに係わる情報は、前記ビデオデータのフレームを所定のユニット（unit）に区分するための情報を含む映像処理方法を提供できる。
【０００５】
望ましい実施形態で、前記所定のユニットに区分するための情報は、以前フレームを利用して現在フレームの背景構図が予測される一連のフレームのまとまり（group）を１つのショット（shot）に区分するためのショット情報である。また、前記ショット情報は、１つのショットに区分されるフレームのうち、最初に出力されるフレームの出力時刻情報及び最後に出力されるフレームの出力時刻情報のうち、一つ以上を含むことができる。
【０００６】
また、前記メタデータは、前記１つのショットに区分されるフレームを、前記二次元映像として出力するか、あるいは前記三次元映像として出力するかを示すショットタイプ情報を含み、前記出力する段階は、前記ショットタイプ情報を利用し、前記１つのショットに区分されるフレームを、前記二次元映像または前記三次元映像のうち一つとして出力する段階を含むことができる。また、前記出力する段階は、前記メタデータを利用し、現在フレームが以前フレームを利用して背景構図が予測されえない、新たなショットに区分されるフレームであるか否かを判断する段階、前記現在フレームが前記新たなショットに区分されるフレームである場合、前記現在フレームを二次元映像として出力する段階、及び前記新たなショットに区分されるフレームを除外したフレームを三次元映像に変換し、前記変換された三次元映像を出力する段階を含む映像処理方法を提供できる。
【０００７】
また、前記出力する段階は、前記メタデータを利用し、現在フレームが以前フレームを利用して背景構図が予測されえない、新たなショットに区分されるフレームであるか否かを判断する段階、前記現在フレームが前記新たなショットに区分されるフレームである場合、前記メタデータから、前記新たなショットに区分されるフレームに適用する背景用デプス情報を抽出する段階、及び前記背景用デプス情報を利用し、前記現在フレームに係わるデプスマップを生成する段階を含むことができる。また、前記現在フレームに係わるデプスマップを生成する段階は、前記背景用デプス情報に含まれた、前記現在フレームに含まれた背景の座標点値、前記座標点値に対応するデプス値及びパネル・ポジション値を利用し、前記現在フレームの背景に係わるデプスマップを生成する段階を含むことができる。
【０００８】
また、前記メタデータを前記ビデオデータが記録されたディスクから読み取ったり、または通信網を介してサーバからダウンロードする段階をさらに含むことができる。また、前記メタデータは、前記ビデオデータを識別するための識別情報を含み、前記識別情報は、前記ビデオデータが記録されたディスクを識別するためのディスク識別子と、前記ビデオデータが前記ディスクに含まれたタイトルのうち何番目タイトルであるかを識別するためのタイトル識別子と、を含むことができる。
【０００９】
本発明の他の側面によれば、二次元映像のビデオデータをエンコーディングする段階、前記ビデオデータのフレームを所定のユニットに区分するための情報を含む、前記ビデオデータに係わるメタデータを生成する段階、及び前記メタデータをエンコーディングする段階を含み、前記所定のユニットに区分するための情報は、以前フレームを利用して現在フレームの背景構図が予測されうる一連のフレームのまとまりを１つのショットに区分するためのショット情報である映像生成方法を提供できる。
【００１０】
望ましい実施形態で、前記ショット情報は、１つのショットに区分されるフレームのうち、最初に出力されるフレームの出力時刻情報及び最後に出力されるフレームの出力時刻情報のうち一つ以上と、前記１つのショットに区分されるフレームを二次元映像として出力するか三次元映像として出力するかを示すショットタイプ情報を含むことができる。また、前記メタデータは、所定のショットに区分されるフレームに係わる背景用デプス情報を含み、前記背景用デプス情報は、前記所定のショットに区分されるフレームに含まれた背景の座標点値、前記座標点値に対応するデプス値及びパネル・ポジション値を含むことができる。
【００１１】
本発明のさらに他の側面によれば、二次元映像のビデオデータを二次元映像または三次元映像として出力する映像処理装置において、ビデオデータに係わるメタデータを利用し、前記ビデオデータが二次元映像として出力されるものであるか、または三次元映像として出力されるものであるかを判断するメタデータ解析部、前記ビデオデータが前記三次元映像として出力されるものである場合、前記ビデオデータを三次元映像に変換する三次元映像変換部、及び前記二次元映像または前記三次元映像のビデオデータを出力する出力部を含み、前記ビデオデータに係わる情報は、前記ビデオデータのフレームを所定のユニットに区分するための情報を含む映像処理装置を提供できる。
【００１２】
本発明のさらに他の側面によれば、コンピュータで読み取り可能な情報記録媒体において、二次元映像のビデオデータと、前記ビデオデータのフレームを所定のユニットに区分するための情報を含む、前記ビデオデータに係わるメタデータと、を含み、前記所定のユニットに区分するための情報は、以前フレームを利用して現在フレームの背景構図が予測されうる一連のフレームのまとまりを１つのショットに区分するためのショット情報である情報記録媒体を提供できる。
【００１３】
本発明のさらに他の側面によれば、二次元映像のビデオデータを、二次元映像または三次元映像として出力する映像処理方法において、前記ビデオデータに係わるメタデータから、前記ビデオデータに係わる情報を抽出する段階、及び前記ビデオデータに係わる情報を利用し、前記ビデオデータを、二次元映像または三次元映像として出力する段階を含み、前記ビデオデータに係わる情報は、前記ビデオデータのフレームを所定のユニットに区分するための情報を含む映像処理方法を実行するためのプログラムを保存したコンピュータで読み取り可能な情報記録媒体を提供できる。
【００１４】
本発明によれば、ビデオデータに係わるメタデータを利用し、ビデオデータを二次元映像または三次元映像のうち一つとして出力する映像処理方法及び該装置を提供できる。
【発明の効果】
【００１５】
本発明の実施形態によれば、メタデータに含まれたショットに係わる情報を利用し、ショットが転換される地点では、ビデオデータを二次元映像として出力できる。また、本発明の実施形態によれば、ショット別にビデオデータを、二次元映像または三次元映像として出力するか否かを判断し、その結果によって、ビデオデータを出力することによって、あらゆるデータを三次元映像に変換することによる演算量が減少する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による映像生成装置の内部ブロック図である。
【図２】図１の映像生成装置によって生成されるメタデータを図示した図である。
【図３Ａ】背景用デプス情報を利用してデプスマップが生成されるところを説明するための図である。
【図３Ｂ】背景用デプス情報を利用してデプスマップが生成されるところを説明するための図である。
【図３Ｃ】背景用デプス情報を利用してデプスマップが生成されるところを説明するための図である。
【図４】本発明の一実施形態による映像処理装置の内部ブロック図である。
【図５】本発明の他の実施形態による映像処理装置内部ブロック図である。
【図６】本発明の一実施形態による映像処理方法を図示したフローチャートである。
【図７】図６の段階６４０について、さらに具体的に説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００１８】
図１は、本発明の一実施形態による映像生成装置１００の内部ブロック図である。図１を参照するに、本発明の一実施形態による映像生成装置１００は、ビデオデータ生成部１１０、ビデオデータ・エンコーディング部１２０、メタデータ生成部１３０、メタデータ・エンコーディング部１４０及び多重化部１５０を含む。
【００１９】
ビデオデータ生成部１１０は、ビデオデータを生成し、生成されたビデオデータをビデオデータ・エンコーディング部１２０に送る。ビデオデータ・エンコーディング部１２０は、ビデオデータをエンコーディングし、エンコーディングされたビデオデータを多重化部１５０に送り、かつ／または通信網を介して映像処理装置（図示せず）に送る。
【００２０】
ビデオデータ・エンコーディング部１２０は、有線通信及び／または無線通信（例えば、ＩＥＥＥ１３９４、ユニバーサル・シリアル・バス、ブルートゥース、インフラレッドなど）を介して、映像処理装置でエンコーディングされたビデオデータを出力できる。映像生成装置１００は、コンピュータ、ワークステーション、カメラ・デバイス、モバイル・デバイス、スタンドアローン・デバイスなどになりうる。さらに、必ずしもその限りではないが、それぞれのユニット１１０，１２０，１３０，１４０，１５０は、一つ以上のプロセッサであるか、または一つ以上のチップ上のプロセシング・エレメントであるか、または集積回路になりうる。
【００２１】
メタデータ生成部１３０は、ビデオデータ生成部１１０によって生成されたビデオデータを分析し、フレームに係わる情報を含むメタデータを生成する。メタデータには、二次元映像のビデオデータを三次元映像に変換するための情報が含まれる。また、メタデータは、ビデオデータのフレームを所定のユニット（unit）に区分するための情報を含む。メタデータ生成部１３０によって生成されるメタデータについては、図２に係わる説明で詳細に説明する。メタデータ生成部１３０は、生成されたメタデータをメタデータ・エンコーディング部１４０に送る。
【００２２】
メタデータ・エンコーディング部１４０は、メタデータをエンコーディングし、これを多重化部１５０及び／または映像処理装置に送る。多重化部１５０は、エンコーディングされたビデオデータ及びエンコーディングされたメタデータを多重化し、有線通信及び／または無線通信網、または前記のいかなる有線連結及び／または無線連結を介しても、映像処理装置（図示せず）に伝送する。場合によっては、メタデータ・エンコーディング部１４０は、メタデータを多重化部１５０に送る代わりに、または多重化部１５０にさらに、ビデオデータと独立して映像処理装置に伝送することもできる。
【００２３】
このように、本発明の一実施形態による映像生成装置１００によれば、二次元映像のビデオデータを三次元映像に変換するための情報を含む、ビデオデータに係わるメタデータを生成できる。
【００２４】
図２は、映像生成装置１００（図１）によって生成されるメタデータを図示した図である。メタデータには、ビデオデータに係わる情報が含まれている。メタデータに記録された情報が、どのビデオデータに係わる情報であるかを表示するために、メタデータには、ビデオデータが記録されたディスクを識別するためのディスク識別情報が記録されている。他の実施形態で、メタデータは、ディスク識別情報を含まないこともある。ディスク識別情報は、ビデオデータが記録されているディスクを識別するためのディスク識別子（ＩＤ）と、ディスク識別子によって識別されるディスク内で、ビデオデータが何番目のタイトルであるかを示すためのタイトル識別子と、を含むことができる。
【００２５】
ビデオデータは、一連のフレームからなっているので、メタデータには、フレームに係わる情報が含まれている。フレームに係わる情報は、フレームを所定の基準によって区分するための情報が含まれうる。類似性のある一連のフレームのまとまり（group）を１つのユニットとするとき、ビデオデータのフレームは、複数のユニットに区分されうる。本発明では、ビデオデータのフレームを所定のユニットに区分するための情報が、メタデータに含まれる。
【００２６】
本発明で、フレームの背景構図が類似しており、以前フレームを利用して現在フレームの背景構図を予測できる一連のフレームのまとまりを１つのショット（shot）と呼ぶ。メタデータ生成部１３０は、ビデオデータのフレームをショットに区分し、ショットに係わる情報（すなわち、ショット情報）をメタデータに含める。フレームの背景の構図が顕著に変わり、現在フレームの背景構図が、以前フレームの背景構図と異なる場合、現在フレームと以前フレームは、互いに異なるショットに区分される。
【００２７】
ショット情報は、各ショットに区分されるフレームの出力時刻に対する情報を含み、これは、１つのショットに区分されるフレームのうち、最初に出力されるフレームの出力時刻情報（図２で、ショット開始時刻情報）、及び最後に出力されるフレームの出力時刻情報（図２で、ショット終了時刻情報）のうち一つ以上になりうるが、発明の実施形態は、これに限定されるものではない。例えば、他の実施形態でショット情報は、ショット開始時刻情報と、ショットに含まれたフレームの個数についての情報とを含むこともできる。
【００２８】
メタデータは、１つのショットに区分されるフレームに係わるショットタイプ情報をさらに含むことができる。ショットタイプ情報は、各ショット別に、そのショットに区分されるフレームを二次元映像として出力するか、あるいは三次元映像として出力するかを示す情報である。
【００２９】
メタデータには、背景用デプス（depth）情報が含まれうる。背景用デプス情報についての説明は、図３Ａないし図３Ｃを参照しつつ詳細に行う。
【００３０】
図３Ａないし図３Ｃは、背景用デプス情報を利用してデプスマップが生成されるところについて説明するための図である。図３Ａは、二次元映像を図示したものであり、図３Ｂは、図３Ａの映像に適用されるデプスマップを図示したものであり、図３Ｃは、映像にデプスマップが適用された場合を図示した図である。
【００３１】
二次元映像に立体感を与えるためには、二次元映像にデプス感を付与しなければならない。画面を見るとき、画面に投射された映像が両目に結ばれるが、目に結ばれる映像の二点間の距離を視差という。視差は、正の視差（positive  parallax）、ゼロの視差（zero  parallax）、負の視差（negative  parallax）に区分される。正の視差は、映像が画面内側に結ばれる場合の視差をいい、視差が両目間の距離と同じであるか、あるいはそれよりも小さいときをいう。視差値が大きくなるほど、映像が画面よりさらに深く位置したような立体感を与える。
【００３２】
映像が画面平面に二次元で結ばれる場合の視差は、０になる（すなわち、０の視差）。０の視差である場合、映像が画面平面に結ばれるので、ユーザは、立体感を感じられない。負の視差は、映像が画面より前方にある場合の視差をいい、ユーザの目に対する視線が交差するときに発生し、あたかも物体が飛び出すような立体感を与える。
【００３３】
二次元映像にデプス感を与えて三次元映像を生成する方法としては、以前フレームを利用して現在フレームの動きを予測し、予測された動きを利用し、現在フレームの映像にデプス感を付与する方法と、フレームの構図を利用し、フレームに係わるデプスマップを生成し、これを利用してフレームにデプス感を付与する方法とがある。前者の場合、図４を参照し、後者の場合、図５を参照しつつ、さらに詳細に説明する。
【００３４】
前述のように、メタデータには、ビデオデータのフレームを所定のショットに区分するための情報を含んでいる。フレーム間に構図の類似性がなく、以前フレームを利用して現在フレームの構図が予測されえない場合、フレームは、別個のショットに区分される。メタデータには、構図間に類似性があり、１つのショットに区分されるフレームに適用する構図についての情報及び／または各ショット別に適用される構図についての情報を含んでいる。
【００３５】
フレームの背景の構図は多様でありえる。メタデータは、対応するフレームの構図を示すための情報のデプス情報を含む。デプス情報は、フレームに含まれている背景のタイプ情報、背景の座標点情報、座標点に対応する背景のデプス値を含むことができる。背景のタイプ情報は、背景が複数の構図のうちいかなる構図を有しているかを説明する識別子である。
【００３６】
図３Ａでフレームは、大地と空とから構成された背景を有している。図３Ａのフレームは、大地と空とが出合う地平線が視聴者から最も遠くにある地点であり、大地の最も下の部分の映像が、視聴者から最も近くにある地点であることが分かる。映像生成装置１００は、図３Ａのフレームに、図３Ｂのタイプを有する構図が適用されるものであると判断し、図３Ａのフレームに対して、図３Ｂの構図のタイプ情報を含むメタデータを生成する。
【００３７】
座標点値は、二次元映像のフレームで、所定地点の座標点の値をいう。デプス値は、映像の深さ程度を意味する。本発明でデプス値は、０から２５５まで２５６個のうち一つになりうる。デプス値が小さいほど、デプスは深くなり、映像が視聴方向から遠ざかり、反対に、デプス値が大きいほど、映像が視聴者に近づく。図３Ｂ及び図３Ｃを参照するに、フレームで、大地と空とが出合う部分（すなわち、地平線部分）が最も小さなデプス値を有することが分かり、大地の最も下の部分は、最も大きいデプス値を有することが分かる。
【００３８】
映像処理装置（図示せず）は、メタデータに含まれたデプス情報を抽出し、これを利用して、図３Ｃのようなデプスマップを生成し、デプスマップを利用して、二次元映像を三次元映像として出力する。
【００３９】
図４は、本発明の一実施形態による映像処理装置の内部ブロック図である。図４を参照するに、本発明の一実施形態による映像処理装置４００は、ビデオデータ・デコーディング部４１０、メタデータ解析部４２０、三次元映像変換部４３０、三次元映像を画面に出力する出力部４４０を含む。映像処理装置４００は、あらゆる実施形態で、出力部４４０を含む必要があるというものではなく、かつ／または出力部４４０は、映像処理装置４００とは別個に提供されもする。さらに、映像処理装置４００は、コンピュータ、モバイル・デバイス、セットトップ・ボックス、ワークステーションなどになりうる。出力部４４０は、陰極線管（ＣＲＴ）デバイス、ＬＣＤ（liquid  crystal  display）デバイス、プラズマディスプレイデバイス、ＯＬＥＤ（organic  light  emitting  diode）displayデバイス及び／またはかような機器に連結され、かつ／または有線プロトコル及び／または無線プロトコルを介してゴーグルに連結されもする。ビデオデータ・デコーディング部４１０は、ディスク（例えば、ＤＶＤ、ブルーレイなど）、ローカル・ストレージから、映像生成装置１００（図１）、またはいかなる外部保存デバイス（例えば、ハードディスク・ドライブ、フラッシュメモリなど）からも伝送されてビデオデータを読み取り、これをデコーディングする。
【００４０】
メタデータ解析部４２０は、メタデータをデコーディングし、メタデータからビデオデータフレームに係わる情報を抽出し、これを解析する。メタデータ解析部４２０は、メタデータを利用し、三次元映像変換部４３０に含まれているスイッチ４３３を制御し、フレームを二次元映像または三次元映像として出力させる。メタデータ解析部４２０は、映像生成装置１００（図１）またはいかなる外部保存デバイス（例えば、ハードディスク、フラッシュメモリなど）から伝送されたメタデータ（ＩＮ３）を、ディスク、ローカル・ストレージから受信する。あらゆる実施形態で、メタデータがビデオデータと共に保存される必要はない。
【００４１】
三次元映像変換部４３０は、ビデオデータ・デコーディング部４１０から受けた二次元映像のビデオデータを三次元映像に変換する。図４で、三次元映像変換部４３０は、以前フレームを利用して、現在フレームの動きを推定することによって、現在フレームに対して三次元映像を生成する。
【００４２】
メタデータ解析部４２０は、１つのショットに区分されるフレームのうち、最初に出力されるフレームの出力時刻情報、及び／または最後に出力されるフレームの出力時刻情報を抽出し、これを利用して、ビデオデータ・デコーディング部４１０がデコーディングする現在フレームが、新たなショットに区分されるフレームであるか否かを判断する。
【００４３】
メタデータ解析部４２０は、現在フレームが新たなショットに属するフレームであると判断されれば、現在フレームが三次元映像に変換されないようにスイッチ４３３を制御し、動き推定部４３４が、以前フレーム保存部４３２に保存されている以前フレームを利用して現在フレームの動きを推定できないようにする。二次元映像のビデオデータを三次元映像に変換するためには、以前フレームを参照して現在フレームの動き情報を抽出せねばならないが、他のショットに属するフレーム間には、現在フレームと以前フレームとの十分な類似性がないので、以前フレームを利用して現在フレームの構図を予測できないためである。図示されているように、以前フレームを利用させないために、スイッチ４３３は、以前フレーム保存部４３２に連結されていないが、発明のあらゆる実施形態がこれに限定されるものではない。
【００４４】
ビデオデータが警告文やメニュー画面、エンディング・クレジット（ending  credit）のように、三次元に変換される必要がない場合、メタデータには、かようなフレームについて、二次元で出力されるものであることを示すショットタイプ情報が含まれている。メタデータ解析部４２０は、ショットタイプ情報を利用し、ビデオデータをショット別に二次元映像として出力するか、または三次元映像として出力するか否かを判断し、これによって、スイッチ４３３を制御する。
【００４５】
メタデータ解析部４２０は、ショットタイプ情報を利用し、所定のショットに区分されるビデオデータが、三次元映像に変換される必要がないと判断されれば、スイッチ４３３を制御し、三次元映像変換部４３０をして、以前フレームを利用して現在フレームの動きを推定できないようにする。また、メタデータ解析部４２０は、ショットタイプ情報を利用し、所定のショットのビデオデータが、三次元映像に変換されるものであると判断されれば、スイッチ４３３を制御し、三次元映像変換部４３０が以前フレームを利用して現在フレームを三次元映像に変換する。
【００４６】
所定ショットのビデオデータが三次元映像として出力されるものである場合、三次元映像変換部４３０は、ビデオデータ・デコーディング部４１０から受けた二次元映像のビデオデータを三次元映像に変換する。三次元映像変換部４３０は、映像ブロック部４３１、以前フレーム保存部４３３、動き推定部４３４、ブロック合成部４３５及びスイッチ４３３を含む。
【００４７】
映像ブロック部４３１は、二次元映像のビデオデータのフレームを所定サイズのブロックに分割する。以前フレーム保存部４３２は、現在フレーム以前のフレームを所定数ほど保存する。
【００４８】
スイッチ４３３は、メタデータ解析部４２０の制御によって、以前フレーム保存部４３２に保存されているフレームを動き推定部４３４に送ったり、または以前フレーム保存部４３２に保存されているフレームが、動き推定部４３４に送られることを遮断する。
【００４９】
動き推定部４３４は、現在フレームのブロックと以前フレームのブロックとを利用し、ブロック別に動き程度及び動き方向に係わるモーション・ベクトルを求める。ブロック合成部４３５は、動き推定部４３４が求めたモーション・ベクトルを利用し、以前フレームの所定ブロックのうち選択されたブロックを合成し、新たなフレームを生成する。メタデータ解析部４２０によって、動き推定部４３４が以前フレームを利用しない場合、動き推定部４３４は、映像ブロック部４３１から受けた現在フレームそのままをブロック合成部４３５に送る。
【００５０】
新たに生成されたフレームまたは現在フレームは、左右映像決定部４３６に入る。左右映像決定部４３６は、ブロック合成部４３５から受けたフレームと、ビデオデータ・デコーディング部４１０から受けたフレームとを利用して、左右映像を決定する。メタデータ解析部４２０がスイッチ４３３を制御し、ビデオデータが三次元映像に変換されていない場合、左右映像決定部４３６は、ブロック合成部４３５から受けた二次元映像のフレームと、ビデオデータ・デコーディング部４１０から受けた二次元映像とを利用し、同一の左目用映像と右目用映像とを生成する。左右映像決定部４３６は、左右映像を、出力部４４０、外部出力デバイス及び／または外部ターミナル（例えば、コンピュータ、外部ディスプレイ・デバイス、サーバなど）に送る。
【００５１】
映像処理装置４００には、出力部４４０がさらに含まれうる。出力部４４０は、左右映像決定部４４０によって決定された左右映像を、それぞれ最小１２０分の１秒単位で交互に画面に出力する。
【００５２】
このように、本発明の一実施形態による映像処理装置４００によれば、メタデータに含まれたショット情報を利用し、ショットが転換される地点のビデオデータ、またはショットタイプ情報によって判断された、三次元映像変換が必要ではない区間のビデオデータについては、三次元映像に変換しないことによって、装置４００の不要な演算及び複雑性（complexity）が減少させる。要求されるものではないが、出力映像ＯＵＴ２は、ゴーグルのようにユーザが画面を見る受信部で、有線プロトコル及び／または無線プロトコルを介して受信されうる。
【００５３】
図５は、本発明の他の実施形態による映像処理装置５００の内部ブロック図である。図５を参照するに、映像処理装置５００は、ビデオデータ・デコーディング部５１０、メタデータ解析部５２０、三次元映像変換部５３０、及び出力部５４０を含み、かつ／またはあらゆる実施形態で、映像処理装置５００が出力部５４０を含む必要があるというものではなく、かつ／または出力部５４０は、映像処理装置５００から分離されても提供されうる。さらに、映像処理装置５００は、コンピュータ、モバイル・デバイス、セットトップ・ボックス、ワークステーションなどになりうる。出力部５４０は、陰極線管デバイス、ＬＣＤデバイス、プラズマ表示デバイス、ＯＬＥＤ表示デバイスなどになり、かつ／またはかようなデバイスに連結されり、または有線プロとコロ及び／または無線プロトコルを介してゴーグルに連結されもする。さらに、必ずしもその限りではないが、各エレメント５１０，５２０，５３０は、一つ以上のプロセッサであるか、または一つ以上のチップ上のプロセシング・エレメントであるか、または集積回路でありうる。
【００５４】
二次元映像のビデオデータと、ビデオデータに係わるメタデータとが多重化された状態で、または分離され、１つのディスクに記録されている場合、ビデオデータとメタデータとが記録されているディスク（図示せず）が、映像処理装置５００にローディングされれば、ビデオデータ・デコーディング部５１０とメタデータ解析部５２０は、ローディングされたディスクから、ビデオデータとメタデータとをそれぞれ読み取る。メタデータは、ディスクのリードイン領域、ユーザデータ領域及び／またはリードアウト領域に記録されている。しかし、発明の実施形態が、ビデオデータとメタデータとをディスクから受信することに限定するものではない。例えば、他の実施形態で、映像処理装置５００は、（例えば、通信網及び／または有線／無線連結を介して）外部サーバや外部端末と通信する通信部（図示せず）をさらに含むことができる。映像処理装置５００は、外部サーバや外部端末から、ビデオデータ及び／またはビデオデータに係わるメタデータをダウンロードし、これをローカル・ストレージ（図示せず）に保存することができる。さらに、映像処理装置５００は、ディスクと異なるいかなる外部保存デバイス（例えば、フラッシュメモリ）からも、ビデオデータ及び／またはメタデータを受信することができる。
【００５５】
ビデオデータ・デコーディング部５１０は、ディスク、外部保存デバイス、外部ターミナルまたはローカル・ストレージからビデオデータを読み取り、これをデコーディングする。
【００５６】
メタデータ解析部５２０は、ディスク、外部保存デバイス、外部ターミナルまたはローカル・ストレージから、ビデオデータに係わるメタデータを読み取り、これを解析する。ビデオデータがディスクに記録されている場合、メタデータ解析部５２０は、メタデータからビデオデータが記録されているディスクを識別するためのディスク識別子と、ビデオデータがディスク内で何番目のタイトルであるかを示すタイトル識別子とを抽出し、これを利用して、メタデータがどのビデオデータに係わるメタデータであるかを判断する。
【００５７】
メタデータ解析部５２０は、メタデータを解析し、所定のショットに区分されるビデオデータのフレームに係わる情報を抽出する。メタデータ解析部５２０は、現在フレームが、ショットが転換される地点のビデオデータ、すなわち、新たなショットに区分されるフレームであるか否かを判断し、デプスマップ生成部５３１を制御する。また、メタデータ解析部５２０は、ショットタイプ情報を利用し、所定ショットに区分されるフレームが二次元映像として出力されるものであるか、あるいは三次元映像として出力されるものであるかを判断し、その結果によって、デプスマップ生成部５３１を制御する。そして、メタデータ解析部５２０は、メタデータからデプス情報を抽出し、これをデプスマップ生成部５３１に送る。
【００５８】
三次元映像変換部５３０は、ビデオデータに係わる三次元映像を生成する。三次元映像変換部５３０は、デプスマップ生成部５３１及びステレオ・レンダリング部５３３を含む。
【００５９】
デプスマップ生成部５３１は、メタデータ解析部５２０から受けた背景用デプス情報を利用し、フレームに係わるデプスマップを生成する。背景用デプス情報は、現在フレームに含まれた背景の座標点値、前記座標点値に対応するデプス値、及び映像が出力されるスクリーンのデプス値を示すパネル・ポジション値を含む。デプスマップ生成部５３１は、デプス情報を利用して現在フレームの背景に係わるデプスマップを生成し、生成されたデプスマップを、ステレオ・レンダリング部５３３に送る。
【００６０】
しかし、現在フレームが二次元映像として出力される場合、デプスマップ生成部５３１は、現在フレームに対してデプスマップを生成せず、現在フレームをそのままステレオ・レンダリング部５３３に送る。
【００６１】
ステレオ・レンダリング部５３３は、ビデオデータ・デコーディング部５１０から受けたビデオ映像と、デプスマップ生成部５３１から受けたデプスマップとを利用し、左目映像及び右目映像を生成する。そして、ステレオ・レンダリング部５３３は、生成された左目及び右目映像をいずれも含む三次元フォーマットの映像を生成する。現在フレームが二次元映像として出力される場合、デプスマップ生成部５３１から受けたフレームと、ビデオデータ・デコーディング部５１０から受けたフレームとが同一であるので、ステレオ・レンダリング部５３３によって生成される左目映像及び右目映像が同じになる。三次元フォーマットとしては、トップダウン（top  and  down）フォーマット、サイド・バイ・サイド（side  by  side）フォーマット、またはインターレースト（interlaced）フォーマットでありうる。ステレオ・レンダリング部５３３は、左目映像及び右目映像を出力部５４０、外部出力デバイス及び／または外部ターミナル（例えば、コンピュータ、外部ディスプレイ・デバイス、サーバなど）に送る。
【００６２】
場合によっては、本発明による映像処理装置５００には、出力装置の機能を行う出力部５４０がさらに含まれうる。この場合、出力部５４０は、ステレオ・レンダリング部から受けた左目映像及び右目映像を順次に画面に出力する。視聴者は、一方の目を基準に、最小６０Ｈｚのframe  rateで映像が出力されてこそ、イメージが切れずに順次に再生されると認知するので、視聴者が三次元映像が切れずに再生されると認知するためには、出力部５４０は、最小限１２０Ｈｚのframe  rateで画面を出力する。従って、出力部５４０は、最小限１／１２０秒単位で、フレームに含まれた左右映像を順次に画面に出力する。
【００６３】
図６は、本発明の一実施形態による映像処理方法を図示したフローチャートである。図６を参照するに、映像処理装置４００，５００は、ビデオデータと関連したメタデータが存在するか否かを判断する（段階６１０）。例えば、ビデオデータとメタデータとがディスク上で提供される場合、ディスクは、映像処理装置４００，５００にローディングされ、ローディングされたディスクの所定のタイトルを出力することを指示されれば、ディスク識別子及びタイトル識別子を利用し、出力するように指示されたタイトルに係わるメタデータが、映像処理装置４００，５００内部に存在するか否かを判断する（段階６１０）。映像処理装置４００，５００は、内部にタイトルに係わるメタデータが存在しないと判断すれば、通信網を介して外部サーバなどから、タイトルに係わるメタデータをダウンロードできる（段階６２０）。この方法で、ビデオ（例えば、ＤＶＤやBlu-rayディスクまたはコンピュータゲーム上での映画など）は、対応するメタデータをダウンローディングするだけで三次元で再生されうる。または該ディスクは、メタデータだけ含むことができ、特定のビデオに係わるメタデータが選択されれば、該ビデオは、サーバからダウンロードされる。
【００６４】
映像処理装置４００，５００は、ビデオデータに係わるメタデータから、ビデオデータが属したユニットについての情報を抽出する（段階６３０）。前述のように、本発明でユニットについての情報は、ショットに係わる情報になりうる。ショットに係わる情報は、現在フレームが以前のフレームと同じショットに含まれているか否かを示す情報であり、現在フレームを二次元映像として出力するか、あるいは三次元映像として出力するかを示すショットタイプ情報を含むことができる。映像処理装置４００，５００は、ショットに係わる情報を利用し、フレームを二次元映像として出力するか、または三次元映像として出力するかを判断し、判断結果によって、所定のショットに区分されるフレームを二次元映像または三次元映像として出力する（段階６４０）。
【００６５】
図７は、図６の段階６４０について、さらに具体的に説明するためのフローチャートである。図７を参照するに、映像処理装置４００，５００は、ビデオデータを出力していて、ビデオデータのフレームが以前フレームとは異なる構図を有する、新たなショットに属するフレームであるか否かを判断する（段階７１０）。映像処理装置４００，５００は、現在フレームが新たなショットに属するフレームであると判断されれば、新たなショットに含まれる最初のフレームを三次元映像に変換せずに、二次元映像として出力する（段階７２０）。
【００６６】
映像処理装置４００，５００は、メタデータから提供される、ショットに係わるショットタイプ情報を利用し、新たなショットに区分されるフレームのうち、最初フレーム以後のフレームを三次元映像として出力するか、または二次元映像として出力するかを判断する（段階７３０）。新たなショットに係わるショットタイプ情報が、新たなショットに区分されるビデオデータを三次元映像として出力するものであることを表示する場合、映像処理装置４００，５００は、新たなショットのビデオデータを三次元映像に変換する（段階７４０）。特に、映像処理装置４００，５００は、変換された三次元映像のビデオデータと二次元映像のビデオデータとのうち、左右映像を決定して、転換されたショットのビデオデータを三次元で出力する（段階７４０）。映像処理装置５００が、図５のように、構図情報を利用して三次元映像を生成する場合、映像処理装置５００は、現在フレームが新たなショットに区分されるフレームである場合、メタデータから新たなショットに区分されるフレームに適用する背景用デプス情報を抽出し、これを利用して、現在フレームに係わるデプスマップを生成する。
【００６７】
新たなショットに係わるショットタイプ情報が、新たなショットのビデオデータを二次元映像として出力するものであることを表示する場合（段階７３０）、映像処理装置４００，５００は、新たなショットのビデオデータを三次元映像に変換せず、二次元映像として出力する（段階７５０）。映像処理装置４００，５００は、ビデオデータが全部出力されたか否かを判断し（段階７６０）、ビデオデータが全部は出力されていない段階７１０を反復する。
【００６８】
このように、本発明の実施形態によればメタデータに含まれたショットに係わる情報を利用し、ショットが転換される地点では、ビデオデータを二次元映像として出力できる。また、本発明の実施形態によれば、ショット別にビデオデータを、二次元映像または三次元映像として出力するかを判断し、その結果によって、ビデオデータを出力することによって、あらゆるデータを三次元映像に変換することによる演算量が減少する。
【００６９】
以上で説明した通り、本発明の側面は、コンピュータで読み取り可能な記録媒体に、コンピュータが読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only  memory）、ＲＡＭ（random-access  memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置を含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。本発明の実施形態は、キャリアウェーブで具現され、コンピュータで読み取り可能なプログラムを含み、インターネットを介して伝送可能であるデータ信号によっても具現されうる。さらに、あらゆる実施形態においてその限りではないが、映像処理装置４００，５００の一つ以上のユニットは、ローカル・ストレージのように、コンピュータで読み取り可能な媒体上に保存されたコンピュータ・プログラムを実行させるプロセッサやマイクロ・プロセッサを含むことができる。また、ある実施形態においては、映像生成装置１００、及び映像処理装置４００または５００が単一装置でもって提供されるということも理解されうる。
【００７０】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されうるということを理解することができるであろう。
【図１】
2011525745.tif 000003
【図２】
2011525745.tif 000004
【図３Ａ】
2011525745.tif 000005
【図３Ｂ】
2011525745.tif 000006
【図３Ｃ】
2011525745.tif 000007
【図４】
2011525745.tif 000008
【図５】
2011525745.tif 000009
【図６】
2011525745.tif 000010
【図７】
2011525745.tif 000011
【国際調査報告】
2011525745.tif 000012
2011525745.tif 000013