(57)【要約】【課題】安価かつ迅速に二次元動画を三次元動画に変換可能な動画変換システム、動画変換方法、及び、動画変換プログラムを提供する。【解決手段】本発明の一の実施形態に係る動画変換システムは、静的オブジェクト、動的オブジェクトの情報を格納する静的オブジェクト情報格納部及び動的オブジェクト情報格納部と、二次元動画中のオブジェクトを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部と、静的オブジェクトの種類を特定し、静的オブジェクト情報格納部に格納された情報から三次元静的オブジェクトを生成する三次元静的オブジェクト生成部と、動的オブジェクトの種類を特定し、動的オブジェクト情報格納部に格納された情報から三次元動的オブジェクトを生成する三次元動的オブジェクト生成部と、三次元静的オブジェクトと三次元動的オブジェクトを三次元空間に配置して三次元動画を生成する三次元動画生成部と、を備える。【選択図】図１
2018160853.tif 000002
【特許請求の範囲】
【請求項１】
二次元動画を三次元動画に変換する動画変換システムであって、
静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、
動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部と、
前記オブジェクト分離部によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部と、
前記オブジェクト分離部によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部と、
前記三次元静的オブジェクト生成部によって生成された三次元静的オブジェクトと前記三次元動的オブジェクト生成部によって生成された三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部と
を備えたことを特徴とする動画変換システム。
【請求項２】
前記動的オブジェクト情報格納部は、前記動的オブジェクトの動作に関する情報を、前記動的オブジェクトの種類ごとに格納し、
前記三次元動的オブジェクト生成部は、前記動作に関する情報に基づいて、前記三次元動的オブジェクトに動作を付与する
ことを特徴とする請求項１記載の動画変換システム。
【請求項３】
静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、を備える動画変換システムを用いて二次元動画を三次元動画に変換する動画変換方法であって、
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、
分離された前記静的オブジェクト及び動的オブジェクトそれぞれの種類を特定し、
特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、
特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、
前記三次元静的オブジェクトと前記三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する
ことを特徴とする動画変換方法。
【請求項４】
静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、を備える動画変換システムを用いて二次元動画を三次元動画に変換する動画変換プログラムであって、
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、
分離された前記静的オブジェクト及び動的オブジェクトそれぞれの種類を特定し、
特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、
特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、
前記三次元静的オブジェクトと前記三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する
ことを特徴とする動画変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画変換システム、動画変換方法、及び、動画変換プログラムに関する。
【背景技術】
【０００２】
近年、三次元動画の需要が高まってきている。例えば、三次元映画に対応する映画館の数は年々増加している。しかしながら、現在、大多数の動画は二次元専用であり、三次元には十分に対応していない。そこで、二次元動画に基づいて三次元動画を製作することがある。二次元動画に基づいて三次元動画を製作する場合、右目用の動画と左目用の動画が必要となる。この様な場合、二次元動画の各シーンについて、人物等のオブジェクトを背景から分離し、仮想的なカメラとの距離に応じて人物等の画像を左右にずらしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０９２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この様な作業は多くの場合手作業で行われており、膨大な費用及び時間が必要となる場合がある。
【０００５】
そこで、本発明は、この様な課題に鑑み、安価かつ迅速に二次元動画を三次元動画に変換可能な動画変換システム、動画変換方法、及び、動画変換プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
以上の目的を達成するため、本発明に係る動画変換システムは、二次元動画を三次元動画に変換する動画変換システムであって、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部と、オブジェクト分離部によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部と、オブジェクト分離部によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部と、三次元静的オブジェクト生成部によって生成された三次元静的オブジェクトと三次元動的オブジェクト生成部によって生成された三次元動的オブジェクトを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部と、を備える。
【０００７】
また、この様な動画変換システムにおいては、動的オブジェクト情報格納部が、動的オブジェクトの動作に関する情報を動的オブジェクトの種類ごとに格納し、三次元動的オブジェクト生成部が、この動作に関する情報に基づいて三次元動的オブジェクトに動作を付与しても良い。
【０００８】
また、本発明に係る動画変換方法は、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、を備える動画変換システムを用いて二次元動画を三次元動画に変換する動画変換方法であって、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する。
【０００９】
更に、本発明に係る動画変換プログラムは、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、を備える動画変換システムを用いて二次元動画を三次元動画に変換する動画変換プログラムであって、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する。
【発明の効果】
【００１０】
以上の様に、本発明によれば、安価かつ迅速に二次元動画を三次元動画に変換可能な動画変換システム、動画変換方法、及び、動画変換プログラムを提供することが出来る。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る動画変換システムの構成を示す機能ブロック図である。
【図２】同動画変換システムの動作を示すフローチャートである。
【図３】三次元オブジェクトを生成する様子を示す図である。
【図４】三次元オブジェクトを生成する様子を示す図である。
【図５】三次元オブジェクトを生成する様子を示す図である。
【図６】三次元オブジェクト動画を生成する様子を示す図である。
【図７】三次元オブジェクトにレイヤー情報を付加する様子を示す図である。
【図８】三次元オブジェクトにレイヤー情報を付加する様子を示す図である。
【図９】三次元オブジェクトと仮想的なカメラとの距離の計算方法について説明するための図である。
【図１０】２眼用の三次元動画を生成する様子を示す図である。
【図１１】背景に補間処理を行う様子を示す図である。
【発明を実施するための形態】
【００１２】
次に、図面を参照し、本発明の実施形態について説明する。尚、以下の説明は例示的なものであり、詳細については適宜変更可能である。
【００１３】
［本発明の実施形態に係る動画変換システム］
図１に示す通り、本発明の実施形態に係る動画変換システムは、オブジェクト情報格納部１００と、動画変換装置２００と、を備える。この動画変換システムは、二次元動画に基づいて三次元動画を生成し、配信システム３００を介して、この三次元動画をスマートフォン、タブレット端末、ＰＣ等の端末４００に配信する。尚、ここで言う三次元動画には、右目用の動画と左目用の動画との間で単純にオブジェクトの位置を異ならせた古典的なものだけでなく、仮想的な三次元空間に三次元オブジェクトを配置してなるＶＲ（Virtual Reality）動画も含まれる。
【００１４】
オブジェクト情報格納部１００は、背景、雲、モノ等の静的オブジェクトの情報を種類に応じて格納する静的オブジェクト情報格納部１０１と、顔、人物、車や電車等の乗物、信号、雪、雨、水滴等の動的オブジェクトの情報、例えば、動的オブジェクトの動作に関する情報等を、種類に応じて格納する動的オブジェクト情報格納部１０２と、を備える。
【００１５】
動画変換装置２００は、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部２０１と、オブジェクト分離部２０１によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部１０１に格納された静的オブジェクトの情報に基づいて三次元静的オブジェクトを生成する三次元静的オブジェクト生成部２０４と、オブジェクト分離部２０１によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部１０２に格納された動的オブジェクトの情報に基づいて三次元動的オブジェクトを生成する三次元動的オブジェクト生成部２０６と、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部２０７と、を備える。
【００１６】
［本発明の実施形態に係る動画変換システムの動作］
次に、図２〜図１１を参照して、上記動画変換システムの動作について説明する。
【００１７】
オブジェクト分離部２０１は、二次元動画をシーンごとに分割して、複数の二次元動画を生成する（ステップＳ１０１）。以下、分割前の二次元動画を第１の二次元動画と、分割後の二次元動画を第２の二次元動画と呼ぶことがある。
【００１８】
次に、オブジェクト分離部２０１は、複数の第２の二次元動画それぞれにモーション・トラッキング等の処理を行い、第２の二次元動画のうち、所定の閾値よりも動きの少ない部分の画像を静的オブジェクトに、この所定の閾値よりも動きの大きい部分の画像を動的オブジェクトに対応させて、第２の二次元動画から抽出する（ステップＳ１０２）。
【００１９】
次に、オブジェクト分離部２０１は、分離されたオブジェクトを順次選択し（ステップＳ１０３）、このオブジェクトが静的オブジェクトであるのか動的オブジェクトであるのかを判別する（ステップＳ１０４）。
【００２０】
ステップＳ１０３において選択されたオブジェクトが静的オブジェクトであった場合、三次元静的オブジェクト生成部２０４は、識別器によって入力された画像が示す静的オブジェクトの種類を特定する（ステップＳ１０５）。また、三次元静的オブジェクト生成部２０４は、オブジェクトの種類に応じた複数のディレクトリｄを生成し、同一の種類に分類された複数の画像を同一のディレクトリｄに格納する。
【００２１】
次に、三次元静的オブジェクト生成部２０４は、ステップＳ１０５で生成した各ディレクトリｄに順次アクセスし、ディレクトリｄ内の複数の画像、及び、静的オブジェクト情報格納部１０１内に格納された情報に基づいて、ディレクトリｄ毎に一つの三次元オブジェクトを生成する（ステップＳ１０６）。
【００２２】
ステップＳ１０３において選択されたオブジェクトが動的オブジェクトであった場合、三次元動的オブジェクト生成部２０６は、識別器によって入力された画像が示すオブジェクトの種類を特定する（ステップＳ１０７）。また、三次元動的オブジェクト生成部２０６は、オブジェクトの種類に応じた複数のディレクトリｄを生成し、同一の種類に分類された複数の画像を同一のディレクトリｄに格納する。尚、ここで言う種類の特定には、人物、車等の種類の特定だけでなく、どのオブジェクトがどの人物に対応するのか、等の個体の特定が含まれても良い。また、人物はシーンごとに異なる髪型や服装を有する場合があるが、この様な場合、全てのシーンを通じて同じ人物の情報を同じディレクトリｄに格納しても良いし、シーンごとに異なるディレクトリｄに格納しても良い。
【００２３】
次に、三次元動的オブジェクト生成部２０６は、ステップＳ１０７で生成した各ディレクトリｄに順次アクセスし、ディレクトリｄ内の複数の画像、及び、動的オブジェクト情報格納部１０２内に格納された情報に基づいて、ディレクトリｄ毎に一つの三次元オブジェクトを生成する（ステップＳ１０８）。例えば、人物Ａについての三次元オブジェクトを生成する場合、図３（ａ）（ｂ）に例示するように、人物Ａの画像中の複数の特徴点ｐ１を検出し、ここに順次座標情報を埋め込む。次に、これら複数の二次元の座標情報及びオブジェクトの角度差に基づいて、特徴点ｐ１の三次元座標を取得する。次に、図４（ａ）（ｂ）に例示するように、特徴点の三次元座標を基準にして、人物Ａの三次元空間上における形状を生成する。次に、図４（ｃ）に例示するように、複数の画像に基づき、上記形状に色の情報を付与する。次に、図５に例示するように、上記形状に骨格情報を埋め込み、三次元オブジェクトを生成する。尚、骨格情報は、人物等の関節や端部等に埋め込まれる複数の特定点ｐ２及びこれら特定点ｐ２間の距離を規定する情報を含み、特定点ｐ２の動きを規定することによって三次元オブジェクトの動きを規定することが可能な情報であり、動的オブジェクトの動作に関する情報として動的オブジェクト情報格納部１０２に格納される。人物についての三次元オブジェクトには人物についての骨格情報が埋め込まれ、電車等についての三次元オブジェクトには電車についての骨格情報が埋め込まれる。
【００２４】
次に、三次元動的オブジェクト生成部２０６は、三次元オブジェクトに動作を付与する（ステップＳ１０９）。例えば、図６に例示するように、モーション・トラッキング等の手段を用い、二次元動画におけるオブジェクトの動きを検出し、これに基づいて骨格情報中の特定点ｐ２の動きを規定し、これによって三次元オブジェクトに動作を付与する。
【００２５】
ステップＳ１０３において選択されたオブジェクトについての処理が終了した場合、ステップＳ１０２において分離されたオブジェクトが全て選択されたか否かを判断し（Ｓ１１０）、全てのオブジェクトについての処理が終了していない場合には、ステップＳ１０３に戻る。全てのオブジェクトについての処理が終了した場合には、ステップＳ１１１に進む。
【００２６】
次に、三次元動画生成部２０７は、同一のシーンに登場する複数の三次元オブジェクトについて、レイヤー情報を付加する（ステップＳ１１１）。例えば、図７及び図８に例示するように、各オブジェクトｏ１〜ｏ６の仮想的なカメラｃとの距離を決定し、各オブジェクトｏ１〜ｏ６にレイヤーｌ１〜ｌ６を付加する。尚、各オブジェクトｏ１〜ｏ６の仮想的なカメラｃとの距離は、図９（ａ）に例示するように合照度に応じて計算しても良いし、図９（ｂ）に例示する様にＲＧＢ値に基づいて計算しても良いし、図９（ｃ）に例示するように、二次元動画中のオブジェクトの動きに基づいて計算しても良い。
【００２７】
次に、三次元動画生成部２０７は、２眼用の三次元動画を生成する（ステップＳ１１２）。例えば、図１０（ａ）に例示した元の二次元画像から図１０（ｂ）に例示するように背景ｂを分離し、背景ｂの手前に三次元オブジェクトｏ７を配置する。次に、図１０（ｃ）及び（ｄ）に例示するように、この背景ｂ及び三次元オブジェクトｏ７を右目で見た場合の動画と左目で見た場合の動画とを生成する。
【００２８】
次に、三次元動画生成部２０７は、ステップＳ１１２において分離された背景ｂに補間処理を行う（ステップＳ１１３）。例えば図１１（ａ）に例示するように、左目用の動画においては三次元オブジェクトｏ７と背景ｂとの間に隙間ｈが生じてしまう。図１１（ｂ）に例示するように、右目用の動画についても同様である。従って、この様な隙間ｈに背景ピクセル予測システム等を適用して補間する。
【００２９】
その後、この様にして生成した三次元動画を、配信システム３００を介して、スマートフォン、タブレット端末、ＰＣ等の端末４００に配信する（ステップＳ１１４）。配信に際しては、予め三次元オブジェクトを端末４００に送信し、その後でこの三次元オブジェクトの動きを規定するデータやレイヤー情報等を送信することが可能である。これにより、送信する情報量を圧縮して、三次元動画を円滑に再生することが可能となる。
【００３０】
［本発明の実施形態に係る動画変換システムの効果］
以上説明した通り、本発明の実施形態に係る動画変換システムは、二次元動画を三次元動画に変換する動画変換システムであって、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部１０１と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部１０２と、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部２０１と、オブジェクト分離部２０１によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部１０１に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部２０４と、オブジェクト分離部２０１によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部１０２に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部２０６と、三次元静的オブジェクト生成部２０４によって生成された三次元静的オブジェクトと三次元動的オブジェクト生成部２０６によって生成された三次元動的オブジェクトを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部２０７と、を備える。
【００３１】
この様な動画変換システムによれば、二次元動画に基づいて三次元オブジェクトが生成され、この三次元オブジェクトに基づいて三次元動画が生成される。従って、容易に右目用の動画と左目用の動画とを生成することが可能であり、安価かつ迅速に二次元動画を三次元動画に変換可能となる。また、この様な変換システムによれば、三次元オブジェクトを利用して三次元動画を生成するため、古典的な三次元動画だけでなく、三次元空間上で登場人物等が動き回るＶＲ動画を生成することも可能である。
【００３２】
また、本発明の実施形態に係る動画変換システムにおいては、動的オブジェクト情報格納部１０１が、動的オブジェクトの動作に関する情報を動的オブジェクトの種類ごとに格納し、三次元動的オブジェクト生成部２０６は、この動作に関する情報に基づいて三次元動的オブジェクトに動作を付与する。
【００３３】
この様な動画変換システムによれば、動的オブジェクトの種類に応じて動的オブジェクトに適切な動作を付与することが出来る。
【００３４】
［その他の実施形態］
上記実施形態に係る動画変換システムは説明のために例示したものであり、具体的な構成は適宜変更可能である。例えば、上記実施形態において、動画変換装置２００中の構成は動画変換プログラムを主記憶装置に展開することによって実現されていた。しかしながら、上記構成の一部または全部の構成は、ハードウェアによって実現されても良い。
【符号の説明】
【００３５】
１００…オブジェクト情報格納部、１０１…静的オブジェクト情報格納部、１０２…動的オブジェクト情報格納部、２００…動画変換装置、２０１…オブジェクト分離部、２０４…三次元静的オブジェクト生成部、２０６…三次元動的オブジェクト生成部、２０７…三次元動画生成部。
【図１】
2018160853.tif 000003
【図２】
2018160853.tif 000004
【図３】
2018160853.tif 000005
【図４】
2018160853.tif 000006
【図５】
2018160853.tif 000007
【図６】
2018160853.tif 000008
【図７】
2018160853.tif 000009
【図８】
2018160853.tif 000010
【図９】
2018160853.tif 000011
【図１０】
2018160853.tif 000012
【図１１】
2018160853.tif 000013