(57)【要約】本発明は、多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラムに関する。本発明の一実施形態に係る多次元反応型映像生成方法は、コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得する段階（Ｓ２００）と、前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成する段階（Ｓ６００）と、それぞれの細部セルに対応する映像フレームをマッチさせる段階（Ｓ１０００）とを含む。
2019535064.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得し、前記基礎映像は、対象体に操作体で操作を加える映像である多次元映像フレーム獲得段階と、
コンピュータが前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成し、前記３次元のセル組み合わせは、異なる深さ情報及び位置情報が付与された複数の細部セルを含むセル組み合わせ生成段階と、
コンピュータが前記基礎映像に含まれているそれぞれの映像フレームを、対応する前記細部セルにマッチさせる段階とを含み、
前記深さ情報は、反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する情報であり、
前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関する情報であり、
前記設定領域は、対象体内で前記反応型映像として生成される２次元空間領域であり、
前記フレーム密度は、前記基礎映像内の特定地点に適用される前記深さ情報段階の数である、多次元反応型映像生成方法。
【請求項２】
前記多次元映像フレームは、
操作体を用いて特定の対象体に操作が加えられる位置と圧力強度を変更しながら反復的に獲得されることを特徴とする請求項１に記載の多次元反応型映像生成方法。
【請求項３】
前記多次元映像フレーム獲得段階は、
操作体で対象体に入力操作を加える映像全体から入力操作が加えられた後に復元される復元映像を抽出し、前記復元映像内の複数の映像フレームを獲得することを特徴とする請求項１に記載の多次元反応型映像生成方法。
【請求項４】
前記反応型映像として生成される前記設定領域を指定する段階を更に含むことを特徴とする請求項１に記載の多次元反応型映像生成方法。
【請求項５】
特定強度の圧力が加えられた後、基礎映像内の変化を認識して前記対象体の復元変数を算出する段階を更に含むことを特徴とする請求項１に記載の多次元反応型映像生成方法。
【請求項６】
ハードウェアであるコンピュータと結合され、請求項１〜５の何れか一項に記載の方法を実行させるために媒体に格納された多次元反応型映像生成プログラム。
【請求項７】
コンピュータがユーザから対象体に対する入力操作を受信する段階と、
各再生時点で受信した前記入力操作の位置情報及び深さ情報に従って、前記コンピュータが反応型映像から位置情報及び深さ情報に対応する細部セルにマッチした映像フレームを抽出する段階とを含み、
前記深さ情報は、前記反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する情報であり、
前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関する情報であり、
前記細部セルは、前記入力操作の位置情報及び深さ情報に対応する特定の映像フレームがマッチしたものであって、反応型映像内の３次元のセル組み合わせを構成する、多次元反応型映像再生方法。
【請求項８】
隣接する領域に連続的な入力操作が入力される場合、
コンピュータが画面上の特定地点に対応する深さ情報が異なる複数の映像フレームの組み合わせ又は以前の時点に提供された映像フレームと現在の入力操作に対応する細部セル内の映像フレームの組み合わせを基にモーフィングを行って最終の再生映像フレームを生成する段階を更に含むことを特徴とする請求項７に記載の多次元反応型映像再生方法。
【請求項９】
コンピュータが前記反応型映像から復元変数を抽出して映像フレームの変化速度を調節する段階を更に含むことを特徴とする請求項７に記載の多次元反応型映像再生方法。
【請求項１０】
コンピュータが反応型映像を実行した特定時点からの時間経過を算出し、対象体に対する入力操作による映像フレームの変化を調節する段階を更に含むことを特徴とする請求項７に記載の多次元反応型映像再生方法。
【請求項１１】
ハードウェアであるコンピュータと結合され、請求項７〜１０の何れか一項に記載の方法を実行させるために媒体に格納された反応型映像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラムに関する。
【背景技術】
【０００２】
近年、映像撮影技術が飛躍的に進歩しつつある。カムコーダ、デジタルカメラだけでなく、スマートフォンなどの移動端末も高い解像度の映像を撮影することができる。また、３６０度カメラ、３Ｄ映像カメラなどが登場している。
【０００３】
映像は、映像撮影装置により撮影されて特定のフォーマットで格納され、再生可能な端末により再生される。映像の再生は、視聴者との相互作用（Ｉｎｔｅｒａｃｔｉｏｎ）がなく、一方的に時間順に提供される。即ち、視聴者は再生される映像を通じて視覚的な感覚のみを感じることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、本発明は上記事情に鑑みてなされたものであって、その目的は、対象体の特定領域に対する操作に対応する映像フレームを連結しておくことによって、ユーザの入力操作に符合するように反応する映像を生成し、ユーザに提供する多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラムを提供することにある。
【０００５】
本発明が解決しようとする課題は、以上で言及された課題に限定されず、言及されていない他の課題は、下記の記載から通常の技術者が明確に理解できるはずである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る多次元反応型映像生成方法は、コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得し、前記基礎映像は、対象体に操作体で操作を加える映像である多次元映像フレーム獲得段階と、コンピュータが前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成し、前記３次元のセル組み合わせは、異なる深さ情報及び位置情報が付与された複数の細部セルを含むセル組み合わせ生成段階と、コンピュータが前記基礎映像に含まれているそれぞれの映像フレームを、対応する前記細部セルにマッチさせる段階とを含み、前記深さ情報は、反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する情報であり、前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関する情報であり、前記設定領域は、対象体内で反応型映像として生成される２次元空間領域であり、前記フレーム密度は、前記基礎映像内の特定地点に適用される前記深さ情報段階の数である。
【０００７】
また、他の実施形態として、前記多次元映像フレームは、操作体を用いて特定の対象体に操作が加えられる位置と圧力強度を変更しながら反復的に獲得される。
【０００８】
更に、他の実施形態として、前記多次元映像フレーム獲得段階は、操作体で対象体に入力操作を加える映像全体から入力操作が加えられた後に復元される復元映像を抽出し、前記復元映像内の複数の映像フレームを獲得することを特徴とする。
【０００９】
また、他の実施形態として、前記反応型映像として生成される前記設定領域を指定する段階を更に含む。
【００１０】
更に、他の実施形態として、特定強度の圧力が加えられた後、基礎映像内の変化を認識して前記対象体の復元変数を算出する段階を更に含む。
【００１１】
本発明の他の実施形態に係る多次元反応型映像生成プログラムは、ハードウェアと結合されて前記言及された多次元反応型映像生成方法を実行し、媒体に格納される。
【００１２】
本発明の他の実施形態に係る多次元反応型映像再生方法は、コンピュータがユーザから対象体に対する入力操作を受信する段階と、各再生時点で受信した前記入力操作の位置情報及び深さ情報に従って、前記コンピュータが反応型映像から位置情報及び深さ情報に対応する細部セルにマッチした映像フレームを抽出する段階とを含み、前記深さ情報は、前記反応型映像に加えられる入力操作の圧力強度又は入力操作が加えられる時間長に関する情報であり、前記位置情報は、前記反応型映像に前記入力操作が加えられる２次元空間上の位置に関する情報であり、前記細部セルは、前記入力操作の位置情報及び深さ情報に対応する特定の映像フレームがマッチしたものであって、反応型映像内の３次元のセル組み合わせを構成する。
【００１３】
また、他の実施形態として、隣接する領域に連続的な入力操作が入力される場合、コンピュータが画面上の特定地点に対応する深さ情報が異なる複数の映像フレームの組み合わせ又は以前の時点に提供された映像フレームと現在の入力操作に対応する細部セル内の映像フレームの組み合わせを基にモーフィングを行って最終の再生映像フレームを生成する段階を更に含む。
【００１４】
更に、他の実施形態として、コンピュータが前記反応型映像から復元変数を抽出して映像フレームの変化速度を調節する段階を更に含む。
【００１５】
また、他の実施形態として、コンピュータが反応型映像を実行した特定時点からの時間経過を算出し、対象体に対する入力操作による映像フレームの変化を調節する段階を更に含む。
【００１６】
本発明の他の実施形態に係る多次元反応型映像再生プログラムは、ハードウェアと結合されて前記言及された多次元反応型映像再生方法を実行し、媒体に格納される。
【発明の効果】
【００１７】
前記のような本発明によれば、以下のような多様な効果を有する。
【００１８】
第一に、ユーザによりタッチ操作時に現実での対象体表面の変化と同様に反応型映像を再生することによって、ユーザに現実感あふれる再生映像を提供できるという効果を奏する。
【００１９】
第二に、映像に対する視聴者らの関心を高め、伝達力を最大化できるという効果がある。これにより、映像内の特定の物体に対する広報効果を向上させることができる。
【００２０】
第三に、物体を撫でるなどの特定区間を往復又は特定動作を繰り返す映像を生成する場合、特定の第１方向に動く一部の映像のみを獲得した後、ユーザの入力操作によって反復再生（例えば、順方向再生及び逆方向再生を反復）を行うようにすることができる。これにより、繰り返される動作を含む映像の格納容量を減らすことができるという効果が得られる。
【００２１】
第四に、各細部セルに格納されている基本映像フレームを基にモーフィングを行ってユーザにより画面上に提供される操作に符合する現実感あふれる最終の再生映像フレームを提供できる。従って、動きの類型別に異なる映像フレームを格納しなくてもよいので、格納容量を顕著に減らすことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る多次元反応型映像生成方法の順序図である。
【図２】本発明の一実施形態によって反応型生成領域を複数の再生区域に分けるために複数の分割イメージを生成した例示図である。
【図３】本発明の一実施形態に係る反応型生成領域を指定する過程を更に含む多次元反応型映像生成方法の順序図である。
【図４】本発明の一実施形態に係る復元変数を算出する過程を更に含む多次元反応型映像生成方法の順序図である。
【図５】本発明の一実施形態に係る多次元反応型映像再生方法の順序図である。
【図６】本発明の一実施形態に係る入力操作の位置情報及び深さ情報を基に映像フレームを抽出する細部セルを決定する過程を示す例示図である。
【図７】本発明の一実施形態に係る映像フレームのモーフィング過程を更に含む多次元反応型映像再生方法の順序図である。
【図８】本発明の一実施形態に係る復元変数で映像フレームの再生を調節する過程を更に含む多次元反応型映像再生方法の順序図である。
【図９】本発明の一実施形態に係る時間の経過に伴う対象体の状態変化を反映し、入力操作による映像フレームの変化を調節する過程を示す多次元反応型映像再生方法の順序図である。
【発明を実施するための形態】
【００２３】
以下、添付の図面を参照し、本発明の好適な実施形態を詳細に説明する。本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になるはずである。しかし、本発明は以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施形態は本発明の開示を完全なものにし、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に理解させるために提供されるものであり、本発明は請求範囲の範疇により定義されるに過ぎない。明細書全体に亘って同一の参照符号は、同一の構成要素を示す。
【００２４】
他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の知識を有する者が共通して理解できる意味として使用され得る。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
【００２５】
本明細書で用いられた用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。
【００２６】
本明細書において「コンピュータ」は、演算処理を行える多様な装置が全て含まれる。例えば、コンピュータはデスクトップＰＣ、ノートブック（Ｎｏｔｅ Ｂｏｏｋ）のみならず、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ、携帯電話（Ｃｅｌｌｕｌａｒ ｐｈｏｎｅ）、ＰＣＳフォン（ＰＣＳ ｐｈｏｎｅ；Ｐｅｒｓｏｎａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ ｐｈｏｎｅ）、同期式／非同期式ＩＭＴ-２０００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ-２０００）の移動端末、パームＰＣ（Ｐａｌｍ Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯情報端末（ＰＤＡ；Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）なども該当し得る。また、コンピュータは、クライアントから情報を受信するサーバコンピュータも該当し得る。以下、本明細書においてコンピュータは端末又はクライアントとも表現されることができる。
【００２７】
本明細書において「反応型映像」は、映像を視聴するユーザ（即ち、視聴者）の特定の入力操作に相応する形態で映像が再生される映像を意味する。例えば、反応型映像は、ユーザにより特定の物体（例えば、枕）をタッチする形態の入力操作がタッチスクリーンに加えられると、タッチスクリーンに対する入力操作と同様に物体をタッチする動きが再生される映像を意味する。また、例えば、反応型映像は、ユーザにより特定の物体を押圧する形態の入力操作がタッチスクリーンに加えられると、物体が押圧される動きとユーザの入力操作以後に再び復元される動きが再生される映像を意味する。
【００２８】
本明細書において「基礎映像」は、反応型映像の生成のために用いられる複数の映像フレームの組み合わせを意味する。
【００２９】
本明細書において「第１クライアント」は、反応型映像を生成する第１ユーザ（即ち、反応型映像製作者）のクライアント装置を意味する。
【００３０】
本明細書において「第２クライアント」は、反応型映像を再生する第２ユーザ（即ち、反応型映像利用者）のクライアント装置を意味する。
【００３１】
本明細書において「入力操作」は、反応型映像を再生するコンピュータの入力手段によって受信されるユーザの映像に対する操作を意味する。例えば、前記入力操作は、マウス又はタッチスクリーンのような入力手段を通じて映像内の特定の地点又は領域に入力され得る操作（例えば、クリック操作、ドラッグ操作、接触タッチ操作、感圧タッチ（Ｆｏｒｃｅ Ｔｏｕｃｈ）操作（即ち、タッチスクリーン又はタッチパッドに特定圧力を加えるタッチ操作））を含むことができる。また、例えば、前記入力操作は、コンピュータ（又は端末）が備えるセンサ（例えば、加速度センサ、ジャイロセンサなど）を入力手段として獲得され得る端末自体の配置状態又は動きなどを含むことができる。
【００３２】
本明細書において「対象体」は、ユーザにより操作される反応型映像内の物体を意味する。例えば、ユーザが手で特定の物体をタッチする動作を撮影した映像である場合、前記対象体はユーザによりタッチされる物体を意味する。
【００３３】
本明細書において「操作体」は、映像内で対象体に操作又は動き（Ｍｏｔｉｏｎ）を行うことを意味する。例えば、映像内において手でカバン又は枕をタッチするか、押圧する場合、操作体はカバン又は枕をタッチする手を意味する。
【００３４】
以下、図面を参照し、本発明の実施形態に係る多次元反応型映像生成装置、多次元反応型映像生成方法、多次元反応型映像再生方法及びプログラムについて詳細に説明する。
【００３５】
図１は、本発明の一実施形態に係る多次元反応型映像生成方法の順序図である。
【００３６】
図１を参照すれば、本発明の一実施形態に係る多次元反応型映像生成方法は、コンピュータが基礎映像を形成する複数の多次元映像フレームを獲得する段階（Ｓ２００）と、前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に３次元のセル組み合わせを生成する段階（Ｓ６００）と、それぞれの細部セルに対応する映像フレームをマッチさせる段階（Ｓ１０００）とを含む。以下、各段階についての詳細な説明を記述する。
【００３７】
コンピュータは、基礎映像を形成する複数の多次元映像フレームを獲得する（Ｓ２００）。即ち、コンピュータはカメラによって多次元映像フレームを獲得することができ、既に獲得された１つの映像から複数の映像フレームを抽出することができる。例えば、コンピュータは、特定の操作体（例えば、手、棒、空気圧提供装置など）によって特定の対象体に操作を加える映像を撮影することができる。
【００３８】
前記基礎映像を生成する方式の一実施形態として、コンピュータは操作体を用いて特定の対象体に特定の操作（例えば、タッチする操作、押圧する操作）を加える映像を複数の条件のうち何れか１つのみを変更しながら、複数回獲得する。即ち、コンピュータは、対象体とカメラの位置は固定した状態で操作体の２次元空間上の動き（即ち、Ｘ軸方向の動きとＹ軸方向の動き）、Ｚ軸方向の動き（即ち、物体を押圧する圧力）のうち何れか１つの条件のみを変更しながら、映像撮影を行うことができる。
【００３９】
例えば、押圧する圧力と特定の第１軸（例えば、Ｙ軸）上の位置を固定した状態で第２軸（例えば、Ｘ軸）に沿って一方向にのみ動く基礎映像を獲得し、第１軸上の位置又は押圧する圧力を順に変更しながら、基礎映像を継続して獲得する。具体的に、コンピュータは、カメラによって対象体を押圧する圧力を固定し、Ｙ軸上の値を固定した状態でＸ軸に沿って操作体を移動する映像を獲得し、対象体に加えられる圧力とＹ軸上の位置を固定した状態でＸ軸方向への移動が完了すると、Ｙ軸上の位置を最小単位だけ変更し、再びＸ軸方向へ移動を行いながら、基礎映像の獲得を繰り返すことができる。また、第１軸上の位置を変更しながら第２軸に沿って移動する過程を繰り返した後、コンピュータは、操作体により対象体に加えられる圧力を変更して２次元空間上を移動させる過程を繰り返すことができる。これにより、コンピュータは、特定の２次元空間の各位置で押圧する強度に符合する映像フレームをそれぞれ獲得して反応型映像の生成のための最終の基礎映像を生成することができる。
【００４０】
また、前記基礎映像を生成する方式の他の実施形態として、コンピュータは基礎映像の生成及び格納時に、コンピュータは、第２軸（例えば、対象体に加えられる圧力と第１軸（即ち、Ｙ軸）上の位置を固定した状態で第２軸（即ち、Ｘ軸）方向への移動が完了した後、第１軸（即ち、Ｙ軸）上の位置を調節するために第１軸の初期地点に操作体が再び復帰する映像を格納せずに削除する。即ち、第１軸方向の位置変更のために第２軸上において反対方向へ移動する過程の映像フレームは反応型映像の生成に不要な映像フレームであるので、コンピュータは、操作体の動き方向を判断して映像フレームを獲得する方向と反対方向に動いた映像フレームを格納せずに削除する。これにより、反応型映像に含まれる映像フレームの数を減らしてファイルの大きさを縮小することができる。
【００４１】
また、他の実施形態として、コンピュータは、基礎映像の生成及び格納時に復元映像のみを格納する。コンピュータは、対象体の特定地点の状態が外力が印加された後に外力が加えられない状態に復元される復元映像のみを格納する。具体的に、コンピュータは、操作体により圧力が加えられる再生範囲を削除し、前記操作体による外力が加えられた後、復元される再生範囲（即ち、復元映像）を格納する。コンピュータは、復元される過程のそれぞれの映像フレームを特定地点の深さ情報別の細部セルにそれぞれマッチさせる。これにより、コンピュータは操作体に遮られず、特定地点の表面状態が変わる映像フレームを獲得することができる。
【００４２】
更に、他の実施形態として、コンピュータは、操作体が位置して遮られる領域を対象体のみ存在するフレームを用いてイメージプロセッシング（例えば、操作体に対応する部分の対象体イメージを切り取って付ける方式）を行って操作体なしに対象体のみ存在する映像フレームを生成して格納することができる。
【００４３】
また、他の実施形態として、コンピュータは、ユーザの操作類型によって異なる映像フレームを提供できるように、操作の類型別に映像フレームを格納する。例えば、ユーザが反応型映像の特定地点に対して圧力を加えた後、圧力を除去する操作を行う場合、圧力が加えられる地点以外の対象体領域は変化が発生してはならない。反面、圧力を加えながら特定方向に操作体が移動する場合、操作体により圧力が既に加えられた後、操作体が通過した領域が復元される映像フレームを提供しなければならない。従って、コンピュータは操作の類型（例えば、特定地点に対してタッチ操作、タッチスクリーン上を特定の圧力を加えながらドラッグする操作）によって異なる映像フレームが提供されるように格納する。このために、コンピュータは、タッチスクリーン上に入力される操作類型を判断し、順序通りに提供すべき映像フレームの類型を決定することができる。
【００４４】
その後、コンピュータは、前記基礎映像内に設定領域及び前記設定領域内の特定のフレーム密度を基に反応型生成領域内に３次元のセル組み合わせを生成する（Ｓ６００）。前記設定領域は、対象体内で操作体により操作が加えられる２次元空間領域である。前記フレーム密度は、特定の地点にマッチする複数のフレーム数を意味する。即ち、フレーム密度は、設定領域に付与される深さ（Ｚ軸方向の深さ）段階の数又は加えられる圧力強度段階の数に対応する。外力により形状が変形される物体の場合、圧力強度によってＺ軸方向の深さが変わるので、フレーム密度は、深さ段階と圧力強度段階のうち何れか１つに対応し得る。
【００４５】
前記フレーム密度は、第１ユーザにより設定されてもよく、コンピュータ（即ち、第１クライアント）に設定されていてもよい。例えば、コンピュータは、感圧タッチセンサで検知する圧力強度段階の数を基にフレーム密度を設定することができる。例えば、感圧タッチセンサで検知する圧力強度段階の数が最大フレーム密度で適用され、コンピュータは、フレーム密度よりも実際に獲得された映像フレーム数が少ない場合、連続する複数の細部セルに同一の映像フレームがマッチするようにすることができる。
【００４６】
コンピュータは、設定領域の分割された細部単位数とフレーム密度を基に３次元のセル組み合わせを形成する。セル組み合わせは、Ｘ軸方向に単位間隔でＬ個に分割され、Ｙ軸方向に単位間隔でＭ個に分割され、Ｚ軸方向にフレーム密度に対応するようにＮ個に分割されてＬ×Ｍ×Ｎ個の細部セルを含む。それぞれの細部セルは、設定領域内の該当地点と圧力強度が付与されており、これに符合する映像フレームを格納する位置とマッチする。即ち、コンピュータは、セル組み合わせを配列で生成し、前記配列内の個別セルに対応する映像フレームの格納位置が連結されるようにする。
【００４７】
その後、コンピュータは、それぞれの細部セルに対応する映像フレームをマッチさせて格納する（Ｓ１０００）。即ち、コンピュータは、基礎映像内の各映像フレームの２次元空間上の位置と対象体に加えられる圧力又はＺ軸方向の深さを基にそれぞれの細部セルに個別に格納する。
【００４８】
各細部セルに圧力強度別のフレームをマッチさせる方式は、多様な方式が適用されることができる。一実施形態として、コンピュータ内に最大強度が設定されており、強度全体を特定数単位に分割して設定されている場合、コンピュータは、ユーザから圧力数の入力を受けることによって圧力強度を設定する。また、他の実施形態として、コンピュータは、基礎映像が再生される過程に入力操作を加えるようにして、各映像フレームに対応する位置情報及び深さ情報を直ちに決定して細部セルをマッチさせることができる。
【００４９】
また、２次元空間上の位置を決定する方式の一実施形態として、コンピュータは、イメージ認識を通じて入力操作が加えられる２次元空間上の位置を把握し、画面上の該当位置を画面上の細部セルがマッチする地点として決定する。
【００５０】
更に、他の実施形態として、図２に示すように、コンピュータは、反応型生成領域を特定数の再生区域に分割するように各映像フレームを分割する分割イメージを生成して各対応するタッチスクリーン上の地点にマッチさせる。コンピュータは、映像の獲得時には１つに獲得された映像フレームを反応型生成領域を分割する分割線により複数の分割イメージに分割し、タッチスクリーン上の各地点に個別に分割イメージをマッチさせる。その後、１つ以上の操作がタッチスクリーン全体上に入力されることによって、コンピュータは、各再生区域の操作に符合する分割イメージを抽出して結合し、タッチスクリーン上に提供する。これにより、１つの映像フレームソース（Ｓｏｕｒｃｅ）を基に分割された複数の領域がマルチプレイするように実現することができ、コンピュータは、ユーザにより複数の地点に入力操作が入力される場合、複数の地点で反応が生成される反応型映像を生成することができる。
【００５１】
また、他の実施形態として、図３に示すように、反応型として生成される設定領域を指定する段階（Ｓ５００）を更に含む。一実施形態として、コンピュータは、基礎映像内で対象体に外形の変化が生じる領域を含む範囲を設定領域として指定することができる。例えば、第１ユーザが操作体（例えば、手）を用いて対象体（例えば、パッド）に外力を加える場合、コンピュータは外力により外形が変わる部分（即ち、パッドが押圧される部分）のみを第１ユーザにより反応型にしようと意図する領域として判断できる。また、基礎映像内に対象体のみならず、操作体が共に撮影されて含まれる場合、コンピュータは操作体の動きは排除し、対象体の外形の変化のみを認識して設定領域を指定することができる。
【００５２】
更に、前記設定領域を指定する他の実施形態として、コンピュータは、基礎映像内の複数の映像フレーム内に同一に存在する対象体イメージ自体を抽出し、設定領域として指定する。即ち、対象体の表面が反応型に生成される領域を含むので、コンピュータは、基礎映像内に同一に含まれている対象体の範囲全体を設定領域として指定することができる。
【００５３】
また、前記設定領域を指定する他の実施形態として、コンピュータは、操作体（例えば、手）の動きをトラッキングし、操作体（例えば、手）の移動経路を含む範囲を設定領域として指定する。即ち、コンピュータは、操作体が動く領域を抽出して設定領域として指定する。
【００５４】
更に、前記設定領域を指定する他の実施形態として、コンピュータは、第１ユーザから特定の映像フレームに反応型領域を設定する入力を受信する。例えば、コンピュータは、画面上に基礎映像内の特定の映像フレームを抽出して提供し、ユーザから設定領域として指定する対象体の２次元範囲の指定を受けることができる。
【００５５】
基礎映像でカメラ及び対象体の位置が固定されている場合、コンピュータは任意の映像フレームを提供した後、対象体の領域をタッチ操作を通じて設定を受けることができる。コンピュータは、特定のフレームに指定された設定領域を全てのフレームに同一に指定できる。また、他の例として、カメラ又は対象体の位置が変更される場合、コンピュータは特定の映像フレーム内に設定領域の指定を受けた後、前記設定領域のイメージに対応する各映像フレーム内の領域を設定領域として自動的に指定することができる。
【００５６】
また、更に他の実施形態として、図４に示すように、特定強度の圧力が加えられた後、基礎映像内の変化を認識して該当対象体の復元変数を算出する段階（Ｓ４００）を更に含む。前記復元変数は、特定の圧力が加えられた後に実際に対象体に圧力が加えられていない状態に復元される動きを、タッチスクリーン上でユーザの特定の圧力強度を有する圧力操作の後に反応型映像が実際と同様に復元されるようにする変数を意味する。コンピュータ（即ち、第１クライアント）は復元変数を算出した後、反応型映像に含んで第２クライアントに提供し、第２クライアントは後述するように反応型映像の映像フレーム再生時に復元変数を反映することができる。即ち、第２クライアントは、復元変数を反映して反応型映像を再生することによって、実際に対象体の外形が復元される形態と類似するように表現できる。第２クライアントは、復元変数を適用してタッチスクリーン上に圧力が加えられることによって、圧力の変化によって順次、映像フレームが変更され、実際に対象体の動きと同一に外形が復元されるように映像フレームを再生する。
【００５７】
前記復元変数を算出する方式の一実施形態として、コンピュータは、基礎映像の生成時に操作体により対象体に圧力を加えた後、復元される複数の映像フレームを獲得し、映像フレーム内の対象体の時間当り変化を基に復元変数を算出する。
【００５８】
また、復元変数を算出する他の実施形態として、特定の圧力で反応型生成領域において操作体により特定の圧力が加えられながら基礎映像に含まれる複数の映像フレームを獲得する過程で、コンピュータは、対象体上で操作体が移動した領域（例えば、手で対象体に圧力を加えた状態で移動する場合に手が通過した領域）での対象体の変化を分析して復元変数を算出する。これにより、ユーザは、復元変数を算出するために対象体に対して操作体を用いて圧力を加える過程を行わなくてもよいので、簡便に現実感あふれる反応型映像を生成できる。
【００５９】
更に、他の実施形態として、コンピュータが撮影された対象体の種類又は操作体の動きをイメージ学習を通じて把握し、対象体の特性に符合する復元変数を決定する。コンピュータがイメージを学習する方式の例として、コンピュータは、機械学習アルゴリズムを用いて対象体の種類又は操作体の動きを学習することができる。前記機械学習アルゴリズムは、ディープニューラルネットワークを基に学習を行うディープランニングアルゴリズムを含む。
【００６０】
例えば、コンピュータは、ビッグデータとして構築されるか、クローリングを通じて獲得されたイメージを基に基礎映像内に含まれている対象体を把握できる。また、例えば、コンピュータは、多数の動画に含まれている操作体の動き（例えば、手の動き）映像を累積して学習を行い、基礎映像内の操作体の動きに対応する複数のフレームを基に操作体により行われる動きが如何なる行動又は操作であるかを判断する。
【００６１】
図５は、本発明の一実施形態に係る多次元反応型映像再生方法の順序図である。
【００６２】
図５を参照すれば、本発明の他の実施形態に係る多次元反応型映像再生方法は、第２クライアントは、第２ユーザから対象体に対する入力操作を受信する段階（Ｓ１２００）及び前記入力操作を基に、前記第２クライアントが前記反応型映像内の映像フレームを順次提供する段階（Ｓ１４００）を含む。以下、各段階についての詳細な説明を記載する。
【００６３】
第２クライアントが第２ユーザから対象体に対する入力操作を受信する（Ｓ１２００）。即ち、第２クライアントは、第２ユーザによる入力操作に対応する細部セルの条件を獲得する。第２クライアントは、第２ユーザの入力操作を通じて画面上の位置（即ち、ユーザの入力操作が加えられる地点のＸ座標及びＹ座標）情報と深さ情報（即ち、加えられる圧力データ又は画面に接触する時間長）を獲得する。
【００６４】
第２ユーザにより連続する入力操作が加えられると、第２クライアントは単位時間間隔で位置情報及び深さ情報を獲得する。例えば、特定の軸方向（例えば、Ｘ軸方向又はＹ軸方向）に沿って動く場合、第２クライアントは単位時間間隔ごとに変更された位置情報及び深さ情報を獲得する。また、例えば、第２ユーザから対角線方向に圧力強度が変更されながら移動する入力操作を受信する場合、第２クライアントは変更される位置情報と深さ情報を順次獲得する。
【００６５】
前記入力操作を基に、前記第２クライアントは、前記反応型映像内の映像フレームを順次抽出又は提供する（Ｓ１４００）。前記入力操作の位置情報及び深さ情報が変更されることによって、コンピュータが、変更された位置情報及び深さ情報に対応する細部セルにマッチした映像フレームを抽出して連続的に提供する。
【００６６】
図６に示すように、入力操作の圧力強度又は接触時間の長さを増加させながら、Ａ地点、Ｂ地点、Ｃ地点に入力操作を移動する場合、第２クライアントは入力操作が加えられる位置（例えば、指が接触した位置）の複数の細部セルの中から加えられた圧力強度又は接触時間の長さに対応する細部セルを探索し、細部セルにマッチした映像フレームを抽出する。
【００６７】
具体的に、第２クライアントは、Ａ地点では圧力が加えられずに接触することによって０レベルの細部セルを選択し、Ｂ地点では圧力強度を基に１レベルの細部セルを選択し、Ｃ地点では圧力強度を基に４レベルの細部セルを選択する。第２クライアントは、Ａ地点からＣ地点へ移動しながら選択された各細部セルにマッチした映像フレームを順次提供する。
【００６８】
一実施形態として、コンピュータである第２クライアントは、サービスサーバからそれぞれの映像フレームを受信して再生することができる。例えば、第２クライアントは、サービスサーバに画面上の位置（例えば、第２ユーザの入力操作が加えられた画面上のピクセル位置）と圧力センサにより測定された圧力強度又は画面に接触した時間長を伝送し、サービスサーバはこれを基にセル組み合わせ内の特定の細部セルを探索してこれにマッチした映像フレームを第２クライアントに提供する。第２クライアントは、サービスサーバから受信した映像フレームを画面上に抽出する。サービスサーバとクライアント間の通信による遅延（Ｄｅｌａｙ）が短い場合、第２クライアントに第２ユーザの入力操作が入力された後、短時間後に入力操作の位置情報及び深さ情報（即ち、圧力強度又は接触時間長）に対応する映像フレームを表示できるので、第２ユーザの操作に直ちに反応するかのように映像を実現できる。
【００６９】
また、他の実施形態として、第２クライアントは、サービスサーバ又は第１クライアントから反応型映像のセル組み合わせ全体を受信した後、各時点の入力操作による位置情報と深さ情報（即ち、加えられた圧力強度又は時間長）を基にセル組み合わせ内の特定の細部セルを探索してこれにマッチした映像フレームを抽出して画面上に表示する。
【００７０】
これにより、第２クライアントは、ユーザによる入力操作の動き別に再生される映像を別途に備える必要なく、それぞれの入力操作の条件（即ち、位置情報及び深さ情報）による映像フレームをデータベースとして生成しておくことによって、第２ユーザの入力操作に対応する多様な対象体の動き（Ｍｏｔｉｏｎ）を実現できる。
【００７１】
また、他の実施形態として、第２クライアントは、入力操作の加圧方式によって順次再生されるフレームを抽出する細部セルが異なるように決定されることができる。
【００７２】
更に、本発明の他の実施形態は、隣接する領域に連続的な操作が入力される場合、第２クライアントがタッチスクリーン（即ち、画面）上の特定地点に対応する複数の映像フレームを基にモーフィング（Ｍｏｒｐｈｉｎｇ）を行って最終の再生映像フレームを生成する段階（Ｓ１３００）を更に含む。例えば、コンピュータがユーザにより特定の圧力が加えられ、第１軸方向及び第２軸方向に対象体を操作しながら獲得した映像フレームを基礎映像として格納する場合、コンピュータは、複数の映像フレームを基に特定時点でタッチ操作が入力される地点以外の領域に対してはモーフィングを行った映像フレームを生成する。これにより、ユーザの操作時に自然に変化する反応型映像を生成することができる。
【００７３】
具体的に、第２クライアントは、第１時点に提供された映像フレームと指の位置と圧力強度が変わることによって第２時点（第１時点から特定時間が経過した時点）に提供された映像フレームを基にモーフィングを行う。即ち、第２クライアントは、現在の入力操作に符合する細部セルの映像フレームと以前に提供された１つ以上の映像フレームを用いてモーフィングを行う。例えば、第２クライアントは、同一地点に第１時点の映像フレームと第２時点の映像フレームの平均値を適用して最終の再生映像フレームを生成できる。
【００７４】
これにより、入力操作に符合する細部セル内の映像フレームが第２ユーザの行う動きに符合しなくても補正を通じて動きに符合する最終の再生映像フレームを生成できる。即ち、第２ユーザが提供する動きに合う映像を提供することによって現実感を提供でき、全ての動きに対する映像フレームを格納する必要なく、基本映像フレームのみを各細部セルにマッチさせて格納した状態で多様な映像フレームを生成できるため、格納空間を節約できる。
【００７５】
また、第２クライアントは、第２ユーザにより入力操作が入力される地点から予め定められた範囲内のイメージ領域を共に変形させることができる。即ち、特定地点に圧力が加えられることによって周辺領域にも変形が生じるので、第２クライアントは周辺領域の補正を共に行う。
【００７６】
第２クライアントは、設定された入力操作が加えられた地点から設定された周辺領域の最終部分まで連続的に変わるものと表現されるように補正できる。例えば、入力操作が加えられた地点の色値と周辺領域の最終の色値を基に順次、色が変わるように補正を行う。このとき、第２クライアントは、入力操作が加えられない基本状態の映像フレームを共に活用できる。
【００７７】
第２クライアントは、入力操作の圧力強度に従って補正される周辺領域の範囲を異なるように決定できる。例えば、入力操作が加えられる対象体がクッションである場合、強い圧力が加えられるほど表面の変形が発生する領域が広くなるので、第２クライアントは、反応型映像の再生時に現実感を提供するために圧力強度に従って変形範囲を決定する。
【００７８】
また、他の実施形態として、第２クライアントが反応型映像から復元変数を抽出して映像フレームの変化を調節する段階（Ｓ１５００）を更に含む。即ち、第２クライアントは、反応型映像に共に含まれて提供される復元変数を基に入力操作が加えられた後、映像フレームが変更される速度を調節する。これにより、実際に対象体を操作する時と同様に映像を再生できる。
【００７９】
更に、他の実施形態として、第２クライアントが反応型映像を実行した特定時点からの時間経過を算出し、対象体に対する入力操作による映像フレームの変化を調節する段階（Ｓ１６００）を更に含む。これにより、現実において時間の経過に伴い、状態変化が生じて圧力による変形の程度が変わる対象体（例えば、果物、パン、セメントなど）の特性を反応型映像でも現実と同様に状態変化を実現でき、ユーザは時間の変化に伴う物体の硬度変化を反応型映像を通じて感じることができる。例えば、第２クライアントは、反応型映像内でパンが時間の経過に伴って硬くなり、軟らかさが減少すること、セメントや粘土などが時間の経過に伴って硬くなることを、対象体の変形が少ない映像フレームを圧力によって提供される最後のフレームに変更するか、映像フレームの変化速度を調節して実現することができる。
【００８０】
本発明の他の実施形態に係る多次元反応型映像生成装置は、制御部を含む。前記制御部は、本発明の実施形態に係る多次元反応型映像生成方法を行う。
【００８１】
また、多次元反応型映像生成装置の他の実施形態は、基礎映像を撮影する映像撮影部（即ち、カメラ）を含む。
【００８２】
以上で前述した本発明の実施形態に係る多次元反応型映像生成方法及び再生方法は、ハードウェアであるコンピュータと結合されて実行されるためにプログラム（又はアプリケーション）で実現して媒体に格納されることができる。
【００８３】
前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順と関連する制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されなければならないかに対するメモリ参照関連コードを更に含むことができる。また、前記コンピュータのプロセッサが前記機能を実行させるために遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連コードを更に含むことができる。
【００８４】
前記格納される媒体は、レジスタ、キャッシュ、メモリなどのように短時間にデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などが挙げられるが、これに限定されない。即ち、前記プログラムは、前記コンピュータが接続できる多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散されて分散方式でコンピュータが読み取れるコードが格納されることができる。
【００８５】
以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態で実施され得るということが理解できるはずである。従って、以上で記述した実施形態は、全ての面で例示的なものであり、制限的ではないものとして理解すべきである。
【図１】
2019535064.tif 000003
【図２】
2019535064.tif 000004
【図３】
2019535064.tif 000005
【図４】
2019535064.tif 000006
【図５】
2019535064.tif 000007
【図６】
2019535064.tif 000008
【図７】
2019535064.tif 000009
【図８】
2019535064.tif 000010
【図９】
2019535064.tif 000011
【国際調査報告】
2019535064.tif 000012
2019535064.tif 000013
2019535064.tif 000014
2019535064.tif 000015