(57)【要約】本発明は多数のカメラを用いて最適の閉鎖曲面映像獲得方法に関するものであって、特にリグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの映像を製作する映像提供方法を提供し、このために複数のカメラから得られた映像をパラメータ情報を用いて閉鎖曲面のプロジェクション面に投写させて１つの映像を獲得するプロジェクションステップ、前記獲得された１つの映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップ、及び前記サンプリングされた映像をビューイングスペアにマッピングするビューイングステップ；を含む。【選択図】図１
2019509526.tif 000002
【特許請求の範囲】
【請求項１】
相異する撮影時点を有する複数のカメラから映像を獲得するステップと、
前記複数のカメラのパラメータ情報を用いて前記映像を非定型閉鎖曲面型のプロジェクション面に投射するステップと、
を含む、球形映像生成方法。
【請求項２】
前記映像等の深さ（depth）に基づいて、前記非定型閉鎖曲面型のプロジェクション面を決定するステップをさらに含む、請求項１に記載の球形映像生成方法。
【請求項３】
前記非定型閉鎖曲面型のプロジェクション面は複数のメッシュポイントを含み、
前記非定型閉鎖曲面型のプロジェクション面を決定するステップは、
隣接映像の間の重複領域で抽出され、対象メッシュポイントと隣接した特徴点の深さに基づいて、前記対象フレーム内の前記対象メッシュポイントの深さを決定するステップを含む、請求項２に記載の球形映像生成方法。
【請求項４】
前記対象メッシュポイントの深さを決定するステップは、
前記対象メッシュポイントと隣接したメッシュポイントの深さ、及び対象フレームと隣接したフレームで前記対象メッシュポイントに対応するメッシュポイントの深さのうち、少なくとも１つにさらに基づいて、前記対象メッシュポイントの深さを決定するステップを含む、請求項３に記載の球形映像生成方法。
【請求項５】
前記非定型閉鎖曲面型のプロジェクション面に沿って設定されたメッシュに基づいて、前記投射された映像をレンダリングするステップをさらに含む、請求項１に記載の球形映像生成方法。
【請求項６】
前記レンダリングするステップは、
前記投射された映像内の重要な領域でより高い解像度を有するようにピクセルを配列するステップを含む、請求項５に記載の球形映像生成方法。
【請求項７】
前記レンダリングするステップは、
前記メッシュに含まれた四角フェースの重要度に基づいて、前記四角フェースのターゲットサイズを決定するステップと、
前記四角フェースのターゲットサイズに基づいて前記四角フェースのサイズを決定するステップと、
前記四角フェースのサイズに基づいて、前記投射された映像をサンプリングするステップとを含む、請求項５に記載の球形映像生成方法。
【請求項８】
前記四角フェースのサイズを決定するステップは、
前記四角フェースの類似性変形項目、前記四角フェース内の垂直及び水平方向歪み防止項目、及び前記四角フェースの時間平滑化項目のうち、少なくとも１つにさらに基づいて、前記四角フェースのサイズを決定するステップを含む、請求項７に記載の球形映像生成方法。
【請求項９】
相異する撮影時点を有する複数のカメラから得られた映像を用いて生成された３６０度映像を獲得するステップと、
前記獲得された映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップとを含む、球形映像生成方法。
【請求項１０】
前記レンダリングステップは、
前記獲得された映像内の重要な領域でより高い解像度を有するようにピクセルを配列するステップを含む、請求項９に記載の球形映像生成方法。
【請求項１１】
前記レンダリングステップは、
前記四角フレームの重要度に基づいて、前記四角フレームのターゲットサイズを決定するステップと、
前記四角フレームのターゲットサイズに基づいて前記四角フレームのサイズを決定するステップと、
前記四角フレームのサイズに基づいて、前記投射された映像をサンプリングするステップとを含む、請求項９に記載の球形映像生成方法。
【請求項１２】
前記四角フレームのサイズを決定するステップは、
前記四角フレームの類似性変形項目、前記四角フレーム内の垂直及び水平方向歪み防止項目、及び前記四角フレームの時間平滑化項目のうち、少なくとも１つにさらに基づいて、前記四角フレームのサイズを決定するステップを含む、請求項１１に記載の球形映像生成方法。
【請求項１３】
不均一レンダリングを通じて生成されたメッシュに関する情報を獲得するステップと、
前記不均一レンダリングを通じてサンプルされた映像を獲得するステップと、
前記メッシュに関する情報に基づいて、前記サンプルされた映像をビューイングスペアにマッピングするビューイングステップとを含む、球形映像再生方法。
【請求項１４】
前記メッシュに関する情報は前記メッシュに含まれた四角フェースのサイズに関する情報を含み、
前記ビューイングステップは、
前記四角フェースのサイズに関する情報に基づいて、前記メッシュに含まれた頂点を前記ビューイングスペアに含まれた頂点にマッピングするステップを含む、請求項１３に記載の球形映像再生方法。
【請求項１５】
請求項１の方法を実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は多数のカメラを用いて最適の球形映像を獲得する方法に関するものであって、特にリグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの映像を製作する映像提供方法を提供する。
【背景技術】
【０００２】
スクリーンエックス（ScreenX）、バルコエスケープシステム（the Barco Escape System）などのマルチプロジェクション基盤の没入型映画観覧プラットフォームの成長と共に、バーチャルリアリティ市場の拡大及びバーチャルリアリティコンテンツ製作活性化による没入型プラットフォームに基盤した次世代コンテンツ市場が拡大されている。
【０００３】
そして、多様なＶＲ（Virtual Reality）コンテンツ再生環境が拡散されると共に、全方向高画質を要する環境、中央画面に焦点を合せて、周囲の雰囲気を造成する環境が同時発展している。
【０００４】
特に、多数台のカメラを通じて、これを１つの映像にスティッチングしてパノラマ映像を製作する場合、その重畳する部分と最終映像の品質及び歪みの問題が発生している。
【０００５】
これを解決するために多数の論文と特許で種々の解決方法などを提示したことがある（例えば、特許文献１、２を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】韓国登録特許第１０−０５１９９２９号公報
【特許文献２】韓国登録特許第１０−１０２１８４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記の問題を解決するために案出されたものであって、複数個のカメラから映像を連結する過程で発生する映像品質損失及び歪みの問題を解決することができる映像提供方法を提供しようとする。
【０００８】
本発明の目的は以上で言及した目的に制限されず、言及されない更に他の目的は以下の記載から本発明が属する通常の知識を有する者に明確に理解されることができる。
【課題を解決するための手段】
【０００９】
前記の課題を解決するための手段として、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、前記複数のカメラから得られた映像をパラメータ情報を用いて予め定まった非定型閉鎖曲面型のプロジェクション面に投写させて１つの映像を獲得するステップを含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。
【００１０】
ここで、前記閉鎖曲面のプロジェクション面は各々の映像が有する深さ（depth）によって変化可能であることを特徴とする。
【００１１】
前記球形映像を製作する方法は、前記複数のカメラの互いに異なる位置と視線に従うパラメータ情報を獲得するためのキャリブレーションステップをさらに含むことができる。
【００１２】
前記キャリブレーションステップは、チェッカーボードのような物理的パターン対象を距離と角度を変化させながら撮影して、前記複数のカメラの位置関係に対するパラメータ情報を獲得するステップを含むことができる。
【００１３】
前記球形映像を製作する方法は、前記獲得された１つの映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップをさらに含むことができる。
【００１４】
前記球形映像を製作する方法は、前記サンプリングされた映像をビューイングスペアにマッピングするビューイングステップをさらに含むことができる。
【００１５】
また、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、前記複数のカメラから得られた映像を用いて１つの映像を獲得するスティッチングステップ；前記獲得された１つの映像を各領域別にサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップを含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。
【００１６】
この場合、前記レンダリングステップで、映像が重要な領域（例えば、人の顔がある領域など）では、より高い解像度を有するようにピクセルを配列することを特徴とする。
【００１７】
また、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、前記複数のカメラから得られた映像を用いて１つの映像を獲得するスティッチングステップ；前記獲得された１つの映像を各領域別にサンプリング過程を通じてフィッティングするレンダリングステップ；及び前記サンプルされた映像をビューイングスペアにマッピングするビューイングステップを含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。
【００１８】
また、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、既存の３６０度映像を獲得するステップ；前記獲得された映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップを含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。
【００１９】
一側に従う球形映像生成方法は、相異する撮影時点を有する複数のカメラから映像を獲得するステップ；及び前記複数のカメラのパラメータ情報を用いて前記映像を非定型閉鎖曲面型のプロジェクション面に投射するステップを含む。
【００２０】
前記球形映像生成方法は、前記映像の深さ（depth）に基づいて、前記非定型閉鎖曲面型のプロジェクション面を決定するステップをさらに含むことができる。
【００２１】
前記非定型閉鎖曲面型のプロジェクション面を決定するステップは、隣接映像の間の重畳領域で抽出され、対象メッシュポイントと隣接した特徴点の深さに基づいて、前記対象フレーム内の前記対象メッシュポイントの深さを決定するステップを含むことができる。
【００２２】
前記対象メッシュポイントの深さを決定するステップは、前記対象メッシュポイントと隣接したメッシュポイントの深さ、及び対象フレームと隣接したフレームで前記対象メッシュポイントに対応するメッシュポイントの深さのうち、少なくとも１つにさらに基づいて、前記対象メッシュポイントの深さを決定するステップを含むことができる。
【００２３】
前記球形映像生成方法は、前記非定型閉鎖曲面型のプロジェクション面に沿って設定されたメッシュに基づいて、前記投射された映像をレンダリングするステップをさらに含むことができる。
【００２４】
前記レンダリングするステップは、前記投射された映像内の重要な領域でより高い解像度を有するようにピクセルを配列するステップを含むことができる。
【００２５】
前記レンダリングするステップは、前記メッシュに含まれた四角フェースの重要度に基づいて、前記四角フェースのターゲットサイズを決定するステップ；前記四角フェースのターゲットサイズに基づいて前記四角フェースのサイズを決定するステップ；及び前記四角フェースのサイズに基づいて、前記投射された映像をサンプリングするステップを含むことができる。
【００２６】
前記四角フェースのサイズを決定するステップは、前記四角フェースの類似性変形項目、前記四角フェース内の垂直及び水平方向歪み防止項目、及び前記四角フェースの時間平滑化項目のうち、少なくとも１つにさらに基づいて、前記四角フェースのサイズを決定するステップを含むことができる。
【００２７】
一側に従う球形映像生成方法は、相異する撮影時点を有する複数のカメラから得られた映像を用いて生成された３６０度映像を獲得するステップ；及び前記獲得された映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップを含む。
【００２８】
一側に従う球形映像再生方法は、不均一レンダリングを通じて生成されたメッシュに関する情報を獲得するステップ；前記不均一レンダリングを通じてサンプルされた映像を獲得するステップ；及び前記メッシュに関する情報に基づいて、前記サンプルされた映像をビューイングスペアにマッピングするビューイングステップを含む。
【００２９】
前記メッシュに関する情報は、前記メッシュに含まれた四角フェースのサイズに関する情報を含むことができる。前記ビューイングステップは、前記四角フェースのサイズに関する情報に基づいて、前記メッシュに含まれた頂点を前記ビューイングスペアに含まれた頂点にマッピングするステップを含むことができる。
【発明の効果】
【００３０】
本発明は、複数個のカメラから映像を連結する過程で発生する映像品質損失と歪み問題を解決することができる映像を提供する効果がある。
【図面の簡単な説明】
【００３１】
【図１ａ】深さ固定プロジェクション面を用いる既存の技術を用いた、一実施形態に係る複数個のカメラを用いてパノラマ映像を作った例を説明する図である。
【図１ｂ】本発明に係る深さ可変プロジェクション面を用いた、一実施形態に係る複数個のカメラを用いてパノラマ映像を作った例を説明する図である。
【図２ａ】一実施形態に係る２．１ｍのラジアル距離を有する球にイメージをプロジェクションした結果を示す図である。
【図２ｂ】一実施形態に係る７ｍのラジアル距離を有する球にイメージをプロジェクションした結果を示す図である。
【図３ａ】＜数式３＞を利用せずに最適化した、一実施形態に係る微分係数を用いて最適化した結果メッシュを示す図である。
【図３ｂ】＜数式３＞を用いて最適化した、一実施形態に係る微分係数を用いて最適化した結果メッシュを示す図である。
【図４ａ】既存の技術を用いた単純球からプロジェクションイメージを得た、一実施形態に係る変形可能な閉鎖曲面のプロジェクション面を用いた映像を示す図である。
【図４ｂ】本発明に従う変形可能な閉鎖曲面のプロジェクション面からイメージを得た、一実施形態に係る変形可能な閉鎖曲面のプロジェクション面を用いた映像を示す図である。
【図５ａ】メッシュに含まれたフェースのサイズは均一である、一実施形態に係るレンダリング過程を説明する図である。
【図５ｂ】イメージ内の重要領域が自動で分析された、一実施形態に係るレンダリング過程を説明する図である。
【図５ｃ】イメージ内の重要領域はユーザにより指定された、一実施形態に係るレンダリング過程を説明する図である。
【図５ｄ】メッシュに含まれたフェースのサイズが不均一であり、重要な領域であるほどフェースサイズが増加された、一実施形態に係るレンダリング過程を説明する図である。
【図６】一実施形態に係る結果レイメッシュに対するＮｃの影響を示す図である。
【図７ａ】既存の技術を用いたレンダリング及び復元イメージであり、一実施形態に係る四角フェース内のメッシュエッジの歪みが防止される効果を説明する図である。
【図７ｂ】本発明に係るレイメッシュを用いたレンダリング及び復元イメージであり、一実施形態に係る四角フェース内のメッシュエッジの歪みが防止される効果を説明する図である。
【図８】一実施形態に係るシステムの構成図である。
【図９】一実施形態に係る複数個のカメラを装着したシステムの様子を示す図である。
【図１０】一実施形態に係るキャリブレーション情報のためのシステムの構成図である。
【図１１】一実施形態に係るシステムの構成図である。
【図１２】一実施形態に係る球形映像を生成する方法を示す流れ図である。
【図１３】一実施形態に係るレンダリング方法を示す流れ図である。
【図１４】一実施形態に係るビューイング方法を示す流れ図である。
【図１５】一実施形態に係るリマスタリング方法を示す流れ図である。
【図１６】一実施形態に係るスティッチング方法を示す流れ図である。
【発明を実施するための形態】
【００３２】
本発明の目的及び効果、そしてそれらを達成するための技術的構成は添付の図面と共に詳細に後述されている実施形態を参照すれば明確になる。本発明を説明するに当たって、公知機能または構成に対する具体的な説明が本発明の要旨を曖昧にすることがあると判断される場合にはその詳細な説明を省略する。
【００３３】
そして、後述する用語は本発明での機能を考慮して定義された用語であって、これはユーザ、運用者の意図または慣例などによって変わることがある。
【００３４】
しかしながら、本発明は以下に開示される実施形態に限定されるものでなく、互いに異なる多様な形態に具現できる。但し、本実施形態は本発明の開示が完全になるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇により定義されるだけである。したがって、その定義は本明細書の全般に亘る内容に基づいて下されるべきである。
【００３５】
以下、映像提供方法について説明する。本発明で、閉鎖曲面の表現を使用したが、これは球形の曲面を意味するものとして理解できる。
【００３６】
このような映像提供方法は、大別して次のステップを経るようになる。第１は、プロジェクション（projection）過程、第２は、レンダリング（rendering）過程、そして最後にビューイング（viewing）過程である。プロジェクション過程及びレンダリング過程を通じて球形映像が生成できる。以後、ビューイング過程を通じて球形映像がユーザに提供できる。
【００３７】
以下、各々の過程について具体的に説明する。
【００３８】
本過程のプロジェクション過程の以前にキャリブレーション過程が含まれることができる。キャリブレーション過程に対しては、装置に対する説明をしながら詳細に後述する。本発明において、映像を獲得する装置は、リグを用いて複数個のカメラを固定させているので、繰り返して映像を撮影する場合にも複数のカメラの視線には変化がない。したがって、初めて各々のカメラの位置関係によってパラメータ情報を獲得して継続的なテンプレートに活用することができる。このために、初期にキャリブレーション過程が必要となる。
【００３９】
キャリブレーション過程では、チェッカーボードのような一定パターンがある事物を活用する。リグを通じて固定されている複数のカメラは撮影対象であるチェッカーボードを撮影するようになり、前記映像を１つの映像に作りながらキャリブレーション過程が遂行される。但し、より正確なキャリブレーション情報を獲得するために角度と距離を変化させながらこのような過程を反復遂行するようになる。
【００４０】
このようなキャリブレーション過程を通じて各々のカメラの位置に従うキャリブレーション因子情報が獲得されて、テンプレートが設けられる。このようにキャリブレーション過程で３６０度カメラのパラメータが獲得できる。
【００４１】
キャリブレーション過程を経れば、本映像提供装置を通じて映像を撮影するようになる。映像を撮影して獲得する過程で、プロジェクションステップを経るようになる。プロジェクション過程は、入力されたイメージをキャリブレーション過程で得た各々のカメラのパラメータ情報を用いてプロジェクション面に投写させるものである。一般的に、プロジェクション面は３６０度映像を得るための完全な閉鎖曲面に提供される。しかしながら、これは場面の３次元的な幾何学的な形態を表現できない限界がある。即ち、各々のイメージの深さ（depth）情報を反映できない限界がある。
【００４２】
本発明では深さが可変できるプロジェクション面を用いる。このような深さ可変プロジェクション面を用いる場合には、カメラ時点差によって各イメージがオーバーラップされる領域でのパララックスを効率良く減少させることができる長所がある。言い換えると、既存の方法は遠景または前景の物体のみ一致させることができるが、本発明はオーバーラップされる領域に多様な深さの物体があるとしても正確に一致した綺麗な３６０度映像を得ることができる。
【００４３】
図１ａ及び図１ｂは、一実施形態に係る複数個のカメラを用いてパノラマ映像を作った例を説明する図である。図１ａは深さ固定プロジェクション面を用いる既存の技術を用いたものであり、図１ｂは本発明に係る深さ可変プロジェクション面を用いた結果である。図１ａを参照すると、画面の中央の声楽家１１０の深さに合せて映像がプロジェクションされた結果、異なる深さを有する演奏者１２０が数人に見えるパララックス誤りが発生する。一方、図１ｂを参照すると、可変深さプロジェクション面を用いることによって、画面の中央の声楽家１１０だけでなく、異なる深さを有する演奏者１３０も綺麗に表現される映像を得ることができる。
【００４４】
本発明では、隣り合う２つのカメラの間の隣り合う領域を三角形要素に区分し、このような三角形要素が形成する３Ｄポイントを拘束点にして閉鎖曲面のプロジェクション面が変化できるようにすることが特徴である。
【００４５】
レンダリング過程で、繋がった非定型閉鎖曲面上の形状のイメージが四角形フレームに調節される。本発明の核心はイメージグラジエント、突出（saliency）、及び顔検出器（face detector）などの組み合わせにより計算されるか、またはユーザが直接割り当てた重要な領域にはより多いピクセルを割り当てて、そうでない領域はより少ないピクセルを割り当てるなど、映像の解像度を変化させて使用するものである。例えば、人の顔がある映像部分は重要な領域として取扱って、より多いピクセルを割り当てて、背景になる単色の壁のようなイメージの領域には少ないピクセルを割り当てるなど、映像の解像度を変化させて使用することができる。重要な領域は、ユーザにより設定されるか、または予め定まった基準により自動で設定された領域でありうる。
【００４６】
プロジェクションステップで、各々のイメージを非定型閉鎖曲面型のプロジェクション面に投射する過程では、三角形あるいは四角形メッシュ（mesh）を使用するようになるが、各々のメッシュ内のピクセルの重要度によって各メッシュ面の幅と高さが計算される。即ち、高い重要度を有するメッシュ面は目標イメージにおいてサンプリング過程でより多いピクセルを有するように、より大きい領域が割当てされなければならない。イメージ空間内の頂点位置を最適化する過程を通じて最終レイメッシュ（ray mesh）が決定される。ここで、レイ（ray）とは、映像が投射された面の１点を示す言葉を意味する。計算されたメッシュを用いて後述するレンダリングで各ピクセルをサンプリングするレイが決定される。
【００４７】
最終映像での各々のピクセルは、閉鎖曲面座標系を用いてレイメッシュの周辺の頂点から線形的に補間されたレイに沿って各々の映像のピクセルを閉鎖曲面プロジェクション面に投射するサンプリングを通じて決定される。
【００４８】
最後に、ビューイング過程はインタラクティブビューイングのためにユーザが前の過程で作られた映像をビューイングスペア（viewing sphere）にマッピングする過程である。ビューイングスペアは最終レイメッシュの解像度と同一な解像度を有するように設定される。以後、３６０度映像を再生する時、毎フレームイメージをビューイングスペアにテクスチャマッピングされる。この際、非−均一な様子を有するレンダリング映像を原本イメージの形態に復元するために、ビューイングスペアで各々の頂点のＵＶポジションはレイメッシュシーケンスのＵＶ情報によって決定される。
【００４９】
実施形態によれば、前述したプロジェクション過程とレンダリング過程が共に適用されることもでき、前述したプロジェクション過程とレンダリング過程のうち、いずれか１つのみ適用されることもできる。
【００５０】
一例に、前述したプロジェクション過程を通じて深さが可変するプロジェクション面を用いることによって、３６０度映像を得た後、前述したレンダリング過程の代わりに重要な領域を区分せず、均一にサンプリングする一般的なレンダリング過程が適用できる。この場合、レンダリング映像は均一な様子を有するので、前述したビューイング過程の代わりに仮想の球形スペアに均一なレンダリング映像を復元する一般的なビューイング過程を通じてユーザに映像が提供できる。
【００５１】
他の例に、前述したプロジェクション過程の代わりに深さが固定されたプロジェクション面を用いる一般的なプロジェクション過程が遂行された後に、前述したレンダリング過程を通じて重要な領域でより多いサンプリングが遂行されることもできる。この場合、レンダリング映像は非−均一な様子を有するので、前述したビューイング過程を通じてテクスチャマッピング過程で原本イメージの形態が復元できる。
【００５２】
以下、数式と図面を参照して本発明に対してより具体的に説明する。
【００５３】
まず、プロジェクション過程を説明する。
【００５４】
プロジェクション球はｍ×ｎメッシュで表現される。Ｍ＝｛Ｖ，Ｆ，Ｑ｝であり、Ｍはメッシュを示し、Ｖは球形座標系の頂点セットにＶ＝｛ｖ１，．．．，ｖｍｘｎ｝である。ここで、ｖｉ＝（θｉ、φｉ、ｒ）であって、球形座標系を表示する。以下、ｖｉは頂点、あるいはメッシュポイントと称されることができる。
【００５５】
Ｆは隣接した３個の頂点で構成されるトライアングルフェースの集合であり、Ｑは隣接した４個の頂点で構成されるクォードフェースの集合を意味する。
【００５６】
2019509526.tif 000003
【００５７】
スペアのラジアル距離によって、重なる部分が変わることがある。例えば、スペアのラジアル距離に対応する深さのオブジェクトはプロジェクション時、整列がよくなされて、一方、スペアのサイズに対応しない深さのオブジェクトあるいは背景は、プロジェクション時、パララックス誤り（パララックスアーティファクト）が発生することがある。
【００５８】
図２ａ及び図２ｂは、一実施形態に係るラジアル距離を変化させてイメージを球にプロジェクションした結果を示す図である。図２ａは２．１ｍのラジアル距離を有する球にイメージをプロジェクションしたものであり、図２ｂは７ｍのラジアル距離を有する球にイメージをプロジェクションしたものである。図２ａを参照すると、２．１ｍのラジアル距離より遠い深さを有する客体２１０でパララックス誤りが発生し、図２ｂを参照すると、７ｍのラジアル距離より近い深さを有する客体２２０でパララックス誤りが発生した。
【００５９】
プロジェクション過程の目標は、最適化されたプロジェクション面Ｍｔを生成するものである。ここで、ｔはフレームのインデックスを示す。言い換えると、プロジェクション過程を経てフレーム毎に最適化されたプロジェクション面が導出できる。例えば、部分別に変化するフレームｔで各頂点はラジアル距離ｒｉｔを有する。ここで、ｉは頂点のインデックスを示す。前述したように、実施形態は深さ可変プロジェクション面を用いることによって、隣り合うイメージ間のオーバーラップされる領域でのパララックス（parallax）を最小化することができる。
【００６０】
各頂点のラジアル距離ｒｉｔを求めるために、まずオーバーラップされる領域でオブジェクトの実際距離を知っていなければならない。一実施形態によれば、最適化過程でメッシュを拘束する３ＤポイントＰｔのセットはオーバーラップされる領域の特徴を用いて計算される。Ｐｔはｔフレームでオーバーラップされる領域から抽出された特徴点の集合である。この際、各々のイメージからスパースな特徴点（sparse feature points）が抽出される。
【００６１】
特徴点を用いてステレオマッチングを遂行して実際の距離を知ることができ、実際の距離を用いてプロジェクション面のｒｉｔを設定することができる。例えば、視差（disparity）を計算するために２つの隣り合うイメージの間で特徴間の類似度が決定される。しかしながら、テクスチャレス（texture less）領域では視差が計算できない。したがって、一般的なステレオスコピック（stereo-scopic）イメージ処理方法と類似するように、ダウンサンプル処理された高密度の類似度から付加的な視差を得ることができる。これは、光学フロー方法を用いることと評価できる。
【００６２】
ｐｋｔは、先に求めた視差対と対応するカメラパラメータを用いて復元された３次元点である。復元する時はコンピュータビジョンで広く使われる三角測量法（linear triangulation）を用いる。エネルギー関数はｒｉｔ（メッシュポイント）とｐｋｔ（特徴点）との間の差を測定するもので、＜数式１＞のように定義される。
【００６３】
【数１】
2019509526.tif 000004
【００６４】
ここで、ｐｋｔはｐｋｔ∈Ｐｔ球形座標に変換されたものである。ｆ（ｐｋｔ）は２次元極座標系（θ，φ）でｐｋｔを含むフェースを構成する頂点指標のセットである。λｉｔはｐｋｔの周辺頂点（周辺メッシュポイント）に対する（θ，φ）座標での重心の加重値である。＜数式１＞はｐｋｔのラジアル距離を示すｒ（ｐｋｔ）をマッチするための周辺の頂点ｒｉｔの線形組み合わせを示す。
【００６５】
ｒｉｔが結果メッシュで柔らかく変わるようにするために、＜数式２＞のような部分的平滑化項目が定義できる。また、重畳されない領域の場合、ステレオマッチングが不可能であるので、＜数式２＞を用いて重畳されない領域に含まれたｒｉｔを獲得することができる。
【００６６】
【数２】
2019509526.tif 000005
【００６７】
ここで、Ｎ（ｉ）はｖｉｔの４個の連結された隣り合う頂点の指標を意味する。ｎｉはＮ（ｉ）に含まれた隣の頂点の数である。Ｅｓ１はラプラシアン平滑化オペレーションである。この項目はｒｉｔの２次部分微分係数を最小化させることによりｒｉｔをオーバーラップがない領域で柔らかくインターポレートできるようにする。
【００６８】
しかしながら、ｒｉｔのオーバーラップされる領域でグラジエントが相対的に非常に大きければ、ＥｐとＥｓ１を最小化させることは不安定な結果をもたらす。したがって、Ｅｐにより拘束されない頂点は概略的な１次部分微分係数を最小化して正規化する。エネルギー関数は＜数式３＞及び＜数式４＞の通りである。
【００６９】
【数３】
2019509526.tif 000006
【００７０】
【数４】
2019509526.tif 000007
【００７１】
ここで、ｒｔ（ｉ，ｊ）はＭｔのｉ番目の行とｊ番目の列でｖｔｉｘｍ＋ｊのラジアル距離を意味する。ΩはＰｔにより拘束されない頂点セットを意味する。ＥｄｘとＥｄｙは水平方向と垂直方向で１次部分微分係数を見積もったものである。例えば、ｒｔ（ｉ＋１，ｊ）は（ｉ，ｊ）に該当する頂点の右側に隣接した頂点のラジアル距離であり、ｒｔ（ｉ−１，ｊ）は（ｉ，ｊ）に該当する頂点の左側に隣接した頂点のラジアル距離である。また、ｒｔ（ｉ，ｊ＋１）は（ｉ，ｊ）に該当する頂点の上側に隣接した頂点のラジアル距離であり、ｒｔ（ｉ，ｊ−１）は（ｉ，ｊ）に該当する頂点の下側に隣接した頂点のラジアル距離である。
【００７２】
図３ａ及び図３ｂは、一実施形態に係る微分係数を用いて最適化した結果メッシュを示す図である。図３ａは＜数式３＞を利用せずに最適化した結果メッシュであり、図３ｂは＜数式３＞を用いて最適化した結果メッシュである。図３ａを参照すると、重畳領域３１０で急激な変化が発生するが、図３ｂを参照すると、＜数式３＞を用いた結果、急激な変化が発生しないことが確認される。
【００７３】
＜数式５＞は、時間の平滑化のためのエネルギー関数である。毎フレーム別にメッシュが変わる時、現在フレームと他のフレームとの間の差を最小化する制約条件を定義することによって、メッシュが柔らかく変化するようにする。
【００７４】
【数５】
2019509526.tif 000008
【００７５】
ここで、ｔｗは時間のウィンドウサイズである。Ｔ（ｉ，ｔ）はｒｉｔのフレームｔ−ｔｗからｔ＋ｔｗまでの時間隣り頂点への指標セットを意味する。言い換えると、Ｔ（ｉ，ｔ）は他の時間にある現在頂点の集合を意味する。ｔｗは一実施形態で３に固定できる。
【００７６】
一実施形態によれば、＜数式１＞から＜数式５＞に定義されたエネルギー関数に基づいてｒｉｔを導出することができる。例えば、＜数式１＞から＜数式５＞に定義されたエネルギー関数の各々が最小化されるように、あるいは＜数式１＞から＜数式５＞に定義されたエネルギー関数の加重和が最小になるようにするｒｉｔの集合が導出できる。
【００７７】
図４ａ及び図４ｂは、一実施形態に係る変形可能な閉鎖曲面のプロジェクション面を用いた映像を示す図である。図４ａは既存の技術を用いた単純球からプロジェクションイメージを得た結果であり、図４ｂは本発明に従う変形可能な閉鎖曲面のプロジェクション面からイメージを得た結果である。図４ａに示されるパララックス誤りが図４ｂでは示されないことが確認される。
【００７８】
以下、レンダリング過程を説明する。
【００７９】
ターゲット解像度Ｉｗｉｄｔｈ ｘ Ｉｈｅｉｇｈｔが与えられれば、経度と緯度の対である（θ、φ）として定義されるレイ（ray）を各々のターゲットイメージの各々のピクセルに割り当てるようになる。各レイに従う位置でプロジェクションされたオリジナルイメージからサンプリングする過程を通じてターゲットイメージの各ピクセルの色を決定するようになる。
【００８０】
図５ａ、図５ｂ、図５ｃ、及び図５ｄは、一実施形態に係るレンダリング過程を説明する図である。図５ａを参照すると、ターゲットイメージでの一定の間隔を有する頂点の初期配列は正方形または長方形に該当する。図５ａのメッシュに含まれたフェースのサイズは均一である。
【００８１】
図５ｂを参照すると、イメージ内の重要領域が自動で分析できる。例えば、図５ｂで明るい点は暗い点に比べて重要であると認識された領域でありうる。
【００８２】
図５ｃを参照すると、イメージ内の重要領域はユーザにより指定できる。例えば、ユーザは中央のスクリーン領域を重要な領域として指定し、スクリーンと左側人との間の第１空間、及びスクリーンと右側人との間の第２空間を相対的に少なめに重要な領域として指定することができる。
【００８３】
各々のピクセルに対するレイは、周辺の頂点の線形的な補間（θｉ，φｉ）を用いて計算できる。隣り合う頂点の間のサンプルの個数はイメージ座標の間隔の距離に左右される。したがって、Ｍｔのｄ番目の四角フェースｑｄｔにより占有されたイメージ領域が重要な情報を含んであれば、その領域を拡大させることが必要である。領域に重要な情報が含まれるか否かによって、Ｍｔのｖｉｔを二次元イメージ座標（ｘｉｔ、ｙｉｔ）を有して増加させることができる。
【００８４】
図５ｄを参照すると、メッシュに含まれたフェースのサイズが不均一である。この際、重要な領域であるほどフェースサイズが増加できる。例えば、スクリーン領域５１０に該当する四角フェースのサイズが異なる領域の四角フェースのサイズより大きく、この場合、スクリーン領域の四角フェースでより多いサンプリングが遂行できる。
【００８５】
一実施形態に係るレンダリング過程のために、ターゲットイメージ空間で（ｘｉｔ、ｙｉｔ）の最適化問題として式が構成される必要がある。四角フェースのターゲットサイズ（例えば、四角フェースｑｄｔのターゲット幅ｑｗｄｔ及びターゲット高さｑｈｄｔ）は＜数式６＞のように四角フェースｑｄｔの重要度ｓｘｄｔとｓｙｄｔに基づいて決定される。ｓｘｄｔは横方向の重要度であり、ｓｙｄｔは縦方向の重要度である。重要度は多様な方式により決定できる。例えば、重要度ｓｘｄｔ及びｓｙｄｔは各々フレームでＳｘ及びＳｙで内部ピクセルの重要度の平均値に定まることができる。または、イメージグラジエントの値が大きいほど重要度が高く決定されるか、または顔検出技法を通じて検出された顔領域の重要度が高く決定できる。
【００８６】
【数６】
2019509526.tif 000009
【００８７】
ここで、行（ｄ）と列（ｄ）はｑｄのような行と列に属する四角フェースの指標セットを意味する。言い換えると、ｄは四角フェースのインデックスであり、ｒｏｗ（ｄ）は四角フェースｑｄと同一な行のフェースの集合であり、ｃｏｌ（ｄ）は四角フェースｑｄと同一な列のフェースの集合でありうる。＜数式６＞はｑｗｄｔとｑｈｄｔを同一な行と列の重要度の和に対するｓｘｄｔ及びｓｙｄｔの比率によって計算される。
【００８８】
Ｎｃは不均一の程度を決定するユーザパラメータである。図６は、一実施形態に係る結果レイメッシュに対するＮｃの影響を示す図である。図６を参照すると、Ｎｃが増加するによって、得られる四角フェース間の解像度のコントラストはより強くなる。
【００８９】
最適化のために、各々の四角フェースの幅と高さは＜数式６＞から得られたｑｗｄｔ及びｑｈｄｔに拘束される。このためのエネルギー関数は＜数式７＞のように定義される。
【００９０】
【数７】
2019509526.tif 000010
【００９１】
ここで、ｈＥ（ｑｄｔ）及びｖＥ（ｑｄｔ）は水平方向及び垂直方向に沿ってｑｄｔの有向された（directed）エッジ（例えば、ｉ→ｊ）のセットを意味する。ｘｉとｘｊは水平方向に隣接したメッシュポイントを示し、ｙｉとｙｊは垂直方向に隣接したメッシュポイントを示す。
【００９２】
四角フェースを従う解像度の変化を緩和し、四角フェースのフリップ問題を解決するための類似性変形項目は、＜数式８＞のように定義される。＜数式８＞のエネルギー関数は四角フェースが四角形の形態を維持するように作る役割をする。
【００９３】
【数８】
2019509526.tif 000011
【００９４】
ローカル座標ｕ、ｖは初期の均一なメッシュから計算される。βｆｔは各面の類似度変形項目の加重値を意味する。加重値を変化させながら面のフリップが除去されるまで続けて反復的に遂行する。
【００９５】
前述したように、本発明では結果イメージの歪みを最小化するために重要な領域に、より多いサンプルピクセルを割り当てる。歪まれた閉鎖曲面形状は、結果メッシュを用いて再生時にビューイングステップで復元される。復元された結果物で歯車のようにぎざぎざになった歪みが強い水平ライン及び強い垂直ラインに沿って発生することがある。
【００９６】
このような問題を解決するために、強い水平ライン及び強い垂直ラインを含む四角フェースの歪み現象を最小化させなければならない。斜線をフィルター処理して除去し、残した要素は垂直ラインまたは水平ライン、ｈＬｉｎｅ及びｖＬｉｎｅのうちの１つとしてラベリング処理する。ライン要素を含む全ての四角フェースｑｄｔは最適化を通じて＜数式９＞のエネルギー関数を最小化させるようになる。
【００９７】
【数９】
2019509526.tif 000012
【００９８】
＜数式９＞は、四角フェースの中でライン方向によってメッシュエッジの歪みが発生することを防止する。図７ａ及び図７ｂは、一実施形態に係る四角フェース内のメッシュエッジの歪みが防止される効果を説明する図である。図７ａは既存の技術を用いたレンダリング及び復元イメージであり、図７ｂは本発明に係るレイメッシュを用いたレンダリング及び復元イメージである。図７ａを参照すると、レンダリングされたイメージ７１０に傾いた線が含まれ、傾いた線は復元された映像７２０で垂直または水平に復旧されるが、映像７３０で確認できるように歯車のようにぎざぎざになった歪みが発生することがある。
【００９９】
＜数式９＞を通じて水平線に該当するｈＬｉｎｅ領域に限って垂直方向に変形されないように強制し、垂直線に該当するｖＬｉｎｅ領域に限って水平方向には変形されないように強制することができる。
【０１００】
効果的な映像圧縮と急激な解像度変化を防止するために、＜数式１０＞のように時間の平滑化項目が最適化に導入される。
【０１０１】
【数１０】
2019509526.tif 000013
【０１０２】
時間上のボックスフィルタリングを各フレーム別重要度マップｓｘｄｔ及びｓｙｄｔに時間のウィンドウ［ｔ，ｔ＋ｔｗ］を有して適用する。このような単純なフィルタリングはシーケンスによってメッシュの外観をより柔らかくする。
【０１０３】
最後に、四角形フレームを維持する＜数式１２＞の境界拘束を維持し、＜数式１１＞のように、前述したエネルギー関数の和を最小化させる｛ｘｉｔ，ｙｉｔ｝を決定する。
【０１０４】
【数１１】
2019509526.tif 000014
【０１０５】
【数１２】
2019509526.tif 000015
【０１０６】
ここで、空間平滑化のための加重値αｓは０．５でありうる。αｋは、＜数式９＞で説明されたように、歪みを最小化するための加重値でありうる。＜数式１１＞を解けば、レンダリングのために使われる時間的に一貫性があるレイメッシュを生成することができる。結果メッシュのイメージ座標（ｘｉ，ｙｉ）はＩｗｉｄｔｈ及びＩｈｅｉｇｈｔ により正規化される。
【０１０７】
レンダリング過程を経て決定されたメッシュに基づいてプロジェクションされた映像がサンプリングされる。メッシュは複数のメッシュポイントを含み、各メッシュポイント毎に緯度経度が決定される。メッシュポイントの間の中間値はインターポレーションを通じて映像がサンプリングできる。
【０１０８】
図８から図１１は、本発明のキャリブレーションステップで複数個のカメラを通じて多重の映像を得るための装置及びその構成図の一実施形態を図示している。本発明の場合、他の実施形態が適用されることもでき、図８から図１１に制限されるものではない。
【０１０９】
本発明での複数のカメラを通じて映像を得る装置及び構成は、必ず本一実施形態を従わなければならないものではなく、他の多様な方法でも獲得することができる。
【０１１０】
図８は、一実施形態に係るシステムの構成図である。図８を参考すると、本発明の映像提供装置は、第１結合リグ８１３に結合された多数の第１カメラ８１１、キャリブレーション遂行部８２０、パノラマ映像生成部８３０、多面映像生成部８４０、映像コンテンツ提供部８５０などを含むことができる。
【０１１１】
多数の第１カメラ８１１は互いに相異する撮影時点を有する多数の全方位映像を獲得及び提供するようにする。このような第１カメラ８１１の全ては同一スペックのカメラで具現されることが好ましいが、これは第１カメラ８１１を通じて獲得される全方位映像の全てが同一画角及び同一解像度を有して、今後に遂行されるキャリブレーション及び映像整合動作がより容易に遂行できるようにするためである。
【０１１２】
第１結合リグ８１３は、多数の第１カメラ８１１の各々が結合及び支持できるようにする。
【０１１３】
例えば、図９は一実施形態に係る複数個のカメラを装着したシステムの様子を示す図である。図９を参照すると、本発明の第１結合リグ８１３は、第１カメラが正面８１１−４、後面（図示せず）、右側面８１１−２、左側面８１１−３、上面８１１−１、及び下面（図示せず）に付着及び支持できるようにする手段を備えて、第１結合リグ８１３に付着された第１カメラが正面方向、後面方向、右側面方向、左側面方向、上面方向、及び下面方向の各々に対応する６個の全方位映像を同時獲得して提供できるようにする。
【０１１４】
また、図８を参照すると、キャリブレーション遂行部８２０は第１キャリブレーション遂行部８２１を備えて、第１結合リグ８１３に第１カメラ８１１に対するキャリブレーションを遂行して第１カメラ８１１間の位置関係を把握するようにする。
【０１１５】
より詳しくは、図１０は、一実施形態に係るキャリブレーション情報のためのシステムの構成図である。図１０を参照すると、第１キャリブレーション遂行部８２１は、パターン分析部１０１１、カメラパラメータ計算部１０１２、及びカメラパラメータ最適化部１０１３などを含んで、以下のような方式により第１キャリブレーション動作を遂行することができる。
【０１１６】
まず、チェスボードのような規格化されたパターンイメージを出力して第１結合リグに位置した第１カメラ８１１に見えるように挙げて、同時に動映像撮影するようにする。特に、本発明では第１カメラ８１１の間の重畳領域の中にパターンイメージが必ず入るようにし、正確度の向上のためにカメラからの距離を異にしてパターンイメージを反復撮影するようにする。
【０１１７】
すると、パターン分析部１０１１は第１カメラ８１１の各々に撮影された動映像を分析してパターンイメージを検出し、フレーム情報及び同時に見えるカメラ情報に基づいてマッチング情報を生成する。
【０１１８】
そして、カメラパラメータ計算部１０１２はマッチング情報に基づいて隣接した２台のカメラ間の相対的なカメラパラメータを計算し、カメラパラメータ最適化部１０１３はカメラパラメータ計算部１０１２を通じて計算された全ての第１カメラのパラメータをマッチング情報に基づいて非−線形最適化を通じて改善した後、これらの全ての情報を含む第１キャリブレーション情報を生成するようにする。即ち、第１カメラ８１１間の位置関係に対する情報を有する第１キャリブレーション情報を生成するようにする。
【０１１９】
また、図８を参照すると、パノラマ映像生成部８３０は、第１キャリブレーション遂行部８２１を通じて獲得された第１カメラ８１１間の位置関係に基づいて第１カメラ８１１を通じて獲得された全方位映像を１つの映像に整合してパノラマ映像を生成するようにする。パノラマ映像生成部８３０は、第１キャリブレーション情報に基づいてパノラマ映像を整合する。
【０１２０】
より詳しくは、図１１は一実施形態に係るシステムの構成図である。図１１を参照すると、パノラマ映像生成部８３０は、焦点マッチング部１１１０、色相マッチング部１１２０、特徴点マッチング部１１３０、スティッチング部１１４０、ワーピング部１１５０、及びレンダリング部１１６０などを含んで、以下のような方式によりパノラマ映像を生成することができる。
【０１２１】
まず、焦点マッチング部１１１０は第１キャリブレーション動作を通じて第１カメラの位置関係に基づいて各映像の初期整列を進行し、色相マッチング部１１２０は各映像の色相を補正するようにする。そして、特徴点マッチング部１１３０は特徴点抽出アルゴリズムを各映像内の特徴点を求めて、特徴点に対するディスクリプタにイメージ特徴点間の対応点を探すようにする。この際、特徴点抽出アルゴリズムには公知の技術に従う全てのアルゴリズムが適用できる。
【０１２２】
スティッチング部１１４０は、特徴点マッチング部１１３０を通じて獲得された特徴点間の対応点を使用して各映像の重畳部分を接合し、ワーピング部１１５０は接合された２つの映像を自然に作るためにピクセルの位置を移動させる幾何学的処理を進行するようにする。そして、映像単一化部１１６０はユーザなどにより入力されるコンポジション情報に基づいて複数個の映像の単一化作業を遂行する。
【０１２３】
また、図８を参照すると、映像コンテンツ提供部８５０は、第１カメラ８１１、パノラマ映像生成部８３０の各々を通じて獲得される映像に対する情報の全てを含む映像コンテンツを生成して提供するようにする。
【０１２４】
図１２は、一実施形態に係る球形映像を生成する方法を示す流れ図である。本発明の内容を整理すると、図１２を参照すると、リグに固定された互いに相異する撮影時点を有する複数のカメラを用いて１つの球形映像を製作する方法において、前記複数のカメラから得られた映像をパラメータ情報を用いて予め定まった非定型閉鎖曲面型のプロジェクション面に投写させて１つの映像を獲得するスティッチングステップ（１２１０）を含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。以下、球形映像は多面映像を含むことができる。ここで、前記閉鎖曲面のプロジェクション面は各々の映像が有する深さ（depth）によって変化可能であることを特徴とする。
【０１２５】
また、前記獲得された１つの映像を各領域別に不均一なサンプリング過程を通じて四角フレームにフィッティングするレンダリングステップ（１２２０）をさらに含む、多数のカメラを用いた最適の球形映像獲得方法を提供する。この場合、前記レンダリングステップで、映像が重要であると判断される領域では、より高い解像度を有するようにピクセルを配列することを特徴とする。
【０１２６】
また、図１３は一実施形態に係るレンダリング方法を示す流れ図である。図１３を参照すると、実施形態はスティッチング（１２１０）とレンダリング（１２２０）との間に、初期球形メッシュ投写イメージを獲得し（１３１０）、イメージ内の重要領域を分析し（１３２０）、レイメッシュを最適化（１３３０）するステップをさらに含むことができる。
【０１２７】
また、図１４は一実施形態に係るビューイング方法を示す流れ図である。図１４を参照すると、映像を再生する方法において、不均一レンダリングを通じて生成されたレイメッシュシーケンスを復元するステップ（１４１０）；及び復元された映像を再生するステップ（１４２０）を含む、映像再生方法を提供する。
【０１２８】
レイメッシュシーケンスは、サンプルされた映像とメッシュに関する情報を含む。ここで、メッシュに関する情報はメッシュに含まれた四角フェースのサイズに関する情報を含むことができる。レイメッシュシーケンスを復元するステップ（１４１０）は、四角フェースのサイズに関する情報に基づいて、メッシュに含まれた頂点を前記ビューイングスペアに含まれた頂点にマッピングするステップを含むことができる。
【０１２９】
一実施形態によれば、復元するステップ（１４１０）で、メッシュ情報に基づいたテクスチャマッピングが利用できる。例えば、仮想の３Ｄスペアにテクスチャマッピング時、不均一レンダリング結果が復元されるようにメッシュ情報を用いてｕ、ｖ値を調節することができる。
【０１３０】
また、図１５は一実施形態に係るリマスタリング方法を示す流れ図である。図１５を参照すると、不均一レンダリングを通じての既存のコンテンツリマスタリング方法に対するものであって、既存の３６０度の映像をリマスタリングして使えば、より少ない解像度を高品質で表現可能である。例えば、８Ｋの既存の３６０度の映像を不均一レンダリング方法を用いて４Ｋに作って見れば、一般的なダウンサンプリングに作った４Ｋ映像より重要な領域をより高品質で観覧可能である。
【０１３１】
このために、多数のカメラを用いた最適の球形映像獲得方法は、既存の３６０度映像を獲得して初期球形メッシュ投写イメージを獲得するステップ（１５１０）；イメージ内の重要領域を分析するステップ（１５２０）；レイメッシュを最適化するステップ（１５３０）；及びレンダリングを通じてレイメッシュシーケンスを生成するステップ（１５４０）を含むことができる。
【０１３２】
また、図１６は、一実施形態に係るスティッチング方法を示す流れ図である。図１６を参照すると、映像提供方法は、初期球形メッシュ投写イメージを獲得するステップ（１６１０）；重畳複領域内の視差対応点を分析するステップ（１６２０）；３次元の点を復元するステップ（１６３０）；メッシュを最適化するステップ（１６４０）；及び映像を投射するステップ（１６５０）を含む。
【０１３３】
図１２から図１６に図示された各ステップには、図１から図１１を通じて前述した事項がそのまま適用できるので、より詳細な説明は省略する。
【０１３４】
以上の説明は本発明の技術思想を例示的に説明したことに過ぎないものであって、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能である。したがって、本発明に開示された実施形態は本発明の技術思想を限定するためのものでなく、説明するためのものであり、このような実施形態により本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は以下の請求範囲により解析されなければならず、それと同等な範囲内にある全ての技術思想は本発明の権利範囲に含まれるものとして解析されるべきである。
【０１３５】
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現できる。例えば、実施形態で説明された装置、方法、及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（arithmetic logic unit）、デジタル信号プロセッサ（digital signal processor）、マイクロコンピュータ、ＦＰＧＡ（field programmable gate array）、ＰＬＵ（programmable logic unit）、マイクロプロセッサ、または命令（instruction）を実行し応答することができる他の如何なる装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを用いて具現できる。処理装置は、運営体制（ＯＳ）及び前記運営体制上で遂行される１つ以上のソフトウェアアプリケーションを遂行することができる。また、処理装置はソフトウェアの実行に応答して、データを接近、格納、操作、処理、及び生成することもできる。理解の便宜のために、処理装置は１つが使われると説明された場合もあるが、該当技術分野で通常の知識を有する者は、処理装置が複数個の処理要素（processing element）及び／又は複数類型の処理要素を含むことができることが分かる。例えば、処理装置は複数個のプロセッサまたは１つのプロセッサ及び１つのコントローラを含むことができる。また、並列プロセッサ（parallel processor）のような、他の処理構成（processing configuration）も可能である。
【０１３６】
ソフトウェアは、コンピュータプログラム（computer program）、コード（code）、命令（instruction）、またはこれらのうちの１つ以上の組み合わせを含むことができ、所望の通り動作するように処理装置を構成するか、独立的に、または結合的に（collectively）処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置により解析されるか、または処理装置に命令またはデータを提供するために、どんな類型の機械、構成要素（component）、物理的装置、仮想装置（virtual equipment）、コンピュータ格納媒体または装置、または転送される信号波（signal wave）に永久的に、または一時的に具体化（embody）できる。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散されて、分散された方法により格納されるか、または実行できる。ソフトウェア及びデータは、１つ以上のコンピュータ読取可能記録媒体に格納できる。
【０１３７】
実施形態に従う方法は、多様なコンピュータ手段を通じて遂行できるプログラム命令形態に具現されてコンピュータ読取可能媒体に記録できる。前記コンピュータ読取可能媒体は、プログラム命令、データファイル、データ構造などを単独に、または組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計され構成されたもの、またはコンピュータソフトウェア当業者に公知されて使用可能なものでありうる。コンピュータ読取可能記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体（magnetic media）、ＣＤ−ＲＯＭ、ＤＶＤのような光気録媒体（optical media）、フロップティカルディスク（floptical disk）のような磁気−光媒体（magneto-optical media）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラにより作られるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行できる高級言語コードを含む。前記したハードウェア装置は、実施形態の動作を遂行するために１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
【０１３８】
以上のように、実施形態がたとえ限定された図面により説明されたが、該当技術分野で通常の知識を有する者であれば、前記に基づいて多様な技術的修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で遂行されるか、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態に結合または組み合わせされるか、異なる構成要素または均等物により対置または置換されても適切な結果が達成できる。
【図１ａ】
2019509526.tif 000016
【図１ｂ】
2019509526.tif 000017
【図２ａ】
2019509526.tif 000018
【図２ｂ】
2019509526.tif 000019
【図３ａ】
2019509526.tif 000020
【図３ｂ】
2019509526.tif 000021
【図４ａ】
2019509526.tif 000022
【図４ｂ】
2019509526.tif 000023
【図５ａ】
2019509526.tif 000024
【図５ｂ】
2019509526.tif 000025
【図５ｃ】
2019509526.tif 000026
【図５ｄ】
2019509526.tif 000027
【図６】
2019509526.tif 000028
【図７ａ】
2019509526.tif 000029
【図７ｂ】
2019509526.tif 000030
【図８】
2019509526.tif 000031
【図９】
2019509526.tif 000032
【図１０】
2019509526.tif 000033
【図１１】
2019509526.tif 000034
【図１２】
2019509526.tif 000035
【図１３】
2019509526.tif 000036
【図１４】
2019509526.tif 000037
【図１５】
2019509526.tif 000038
【図１６】
2019509526.tif 000039
【国際調査報告】
2019509526.tif 000040
2019509526.tif 000041
2019509526.tif 000042
2019509526.tif 000043
2019509526.tif 000044
2019509526.tif 000045
2019509526.tif 000046
2019509526.tif 000047